WO1997046014A1 - Device and method for converting image information and circuit and method for operating sum of products - Google Patents

Device and method for converting image information and circuit and method for operating sum of products Download PDF

Info

Publication number
WO1997046014A1
WO1997046014A1 PCT/JP1997/001852 JP9701852W WO9746014A1 WO 1997046014 A1 WO1997046014 A1 WO 1997046014A1 JP 9701852 W JP9701852 W JP 9701852W WO 9746014 A1 WO9746014 A1 WO 9746014A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
class
image signal
circuit
digital image
Prior art date
Application number
PCT/JP1997/001852
Other languages
English (en)
French (fr)
Inventor
Takashi Horishi
Masashi Uchida
Tetsujiro Kondo
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP15890596A external-priority patent/JP3767019B2/ja
Priority claimed from JP26370896A external-priority patent/JP3890638B2/ja
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to DE69731872T priority Critical patent/DE69731872T2/de
Priority to US09/011,115 priority patent/US6057885A/en
Priority to EP97924276A priority patent/EP0843475B1/en
Publication of WO1997046014A1 publication Critical patent/WO1997046014A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0145—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being class adaptive, i.e. it uses the information of class which is determined for a pixel based upon certain characteristics of the neighbouring pixels

Definitions

  • the present invention relates to an image information conversion apparatus and method, and a product-sum operation circuit and method.
  • the present invention relates to an image information conversion device and method suitable for use in, for example, a television receiver or a video tape recorder device, and more particularly, to converting externally supplied normal-resolution image information into high-resolution image information.
  • Image information conversion apparatus and method capable of outputting the same, and multiply-multiply by a plurality of multiplicands and a multiplier corresponding thereto, so that substantially the same result can be obtained even with a smaller number of multiplicands and multipliers It relates to arithmetic circuits and methods.
  • the number of scanning lines specified in the so-called NTSC system is 5 25, but it is more than twice as large as 1 1 2 5 and the display screen has an aspect ratio of NTSC.
  • the wide-angle screen is 16: 9 versus 4: 3. For this reason, it is possible to obtain high-resolution, realistic screens.
  • the above-described conventional image information conversion device is a horizontal interpolation filter that performs a horizontal interpolation process on an NTSC video signal (SD data) supplied via an input terminal 15 1. 2 and a vertical interpolation filter 153 for performing vertical interpolation of the video signal on which horizontal interpolation has been performed.
  • the horizontal interpolation filter 152 has a configuration as shown in FIG.
  • a horizontal interpolation filter 152 is constituted by a cascade connection type FIR filter.
  • reference numeral 161 denotes an input terminal to which SD data is supplied.
  • ⁇ 16 2
  • ⁇ 16 2
  • ⁇ 16 2
  • ⁇ 16 2
  • ⁇ 162
  • ⁇ 162
  • ⁇ 162
  • ⁇ 162
  • ⁇ is a multiplier that multiplies the SD data.
  • 1630: I63 is an adder
  • 1664, to 1664 are delay elements of time ⁇ ( ⁇ : one sampling period). Then, the output data obtained by horizontal interpolation is obtained, and this output data is supplied to the vertical interpolation filter 153.
  • the vertical interpolation filter 1553 has a configuration similar to that of the horizontal interpolation filter 152, and performs vertical pixel interpolation on a video signal on which horizontal interpolation processing has been performed. As a result, interpolation of pixels in the vertical direction is performed on the video signal of the NTSSC system.
  • the high-definition video signal (HD data) thus converted is supplied to a high-vision receiver. This allows an image corresponding to the NTSC video signal to be displayed on a high-vision receiver.
  • the above-described conventional image information conversion apparatus merely performs horizontal and vertical interpolation based on the NTSC video signal, so that the resolution is based on the NTSC video signal. It did not change at all.
  • the applicant uses the image signal conversion device of Japanese Patent Application No. 6-205934 to perform class division according to the three-dimensional (spatiotemporal) distribution of the image signal level as the input signal, and It has been proposed to have a storage means that stores prediction coefficients obtained by learning in advance, and to output the optimum estimation value by calculation based on the prediction formula.
  • class division is performed using SD (Standerd Definition) pixel data near the created HD pixels, and the prediction coefficient value is learned for each class.
  • the intra-frame correlation is used, and in the moving part, the intra-field correlation is used to obtain a HD pixel value closer to the true value. .
  • HD pixels y if for the purpose of creation of ⁇ y 4, SD pixels ⁇ m s and SD pixels n shown in FIG. 5, each space ⁇ n 5
  • the average value of the difference between the frames of the pixels at the same position is calculated, the threshold value is processed, and the class is classified.
  • n 25.
  • the coefficient data for estimating the HD data corresponding to the SD data is obtained by learning for each class in advance, stored in the ROM table, and the input SD data and the ROM table are stored.
  • the coefficient data read from the SD card it is possible to output data that is closer to the actual HD data, unlike the case where the input SD data is simply interpolated.
  • SD pixel data is supplied from the input terminal 171, and the SD pixel data is supplied to the area extracting circuits 172, 174 and 178.
  • the area extracting circuit 1 72 in a subsequent stage of NT SC circuit 1 7 3, for performing class classification for the purpose of expressing the waveform in the space, as shown in FIG. 4, SD pixels k, a to k 5 cut Then, the ADRC processing is performed on the circuit 173.
  • the region Switching Operation out circuit 1 74 in a subsequent stage of the motion class deciding circuit 1 7 5, in order to perform classification for the purpose of about dynamic Kino, as shown in FIG.
  • the motion class deciding circuit 1 7 it it an average value of the frame difference between pixels in the spatial same position, which was thresholded
  • a class is generated from the class classification from the ADRC circuit 173 and the class classification from the motion class determination circuit 175.
  • R ⁇ M table 1 7 7 responds to the generated class
  • the prediction coefficient is read.
  • the region extraction circuit 178 the prediction operation based on a linear linear expression is performed in the estimation operation circuit 179 in the subsequent stage, so that the SD pixels X, to x 25 as shown in FIG.
  • HD data is extracted via the output terminal 180 by a linear linear equation as shown in the above equation (1).
  • FIG. 23 shows a product-sum operation circuit used in such an image signal conversion device.
  • a plurality of SD data are supplied to the accumulator 1992.
  • the class code c lass corresponding to the plurality of SD data is supplied from the address control circuit 193 to the multiplier memory 194.
  • the coefficient data responding to the class code c lass is summed up. Is supplied to the vessel 19 2.
  • the sum-of-products 1992 the sum of the SD data and coefficient data is executed, and the sum-of-products output is output from the output terminal 1955.
  • SD data is supplied from an input terminal 201, and the SD data is supplied to a multiplier 205 through a register 202.
  • Coefficient data is supplied from an input terminal 203, and the coefficient data is supplied to a multiplier 205 through a register 204.
  • the multiplier 205 the SD data is multiplied by the coefficient data, and the multiplied output is supplied to the adder 207 via the register 206.
  • the adder 207 the two multiplication outputs are added, and the added output is supplied to the adder 209 via the register 209.
  • the adder 209 the two additional outputs are added, and the sum output is output from the output terminal 71 via the register 70.
  • the multiplier (coefficient data) is prepared in advance in a memory or the like, and the configuration in which the multiplier can be varied according to the characteristics of the image (that is, the class information) is used. Used for conversion.
  • the conversion performance improves as the number of pixels used for the estimation calculation increases. That is, the conversion performance improves as the value of n in the equation (1) increases. This means that using a filter with a large tap, in general, improves the conversion performance. Also, by increasing the number of classes and the types of multipliers, the accuracy of image estimation can be improved.
  • the first object of the present invention is to convert an NTSC video signal into a high-definition video signal while using a small and inexpensive circuit while maintaining the same conversion performance as when using a large tab. It is an object of the present invention to provide an image information conversion device and a method capable of converting the information into a signal.
  • a second object of the present invention is to provide an image information conversion apparatus and method capable of obtaining a result substantially equivalent to the original performance even if the hardware scale is significantly reduced.
  • a third object of the present invention is to provide a product-sum operation circuit and a method capable of reducing the hardware scale in view of the above-mentioned problems.
  • the present invention has the following configuration in an image information conversion apparatus configured to convert a first digital image signal into a second digital image signal having a larger number of pixels.
  • An image area extracting means for extracting a first digital image signal existing in a predetermined area from the first digital image signal, and a level distribution of the first digital image signal extracted by the image area extracting means
  • a class determining means for determining a class to which the second digital image signal to be estimated belongs based on the pattern, and outputting the class information.
  • Tab degenerating means for integrating data of a plurality of tabs of the first digital image signal into data of a smaller number of tabs corresponding to the coefficient data; and coefficient data of a linear estimation formula, similar to the coefficient data.
  • Coefficient data storage means for storing coefficients integrated for each class information for each class information, and coefficient data integrated for the integrated first digital image signal.
  • an estimating means for estimating the second digital image signal using a linear estimation equation.
  • This image information converter detects a level distribution pattern of SD pixels located near an HD pixel to be created from an input SD signal, and, based on the detected pattern, a class to which image information of the area belongs. Is determined and class information is output.
  • the class information corresponds to the address of the coefficient memory, and a coefficient of a certain class is read. As for this coefficient, the coefficient whose value is close is integrated and degenerated in advance.
  • the evening degeneration circuit has the function of integrating the SD pixel data multiplied by the integrated coefficient under the same conditions as the coefficient for each class. In this way, the number of pixels used for the apparent estimation calculation is deleted. This integration is performed by storing image information supplied from the outside into the coefficient data storage means based on the additional code data.
  • the image information converting means converts the image information supplied from the outside into image information having a higher resolution than the image information supplied from the outside according to the coefficient data supplied from the coefficient data storing means. Convert.
  • the class to which the second digital image signal to be estimated belongs based on the pattern of the first image data is determined, and the class determining means for outputting the class information outputs the L bit as a class code.
  • It has address degeneration means for degenerating the address of a packet into S bits less than L bits.
  • the address compression means reduces the address from L bits to S bits, so that the coefficient data stored in the coefficient memory can be reduced. In other words, the hardware scale will be reduced.
  • the above address degeneration is effective in a multiply-accumulate operation method in which a digital filter operation is performed at M times by adding a product of a multiplier and a multiplicand, and an L bit for controlling a multiplier memory is used.
  • FIG. 1 is a block diagram of an embodiment of an image information conversion device according to the present invention.
  • FIG. 2 is a schematic diagram for explaining the positional relationship between SD data and HD data.
  • FIG. 3 is a schematic diagram for explaining a positional relationship between SD data and HD data.
  • FIG. 4 is a schematic diagram for explaining data used for spatial class classification.
  • FIG. 5 is a schematic diagram for explaining data used for motion class classification.
  • FIG. 6 is a table showing an embodiment of the address degenerate memory of the present invention.
  • FIG. 7 is a table showing one embodiment of the address compression memory of the present invention.
  • FIG. 8 is a circuit diagram showing one embodiment of the address reduction arithmetic circuit of the present invention.
  • FIG. 9 is a schematic diagram for explaining pixels used for the estimation calculation.
  • FIG. 10 is a schematic diagram for explanation when creating a correction data table.
  • FIG. 11 is a flowchart of an example of evening degeneration according to the present invention.
  • FIG. 12 is a schematic diagram for explanation when creating a correction data table.
  • FIG. 13 is an example of a product-sum operation circuit.
  • FIG. 14 shows an embodiment of the product-sum operation circuit of the present invention.
  • FIG. 15 shows another embodiment of the product-sum operation circuit of the present invention.
  • FIG. 16 shows an embodiment of the product-sum operation circuit according to the present invention.
  • FIG. 17 is a circuit diagram of an example of the tab degeneration operation circuit according to the present invention.
  • FIG. 18 is a circuit diagram of an example of the product-sum operation circuit according to the present invention.
  • FIG. 19 is a circuit diagram of an example of the product-sum operation circuit according to the present invention.
  • FIG. 20 is a circuit diagram of a conventional image information conversion device.
  • FIG. 21 is a circuit diagram of a main part of a conventional image information conversion device.
  • FIG. 22 is a block diagram of an example of an image information conversion device in a conventional image conversion device.
  • FIG. 23 is a circuit diagram showing a conventional product-sum operation circuit.
  • FIG. 24 is a circuit diagram showing a conventional signal interpolation circuit.
  • FIG. 1 shows the configuration of an embodiment of the present invention.
  • image information supplied from the outside via the input terminal indicated by 1 for example, a so-called NTSC video signal is digitized and supplied as SD data.
  • FIGS. 2 and 3 The positional relationship between SD pixels and HD pixels to be created in this embodiment is as shown in FIGS. 2 and 3.
  • Figure 2 shows the SD pixels of the current field, the SD pixels of the previous field, the HD pixels of the current field, and the HD pixels of the previous field in the horizontal and vertical directions.
  • Figure 3 shows SD and HD pixels in the time and vertical directions.
  • the HD pixels to be created include HD pixels y,, y 2 located closer to the SD pixel and HD pixels y 3 located farther from the SD pixel when viewed in the same field.
  • mode 1 the mode for estimating the HD pixels existing near the SD pixels
  • mode 2 the mode for estimating the HD pixels existing far from the SD pixels
  • the area extraction circuit 2 extracts pixels necessary for class classification (hereinafter, referred to as space class) mainly for representing a waveform in space from the SD image signal supplied from the input terminal 1.
  • space class pixels necessary for class classification
  • FIG. HD pixel y to be creative in Suyo five SD pixels k located in the vicinity of ⁇ y 2, a to k 5 cut.
  • the SD data extracted by the region extracting circuit 2 is supplied to the ADRC circuit 3.
  • the AD RC circuit 3 compresses the data in each area from, for example, 8-bit SD data to 1-bit SD data for the purpose of patterning the level distribution of SD data in the area. Such an operation is performed. As a result, the formed pattern compression data is supplied to the class code generation circuit 6.
  • ADRC is an adaptive requantization method originally developed for high-performance coding for VTRs.However, since the local pattern of the signal level can be efficiently expressed with a short word length, the present invention is implemented. In the example, it is used to generate code for classifying signal patterns.
  • the ADR C circuit calculates the maximum value MAX in the area by using the following equation (2), where the dynamic range DR in the area, the bit allocation is !!, the data level of the pixel in the area is Le, and the requantization code is Q. Re-quantization is performed by dividing equally between the minimum value and the minimum value MIN by the specified bit length.
  • the SD image signal supplied from the input terminal 1 is also supplied to the area extracting circuit 4.
  • the area cutout circuit 4 mainly functions to cut out pixels necessary for class classification (motion class) for representing the degree of motion.
  • motion class class classification
  • the data extracted by the area extraction circuit 4 is supplied to a motion class determination circuit 5.
  • the motion class determining circuit 5 calculates a difference between frames of the supplied SD data, and calculates a motion parameter as a motion index by performing a threshold process on an average value of the absolute values. Specifically, the motion class determination circuit 5 calculates the average param of the absolute values of the differences of the supplied SD data by the following equation (3).
  • n 5.
  • the average value param of the absolute value of the difference between the SD data calculated by the above-described method is determined by, for example, a threshold value that is set in advance so that the histogram of the absolute value of the difference between the SD data is divided into n equal parts.
  • the motion class mv-class is calculated using the average value of the absolute value of the difference, pa ram. For example, here, four motion classes are provided.If the average value of the absolute value of the SD data difference is param, the motion class mv-class is determined to be 0.If the average value is param ⁇ 4, the motion class is determined. The mv-class is determined to be 1. If the average value param ⁇ 8, the motion class mv-class is determined to be 2. If the average value param> 8, the motion class mv-class is determined to be 4. The motion class mv-class set in this way is supplied to the class code generation circuit 6.
  • the class code generation circuit 6 calculates the following equation (4) based on the pattern compressed data (space class) supplied from the ADRC circuit 3 and the motion class mv-class supplied from the motion class determination circuit 5.
  • the class to which the block belongs is detected, and the class code class indicating the class is supplied to the type reduction ROM 7 and the ROM table 8. That is, the class code generation circuit 6 uses the space class and the motion class to determine The class to which the block belongs is detected with fewer bits than the total number of bits.
  • the class code class indicates a read address from the tab degenerate ROM 7 and the ROM table 8.
  • class q i V) 1 + mvjclass ⁇ V n (4) In this embodiment, n is 5 and p is 2.
  • the class code generating circuit 6 may be constituted by a data conversion table for reducing the supplied class code from L bits to S bits. In this case, the class code generating circuit 6 reads the S bit class code corresponding to the L bit and the class code ⁇ class.
  • the read class code S-class indicates the read address of the ROM table 8 and the tap degeneration ROM 7.
  • FIG. 6 shows an example of a data conversion table that can be used in the class code generation circuit 6.
  • the class code c ss is, for example, 7-bit data.
  • the 7-bit class code is a 2-bit class classification mainly representing the degree of motion, and a 5-bit mainly space-based. It consists of a class classification for the waveform representation of.
  • the 7-bit class code is reduced to a 6-bit class code.
  • the motion class mv-class is represented by 0, 1, and 2.
  • the motion class mv-class is 0, there is no change in the number of addresses before and after the degeneration, and when the motion class mvc lass is 1 and 2, the number of addresses is reduced to 1/2 before and after the degeneration. Therefore, the total number of addresses is reduced from 96 to 64 by degeneracy, and can be represented by 6 bits.
  • the motion class mv-class can be represented by 0, 1, 2, and 3. At this time, if the motion class mv-class is 0, 1 or 2, it is reduced as described above. However, the motion class mv If -class is 3, the motion class mv-class is degenerated to the same address as 2. For example, if the address before degeneration is 64, the address after degeneration is 48, and similarly, if the address before degeneration is 96, the address after degeneration is 48. If the address before the degeneration is 84, the address after the degeneration is 58, and similarly, if the address before the degeneration is 116, the address after the degeneration is 58.
  • the class code generation circuit 6 has a reduced memory as described above, and can also reduce a class code by a reduced operation circuit.
  • Fig. 8 shows a detailed circuit diagram of the degeneration operation circuit.
  • the motion class mv-c la ss is supplied from the input terminals 21 and 22 and input to the ALU (adder) 28.
  • Input terminal 23 supplies space class LSB
  • input terminal 24 supplies space class 2nd—LSB bit
  • input terminal 25 supplies space class 3rd—MSB.
  • Input terminal 2 6 supplies the 2nd MSB of the space class
  • input terminal 27 supplies N MSBs of the space class.
  • the bits from these input terminals 23 to 26 are supplied to a shift register 29.
  • the MSB on the input side of the shift register 29 is grounded, the 2nd-MSB on the input side of the shift register 29 is supplied with the bit of the space class MSB, and the 2nd on the input side of the shift register 29 is supplied.
  • the 2nd—LSB of the space class is supplied to the nd—LSB, and the LSB of the space class is supplied to the LSB on the input side of the shift register 29.
  • the shift register 29 is supplied with a control signal for controlling the N-bit shift from outside.
  • This control signal corresponds to the motion class mv-class.
  • a 1-bit shift control signal is supplied.
  • the motion class is 0, the lower 5 bits are supplied to the other input side of the ALU 28 in the shift register 29, and when the motion class mv-class is not 0, the supplied bits are not supplied.
  • Shifted Data is provided to the other input of ALU 28.
  • the ALU 28 synthesizes the input data and outputs it from the output terminal 31 via the register 30 as a 5-bit data.
  • the Te traditional classification picture information converting apparatus odor reads the area extracting circuit 9 pixel data X supplied from Kurasuko one de class that is deciding the ⁇ x n in class Sukodo generating circuit 6 as Adore scan, ROM table 8 from the predetermined coefficient data w, and read out the to w n, in the estimation arithmetic circuit 1 1 by the formula described above it (1), in multiplying Rukoto from Isseki SD image de Conversion to HD image data was being performed.
  • the value of n is set to a large value with emphasis on the conversion performance, both the ROM table 8 and the estimation operation circuit 11 become large, and it is intended to realize high-performance conversion with small-scale hardware. This was a major obstacle in the event.
  • coefficient data having similar absolute values are integrated, and a tab is created so as to integrate the SD pixel data corresponding to the original coefficient data included in the integrated coefficient data. Degeneration is performed. The integrated pixel data obtained by this tap degeneration is estimated.
  • the method of generating the integration coefficient will be described later. In this way, by using the integration coefficient data, the number of taps can be significantly reduced with almost no performance degradation, and high-performance, small-scale hardware can be realized.
  • Evening the output signal of the class code generating circuit 6 is supplied to the Sopu degenerate ROM 7, integrated pixel de Isseki (formula (5) in the (X, + x 7 -. X,) , etc.) to create a Is stored as additional code data. Specifically, information indicating which original coefficient data is to be multiplied by which integrated coefficient data (wn, etc. in equation (5)) and the code of brass / minus at that time are added code data. , Stored. The additional code data is set for each class. From the tap degeneration ROM 7, additional code data for generating integrated pixel data of the class is read from the address indicated by the class code class, and the additional code data is stored in the tap degeneration circuit 10. Supplied to
  • the input SD data is also supplied to the area extracting circuit 9.
  • the area cutout circuit 9 cuts out 25 SD data X,..., X25 used at the position shown in FIG.
  • the output signal of the area cutout circuit 9 is supplied to the tap degeneration circuit 10.
  • the tap degeneration circuit 10 uses the method / gist as described above to supply the supplied 25 SD data Is converted into, for example, eight pieces of integrated pixel data according to the additional code data supplied from the evening reduction ROM 7.
  • Another ROM table 8 to which the output signal of the class code generating circuit 6 is supplied stores integrated coefficient data (wn, etc. in the equation (5)).
  • This uses the linear estimation formula to calculate the HD data corresponding to the integrated pixel data by learning the relationship between the integrated pixel data pattern and the HD data in the same way as the ROM table of the conventional classification image information conversion device. Is stored for each class. This is information for converting SD data (integrated pixel data) into HD data that conforms to the so-called Hi-Vision standard, which is image information with a higher resolution than this image information, using a linear estimation formula.
  • the integration coefficient data is separately prepared for mode 1 and mode 2. The method of creating the integrated coefficient data stored in the ROM table 8 will be described later. From the ROM table 8, from the address indicated by the class code class, wrii (class), which is an integrated coefficient data of the class, is read. This integrated coefficient data is supplied to the estimation operation circuit 11.
  • the estimation operation circuit 11 corresponds to the input SD data based on the integrated pixel data supplied from the tab degeneration circuit 10 and the integrated coefficient data supplied from the ROM data table 8. Calculate HD data. Integrated pixel data ⁇ ⁇ , ⁇ ⁇ ⁇ , the integration coefficient de Isseki wn, by a wn B integrated, specifically, estimation calculation circuit 1 1, supplied from Tabbu compression circuit 1 0 !
  • a pixel de Isseki ⁇ ⁇ ⁇ ⁇ and ROM Te is integrated coefficient data supplied from one table 8 wn, by wn e, mode - with regard de 1 by using the coefficient for block 1,
  • the HD data hd 'corresponding to the input SD data is calculated by using the coefficients for Block 2 and performing the calculation shown in equation (6).
  • the created HD data hd ' is output from output terminals 1 and 2.
  • the HD data output via the output terminal 12 is supplied to, for example, an HD television receiver or an HD video tape recorder.
  • coefficient data having values that are similar in absolute value are integrated, SD pixel data is integrated and treated as integrated pixel data, and the integrated coefficient data is learned using the integrated pixel data.
  • the size of the coefficient data stored in the ROM table and the size of the estimation calculation circuit can be made very compact.
  • FIGS. 10, 11 and 12 the learning method of the additional code data stored in the table degeneration ROM 7 and the integration coefficient data stored in the ROM table 8 will be described with reference to FIGS. 10, 11 and 12. This will be described with reference to the drawings. Incidentally, in the range described in FIG. 10, there is no difference from the conventional method, and the part described in FIGS. 11 and 12 has the uniqueness of the present invention.
  • an SD image having 1/4 the number of pixels of an HD image corresponding to a known HD image is formed.
  • HD data is supplied via the input terminal 33.
  • the pixels in the vertical direction of the supplied HD data are thinned out by the vertical thinning filter 34 so that the vertical frequency in the field becomes 1/2, and the horizontal thinning filter 35 is used to horizontalize the HD data. Pixels in the direction are decimated.
  • the created SD data is stored in the area extraction circuit 36, 38. And 4 supplied in one.
  • the HD data supplied to the input terminal 33 is supplied to the normal equation adding circuit 42.
  • the area cutout circuit 36 cuts out necessary pixels from the supplied SD image signal in order to perform the space class classification.
  • the region cutout circuit 36 has the same function as the region cutout circuit 2 described above.
  • the extracted SD data is supplied to the ADRC circuit 37.
  • the 0 11 0 circuit 37 detects the one-dimensional or two-dimensional level distribution pattern of the SD data supplied to each area, and as described above, all the data in each area are detected. In the evening or a part of the data, for example, an operation is performed to compress the 8-bit SD data into 2-bit SD data to form pattern compressed data, and this pattern compressed data is used as a class code generation circuit. Supply to 40.
  • the eight hundred thirteen circuit 37 is the same as the ADRC circuit 3 described above.
  • the SD image signal supplied to the region extracting circuit 38 is subjected to a necessary extraction for the motion class classification. More specifically, the area cutout circuit 38 has the same function as the area cutout circuit 4 described above.
  • the SD data extracted by the area extraction circuit 38 is supplied to the motion class determination circuit 39. More specifically, the motion class determination circuit 39 has the same function as the motion class determination circuit 5 described above.
  • the motion class determined by the motion class determination circuit 39 is supplied to the class code generation circuit 40.
  • the class code generation circuit 40 is the same as the class code generation circuit 6 described above, and includes the pattern compression data (space class) and the motion class determination circuit 39 supplied from the ADRC circuit 37. By performing the operation of equation (4) based on the supplied motion class mv-cl ass, a class represented by the program is detected, and a class code indicating the class is output. Things.
  • the class code generating circuit 40 outputs the class code to the normal equation adding circuit 42.
  • the SD pixel data used for the estimation calculation is extracted.
  • the area cutout circuit 41 is specifically the same as the area cutout circuit 9 described above, and has a function of cutting out the SD pixels required for the linear estimation formula according to the motion class mv-class. .
  • the output of the region extracting circuit 41 is supplied to the normal equation adding circuit 42. At this time, though not shown, by arranging a delay circuit in front of the area cutout circuit 41, the timing of data supplied from the area cutout circuit 41 to the normal equation adding circuit 42 is adjusted.
  • the SD pixel level is X! , X z, ⁇ ⁇ ⁇ , and x n
  • the coefficient for each class w,, w 2, ⁇ ⁇ ⁇ it sets the linear estimation equation of n tap according to w n. This is shown in equation (1) above.
  • Wi is an undetermined coefficient.
  • equation (7) is set according to equation (1).
  • the normal equation addition circuit 42 includes a class code clas s supplied from the class code generation circuit 40, SD data X,, x 2 , ⁇ , x n supplied from the area extraction circuit 30, and an input terminal 33. This normal equation is added using the HD pixel level y corresponding to the supplied SD data. After the input of all the training data is completed, the normal equation adding circuit 42 outputs the normal equation data to the prediction coefficient determining circuit 43.
  • the prediction coefficient determination circuit 31 solves for W i using a general matrix solution such as a sweeping method of a normal equation, and calculates a prediction coefficient.
  • the prediction coefficient determination circuit 43 writes the calculated prediction coefficient into the memory 44.
  • the memory 44 stores a prediction coefficient for estimating the noted HD data y for each class, which can be statistically approximated to the true value.
  • the number of taps increases, and the ROM for storing the coefficient data and the scale of the estimation calculation circuit increase, as described above.
  • the additional code data stored in the ROM 7 is generated by using the prediction coefficients (coefficient data) in the memory 44 obtained by the above-described method. I do.
  • the memory 44 stores the prediction coefficients for each class.
  • the absolute values are large.
  • the temporary integrated coefficient data wn when the wn 7, engages number data and the temporary integrated coefficient data of the difference absolute value Use temporary integration coefficient data that minimizes the sum. From this temporary integrated coefficient data and the coefficient data, information on which temporary integrated coefficient data the SD pixel data corresponding to the coefficient data is to be multiplied with, and an addition consisting of a brass / minus sign of the coefficient data Code data is generated and stored in ROM for each class It is memorized.
  • an example of generating additional code data stored in the tap degeneration ROM will be described with reference to FIG.
  • step S1 The flowchart of FIG. 11 starts from step S1, in which the supplied n coefficients are converted into absolute values.
  • step S2 the average value of the n coefficient data subjected to the absolute value calculation is calculated.
  • step S3 the maximum value of the ri coefficient data subjected to the absolute value calculation is calculated.
  • step S4 the average value calculated in step S2, the maximum value calculated in step S3, and 0.0 are set as temporary representative values A.
  • step S5 it is determined to which of the three provisional representative values A the absolute valued coefficient data is closest, and three groups are generated for each provisional representative value A. You. Then, an average value is obtained for each group generated. The calculated three average values are set as a new provisional representative value B. At this time, 0.0 of the temporary representative value A is always set to 0.0.
  • step S6 it is determined whether or not the number of provisional representative values B is nn + 1. If it is determined that the number of provisional representative values B is nn + 1, the control proceeds to step S7, and if it is determined that the number of provisional representative values B is not nn + 1, Control passes to step S8.
  • step S8 it is determined to which of the provisional representative values B the absolute valued coefficient data is closest, and the group is determined for each provisional representative value B. Generated. At this time, the maximum error of each coefficient data included in each group and the temporary representative value B of the group is calculated for each group. The value of the provisional representative value B of the group having the largest maximum error calculated for each group is divided into two by adding ⁇ 0.0001, and these two are newly added to the provisional representative value. Reset as value A. That is, the number of temporary representative values increases by one. In step S7, nn + 1 temporary 0.0 is removed from the representative value B, and nn temporary representative values B are determined as final representative values.
  • n pieces of coefficient data are 17 pieces, and the final nn provisional representative values are 7 pieces.
  • 17 coefficient data and their corresponding numbers are shown below.
  • step S1 the 17 coefficients are subjected to absolute value conversion, and in step S2, an average value is calculated from the absolute coefficient data.
  • the average value is 0.1 854569.
  • step S In 3 the maximum value is calculated from the absolute value of the coefficient data. Its maximum value is 1.2911.101.
  • step S4 0.0 is set as a temporary representative value A in addition to the average value and the maximum value.
  • temporary representative values A and B are numbered. The temporary representative value A1 consisting of these three is shown below.
  • step S5 the difference between the absolute valued coefficient data and the provisional representative value A 1 is obtained, and grouping is performed on the closest provisional representative value. Further, an average value is calculated for each group, and a provisional representative value B1 is set.
  • the temporary representative value B1 of these three is shown below.
  • step S6 it is determined whether or not there are nn + 1 provisional representative values.
  • the control shifts from step S6 to step S8.
  • step S8 the difference between the absolute valued coefficient data and the temporary representative value B1 is obtained, and the closest temporary representative value is grouped. Further, ⁇ 0.00001 is added to the provisional representative value B1 in which the error between the absolute valued coefficient data in the group and the provisional representative value B1 is the largest. In this example, since 0.0 is a temporary representative value including the largest error, ⁇ 0.001 is added to 0.0.
  • a temporary representative value A2 is set. A temporary representative value A2 consisting of four is shown below.
  • step S5 the same processing as described above is performed, and a provisional representative value B2 is set. Is determined.
  • the temporary representative value B2 consisting of four is shown below.
  • step S8 Control is transferred to step S8 via step S6.
  • step S8 the same processing as described above is performed, and a provisional representative value A3 is set.
  • the temporary representative value A3 consisting of five is shown below.
  • step S5 the same processing as described above is performed, and a provisional representative value B3 is set.
  • the temporary representative value B3 consisting of five is shown below.
  • step S8 Control is transferred to step S8 via step S6.
  • step S8 the same processing as described above is performed, and a provisional representative value A4 is set.
  • a temporary representative value A4 consisting of six is shown below.
  • Step S5 (Temporary representative value A 4): 0.0, 0.0572309, 0.0505743 09, 0.222 24048, 0.447 54 994, 1.291 1 1 00 1
  • step S5 the same as above Is performed, and a tentative representative value B 4 is set.
  • the provisional representative value B 4 consisting of six is shown below.
  • Step S6 The control is transferred to step S8 via step.
  • step S8 the same processing as described above is performed, and a provisional representative value A5 is set.
  • the temporary representative value A5 consisting of seven is shown below.
  • step S5 the same processing as described above is performed, and a provisional representative value B5 is set.
  • the temporary representative value B5 consisting of seven is shown below.
  • step S8 The control shifts to step S8 via step S6, and in step S8, the same processing as described above is performed, and a temporary representative value A6 is set.
  • the temporary representative value A6 consisting of eight is shown below.
  • step S5 the same processing as described above is performed, and a provisional representative value B6 is set.
  • the temporary representative value B 6 consisting of eight is shown below.
  • step S6 it is determined whether or not there are eight provisional representative values B6, so the control moves to step S7.
  • the following shows the eight temporary representative values B 6 and the numbers of the 17 coefficient data included in the group.
  • step S7 0.0 is removed from the tentative representative value B6 and determined as the final representative value.
  • the tap degenerate ROM in which the additional code data is stored corresponds to the tap degenerate ROM 7 in FIG. 1 already described and the tab degenerate ROM 54 in FIG. 12 to be described hereinafter.
  • the data stored in the memory 44 created as described above is the coefficient data, not the integrated coefficient data.
  • the temporary integrated coefficient data finally obtained by the flowchart of FIG. 11 can be used as integrated coefficient data, but here, a process for generating more optimal integrated coefficient data is started.
  • HD data is supplied via an input terminal 46.
  • the pixels in the vertical direction of the supplied HD data are thinned out by the vertical thinning filter 47 so that the vertical frequency in the field becomes 1/2, and furthermore, the HD is thinned by the horizontal thinning filter 48.
  • Horizontal pixels of the data are thinned out.
  • the vertical thinning filter 47 is the same as the vertical thinning filter 34
  • the horizontal thinning filter 48 is the same as the horizontal thinning filter 35.
  • the SD pixel data created in this way is supplied to the region cutout circuits 49, 51 and 55. Most of the circuits in FIG. 12 have exactly the same functions as the corresponding parts in FIG. 10, and the description of those parts will be omitted.
  • the class code generation circuit 53 outputs the class code class to the tap reduction ROM 54 and the normal equation addition circuit 57.
  • the evening reduction R OM 54 is exactly the same as the evening reduction R OM 7 and is created according to FIG. 10 described above.
  • additional code data is read according to the supplied class code c lass.
  • the additional code data includes information for integrating the SD pixel data and a brass / minus sign as described above, and is supplied from the evening compression ROM 54 to the tape compression circuit 56.
  • the SD pixel data used for the estimation calculation is extracted.
  • the region clipping circuit 55 is specifically the same as the region clipping circuit 9 described above, and calculates the SD pixel data required for the linear estimation equation according to the motion class mv-class. It works out.
  • the output of the area extracting circuit 55 is supplied to the evening degeneration circuit 56.
  • the SD pixel data extracted according to the supplied additional code is integrated into integrated pixel data. Specifically, a sign is added to the SD pixel data that can be combined as described above, and the sum is added to generate integrated pixel data.
  • the generated integrated pixel data is supplied to the normal equation adding circuit 57.
  • the memory 59 stores the prediction coefficients (integrated coefficient data) that can be used to estimate the HD data y of interest for each class, which statistically gives the estimated value closest to the true value. Is done. With the above processing, learning of the integrated coefficient data for creating HD data from SD pixel data is completed using the linear estimation formula.
  • This memory 59 is the ROM table 8 used in FIG.
  • FIG. 13 shows a configuration in the existing case where tap degeneration around the estimation operation circuit 11 in the above-described embodiment is not applied.
  • SD data is supplied to the multiply-accumulator 64 as a multiplicand.
  • An address based on the SD data is supplied from the address control circuit 62 to the multiplier memory 63.
  • the multiplier memory 63 for example, a coefficient data is read in response to the supplied address, and the coefficient data is supplied to the accumulator 64.
  • the accumulator 64 the accumulator operation is executed as shown in the above equation (1), and the operation result is output from the output terminal 65.
  • FIG. 13 shows a configuration in the existing case where tap degeneration around the estimation operation circuit 11 in the above-described embodiment is not applied.
  • a plurality of pixel data are supplied from the multiplicand register 66 to the accumulator 67.
  • the L-bit class code class is supplied to the degeneration operation circuit 69.
  • the degeneration operation circuit 69 performs an operation of degenerating the supplied L-bit class code class into an S-bit class code S-class.
  • the degenerated class code S-class is supplied from the degeneration operation circuit 69 to the coefficient memory 70.
  • the coefficient memory 70 the coefficient data responsive to the class code S-class is read out and supplied to the accumulator 67.
  • the product-sum unit 67 performs a product-sum operation on the pixel data and the coefficient data, and outputs the product-sum output from the output terminal 71.
  • FIG. 15 shows another embodiment of the class code generating circuit 6 of the present invention. Show. In describing the other embodiments, the same parts as those in the above-described embodiment are denoted by the same reference numerals, and description thereof will be omitted.
  • the address degenerate memory 72 supplied with the L-bit class code class is used to degenerate the supplied L-bit class code L-class into the S-bit class code S-class. It consists of a data conversion table. Therefore, the S-bit class code S-ciass corresponding to the L-bit class code L-ciass is read, and the read class code S-class is supplied to the coefficient memory 70.
  • FIG. 16 shows another example of a specific configuration including tap degeneration in the above-described embodiment.
  • the blocks shown in FIG. 16 correspond to the blocks shown in FIG. 1 as follows.
  • the address control circuit 74 corresponds to the class code generation circuit 6, the control memory # 5 corresponds to the evening reduction ROM 7, and the tab reduction operation circuit 76 corresponds to the evening reduction circuit 10.
  • the multiplier memory 77 corresponds to the ROM table 8, and the multiply-accumulator 78 corresponds to the estimation operation circuit 11.
  • SD data is supplied from the multiplicand register 73 as a multiplicand to the tab reduction arithmetic circuit # 6.
  • the address is supplied from the address control circuit # 4 to the control memory 75 and the multiplier memory 77 based on the SD data.
  • the control memory 75 the data stored in response to the supplied address is supplied to the tab degeneration operation circuit 76.
  • the tap degeneration operation circuit 76 is controlled by this data.
  • the supplied SD data is reduced from, for example, 25 pieces of SD data to 9 pieces of SD data, and supplied to the accumulator 78.
  • coefficient data selected by the address from the address control circuit 74 is supplied to the accumulator 78.
  • Accumulator 7 8 Then, the product-sum operation is executed as shown in the above-described equation (1), and the operation result is output from the output terminal 79.
  • N pieces of SD data Di (1 i ⁇ N) has an input terminal 81, via ⁇ 8 1 N registers 82, 8 2 Supplied to N.
  • the N SD de Isseki Di is Regis evening 82 are output through to 82 N, K sets of selector 8 3, are supplied ⁇ 83 kappa to ( ⁇ ⁇ ).
  • the selectors 83, to 83 ⁇ select the SD data D i according to the result optimized in advance. For example, as shown in the figure, any of the four input paths is selected by the selectors 83 and 83 ⁇ .
  • the selected SD data D i is supplied to a through / 2's complement circuit 84, to 84 ⁇ .
  • ⁇ 84 ⁇ depending on the control signal supplied, either pass through the SD data Di without processing or convert it to 2's complement. Be executed. Conversion to 2's complement is the process of inverting 1/0 of the bit of SD data Di and adding 'to the LSB. At this time, when there is no need to select whether to convert the two's complement, a selector 83, a register 8 5 output from to 83 kappa, may also be directly connected to ⁇ 8 5 kappa. Through / 2's complement circuit 84, the output of ⁇ 84 kappa are register 85, is supplied to the arithmetic unit via a to 8 5 kappa.
  • the data S, from the register 85 t is output as degenerate data R, from the output terminal 89 via an arithmetic unit consisting of the registers 86, 87, and 88.
  • This arithmetic unit is composed of a register for adjusting the timing, and the supplied data S, is output without any processing.
  • Data S 2 and S 3 from register 8 5 2 and 85 3, the adder 9 0, is added.
  • the result of the addition is stored in registers 91, 92 and 9 It is output from the output terminal 94 via 3 as degenerated data R 2 .
  • the addition of 2 Tsunode Isseki S 2 and S 3 are made.
  • the two data S are added and supplied to the adder 99 via the register 96.
  • the adder 97 one or two data S are added and supplied to the adder 99 via the register 98.
  • the adder 9 are subject to two data already added, the addition result is output via a les Soo evening 1 0 0 and 1 0 1 as compressed data R 3 from the output terminal 1 0 2. In this operation unit, three or four data S are added.
  • the two data S are added and supplied to the adder 107 via the register 104.
  • the two data S are added and supplied to the adder 107 via the register 106.
  • the adder 107 the two data already added are added, and the addition result is supplied to the adder 115 via the register 108.
  • the adder 109 one or two data S are added and supplied to the adder 113 via the register 110.
  • the adder 111 one or two data S are added and supplied to the adder 113 via the register 112.
  • the adder 111 there is a case where the data is not supplied and the addition result is not output.
  • the adder 113 the two data that have already been added are added, and the addition result is supplied to the adder 115 through the register 114.
  • the adder 115 the two data supplied from the registers 108 and 114 are added, and the addition result is output from the output terminal 117 via the register 116. Output as M. In this operation unit, five or more and eight or less data S are added.
  • the data D t to D N, the selector 8 3, by ⁇ 8 3 kappa It is selected, data s, as to S K, supplied several types of input number with the adder (calculation section).
  • the number of inputs to this operation unit is K, and the connection between the selector and the operation unit is connected as a result of optimizing which taps should be connected and how many addition operations should be performed.
  • R M the Fi le evening N tap degeneracy data
  • FIG. 18 and FIG. 19 are configuration examples of the multiply-accumulator 78 including a multiplier, and here, the case of four tabs is taken as an example.
  • the multiply-accumulate operation is performed in the pipeline by sequentially supplying the multiplicand, as shown in Fig. 18, and the multiplicand is supplied simultaneously, and the addition is performed in parallel, as shown in Fig. 19. It is roughly divided into the case of performing.
  • the present invention has the structure shown in FIG.
  • Input terminals 1 2 1 from subjected sheet is the multiplicand (pixel data), the multiplier 1 2 5 via the register 1 2 2, is fed to the ⁇ 1 2 5 4.
  • the multiplier 1 2 5, in ⁇ 1 2 5 4 runs multiplication of the multiplicand and the multiplier, the multiplication result is register 1 2 6, is supplied to ⁇ 1 2 6 4.
  • the data from the register 126 is supplied to the adder 128, via the register 127.
  • Adder 1 2 8 So the data after 1 Sanburin grayed from data and register evening 1 2 6 2 from Regis evening 1 27, it is added.
  • Addition output from the adder 1 2 is supplied via the register evening 1 27 2 to the adder 1 28 2.
  • the adder 1 28 2 the data after one sampling from the data and the register 1 2 63 from Regis evening 1 2 7 2 is added.
  • Addition output from the adder 1 28 2 pressurized via the register 1 2 7 3 It is supplied to the arithmetic unit 1 2 8 3 .
  • the adder 1 28 3, and the data after one sampling from the register 1 2 7 3 or et de Isseki and register 1 2 6 4 is the summing.
  • Addition output from the adder 1 28 3 is output registers evening through 1 2 7 4 from the output terminal 1 2 9.
  • FIG. 19 shows a configuration example applicable to the accumulator 78 in this embodiment.
  • Input terminals 1 3 1 ⁇ 1 3 1 4 multiplicand (pixel data) is supplied, the multiplicand, register 1 3 2 ⁇ 1 3 2 4 via the multiplier 1 3 5, to ⁇ 1 3 5 4 Supplied.
  • Input terminals 1 3 3, multipliers From 1 33 4 (coefficients) are supplied, the multiplicand, register 1 34 ⁇ 1 34 4 via the multiplier 1 35, is fed to the ⁇ 1 3 5 4.
  • the multipliers 1 3 5, to 1 3 5 4 multiplication of the multiplicand and the multiplier is performed, and the result of the multiplication is added to the adder 1 3 7, through the register 1 3 6, to 1 3 6 4 , respectively. Supplied to 1 3 7 2 .
  • Adder 1 37 In, register 1 3 6, and data from 1 36 2 is added, the addition result is register 1 38, it is supplied to the adder 1 39 through.
  • ADRC is provided as an information compression means for patterning a spatial waveform with a small number of bits.
  • DPCM Different Pulse Code Modulation
  • VQ Vector Quantization
  • the hardware scale of the multiplier memory and the product accumulator can be considerably reduced, so that the hardware scale can be significantly reduced.
  • the filter reduction of N filters is essentially equivalent to the filter calculation of M taps (M ⁇ N), and the multiplier reflects the characteristics of the image because the input is image data. Since the tap degeneration circuit can be configured so that an equivalent operation can be performed even when tap degeneration is performed, data substantially equivalent to the original performance can be obtained.

Description

明 細 書
画像情報変換装置および方法並びに積和演算回路および方法 技術分野
この発明は、 例えばテレビジョン受像機やビデオテープレコーダ装置 等に用いて好適な画像情報変換装置および方法に関し、 特に、 外部から 供給される通常の解像度の画像情報を高解像度の画像情報に変換して出 力することができる画像情報変換装置および方法、 並びに複数の被乗数 とそれに対する乗数とを掛け合わせるとき、 より少ない被乗数と乗数を 用いてもほぼ同じ結果を得ることができるようにした積和演算回路およ び方法に関する。
背景技術
今日において、 オーディオ · ビジュアル指向の高まりから、 より高解 像度の画像を得ることが出来るようなテレビジョン受像器の開発が望ま れ、 この要望に応えて、 いわゆるハイビジョンが開発された。 このハイ ビジョンは、 いわゆる N T S C方式に規定される走査線数が 5 2 5本な のに対して、 2倍以上の 1 1 2 5本となっているうえ、 表示画面の縦横 比も N T S C方式が 4 ： 3に対して 1 6 ： 9と広角画面になっている。 このため、 高解像度で臨場感のある画面を得ることができるようになつ ている。
ここで、 このような優れた特性を有するハイビジョンではあるが、 N T S C方式の映像信号をそのまま供給しても画像表示を行うことはでき ない。 これは、 上述のように N T S C方式とハイ ビジョン方式とでは規 格が異なるからである。 このため、 N T S C方式の映像信号に応じた画 像をハイビジョン方式で表示しょうとする場合、 従来は例えば第 2 0図 に示すような画像情報変換装置を用いて映像信号のレ一卜変換を行って いた。 第 2 0図において、 上述した従来の画像情報変換装置は、 入力端子 1 5 1を介して供給される N T S C方式の映像信号 （ S Dデータ） の水平 方向の補間処理を行う水平補間フィル夕 1 5 2と、 水平方向の補間処理 の行われた映像信号の垂直方向の補間処理を行う垂直補間フィル夕 1 5 3とから構成されている。
具体的には、 水平補間フィルタ 1 5 2は、 第 2 1図に示すような構成 を有している。 第 2 1図の例は、 例えば縱続接続型の F I Rフィルタに より水平補間フィル夕 1 5 2を構成したものである。 第 2 1図において 、 1 6 1は、 S Dデータが供給される入力端子であり、 1 6 2。 〜： 1 6 2„ は、 それぞれフィルタ係数ひ。 〜α„ を S Dデータに乗じる乗算器 である。 1 6 3 0 〜： I 6 3 は、 それそれ加算器であり、 1 6 4 , 〜 1 6 4„ は、 時間 Τ ( Τ ： 1サンプリング周期） の遅延素子である。 出 力端子 1 6 5には、 水平補間された出力デ一夕が得られる。 この出力デ 一夕が垂直補間フィル夕 1 5 3へ供給される。
垂直補間フィルタ 1 5 3は、 水平補間フィルタ 1 5 2と同様の構成を 有しており、 水平補間処理の行われた映像信号に対して、 垂直方向の画 素の補間を行う。 これにより、 N T S C方式の映像信号に対して、 垂直 方向の画素の補間を行う。 このような変換のなされたハイビジョンの映 像信号 （H Dデータ） は、 ハイビジョン受像器に供給される。 これによ り N T S C方式の映像信号に応じた画像をハイビジョン受像器で表示す ることができる。
しかしながら、 上述の従来の画像情報変換装置は、 N T S C方式の映 像信号を基にして、 単に水平方向および垂直方向の補間を行っているに 過ぎないため、 解像度は基となる N T S C方式の映像信号と何ら変わら なかった。 特に、 通常の動画を変換対象とした場合、 垂直方向の補間を フィールド内処理で行うのが一般的である力 その場合、 画像のフィ一 ルド間相関を使用していないため、 画像静止部においては変換ロスによ り、 NT S C方式の映像信号よりもむしろ解像度が劣化する欠点があつ た。
これに対し、 出願人は、 特願平 6 - 205 934号の画像信号変換装 置において、 入力信号である画像信号レベルの 3次元 （時空間） 分布に 応じてクラス分割を行い、 クラス毎に予め学習により獲得された予測係 数値を格納した記憶手段を持ち、 予測式に基づいた演算により最適な推 定値を出力する、 というものを提案している。
この手法は、 HD (High Definition ) 画素を創造する場合、 創造す る H D画素の近傍にある S D (Standerd Definition ) 画素データを用 いてクラス分割を行い、 それそれのクラス毎に予測係数値を学習により 獲得することで、 画像静止部においてはフレーム内相関、 また動き部に おいてはフィールド内相関を利用して、 より真値に近い HD画素値を得 る、 というような巧妙なものである。
例えば、 第 2図および第 3図において示すような、 HD画素 y, 〜y 4 の創造を目的とした場合、 第 5図において示す S D画素 〜ms と S D画素 n, 〜n5 のそれぞれ空間的同一位置にある画素同士のフレー ム間差分の平均値を求め、 それをしきい値処理してクラス分類すること により、 主に動きの程度をクラス分類で行う。
同時に、 第 4図において示すような、 S D画素 〜k5 を ADR C (Adaptive Dynamic Range Coding ) 処理することにより、 少ないビッ 卜数で、 主に空間内の波形表現を目的としたクラス分類を行う。
上述の 2種類のクラス分類で決定されたクラス毎に、 第 9図において 示すような S D画素 X , 〜xZ5を使用して、 線形一次式をたて、 予測係 数値を学習により獲得する。 この方式は、 主に動きの程度を表すクラス 分類と、 主に空間内の波形を表すクラス分類とを別個に、 それそれに適 した形で行うため、 比較的少ないクラス数で高い変換性能を得られると いう特徴がある。 HD画素 yの推定演算は、 上述の手順で得られた予測 係数値 wn を用いて以下のような式 （ 1 ) で行われる。
y = w, X , +wz x2 + · - - +w„ xft ( 1 ) この例では、 n = 2 5である。
このように、 S Dデ一夕に対応する HDデータを推定するための係数 データを各クラス毎に予め学習により求めた上で、 ROMテーブルに格 納しておき、 入力される S Dデータおよび ROMテーブルから読み出し た係数デ一夕を出力することにより、 入力された S Dデータを単に補間 処理したものとは異なり、 実際の HDデータにより近いデータを出力す ることができるという特徴がある。
第 22図を用いて具体的に説明する。 入力端子 1 7 1から S D画素デ —夕が供給され、 その S D画素データは、 領域切り出し回路 1 7 2、 1 74および 1 78へ供給される。 領域切り出し回路 1 72では、 後段の NT S C回路 1 7 3において、 空間内の波形表現を目的としたクラス分 類を行うため、 第 4図において示すような、 S D画素 k, 〜k5 を切り 出し、 八011〇回路 1 7 3にぉぃて、 AD R C処理が施される。 領域切 り出し回路 1 74では、 後段の動きクラス决定回路 1 7 5において、 動 きの程度を目的としたクラス分類を行うため、 第 5図において示すよう な、 S D画素 m, 〜ms と S D画素 n, 〜ns とを切り出し、 動きクラ ス決定回路 1 7 5において、 それそれ空間的同一位置にある画素同士の フレーム間差分の平均値を求め、 それをしきい値処理してクラス分類す クラスコ一ド発生回路 1 7 6では、 AD R C回路 1 7 3からのクラス 分類と、 動きクラス決定回路 1 75からのクラス分類とから、 クラスが 生成される。 R〇 Mテーブル 1 7 7では、 生成されたクラスに応答する 予測係数が読み出される。 領域切り出し回路 1 7 8では、 後段の推定演 算回路 1 7 9において、 線形一次式による予測演算を行うため、 第 9図 において示すような S D画素 X , 〜x 25を切り出し、 推定演算回路 1 7 9において、 上述した式 （ 1 ) で示すような線形一次式により H Dデー タが出力端子 1 8 0を介して取り出される。
このような画像信号変換装置に用いられる積和演算回路を第 2 3図に 示す。 被乗数レジスタ 1 9 1からは、 複数の S Dデータが積和器 1 9 2 へ供給される。 この複数の S Dデータに対応するクラスコード c lass が ア ドレスコン トロール回路 1 9 3から乗数メモリ 1 9 4へ供給され、 乗 数メモリ 1 9 4では、 クラスコード c lass に応答する係数データが積和 器 1 9 2へ供給される。 積和器 1 9 2では、 S Dデータと係数データの 稹和演算が実行され、 その積和出力は、 出力端子 1 9 5から出力される この積和器 1 9 2の例として第 2 4図に示すように、 入力端子 2 0 1 から S Dデータが供給され、 その S Dデータは、 レジスタ 2 0 2を介し て乗算器 2 0 5へ供給される。 入力端子 2 0 3から係数データが供給さ れ、 その係数データは、 レジスタ 2 0 4を介して乗算器 2 0 5へ供給さ れる。 乗算器 2 0 5では、 S Dデータと係数データとが乗算され、 その 乗算出力は、 レジス夕 2 0 6を介して加算器 2 0 7へ供給される。 加算 器 2 0 7では、 2つの乗算出力が加算され、 その加算出力は、 レジスタ 2 0 8を介して加算器 2 0 9へ供給される。 加算器 2 0 9では、 さらに 2つの加算出力と加算され、 レジスタ 7 0を介して出力端子 7 1から積 和出力が出力される。
このように、 積和演算回路を用いた演算において、 予め乗数 （係数デ 一夕） をメモリ等に用意しておき、 画像の特徴 （すなわち、 クラス情報 ) によって乗数を可変できる構成が画像信号の変換に用いられていた。 ところで、 一般にこのクラス分類画像情報変換処理においては、 推定 演算に用いる画素の数が多くなるほど、 変換性能が向上する。 つまり、 式 （ 1 ) における nの値が大きくなればなるほど、 変換性能が向上する 。 これは、 一般的にいうところの大きなタップのフィルタを使うほど、 変換性能が向上する、 ということである。 また、 クラス数を多く して乗 数の種類を多くすることによって、 画像の推定の精度を向上することが できる。
しかしながら、 式 （ 1 ) において、 nの値の大きな変換装置を作ろう とすると、 係数を格納する R O Mテーブル、 そして推定演算を行う回路 の規模が非常に大きなものとなってしまう問題があった。
また、 クラス数を多くすると、 乗数の種類を多く持てば持つほど乗数 メモリの容量が増え、 ハード規模が増大するという問題点があった。 上記のように、 変換性能の良いクラス分類画像情報変換処理を実現し ようとする場合、 小規模で安価な回路を構成することは非常に困難であ つた。
発明の開示
したがつてこの発明の第 1の目的は小規模で安価な回路を用いても、 大きなタ ツブを使用する場合と同様の変換性能を保ったまま、 N T S C 方式の映像信号をハイ ビジョン用の映像信号に変換することができるよ うな画像情報変換装 および方法を提供することにある。
この発明の第 2の目的は、 大幅にハード規模を削減しても、 本来の性 能とほぼ等価な結果を得ることができる画像情報変換装置および方法を 提供することにある。
さらにこの発明の第 3の目的は、 上述した問題点を鑑みて、 ハード規 模を削減することができる積和演算回路および方法を提供することにあ o この発明は、 第 1のディジタル画像信号を、 より画素数の多い第 2の ディジ夕ル画像信号に変換するようにした画像情報変換装置において上 記課題を解決するためにわれわれは以下の構成を有する装置を開発した 。 第 1のディジ夕ル画像信号から所定の領域に存在する第 1のディジ夕 ル画像信号を切り出す画像領域切り出し手段と、 画像領域切り出し手段 により切り出された第 1のディジ夕ル画像信号のレベル分布のパターン を検出する手段と、 そのパターンに基づいて、 推定しょうとする第 2の ディジタル画像信号が属するクラスを決定し、 そのクラス情報を出力す るクラス决定手段と、 クラス情報毎に、 類似する係数データに対応して 第 1のディジタル画像信号の複数の夕ッブのデータをより少ない夕ヅブ のデータに統合するタッブ縮退手段と、 線形推定式の係数データであつ て、 類似する係数データごとに統合された係数がクラス情報毎に記憶さ れた係数データ記憶手段と、 統合された第 1のディジタル画像信号と統 合された係数データとを線形推定式を用いて第 2のディジタル画像信号 を推定する推定手段とからなることを特徴とする画像情報変換装置であ る o
この画像情報変換装置は、 入力 S D信号のうち、 創造すべき H D画素 の近傍に位置する S D画素のレベル分布のパターンを検出し、 この検出 したパターンに基づいて、 その領域の画像情報が属するクラスを決定し てクラス情報を出力する。 前記クラス情報は係数メモリのアドレスに対 応し、 あるクラスの係数が読み出される。 この係数はあらかじめ値の近 い係数が統合され縮退されている。 夕ップ縮退回路は各クラスごとに、 統合された係数と掛け合わされる S D画素データを係数と同じ条件で統 合する作用を有する。 このようにして、 見かけ上推定演算に用いられる 画素数の削除が行われる。 この統合は、 付加コードデータに基づいてな される係数データ記憶手段には、 外部から供給された画像情報をこの画 像情報よりも高い解像度の画像情報に変換するための情報である線形推 定式の係数データクラス毎に記憶されており、 この係数データは、 クラ ス検出情報に応じて出力される。 そして、 画像情報変換手段が係数デー 夕記億手段から供給された係数データに応じて、 外部から供給された画 像情報を、 その外部から供給された画像情報よりも高い解像度の画像情 報に変換する。
さらに本発明では、 第 1の画像データの持つパターンに基づいて推定 しょうとする第 2のディジタル画像信号が属するクラスを決定しそのク ラス情報を出力するクラス決定手段においてクラスコ一ドとなる Lビッ 卜のアドレスを Lビッ トより少ない Sビッ トに縮退するァドレス縮退手 段を有している。 アドレス縮退手段がァドレスを Lビッ トから Sビッ ト へ縮退させることによって、 係数メモリに記憶される係数デ一夕を減少 させることができる。 すなわち、 よりハード規模が削減されることにな
^ o
上記アドレスの縮退は一般に、 乗数および被乗数の積を加算すること によって、 ディジタルフィルタ演算を M夕ップで行うようにした積和演 算方法において有効であり、 乗数メモリをコントロールする Lビッ トの アドレスを Lビッ 卜より少ない Sビッ トに縮退するステップと、 Sビッ 卜のアドレスと対応する乗数データを乗数メモリから読み出すステップ と、 乗数メモリから読み出された乗数データと被乗数デ一夕との積和出 力を発生するステップとからなることを特徴とする。
図面の簡単な説明
第 1図は、 この発明に係る画像情報変換装置の一実施例のプロック図 である。
第 2図は、 S Dデ一夕と H Dデ一夕の位置関係を説明するための略線 図である。 第 3図は、 S Dデータと H Dデータの位置関係を説明するための略線 図である。
第 4図は、 空間クラス分類に使用するデ一夕を説明するための略線図 である。
第 5図は、 動きクラス分類に使用するデータを説明するための略線図 である。
第 6図は、 この発明のァドレス縮退メモリの一実施例を示すテーブル である。
第 7図は、 この発明のァドレス縮退メモリの一実施例を示すテーブル である。
第 8図は、 この発明のァドレス縮退演算回路の一実施例を示す回路図 である。
第 9図は、 推定演算に使用する画素を説明するための略線図である。 第 1 0図は、 補正データテーブルを作成する時の説明のための略線図 である。
第 1 1図は、 この発明に係る夕ヅブ縮退の一例のフローチャートであ る。
第 1 2図は、 補正データテーブルを作成する時の説明のための略線図 である。
第 1 3図は、 積和演算回路の一例である。
第 1 4図は、 この発明の積和演算回路の一実施例である。
第 1 5図は、 この発明の積和演算回路の他の実施例である。
第 1 6図は、 この発明に係る積和演算回路の一実施例である。
第 1 7図は、 この発明に係るタッブ縮退演算回路の一例の回路図であ る。
第 1 8図は、 この発明に係る積和演算回路の一例の回路図である。 第 1 9図は、 この発明に係る積和演算回路の一例の回路図である。 第 2 0図は、 従来の画像情報変換装置の回路図である。
第 2 1図は、 従来の画像情報変換装置の要部の回路図である。
第 2 2図は、 従来の画像変換装置における画像情報変換装置の例のブ ロック図である。
第 2 3図は、 従来の積和演算回路を示す回路図である。
第 2 4図は、 従来の信号補間回路を示す回路図である。
発明を実施するための最良の形態
以下、 この発明が適用された一実施例について図面を参照して説明す る。 この発明の一実施例の構成を第 1図に示す。 1で示す入力端子を介 して外部から供給される画像情報として、 例えばいわゆる N T S C方式 の映像信号がディジタル化され、 S Dデータとして供給される。
この実施例における、 S D画素と創造するべき H D画素の位置関係は 、 第 2図および第 3図に示す通りとする。 第 2図は、 水平方向および垂 直方向に現フィールドの S D画素、 前フィールドの S D画素、 現フィー ルドの H D画素および前フィールドの H D画素を表したものである。 第 3図は、 時間方向および垂直方向に S D画素と H D画素を表したもので ある。 このように、 創造するべき H D画素には、 同一フィールド内で見 たとき、 S D画素から近い位置に存在する H D画素 y , 、 y 2 と S D画 素から遠い位置に存在する H D画素 y 3 、 y * の 2種類がある。 以降、 S D画素から近い位置に存在する H D画素を推定するモードをモード 1 、 および S D画素から遠い位置に存在する H D画素を推定するモ一ドを モード 2と呼ぶ。
領域切り出し回路 2では、 入力端子 1 より供給された S D画像信号か ら、 主に空間内の波形表現のためのクラス分類 （以下、 空間クラスと称 する） に必要な画素を切り出す。 この実施例では、 例えば、 第 4図に示 すように創造するべき HD画素 y, 〜y2 の近傍に位置する 5つの S D 画素 k, 〜k5 を切り出す。 領域切り出し回路 2により抽出された S D データは、 A D R C回路 3に供給される。
AD R C回路 3は、 領域の S Dデ一夕のレベル分布のパターン化を目 的として、 各領域のデ一夕を、 例えば 8ビッ トの S Dデ一夕から 1 ビッ トの S Dデータに圧縮するような演算を行う。 これにより、 形成された パターン圧縮データをクラスコード発生回路 6に供給する。
本来 AD R Cは、 VTR向け高性能符号化用に開発された適応的再量 子化法であるが、 信号レベルの局所的なパターンを短い語長で効率的に 表現できるので、 この発明の実施例では、 信号パターンのクラス分類の コード発生に使用している。 ADR C回路は、 領域内のダイナミ ヅクレ ンジ DR、 ビッ ト割当を]!、 領域内画素のデータレベルを Le 、 再量子 化コードを Qとして以下の式 （ 2 ) により、 領域内の最大値 MAX と最小 値 MIN との間を指定されたビッ ト長で均等に分割して再量子化を行う。
D R = MAX - M I N+ 1
Q = C (Le -M I N+ 0. 5 ) . 2n /DR〕 （ 2 ) ただし、 〔 〕 は、 切り捨て処理を意味する。
この実施例では、 領域切り出し回路 2により分離されたそれそれ 5画 素の S Dデータを各 2ビッ 卜に圧縮するものとする。 圧縮された S Dデ 一夕をそれそれ q , 〜qs とする。
一方、 入力端子 1から供給された S D画像信号は、 領域切り出し回路 4にも供給される。 領域切り出し回路 4は、 主に動きの程度を表すため のクラス分類 （動きクラス） に必要な画素を切り出す働きをする。 この 実施例では、 例えば供給された S D画像信号から、 創造するべき HD画 素 y, 〜y2 に対して第 5図に示す位置に存在する 1 0個の S D画素 m 1 〜！ Us および n, 〜n5 を抽出する。 領域切り出し回路 4により切り出されたデータは、 動きクラス決定回 路 5に供給される。 動きクラス決定回路 5は、 供給された S Dデータの フレーム間差分を算出し、 その絶対値の平均値をしきい値処理すること により動きの指標である動きパラメータを算出する。 具体的には、 動き クラス決定回路 5は、 以下の式 （ 3 ) により、 供給される S Dデータの 差分の絶対値の平均値 param を算出する。
∑ I - I ( param = i«0 3) n ただし、 この実施例では、 n= 5である。
上述の手法で算出した S Dデータの差分の絶対値の平均値 param を、 例えば S Dデータの差分の絶対値のヒス トグラムを n等分するように予 め設定したしきい値により、 この S Dデータの差分の絶対値の平均値 pa ram を用いて動きクラス mv-classを算出する。 例えば、 ここでは動きク ラスを 4つ設けることとして、 S Dデータの差分の絶対値の平均値 para m の場合、 動きクラス mv-classを 0と決定し、 平均値 param ^ 4の 場合、 動きクラス mv- classを 1 と決定し、 平均値 param ≤ 8の場合、 動 きクラス mv-classを 2と決定し、 平均値 param > 8の場合、 動きクラス mv-classを 4と決定する。 このように設定された動きクラス mv-classが 、 クラスコード発生回路 6に供給される。
クラスコード発生回路 6は、 AD R C回路 3から供給されるパターン 圧縮データ （空間クラス） および動きクラス決定回路 5から供給される 動きクラス mv-classに基づいて以下の式 （ 4 ) の演算を行うことにより 、 そのブロックが属するクラスを検出し、 そのクラスを示すクラスコ一 ド class をタヅプ縮退 R OM 7および R OMテーブル 8に供給する。 す なわち、 クラスコード発生回路 6では、 空間クラスと動きクラスとから それらの合計のビッ ト数よりも少ないビッ ト数でそのプロックの属する クラスが検出される。 クラスコード c lass は、 タヅブ縮退 R O M 7およ び R O Mテーブル 8からの読み出しアドレスを示すものとなっている。 class = qi V)1 + mvjclass - Vn ( 4 ) この実施例では、 nは 5、 pは 2である。
また、 クラスコード発生回路 6は、 供給されたクラスコードを Lビッ トから Sビッ トへ縮退するためのデータ変換テーブルから構成されるも のとしても良い。 この場合、 クラスコード発生回路 6は、 Lビッ トびク ラスコードぃ class に対応する Sビッ トのクラスコードが読み出される 。 読み出されたクラスコード S-c lass は R O Mテーブル 8およびタップ 縮退 R O M 7の読み出しァドレスを示すものとなっている。
そして、 第 6図にそのクラスコード発生回路 6に用いることができる データ変換テーブルの一例を示す。 クラスコードい c ss は、 例えば 7 ビッ トのデータとなり、 この 7ビッ トのクラスコードは、 2ビッ トの主 に動きの程度を表すためのクラス分類と、 5ビッ トからなる主に空間内 の波形表現のためのクラス分類から構成される。 ここでは、 この 7ビッ トのクラスコードを 6ビッ 卜のクラスコードへ縮退する。
この第 6図に示すように動きクラス mv-c lassは、 0、 1、 2で表され る。 動きクラス mv-classが 0の場合、 縮退の前後でアドレス数の変化は なく、 動きクラス mvc lass が 1および 2の場合、 縮退の前後でアドレス 数が 1 / 2に縮退される。 このため、 合計のアドレス数は、 縮退するこ とで 9 6から 6 4となり、 6ビッ 卜で表現することが可能となる。
また、 第 7図に示すように動きクラス mv-classを 0、 1、 2、 3で表 すことも可能である。 このとき、 動きクラス mv-c lassが 0、 1および 2 の場合は、 上述と同じように縮退される。 しかしながら、 動きクラス mv -classが 3の場合、 動きクラス mv-classが 2と同じアドレスに縮退がな される。 例えば、 縮退前のァドレスが 6 4の場合、 縮退後のァドレスは 、 4 8となり、 同様に縮退前のアドレスが 9 6の場合、 縮退後のアドレ スは、 4 8となる。 また、 縮退前のアドレスが 8 4の場合、 縮退後のァ ドレスは、 5 8となり、 同様に縮退前のア ドレスが 1 1 6の場合、 縮退 後のァドレスは、 5 8 となる。
クラスコード発生回路 6は、 上記のように縮退メモリを有するほか、 縮退演算回路によってもクラスコードを縮退できる。 縮退演算回路の詳 細な回路図を第 8図に示す。 入力端子 2 1、 2 2から動きクラス mv- c la ssが供給され、 A L U (加算器） 2 8に入力される。 入力端子 2 3から 空間クラスの L S Bが供給され、 入力端子 2 4からの空間クラスの 2 n d— L S Bビッ トが供給され、 入力端子 2 5から空間クラスの 3 r d— M S Bが供給され入力端子 2 6から空間クラスの 2 n d— M S Bが供給 され、 入力端子 2 7から空間クラスの M S Bが N 供給される。 これら入 力端子 2 3〜 2 6からのビッ トはシフ トレジスタ 2 9へ供給される。 シフ トレジスタ 2 9の入力側の M S Bは接地され、 シフ トレジス夕 2 9の入力側の 2 n d— M S Bには空間クラスの M S Bのビヅ 卜が供給さ れ、 シフ トレジスタ 2 9の入力側の 2 n d— L S Bには空間クラスの 2 n d— L S Bが供給され、 シフ トレジスタ 2 9の入力側の L S Bには空 間クラスの L S Bが供給される。
シフ トレジスタ 2 9では、 外部から Nビヅ トシフ 卜のコン トロールを する制御信号が供給される。 この制御信号は動きクラス mv-c lassに対応 するものである。 ここでは 1 ビッ トシフ 卜の制御信号が供給される。 動 きクラスが 0の場合、 シフ トレジスタ 2 9では下位 5 ビヅ 卜が A L U 2 8の他方の入力側へ供給され、 動きクラス mv- c lassが 0でない場合、 供 給されたビヅ 卜が L S B側へ 1 ビッ トずつシフ トされる。 シフ トされた データは ALU 28の他方の入力側に供給される。 ALU 2 8では入力 されたデータを合成して、 5ビッ トのデ一夕としてレジスタ 30を介し て出力端子 3 1から出力される。
さて、 既に説明した通り、 従来のクラス分類画像情報変換装置におい ては、 領域切り出し回路 9から供給された画素データ X , 〜xn をクラ スコード発生回路 6で决定されたクラスコ一ド class を読み出しァドレ スとして、 ROMテーブル 8から所定の係数データ w, 〜wn を読み出 し、 それを上述した式 （ 1 ) で推定演算回路 1 1において、 掛け合わせ ることで、 S D画像デ一夕から HD画像データへの変換を行っていた。 ここで、 変換性能を重視して nの値を大きく取ると、 ROMテーブル 8 および推定演算回路 1 1がともに大きなものとなってしまい、 小規模な ハードウエアで高性能の変換を実現しょうとする際の大きな障害となつ ていた。
ところで、 式 （ 1 ) で nを大きく とった場合、 つまり一般的な言葉で 言うと大きなタツプを使用した場合の係数データの実際の例を見てみる と、 例えば以下に示すような値をとる。
- 0. 0484、 - 0. 0748、 + 0. 1 297、 + 0. 0 53 2 、 — 0. 08 1 0、 + 0. 1 875、 一 0. 367 9、 + 1. 5 57 1 、 + 0. 2390、 - 0. 0400、 + 0. 0 1 2 5、 - 0. 007 6 、 一 0. 33 1 0、 — 0. 1 554、 + 0. 0344、 - 0. 2683 、 + 0. 0384、 + 0. 2333、 - 0. 057 6、 一 0. 0084 これらの値を見ると、 絶対値的に小さく、 また似通った値を持つ係数 データが多いことが判る。 そこで、 この発明においては、 後述するよう に、 絶対値の似通った係数データが統合され、 統合された係数データに 含まれる元の係数データに対応する S D画素デ一夕を統合するように、 タッブ縮退がなされる。 このタップ縮退で得られた統合画素データを推 定演算で使用する。 また、 この統合画素データを用いて学習を行うこと により得られた統合係数デ一夕を使用し、 以下のような推定演算を行う y = w n I x ( x I + x 7 - x 1 1 ) +wn2 x ( - x z + x 23) +w η3 χ (χ4 —χ8 ) + · · · + νηηηχ (χ3 — Χ ΐ8) ( 5 ) ここで、 nnは nより小さな自然数であり、 wnは統合係数データであ る。
なお、 この統合係数デ一夕の生成方法については、 後述する。 このよ うに、 統合係数データを使用することで、 ほとんど性能低下を引き起こ さずに、 タップ数を大幅に削減することが出来、 高性能で小規模なハー ドウエアの実現が可能になる。
クラスコード発生回路 6の出力信号が供給される夕、ソプ縮退 ROM 7 には、 統合画素デ一夕 （式 （ 5 ) 中の （X , +x7 - X . , ) など） を作 成するための情報が付加コードデータとして格納されている。 具体的に は、 もともとの画素データをどの統合係数データ （式 （ 5 ) 中の wn, など） に掛け合わせるかということを示す情報と、 その際のブラス/マ ィナスの符号が付加コードデータとして、 格納されている。 また、 この 付加コードデータは、 クラス毎に設定されている。 タップ縮退 ROM 7 からは、 クラスコード class で示されるアドレスから、 そのクラスの統 合画素データ生成のための付加コードデータが読み出され、 この付加コ —ドデ一夕は、 タップ縮退回路 1 0へ供給される。
一方、 入力 S Dデータは、 領域切り出し回路 9にも供給される。 領域 切り出し回路 9は、 第 6図に示すような位置にある、 推定演算に使用す る 2 5個の S Dデ一夕 X, 〜x25を切り出す。 領域切り出し回路 9の出 力信号は、 タップ縮退回路 1 0に供給される。 タップ縮退回路 1 0は、 既に説明したような方法/主旨により、 供給された 2 5個の S Dデ一夕 を夕ップ縮退 R OM 7から供給された付加コードデータに従い、 例えば 8個の統合画素データに変換する。
クラスコ一ド発生回路 6の出力信号が供給されるもうひとつの ROM テーブル 8には、 統合係数データ （式 （ 5 ) 中の wn, など） が格納さ れている。 これは従来のクラス分類画像情報変換装置の R OMテーブル と同様に統合画素データのパターンと H Dデータの関係を学習すること により、 線形推定式を用いて、 統合画素データに対応する HDデータを 算出するための統合係数データがクラス毎に記憶される。 これは、 線形 推定式により S Dデータ （統合画素データ） をこの画像情報よりも高い 解像度の画像情報である、 いわゆるハイ ビジョンの規格に合致した HD データに変換するための情報である。 この実施例において、 統合係数デ —夕は、 モード 1とモード 2で独立に用意される。 なお、 ROMテープ ル 8に記憶されている統合係数データの作成方法については後述する。 ROMテーブル 8からは、 クラスコード class で示されるアドレスから 、 そのクラスの統合係数デ一夕である wrii (class ) が読み出される 。 この統合係数データは、 推定演算回路 1 1に供給される。
推定演算回路 1 1は、 タッブ縮退回路 1 0から供給される 8個の統合 画素デ一夕と、 ROMデータテ一ブル 8から供給される統合係数データ に基づいて、 入力された S Dデータに対応する HDデータを算出する。 統合画素データを χ η, 〜χ ηβ 、 統合係数デ一夕を wn, 〜wnB とすることにより、 具体的には、 推定演算回路 1 1は、 タッブ縮退回路 1 0から供給される統合画素デ一夕である χ η! 〜χ ηβ と ROMテ一 ブル 8より供給された統合係数データである wn , 〜wne により、 モ —ド 1に関してはブロック 1用の係数を用いて、 モード 2に関してはブ ロック 2用の係数を用いて、 それそれ式 （ 6 ) に示す演算を行うことに より、 入力された S Dデ一夕に対応する H Dデータ h d ' を算出する。 作成された HDデータ hd ' は、 出力端子 1 2から出力される。 この出 力端子 1 2を介して出力される HDデータは、 例えば HDテレビジョン 受像器や HDビデオテープレコーダ装置等に供給される。
hd = w n！ X n 1 + w n 2 x n 2 + · · · + w n β x n 8
( 6 )
この発明の方式では、 絶対値的に似通った値を持つ係数データを統合 し、 また S D画素データを統合して統合画素データとして扱い、 その統 合画素デ一夕を用いて学習により統合係数データを得ることで、 ROM テーブルに格納する係数データの大きさや、 推定演算回路の大きさを非 常にコンパク トにすることができる。 一方、 新たに夕ッブ縮退 ROMと タップ縮退回路を持つ必要があるが、 一般的にこの増大分は、 係数デー 夕や推定演算回路の減少分に比して充分に小さい。
続いて、 タ ヅブ縮退 R OM 7に格納される付加コ一ドデータおよび R OMテーブル 8に格納される統合係数デ一夕の学習方法について、 第 1 0図、 第 1 1図および第 1 2図を用いて説明する。 ちなみに、 第 1 0図 において説明する範囲においては、 従来の方式との差異はなく、 第 1 1 図および第 1 2図において説明を行う部分において、 この発明の独自性 がある。
第 1 0図に示すように、 係数データを学習によって得るためには、 ま ず、 既に知られている HD画像に対応した HD画像の 1/4の画素数の S D画像を形成する。 まず、 入力端子 33を介して HDデータが供給さ れる。 供給された H Dデータの垂直方向の画素を垂直間引きフィル夕 3 4によりフィ一ルド内の垂直方向の周波数が 1 / 2になるように間引き 処理され、 さらに水平間引きフィルタ 35により、 HDデータの水平方 向の画素が間引き処理される。
このように、 作成された S Dデータは、 領域切り出し回路 3 6、 3 8 および 4 1に供給される。 一方、 入力端子 3 3に供給された H Dデ一夕 は、 正規方程式加算回路 4 2に供給される。 領域切り出し回路 3 6では 、 空間クラス分類を行うために、 供給された S D画像信号から必要な画 素を切り出す。 具体的には、 領域切り出し回路 3 6は、 先に説明した領 域切り出し回路 2と同一の働きをする。 切り出された S Dデ一夕は、 A D R C回路 3 7に供給される。
0 11 0回路3 7は、 領域毎に供給される S Dデ一夕の 1次元的、 あ るいは 2次元的なレベル分布のパターンを検出するとともに、 上述のよ うに各領域の全てのデ一夕、 あるいは一部のデータを、 例えば 8ビッ ト の S Dデータから 2ビッ 卜の S Dデータに圧縮するような演算を行うこ とによりパターン圧縮データを形成し、 このパターン圧縮データをクラ スコード発生回路 4 0に供給する。 八0 1¾〇回路3 7は、 先に説明した A D R C回路 3と同一のものである。
—方、 領域切り出し回路 3 8に供給された S D画像信号は、 動きクラ ス分類のために必要なデ一夕切り出しが行われる。 具体的には、 領域切 り出し回路 3 8は、 先に説明した領域切り出し回路 4と同一の働きをす るものである。 領域切り出し回路 3 8により切り出された S Dデ一夕は 、 動きクラス決定回路 3 9に供給される。 動きクラス決定回路 3 9は、 具体的には、 先に説明した動きクラス決定回路 5と同一の働きをするも のである。 動きクラス決定回路 3 9で決定された動きクラスはクラスコ 一ド発生回路 4 0に供給される。
クラスコード発生回路 4 0は、 先に説明したクラスコ一ド発生回路 6 と同一のものであり、 A D R C回路 3 7から供給されるパターン圧縮デ 一夕 （空間クラス） および動きクラス決定回路 3 9から供給された動き クラス mv-cl assに基づいて式 （ 4 ) の演算を行うことにより、 そのプロ ヅクが厲するクラスを検出し、 そのクラスを示すクラスコードを出力す るものである。 クラスコード発生回路 4 0は、 クラスコードを正規方程 式加算回路 4 2に出力する。
—方、 領域切り出し回路 4 1に供給された S D信号は、 推定演算に使 用する S D画素データが切り出される。 領域切り出し回路 4 1は、 具体 的には、 先に説明した領域切り出し回路 9と同一のものであり、 動きク ラス mv-classに応じて、 線形推定式に必要な S D画素を切り出す働きを する。 領域切り出し回路 4 1の出力は、 正規方程式加算回路 42に供給 される。 このとき、 図示しないが領域切り出し回路 4 1の前段に遅延回 路を配置することによって、 領域切り出し回路 4 1から正規方程式加算 回路 42へ供給するデータのタイ ミング合わせが行われる。
ここで、 正規方程式加算回路 42の説明のために、 複数個の S D画素 から HD画素への変換式の学習とその予測式を用いた信号変換について 述べる。 以下では、 説明のために画素をより一般化して n画素による予 測を行う場合について説明する。 S D画素レベルをそれぞれ、 x i 、 X 2 、 · · ·、 x„ として、 それそれに pビッ ト ADR Cを行った結果の 再量子化データを q t 、 q2 、 · · ·、 q« とする。 このとき、 この領 域のクラスコード class を式 （4 ) で定義する。
上述のように S D画素レベルをそれそれ X！ 、 xz 、 · · ·、 xn と し、 HD画素レベルを yとしたとき、 クラス毎に係数 w, 、 w2 、 · · · 、 wn による nタップの線形推定式を設定する。 これを上述した式 （ 1 ) に示す。 学習前は、 Wi が未定係数である。
学習は、 クラス毎に複数の信号データに対して行う。 データ数が mの 場合、 式 （ 1 ) にしたがって、 式 （ 7 ) が設定される。
y k = w i xki + w2 X k2 + - · - +w„ xkft 、 7 ) (k = 1、 2、 · · · m)
m>nの場合は、 w, 、 w2 、 · · · wn は一意に決まらないので、 誤差べク トル eの要素を式 （8 ) で定義して、 式 （ 9 ) を最小にする係 数を求める。 いわゆる、 最小自乗法による解法である。
e k = y k - {w, Xki + wz xk2+ · · - +w„ xk„} (8 ) (k = 1、 2、 · · · m)
(9) λ·0 ここで、 式 （ 9 ) の Wi による偏微分係数を求める。 それは以下の式 ( 1 0 ) を 0にするように、 各 Wi を求めればよい。
dt
^ λ-0 "
以下、 式 （ 1 1 ) および式 （ 1 2 ) のように、 X Yi を定義すると 、 式 （ 1 0) は、 行列を用いて式 （ 1 3) に書き換えられる。 '· = ∑Xpi'Xpj ( 1 1)
Y. X ki ( 12)
X、 In
Λ2ΐ Xn 2n
13)
Figure imgf000023_0001
この方程式は、 一般に正規方程式と呼ばれている。 正規方程式加算回 路 42は、 クラスコ一ド発生回路 40から供給されたクラスコード clas s 、 領域切り出し回路 3 0より供給された S Dデータ X , 、 x2 、 ♦ · ·、 xn 、 入力端子 33より供給された S Dデータに対応する H D画素 レベル yを用いて、 この正規方程式の加算を行う。 全てのトレーニングデータの入力が終了した後、 正規方程式加算回路 4 2は、 予測係数決定回路 4 3に正規方程式データを出力する。 予測係 数決定回路 3 1は、 正規方程式を掃き出し法などの一般的な行列解法を 用いて、 W i について解き、 予測係数を算出する。 予測係数決定回路 4 3は、 算出された予測係数をメモリ 4 4に書き込む。
以上のように トレーニングを行った結果、 メモリ 4 4には、 クラス毎 に注目 H Dデータ yを推定するための、 統計的にもっとも真値に近い推 定ができる予測係数が格納される。 しかしながら、 変換性能を重視する と、 タップ数が大きくなり、 係数データを格納する R O Mと推定演算回 路の規模が大きくなるのは既に説明した通りである。
そこで、 この発明の画像情報変換装置では、 上述した手法により得ら れたメモリ 4 4内の予測係数 （係数データ） を用いて、 まず夕ップ縮退 R O M 7に格納される付加コードデータの生成を行う。 既に説明を行つ た通り、 メモリ 4 4には、 各クラス毎に予測係数が格納されているが、 上述したように、 その中には各クラス毎に見た場合でも、 絶対値的に多 くの似通った係数データが存在する。 これら、 絶対値的に似通った係数 データに対して縮退を施し、 縮退された係数データに基づいて S D画素 データを統合して統合画素データとして扱い、 その統合画素データを用 いて学習することによって、 より少数の統合係数データを生成する。 まず、 付加コードデータを生成するにあたって、 例えば係数データを w , 〜w l 7とし、 仮の統合係数データを w n , 〜w n 7 とした場合、 係 数データと仮の統合係数データの差分絶対値和が最小となるような仮の 統合係数データを採用する。 この仮の統合係数データと係数データから 係数データに対応する S D画素デ一夕がどの仮の統合係数データと掛け 合わされるかという情報と、 その係数デ一夕のブラス/マイナスの符号 からなる付加コードデータが生成され、 クラス毎に夕ップ縮退 R O Mに 記憶される。 以下、 第 1 1図を用いて、 このタップ縮退 R O Mに格納さ れる付加コ一ドデータを生成する一例を説明する。
第 1 1図のフローチャートは、 ステップ S 1から始まり、 このステツ プ S 1では、 供給される n個の係数デ一夕の絶対値化が施される。 ステ ヅブ S 2では、 絶対値化が施された n個の係数データの平均値が算出さ れる。 また、 ステップ S 3では、 絶対値化が施された ri個の係数データ の最大値が算出される。 ステップ S 4では、 ステップ S 2で算出された 平均値、 ステップ S 3で算出された最大値および 0 . 0の 3つが仮の代 表値 Aとして設定される。
ステップ S 5では、 絶対値化された n個の係数データが 3つの仮の代 表値 Aのどれに一番近い値かを判断し、 仮の代表値 A毎に 3つのグルー ブが生成される。 そして、 生成されたグループ毎に平均値が求められる 。 求められた 3つの平均値は、 新たな仮の代表値 Bとして設定される。 このとき、 仮の代表値 Aの 0 . 0は、 常に 0 . 0とする。 ステップ S 6 では、 仮の代表値 Bの数が n n + 1個あるか否かが判断される。 仮の代 表値 Bの数は、 n n + 1個であると判断された場合、 制御はステップ S 7へ移り、 仮の代表値 Bの数は、 n n + 1個ないと判断された場合、 制 御はステップ S 8へ移る。
ステップ S 8では、 絶対値化された n個の係数データが、 ステップ S 5で設定された仮の代表値 Bのどれに一番近い値かを判断し、 仮の代表 値 B毎にグループが生成される。 このとき、 各グループに含まれた各係 数データとそのグループの仮の代表値 Bに対する最大誤差をグループ毎 に算出する。 グループ毎に算出された最大誤差の最も大きかったグルー プの仮の代表値 Bの値は、 ± 0 . 0 0 0 1を加算し、 2つに分けられ、 この 2つを新たに仮の代表値 Aとして再設定する。 すなわち、 仮の代表 値の数が 1つ増えることになる。 ステヅブ S 7では、 n n + 1個の仮の 代表値 Bから 0. 0が取り除かれ、 n n個の仮の代表値 Bが最終的な代 表値として決定される。
以下、 上述したフローチヤ一卜を実際に数値を挙げて具体的に説明す る。 ここでは、 一例として n個の係数データを 1 7個とし、 最終的な n n個の仮の代表値を 7個とする。 まず、 1 7個の係数データとその対応 する番号を以下に示す。
〔0〕 0. 078 855008
〔 1〕 - 0. 0 1 4829 5 2 0
〔2〕 - 0. 20 1 6 796 9 2
〔3〕 - 0. 006 2439 1 0
〔4〕 0. 1 89 737246
〔 5〕 - 0. 048 7 66 8 5 1
〔6〕 0. 1 2 1 0 56 1 92
〔7〕 - 0. 2 37494633
〔8〕 1. 29 1 1 00 144
〔9〕 0. 2 60 707 706
〔10〕 一 0. 063 1 44088
〔11〕 0. 0 1 6 8 28740
〔12〕 一 0. 47 54994 2 1
〔13〕 0. 03 1 004 1 70
〔14〕 0. 054 7 9402 1
〔15〕 一 0. 0 2 6 7 1 45 7 1
〔16〕 0. 0 34 3 1 206 9
ステップ S 1では、 この 1 7個の係数デ一夕に対して絶対値化が施さ れ、 ステップ S 2では、 絶対値化された係数データから平均値が算出さ れる。 その平均値は、 0. 1 854569である。 さらに、 ステップ S 3では、 絶対値化された係数データから最大値が算出される。 その最大 値は、 1. 29 1 1 0 0 1である。 ステップ S 4では、 この平均値およ び最大値に加えて 0. 0を仮の代表値 Aとして設定する。 以下、 説明を 容易とするため、 仮の代表値 Aおよび Bに数字を付する。 この 3つから なる仮の代表値 A 1を以下に示す。
(仮の代表値 A 1 ) : 0. 0、 0. 1 8545 6 9、 1. 2 9 1 1 0 0 1
ステップ S 5では、 絶対値化された係数データとこの仮の代表値 A 1 の差分を求め、 最も近い仮の代表値にグループ分けがなされる。 さらに 、 グループ毎に平均値が算出され、 仮の代表値 B 1が設定される。 この 3つからなる仮の代表値 B 1を以下に示す。
(仮の代表値 B 1 ) : 0. 0、 0. 247 6 958、 1. 29 1 1 0 0 1
ステップ S 6では、 仮の代表値 Bが nn+ 1個あるか否かが判断され る。 ここで、 仮の代表値 B 1の数は、 8個ではないので、 ステップ S 6 からステップ S 8へ制御が移る。 ステップ S 8では、 絶対値化された係 数データと仮の代表値 B 1の差分を求め、 最も近い仮の代表値にグルー プ分けがなされる。 さらに、 グループ内の絶対値化された係数データと 仮の代表値 B 1との誤差が最も大きくなる仮の代表値 B 1に対して ± 0 . 000 1を加算する。 この例では、 0. 0が最も大きな誤差を含む仮 の代表値となるため、 0. 0に ± 0. 000 1を加算する。 これらを加 えて、 仮の代表値 A 2が設定される。 4つからなる仮の代表値 A 2を以 下に示す。
(仮の代表値 A 2 ) ： - 0. 000 1 000、 0. 000 1 000、 0. 24 76 9 58, 1. 2 9 1 1 00 1
ステップ S 5では、 上述と同様の処理が施され、 仮の代表値 B 2が設 定される。 4つからなる仮の代表値 B 2を以下に示す。
(仮の代表値 B 2 ) : 0. 0、 0. 04 5 14 08、 0. 2 7 3 23 7、 1. 29 1 1 00 1
ステップ S 6を介してステップ S 8へ制御が移り、 ステップ S 8では 、 上述と同様の処理が施され、 仮の代表値 A 3が設定される。 5つから なる仮の代表値 A 3を以下に示す。
(仮の代表値 A 3 ) : 0. 0、 0. 04 5 1 408、 0. 27 2 92 3 7、 0. 273 1 2 3 7、 1. 29 1 1 00 1
ステップ S 5では、 上述と同様の処理が施され、 仮の代表値 B 3が設 定される。 5つからなる仮の代表値 B 3を以下に示す。
(仮の代表値 B 3 ) ： 0. 0、 0. 057 3309、 0. 22240 48、 0. 47 54 9 94、 1. 29 1 1 00 1
ステップ S 6を介してステップ S 8へ制御が移り、 ステップ S 8では 、 上述と同様の処理が施され、 仮の代表値 A 4が設定される。 6つから なる仮の代表値 A 4を以下に示す。
(仮の代表値 A 4 ) : 0. 0、 0. 0572309、 0. 05743 09、 0. 22 24048、 0. 47 54 9 94、 1. 2 9 1 1 00 1 ステップ S 5では、 上述と同様の処理が施され、 仮の代表値 B 4が設 定される。 6つからなる仮の代表値 B 4を以下に示す。
(仮の代表値 B 4 ) : 0. 0、 0. 042 2 1 93、 0. 087 68 5 1、 0. 2 2 24 048 s 0. 4754 994、 1. 2 9 1 1 00 1 ステップ S 6を介してステップ S 8へ制御が移り、 ステップ S 8では 、 上述と同様の処理が施され、 仮の代表値 A 5が設定される。 7つから なる仮の代表値 A 5を以下に示す。
(仮の代表値 A 5 ) : 0. 0、 0. 04 22 1 9 3、 0. 087 6 8 5 1、 0. 2 2 23 04 8、 0. 22 2 504 8、 0. 47 54 9 94 、 1. 2 9 1 1 00 1
ステップ S 5では、 上述と同様の処理が施され、 仮の代表値 B 5が設 定される。 7つからなる仮の代表値 B 5を以下に示す。
(仮の代表値 B 5 ) : 0. 0、 0. 04 3 1 2 2 6、 0. 0 9 99 5 5 6、 0. 1 9 5 708 5、 0. 24 9 1 0 1 2、 0. 4 7 54 994 、 1. 29 1 1 00 1
ステップ S 6を介してステップ S 8へ制御が移り、 ステヅブ S 8では 、 上述と同様の処理が施され、 仮の代表値 A 6が設定される。 8つから なる仮の代表値 A 6を以下に示す。
(仮の代表値 A 6 ) : 0. 0、 0. 0430226、 0. 04 3 2 2 26、 0. 0 999 5 5 6、 0. 1 9 5 7085、 0. 24 9 1 0 1 2 、 0. 47 54994、 1. 2 9 1 1 00 1
ステップ S 5では、 上述と同様の処理が施され、 仮の代表値 B 6が設 定される。 8つからなる仮の代表値 B 6を以下に示す。
(仮の代表値 B 6 ) : 0. 0、 0. 0306769、 0. 0 55 5 6 83、 0. 09 995 5 6、 0. 1 9 5 7085、 0. 249 1 0 1 2 、 0. 47 54994、 1. 2 9 1 1 00 1
ステツプ S 6では、 仮の代表値 B 6の数が 8つ有るか否かが判断され るため、 ステップ S 7へ制御が移る。 以下に 8つからなる仮の代表値 B 6とそのグループに含まれる 1 7個の係数データの番号を示す。
『0』 1. 2 9 1 1 00 1 〔 8〕
『 1』 0. 47 54 994 〔12〕
『2』 0. 249 1 0 1 2 〔 7〕 〔9〕
『3』 0. 1 95 7 085 〔 2〕 〔4〕
『4』 0. 09 9 9 5 56 〔0〕 〔6〕
『5』 0， 05 5 5 6 83 〔5〕 〔10〕 〔14〕 『6』 0. 0 3 0 6 7 6 9 · . · 〔11〕 〔13〕 〔15〕 〔16〕 『7』 0. 0 0 0 0 0 00 · - · 〔 1〕 〔 3〕
ステップ S 7では、 仮の代表値 B 6から 0. 0が取り除かれ最終的な 代表値として決定される。
これによつて、 1 7個の係数データが 7個の仮の代表値 B 6 (仮の統 合係数データ） のどのグループに含まれているかが判断される。 そのグ ループに含まれる係数データは、 係数データ同士まとめることができる ので、 係数データに対応する S D画素データもまとめることができ、 統 合画素デ一夕を作成することができる。 どのグループに含まれるか、 言 い換えればどの仮の代表値 Bと掛け合わされるかの情報および係数デ一 夕のプラス/マイナスの符号からなる付加コ一ドデータが生成される。 この付加コ一ドデータが記憶された夕ップ縮退 ROMが、 既に説明し た第 1図中のタツプ縮退 R OM 7およびこれから説明を行う第 1 2図中 のタツブ縮退 ROM 54に相当する。
さて、 上述のように作成されたメモリ 44に格納されたデ一夕は、 係 数データであり、 統合係数データでなはい。 第 1 1図のフローチャート により最終的に求められた仮の統合係数データを統合係数データとして 、 使用することも可能だが、 ここでは、 より最適な統合係数データを生 成するためのプロセスに入る。
第 1 2図に示すように、 まず入力端子 4 6を介して HDデータが供給 される。 供給される H Dデータの垂直方向の画素を垂直方向間引きフィ ルタ 4 7によりフ ィ一ルド内の垂直方向の周波数が 1 / 2になるように 間引き処理され、 さらに水平間引きフィルタ 4 8により、 HDデータの 水平方向の画素が間引き処理される。 垂直間引きフィルタ 4 7は、 垂直 間引きフィルタ 3 4と、 水平間引きフィルタ 4 8は、 水平間引きフィル 夕 3 5と同じものである。 このように作成された S D画素データは、 領域切り出し回路 4 9、 5 1および 5 5に供給される。 これら第 1 2図中の回路のほとんどは、 第 1 0図中の相当する部分と全く同じ働きをするので、 その部分に関して は説明を省略する。
さて、 クラスコード発生回路 5 3は、 クラスコード class をタップ縮 退 R O M 5 4と正規方程式加算回路 5 7に出力する。 夕ップ縮退 R O M 5 4は、 夕ッブ縮退 R O M 7と全く同じものであり、 上述した第 1 0図 により作成される。 タップ縮退 R O M 5 4からは、 供給されたクラスコ —ド c lass に応じて付加コードデータが読み出される。 この付加コード データは、 上述したように S D画素データを統合するための情報および ブラス/マイナスの符号からなり、 夕ッブ縮退 R O M 5 4からタ ヅプ縮 退回路 5 6へ供給される。
—方、 領域切り出し回路 5 5に供給された S D信号は、 推定演算に使 用する S D画素データが切り出される。 領域切り出し回路 5 5は、 具体 的には、 先に説明した領域切り出し回路 9と同一のものであり、 動きク ラス mv-c lassに応じて、 線形推定式に必要な S D画素デ一夕を切り出す 働きをする。 領域切り出し回路 5 5の出力は、 夕ッブ縮退回路 5 6へ供 給される。
タッブ縮退回路 5 6では、 供給された付加コ一ドデ一夕に応じて切り 出された S D画素データが統合画素データに統合される。 具体的には、 上述したようにまとめることが可能な S D画素データに対して符号を付 加し、 加算することによって、 統合画素データが生成される。 生成され た統合画素データは、 正規方程式加算回路 5 7に供給される。
正規方程式加算回路 5 7、 予測係数決定回路 5 8およびメモリ 5 9の 働きについては既に詳しく述べた正規方程式加算回路 4 2、 予測係数決 定回路 4 3およびメモリ 4 4と全く同様なので説明は省略する。 以上のように トレーニングを行った結果、 メモリ 5 9には、 クラス毎 に注目 H Dデータ yを推定するための、 統計的にもっとも真値に近い推 定値ができる予測係数 （統合係数データ） が格納される。 以上の処理に より、 線形推定式により、 S D画素データから H Dデータを作成するた めの統合係数データの学習が終了する。 このメモリ 5 9が第 1図で使用 される R O Mテーブル 8である。
上述した一実施例における推定演算回路 1 1の周辺のタップ縮退を適 用しない既存の場合の構成を第 1 3図に示す。 被乗数レジス夕 6 1から 被乗数として、 例えば S Dデータが積和器 6 4へ供給される。 この S D データに基づいたァドレスがア ドレスコン トロール回路 6 2から乗数メ モリ 6 3へ供給される。 乗数メモリ 6 3では、 供給されたアドレスに応 答する、 例えば係数デ一夕が読み出され、 その係数データは、 積和器 6 4へ供給される。 積和器 6 4では、 上述した式 （ 1 ) に示されるように 積和演算が実行され、 その演算結果は、 出力端子 6 5から出力される。 次に、 この発明のクラスコード発生回路 6の一実施例を第 1 4図に示 す。 被乗数レジスタ 6 6から複数の画素デ一夕が積和器 6 7へ供給され る。 アドレスコントロール回路 6 8では、 Lビッ トのクラスコードい c l ass が縮退演算回路 6 9へ供給される。 縮退演算回路 6 9では、 上述し たように、 供給された Lビッ 卜のクラスコ一ドレ c lass を Sビッ トのク ラスコード S-c lass へ縮退を行う演算が実行される。 縮退がなされたク ラスコード S-c lass は、 縮退演算回路 6 9から係数メモリ 7 0へ供給さ れる。 係数メモリ 7 0では、 クラスコ一ド S-c lass に応答する係数デ一 夕が読み出され、 積和器 6 7へ供給される。 積和器 6 7では、 画素デ一 夕と係数デ一夕との積和演算が実行され、 その積和出力は、 出力端子 7 1から出力される。
また、 この発明のクラスコ一ド発生回路 6の他の実施例を第 1 5図に 示す。 なお、 他の実施例を説明するにあたり、 上述した一実施例と同一 の部分には同一の符号を付し、 その説明は、 省略する。 Lビッ トのクラ スコ一ドレ class が供給されたァ ドレス縮退メモリ 7 2は、 供給された Lビヅ 卜のクラスコ一ド L-class を Sビッ 卜のクラスコ一ド S-class へ 縮退するための、 デ一夕変換テーブルから構成される。 よって、 Lビッ 卜のクラスコ一ド L-ciass に対応する Sビッ 卜のクラスコ一ド S-ciass が読み出され、 読み出されたクラスコード S- class は、 係数メモリ 7 0 へ供給される。
次に、 上述した一実施例におけるタヅプ縮退を含む具体的構成の他の 例を第 1 6図に示す。 この第 1 6図に示す各ブロックは、 第 1図に示す ブロックと以下に示すように対応している。 アドレスコントロール回路 7 4はクラスコ一ド発生回路 6に対応し、 コン トロールメモリ Ί 5は夕 ップ縮退 R OM 7に対応し、 タッブ縮退演算回路 7 6は夕ッブ縮退回路 1 0に対応し、 乗数メモリ 7 7は R OMテーブル 8に対応し、 積和器 7 8は推定演算回路 1 1に対応している。
被乗数レジスタ 7 3から被乗数として、 例えば S Dデータがタ ッブ縮 退演算回路 Ί 6へ供給される。 この S Dデータに基づいてア ドレスコン トロール回路 Ί 4からアドレスがコン トロールメモリ 7 5および乗数メ モリ 7 7へ供給される。 コン トロールメモリ 7 5では、 供給されたァド レスに応答して蓄えられたデータがタツブ縮退演算回路 7 6へ供給され o
タップ縮退演算回路 7 6は、 このデータによって制御される。 その夕 ッブ縮退演算回路 7 6では、 供給された S Dデータを、 例えば 2 5個の S Dデータから 9個の S Dデータへ縮退され、 積和器 7 8へ供給される 。 乗数メモリ 7 7では、 ア ドレスコン ト ロール回路 7 4からのア ドレス によって選択された係数データが積和器 7 8へ供給される。 積和器 7 8 では、 上述した式 （ 1 ) に示されるように積和演算が実行され、 その演 算結果は、 出力端子 7 9から出力される。
ここで、 タッブ縮退演算回路 7 6に用いられた具体的な回路図を第 1 7図に示す。 被乗数レジスタ 7 3から夕ップ縮退演算回路 7 6に供給さ れた N個の S Dデータ Di ( 1 i≤ N ) は、 入力端子 8 1 , 〜 8 1 N を介してレジスタ 82 , 〜8 2N へ供給される。 N個の S Dデ一夕 Di は、 レジス夕 82 , 〜82N を介して出力され、 K組のセレクタ 8 3 , 〜 83 κ (Κ <Ν) へ供給される。 セレクタ 83 , 〜83κ では、 予め 最適化された結果に応じて S Dデータ D i が選択される。 例えば、 図に 示すようにセレクタ 8 3 , 〜 83 κ では、 4入力の何れかのパスが選択 される。 選択された S Dデータ D i は、 スルー/ 2の補数回路 84 , 〜 84κ へ供給される。
スルー /2の補数回路 84 , 〜84κ では、 供給される制御信号に応 じて SDデータ Di に対して何も処理をすることなく通過させるか、 ま たは 2の補数に変換する処理が実行される。 2の補数への変換は、 S D データ Di のビッ トの 1 /0を反転させ、 L S Bに ' を付加する処 理である。 このとき、 2の補数に変換するか否かを選択する必要がない 場合、 セレクタ 83 , 〜83κ からの出力をレジスタ 8 5 , 〜 8 5κ に 直結する場合もあり得る。 スルー / 2の補数回路 84 , 〜 84Κ の出力 は、 レジスタ 85 , 〜8 5κ を介して演算部へ供給される。
レジス夕 85 t からのデータ S , は、 レジス夕 8 6、 8 7および 8 8 からなる演算部を介して出力端子 89から縮退データ R, として出力さ れる。 この演算部では、 タイ ミングを合わせのレジスタから構成され、 供給されたデ一夕 S , は、 何も処理が施されることなく出力される。 レ ジスタ 8 52 および 853 からのデータ S 2 および S 3 は、 加算器 9 0 において、 加算される。 その加算結果は、 レジスタ 9 1、 9 2および 9 3を介して出力端子 9 4から縮退データ R 2 として出力される。 この演 算部では、 2つのデ一夕 S 2 および S 3 の加算がなされる。
加算器 9 5では、 2つのデータ Sが加算され、 レジス夕 9 6を介して 加算器 9 9へ供給される。 加算器 9 7では、 1つまたは 2つのデータ S が加算され、 レジスタ 9 8を介して加算器 9 9へ供給される。 加算器 9 9では、 既に加算された 2つのデータが加算され、 その加算結果は、 レ ジス夕 1 0 0および 1 0 1を介して出力端子 1 0 2から縮退データ R 3 として出力される。 この演算部では、 3つまたは 4つのデータ Sの加算 がなされる。
加算器 1 0 3では、 2つのデータ Sが加算され、 レジス夕 1 0 4を介 して加算器 1 0 7へ供給される。 加算器 1 0 5では、 2つのデータ Sが 加算され、 レジス夕 1 0 6を介して加算器 1 0 7へ供給される。 加算器 1 0 7では、 既に加算された 2つのデータが加算され、 その加算結果は 、 レジス夕 1 0 8を介して加算器 1 1 5へ供給される。
加算器 1 0 9では、 1つまたは 2つのデータ Sが加算され、 レジスタ 1 1 0を介して加算器 1 1 3へ供給される。 加算器 1 1 1では、 1つま たは 2つのデータ Sが加算され、 レジス夕 1 1 2を介して加算器 1 1 3 へ供給される。 この加算器 1 1 1では、 データが供袷されず加算結果の 出力がない場合もある。 加算器 1 1 3では、 既に加算された 2つのデー 夕が加算され、 その加算結果は、 レジスタ 1 1 4を介して加算器 1 1 5 へ供給される。
加算器 1 1 5では、 レジスタ 1 0 8および 1 1 4から供給される 2つ のデータが加算され、 その加算結果は、 レジス夕 1 1 6を介して出力端 子 1 1 7から縮退データ R M として出力される。 この演算部では、 5つ 以上、 8つ以下のデータ Sの加算がなされる。
このように、 データ D t 〜D N は、 セレクタ 8 3 , 〜 8 3 κ によって 選択され、 データ s , 〜SK として、 何種類かの入力数を持った加算器 (演算部） に供給される。 この演算部の入力数は、 K個あり、 セレクタ と演算部の接続も、 どのタップを接続して何個の加算演算をしたらよい か最適化された結果接続されている。 そして、 最終的に Nタップのフィ ル夕とほぼ等価となる縮退データ R, 〜RM を得ることができる。 ただ し、 タップ数の関係は、 M<Kく Nとする。
第 1 8図および第 1 9図は、 乗算器を備えた積和器 7 8の構成例であ り、 ここでは、 4タヅブの場合を例にしている。 大きく分けて、 第 1 8 図に示すように、 被乗数を順次供給することによってパイプラインで積 和演算を行う場合と、 第 1 9図に示すように、 被乗数を同時に供給し、 パラレルで加算を行う場合とに大別される。 この発明は、 第 1 9図に示 す構成からなる。
まず、 第 1 8図の積和演算回路から説明する。 入力端子 1 2 1から供 給される被乗数 （画素データ） は、 レジスタ 1 2 2を介して乗算器 1 2 5 , 〜 1 2 54 へ供給される。 入力端子 1 2 3 , 〜 1 234 から供給さ れる乗数 （係数） は、 それそれレジスタ 1 24 t 〜 1 244 を介して乗 算器 1 2 5 , 〜 1 2 54 へ供給される。 乗算器 1 2 5 , 〜 1 2 54 では 、 被乗数と乗数の乗算が実行され、 その乗算結果は、 レジスタ 1 2 6 , 〜 1 2 64 へ供給される。 レジスタ 1 2 6 , からのデ一夕は、 レジスタ 1 27 , を介して加算器 1 28 , へ供給される。 加算器 1 2 8 , では、 レジス夕 1 27 , からのデータとレジス夕 1 2 62 からの 1サンブリン グ後のデータとが加算される。
加算器 1 2 8 , からの加算出力は、 レジス夕 1 272 を介して加算器 1 282 へ供給される。 加算器 1 282 では、 レジス夕 1 2 72 からの データとレジスタ 1 2 63 からの 1サンプリング後のデータとが加算さ れる。 加算器 1 282 からの加算出力は、 レジスタ 1 2 73 を介して加 算器 1 2 83 へ供給される。 加算器 1 283 では、 レジスタ 1 2 73 か らのデ一夕とレジスタ 1 2 64 からの 1サンプリング後のデータとが加 算される。 加算器 1 283 からの加算出力は、 レジス夕 1 2 74 を介し て出力端子 1 2 9から出力される。
次に、 この実施例において積和器 7 8に適用可能な構成例を第 1 9図 に示す。 入力端子 1 3 1 , 〜 1 3 14 から被乗数 （画素データ） が供給 され、 その被乗数は、 レジスタ 1 3 2 , 〜 1 3 24 を介して乗算器 1 3 5 , 〜 1 3 54 へ供給される。 入力端子 1 3 3 , 〜 1 334 から乗数 （ 係数） が供給され、 その被乗数は、 レジスタ 1 34 , 〜 1 344 を介し て乗算器 1 35 , 〜 1 3 54 へ供給される。 乗算器 1 3 5 , 〜 1 3 54 では、 被乗数と乗数の乗算が行われ、 その乗算結果は、 それそれレジス 夕 1 3 6 , 〜 1 3 64 を介して加算器 1 3 7 , および 1 3 72 へ供給さ れ 。
加算器 1 37 , では、 レジスタ 1 3 6 , および 1 362 からのデータ が加算され、 その加算結果は、 レジスタ 1 38 , を介して加算器 1 39 へ供給される。 加算器 1 372 では、 レジス夕 1 3 63 および 1 3 64 からのデータが加算され、 その加算結果は、 レジスタ 1 382 を介して 加算器 1 39へ供給される。 加算器 1 3 9では、 レジス夕 1 3 8 , およ び 1 3 82 からのデータが加算され、 その加算結果は、 レジス夕 1 40 を介して出力端子 1 4 1から出力される。
なお、 この実施例の説明では、 空間波形を少ないビッ ト数でパターン 化する情報圧縮手段として、 AD R Cを設けることにした力 これはほ んの一例であり、 信号波形のパターンの少ないクラスで表現できるよう な情報圧縮手段であれば何を設けるかは自由であり、 例えば D P CM ( Differential Pulse Code Modulation) や VQ (Vector Quantization ) 等の圧縮手段を用いても良い。 この発明に依れば、 もともとの類似の係数データを持つ、 S D画像デ —夕を予め統合することで、 見かけ上の画素数を減らすことで、 変換性 能を保ったままコンパク トな推定演算回路および係数 R O Mを実現する ことができる。
さらに、 この発明に依れば、 乗数メモリと積和器のハード規模をかな り大きく削減することができるため、 大幅にハード規模を削減できる。 また、 夕ヅブ縮退は、 本来 N夕ヅプのフィルタ演算を Mタップ （M < N ) のフィルタ演算にほぼ等価的に置き換え、 入力が画像データであるた め、 乗数が画像の特性を反映した数値になっており、 タップ縮退を行つ ても等価な演算が行えるようタツプ縮退回路を構成できることによって 、 本来の性能とほぼ等価的なデ一夕が得ることができる。

Claims

請求の範囲
1 . 第 1のディジタル画像信号を、 より画素数の多い第 2のディジタ ル画像信号に変換するようにした画像情報変換装置において、
上記第 1のディ ジタル画像信号から所定の位置の上記第 1のデイジ夕 ル画像信号を切り出す画素切り出し手段と、
上記画素切り出し手段により切り出された上記第 1のディジ夕ル画像 信号のレベル分布のパターンを検出し、 上記パターンに基づいて推定し ようとする上記第 2のディ ジタル画像信号が属するクラスを決定してク ラス情報を出力するクラス決定手段と、
上記クラス情報毎に、 類似する係数データに対応して上記第 1のディ ジタル画像信号の複数の夕ヅブのデータをより少ないタッブのデータに 統合する夕ップ縮退手段と、
線形推定式の係数データを上記クラス情報毎に記憶する係数データ記 億手段と、
上記統合された第 1のディジタル画像信号と上記係数データとの線形 推定式により上記第 2のディジタル画像信号を推定する推定手段と からなることを特徴とする画像情報変換装置。
2 . 特許請求の範囲 1に記載の画像情報変換装置において、
上記第 1のディジタル画像信号から N夕ッブのデータを出力する N夕 ヅプレジス夕と、
上記 Nタッブを上記 N夕ッブょり短い L夕ッブへ縮退する夕 'ソプ縮退 手段と、
上記タッブ縮退手段を制御するクラス決定手段と、
上記係数データと上記 Lタップとを用いて積和演算を実行する推定手 段とからなることを特徴とした画像情報変換装置。
3 . 特許請求の範囲 1に記載の画像情報変換装置において、 上記夕 ッブ縮退手段は、
予め求められた付加コ一ドデータに従って、 上記第 1のディジタル画 像信号の夕ッブのデータを統合するようになされていることを特徴とす る画像情報変換装置。
4 . 特許請求の範囲 3に記載の画像情報変換装置において、
上記 n個の係数データを絶対値化するステップと、
上記 n個の係数データの平均値を算出するステツブと、
上記 n個の係数データの最大値を算出するステップと、
上記平均値、 上記最大値および基準値を第 1の代表値として設定する ステップと、
絶対値化された上記 n個の係数データを上記第 1の代表値に応じたグ ループに分類し、 分類された第 1のグループ毎に平均値を算出し、 上記 第 1のグループ毎の平均値を第 2の代表値として設定するステップと、 上記第 2の代表値の数が上記 n n + 1個か否かを判断するステップと 、
上記第 2の代表値の数が上記 n n + 1個でないと判断された場合、 絶 対値化された上記 n個の係数データを上記第 2の代表値に応じたグルー プに分類し、 分類された第 2のグループ毎に平均値を算出し、 絶対値化 された上記 n個の係数データと、 上記第 2のグループ毎の平均値との誤 差の最大となる上記第 2のグループの平均値を 2つに分けるために、 定 数を加減算することによって算出された値および上記第 2のグループ毎 の平均との誤差の最大となる値を除く上記第 2のグループ毎の平均値を 第 1の代表値として再設定するステツブと、
上記第 2の代表値の数が上記 n n + 1個であると判断された場合、 上 記第 2の代表値から上記基準値が取り除かれた n n個の第 2の代表値が 上記 n n個の係数データとして出力されるステップとからなる処理に基 づいて、 上記付加コードデ一夕を生成することを特徴とする画像情報変 換装置。
5 . 特許請求の範囲 4に記載の画像情報変換装置において、
上記基準値は、 上記第 1の代表値から上記第 2の代表値へ設定する場 合、 および上記第 2の代表値から上記第 1の代表値へ再設定する場合に おいても変更しないことを特徴とする画像情報変換装置。
6 . 特許請求の範囲 4に記載の画像情報変換装置において、
上記基準値は、 0とし、
上記 0は、 グループ毎の平均値および/または定数を加減算すること によって、 変更されることがないことを特徴とする画像信号変換装置。
7 . 第 1のディジタル画像信号を、 より画素数の多い第 2のデイジ夕 ル画像信号に変換するようにした画像情報変換方法において、
上記第 1のディジタル画像信号から所定の位置の上記第 1のディ ジタ ル画像信号を切り出すステップと、
切り出された上記第 1のディジタル画像信号のレベル分布のパターン を検出し、 上記パターンに基づいて推定しょうとする上記第 2のディジ タル画像信号が属するクラスを決定してクラス情報を出力するステップ と、
上記クラス情報毎に、 類似する係数デ一夕に対応して上記第 1のディ ジタル画像信号の複数のタヅプのデータをより少ないタヅブのデ一夕に 統合するステップと、
線形推定式の係数データを上記クラス情報毎に記憶するステツプと、 上記統合された第 1のディジ夕ル画像信号と上記係数デ一夕との線形 推定式により上記第 2のディジ夕ル画像信号を推定するステップと からなることを特徴とする画像情報変換方法。
8 . 第 1のディジタル画像信号を、 より画素数の多い第 2のディジタ ル画像信号に変換するようにした画像情報変換装置において、 上記第 1のディジタル画像信号から所定の位置の上記第 1のディジ夕 ル画像信号を切り出す画素切り出し手段と、
上記画素切り出し手段により切り出された上記第 1のディジタル画像 信号に基づいたパターンを検出し、 上記パターンに基づいて推定しょう とする上記第 2のデイ ジ夕ル画像信号が属するクラスを決定して Lビッ 卜のア ドレスをクラス情報として出力するクラス決定手段と、
上記 Lビッ 卜のァドレスを上記 Lビッ トより少ない Sビッ トに縮退す るァドレス縮退手段と、
線形推定式の係数データを記憶し、 上記 S ビッ トのア ドレスと対応す る係数データが読み出される係数データ記億手段と、
読み出された上記係数データと上記第 1のディジタル画像信号との線 形推定式により上記第 2のディジタル画像信号を推定する推定手段と からなることを特徴とする画像情報変換装置。
9 . 第 1のディジタル画像信号を、 より画素数の多い第 2のデイ ジ夕 ル画像信号に変換するようにした画像情報変換方法において、
上記第 1のディ ジタル画像信号から所定の位置の上記第 1のディジ夕 ル画像信号を切り出すステップと、
切り出された上記第 1のディジ夕ル画像信号に基づいたパターンを検 出し、 上記パターンに基づいて推定しょうとする上記第 2のディジタル 画像信号が属するクラスを決定して Lビッ 卜のア ドレスをクラス情報と して出力するステップと、
上記 Lビッ 卜のアドレスを上記 Lビッ 卜より少ない Sビッ 卜に縮退す るステップと、
線形推定式の係数データを記憶し、 上記 S ビッ トのア ドレスと対応す る係数データが読み出されるステップと、 読み出された上記係数データと上記第 1のディジ夕ル画像信号との線 形推定式により上記第 2のディ ジタル画像信号を推定するステップと からなることを特徴とする画像情報変換方法。
1 0 . 乗数および被乗数の積を加算することによって、 ディ ジ夕ルフィ ル夕演算を Mタツプで行うようにした積和演算回路において、
乗数メモリをコン トロールする Lビヅ 卜のァドレスを上記 Lビッ トよ り少ない Sビッ トに縮退するァドレス縮退手段と、
上記 Sビッ トのァドレスと対応する乗数データを上記乗数メモリから 読み出す乗数データ読出手段と、
上記乗数メモリから読み出された上記乗数データと被乗数データとの 積和出力を発生する演算手段と
からなることを特徴とする積和演算回路。
1 1 . 特許請求の範囲 1 0に記載の積和演算回路において、
入力信号がディジ夕ル画像信号であり、 上記乗数デ一夕が係数デ一夕 であり、 上記被乗数データが画素データであり、
上記ディ ジタル画像信号のレベル分布のパターンに基づいて、 推定し ようとする画素データが属するクラスを決定して上記 Lビッ トのァドレ スをクラス情報として出力するクラス決定手段を有し、
上記ァドレス縮退手段によって、 上記 Lビッ トが上記 Sビッ 卜へ縮退 され、 縮退された上記 Sビッ トのクラス情報に応答して、 上記乗数メモ リから係数データが読み出され、 上記演算手段によって、 上記画素デー 夕と上記係数データとを積和演算するようにしたことを特徴とする積和 演算回路。
1 2 . 特許請求の範囲 1 0に記載の積和演算回路において、
上記アドレス縮退手段は、
メモリに記憶されたデータ変換テーブルによって、 上記 Lビッ トのァ ドレスを sビッ 卜のアドレスに縮退させるようにしたことを特徴とする 積和演算回路。
1 3 . 特許請求の範囲 1 0に記載の積和演算回路において、
上記ァ ドレス縮退手段は、
上記 Lビッ 卜のア ドレスを上位ビッ 卜および下位ビッ 卜に分割し、 上記上位ビッ 卜の状態に応じて、 上記下位ビ 'ソ 卜を Nビッ トシフ ト し 上記上位ビ 'ソ 卜と上記 Nビッ トシフ トされた下位ビッ トとを加算し、 上記 Lビッ トのァ ドレスを上記 Sビヅ トのァドレスに縮退させるよう にしたことを特徴とする積和演算回路。
1 4 . 乗数および被乗数の積を加算することによって、 ディ ジタルフ ィルタ演算を Mタップで行うようにした積和演算方法において、 乗数メモリをコン トロールする Lビッ 卜のアドレスを上記 Lビッ 卜よ り少ない Sビッ トに縮退するステップと、
上記 Sビッ トのァドレスと対応する乗数データを上記乗数メモリから 読み出すステッブと、
上記乗数メモリから読み出された上記乗数データと被乗数データとの 積和出力を発生するステップと
からなることを特徴とする積和演算方法。
要 約 書
ADR C回路 3では、 領域切り出し回路 2において、 切り出された S Dデ一夕から空間クラスが生成され、 動きクラス決定回路 5では、 領域切り出し回路 4において、 切り出された S Dデータから動きクラ スが生成される。 クラスコード発生回路 6は、 空間クラスと動きクラ スからクラスコードを発生する。 タヅプ縮退 R OM 7は、 クラスコー ド毎に S Dデ一夕のタヅプを縮退する付加コ一ドデータがタップ縮退 回路 1 0へ供給され、 タップ縮退回路 1 0では、 領域切り出し回路 9 によって切り出された S Dデータが縮退される。 推定演算回路 1 1で は、 クラスコードに応答した係数データが ROMテーブル 8から供給 され、 縮退された S Dデータとの線形推定式により HDデ一夕が得ら れる。
PCT/JP1997/001852 1996-05-30 1997-05-30 Device and method for converting image information and circuit and method for operating sum of products WO1997046014A1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE69731872T DE69731872T2 (de) 1996-05-30 1997-05-30 Vorrichtung und verfahren zur bildinformationsumwandlung
US09/011,115 US6057885A (en) 1996-05-30 1997-05-30 Picture information converting apparatus and method thereof and sum-of-product calculating circuit and method thereof
EP97924276A EP0843475B1 (en) 1996-05-30 1997-05-30 Picture information converting apparatus and method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP15890596A JP3767019B2 (ja) 1996-05-30 1996-05-30 積和演算回路および方法
JP8/158905 1996-05-30
JP8/263708 1996-09-12
JP26370896A JP3890638B2 (ja) 1996-09-12 1996-09-12 画像情報変換装置および方法

Publications (1)

Publication Number Publication Date
WO1997046014A1 true WO1997046014A1 (en) 1997-12-04

Family

ID=26485881

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP1997/001852 WO1997046014A1 (en) 1996-05-30 1997-05-30 Device and method for converting image information and circuit and method for operating sum of products

Country Status (5)

Country Link
US (1) US6057885A (ja)
EP (3) EP0843475B1 (ja)
KR (1) KR100478070B1 (ja)
DE (3) DE69731872T2 (ja)
WO (1) WO1997046014A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4158232B2 (ja) * 1998-07-23 2008-10-01 ソニー株式会社 画像情報変換装置および画像表示装置
JP4147632B2 (ja) 1998-08-24 2008-09-10 ソニー株式会社 画像情報変換装置、画像情報変換方法、およびテレビジョン受像機
JP4140091B2 (ja) * 1998-09-14 2008-08-27 ソニー株式会社 画像情報変換装置および画像情報変換方法
JP4135229B2 (ja) 1998-09-29 2008-08-20 ソニー株式会社 映像信号の変換装置および変換方法、並びにそれを使用した画像表示装置およびテレビ受信機
EP1033886A4 (en) * 1998-09-30 2008-04-02 Sony Corp ARITHMETIC DEVICE, CONVERTER AND METHODS RELATING THERETO
JP4470323B2 (ja) * 1999-04-23 2010-06-02 ソニー株式会社 画像変換装置および方法
EP1104190A4 (en) * 1999-04-28 2006-04-19 Sony Corp DEVICE AND METHOD FOR CONVERTING IMAGE SIGNALS
JP4517264B2 (ja) * 2000-12-26 2010-08-04 ソニー株式会社 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、並びに情報提供媒体
US7042513B2 (en) * 2001-01-22 2006-05-09 Sony Corporation Information signal processing device, information signal processing method, image signal processing device, image signal processing method and image displaying method using it, coefficient kind data generating device and method used therein, and computer readable medium and program
JP4691812B2 (ja) * 2001-03-29 2011-06-01 ソニー株式会社 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法
WO2003065712A1 (fr) * 2002-01-30 2003-08-07 Sony Corporation Appareil, procede et programme destines a generer des donnees de type coefficient ou des donnees de coefficient utilisees dans un appareil d'affichage d'image, et support lisible par ordinateur contenant ce programme
JP3777599B2 (ja) * 2002-04-23 2006-05-24 ソニー株式会社 画像情報変換装置および方法、係数算出装置および方法、係数データおよび係数データ記憶装置、画質劣化箇所検出装置および方法、記録媒体、並びにプログラム
JP4265291B2 (ja) 2003-06-06 2009-05-20 ソニー株式会社 情報信号の処理装置および処理方法、並びに情報信号の処理方法を実行するためのプログラム
JP4238678B2 (ja) * 2003-09-08 2009-03-18 ソニー株式会社 受信装置および受信方法、記録媒体、並びにプログラム
US8655108B2 (en) 2007-09-19 2014-02-18 Sharp Laboratories Of America, Inc. Adaptive image up-scaling technique
US8543625B2 (en) * 2008-10-16 2013-09-24 Intelliscience Corporation Methods and systems for analysis of multi-sample, two-dimensional data
WO2018189619A1 (ja) 2017-04-10 2018-10-18 株式会社半導体エネルギー研究所 半導体装置、電子部品、及び電子機器

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05328185A (ja) * 1992-05-22 1993-12-10 Sony Corp ディジタルデータ変換装置および方法
JPH0779418A (ja) * 1993-06-18 1995-03-20 Sony Corp 画像信号変換装置
JPH07154642A (ja) * 1993-11-25 1995-06-16 Sony Corp ディジタル画像信号処理装置
JPH0851598A (ja) * 1994-08-04 1996-02-20 Sony Corp 画像情報変換装置
JPH08130744A (ja) * 1994-11-02 1996-05-21 Sony Corp テレビジヨン受像装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0816903B2 (ja) * 1986-09-17 1996-02-21 富士通株式会社 積和演算回路
US5182633A (en) * 1991-04-12 1993-01-26 Abekas Video Systems, Inc. Video sample rate converter
KR100360206B1 (ko) * 1992-12-10 2003-02-11 소니 가부시끼 가이샤 화상신호변환장치
JP3271108B2 (ja) * 1993-12-03 2002-04-02 ソニー株式会社 ディジタル画像信号の処理装置および方法
JP3946781B2 (ja) * 1994-08-08 2007-07-18 ソニー株式会社 画像情報変換装置及び方法
JP3319667B2 (ja) * 1994-12-20 2002-09-03 松下電器産業株式会社 映像フォーマット変換装置
US5852470A (en) * 1995-05-31 1998-12-22 Sony Corporation Signal converting apparatus and signal converting method
US5784116A (en) * 1995-06-29 1998-07-21 Motorola Inc. Method of generating high-resolution video
US5835160A (en) * 1995-09-13 1998-11-10 Oak Technology, Inc. Sampling rate conversion using digital differential analyzers
US5732251A (en) * 1996-05-06 1998-03-24 Advanced Micro Devices DSP with register file and multi-function instruction sequencer for vector processing by MACU

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05328185A (ja) * 1992-05-22 1993-12-10 Sony Corp ディジタルデータ変換装置および方法
JPH0779418A (ja) * 1993-06-18 1995-03-20 Sony Corp 画像信号変換装置
JPH07154642A (ja) * 1993-11-25 1995-06-16 Sony Corp ディジタル画像信号処理装置
JPH0851598A (ja) * 1994-08-04 1996-02-20 Sony Corp 画像情報変換装置
JPH08130744A (ja) * 1994-11-02 1996-05-21 Sony Corp テレビジヨン受像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP0843475A4 *

Also Published As

Publication number Publication date
EP1445949B1 (en) 2006-06-28
DE69735968D1 (de) 2006-06-29
EP0843475A4 (en) 2000-04-12
DE69731872T2 (de) 2005-11-24
EP0843475A1 (en) 1998-05-20
DE69731872D1 (de) 2005-01-13
KR100478070B1 (ko) 2005-09-14
EP1420585B1 (en) 2006-05-24
DE69736257D1 (de) 2006-08-10
DE69736257T2 (de) 2007-06-28
US6057885A (en) 2000-05-02
KR19990036105A (ko) 1999-05-25
DE69735968T2 (de) 2007-01-18
EP1420585A1 (en) 2004-05-19
EP0843475B1 (en) 2004-12-08
EP1445949A1 (en) 2004-08-11

Similar Documents

Publication Publication Date Title
WO1997046014A1 (en) Device and method for converting image information and circuit and method for operating sum of products
US6335990B1 (en) System and method for spatial temporal-filtering for improving compressed digital video
JP2002218413A (ja) 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置および生成方法、係数データ生成装置および生成方法、並びに情報提供媒体
WO2004034702A1 (en) A unit for and method of image conversion
WO1998026607A1 (fr) Dispositif de conversion de signaux et procede correspondant
JP3890638B2 (ja) 画像情報変換装置および方法
JP3674186B2 (ja) 画像情報変換装置および方法
JP3946781B2 (ja) 画像情報変換装置及び方法
JPWO2002058386A1 (ja) 情報信号処理装置、情報信号処理方法、画像信号処理装置、画像信号処理方法およびそれを使用した画像表示装置、それに使用される係数種データ生成装置および生成方法、並びにコンピュータ読み取り可能な媒体およびプログラム
JP2002199353A (ja) 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、並びに情報提供媒体
JP3400055B2 (ja) 画像情報変換装置及び画像情報変換方法並びに画像処理装置及び画像処理方法
KR20040103428A (ko) 계수의 생성 장치 및 생성 방법, 클래스 구성의 생성 장치및 생성 방법, 정보 신호 처리 장치, 및 각 방법을실행하기 위한 프로그램
JP3723995B2 (ja) 画像情報変換装置および方法
JP3724008B2 (ja) 画像情報変換装置および係数データ作成装置
EP1636987B1 (en) Spatial signal conversion
JP4139979B2 (ja) 画像変換装置および方法、並びに記録媒体
JP3826434B2 (ja) 信号変換装置および方法
JP3767019B2 (ja) 積和演算回路および方法
JP3800638B2 (ja) 画像情報変換装置および方法
JP3653287B2 (ja) 画像情報変換装置及び画像情報変換方法
JP4062326B2 (ja) 係数生成装置および方法
JP4001143B2 (ja) 係数生成装置および方法
JP3824176B2 (ja) 画像信号変換方法、画像信号変換装置及び画像信号伝送装置
JP3922286B2 (ja) 係数学習装置および方法
JP2006121737A (ja) 積和演算回路

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): KR US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH DE DK ES FI FR GB GR IE IT LU MC NL PT SE

WWE Wipo information: entry into national phase

Ref document number: 1997924276

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 1019980700772

Country of ref document: KR

Ref document number: 09011115

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWP Wipo information: published in national office

Ref document number: 1997924276

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 1019980700772

Country of ref document: KR

WWG Wipo information: grant in national office

Ref document number: 1997924276

Country of ref document: EP

WWG Wipo information: grant in national office

Ref document number: 1019980700772

Country of ref document: KR