WO2012114574A1 - 画像拡大装置及び方法 - Google Patents

画像拡大装置及び方法 Download PDF

Info

Publication number
WO2012114574A1
WO2012114574A1 PCT/JP2011/073222 JP2011073222W WO2012114574A1 WO 2012114574 A1 WO2012114574 A1 WO 2012114574A1 JP 2011073222 W JP2011073222 W JP 2011073222W WO 2012114574 A1 WO2012114574 A1 WO 2012114574A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
change amount
resolution image
value
interpolation
Prior art date
Application number
PCT/JP2011/073222
Other languages
English (en)
French (fr)
Inventor
正太郎 守谷
聡 山中
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2013500828A priority Critical patent/JP5701374B2/ja
Priority to US13/983,523 priority patent/US9020303B2/en
Priority to CN201180068016.0A priority patent/CN103380615B/zh
Publication of WO2012114574A1 publication Critical patent/WO2012114574A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/393—Enlarging or reducing
    • H04N1/3935—Enlarging or reducing with modification of image resolution, i.e. determining the values of picture elements at new relative positions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H04N1/4092—Edge or detail enhancement

Definitions

  • the present invention relates to an image enlargement apparatus and method.
  • an image processing apparatus that performs image enlargement that switches an interpolation method according to an edge shape is known.
  • the edge portion is prevented from being deteriorated due to the interpolation calculation by switching the interpolation method when a predetermined edge shape is detected.
  • detection of a predetermined edge shape is performed by comparing an edge pattern with a predetermined pattern.
  • the edge shape detection result may not be optimal depending on the edge shape.
  • An image enlarging apparatus includes: An image enlarging device that generates a high resolution image from a low resolution image, When the high-resolution image is superimposed on the low-resolution image, a position where pixels in the high-resolution image overlap is set as a target position, and a pixel value when it is assumed that a pixel exists at the position for each target position
  • An interpolation calculation unit obtained by interpolation calculation using pixel values of a plurality of pixels in the low-resolution image and an interpolation coefficient for the plurality of pixels; Among the plurality of pixels in the low-resolution image, an interpolation coefficient calculation unit that obtains the interpolation coefficient having a larger value as to a pixel having a strong correlation with the target pixel, and outputs the interpolation coefficient to the interpolation calculation unit,
  • the interpolation coefficient calculation unit A first change amount calculation unit for obtaining a first change amount with respect to a first direction around the pixel of each pixel of the low resolution image
  • An image enlargement method includes: An image enlargement method for generating a high resolution image from a low resolution image, When the high-resolution image is superimposed on the low-resolution image, a position where pixels in the high-resolution image overlap is set as a target position, and a pixel value when it is assumed that a pixel exists at the position for each target position
  • An interpolation calculation step that is determined by an interpolation calculation using pixel values of a plurality of pixels in the low-resolution image and an interpolation coefficient for the plurality of pixels; Among the plurality of pixels in the low-resolution image, there is an interpolation coefficient calculation step for obtaining the interpolation coefficient having a larger value for a pixel having a strong correlation with the target pixel, and outputting the interpolation coefficient to the interpolation calculation step.
  • the interpolation coefficient calculating step includes A first change amount calculating step for obtaining a first change amount with respect to a first direction around the pixel of each pixel of the low resolution image; A second change amount calculating step for obtaining a second change amount in a second direction around the pixel for each pixel of the low resolution image; Direction indication data representing a direction with strong correlation using the first interpolation change amount obtained by interpolating the first change amount and the second interpolation change amount obtained by interpolating the second change amount.
  • the angle of the edge or the shape of the edge is not classified into any of the predetermined patterns, so that appropriate interpolation calculation can always be performed regardless of the shape of the edge.
  • FIG. 1 is a block diagram showing an image enlargement apparatus according to Embodiment 1 of the present invention. It is a figure which shows roughly the arrangement
  • A) And (B) is a figure showing the example of the function f (r) which decreases monotonously.
  • A), (B), and (C) are diagrams showing examples of images in which at least one of the absolute values of the variation estimation values D3A51 and D3A52 of FIG. 4 is small.
  • FIG. 10 is a flowchart illustrating a processing procedure of an image enlargement method according to the second embodiment. It is a flowchart which shows the process sequence of interpolation coefficient calculation step ST3A of FIG. It is a flowchart which shows the process sequence of direction calculation step ST3A5 of FIG. 12 is a flowchart showing a processing procedure of a change amount comparison step ST3A53 of FIG.
  • FIG. 1 is a diagram showing the configuration of an image enlargement apparatus according to Embodiment 1 of the present invention.
  • the image enlargement apparatus according to Embodiment 1 includes an interpolation coefficient calculation unit 3A and an interpolation calculation unit 3B, and uses one low-resolution image as an input image and one high-resolution image as an output image.
  • a low resolution image D01 is shown as an input image
  • a high resolution image D30 is shown as an output image.
  • FIG. 2 is a diagram showing the low-resolution image D01, in which a part of the pixels constituting the low-resolution image D01 and the low-resolution image D01 is schematically shown.
  • the smallest square represents each pixel.
  • horizontal coordinates and vertical coordinates are defined along the horizontal direction and the vertical direction of the low-resolution image D01, and the pixel value of the pixel located at the coordinates represented by x and y is represented by D01 ( x, y).
  • the interval between the lattice points of these coordinate axes is assumed to be equal to the interval between the pixels constituting the input image D0.
  • the number of pixels in the horizontal direction of the low resolution image D01 is W
  • the number of pixels in the vertical direction is H.
  • the interpolation calculation unit 3B obtains the pixel value of each pixel constituting the high resolution image D30 by interpolation calculation. That is, when the low resolution image D01 and the high resolution image D30 are overlapped, that is, when the high resolution image D30 is overlapped on the plane representing the low resolution image D01, the position where the pixels of the high resolution image D30 overlap is set as the target position. Assuming that there is a pixel of the high-resolution image D30 at the target position, the pixel value of a plurality of pixels existing in the vicinity of the target position among the pixels of the low-resolution image D01 and the interpolation for the plurality of pixels Calculation is performed by interpolation using coefficients.
  • the pixel value when the pixel of the high resolution image D30 is at a position where the horizontal coordinate is s and the vertical coordinate is t on the coordinate plane representing the low resolution image D01 is represented by D30 (s, t).
  • D30 s, t
  • the coordinate value is given on the coordinate plane representing the low resolution image D01.
  • the target position where the pixels of the high resolution image D30 overlap is based on the ratio between the number of pixels of the low resolution image D01 and the number of pixels of the high resolution image D30. Desired. That is, when the number of pixels of the high resolution image D30 is U in the horizontal direction and V in the number of vertical pixels, the horizontal coordinate s of the target position is expressed by the following equation using a variable i that takes an integer value between 1 and U. (1) The vertical coordinate t of the target position can be expressed by the following equation (2) using a variable j that takes an integer value between 1 and V. Can be represented by
  • FIG. 3 is a diagram showing the position of interest on the coordinate space shown in FIG. In FIG. 3, the smallest square represents each pixel of interest or a pixel of the high-resolution image D30 that overlaps each pixel of interest.
  • the pixel value calculation unit 30 obtains a pixel value when it is assumed that there is a pixel at each position of interest, and sets it as the pixel value of the high resolution image D30. For example, D30 (x, y), D30 (x + 0.25, y), D30 (x, y + 0.75), D30 (x + 0.5, y + 1.5) The pixel value is obtained.
  • s is a discrete value in units of W / U times the pixel pitch in the low resolution image, for example, 0.25 times
  • t is H / V times the pixel pitch in the low resolution image, for example, 0.25. It is a discrete value in units of double.
  • the interpolation coefficient calculation unit 3A obtains an interpolation coefficient D3A having a larger value for a pixel having a strong correlation with the target pixel among pixels existing in the low resolution image D01. Also, pixels located in a direction with strong correlation are handled as pixels with strong correlation.
  • FIG. 4 is a diagram illustrating a configuration example of the interpolation coefficient calculation unit 3A.
  • the interpolation coefficient calculation unit 3A includes a first change amount calculation unit 3A1, a second change amount calculation unit 3A2, a third change amount calculation unit 3A3, a fourth change amount calculation unit 3A4, a direction calculation unit 3A5, and a coefficient calculation. Part 3A6 is provided.
  • the first change amount calculation unit 3A1 calculates the first derivative of the pixel value in the horizontal direction for each pixel of the low-resolution image D01, and outputs the calculation result as the first change amount D3A1.
  • D3A1 (x, y) represents the first derivative of the pixel value in the horizontal direction obtained for a pixel whose horizontal coordinate is x and whose vertical coordinate is y
  • D3A1 (x, y) is Calculated by equation (3).
  • the second change amount calculation unit 3A2 calculates the first derivative of the pixel value in the vertical direction for each pixel of the low resolution image D01, and outputs the calculation result as the second change amount D3A2.
  • D3A2 (x, y) represents the first derivative of the pixel value in the vertical direction obtained for a pixel represented by x in the horizontal coordinate and y in the vertical coordinate
  • D3A2 (x, y) is expressed as follows: Calculated by equation (4).
  • the third change amount calculation unit 3A3 calculates the second derivative of the pixel value in the horizontal direction for each pixel of the low resolution image D01, and outputs the calculation result as the third change amount D3A3.
  • D3A3 (x, y) is expressed as D3A3 (x, y), where D3A3 (x, y) represents the second-order derivative of the pixel value in the horizontal direction obtained for the pixel represented by x in the horizontal coordinate and y in the vertical coordinate. (5).
  • the fourth change amount calculation unit 3A4 calculates the second derivative of the pixel value in the vertical direction for each pixel of the low resolution image D01, and outputs the calculation result as the fourth change amount D3A4.
  • D3A4 (x, y) is expressed as D3A4 (x, y), where D3A4 (x, y) represents the second derivative of the pixel value in the vertical direction obtained for the pixel represented by x in the horizontal coordinate and y in the vertical coordinate. (6).
  • the direction calculation unit 3A5 uses the first change amount D3A1, the second change amount D3A2, the third change amount D3A3, and the fourth change amount data D3A5 indicating which direction the correlation is strong around the target position. Is obtained from the amount of change D3A4.
  • the direction having a strong correlation with the target position means a direction in which pixels having pixel values close to the pixel values calculated when it is assumed that there is a pixel existing at the target position.
  • the direction calculation unit 3A5 includes a first change amount estimation unit 3A51, a second change amount estimation unit 3A52, and a change amount comparison unit 3A53.
  • the first change amount estimation unit 3A51 obtains the value of the first change amount at the target position from the first change amount D3A1 obtained for the pixels of the first low-resolution image D01 existing around the target position.
  • the estimation result is output as a first change amount estimation value D3A51.
  • linear interpolation is used to estimate the change amount estimation value D3A51.
  • the estimated change amount D3A51 (s, t) of the target position is expressed by the following equation (7), Calculated by
  • sdec and tdec represent the value of the decimal part of the coordinate value s and the value of the decimal part of the coordinate value t, respectively.
  • the second change amount estimation unit 3A52 determines the value of the second change amount at the target position from the second change amount D3A2 obtained for the pixels of the first low-resolution image D01 existing around the target position.
  • the estimation result is output as a second change amount estimation value D3A52.
  • linear interpolation is used to estimate the change amount estimated value D3A52.
  • the estimated change amount D3A52 (s, t) of the target position is expressed by the following equation (8), Calculated by
  • the change amount comparison unit 3A53 for each position of interest, based on the values of the first change amount estimated value D3A51, the second change amount estimated value D3A52, the third change amount D3A3, and the fourth change amount D3A4.
  • Direction indication data D3A5 is determined and output.
  • the direction indication data D3A5 is a two-dimensional value composed of a first direction indication value D3A5x and a second direction indication value D3A5y.
  • the change amount comparison unit 3A53 includes a first comparison determination unit 3A51, a second comparison determination unit 3A52, and a direction indication value calculation unit 3A533.
  • the first comparison determination unit 3A531 has an absolute value of the first change amount estimated value D3A51 larger than the first threshold value D3A51t, and an absolute value of the second change amount estimated value D3A52 is larger than the second threshold value D3A52t.
  • the first value for example, “1”
  • the second value for example, “0”
  • the second comparison determination unit 3A532 uses the absolute value and the fourth change amount of the third change amount D3A3 obtained for the pixel.
  • the magnitude relationship of the absolute value of D3A4 is examined.
  • the absolute value of the third change amount D3A3 is greater than the fourth change amount D3A4.
  • the number of pixels having the third change amount D3A3 is the first count value D3A532N1, and the absolute value of the fourth change amount D3A4 is the third change value.
  • the number of pixels larger than the amount D3A3 is output as the second count value D3A532N2. Note that data including the first count value D3A532AN1 and the second count value D3A532N2 may be referred to as a second comparison result D3A532.
  • the direction instruction value calculation unit 3A533 uses the first change amount estimated value D3A51, the second change amount estimated value D3A52, the first comparison result D3A531, and the second comparison result D3A532 as follows.
  • Data D3A5 is generated and output.
  • the direction indication data D3A5 is a two-dimensional value composed of the first direction indication value D3A5x and the second direction indication value D3A5y.
  • the direction instruction calculation unit 3A533 first checks what the value of the first comparison result D3A531 is in step ST1.
  • the value is the first value (“1”) (that is, when both the first change amount estimated value D3A51 and the second change amount estimated value D3A52 are large)
  • the process proceeds to step ST2.
  • the first direction instruction value D3A5x and the second direction instruction value D3A5y are expressed by the following equation (9).
  • step ST3 the difference between the first count value D3A532N1 and the second count value D3A532N2 is compared. If the absolute value of the difference is smaller than the third threshold value D3A532t, the process proceeds to step ST4.
  • step ST4 the first direction instruction value D3A5x and the second direction instruction value D3A5y are expressed by the following equation (10). Calculate according to
  • step ST5 the first count value D3A532N1 compares the second count value D3A532N2. If the first count value D3A532N1 is larger than the second count value D3A532N2, the process proceeds to step ST6.
  • step ST6 the first direction instruction value D3A5x and the second direction instruction value D3A5y are expressed by the following equation (11). Calculate according to
  • step ST7 the first direction instruction value D3A5x and the second direction instruction value D3A5y are expressed by the following equation (12). Calculate according to
  • the coefficient calculation unit 3A6 calculates and outputs an interpolation coefficient D3A for the pixels constituting the low resolution image D01 based on the direction instruction data D3A5.
  • the interpolation coefficient D3A is calculated so as to have a larger value for a pixel located in a direction closer to the direction in which the correlation is determined to be strong with respect to the target position.
  • the interpolation coefficient D3A calculated for the interpolation coefficient D3A is represented by D3A (p, q, s, t), and a specific example of a method for calculating the interpolation coefficient D3A (p, q, s, t) is shown.
  • p and q are discrete values having a unit of 0.25 pixel (0.25 times the pixel pitch in the low resolution image) in the example of FIG. 3, while s and t are as described above. These are discrete values each having a unit of W / U times, for example, 0.25 times, H / V times, for example, 0.25 times the pixel pitch in the low resolution image.
  • the interpolation coefficient D3A (p, q, s, t) is expressed by the following equation (13).
  • the interpolation coefficient D3A (p, q, s, t) is Is calculated.
  • D3A5x (s, t) and D3A5y (s, t) are respectively calculated as the first position calculated with respect to the position of interest represented by the horizontal coordinate s and the vertical coordinate t.
  • the direction indication data D3A5x and the second direction indication data D3A5y are represented.
  • FIG. 6A and 6B show examples of the function f (r) that monotonously decreases with respect to the variable r.
  • the function f (r) monotonously decreasing with respect to the variable r is a function satisfying f (r1) ⁇ f (r2) if r1> r2, as shown in FIG. 6A, or FIG. If r1> r2, a function satisfying f (r1) ⁇ f (r2) can be used.
  • interpolation coefficient D3A can be calculated by the above-described method so that the value for a pixel located in a direction closer to the direction in which the correlation is determined to be strong with respect to the target position will be larger.
  • the operation and configuration of the interpolation coefficient calculation unit 3A are as described above.
  • the interpolation calculation unit 3B obtains the pixel value D30 (s, t) by interpolation calculation. This interpolation calculation is performed based on the pixel value D01 (p, q) of each pixel of the low resolution image D01 and the interpolation coefficient D3A (p, q, s, t) for each pixel. It is expressed.
  • D01 (p, q) is the pixel that is present at the position represented by the horizontal coordinate p and the vertical coordinate q among the pixels constituting the low resolution image D01. Represents a given pixel value.
  • the change amount estimation values D3A51 and D3A52 will be described.
  • the x axis corresponds to the horizontal coordinate of the high resolution image D30
  • the y axis corresponds to the vertical coordinate of the high resolution image D30
  • the z axis corresponds to the luminance of the high resolution image D30.
  • the two-dimensional vector having the variation estimated value D3A51 as the first component and the variation estimated value D3A52 as the second component is on the curved surface representing the high-resolution image D30.
  • a curved surface can be defined as a two-variable function in a coordinate space consisting of an x-axis, a y-axis, and a z-axis.
  • the value taken by f (x, y) is a pixel value of a pixel existing at a position where the horizontal coordinate is x and the vertical coordinate is y.
  • a two-dimensional vector (D3A1, D3A2) having the first change amount D3A1 represented by the expression (3) as the first component and the second change amount D3A2 represented by the expression (4) as the second component.
  • this two-dimensional vector becomes the gradient of the curved surface representing the low image degree image D01.
  • the contour lines on the curved surface are obtained by connecting pixels having the same pixel value in the image represented by the curved surface. Therefore, it can be considered that pixels having the same pixel value as the pixels existing at the position where the gradient is calculated are arranged in the direction orthogonal to the direction indicated by the gradient at each point on the curved surface representing the image. If the gradient at the position of interest on the curved surface representing the high-resolution image D30 can be calculated from the above properties, the pixel value close to the pixel value calculated for the pixel existing at the position of interest is calculated based on the value. It is possible to determine the direction in which the pixels are arranged, that is, the direction in which the correlation with the target pixel is strong.
  • the image enlargement apparatus approximately obtains the gradient of the high resolution image D30 from the gradient of the low resolution image D01.
  • the reason why the gradient of the high resolution image D30 can be approximately obtained from the gradient of the low resolution image D01 is as follows.
  • the two-variable function corresponding to a certain image can be regarded as a continuous function whose value changes continuously.
  • its first derivative value also changes continuously, so the first derivative value of any point on the continuous function is interpolated with the first derivative value given to multiple points located near that point. It will be almost the same value as the one.
  • the gradient of the curved surface is expressed by the first derivative of the function representing the curved surface, the gradient of each point on the curved surface is also given to multiple points located near that point. It can be seen that approximation is possible by interpolating the gradient obtained.
  • the two images are the same if the difference in the number of pixels is ignored, and the curved surfaces representing the two in the coordinate space are almost the same. Therefore, the gradient of the high resolution image D30 can be obtained approximately by interpolating the gradient of the low resolution image D01 as in equations (7) and (8).
  • the estimated change amount D3A51 and the estimated change amount D3A52 obtained by interpolating the first change amount D3A1 and the second change amount D3A2 representing the gradient of the low-resolution image D01 are respectively referred to as the first component and the second component.
  • the two-dimensional vector to be used is a vector that approximately represents the gradient of the high-resolution image D30.
  • the first direction instruction value D3A5x and the comparison result of the third change amount D3A3 and the fourth change amount D3A4 The second direction instruction value D3A5y is obtained. This has the following actions and effects.
  • FIGS. 7A to 7C show typical images in which at least one of the absolute values of the change amount estimation values D3A51 and D3A52 is a small value.
  • FIG. 7A shows a case where a vertical stripe pattern exists in the image
  • FIG. 7B shows a case where a horizontal stripe pattern exists in the image
  • FIG. 7C shows a pixel value in the image. This is a case where no change is observed.
  • the absolute value of the second change amount D3A2 does not become a very large value, and thus the change obtained by interpolating the second change amount D3A2
  • the absolute value of the quantity estimated value D3A52 is not too large.
  • the absolute value of the first change amount D3A1 does not become a very large value, so the change obtained by interpolating the first change amount D3A1.
  • the absolute value of the quantity estimated value D3A51 does not become too large.
  • the absolute value of both the first change amount D3A1 and the second change amount D3A2 is not so large.
  • the absolute values of D3A51 and D3A52 are not so large.
  • the absolute value of the first-order horizontal differential of the pixel value of the low-resolution image D01 is expected to be a large value to some extent.
  • the value of the first derivative can take a positive value or a negative value.
  • the first derivative calculated for the target position in the high resolution image D30 is given by interpolation of the first derivative calculated for each pixel of the low resolution image D01.
  • D3A1 (s-sdec, t-tdec) and D3A1 (s-sdec, t-tdec + 1) are positive values
  • D3A1 (s-sdec + 1, t-tdec) and D3A1 (s-sdec + 1, t-tdec + 1) If is a negative value, the positive value and the negative value are added together, and the change amount estimation value D3A51 obtained as a result of the interpolation calculation can be a value close to zero, that is, a small value.
  • the first direction indication value D3A5x should take a value close to 1 and the second direction indication value D3A5y should take a value close to 0.
  • the absolute value of the change amount estimation value D3A51 needs to be much larger than the absolute value of the change amount estimation value D3A52, but as described above, the absolute value of the change amount estimation value D3A51 takes a small value. As such, there is no guarantee that such a relationship will be satisfied. In other words, when there is a vertical stripe pattern, the first direction instruction value D3A5x and the second direction instruction value D3A5y may not be appropriately obtained from the change amount estimation values D3A51 and D3A52.
  • the first direction indication value D3A5x should take a value close to “0”, and the second direction indication value D3A5y should take a value close to “1”. From the amount estimated values D3A51 and D3A52, the first direction indication value D3A5x and the second direction indication value D3A5y may not be appropriately obtained.
  • the second derivative of the pixel value calculated for each pixel of the low resolution image D01. The absolute value in the vertical direction is small, but the absolute value of the second-order differential in the horizontal direction is somewhat large. Therefore, when the periphery of the target position is a vertical stripe pattern, the absolute value of the horizontal second-order derivative calculated for each pixel of the low-resolution image D01 existing around the target position and the vertical secondary When comparing the absolute values of the derivatives, the number of pixels having a larger absolute value of the second-order differential in the horizontal direction is larger. Therefore, the first count value D3A532N1 is larger than the second count value D3A532N2.
  • the first count value D3A532N2 is larger than the second count value D3A532N1 from the same discussion. Value.
  • both the horizontal direction and the vertical direction of the image calculated for the pixels around the target position are displayed.
  • the absolute value of the second derivative does not become too large, and it is determined by chance which one takes the larger value. Therefore, when comparing the absolute value of the second-order differential in the horizontal direction and the absolute value of the second-order differential in the vertical direction calculated for the pixels around the target position, the pixel whose absolute value of the second-order differential in the vertical direction is larger There is no significant difference between the number of pixels and the number of pixels for which the absolute value of the second-order differential in the horizontal direction is larger. Therefore, the first count value D3A532N1 and the second count value D3A532N2 are substantially the same value.
  • the direction indication value D3A5y can be obtained appropriately. That is, when D3A532N1> D3A532N2, the first direction indication value D3A5x is set to “1”, the second direction indication value D3A5y is set to “0”, and conversely when D3A532N1 ⁇ D3A532N2, Since the direction has a strong correlation, the first direction indication value D3A5x is set to “0” and the second direction indication value D3A5y is set to “1”.
  • the interpolation coefficient D3A changes based on the first direction instruction value D3A5x and the second direction instruction value D3A5y, the first direction instruction value D3A5x and the second direction instruction value D3A5y are appropriately set. Obtaining leads to finding the interpolation coefficient D3A appropriately.
  • the reason why both the first direction indication value D3A5x and the second direction indication value D3A5y are zero is as follows. This is because the interpolation coefficient can be obtained so that the pixels around the target position are equally weighted when there is no direction.
  • the first direction indication value D3A5x and the second direction indication value D3A5y or the direction indication data D3A5 are data representing a direction having a strong correlation.
  • the first change amount D3A1 is the first-order horizontal differential of the change in the pixel value of the low-resolution image D01
  • the second change amount D3A2 is the vertical direction of the change in the pixel value of the low-resolution image D01.
  • the absolute value of the second-order differential of the pixel value change of the low-resolution image D01 as the third change amount D3A3
  • the vertical direction of the change of the pixel value of the low-resolution image D01 as the fourth change amount D3A4.
  • the absolute value of the second derivative of is used, the values that can be used as the first change amount D3A1, the second change amount D3A2, the third change amount D3A3, and the fourth change amount D3A4 are shown in the above example. Not exclusively.
  • the first change amount D3A1 and the third change amount D3A3, and the second change amount D3A2 and the fourth change amount D3A4 may have different properties or may be obtained by different methods.
  • the first change amount D3A1 and the third change amount D3A3, and the second change amount D3A2 and the fourth change amount D3A4 having different properties, the first change amount D3A1 and the second change amount are used. Even when it is difficult to determine a strong correlation direction based on the amount D3A2, it is possible to determine a strong correlation direction based on the third change amount D3A3 and the fourth change amount D3A4. That is, a direction with a strong correlation can be obtained more accurately.
  • the interpolation coefficient D3A will be described. A pixel located in a direction with a strong correlation is treated as a pixel with a strong correlation, and a larger interpolation coefficient D3A is given.
  • the interpolation coefficient D3A is given by a function that decreases monotonously with respect to r, the value decreases as the distance from the contour line passing through the target position increases.
  • the longer the distance from the contour line the weaker the correlation with the target position.
  • the interpolation coefficient D3A is required to have a smaller value as the pixel is located in a direction where the correlation is weaker. In other words, it is required that the pixels located in the direction of strong correlation have a larger value. That is, by calculating the interpolation coefficient D3A from the first direction instruction value D3A5x and the second direction instruction value D3A5y, the correlation with the target position can be taken into account when calculating the interpolation coefficient D3A.
  • the first direction instruction value D3A5x and the second direction instruction value D3A5y are determined by the equation (10), the above argument does not hold, but in this case, the value of r is set to the values of p and q. It is always zero regardless. Therefore, the same value is used as the interpolation coefficient for all pixels.
  • the first direction indication value D3A5x and the second direction indication value D3A5y are determined by the equation (10) when there is no specific direction having a strong correlation. Therefore, the interpolation coefficient need not be a large value in a specific direction. In other words, when there is no direction with strong correlation, the interpolation coefficient can be obtained so that all directions can be weighted equally.
  • the target pixel when the pixel value of the pixel existing at the target position (hereinafter referred to as the target pixel) is obtained by interpolating the pixel values of the pixels positioned around the target pixel, Since a direction having a strong correlation with respect to the target pixel is determined and an interpolation coefficient is obtained according to the result, an interpolation coefficient for a pixel having a strong correlation with the target pixel has a higher weight. Further, since the interpolation calculation using the interpolation coefficient determined as described above is performed, the pixel value of the target pixel can be obtained more accurately.
  • the target pixel is included in an area with low luminance.
  • the pixel value of the target pixel is higher than that of the surrounding low-luminance pixels, and a sense of discomfort occurs.
  • the pixel value of the pixel of interest is obtained by interpolating the pixel values around the pixel of interest, if the interpolation coefficient is calculated in consideration of the strength of the correlation with the pixel of interest, the weight for the pixel with high luminance is small. Thus, weighting for pixels with low luminance is increased. Therefore, the pixel value of the pixel of interest becomes the same value as the surrounding low-brightness pixel, and the above-mentioned uncomfortable feeling does not occur.
  • the direction of strong correlation obtained for the target pixel is represented by a continuous value. Therefore, since the edge angle or edge shape is not classified into any of the predetermined patterns, appropriate interpolation calculation can always be performed regardless of the edge shape.
  • the method of obtaining the correlation for the target pixel is not limited to the above example.
  • a pixel at a position distant from the target pixel is likely to have a pixel value different from that of the target pixel. Therefore, in addition to r shown in Expression (13), the interpolation coefficient may be changed according to the distance from the target position. For example, the interpolation coefficient may be reduced as the distance from the position of interest increases. By considering the distance from the target pixel, the correlation between the target pixel and surrounding pixels is more strictly considered, and the pixel value of the target pixel can be obtained more appropriately.
  • Equation (13) depends on (ps) and (qt), and f (r) in equation (14) decreases with increasing r, so the distance is The larger the value, the smaller the interpolation coefficient. Therefore, if the interpolation coefficient is reduced in accordance with the distance from the target pixel in addition to r, the distance from the target pixel is considered twice.
  • the first change amount D3A1 may be a value corresponding to the first derivative in the horizontal direction of the change in the pixel value of the low resolution image D01. Therefore, the method for obtaining it is not limited to Equation (3) as long as it is a method that can approximately calculate the first derivative in the horizontal direction of the change in the pixel value of the low-resolution image D01.
  • the second change amount D3A2 only needs to be a value corresponding to the first-order differentiation in the vertical direction of the change in the pixel value of the low-resolution image D01. Therefore, the method for obtaining the pixel value is not limited to the equation (4) as long as it is a method that can approximately calculate the first derivative in the vertical direction of the change in the pixel value of the low resolution image D01.
  • the first change amount D3A1 and the second change amount D3A2 are a combination of a first-order derivative in the horizontal direction and a first-order derivative in the vertical direction of the change in the pixel value of the low resolution image D01. May be any combination of first-order differentiations of pixel value changes in different directions. Therefore, in general terms, the first change amount D3A1 is the first derivative of the change in the pixel value of the low resolution image D01 in the first direction, and the second change amount D3A2 is the change in the pixel value of the low resolution image D01. What is necessary is just the primary differentiation regarding a 2nd direction.
  • the third change amount D3A3 may be a value corresponding to the second order differential in the horizontal direction of the change in the pixel value of the low resolution image D01. Therefore, the method for obtaining it is not limited to Equation (5) as long as it is a method that can approximately calculate the second derivative in the horizontal direction of the change in the pixel value of the low resolution image D01.
  • the fourth change amount D3A4 may be a value corresponding to the second derivative in the vertical direction of the change in the pixel value of the low resolution image D01. Therefore, the method for obtaining it is not limited to Expression (6) as long as it is a method that can approximately calculate the second derivative in the vertical direction of the change in the pixel value of the low resolution image D01.
  • the third change amount D3A3 and the fourth change amount D3A4 are a combination of the second-order derivative in the horizontal direction and the second-order derivative in the vertical direction of the change in the pixel value of the low resolution image D01. Both may be a combination of the second derivative of the change in the pixel value with respect to different directions.
  • the direction of change of the third change amount D3A3 and the direction of change of the fourth change amount are respectively the direction of change of the first change amount (first direction) and the direction of change of the second change amount. (The second direction) may not be the same.
  • the third change amount D3A3 is the second derivative of the change in the pixel value of the low resolution image D01 in the third direction
  • the fourth change amount D3A4 is the change in the pixel value of the low resolution image D01. It is sufficient that the second-order derivative is related to the fourth direction.
  • the image enlargement apparatus can be used as a part of an image display apparatus.
  • it can be used when the number of pixels of the input image for the image display device is smaller than the number of pixels of the display unit of the image display device.
  • FIG. FIG. 8 shows an arithmetic unit for executing the image enlargement method according to the second embodiment of the present invention.
  • the image enlargement method of the present invention generates a high resolution image D30 from the low resolution image D01.
  • An arithmetic unit for executing the image enlargement method according to the present invention includes an input interface IF1, an output interface IF2, a processor CPU1, a program memory MEM1, and a data memory MEM2, and a data bus BUS1 connecting them.
  • the processor CPU1 operates according to a program stored in the program memory MEM1.
  • Various data generated in the course of operation is stored in the data memory MEM2.
  • the low resolution image D01 and the low resolution image D02 are input to the arithmetic unit via the input interface IF1.
  • the high resolution image D30 generated by the image enlargement method according to the present invention is output to the outside of the arithmetic unit via the output interface IF2.
  • FIG. 9 is a diagram showing the processing procedure of the image enlargement method according to the present invention.
  • the image enlargement method according to the present invention includes an interpolation coefficient calculation step ST3A and an interpolation calculation step ST3B.
  • the pixel value of each pixel constituting the high resolution image D30 is obtained by interpolation calculation.
  • FIG. 10 is a diagram illustrating a processing procedure of the interpolation coefficient calculation step ST3A.
  • the interpolation coefficient calculation step ST3A includes a first change amount calculation step ST3A1, a second change amount calculation step ST3A2, a third change amount calculation step ST3A3, a fourth change amount calculation step ST3A4, a direction calculation step ST3A5, and a coefficient.
  • Calculation step ST3A6 is included.
  • the first change amount calculation step ST3A1 calculates the first derivative of the pixel value in the horizontal direction for each pixel of the low resolution image D01 by the same process as the first change amount calculation unit 3A1 described in the first embodiment, A first change amount D3A1 is obtained.
  • the second change amount calculation step ST3A2 calculates the first derivative of the pixel value in the vertical direction for each pixel of the low resolution image D01 by the same process as the second change amount calculation unit 3A2 described in the first embodiment. A second change amount D3A2 is obtained.
  • the third change amount calculation step ST3A3 calculates a second derivative of the pixel value in the horizontal direction for each pixel of the low resolution image D01 by the same processing as the third change amount calculation unit 3A3 described in the first embodiment.
  • the third change amount D3A3 is obtained.
  • the fourth change amount calculation step ST3A4 calculates the second derivative of the pixel value in the vertical direction for each pixel of the low resolution image D01 by the same process as the fourth change amount calculation unit 3A4 described in the first embodiment.
  • the fourth change amount D3A4 is obtained.
  • the direction calculation step ST3A5 will be described with reference to FIG.
  • FIG. 11 is a diagram illustrating a processing procedure of the direction calculation step ST3A5.
  • the direction calculation step ST3A5 includes a first change amount estimation step ST3A51, a second change amount estimation step ST3A52, and a change amount comparison step ST3A53.
  • the first change amount estimation value D3A51 is obtained by the same processing as that of the first change amount estimation unit 3A51 described in the first embodiment.
  • the first change amount estimation value D3A51 is obtained by the same process as the second change amount estimation unit 3A52 described in the first embodiment.
  • the change amount comparison step ST3A53 will be described with reference to FIG.
  • FIG. 12 is a diagram illustrating a processing procedure of the change amount comparison step ST3A53.
  • the change amount comparison step ST3A53 includes a first comparison determination step ST3A531, a second comparison determination step ST3A532, and a direction instruction value step ST3A533.
  • the first comparison result D3A531 is obtained by the same process as the first comparison determination unit 3A531 of the first embodiment.
  • the second comparison result D3A532 composed of the first count value D3A532AN1 and the second count value D3A532N2 calculated by the same processing as that of the second comparison determination unit 3A532 of the first embodiment is used. Ask.
  • Direction indication value calculation step ST3A533 obtains direction indication data D3A5 by the same processing as the direction indication value calculation unit 3A533 of the first embodiment.
  • the operation of the change amount comparison step ST3A53 is as described above, and the operation is the same processing as the change amount comparison unit 3A53 described in the first embodiment.
  • the operation of the direction calculation step ST3A5 is as described above, and the operation is the same as that of the direction calculation unit 3A5 described in the first embodiment.
  • the coefficient calculation step ST3A6 calculates the interpolation coefficient D3A by the same process as the coefficient calculation unit 3A6 described in the first embodiment.
  • the operation of the interpolation coefficient calculation step ST3A is as described above, and the operation is the same as that of the interpolation coefficient calculation unit 3A described in the first embodiment.
  • the interpolation calculation step ST3B will be described.
  • the pixel value of each pixel of the high resolution image D30 is obtained by the same processing as the interpolation calculation unit 3B described in the first embodiment.
  • the operation of the image enlargement method according to the second embodiment of the present invention is as described above. Since the image enlargement method of the present invention can perform the same processing as the image enlargement apparatus of the first embodiment of the present invention, it has the same effect as the image enlargement apparatus of the first embodiment of the present invention.
  • the modification of the image enlargement apparatus according to the first embodiment of the present invention can also be applied to the image enlargement method according to the second embodiment of the present invention.
  • the image enlargement method according to the present embodiment or the arithmetic device that performs the method can be used as a part of the image display device.
  • it can be used when the number of pixels of the input image for the image display device is smaller than the number of pixels of the display unit of the image display device.
  • 3A interpolation coefficient calculation unit 3B interpolation calculation unit, D01 low resolution image, D3A interpolation coefficient, D30 high resolution image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

　高解像度画像（Ｄ３０）を低解像度画像（Ｄ０１）上に重ねた場合に高解像度画像（Ｄ３０）内の画素が重なる位置を注目位置とし、注目位置ごとにその位置に画素が存在すると仮定した場合の画素値を低解像度画像（Ｄ０１）内の複数の画素の持つ画素値を用いた補間演算によって求める補間演算部（３Ａ）と、低解像度画像（Ｄ０１）内の複数の画素のうち、注目画素との相関が強い画素に対するものほど大きな値となる補間係数（Ｄ３Ａ）を求め、補間演算部（３Ｂ）に出力する補間係数算出部（３Ａ）を有する。エッジの角度あるいはエッジの形状を所定のパターンのいずれかに分類することもないので、エッジの形状によらず適切な補間演算を行うことができる。

Description

画像拡大装置及び方法
　本発明は、画像拡大装置及び方法に関する。
　従来から、エッジの形状に応じて補間方法を切り換える画像拡大を行う画像処理装置が知られている。たとえば、特許文献１記載の画像処理装置では、所定のエッジ形状を検出した場合に内挿法を切り換えることにより補間演算によるエッジ部の劣化を防止している。特許文献１では、所定のエッジ形状の検出はエッジ部のパターンを所定のパターンと比較することにより行っている。
特開平７－５０７５２号公報（段落００２１）
　しかしながら、上記のように所定のエッジ形状の検出はエッジ部のパターンを所定のパターンと比較することにより行う場合、エッジ形状によっては最適な補間演算を行うことが出来ないことがある。即ちエッジの形状がエッジ検出用に用意した所定のパターンとわずかに異なる場合でも、強制的にいずれかのパターンに分類されてしまうため、エッジ形状によってはエッジ形状の検出結果が最適になるとは限らない。また、この問題に対する解決策として比較用のパターンをより多く用意しておき、エッジ形状の検出をより細かくすることが考えられるが結局は有限個のパターンのいずれかにエッジ形状を分類することになるため、エッジ形状によってはエッジ形状の検出結果が最適にならないことがある。
　本発明の一つの態様の画像拡大装置は、
　低解像度画像から高解像度画像を生成する画像拡大装置であって、
　前記高解像度画像を前記低解像度画像上に重ねた場合に前記高解像度画像内の画素が重なる位置を注目位置とし、前記注目位置ごとにその位置に画素が存在すると仮定した場合の画素値を前記低解像度画像内の複数の画素の持つ画素値と、該複数の画素についての補間係数とを用いた補間演算によって求める補間演算部と、
　前記低解像度画像内の複数の画素のうち、前記注目画素との相関が強い画素に対するものほど大きな値となる前記補間係数を求め、前記補間演算部に出力する補間係数算出部を有し、
　前記補間係数算出部は、
　前記低解像度画像の各画素に対してその画素を中心とした第１の方向に関する第１の変化量を求める第１の変化量算出部と、
　前記低解像度画像の各画素に対してその画素を中心とした第２の方向に関する第２の変化量を求める第２の変化量算出部と、
　前記第１の変化量を補間して得た第１の補間変化量と、前記第２の変化量を補間して得た第２の補間変化量を用いて相関の強い方向を表す方向指示データを求める方向算出部と、
　前記方向指示データから前記補間係数を求める係数算出部を含む
　ことを特徴とする。
　本発明の他の態様の画像拡大方法は、
　低解像度画像から高解像度画像を生成する画像拡大方法であって、
　前記高解像度画像を前記低解像度画像上に重ねた場合に前記高解像度画像内の画素が重なる位置を注目位置とし、前記注目位置ごとにその位置に画素が存在すると仮定した場合の画素値を前記低解像度画像内の複数の画素の持つ画素値と、該複数の画素についての補間係数とを用いた補間演算によって求める補間演算ステップと、
　前記低解像度画像内の複数の画素のうち、前記注目画素との相関が強い画素に対するものほど大きな値となる前記補間係数を求め、前記補間演算ステップに出力する補間係数算出ステップを有し、
　前記補間係数算出ステップは、
　前記低解像度画像の各画素に対してその画素を中心とした第１の方向に関する第１の変化量を求める第１の変化量算出ステップと、
　前記低解像度画像の各画素に対してその画素を中心とした第２の方向に関する第２の変化量を求める第２の変化量算出ステップと、
　前記第１の変化量を補間して得た第１の補間変化量と、前記第２の変化量を補間して得た第２の補間変化量を用いて相関の強い方向を表す方向指示データを求める方向算出ステップと、
　前記方向指示データから前記補間係数を求める係数算出ステップを含む
　ことを特徴とする。
　本発明によれば、エッジの角度あるいはエッジの形状を所定のパターンのいずれかに分類することもないので、エッジの形状によらず常に適切な補間演算を行うことができる。
本発明の実施の形態１による画像拡大装置を示すブロック図である。 低解像度画像Ｄ０１における画素の配列を概略的に示す図である。 注目位置を概略的に示す図である。 図１の補間係数算出部３Ａの構成例を示すブロック図である。 方向指示値計算部３Ａ５３３の動作を表すフローチャートである。 （Ａ）及び（Ｂ）は、単調に減少する関数ｆ（ｒ）の例を表す図である。 （Ａ）、（Ｂ）及び（Ｃ）は、図４の変化量推定値Ｄ３Ａ５１及びＤ３Ａ５２の絶対値の少なくとも一方が小さくなる画像の例を示す図である。 本発明の実施の形態２による画像拡大方法を実行する演算装置を示すブロック図である。 実施の形態２による画像拡大方法の処理手順を示すフローチャートである。 図９の補間係数算出ステップＳＴ３Ａの処理手順を示すフローチャートである。 図１０の方向算出ステップＳＴ３Ａ５の処理手順を示すフローチャートである。 図１１の変化量比較ステップＳＴ３Ａ５３の処理手順を示すフローチャートである。
実施の形態１．
　図１は本発明の実施の形態１による画像拡大装置の構成を表す図である。実施の形態１による画像拡大装置は、補間係数算出部３Ａ及び補間演算部３Ｂを備え、１枚の低解像度画像を入力画像とし、１枚の高解像度画像を出力画像とする。図１では入力画像として低解像度画像Ｄ０１が記され、出力画像として高解像度画像Ｄ３０が記されている。
　図２は低解像度画像Ｄ０１を表す図であり、低解像度画像Ｄ０１及び低解像度画像Ｄ０１を構成する画素の一部が模式的に表されている。図２において、最も小さい四角が各画素を表している。また、低解像度画像Ｄ０１の水平方向、垂直方向に沿って水平座標、垂直座標が定義されており、水平座標がｘ、垂直座標がｙで表される座標に位置する画素の画素値をＤ０１（ｘ，ｙ）で表す。また、これらの座標軸の格子点の間隔は入力画像Ｄ０を構成する画素の間隔と等しいものとする。図２に示した例では、低解像度画像Ｄ０１の水平方向の画素数はＷ、垂直方向の画素数はＨとなる。
　以下、本発明の実施の形態１による画像拡大装置及び各構成要素の動作について説明する。
　補間演算部３Ｂは、高解像度画像Ｄ３０を構成する各画素の画素値を補間演算によって求める。即ち、低解像度画像Ｄ０１と高解像度画像Ｄ３０を重ねた場合、即ち低解像度画像Ｄ０１を表す平面上に高解像度画像Ｄ３０を重ねた場合に、高解像度画像Ｄ３０の画素が重なる位置を注目位置とし、注目位置に高解像度画像Ｄ３０の画素があるとした場合の画素値を、低解像度画像Ｄ０１の画素のうち、注目位置の近傍に存在する複数の画素の画素値と、該複数の画素についての補間係数を用いた補間演算によって計算する。
　以下、低解像度画像Ｄ０１を表す座標平面上で水平座標がｓ、垂直座標がｔである位置に高解像度画像Ｄ３０の画素があるとした場合の画素値をＤ３０（ｓ，ｔ）で表す。なお、以下の説明で特に明記なく水平座標や垂直座標等の座標値が与えられた場合、その座標値は低解像度画像Ｄ０１を表す座標平面上に与えられるものである。
　低解像度画像Ｄ０１を表す座標平面上に高解像度画像Ｄ３０を重ねた場合に、高解像度画像Ｄ３０の画素が重なる注目位置は、低解像度画像Ｄ０１の画素数と高解像度画像Ｄ３０の画素数の比から求められる。即ち、高解像度画像Ｄ３０の画素数が水平方向にＵ、垂直画素数にＶであった場合、注目位置の水平座標ｓは１からＵの間の整数値をとる変数ｉを用いて下記の式（１）
Figure JPOXMLDOC01-appb-M000001
 により表すことができ、注目位置の垂直座標ｔは１からＶの間の整数値をとる変数ｊを用いて下記の式（２）
Figure JPOXMLDOC01-appb-M000002
 により表すことができる。
　高解像度画像Ｄ３０の画素数が水平方向、垂直方向とも低解像度画像Ｄ０１の画素数の４倍である場合を例に考えると、Ｕ＝４Ｗ、Ｖ＝４Ｈとなり、低解像度画像Ｄ０１を表す平面上で水平座標が１＋（ｉ－１）×０．２５、垂直座標が１＋（ｊ－１）×０．２５となる座標で表される位置が注目位置となる。図３は注目位置を、図２に示した座標空間上で表した図である。図３において、最も小さい四角が各注目位置あるいは各注目位置に重なる高解像度画像Ｄ３０の画素を表している。また、注目位置のうち、その位置が低解像度画像Ｄ０１の画素と一致するものについては、低解像度画像Ｄ０１の画素値を示している。
　画素値算出部３０は各注目位置に画素が存在すると仮定した場合の画素値を求め、高解像度画像Ｄ３０の画素値とする。例えば、
Ｄ３０（ｘ，ｙ）、
Ｄ３０（ｘ＋０．２５，ｙ）、
Ｄ３０（ｘ，ｙ＋０．７５）、
Ｄ３０（ｘ＋０．５，ｙ＋１．５）
といった画素値を求めることになる。
　即ち、ｓは、低解像度画像における画素ピッチのＷ／Ｕ倍、例えば０．２５倍を単位とする離散値であり、ｔは、低解像度画像における画素ピッチのＨ／Ｖ倍、例えば０．２５倍を単位とする離散値である。
　以下、補間係数算出部３Ａ及び補間演算部３Ｂについて説明する。
　まず、補間係数算出部３Ａの動作、構成について説明する。以下に詳しく述べるように、補間係数算出部３Ａは、低解像度画像Ｄ０１内に存在する画素のうち、注目画素との相関が強い画素に対するものほど大きな値となる補間係数Ｄ３Ａを求めるものであり、また、相関の強い方向に位置する画素を相関の強い画素として扱うものである。
　図４は補間係数算出部３Ａの構成例を示す図である。補間係数算出部３Ａは第１の変化量算出部３Ａ１、第２の変化量算出部３Ａ２、第３の変化量算出部３Ａ３、第４の変化量算出部３Ａ４、方向算出部３Ａ５、及び係数算出部３Ａ６を備える。
　第１の変化量算出部３Ａ１は低解像度画像Ｄ０１の各画素について水平方向に関する画素値の一次微分を計算し、計算結果を第１の変化量Ｄ３Ａ１として出力する。図２において水平座標がｘ、垂直座標がｙで表される画素に対して求められる水平方向に関する画素値の一次微分をＤ３Ａ１（ｘ，ｙ）で表すと、Ｄ３Ａ１（ｘ，ｙ）は以下の式（３）で計算される。
Figure JPOXMLDOC01-appb-M000003
　第２の変化量算出部３Ａ２は低解像度画像Ｄ０１の各画素について垂直方向に関する画素値の一次微分を計算し、計算結果を第２の変化量Ｄ３Ａ２として出力する。図２において水平座標がｘ、垂直座標がｙで表される画素に対して求められる垂直方向に関する画素値の一次微分をＤ３Ａ２（ｘ，ｙ）で表すと、Ｄ３Ａ２（ｘ，ｙ）は以下の式（４）で計算される。
Figure JPOXMLDOC01-appb-M000004
　第３の変化量算出部３Ａ３は低解像度画像Ｄ０１の各画素について水平方向に関する画素値の二次微分を計算し、計算結果を第３の変化量Ｄ３Ａ３として出力する。図２において水平座標がｘ、垂直座標がｙで表される画素に対して求められる水平方向に関する画素値の二次微分をＤ３Ａ３（ｘ，ｙ）で表すと、Ｄ３Ａ３（ｘ，ｙ）は以下の式（５）で計算される。
Figure JPOXMLDOC01-appb-M000005
　第４の変化量算出部３Ａ４は低解像度画像Ｄ０１の各画素について垂直方向に関する画素値の二次微分を計算し、計算結果を第４の変化量Ｄ３Ａ４として出力する。図２において水平座標がｘ、垂直座標がｙで表される画素に対して求められる垂直方向に関する画素値の二次微分をＤ３Ａ４（ｘ，ｙ）で表すと、Ｄ３Ａ４（ｘ，ｙ）は以下の式（６）で計算される。
Figure JPOXMLDOC01-appb-M000006
　方向算出部３Ａ５は、注目位置を中心としてどの方向に相関が強いかを表す方向指示データＤ３Ａ５を、第１の変化量Ｄ３Ａ１、第２の変化量Ｄ３Ａ２、第３の変化量Ｄ３Ａ３、及び第４の変化量Ｄ３Ａ４から求める。なお、注目位置と相関が強い方向とは、注目位置に存在する画素が存在すると仮定した場合に計算される画素値と近い画素値を持った画素が並ぶ方向を意味する。
　図４に示すように、方向算出部３Ａ５は第１の変化量推定部３Ａ５１、第２の変化量推定部３Ａ５２、及び変化量比較部３Ａ５３を備える。
　第１の変化量推定部３Ａ５１は、注目位置における第１の変化量の値を、注目位置周辺に存在する第１の低解像度画像Ｄ０１の画素に対して求められた第１の変化量Ｄ３Ａ１から推定し、その結果を第１の変化量推定値Ｄ３Ａ５１として出力する。
　変化量推定値Ｄ３Ａ５１の推定には例えば線形補間を用いる。この場合、水平座標がｓ、垂直座標がｔで表される位置が注目位置であったとした場合、該注目位置の変化量推定値Ｄ３Ａ５１（ｓ，ｔ）は、下記の式（７）、
Figure JPOXMLDOC01-appb-M000007
 で計算される。なお、ｓｄｅｃ、ｔｄｅｃはそれぞれ座標値ｓの小数部の値、座標値ｔの小数部の値を表す。
　第２の変化量推定部３Ａ５２は、注目位置における第２の変化量の値を、注目位置周辺に存在する第１の低解像度画像Ｄ０１の画素に対して求められた第２の変化量Ｄ３Ａ２から推定し、その結果を第２の変化量推定値Ｄ３Ａ５２として出力する。
　変化量推定値Ｄ３Ａ５２の推定には例えば線形補間を用いる。この場合、水平座標がｓ、垂直座標がｔで表される位置が注目位置であったとした場合、該注目位置の変化量推定値Ｄ３Ａ５２（ｓ，ｔ）は、下記の式（８）、
Figure JPOXMLDOC01-appb-M000008
 で計算される。
　変化量推定値Ｄ３Ａ５１及び変化量推定値Ｄ３Ａ５２は、補間により得られるものである場合、補間変化量とも呼ばれる。
　変化量比較部３Ａ５３は、注目位置ごとに、第１の変化量推定値Ｄ３Ａ５１、第２の変化量推定値Ｄ３Ａ５２、第３の変化量Ｄ３Ａ３、及び第４の変化量Ｄ３Ａ４の値をもとに方向指示データＤ３Ａ５を決定し出力する。ここで方向指示データＤ３Ａ５は第１の方向指示値Ｄ３Ａ５ｘ及び第２の方向指示値Ｄ３Ａ５ｙからなる２次元の値である。
　図４に示すように、変化量比較部３Ａ５３は第１の比較判定部３Ａ５１、第２の比較判定部３Ａ５２、及び方向指示値計算部３Ａ５３３を備える。
　第１の比較判定部３Ａ５３１は、第１の変化量推定値Ｄ３Ａ５１の絶対値が第１の閾値Ｄ３Ａ５１ｔより大きく、かつ、第２の変化量推定値Ｄ３Ａ５２の絶対値が第２の閾値Ｄ３Ａ５２ｔより大きかった場合、第１の比較結果Ｄ３Ａ５３１として第１の値（例えば「１」）を出力し、それ以外の場合、第１の比較結果Ｄ３Ａ５３１として第２の値（例えば「０」）を出力する。
　第２の比較判定部３Ａ５３２は、注目位置周辺に存在する第１の低解像度画像Ｄ０１の画素ごとに、その画素に対して求められた第３の変化量Ｄ３Ａ３の絶対値と第４の変化量Ｄ３Ａ４の絶対値の大小関係を調べる。そして、第３の変化量Ｄ３Ａ３の絶対値の方が第４の変化量Ｄ３Ａ４より大きい画素の数を第１のカウント値Ｄ３Ａ５３２Ｎ１として、第４の変化量Ｄ３Ａ４の絶対値の方が第３の変化量Ｄ３Ａ３より大きい画素の数を第２のカウント値Ｄ３Ａ５３２Ｎ２として出力する。なお、第１のカウント値Ｄ３Ａ５３２ＡＮ１及び第２のカウント値Ｄ３Ａ５３２Ｎ２からなるデータを第２の比較結果Ｄ３Ａ５３２と呼ぶこともある。
　方向指示値計算部３Ａ５３３は、第１の変化量推定値Ｄ３Ａ５１、第２の変化量推定値Ｄ３Ａ５２、第１の比較結果Ｄ３Ａ５３１、及び第２の比較結果Ｄ３Ａ５３２に基づいて、以下のように方向指示データＤ３Ａ５を生成し、出力する。先に述べたように方向指示データＤ３Ａ５は第１の方向指示値Ｄ３Ａ５ｘ及び第２の方向指示値Ｄ３Ａ５ｙからなる２次元の値である。以下、図５に示すフローを用いながら方向指示値計算部３Ａ５３３における第１の方向指示値Ｄ３Ａ５ｘ及び第２の方向指示値Ｄ３Ａ５ｙの求め方について述べる。
　方向指示計算部３Ａ５３３は、まずステップＳＴ１で第１の比較結果Ｄ３Ａ５３１の値が何であるか確認する。その値が第１の値（「１」）であった場合（即ち、第１の変化量推定値Ｄ３Ａ５１及び第２の変化量推定値Ｄ３Ａ５２がともに大きい場合）、ステップＳＴ２に進む。ステップＳＴ２では、第１の方向指示値Ｄ３Ａ５ｘ及び第２の方向指示値Ｄ３Ａ５ｙを下記の式（９）
Figure JPOXMLDOC01-appb-M000009
 により計算する。
　一方、第１の比較結果Ｄ３Ａ５３１の値が第２の値（「０」）であった場合（即ち、第１の変化量算出部３Ａ１及び第２の変化量算出部３Ａ２で算出される水平方向の変化量及び垂直方向の変化量のいずれかが小さい場合）、ステップＳＴ３に進む。ステップＳＴ３では、第１のカウント値Ｄ３Ａ５３２Ｎ１と第２のカウント値Ｄ３Ａ５３２Ｎ２の差を比較する。その差の絶対値が第３の閾値Ｄ３Ａ５３２ｔより小さければ、ステップＳＴ４に進む。ステップＳＴ４では、第１の方向指示値Ｄ３Ａ５ｘ及び第２の方向指示値Ｄ３Ａ５ｙを下記の式（１０）
Figure JPOXMLDOC01-appb-M000010
 により計算する。
　第１のカウント値Ｄ３Ａ５３２Ｎ１と第２のカウント値Ｄ３Ａ５３２Ｎ２の差の絶対値が第３の閾値Ｄ３Ａ５３２ｔ以上の場合、ステップＳＴ５に進む。ステップＳＴ５では第１のカウント値Ｄ３Ａ５３２Ｎ１が第２のカウント値Ｄ３Ａ５３２Ｎ２を比較する。第１のカウント値Ｄ３Ａ５３２Ｎ１が第２のカウント値Ｄ３Ａ５３２Ｎ２より大きければ、ステップＳＴ６に進む。ステップＳＴ６では、第１の方向指示値Ｄ３Ａ５ｘ及び第２の方向指示値Ｄ３Ａ５ｙを下記の式（１１）
Figure JPOXMLDOC01-appb-M000011
 により計算する。
　一方、第１のカウント値Ｄ３Ａ５３２Ｎ１が第２のカウント値Ｄ３Ａ５３２Ｎ２より小さければ、ステップＳＴ７に進む。ステップＳＴ７では、第１の方向指示値Ｄ３Ａ５ｘ及び第２の方向指示値Ｄ３Ａ５ｙを下記の式（１２）
Figure JPOXMLDOC01-appb-M000012
 により計算する。
　係数算出部３Ａ６は方向指示データＤ３Ａ５をもとに低解像度画像Ｄ０１を構成する画素に対する補間係数Ｄ３Ａを計算し出力する。ここで補間係数Ｄ３Ａは、注目位置に対して相関が強いと判断される方向により近い方向に位置する画素に対するものほど大きな値となるように計算される。
　以下、注目位置の水平座標がｓ、垂直座標がｔであった場合に、低解像度画像Ｄ０１を構成する画素のうち、水平座標がｐ、垂直座標がｑで表される位置に存在する画素に対して計算される補間係数Ｄ３ＡをＤ３Ａ（ｐ，ｑ，ｓ，ｔ）で表し、補間係数Ｄ３Ａ（ｐ，ｑ，ｓ，ｔ）の計算方法の具体例を示す。
　ここで、ｐ、ｑは、図３の例では、０．２５画素（低解像度画像における画素ピッチの０．２５倍）を単位とする離散値であり、一方、ｓ、ｔは上記のように、それぞれ低解像度画像における画素ピッチのＷ／Ｕ倍、例えば０．２５倍、Ｈ／Ｖ倍、例えば０．２５倍を単位とする離散値である。
　補間係数Ｄ３Ａ（ｐ，ｑ，ｓ，ｔ）は以下の式（１３）
で表される数値ｒに対して、単調に減少する関係で求められる。即ち、変数ｒに対して単調に減少する関数ｆ（ｒ）を用いて、補間係数Ｄ３Ａ（ｐ，ｑ，ｓ，ｔ）は、
Figure JPOXMLDOC01-appb-M000014
 と計算される。ここで上記の式（１４）において、Ｄ３Ａ５ｘ（ｓ，ｔ）及びＤ３Ａ５ｙ（ｓ，ｔ）はそれぞれ、水平座標がｓ、垂直座標がｔで表される注目位置に対して計算される第１の方向指示データＤ３Ａ５ｘ及び第２の方向指示データＤ３Ａ５ｙを表す。
　図６（Ａ）及び（Ｂ）に変数ｒに対して単調に減少する関数ｆ（ｒ）の例を示す。変数ｒに対して単調に減少する関数ｆ（ｒ）としては図６（Ａ）に示すようにｒ１＞ｒ２であればｆ（ｒ１）＜ｆ（ｒ２）となる関数や、図６（Ｂ）に示すようにｒ１＞ｒ２であればｆ（ｒ１）≦ｆ（ｒ２）となる関数が利用できる。
　なお、上述の方法によって、注目位置に対して相関が強いと判断される方向により近い方向に位置する画素に対するものほど大きな値となるよう補間係数Ｄ３Ａを計算できる理由は後述する。
　補間係数算出部３Ａの動作、構成は以上の通りである。
　次に、補間演算部３Ｂの動作について説明する。
　補間演算部３Ｂは、画素値Ｄ３０（ｓ，ｔ）を補間演算によって求める。この補間演算は、低解像度画像Ｄ０１の各画素の画素値Ｄ０１（ｐ，ｑ）と、各画素についての補間係数Ｄ３Ａ（ｐ，ｑ，ｓ，ｔ）とに基づいて行われるものであり、例えば
Figure JPOXMLDOC01-appb-M000015
 と表される。ここで上記の式（１５）において、Ｄ０１（ｐ，ｑ）は、低解像度画像Ｄ０１を構成する画素のうち、水平座標がｐ、垂直座標がｑで表される位置に存在する画素に対して与えられた画素値を表す。
　以下、本発明の実施の形態１による画像拡大装置の作用、効果について説明する。
　まず、変化量推定値Ｄ３Ａ５１及びＤ３Ａ５２について説明する。以下に説明するように、高解像度画像Ｄ３０を、ｘ軸が高解像度画像Ｄ３０の水平座標に対応し、ｙ軸が高解像度画像Ｄ３０の垂直座標に対応し、ｚ軸が高解像度画像Ｄ３０の輝度値に対応する座標空間内の曲面で表した場合、変化量推定値Ｄ３Ａ５１を第１成分とし、変化量推定値Ｄ３Ａ５２を第２成分とする２次元ベクトルは、高解像度画像Ｄ３０を表す曲面上の各点での勾配に相当するベクトルとなる。
　曲面の勾配について説明する。一般的に曲面はｘ軸、ｙ軸、ｚ軸からなる座標空間内の２変数関数として定義できる。この２変数関数をｚ＝ｆ（ｘ，ｙ）で表すと、曲面の勾配は偏微分を用いた以下の２次元ベクトルで表される。
Figure JPOXMLDOC01-appb-M000016
 この勾配は、曲面ｚ＝ｆ（ｘ，ｙ）上の各点について計算することが出来る。また、曲面ｚ＝ｆ（ｘ，ｙ）上のある点に対して計算される勾配は、その点を通る等高線に直交する方向を示すベクトルになる。なお、ｆ（ｘ，ｙ）のとる値は水平座標がｘ、垂直座標がｙとなる位置に存在する画素が持つ画素値である。
　ここで、式（３）で表される第１の変化量Ｄ３Ａ１を第１成分、式（４）で表される第２の変化量Ｄ３Ａ２を第２成分とする２次元ベクトル（Ｄ３Ａ１，Ｄ３Ａ２）を考えると、この２次元ベクトルは低像度画像Ｄ０１を表す曲面の勾配になる。
　画像を表す曲面を考えると、この曲面における等高線とは、その曲面が表す画像において画素値が同じ値となる画素をつないだものである。したがって画像を表す曲面上の各点で勾配が示す方向に直交する方向には、勾配を計算した位置に存在する画素と同じ画素値を持った画素が並んでいるとみなせる。
　以上の性質から、高解像度画像Ｄ３０を表す曲面上の注目位置での勾配を計算することが出来れば、その値によって、注目位置に存在する画素に対して計算される画素値に近い画素値をもった画素が並ぶ方向、即ち、注目画素に対して相関が強い方向を判断することが出来る。
　しかしながら、高解像度画像Ｄ３０については画素値のほとんどが未知なため勾配を計算することが難しい。そこで本発明の実施の形態１による画像拡大装置では低解像度画像Ｄ０１の勾配から高解像度画像Ｄ３０の勾配を近似的に求めている。低解像度画像Ｄ０１の勾配から高解像度画像Ｄ３０の勾配を近似的に求めることが出来る理由は以下の通りである。
　一般に画像を構成する画像の画素値は滑らかに変化する。したがってある画像に対応した２変数関数は、その値が連続的に変化する連続関数とみなせる。連続関数においてはその一次微分値も連続的に変化するので、その連続関数上の任意の点の一次微分値はその点の近傍に位置する複数の点に対して与えられる一次微分値を補間したものと略同一の値になる。以上の性質と、曲面の勾配は曲面を表わす関数の一次微分で表されることを考慮に入れると、曲面上の各点の勾配も、その点の近傍に位置する複数の点に対して与えられる勾配を補間したもので近似可能であることがわかる。
　高解像度画像Ｄ３０と低解像度画像Ｄ０１を比較すると、両者は画素数の違いを無視すれば同じ画像であり、座標空間上で両者を表す曲面はほぼ一致する。よって低解像度画像Ｄ０１の勾配を式（７）、式（８）のように補間することで高解像度画像Ｄ３０の勾配を近似的に求めることが出来る。
　即ち、低解像度画像Ｄ０１の勾配を表す第１の変化量Ｄ３Ａ１及び第２の変化量Ｄ３Ａ２を補間して得られる変化量推定値Ｄ３Ａ５１及び変化量推定値Ｄ３Ａ５２をそれぞれ第１成分及び第２成分とする２次元ベクトルは、高解像度画像Ｄ３０の勾配を近似的に表すベクトルとなる。
　次に、第１の方向指示値Ｄ３Ａ５ｘ及び第２の方向指示値Ｄ３Ａ５ｙを第１成分及び第２成分とする２次元ベクトルについて述べる。
　式（９）で表される第１の方向指示値Ｄ３Ａ５ｘ及び第２の方向指示値Ｄ３Ａ５ｙをそれぞれ第１成分及び第２成分とする２次元ベクトルは、変化量推定値Ｄ３Ａ５１を第１成分、変化量推定値Ｄ３Ａ５２を第２成分とする２次元ベクトルと平行な単位ベクトルになるので、このベクトルも、勾配と同じ方向を指している。また、勾配によって相関の強い方向が判断出来るので、式（９）で表される第１の方向指示値Ｄ３Ａ５ｘ及び第２の方向指示値Ｄ３Ａ５ｙによっても相関の強い方向を判断できる。
　なお、変化量推定値Ｄ３Ａ５１あるいは変化量推定値Ｄ３Ａ５２の絶対値の少なくとも一方が小さな値の時、第３の変化量Ｄ３Ａ３と第４の変化量Ｄ３Ａ４の比較結果から第１の方向指示値Ｄ３Ａ５ｘ及び第２の方向指示値Ｄ３Ａ５ｙを求めている。これには以下のような作用、効果がある。
　図７（Ａ）～（Ｃ）は変化量推定値Ｄ３Ａ５１及びＤ３Ａ５２の絶対値の少なくとも一方が小さな値となる典型的な画像を表している。図７（Ａ）は画像に垂直方向の縞模様が存在する場合であり、図７（Ｂ）は画像に水平方向の縞模様が存在する場合であり、図７（Ｃ）は画像に画素値の変化が見られない場合である。
　図７（Ａ）のように画像内に垂直方向の縞模様がある場合、第２の変化量Ｄ３Ａ２の絶対値はあまり大きな値にならないため、第２の変化量Ｄ３Ａ２を補間して得られる変化量推定値Ｄ３Ａ５２の絶対値もあまり大きな値にならない。
　図７（Ｂ）のように画像内に水平方向の縞模様がある場合、第１の変化量Ｄ３Ａ１の絶対値はあまり大きな値にならないため、第１の変化量Ｄ３Ａ１を補間して得られる変化量推定値Ｄ３Ａ５１の絶対値もあまり大きな値にはならない。
　図７（Ｃ）のように画像内で画素値の変化が見られない場合、第１の変化量Ｄ３Ａ１及び第２の変化量Ｄ３Ａ２ともにその絶対値はあまり大きな値にならないため、変化量推定値Ｄ３Ａ５１及びＤ３Ａ５２ともにその絶対値はあまり大きな値にならない。
　低解像度画像Ｄ０１に図７（Ａ）のように垂直方向の縞模様がある場合を考える。この場合、低解像度画像Ｄ０１の画素値の水平方向の一次微分の絶対値はある程度大きな値になることが期待される。ここで一次微分の値は正の値や負の値を取りうる。
　一方、高解像度画像Ｄ３０内の注目位置に対して計算される一次微分は低解像度画像Ｄ０１の各画素に対して計算される一次微分の補間によって与えられる。
　まず、式（７）によって行われる水平方向に関する一次微分の補間について考える。縞模様の間隔によっては、式（７）で行う補間演算において、正の値と負の値を足しあうことになる。例えばＤ３Ａ１（ｓ－ｓｄｅｃ，ｔ－ｔｄｅｃ）とＤ３Ａ１（ｓ－ｓｄｅｃ，ｔ－ｔｄｅｃ＋１）が正の値であり、Ｄ３Ａ１（ｓ－ｓｄｅｃ＋１，ｔ－ｔｄｅｃ）とＤ３Ａ１（ｓ－ｓｄｅｃ＋１，ｔ－ｔｄｅｃ＋１）が負の値であると、正の値と負の値を足しあうことになり、補間演算の結果得られる変化量推定値Ｄ３Ａ５１はゼロに近い値、即ち小さな値となり得る。
　次に、式（８）によって行われる垂直方向に関する一次微分の補間について考える。この場合、Ｄ３Ａ２（ｓ－ｓｄｅｃ，ｔ－ｔｄｅｃ）、Ｄ３Ａ２（ｓ－ｓｄｅｃ，ｔ－ｔｄｅｃ＋１）、Ｄ３Ａ２（ｓ－ｓｄｅｃ＋１，ｔ－ｔｄｅｃ）、及びＤ３Ａ２（ｓ－ｓｄｅｃ＋１，ｔ－ｔｄｅｃ＋１）の絶対値はいずれも小さな値であるので補間演算の結果得られる変化量推定値Ｄ３Ａ５２も小さな値である。
　ここで垂直方向の縞模様のように垂直方向に相関が強い場合、第１の方向指示値Ｄ３Ａ５ｘは１に近い値を、第２の方向指示値Ｄ３Ａ５ｙは０に近い値をとるべきである。そのためには変化量推定値Ｄ３Ａ５１の絶対値が変化量推定値Ｄ３Ａ５２の絶対値よりかなり大きい値である必要があるが、先にのべたように変化量推定値Ｄ３Ａ５１の絶対値は小さな値を取りうるので、そのような関係が満たされる保証がない。つまり垂直方向の縞模様が存在した場合、変化量推定値Ｄ３Ａ５１及びＤ３Ａ５２からは、第１の方向指示値Ｄ３Ａ５ｘ及び第２の方向指示値Ｄ３Ａ５ｙを適切に求めることができない場合がある。
　同様に水平方向の縞模様が存在した場合、第１の方向指示値Ｄ３Ａ５ｘは「０」に近い値を、第２の方向指示値Ｄ３Ａ５ｙは「１」に近い値をとるべきであるが、変化量推定値Ｄ３Ａ５１及びＤ３Ａ５２からは、第１の方向指示値Ｄ３Ａ５ｘ及び第２の方向指示値Ｄ３Ａ５ｙを適切に求めることができない場合がある。
　ここで、図７（Ａ）のように垂直方向の縞模様が存在する場合、あるいは垂直方向に相関が強い場合に、低解像度画像Ｄ０１の各画素に対して計算される画素値の二次微分を考えると、垂直方向の絶対値は小さな値となるが、水平方向の二次微分の絶対値はある程度大きな値になる。よって注目位置の周辺が垂直方向の縞模様であった場合、注目位置周辺に存在する低解像度画像Ｄ０１の各画素に対して計算される水平方向の二次微分の絶対値と垂直方向の二次微分の絶対値を比較すると、水平方向の二次微分の絶対値の方が大きい画素の数が多い。よって第１のカウント値Ｄ３Ａ５３２Ｎ１の方が第２のカウント値Ｄ３Ａ５３２Ｎ２より大きな値となる。
　図７（Ｂ）のように水平方向の縞模様がある場合、あるいは水平方向に相関が強い場合は、同様の議論から、よって第１のカウント値Ｄ３Ａ５３２Ｎ２の方が第２のカウント値Ｄ３Ａ５３２Ｎ１より大きな値となる。
　図７（Ｃ）のように画素値の変化が見られない場合、あるいは相関の強い特定の方向が存在しない場合は、注目位置周辺の画素に対して計算される画像の水平方向及び垂直方向とも二次微分の絶対値はあまり大きな値にならず、どちらが大きな値をとるかも偶然的に決まる。よって、注目位置周辺の画素に対して計算される水平方向の二次微分の絶対値と垂直方向の二次微分の絶対値を比較すると、垂直方向の二次微分の絶対値の方が大きい画素の数と水平方向の二次微分の絶対値の方が大きい画素の数とに大きな差はつかない。よって第１のカウント値Ｄ３Ａ５３２Ｎ１と第２のカウント値Ｄ３Ａ５３２Ｎ２はほぼ同じ値となる。
　よって、変化量推定値Ｄ３Ａ５１及びＤ３Ａ５２の少なくとも一方が小さな値の時、第１のカウント値Ｄ３Ａ５３２Ｎ１及び第２のカウント値Ｄ３Ａ５３２Ｎ２を用いることで、垂直方向に相関が強いか水平方向に相関が強いか、相関の強い特定の方向が存在しないか判断できる。
　即ち、第１のカウント値Ｄ３Ａ５３２Ｎ１及び第２のカウント値Ｄ３Ａ５３２Ｎ２の大小関係から、垂直方向に相関が強いか水平方向に相関が強いか判断することで、第１の方向指示値Ｄ３Ａ５ｘ及び第２の方向指示値Ｄ３Ａ５ｙを適切に求めることができる。つまり、Ｄ３Ａ５３２Ｎ１＞Ｄ３Ａ５３２Ｎ２の場合は垂直方向に相関が強いので第１の方向指示値Ｄ３Ａ５ｘを「１」とし、第２の方向指示値Ｄ３Ａ５ｙを「０」とし、逆にＤ３Ａ５３２Ｎ１＜Ｄ３Ａ５３２Ｎ２の場合は水平方向に相関が強いので第１の方向指示値Ｄ３Ａ５ｘを「０」とし、第２の方向指示値Ｄ３Ａ５ｙを「１」とする。また、補間係数Ｄ３Ａは、第１の方向指示値Ｄ３Ａ５ｘ及び第２の方向指示値Ｄ３Ａ５ｙにもとづいてその値が変化するので、第１の方向指示値Ｄ３Ａ５ｘ及び第２の方向指示値Ｄ３Ａ５ｙを適切に求めることは、補間係数Ｄ３Ａを適切に求めることにつながる。
　なお、第１の方向指示値Ｄ３Ａ５ｘ及び第２の方向指示値Ｄ３Ａ５ｙを上記のように求めるのに加え、相関の強い特定の方向が存在しない場合、即ち、第１のカウント値Ｄ３Ａ５３２Ｎ１と第２のカウント値Ｄ３Ａ５３２Ｎ２の差があまり大きくない場合、第１の方向指示値Ｄ３Ａ５ｘ及び第２の方向指示値Ｄ３Ａ５ｙをともにゼロとする理由は、後述するように、このようにすることで、相関の強い特定の方向が存在しない場合、注目位置周辺の画素に対して等しく重み付けするように補間係数を求めることが出来るからである。
　以上のように、低解像度画像Ｄ０１の画素値の変化の水平方向の二次微分の絶対値、垂直方向の二次微分の絶対値を用いることで、相関の強い方向をより正確に求めることが可能になる。
　また、以上の説明から第１の方向指示値Ｄ３Ａ５ｘ及び第２の方向指示値Ｄ３Ａ５ｙあるいは方向指示データＤ３Ａ５は相関の強い方向を表すデータであることがわかる。
　なお、本実施の形態では、第１の変化量Ｄ３Ａ１として低解像度画像Ｄ０１の画素値の変化の水平方向の一次微分、第２の変化量Ｄ３Ａ２として低解像度画像Ｄ０１の画素値の変化の垂直方向の一次微分、第３の変化量Ｄ３Ａ３として低解像度画像Ｄ０１の画素値の変化の水平方向の二次微分の絶対値、第４の変化量Ｄ３Ａ４として低解像度画像Ｄ０１の画素値の変化の垂直方向の二次微分の絶対値を使ったが、第１の変化量Ｄ３Ａ１、第２の変化量Ｄ３Ａ２、第３の変化量Ｄ３Ａ３、及び第４の変化量Ｄ３Ａ４として利用可能な値は上記の例に限らない。
　第１の変化量Ｄ３Ａ１と第３の変化量Ｄ３Ａ３、および第２の変化量Ｄ３Ａ２と第４の変化量Ｄ３Ａ４が異なる性質のもの、あるいは異なる方法によって求められるものであればよい。第１の変化量Ｄ３Ａ１と第３の変化量Ｄ３Ａ３、および第２の変化量Ｄ３Ａ２と第４の変化量Ｄ３Ａ４として異なる性質を持つものを用いることで、第１の変化量Ｄ３Ａ１及び第２の変化量Ｄ３Ａ２によって相関の強い方向を判定するのが困難な場合でも、第３の変化量Ｄ３Ａ３及び第４の変化量Ｄ３Ａ４によって相関の強い方向を判定することが可能となる。つまり、より正確に相関の強い方向を求めることが出来る。
　補間係数Ｄ３Ａについて述べる。
　相関が強い方向に位置する画素ほど相関の強い画素であるとして扱われ、より大きな値の補間係数Ｄ３Ａが与えられる。
　注目位置の水平座標をｓ、垂直座標をｔ、注目位置における第１の方向指示値Ｄ３Ａ５ｘをＤ３Ａ５ｘ（ｓ，ｔ）、第２の方向指示値Ｄ３Ａ５ｙをＤ３Ａ５ｙ（ｓ，ｔ）で表した場合、注目位置を通る等高線に接する直線は２次元ベクトル（Ｄ３Ａ５ｘ（ｓ，ｔ），Ｄ３Ａ５ｙ（ｓ，ｔ））に直交する直線であるので、以下の式で表される。
Figure JPOXMLDOC01-appb-M000017
 即ち、上記の式（１７）を満たす（ｘ，ｙ）の集合が、上記の「直交する直線」である。また、水平座標がｐ、垂直座標がｑで表される位置からこの直線に対する距離は
Figure JPOXMLDOC01-appb-M000018
 で計算できる。ここで第１の方向指示値Ｄ３Ａ５ｘ及び第２の方向指示値Ｄ３Ａ５ｙが式（１０）によって決定される場合を除き、分母の値は１となるので、式（１８）は式（１３）に示したｒと一致する。
　注目位置近傍では、注目位置を通る等高線を、注目位置を通る等高線に接する直線で近似的することが出来る。したがって式（１３）に示したｒは注目位置を通る等高線からの距離の近似値といえる。
　補間係数Ｄ３Ａはｒに対して単調に減少する関数によって与えられるので、注目位置を通る等高線からの距離が長くなるほどその値が小さくなる。また、注目位置と同じ画素値になる点が等高線で結ばれているので、等高線からの距離が長くなるほど、注目位置との相関は弱くなる。
　よって、補間係数Ｄ３Ａは相関が弱い方向に位置する画素ほど小さな値になるよう求められている。言い換えると、相関が強い方向に位置する画素ほど大きな値となるよう求められている。即ち、第１の方向指示値Ｄ３Ａ５ｘ及び第２の方向指示値Ｄ３Ａ５ｙから補間係数Ｄ３Ａを求めることで、補間係数Ｄ３Ａを計算する際に、注目位置との相関を考慮することができる。
　なお、第１の方向指示値Ｄ３Ａ５ｘ及び第２の方向指示値Ｄ３Ａ５ｙが式（１０）によって決定される場合、上記の議論は成り立たないが、この場合、ｒの値は、ｐ、ｑの値によらず常にゼロである。よって補間係数は全ての画素に対して同じ値が用いられる。
　一方、第１の方向指示値Ｄ３Ａ５ｘ及び第２の方向指示値Ｄ３Ａ５ｙが式（１０）によって決定されるのは、相関の強い特定の方向が存在しない場合である。よって補間係数としても、特定の方向に対して大きな値にする必要はない。逆に言えば相関の強い方向がない場合、全ての方向に対して等しく重み付けできるよう補間係数を求めることが出来る。
　以上に説明したように、本発明による画像拡大装置では、注目位置に存在する画素（以下、注目画素と呼ぶ）の画素値を注目画素周辺に位置する画素の画素値を補間して求める際、注目画素に対して相関の強い方向を判断し、その結果にしたがって補間係数を求めるので、注目画素との相関が強い画素に対する補間係数ほどより大きな重みを持つ。また、上記のように定められる補間係数を用いた補間演算を行うので、注目画素の画素値をより正確に求めることが出来る。
　例えば、注目画素の近くにエッジのように輝度値が大きく変わる部分があったとする。この場合、注目画素の近傍には輝度の低い画素が集まっている領域と輝度の高い画素が集まっている領域が存在する。以下、仮に注目画素が輝度の低い領域に含まれているとする。
　注目画素の画素値を注目画素周辺の画素値を補間して求める際に、注目画素との相関の強さを考慮せずに注目画素周辺の画素に対する補間係数を求めた場合、輝度の高い画素も輝度の低い画素も同じ程度に注目画素の画素値に影響する。その結果、注目画素の画素値は周囲にある輝度の低い画素に比べて高い値となり、違和感が生じる。
　一方、注目画素の画素値を注目画素周辺の画素値を補間して求める際に、注目画素との相関の強さを考慮して補間係数を求めた場合、輝度の高い画素に対する重みづけは小さくなり、輝度が低い画素に対する重み付けは大きくなる。よって注目画素の画素値は周囲にある輝度の低い画素と同程度の値となり、上記のような違和感が生じない。
　また、本発明による画像拡大装置ではその演算内容から明らかなように、注目画素に対して求める相関の強い方向は連続的な値で表されるものになる。よってエッジの角度あるいはエッジの形状を所定のパターンのいずれかに分類することもないのでエッジの形状によらず常に適切な補間演算を行うことができる。
　なお、注目画素に対する相関の求め方は上記の例に留まらない。一般的に注目画素から離れた位置にある画素は、注目画素と異なる画素値をとる可能性が高い。よって、式（１３）に示したｒに加え、注目位置からの距離にも応じて補間係数が変わるようにしてもよい。例えば、注目位置からの距離が遠くなるほど補間係数が小さくなるようにしてもよい。注目画素からの距離をも考慮することで、注目画素とその周囲の画素との相関がより厳密に考慮され、注目画素の画素値もより適切に求められる。
　なお、式（１３）に示したｒは、（ｐ－ｓ）、（ｑ－ｔ）に依存し、式（１４）のｆ（ｒ）は、ｒの増加に対して減少するので、距離が大きくなるほど補間係数が小さくなる。従って、ｒに加えて注目画素からの距離にも応じて補間係数が小さくなるようにすると、注目画素からの距離を二重に考慮することになる。
　また、第１の変化量Ｄ３Ａ１は低解像度画像Ｄ０１の画素値の変化の水平方向に関する一次微分に相当する値であればよい。したがってその求め方は、低解像度画像Ｄ０１の画素値の変化の水平方向に関する一次微分を近似的に計算できる方法であればよく、式（３）に限定されない。
　同様に、第２の変化量Ｄ３Ａ２は低解像度画像Ｄ０１の画素値の変化の垂直方向に関する一次微分に相当する値であればよい。したがってその求め方は、低解像度画像Ｄ０１の画素値の変化の垂直方向に関する一次微分を近似的に計算できる方法であればよく、式（４）に限定されない。
　また、上記の説明では、第１の変化量Ｄ３Ａ１と第２の変化量Ｄ３Ａ２は低解像度画像Ｄ０１の画素値の変化の水平方向に関する一次微分と垂直方向に関する一次微分の組み合わせであったが、両者は異なる方向に関する画素値の変化の一次微分の組み合わせであればよい。よって、一般化して言えば、第１の変化量Ｄ３Ａ１は低解像度画像Ｄ０１の画素値の変化の第１の方向に関する一次微分、第２の変化量Ｄ３Ａ２は低解像度画像Ｄ０１の画素値の変化の第２の方向に関する一次微分であればよい。
　また、第３の変化量Ｄ３Ａ３は低解像度画像Ｄ０１の画素値の変化の水平方向に関する二次微分に相当する値であればよい。したがってその求め方は、低解像度画像Ｄ０１の画素値の変化の水平方向に関する二次微分を近似的に計算できる方法であればよく、式（５）に限定されない。
　同様に、第４の変化量Ｄ３Ａ４は低解像度画像Ｄ０１の画素値の変化の垂直方向に関する二次微分に相当する値であればよい。したがってその求め方は、低解像度画像Ｄ０１の画素値の変化の垂直方向に関する二次微分を近似的に計算できる方法であればよく、式（６）に限定されない。
　さらに、上記の説明では、第３の変化量Ｄ３Ａ３と第４の変化量Ｄ３Ａ４は低解像度画像Ｄ０１の画素値の変化の水平方向に関する二次微分と垂直方向に関する二次微分の組み合わせであったが、両者は異なる方向に関する画素値の変化の二次微分の組み合わせであればよい。また、第３の変化量Ｄ３Ａ３の変化の方向、第４の変化量の変化の方向は、それぞれ第１の変化量の変化の方向（第１の方向）、第２の変化量の変化の方向（第２の方向）と同じでなくても良い。よって、一般化して言えば、第３の変化量Ｄ３Ａ３は低解像度画像Ｄ０１の画素値の変化の第３の方向に関する二次微分、第４の変化量Ｄ３Ａ４は低解像度画像Ｄ０１の画素値の変化の第４の方向に関する二次微分であればよい。
　また、画素値算出部３０は、以上に説明した補間演算によって、各注目位置に画素が存在するとした場合の画素値を求めるが、各注目位置のうち、その位置が低解像度画像Ｄ０１の画素の位置と一致するものについては、以上に説明した補間演算によって求めず、低解像度画像Ｄ０１の画素値をそのまま用いてもよい。例えば図３に示した例では、
Ｄ３０（ｘ，ｙ）＝Ｄ０１（ｘ，ｙ）
Ｄ３０（ｘ－１，ｙ）＝Ｄ０１（ｘ－１，ｙ）
Ｄ３０（ｘ，ｙ＋１）＝Ｄ０１（ｘ，ｙ＋１）
等としてもよい。
　本実施の形態による画像拡大装置は画像表示装置の一部として用いることができる。特に画像表示装置に対する入力画像の画素数が画像表示装置の表示部の画素数より少ない場合に用いることができる。
実施の形態２．
　図８は本発明の実施の形態２による画像拡大方法を実行するための演算装置を表す。本発明の画像拡大方法は低解度画像Ｄ０１から高解像度画像Ｄ３０を生成する。
　本発明による画像拡大方法を実行するための演算装置は入力インターフェースＩＦ１、出力インターフェースＩＦ２、プロセッサＣＰＵ１、プログラムメモリＭＥＭ１、及びデータメモリＭＥＭ２とこれらを接続するデータバスＢＵＳ１を備える。
　プロセッサＣＰＵ１はプログラムメモリＭＥＭ１に記憶されたプログラムに従って動作する。動作の過程で発生する様々なデータはデータメモリＭＥＭ２に記憶される。低解度画像Ｄ０１、低解像度画像Ｄ０２は入力インターフェースＩＦ１を介して演算装置へ入力される。本発明による画像拡大方法によって生成される高解像度画像Ｄ３０は出力インターフェースＩＦ２を介して演算装置の外部へ出力される。
　図９は本発明による画像拡大方法の処理手順を表す図である。本発明による画像拡大方法は、補間係数算出ステップＳＴ３Ａ、及び補間演算ステップＳＴ３Ｂを含み、
高解像度画像Ｄ３０を構成する各画素の画素値を補間演算によって求める。
　補間係数算出ステップＳＴ３Ａについて述べる。
　図１０は、補間係数算出ステップＳＴ３Ａの処理手順を表す図である。補間係数算出ステップＳＴ３Ａは、第１の変化量算出ステップＳＴ３Ａ１、第２の変化量算出ステップＳＴ３Ａ２、第３の変化量算出ステップＳＴ３Ａ３、第４の変化量算出ステップＳＴ３Ａ４、方向算出ステップＳＴ３Ａ５、及び係数算出ステップＳＴ３Ａ６を含む。
　第１の変化量算出ステップＳＴ３Ａ１は、実施の形態１で説明した第１の変化量算出部３Ａ１と同様の処理で低解像度画像Ｄ０１の各画素について水平方向に関する画素値の一次微分を計算し、第１の変化量Ｄ３Ａ１を求める。
　第２の変化量算出ステップＳＴ３Ａ２は、実施の形態１で説明した第２の変化量算出部３Ａ２と同様の処理で低解像度画像Ｄ０１の各画素について垂直方向に関する画素値の一次微分を計算し、第２の変化量Ｄ３Ａ２を求める。
　第３の変化量算出ステップＳＴ３Ａ３は、実施の形態１で説明した第３の変化量算出部３Ａ３と同様の処理で低解像度画像Ｄ０１の各画素について水平方向に関する画素値の二次微分を計算し、第３の変化量Ｄ３Ａ３を求める。
　第４の変化量算出ステップＳＴ３Ａ４は、実施の形態１で説明した第４の変化量算出部３Ａ４と同様の処理で低解像度画像Ｄ０１の各画素について垂直方向に関する画素値の二次微分を計算し、第４の変化量Ｄ３Ａ４を求める。
　方向算出ステップＳＴ３Ａ５について図１１を用いて説明する。
　図１１は方向算出ステップＳＴ３Ａ５の処理手順を表す図である。方向算出ステップＳＴ３Ａ５は、第１の変化量推定ステップＳＴ３Ａ５１、第２の変化量推定ステップＳＴ３Ａ５２、及び変化量比較ステップＳＴ３Ａ５３を含む。
　第１の変化量推定ステップＳＴ３Ａ５１は、実施の形態１で説明した第１の変化量推定部３Ａ５１と同様の処理で第１の変化量推定値Ｄ３Ａ５１を求める。
　第２の変化量推定ステップＳＴ３Ａ５２は、実施の形態１で説明した第２の変化量推定部３Ａ５２と同様の処理で第１の変化量推定値Ｄ３Ａ５１を求める。
　変化量比較ステップＳＴ３Ａ５３について図１２を用いて説明する。
　図１２は変化量比較ステップＳＴ３Ａ５３の処理手順を表す図である。変化量比較ステップＳＴ３Ａ５３は、第１の比較判定ステップＳＴ３Ａ５３１、第２の比較判定ステップＳＴ３Ａ５３２、及び方向指示値ステップＳＴ３Ａ５３３を含む。
　第１の比較判定ステップＳＴ３Ａ５３１は、実施の形態１の第１の比較判定部３Ａ５３１と同様の処理で第１の比較結果Ｄ３Ａ５３１を求める。
　第２の比較判定ステップＳＴ３Ａ５３２は、実施の形態１の第２の比較判定部３Ａ５３２と同様の処理で計算した第１のカウント値Ｄ３Ａ５３２ＡＮ１及び第２のカウント値Ｄ３Ａ５３２Ｎ２からなる第２の比較結果Ｄ３Ａ５３２を求める。
　方向指示値計算ステップＳＴ３Ａ５３３は、実施の形態１の方向指示値計算部３Ａ５３３と同様の処理で方向指示データＤ３Ａ５を求める。
　変化量比較ステップＳＴ３Ａ５３の動作は以上の通りであり、その動作は、実施の形態１で説明した変化量比較部３Ａ５３と同様の処理である。
　また、方向算出ステップＳＴ３Ａ５の動作は以上の通りであり、その動作は、実施の形態１で説明した方向算出部３Ａ５と同様である。
　係数算出ステップＳＴ３Ａ６は、実施の形態１で説明した係数算出部３Ａ６と同様の処理で補間係数Ｄ３Ａを計算する。
　補間係数算出ステップＳＴ３Ａの動作は以上の通りであり、その動作は、実施の形態１で説明した補間係数算出部３Ａと同様である。
　補間演算ステップＳＴ３Ｂについて述べる。
　補間演算ステップＳＴ３Ｂは実施の形態１で説明した補間演算部３Ｂと同様の処理で高解像度画像Ｄ３０の各画素の画素値を求める。
　本発明の実施の形態２による画像拡大方法の動作は以上の通りである。本発明の画像拡大方法は本発明の実施の形態１の画像拡大装置と同様の処理を行うことが出来るので、本発明の実施の形態１の画像拡大装置と同様の効果をもつ。また、本発明の実施の形態１の画像拡大装置に対する変形は、本発明の実施の形態２による画像拡大方法にも適用できる。
　本実施の形態による画像拡大方法あるいはそれを実施する演算装置は画像表示装置の一部として用いることができる。特に画像表示装置に対する入力画像の画素数が画像表示装置の表示部の画素数より少ない場合に用いることができる。
　３Ａ　補間係数算出部、　３Ｂ　補間演算部、　Ｄ０１　低解像度画像、　Ｄ３Ａ　補間係数、　Ｄ３０　高解像度画像。

Claims (10)

  1. 　低解像度画像から高解像度画像を生成する画像拡大装置であって、
    　前記高解像度画像を前記低解像度画像上に重ねた場合に前記高解像度画像内の画素が重なる位置を注目位置とし、前記注目位置ごとにその位置に画素が存在すると仮定した場合の画素値を前記低解像度画像内の複数の画素の持つ画素値と、該複数の画素についての補間係数とを用いた補間演算によって求める補間演算部と、
    　前記低解像度画像内の複数の画素のうち、前記注目画素との相関が強い画素に対するものほど大きな値となる前記補間係数を求め、前記補間演算部に出力する補間係数算出部を有し、
    　前記補間係数算出部は、
    　前記低解像度画像の各画素に対してその画素を中心とした第１の方向に関する第１の変化量を求める第１の変化量算出部と、
    　前記低解像度画像の各画素に対してその画素を中心とした第２の方向に関する第２の変化量を求める第２の変化量算出部と、
    　前記第１の変化量を補間して得た第１の補間変化量と、前記第２の変化量を補間して得た第２の補間変化量を用いて相関の強い方向を表す方向指示データを求める方向算出部と、
    　前記方向指示データから前記補間係数を求める係数算出部を含む
    　ことを特徴とする画像拡大装置。
  2. 　前記補間係数算出部は、
    　相関の強い方向に位置する画素が前記相関の強い画素であるとして処理するものであり、
    　前記相関の強い方向を、前記低解像度画像から求める
    　ことを特徴とする請求項１に記載の画像拡大装置。
  3. 　前記第１の変化量は前記低解像度画像の各画素を中心として前記第１の方向に関する画素値の変化の一次微分を求めたものであり、
    　前記第２の変化量は前記低解像度画像の各画素を中心として前記第２の方向に関する画素値の変化の一次微分を求めたものである
    　ことを特徴とする請求項１に記載の画像拡大装置。
  4. 　前記補間係数算出部は、
    　前記低解像度画像の各画素に対してその画素を中心とした第３の方向に関する第３の変化量を求める第３の変化量算出部と、
    　前記低解像度画像の各画素に対してその画素を中心とした第４の方向に関する第４の変化量を求める第４の変化量算出部をさらに含み、
    　前記方向算出部は、前記第１から第４の変化量をもとに、前記方向指示データを求める
    　ことを特徴とする請求項３に記載の画像拡大装置。
  5. 　前記第３の変化量は前記低解像度画像の各画素を中心として前記第３の方向に関する画素値の変化の二次微分の絶対値を求めたものであり、
    　前記第４の変化量は前記低解像度画像の各画素を中心として前記第４の方向に関する画素値の変化の二次微分の絶対値を求めたものである
    　ことを特徴とする請求項４に記載の画像拡大装置。
  6. 　前記方向算出部は、
    　前記第１の補間変化量の絶対値が第１の閾値以下もしくは前記第２の補間変化量の絶対値が第２の閾値以下の場合、
    　前記第３の変化量及び前記第４の変化量に応じて前記相関の強い方向を判断する
    　ことを特徴とする請求項５に記載の画像拡大装置。
  7. 　前記方向算出部は、
    　前記注目画素の近傍に存在する、前記低解像度画像の画素ごとに前記第３の変化量の絶対値と前記第４の変化量の絶対値を比較した結果、
    　前記第３の変化量の絶対値より前記第４の変化量の絶対値の方が大きい画素の数が多い場合、前記第３の方向に相関が強いと判断し、
    　前記第４の変化量の絶対値より前記第３の変化量の絶対値の方が大きい画素の数が多い場合、前記第４の方向に相関が強いと判断する
    　ことを特徴とする請求項６に記載の画像拡大装置。
  8. 　前記方向算出部は、
    　前記注目画素の近傍に存在する、前記低解像度画像の画素ごとに前記第３の変化量の絶対値と前記第４の変化量の絶対値を比較した結果、
    　前記第３の変化量の絶対値より前記第４の変化量の絶対値の方が大きい画素の数と、前記第４の変化量の絶対値より前記第３の変化量の絶対値の方が大きい画素の数の差が第３の閾値より小さい場合、
    　相関が強い方向は存在しないと判断する
    　ことを特徴とする請求項６に記載の画像拡大装置。
  9. 　前記係数算出部は、
    　前記低解像度画像内に存在する画素と前記注目画素の距離及び前記方向指示データに基づいて、前記補間係数を求める
    　ことを特徴とする請求項１に記載の画像拡大装置。
  10. 　低解像度画像から高解像度画像を生成する画像拡大方法であって、
    　前記高解像度画像を前記低解像度画像上に重ねた場合に前記高解像度画像内の画素が重なる位置を注目位置とし、前記注目位置ごとにその位置に画素が存在すると仮定した場合の画素値を前記低解像度画像内の複数の画素の持つ画素値と、該複数の画素についての補間係数とを用いた補間演算によって求める補間演算ステップと、
    　前記低解像度画像内の複数の画素のうち、前記注目画素との相関が強い画素に対するものほど大きな値となる前記補間係数を求め、前記補間演算ステップに出力する補間係数算出ステップを有し、
    　前記補間係数算出ステップは、
    　前記低解像度画像の各画素に対してその画素を中心とした第１の方向に関する第１の変化量を求める第１の変化量算出ステップと、
    　前記低解像度画像の各画素に対してその画素を中心とした第２の方向に関する第２の変化量を求める第２の変化量算出ステップと、
    　前記第１の変化量を補間して得た第１の補間変化量と、前記第２の変化量を補間して得た第２の補間変化量を用いて相関の強い方向を表す方向指示データを求める方向算出ステップと、
    　前記方向指示データから前記補間係数を求める係数算出ステップを含む
    　ことを特徴とする画像拡大方法。
PCT/JP2011/073222 2011-02-21 2011-10-07 画像拡大装置及び方法 WO2012114574A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013500828A JP5701374B2 (ja) 2011-02-21 2011-10-07 画像拡大装置及び方法
US13/983,523 US9020303B2 (en) 2011-02-21 2011-10-07 Image magnification device and method
CN201180068016.0A CN103380615B (zh) 2011-02-21 2011-10-07 图像放大装置及方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-034294 2011-02-21
JP2011034294 2011-02-21

Publications (1)

Publication Number Publication Date
WO2012114574A1 true WO2012114574A1 (ja) 2012-08-30

Family

ID=46720378

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/073222 WO2012114574A1 (ja) 2011-02-21 2011-10-07 画像拡大装置及び方法

Country Status (4)

Country Link
US (1) US9020303B2 (ja)
JP (1) JP5701374B2 (ja)
CN (1) CN103380615B (ja)
WO (1) WO2012114574A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9390471B1 (en) 2015-02-05 2016-07-12 Synaptics Display Devices Gk Device and method for image scaling
CN107256377A (zh) * 2012-09-12 2017-10-17 威智伦富智堡公司 用于检测视频中的对象的方法、设备和系统
US10192286B2 (en) 2014-09-11 2019-01-29 Synaptics Japan Gk Device and method for image enlargement and display panel driver using the same

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6276580B2 (ja) * 2013-12-20 2018-02-07 株式会社メガチップス 画素補間処理装置、撮像装置、プログラムおよび集積回路
CN104021523B (zh) * 2014-04-30 2017-10-10 浙江师范大学 一种基于边缘分类的图像超分辨率放大的方法
CN106341670B (zh) 2016-11-29 2017-09-22 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
CN106454288B (zh) 2016-11-29 2018-01-19 广东欧珀移动通信有限公司 控制方法、控制装置、成像装置及电子装置
CN106454054B (zh) 2016-11-29 2019-03-19 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
CN106507068B (zh) 2016-11-29 2018-05-04 广东欧珀移动通信有限公司 图像处理方法及装置、控制方法及装置、成像及电子装置
CN106504218B (zh) 2016-11-29 2019-03-12 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
CN106604001B (zh) 2016-11-29 2018-06-29 广东欧珀移动通信有限公司 图像处理方法、图像处理装置、成像装置及电子装置
CN109523469B (zh) * 2018-11-16 2022-12-27 深圳朗田亩半导体科技有限公司 图像缩放方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08274983A (ja) * 1995-03-30 1996-10-18 Sharp Corp 画素補間方法
JP2005094119A (ja) * 2003-09-12 2005-04-07 Canon Inc 画像処理装置
JP2005094120A (ja) * 2003-09-12 2005-04-07 Canon Inc 画像処理装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0750752A (ja) 1993-08-06 1995-02-21 Fuji Xerox Co Ltd 画像密度変換方法及び装置
JPH07107273A (ja) 1993-10-07 1995-04-21 Canon Inc 画像処理装置及び方法
US6882364B1 (en) 1997-12-02 2005-04-19 Fuji Photo Film Co., Ltd Solid-state imaging apparatus and signal processing method for transforming image signals output from a honeycomb arrangement to high quality video signals
JP4607265B2 (ja) 1998-01-08 2011-01-05 富士フイルム株式会社 固体撮像装置および信号処理方法
JP2001008037A (ja) 1999-06-23 2001-01-12 Nec Corp 画素補間方法および回路
JP2002024815A (ja) 2000-06-13 2002-01-25 Internatl Business Mach Corp <Ibm> 拡大画像データに変換するための画像変換方法、画像処理装置、および画像表示装置
US6987893B2 (en) * 2001-01-05 2006-01-17 Lg Electronics Inc. Image interpolation method and apparatus thereof
US7286721B2 (en) * 2003-09-11 2007-10-23 Leadtek Research Inc. Fast edge-oriented image interpolation algorithm
US7477803B2 (en) * 2003-09-12 2009-01-13 Canon Kabushiki Kaisha Image processing apparatus
TWI220363B (en) * 2003-10-06 2004-08-11 Sunplus Technology Co Ltd Directional interpolation method and device for increasing resolution of an image
US20050094899A1 (en) * 2003-10-29 2005-05-05 Changick Kim Adaptive image upscaling method and apparatus
JP4762115B2 (ja) 2006-11-10 2011-08-31 シャープ株式会社 映像処理装置
US8538203B2 (en) * 2007-07-24 2013-09-17 Sharp Laboratories Of America, Inc. Image upscaling technique
JP4129284B1 (ja) 2007-08-30 2008-08-06 三菱電機株式会社 拡大画像生成装置
KR100952667B1 (ko) * 2008-03-20 2010-04-13 중앙대학교 산학협력단 저역 통과 필터링을 기반으로 한 영상 보간 장치 및 방법
US8380011B2 (en) * 2008-09-30 2013-02-19 Microsoft Corporation Fast directional image interpolator with difference projection
JP2010140460A (ja) * 2008-11-13 2010-06-24 Sony Corp 画像処理装置および方法、並びにプログラム
US8417049B2 (en) * 2009-10-14 2013-04-09 Hewlett-Packard Development Company, L.P. Fast image resolution enhancement with de-pixeling
US8330827B2 (en) * 2009-11-19 2012-12-11 Eastman Kodak Company Increasing image resolution using combined differential image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08274983A (ja) * 1995-03-30 1996-10-18 Sharp Corp 画素補間方法
JP2005094119A (ja) * 2003-09-12 2005-04-07 Canon Inc 画像処理装置
JP2005094120A (ja) * 2003-09-12 2005-04-07 Canon Inc 画像処理装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107256377A (zh) * 2012-09-12 2017-10-17 威智伦富智堡公司 用于检测视频中的对象的方法、设备和系统
US10192286B2 (en) 2014-09-11 2019-01-29 Synaptics Japan Gk Device and method for image enlargement and display panel driver using the same
US10510138B2 (en) 2014-09-11 2019-12-17 Synaptics Japan Gk Device and method for image enlargement and display panel driver using the same
US9390471B1 (en) 2015-02-05 2016-07-12 Synaptics Display Devices Gk Device and method for image scaling

Also Published As

Publication number Publication date
JP5701374B2 (ja) 2015-04-15
US20130315506A1 (en) 2013-11-28
CN103380615A (zh) 2013-10-30
US9020303B2 (en) 2015-04-28
JPWO2012114574A1 (ja) 2014-07-07
CN103380615B (zh) 2015-09-09

Similar Documents

Publication Publication Date Title
JP5701374B2 (ja) 画像拡大装置及び方法
JP6473608B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP5487106B2 (ja) 画像処理装置および方法、ならびに、画像表示装置
JP3829862B1 (ja) ３次元モデル変形システム及びプログラム
JP5653184B2 (ja) 画像処理装置及び方法
WO2013114675A1 (ja) 画像処理装置、歪補正マップ作成装置、および半導体計測装置
JP5787456B2 (ja) 画像処理装置
WO2013008746A1 (ja) 直線検出装置および直線検出方法
WO2013031418A1 (ja) 線分および円弧検出装置
JP5478200B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP4635652B2 (ja) 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
JP5888013B2 (ja) ニューラルネットワーク設計方法、プログラム及びデジタルアナログフィッティング方法
JP5388779B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
KR101122279B1 (ko) 베지어 곡선에 따른 오프셋 곡선을 생성하는 방법
JP5388780B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
CN103618904A (zh) 基于像素的运动估计方法及装置
JP3906201B2 (ja) 補間画像生成装置および隠蔽領域推定方法
JP5333791B2 (ja) 画像処理方法、画像処理装置及び画像処理プログラム
JP6049000B2 (ja) 線分および円弧検出装置
JP2004282593A (ja) 輪郭補正装置
JP5464135B2 (ja) ケーブル曲率分布生成システム及びそのコンピュータプログラム、並びにケーブルの曲率分布生成方法
Schmid et al. High-order curved mesh generation by using a fine linear target mesh
JP2009104228A (ja) 画像位置合わせ方法及び画像位置合わせプログラム
JP2007286827A (ja) オプティカルフロープロセッサ
JP5701816B2 (ja) 画像処理装置、画像処理プログラム及び画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11859289

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013500828

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 13983523

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11859289

Country of ref document: EP

Kind code of ref document: A1