WO2014054068A1 - デジタル画像リサンプリング装置、方法、及びプログラム - Google Patents

デジタル画像リサンプリング装置、方法、及びプログラム Download PDF

Info

Publication number
WO2014054068A1
WO2014054068A1 PCT/JP2012/006307 JP2012006307W WO2014054068A1 WO 2014054068 A1 WO2014054068 A1 WO 2014054068A1 JP 2012006307 W JP2012006307 W JP 2012006307W WO 2014054068 A1 WO2014054068 A1 WO 2014054068A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
deformation
map
image
transformation
Prior art date
Application number
PCT/JP2012/006307
Other languages
English (en)
French (fr)
Inventor
光雄 林
Original Assignee
Hayashi Mitsuo
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hayashi Mitsuo filed Critical Hayashi Mitsuo
Priority to PCT/JP2012/006307 priority Critical patent/WO2014054068A1/ja
Priority to US14/433,032 priority patent/US9532071B2/en
Priority to JP2014539472A priority patent/JP5975496B2/ja
Publication of WO2014054068A1 publication Critical patent/WO2014054068A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding

Definitions

  • the present invention relates to a digital image resampling apparatus, method, and program.
  • bilinear interpolation is an interpolation method that uses a weight according to a position by referring to a total of four pixels, that is, a pixel of a pre-deformation image and a neighboring pixel, in order to determine each pixel to be deformed.
  • the processing speed is inferior to the nearest neighbor method, it is faster than the average pixel method.
  • shaggy can be suppressed more than the nearest neighbor method.
  • bicubic interpolation is an interpolation method similar to bilinear interpolation, but a total of 16 pixels, that is, the transformation source pixel and the neighboring pixels are referred to for each transformation destination pixel.
  • it is an advanced form of bilinear interpolation, and natural and smooth image quality can be obtained compared to bilinear interpolation.
  • the deformation using bilinear interpolation and bicubic interpolation basically scans the deformation destination image without separation, so that not only enlargement and reduction, but also two-dimensional or more image deformation represented by projective transformation, rotation, and polar coordinate transformation. Also used for.
  • a method of scanning the deformation source image instead of scanning the deformation destination image it is a conventional concern that not all the deformation destination images can be generated and some pixels may be missing.
  • the area average method is a reduction method that refers to a pixel group of a pre-deformation image corresponding to the pixel and determines the average of the deformation destination pixel. This is also called an average pixel method, and is generally a method used exclusively for reduction.
  • the pre-filter is a method of performing smoothing according to the reduction ratio before reducing the image.
  • the post-filter is also called a supersampling method, and in order to determine the pixel to be transformed, the pixel to be transformed is further divided into a plurality of pixels, each of which is referred to the pixel group of the pre-transformation image, and the average is obtained. Is a reduction method using.
  • the trilinear filter is mainly used for drawing a polygon in a three-dimensional graphic, and prepares a mipmap that has a reduced image using an average of pixels in a stepwise manner according to the reduction rate of the image. This is a method of applying and combining a single or a plurality of reduced images.
  • the trilinear filter can correct common deterioration seen in a bilinear filter image using mip mapping.
  • the anisotropic filter is mainly used for drawing polygons in three-dimensional graphics, and applies a mipmap using a reference method that takes into account the deformation of the texture in drawing polygons that are non-perpendicular to the camera. It is a method of synthesis. This can be said to be an improvement over the bilinear interpolation and trilinear filter described above.
  • Patent Document 1 an input image having M pixels is acquired by photographing, and the input image is treated as a resampling target image and resampled, whereby each first reduced image having M / 4 pixels. And a second reduced image are generated, and the resampling is executed such that a sampling position shift occurs between the first and second reduced images.
  • the flexible deformation is an image deformation of two or more dimensions capable of reverse coordinate transformation, represented by projective transformation, rotation, and polar coordinate transformation.
  • the conventional deformation method cannot sufficiently realize high-quality resampling for performing flexible deformation including reduction in digital image processing with a limited number of processes and storage capacity without requiring quality parameters.
  • the conventional method of averaging pixel groups in reduction has a problem that the center of gravity of an object in an image is shifted even if the pixel region is taken into consideration. For example, when attention is paid to a plurality of pixels in a certain area before deformation and all the pixels are within one pixel after deformation, the center of gravity cannot be specified. Such a shift in the center of gravity may cause a sense of incongruity in an image that places importance on the positional relationship between thin lines and fine parts (for example, face formation).
  • deformations of two or more dimensions do not necessarily enlarge in all directions or reduce in all directions. That is, there is a deformation in which one direction is reduction but another direction is enlargement with respect to a certain point of the image. In this case, it is not easy to combine the conventional enlargement method and reduction method.
  • the method of increasing the quality by increasing the number of reference points as in the post filter described above increases the number of pixels to be referred to as the quality is increased, so for users with limited computer resources,
  • the quality is selected as a parameter and a trade-off is forced. That is, the upper limit of quality cannot be determined, and the number of processing times and the storage capacity cannot be limited.
  • the present invention realizes high-quality resampling for performing flexible deformation including reduction in digital image processing with a finite number of processing times and storage capacity without requiring quality parameters.
  • the purpose is to do.
  • a further object of the present invention is to realize resampling that suppresses the shift of the center of gravity due to reduction.
  • a further object of the present invention is to realize resampling suitable for deformation in which reduction and enlargement are combined at the reference point of an image.
  • the resampling method according to the first aspect of the present invention is a resampling method using an accumulation map having a sequence common to the transformation destination image, and A first step of scanning and updating the accumulation map based on the deformation source image; and a second step of scanning the deformation destination image and updating the deformation destination image based on the accumulation map. It is characterized by that.
  • the resampling apparatus is a resampling apparatus that uses an accumulation map having a sequence common to the transformation destination image, and is controlled according to display means for displaying various images and a resampling program. And a central control unit configured to scan the transformation source image, update the accumulation map based on the transformation source image, scan the transformation destination image, and store the accumulation And a second step of updating the deformation destination image based on a map.
  • a resampling program includes a first step in which a computer scans a deformation source image and updates a storage map having a sequence in common with a deformation destination image based on the deformation source image; And a second control unit that scans the deformation destination image and executes the second step of updating the deformation destination image based on the accumulation map.
  • high-quality resampling for performing flexible deformation including reduction can be performed in a finite manner without requiring quality parameters. It can be realized by the number of times and the storage capacity. Furthermore, resampling that suppresses the shift of the center of gravity due to reduction can be realized. Furthermore, it is possible to realize resampling suitable for deformation in which reduction and enlargement are combined at the reference point of an image.
  • FIG. 1 It is a conceptual diagram which shows the example of the interpolation based on the conventional texture mapping. As a modification, it is a conceptual diagram showing a concept of combining weighted values calculated from conventional interpolation and values calculated from an accumulation map.
  • (A), (b) is a figure which shows an example of a resampling result. It is a flowchart explaining the flow of the process which updates a target map pixel based on the accumulation map by the resampling apparatus which concerns on the 2nd Embodiment of this invention. It is a conceptual diagram for further explaining in detail processing for updating a target map pixel based on an accumulation map. It is a figure which shows an example of the resampling result by 2nd Embodiment.
  • a digital image resampling apparatus, method, and program (hereinafter simply referred to as a resampling apparatus, a resampling method, and a resampling program) according to the present invention will be described with reference to the drawings.
  • the resampling apparatus, method, and program of the present invention are not limited to the following descriptions, and can be appropriately changed without departing from the gist of the present invention. Details will be described below.
  • FIG. 1 shows and describes the configuration of a resampling apparatus according to the first embodiment of the present invention.
  • the resampling device 1 includes a personal computer 10, a display device 20, a deformation parameter input device 30, and the like.
  • the personal computer 10 includes a central control unit 11 including a multitask processor, a main memory 12 including a RAM (Random Access Memory) as a temporary storage device, an image control unit 13 such as a graphic card, and an input / output control unit 14.
  • the image control unit 13 also includes a video memory 13a. Similar to the main memory 12 of the personal computer 10 main body, the video memory 13a is a place for temporarily storing data, and the memory attached to the graphic card is also referred to as VRAM (Video RAM). When a 3D graphic image is displayed on the screen, the amount of data required at that time increases. The data that has been processed by the image controller 13 is stored in the video memory 13a and used as needed. As the capacity of the video memory 13a is increased, even a fine 3D graphic image can be displayed smoothly and without a defect. In recent years, the speed of VRAM has been increased, and a memory standard dedicated to high-speed processing called GDDR has appeared, and a huge data high-speed transfer in 3D graphics drawing has been realized.
  • VRAM Video RAM
  • the display device 20 is a device that can display an image, represented by a liquid crystal display or the like.
  • the deformation parameter input device 30 is a device that allows a user to arbitrarily specify parameters for deforming an image (for example, an enlargement / reduction ratio and a three-dimensional rotation angle) using deformation method definition data 42 described later. It is a device that can input coordinates and / or buttons such as a mouse, a touch panel, and a pen tablet, and a device that can input keys, such as a keyboard.
  • the program data 50, the deformation method definition data 42, and the deformation source image input data 40 are input via the media read / write interface 16, and the deformation destination image output data 41 is output via the media read / write interface 16.
  • the program data 50 is software capable of operating the present invention. This corresponds to data of a resampling program to be described later.
  • the deformation method definition data 42 is data such as a table or a mathematical expression that associates the coordinates of the deformation source image with the coordinates of the deformation destination image based on the deformation parameters. When a polygon model is used, the polygon model data corresponds to this and becomes a three-dimensional object.
  • the deformation method definition data 42 may accompany the program data 50 or may read externally defined data.
  • the transformation source image input data 40 is an image handled by software. For example, when a polygon model is used, a texture image corresponds to this.
  • the input texture image (transformation original image) and the like are temporarily stored in the main memory 12.
  • the transformation destination image output data 41 is an image handled by software, like the transformation source image input data 40.
  • a deformed image or the like temporarily stored in the main memory 12 is output as a deformation destination image.
  • the deformation method definition data 40 and the program data 50 may be read from an external storage medium (not shown), received from an external computer (not shown) via a communication network by a communication control unit (not shown), and via the input / output control unit 14. May be taken into the built-in nonvolatile storage medium 15.
  • the output data may be written to an external storage medium (not shown) or transmitted to an external computer (not shown) via a communication network.
  • FIG. 2 shows an example of a memory map of the main memory 12 used when resampling is performed.
  • the main memory 12 when resampling is performed, temporarily stores data of a resampling program, a transformation source image, a coordinate map, a transformation destination image, and an accumulation map.
  • the deformation source image indicates an input side image
  • the deformation destination image indicates an output side image.
  • the transformation source image and the transformation destination image have pixel information (a: alpha, r: red, g: green, b: blue) including opacity and color as a two-dimensional array.
  • “Alpha” indicates opacity information.
  • Information values such as red, green, and blue are also referred to as “density values”, and the 8-bit type can record 256 levels.
  • the opacity of each pixel can be recorded in 256 steps of 8-bit type.
  • An alpha value of zero means completely transparent, 255 means completely opaque. Note that, as an example of an application in which color information is handled with high accuracy in image processing, there is a case where a format in which the density value is expanded to 65536 levels having a 16-bit type is used.
  • the accumulation map is a two-dimensional array of pixel information (w: influence value, a: alpha, r: red, g: green, b: blue) including the influence value, opacity, and color, and the transformation destination. It is assumed that the image has a common series with the image, that is, the output side coordinate system. Although the details will be described later, the “influence value” is used to calculate the average for determining the color information of the pixel of the transformation destination image corresponding to the pixel of the accumulation map by counting the number of pixels or sequentially adding the pixel weight value. Indicates information to use.
  • the type of each value is a type that can handle a value sufficiently larger than the pixel information of the deformation source image. (Especially, when the weight value is a real number, a floating-point number type) is desirable.
  • the density value in the accumulation map is “the maximum number of density values of the transformation source image (eg, 255)” in “the number of pixels of the transformation source image (eg, 1000 ⁇ 1000)”, “the alpha value of the transformation source image. It is possible to handle a value (1000 ⁇ 1000 ⁇ 255 ⁇ 255 ⁇ 1.0) multiplied by “maximum of (example: 255)” and “maximum of weight value (example: 1.0)”.
  • the coordinate map has coordinate information (x: horizontal coordinates, y: vertical coordinates) as a two-dimensional array, and has a common series with the series of transformation source images, that is, the input side coordinate system. “Coordinate information” is used to record the converted coordinates, that is, the coordinates on the output side, when performing coordinate conversion from the deformation source image to the deformation destination image.
  • the type of each value of the coordinate information is preferably a type (for example, a floating point number type) according to the accuracy of the coordinates to be recorded.
  • the coordinate map does not contribute to the quality of resampling, but is used for speeding up resampling according to the second embodiment of the present invention.
  • the processing is started, first, the transformation source image is scanned, and the processing for updating the accumulation map is executed based on the transformation source image (step S1). Subsequently, the transformation destination image is scanned, and the transformation destination image is based on the accumulation map. Is executed (step S2), and the process is terminated.
  • the resampling feature by the resampling apparatus includes not only scanning of the deformation destination image but also scanning of the deformation source image. Details of each process will be described later.
  • Coordinate forward conversion (input ⁇ output) and reverse conversion (output ⁇ input) are defined by the following equations.
  • Coordinate forward conversion (input ⁇ output): Pos_OUT 11 / (9-Pos_IN)-1.5
  • Inverse transformation of coordinates (output ⁇ input): Pos_IN 9-11 / (1.5 + Pos_OUT)
  • FIG. 5 illustrates a one-dimensional deformation in order to easily illustrate the coordinate transformation used for resampling according to the embodiment of the present invention.
  • the arrangement structure of the input data is called a transformation source map. This corresponds to the deformation source image in two dimensions.
  • the array structure of the output data is referred to as a deformation destination map. This corresponds to a deformation destination image in two dimensions.
  • the circle represents each element of the transformation source map, and here it is assumed to be a one-dimensional array of 9 elements (0 to 8) as an example.
  • the double circle represents each element of the transformation destination map, and here, as an example, it is a one-dimensional array of 11 elements (0 to 10).
  • the ellipse represents each element of the accumulation map.
  • the double circle and ellipse contact “ ⁇ ” indicates that the accumulation map has a sequence that is common with the sequence of the deformation destination map, and is a one-dimensional array of 11 elements as an example.
  • the horizontal line in contact with the circle represents the integer coordinate system that is linked to the position of the element of the transformation source map.
  • the horizontal line below the circle represents the real coordinate system for the deformation source map.
  • the horizontal line above the ellipse represents the real coordinate system for the accumulation map.
  • the horizontal line in contact with the ellipse represents an integer coordinate system connected to the positions of the elements of the accumulation map.
  • the solid line represents an example of transformation that derives the position of the accumulation map corresponding to the element position of the transformation source map or the element of the transformation destination map, that is, forward transformation
  • the broken line represents the accumulation map.
  • an example of transformation for deriving the position of the element of the transformation source map corresponding to the position of the element of the transformation destination map, that is, inverse transformation is shown.
  • the coordinates of the transformation source map and the transformation destination map are defined by mathematical expressions so as to be mutually and uniquely associated.
  • the present invention uses means for scanning the deformation source map without any gap.
  • the resampling in the present invention can be performed even in an array of two or more dimensions, and can be used in the field of image processing.
  • step S1 in FIG. 6 corresponds to a part of the resampling method, and also corresponds to a part of the processing when the central control unit 11 executes the resampling program of the main memory 12.
  • the processing of this flowchart is an example of texture mapping using a polygon model, and scans a deformation source image and performs forward conversion of positions at each pixel.
  • the texture map corresponds to the deformation source image.
  • the accumulation map is completed and used for the process of updating the later transformation destination image.
  • step S11 the accumulation map is initialized (step S11), and it is determined whether or not the extraction of all the polygon surfaces is completed (step S12). If the extraction of all the polygon surfaces has not been completed (step S12 branches to No), the next polygon surface is extracted (step S13), and the extraction of all the pixels included in the polygon surface in the texture map is completed. Whether or not (step S14). If extraction of all pixels has not been completed (step S14 branches to No), the next pixel of the texture map is extracted (step S15), and the accumulated map pixel group corresponding to the texture map pixel is updated. (Step S16), and the process returns to step S14.
  • step S14 branches to Yes
  • step S12 the processes in steps S12 to S16 are repeated until the extraction of all the polygon surfaces is completed.
  • the flowchart of FIG. 6 is an example assuming a polygon model (that is, a plurality of deformation methods) composed of a plurality of polygons.
  • a polygon model that is, a plurality of deformation methods
  • steps S12 to S13 can be omitted. That is, when this process is started, the processes of steps S14 to S16 may be repeated, and when extraction is completed (step S14 branches to Yes), the process may return.
  • Texture map is synonymous with “transformation original image”
  • polygon surface is synonymous with “deformation range” in the transformation original image.
  • an example of texture mapping using a polygon model is shown as an image deformation capable of inverse transformation of two-dimensional coordinates in the present invention.
  • This is an example of drawing a rectangular model in which an arbitrary posture and position are set in a three-dimensional space, that is, equivalent to deformation including projective transformation and rotation.
  • the rectangular model is regarded as two triangular polygons, and polygon P and polygon Q are assumed to be respectively.
  • the upper right of the figure represents the texture map of the polygon model, that is, it corresponds to the deformation source image.
  • the upper left of the figure represents an accumulation map, which is a coordinate system common to a target map corresponding to a deformation destination image described later.
  • the pixels of the texture map have pixel information (a_src: alpha, r_src: red, g_src: green, b_src: blue) including opacity and color.
  • the pixels of the accumulation map have pixel information (w_sum: influence value, a_sum: alpha, r_sum: red, g_sum: green, b_sum: blue) including the influence value, opacity, and color.
  • the pixels are two-dimensionally arranged, and the unit of coordinates (horizontal direction and vertical direction) is 1 pixel, and for convenience, the boundaries of the pixel areas are represented by dashed grids.
  • the accumulation map is initialized, that is, the influence value and the color information are cleared to 0 in all the pixels of the accumulation map.
  • the area surrounded by each polygon is scanned without being separated on the texture map side.
  • the position of the pixel to be scanned is (i, j), i is the horizontal position, and j is the vertical position.
  • Scan target pixels related to the polygon P in the texture map are represented by black triangle marks, and scan target pixels related to the polygon Q are represented by black square marks.
  • the input / output relationship of the pixel information is represented by broken-line arrows, which means transfer from the texture map to the accumulation map.
  • attention coordinates on the accumulation map side are derived from the position of the pixel according to a deformation method as shown in the figure.
  • the attention coordinate regarding the polygon P in the accumulation map is represented by a black triangle mark
  • the attention coordinate regarding the polygon Q is represented by a black square mark.
  • the coordinates of interest derived at this stage are not necessarily pixel units (for example, real numbers).
  • the pixel of the accumulation map related to the target coordinate is determined as the update target pixel.
  • one pixel that is closest to the target coordinate that is, one pixel in the region that includes the target coordinate is used as the update target pixel.
  • the pixel at the required position is not the input side but the output side as a difference from the conventional nearest neighbor interpolation.
  • the position of the pixel to be updated in the accumulation map corresponding to (i, j) is (x, y), x is a horizontal position, and y is a vertical position.
  • a_src (i, j), r_src (i, j), g_src (i, j), and b_src (i, j), which are pixel information in the scanning target pixel of the texture map, are used as follows. Update w_sum (x, y), a_sum (x, y), r_sum (x, y), g_sum (x, y), and b_sum (x, y), respectively, in the pixel to be updated , Description of positions (i, j) and (x, y) is omitted). That is, For w_sum, a fixed value (for example, 1) is added.
  • a_src can be replaced with a constant value (for example, 1), and a_sum can be substituted with w_sum. That is, the update of the update target pixel of the accumulation map can be simplified as follows. For w_sum, a fixed value (for example, 1) is added. Only r_src is added to r_sum. Only g_src is added to g_sum. Only b_src is added to b_sum.
  • the lower left of FIG. 7 shows the distribution of the influence value w_sum added in the accumulation map as a numerical value as a texture map scanning result.
  • the shaded area indicates pixels having an influence value of a certain value (for example, 2) or more. Details will be described later.
  • the gray area is an example of a part of the correspondence between the texture map and the accumulation map, and the three pixels at the positions (7, 9) (8, 9) and (7, 10) in the texture map are positions in the accumulation map.
  • An example in which pixel update of (9, 5) was involved is shown.
  • the lower right of FIG. 7 shows an example of addition performed on the pixel at the position (9, 5) in the accumulation map as a result of scanning the texture map.
  • the texture map is wrapping (repeated)
  • scanning is performed in consideration of repetition when scanning the range surrounded by the polygons on the texture map side.
  • the pixel at position (2, 2) is to be scanned a total of four times, three times for polygon P and once for polygon Q.
  • This flowchart shows a part of means for suppressing the shift of the center of gravity due to the reduction.
  • “accumulation map position (B1 to B4)” and “weight value (KB1 to KB4)” are created from the accumulation map attention coordinate (B) corresponding to the pixel position (A) of the texture map.
  • Step S21 the accumulation map pixel information group (SB1 to SB4) is updated from the texture map pixel information (DA) and the weight values (KB1 to KB4) (step S22), and the process returns.
  • one pixel closest to the target coordinate is set as the update target pixel.
  • a plurality of positions for example, two horizontal and two vertical
  • pixels are set as update target pixels.
  • a plurality of pixels to be weighted are not on the input side but on the output side. Details will be described below.
  • the attention coordinate B of the accumulation map corresponding to the position A of the pixel to be scanned in the texture map is obtained by forward conversion.
  • a broken-line arrow from A to B represents forward conversion of coordinates.
  • the horizontal coordinate and the vertical coordinate of B are stored in the element of the position A of the coordinate map. This eliminates the need to obtain the attention coordinate B corresponding to the position A again later.
  • the positions of the four pixels close to the target coordinate are designated as B1, B2, B3, and B4, respectively.
  • weighting is performed according to the distance from B, and weight values KB1, KB2, KB3, and KB4 are derived.
  • the sum of the four weight values is a constant value (for example, 1).
  • the pixel information related to the position A is DA
  • the pixel information SB1 related to the position B1 is incremented by “DA considering KB1” from the current value.
  • a_src (A), r_src (A), g_src (A), and b_src (A), which are pixel information in the scanning target pixel of the texture map, are used as follows.
  • Certain w_sum (B1), a_sum (B1), r_sum (B1), g_sum (B1), and b_sum (B1) are respectively updated (the description of the positions (A) and (B) is omitted hereinafter). That is, Only KB1 is added to w_sum. For a_sum, only the value obtained by multiplying KB1 by a_src is added.
  • a_src can be replaced with a constant value (for example, 1), and a_sum can be substituted with w_sum. That is, the update of the update target pixel of the accumulation map can be simplified as follows. Only KB1 is added to w_sum. For r_sum, only the value obtained by multiplying KB1 by r_src is added. Only g_sum multiplied by g_src is added to g_sum. For b_sum, only the value obtained by multiplying KB1 by b_src is added.
  • position derivation and weighting is the addition of pixel information in the update target pixel
  • a bicubic method or the like can be applied.
  • step S2 in FIG. This corresponds to a part of the resampling method, and also corresponds to a part of the processing when the central control unit 11 executes the resampling program of the main memory 12.
  • This flowchart is an example of texture mapping using a polygon model, and is an explanation for scanning a deformation destination image.
  • the target map corresponds to a deformation destination image.
  • step S31 it is determined whether or not the extraction of all polygon faces has been completed. If the extraction has not been completed (step S31 branches to No), the next polygon face is extracted. (Step S32) Subsequently, it is determined whether or not extraction of all the pixels included in the polygon surface in the target map has been completed (Step S33). If not completed (Step S33 is branched to No), the next of the target map is determined. A pixel is extracted (step S34), the target map pixel is updated based on the accumulation map (step S35), and the process returns to step S33. In this way, the processing of steps S33 to S35 is repeated until the extraction of all pixels included in the polygon plane in the target map is completed.
  • step S33 branches to Yes
  • the process returns to step S31. In this way, the processes in steps S31 to S35 are repeated until the extraction of all the polygon surfaces is completed.
  • step S31 branches to Yes
  • the process returns.
  • the flowchart of FIG. 11 is an example assuming a polygon model (that is, a plurality of deformation methods) composed of a plurality of polygons.
  • a polygon model that is, a plurality of deformation methods
  • steps S31 to S32 can be omitted. That is, when this process is started, the process of steps S33 to S35 may be repeated, and when extraction is completed (step S33 is branched to Yes), the process may be returned.
  • target map is synonymous with “deformation destination image”
  • polygon plane is synonymous with “deformation range” in the transformation source image.
  • step S35 of FIG. corresponds to a part of the resampling method, and also corresponds to a part of the processing when the central control unit 11 executes the resampling program of the main memory 12.
  • This flowchart is an example of simply updating the target map pixel, and shows means for suppressing the shift of the center of gravity in the case of reduction. Note that means suitable for deformation in which reduction and enlargement are combined at the reference point of the image will not be described here and will be described later.
  • step S41 it is determined whether or not the influence value (w_sum) of the pixel information (SP) relating to the position (P) of the accumulation map pixel is a certain value or more (step S41). If the influence value (w_sum) is equal to or greater than a certain value (step S41 is branched to Yes), target map pixel information (DP) is generated from the accumulated map pixel information (SP) (step S42), and the process returns. On the other hand, if the influence value (w_sum) is not equal to or greater than the predetermined value (step S41 is branched to No), the target map pixel information (DP) is generated from the texture map pixel information DA1 to DA4 by the conventional interpolation method (step S43). To return.
  • target map is synonymous with “deformation destination image”
  • texture map is synonymous with “deformation source image”.
  • the figure on the right side of FIG. 13 is the above-described texture map corresponding to the deformation source image.
  • the upper left figure of FIG. 13 is the above-described accumulation map, and it is assumed that the above-described scanning on the texture map side has been completed.
  • the lower left diagram in FIG. 13 represents a target map corresponding to the deformation destination image.
  • the pixels of the target map have pixel information (a_dst: alpha, r_dst: red, g_dst: green, b_dst: blue) including opacity and color.
  • the pixels are two-dimensionally arranged, and the unit of coordinates (horizontal direction and vertical direction) is one pixel, and for convenience, the boundary of the pixel area is a dotted grid. Represents.
  • the position of the pixel to be scanned is (i, j), i is the horizontal position, and j is the vertical position.
  • (i, j) can also be expressed as the pixel position of the accumulation map corresponding to the position of the pixel to be scanned.
  • Scan target pixels related to the polygon P in the target map are represented as black triangle marks or white triangle marks, and scan target pixels related to the polygon Q are represented as black square marks or white square marks.
  • the input / output relationship of the pixel information is indicated by a dashed arrow, which means transfer from the accumulation map to the target map, or transfer from the texture map to the target map.
  • a white triangle mark or a white square mark indicates that the influence value w_sum (i, j) is a certain value (for example, 2) or more, and a black triangle or a black square mark is an influence value. This indicates that w_sum (i, j) is less than a certain value (for example, 2).
  • Different update target pixel update methods are used when the influence value w_sum (i, j) is 2 or more and less than 2.
  • the influence value w_sum (i, j) of the pixel in the accumulation map corresponding to the position of the pixel is read.
  • the influence value w_sum (i, j) in the accumulation map is 2 or more, it is considered that the reduction is locally equivalent, the number of pixels in the texture map involved in the pixel is considered to be sufficient, and the average of the pixels involved is used. To do.
  • pixel information w_sum (i, j), a_sum (i, j), r_sum (i, j), g_sum (i, j), and b_sum (i, j) in the accumulation map as follows:
  • the pixel information a_dst (i, j), r_dst (i, j), g_dst (i, j), b_dst (i, j) in the update target pixel of the target map is updated (hereinafter, the position (i, j)). Description is omitted). That is, A value obtained by dividing w_sum from a_sum is substituted for a_dst.
  • a value obtained by dividing a_sum from r_sum is substituted for r_dst.
  • a value obtained by dividing a_sum from g_sum is substituted for g_dst.
  • a value obtained by dividing a_sum from b_sum is substituted for b_dst.
  • the pixel information of the accumulation map is S (i, j), and this calculation is expressed as “S (i, j) / w_sum (i, j)” as a simple expression.
  • a_sum can be replaced by w_sum when an opaque image is always handled. That is, the update of the update target pixel of the target map can be replaced as follows. That is, A value obtained by dividing w_sum from r_sum is substituted for r_dst. A value obtained by dividing w_sum from g_sum is substituted for g_dst. A value obtained by dividing w_sum from b_sum is substituted for b_dst.
  • the influence value w_sum (i, j) of the pixel of the accumulation map corresponding to the position of the pixel to be scanned is less than 2, it is considered that it corresponds to enlargement locally, and the number of pixels of the texture map engaged with the pixel is insufficient.
  • the pixel information in the update target pixel of the target map is updated using a value calculated by interpolation (for example, bilinear interpolation) based on conventional texture mapping without using the pixel information of the pixel.
  • the attention coordinate on the texture map side is derived from the position regarding the pixel according to the deformation method as shown in the figure.
  • the attention coordinates regarding the polygon P in the texture map are represented as black triangle marks, and the attention coordinates regarding the polygon Q are represented as black square marks. Note that the coordinates of interest derived at this stage are not necessarily pixel units (eg, real numbers).
  • the pixel of the texture map related to the target coordinate is determined as the referenced pixel.
  • 2 ⁇ 2 pixels close to the target coordinate that is, a pixel in a region including the target coordinate and a neighboring pixel are set as a reference pixel. Details will be described below.
  • FIG. 14 shows an example of interpolation based on conventional texture mapping.
  • a generation example of the pixel information DP according to the position P regarding the target map is expressed by the following equation.
  • DP (KA1, DA1 + KA2, DA2 + KA3, DA3 + KA4, DA4) / (KA1 + KA2 + KA3 + KA4)
  • the attention coordinate A of the texture map corresponding to the position P of the target map is obtained by inverse transformation.
  • the dashed arrow from P to A represents the inverse transformation of coordinates.
  • weighting is performed according to the distance from A, and weight values KA1, KA2, KA3, and KA4 are derived.
  • the sum of the four weight values is a constant value (for example, 1).
  • the pixel information related to the positions A1 to A4 is set to DA1 to DA4, and the pixel information DP related to the position P is generated by synthesizing “DA1 to DA4 considering KA1 to KA4”.
  • FIG. 15 shows, as a modified example, a concept of combining weighted values calculated from conventional interpolation and values calculated from an accumulation map.
  • FIG. 16 illustrates an example of the resampling result.
  • FIG. 16 is an example in which texture mapping when projecting the inside of a rectangular parallelepiped with a very long depth is compared with an anisotropic filter of a conventional means.
  • FIG. 16A is a conventional anisotropic filter (16 ⁇ sample setting)
  • FIG. 16B is a means of the present invention, each emphasizing a far portion, that is, a deformation including reduction. Focusing on the checkered pattern and the straight line pattern, the results of the present invention show that the quality of the distant part is kept high particularly from the viewpoint of the average and the center of gravity of the pixels.
  • This flowchart shows means suitable for deformation in which reduction and enlargement are combined at the reference point of an image, in addition to means for suppressing the shift of the center of gravity due to reduction.
  • Step S51 when entering this process, from the texture map attention coordinate (A) corresponding to the pixel position (P) of the accumulation map, “texture map position (A1 to A4)” and “weight value (KA1 to KA4)” (Step S51), and from the accumulated map attention coordinates (B1 to B4) corresponding to the texture map positions (A1 to A4), “accumulated map positions (B11 to B44)” and “weight values (KB11 to KB44)”. (Step S52), and pixel information (DP) of the position (P) of the target map is generated from the pixel information (DB11 to DB44) and weight values (KA1 to KA4, KB11 to KB44) of the accumulation map (step S52). In step S53, the process returns.
  • target map is synonymous with “deformation destination image”
  • texture map is synonymous with “deformation source image”.
  • the attention coordinate A of the texture map corresponding to the position P of the accumulation map is obtained by inverse transformation.
  • the dashed arrow from P to A represents the inverse transformation of coordinates.
  • weighting is performed according to the distance to A at the positions A1, A2, A3, and A4 of the four pixels close to the target coordinate A, and the weight values KA1, KA2, KA3, and KA4 are derived.
  • the sum of the four weight values is a constant value (for example, 1).
  • the attention coordinate B1 of the accumulation map corresponding to the position A1 is obtained by forward conversion.
  • a broken-line arrow from A1 to B1 represents a forward conversion of coordinates.
  • weights KB11, KB12, KB13, and KB14 are derived by weighting according to the distance from B1 at the four pixel positions B11, B12, B13, and B14 close to the target coordinate B1.
  • the sum of the four weight values is a constant value (for example, 1).
  • the coordinate information may be B1.
  • the pixel information related to the positions B11 to B44 is set as DB11 to DB44, and the pixel information DP related to the position P is generated by synthesizing “DB11 to DB44 taking into account KB11 to KB44 and KA1 to KA4”.
  • FIG. 19 shows an example of a resampling result according to the second embodiment.
  • FIG. 19 is an example of a result obtained by performing transformation by polar coordinate transformation by means of the resampling apparatus according to the second embodiment of the present invention.
  • FIG. 19 (b) is an original image, which is an example in which squares are arranged in a grid pattern as a pattern.
  • the uppermost part of the transformation source image corresponds to the center of the transformation destination image, and the line segment from the lower left to the lower right of the transformation source image corresponds to a circle that makes one round clockwise from the right end of the transformation destination image.
  • FIG. 19A shows coordinates obtained by forward conversion from the position of each pixel in the transformation source image in the accumulation map. Black circles are used for black pixels and white coordinates are used for white pixels. Represented by open circles.
  • FIG. 19D shows the coordinates obtained by inverse transformation from the position of each pixel serving as the transformation destination image in the transformation source image with white circles.
  • the coordinate group is reduced in the radial direction because the coordinate group is dense, but in the circumferential direction, the coordinate group is sparse, so that the deformation is enlarged. It is.
  • jaggies are suppressed by interpolation in the enlargement direction, and aliasing is suppressed by averaging in the reduction direction.
  • the present invention may be applied to the drawing process described in the omnidirectional image editing apparatus described in the specification and drawings after the Japanese Patent Application No. 2011-096940, which is the prior application of the same inventor.
  • resampling that suppresses the shift of the center of gravity due to the reduction can be expected in a fine drawing in a state where the viewing angle is extremely small, that is, in a state where the display is enlarged.
  • resampling suitable for deformation in which reduction and enlargement are combined at the reference point of an image can be expected in drawing that expresses a sense of perspective in a state where the viewing angle is extremely large, that is, in a state where the display is wide.
  • the present invention does not use means limited to two dimensions. Therefore, any processing can be extended to three dimensions (for example, transformation of three-dimensional data using voxels).

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

【課題】本発明は、デジタル画像処理において、縮小を含む柔軟な変形を行うための高品質なリサンプリングを、品質パラメータを必要とせずに有限な処理回数および記憶容量で実現することを目的とする。 【解決手段】本発明のデジタル画像リサンプリング装置及び方法並びにプログラムは、変形先画像と共通の系列を持つ蓄積マップを用意する。変形元画像を走査し、走査中画素の位置に対応する蓄積マップの画素に関して、走査中画素に基づき更新する。その後、変形先画像を走査し、変形先画像の画素に関して、走査中画素の位置に対応する蓄積マップの画素に基づき適用することを特徴とする。

Description

デジタル画像リサンプリング装置、方法、及びプログラム
　本発明は、デジタル画像リサンプリング装置、方法、及びプログラムに関する。
　従来、デジタル画像のリサンプリングにおいて高品質な変形は、変形元画像をできる限り有効的に変形先画像へ適用することが重要である。
　画像の変形において高品質な変形結果を得るために、従来から様々なリサンプリング手法が採用されている。例えば、拡大方法においては、ジャギーを抑制する方法として、バイリニア補間、バイキュービック補間等がある。また、縮小方法においては、エイリアシングを抑制する方法として、面積平均法、プリフィルタ、ポストフィルタ、トリリニアフィルタ、異方性フィルタ等が挙げられる。
　以下、これら各手法について詳述する。
　先ず、バイリニア補間は、変形先の各画素を決定するために、当該画素に対して変形前画像の画素及び近傍画素の計４画素を参照し、位置に応じた重み付けを用いる補間方法である。最近傍法よりは処理速度が劣るが、平均画素法よりも高速である。また、最近傍法よりもシャギーを抑制することができる。
　一方、バイキュービック補間は、バイリニア補間と同様の補間方法であるが、変形先の各画素に対して変形元の画素及び近傍画素の計１６画素が参照される。いわばバイリニア補間の発展形であり、バイリニア補間と比べて自然で滑らかな画質が得られる。
　これらバイリニア補間及びバイキュービック補間を用いた変形は、原則的に変形先画像を隔たりなく走査するので、拡大や縮小だけでなく、射影変換や回転、極座標変換に代表される２次元以上の画像変形にも用いられる。但し、変形先画像の走査ではなく変形元画像を走査する方法を採用した場合、変形先画像はすべて生成しきれず、一部画素に抜けが生じる場合がある点が従来からの懸念である。
　一方、面積平均法は、変形先の画素を決定するために、当該画素に対応する変形前画像の画素群を参照し、その平均を用いる縮小方法である。これは平均画素法とも称され、一般的には縮小専用に用いられる手法である。
　プリフィルタは、画像の縮小を行う前に、縮小率に応じて平滑化を行う方法である。
　ポストフィルタは、スーパーサンプリング法とも呼ばれ、変形先の画素を決定するために、変形先の画素を更に複数の画素に分割し、それぞれに対応する変形前画像の画素群を参照し、その平均を用いる縮小方法である。
　トリリニアフィルタは、主に３次元グラフィックにおけるポリゴンの描画等に用いられるものであり、画素の平均を利用した縮小済み画像を段階的に持たせたミップマップを用意し、画像の縮小率に応じて単一ないし複数の縮小済み画像を適用して合成する方法である。トリリニアフィルタでは、ミップマッピングを用いたバイリニアフィルタ画像に見られる共通の劣化を矯正できる。
　そして、異方性フィルタは、主に３次元グラフィックにおけるポリゴンの描画等に用いられ、カメラと非直角であるポリゴンの描画におけるテクスチャの変形を考慮した参照方法を用いて、ミップマップを適用して合成する方法である。これは、前述したバイリニア補間やトリリニアフィルタに比べ進化したものであると言える。
　ここで、特許文献１では、撮影によってＭ画素を有する入力画像を取得し、その入力画像をリサンプリング対象画像として取り扱ってリサンプリングすることにより、各々がＭ／４画素を有する第１の縮小画像及び第２の縮小画像を生成し、当該リサンプリングは第１及び第２の縮小画像間でサンプリング位置のずれが生じるように実行されることを特徴とする画像再生装置が開示されている。
特開２０１０－２５１８８２号公報
　縮小を含む柔軟な変形を行うための高品質なリサンプリングを行うためには、変形先画像の各画素に対する、変形元画像の単一ないし複数の画素から適切な参照を行う手段を必要とする。ここで、柔軟な変形とは、射影変換や回転、極座標変換に代表される、座標の逆変換が可能な２次元以上の画像変形である。しかしながら、従来の変形方法はデジタル画像処理において、縮小を含む柔軟な変形を行うための高品質なリサンプリングを、品質パラメータを必要とせずに有限な処理回数および記憶容量で充分に実現できない。
　縮小において従来のような画素群を平均する方法は、画素の領域を考慮したとしても画像内の対象物の重心がずれてしまう問題がある。たとえば、変形前のある領域の複数画素に着目し、そのすべての画素が変形後において１画素内に収まった場合、重心が特定できなくなる。このような重心のずれは、細い線や細かいパーツの位置関係（例えば、顔の形成）を重視する画像において違和感が表れる場合がある。
　さらに、２次元以上の変形では、すべての方向において拡大、またはすべての方向において縮小となるとは限らない。即ち、画像のある点を基準として、一方向は縮小であるが別方向は拡大であるような変形も存在する。この場合、従来の拡大方法と縮小方法を組み合わせることは容易でない。
　また、上述したポストフィルタのように参照点の数を増加して品質を高める方法は、品質を上げようとするほど参照する画素数が増大するため、コンピュータ資源が制約されたユーザに対して、品質をパラメータとして選択させ、トレードオフを強いることとなる。即ち、品質の上限を定めることが出来ず、処理回数および記憶容量を有限にすることが出来ない。
　本発明は上述の技術的な課題に鑑み、デジタル画像処理において、縮小を含む柔軟な変形を行うための高品質なリサンプリングを、品質パラメータを必要とせずに有限な処理回数および記憶容量で実現することを目的とする。さらに本発明は、縮小による重心のずれを抑えるリサンプリングを実現することを目的とする。さらに本発明は、画像の基準点において縮小と拡大が複合する変形に適したリサンプリングを実現することを目的とする。
　上述した技術的な課題を解決するため、本発明の第１の態様に係るリサンプリング方法は、変形先画像と共通の系列を持つ蓄積マップを用いたリサンプリング方法であって、変形元画像を走査し、当該変形元画像を基に前記蓄積マップを更新する第１のステップと、変形先画像を走査し、前記蓄積マップを基に前記変形先画像を更新する第２のステップと、を有することを特徴とする。
　そして、本発明の第２の態様に係るリサンプリング装置は、変形先画像と共通の系列を持つ蓄積マップを用いるリサンプリング装置であって、各種画像を表示する表示手段と、リサンプリングプログラムに従って制御する中央制御手段と、を備え、上記中央制御手段は、変形元画像を走査し、当該変形元画像を基に前記蓄積マップを更新する第１のステップと、変形先画像を走査し、前記蓄積マップを基に前記変形先画像を更新する第２のステップとを実行することを特徴とする。
　本発明の第３の態様に係るリサンプリングプログラムは、コンピュータが、変形元画像を走査し、当該変形元画像を基に変形先画像と共通の系列を持つ蓄積マップを更新する第１のステップと、変形先画像を走査し、前記蓄積マップを基に前記変形先画像を更新する第２のステップとを実行する中央制御手段として機能することを特徴とする
　本発明に係るデジタル画像リサンプリング装置、方法、及びプログラムによれば、デジタル画像処理において、縮小を含む柔軟な変形を行うための高品質なリサンプリングを、品質パラメータを必要とせずに有限な処理回数および記憶容量で実現することができる。さらに、縮小による重心のずれを抑えるリサンプリングを実現することができる。さらに、画像の基準点において縮小と拡大が複合する変形に適したリサンプリングを実現することが可能となる。
本発明の第１の実施形態に係るリサンプリング装置の構成図である。 リサンプリングを行う場合に使用するメインメモリ１２のメモリマップの一例を示す図である。 蓄積マップ、座標マップについて更に詳述するための概念図である。 本発明の第１の実施形態に係るリサンプリング装置による処理の流れを説明するフローチャートである。 リサンプリングに用いる座標変換について詳述する概念図である。 本発明の第１の実施形態に係るリサンプリング装置による、変形元画像を走査し、変形元画像を基に蓄積マップを更新する処理の流れを説明するフローチャートである。 変形元画像を走査し、変形元画像を基に蓄積マップを更新する過程を更に詳述するための概念図である。 テクスチャマップがラッピング（繰り返し）の場合を示す概念図である。 本発明の第１の実施形態に係るリサンプリング装置により、テクスチャマップの画素に対応する蓄積マップ画素群を更新する処理の流れを説明するフローチャートである。 テクスチャマップの画素に対応する蓄積マップ画素群を更新する処理の流れを更に詳述する概念図である。 本発明の第１の実施形態に係るリサンプリング装置による、変形先画像を走査し、蓄積マップを基に変形先画像を更新する処理の流れを説明するフローチャートである。 蓄積マップを基にターゲットマップ画素を更新する処理の流れを説明するフローチャートである。 本発明の第１の実施形態に係るリサンプリング装置により、変形先画像を走査し、蓄積マップを基に変形先画像を更新する処理について詳細に説明する概念図である。 従来のテクスチャマッピングに基づいた補間の例を示す概念図である。 変形例として、従来の補間から算出した値と蓄積マップから算出した値とを重み付けによる合成の考え方を示す概念図である。 （ａ），（ｂ）は、リサンプリング結果の一例を示す図である。 本発明の第２の実施形態に係るリサンプリング装置による、蓄積マップを基にターゲットマップ画素を更新する処理の流れを説明するフローチャートである。 蓄積マップを基にターゲットマップ画素を更新する処理について更に詳述するための概念図である。 第２の実施形態によるリサンプリング結果の一例を示す図である。
　以下、本発明のデジタル画像リサンプリング装置及び方法並びにプログラム（以下、単にリサンプリング装置、リサンプリング方法、リサンプリングプログラムと略記する）に係る好適な実施形態について図面を参照しながら説明する。なお、本発明のリサンプリング装置及び方法並びにプログラムは、以下の記述に限定されるものではなく、本発明の要旨を逸脱しない範囲において適宜変更可能である。以下、詳述する。
（第１の実施形態）
　図１には本発明の第１の実施形態に係るリサンプリング装置の構成を示し説明する。
　この図１に示されるように、リサンプリング装置１は、パーソナルコンピュータ１０と表示装置２０、変形パラメータ入力装置３０等からなる。
　パーソナルコンピュータ１０は、マルチタスク対応プロセッサ等からなる中央制御部１１と、一時記憶装置としてのＲＡＭ（Random Access Memory）等からなるメインメモリ１２、グラフィックカード等の画像制御部１３、入出力制御部１４、内蔵不揮発性記憶媒体１５、メディア読み書きインターフェイス１６を含む。
　画像制御部１３は、ビデオメモリ１３ａも備えている。ビデオメモリ１３ａとは、パーソナルコンピュータ１０本体のメインメモリ１２と同じく、一時的にデータを保存する場所であり、グラフィックカードについているメモリはＶＲＡＭ（Video RAM）とも称される。画面に３Ｄグラフィック画像を表示する場合、その際に必要となるデータ量は大きくなる。画像制御部１３で処理を終えたデータはビデオメモリ１３ａに保存されて随時使われていく。ビデオメモリ１３ａの容量が多いほど、細かい３Ｄグラフィック画像でも、スムーズに不良もなく表示することができるようになる。尚、昨今ではＶＲＡＭの高速化が進み、ＧＤＤＲと称される高速処理専用のメモリ規格も登場し、３次元グラフィックス描画における莫大なデータの高速転送が実現されている。
　表示装置２０は、液晶ディスプレイ等に代表される、画像を表示することができる装置である。変形パラメータ入力装置３０は、後述する変形方法定義データ４２を用いて画像を変形するためのパラメータ（例えば、拡縮率や３次元回転角度等）をユーザが任意に指定可能とする装置であり、即ちマウスやタッチパネル、ペンタブレットに代表される、座標入力及び／又はボタン入力が可能な装置、並びにキーボードに代表される、キー入力が可能な装置である。
　プログラムデータ５０や変形方法定義データ４２、変形元画像入力データ４０はメディア読み書きインターフェイス１６を介して入力され、変形先画像出力データ４１はメディア読み書きインターフェィス１６を介して出力される。
　プログラムデータ５０とは、本発明が動作可能なソフトウェアである。後述するリサンプリングプログラムのデータ等がこれに該当する。
　変形方法定義データ４２とは、テーブルや数式等に代表される、変形パラメータを基に変形元画像の座標と変形先画像の座標を相互かつ一意的に対応付けるデータである。ポリゴンモデルを用いる場合は、ポリゴンモデルデータがこれに相当し、３次元形状のオブジェクトとなる。この変形方法定義データ４２は、プログラムデータ５０に付随してもよいし、外部で定義されたデータを読み込んでもよい。
　変形元画像入力データ４０は、ソフトウェアが扱う画像である。例えば、ポリゴンモデルを用いる場合は、テクスチャ画像がこれに相当する。入力されたテクスチャ画像（変形元画像）等はメインメモリ１２に一時記憶される。変形先画像出力データ４１は、変形元画像入力データ４０と同様、ソフトウェアが扱う画像である。メインメモリ１２に一時記憶されていた変形済み画像等が変形先画像として出力される。
　変形方法定義データ４０及びプログラムデータ５０は、不図示の外部記憶媒体から読み込んでもよく、通信ネットワークを介して不図示の外部コンピュータから不図示の通信制御部により受信し、入出力制御部１４を介して内蔵不揮発性記憶媒体１５に取り込んでもよい。出力データは、不図示の外部記憶媒体へ書き込んでもよく、通信ネットワークを介して不図示の外部コンピュータに送信してもよい。
　ここで、図２には、リサンプリングを行う場合に使用するメインメモリ１２のメモリマップの一例を示し説明する。
　同図に示されるように、リサンプリングを行う場合、メインメモリ１２には、リサンプリングプログラム、変形元画像、座標マップ、変形先画像、蓄積マップの各データが一時記憶されることになる。
　以下、図３の概念図を参照して、蓄積マップ、座標マップについて更に詳述する。
　リサンプリングにおいて、変形元画像とは入力側の画像を示し、変形先画像とは出力側の画像を示す。変形元画像及び変形先画像は、不透明度と色とを含む画素情報（ａ：アルファ，ｒ：赤，ｇ：緑，ｂ：青）を２次元的な配列として持つ。「アルファ」とは、不透明度情報を示している。例としてパーソナルコンピュータは、１つのピクセルの色情報を２４ビット（１色につき８ビット、赤・緑・青の３色で８×３＝２４ビット）という単位で記録している。赤・緑・青のような情報の値はそれぞれ「濃度値」とも称され、８ビット型では２５６段階の記録ができる。アルファ付きＰＮＧ（３２ビットＰＮＧ）形式では色情報の他に、各ピクセルの不透明度も８ビット型の２５６段階で記録できる。アルファ値がゼロで完全な透明、２５５で完全な不透明であることを意味する。なお、画像処理で色情報を精度良く扱う用途の例として、濃度値が１６ビット型の６５５３６段階に拡張された形式等が用いられる場合もある。
　そして、蓄積マップは、影響値と不透明度と色とを含む画素情報（ｗ：影響値，ａ：アルファ，ｒ：赤，ｇ：緑，ｂ：青）を２次元的な配列とし、変形先画像と共通の系列を持つものとし、即ち出力側の座標系である。「影響値」とは、詳細は後述するが、画素数をカウント、または画素の重み値を順次加算し、蓄積マップの画素に対応する変形先画像の画素の色情報を決定付ける平均計算等に用いるための情報を示す。
　蓄積マップの画素情報における各値については、変形元画像から複数の画素情報等を順次加算することに用いるため、各値の型は、変形元画像の画素情報よりも充分に大きな値を扱える型（特に、重み値を実数とする場合は浮動小数点数型）が望ましい。
　極端な例として、蓄積マップにおける濃度値は、「変形元画像の画素数（例：１０００×１０００）」に「変形元画像の濃度値の最大（例：２５５）」「変形元画像のアルファ値の最大（例：２５５）」および「重み値の最大（例：１．０）」を乗算した値（１０００×１０００×２５５×２５５×１．０）を扱うこともあり得る。
　そして、座標マップは、座標情報（ｘ：水平座標，ｙ：垂直座標）を２次元的な配列とし、変形元画像の系列と共通の系列を持つものとし、即ち入力側の座標系である。「座標情報」とは、変形元画像から変形先画像への座標変換を行う際、変換された座標、即ち出力側の座標を記録することに用いる。座標情報の各値の型は、記録する座標の精度に応じた型（例えば浮動小数点数型）が望ましい。座標マップは、リサンプリングの品質には貢献しないが、本発明の第２の実施形態に係るリサンプリングを高速にする用途に用いる。
　以下、図４のフローチャートを参照して、本発明の第１の実施形態に係るリサンプリング装置による処理の流れを説明する。この処理は、第１の実施形態に係るリサンプリング方法にも相当する。また、中央制御部１１が、メインメモリ１２のリサンプリングプログラムを実行した場合の処理の流れにも相当する。
　処理を開始すると、先ず変形元画像を走査し、変形元画像を基に蓄積マップを更新する処理を実行し（ステップＳ１）、続いて変形先画像を走査し、蓄積マップを基に変形先画像を更新する処理を実行し（ステップＳ２）、処理を終了する。
　このように、本発明の実施形態に係るリサンプリング装置によるリサンプリングの特徴として、変形先画像の走査だけでなく、変形元画像の走査も含まれる。尚、各処理の詳細については、後に詳述する。
　以下、図５を参照して、リサンプリングに用いる座標変換について詳述する。
　座標の順変換（入力→出力）、逆変換（出力→入力）は次式で定義される。
　　　座標の順変換（入力→出力）： Pos_OUT = 11 / (9 - Pos_IN) - 1.5
　　　座標の逆変換（出力→入力）： Pos_IN = 9 - 11 / (1.5 + Pos_OUT)
　図５には、本発明の実施形態によるリサンプリングに用いる座標変換をわかりやすく図示するため、１次元の変形を例示する。
　同図において、入力されるデータの配列構造を変形元マップと称する。これは、２次元では変形元画像に相当する。出力されるデータの配列構造を変形先マップと称する。これは、２次元では変形先画像に相当する。
　円形は変形元マップの各要素を表し、ここでは例として９要素（０～８）の１次元配列とする。二重円形は変形先マップの各要素を表し、ここでは例として１１要素（０～１０）の１次元配列とする。楕円形は蓄積マップの各要素を表している。二重円形と楕円形の接点「・」は、蓄積マップが変形先マップの系列と共通する系列を持つことを表し、例として１１要素の１次元配列とする。
　円形に接する水平線は、変形元マップの要素の位置に結びつく整数の座標系を表している。円形の下方の水平線は、変形元マップに関する実数の座標系を表している。楕円形の上方の水平線は、蓄積マップに関する実数の座標系を表している。楕円形に接する水平線は、蓄積マップの要素の位置に結びつく整数の座標系を表している。
　円形と楕円形を繋ぐ折れ線に関して、実線は、変形元マップの要素の位置に対応する蓄積マップまたは変形先マップの要素の位置を導出する変換、即ち順変換の例を表し、破線は、蓄積マップまたは変形先マップの要素の位置に対応する変形元マップの要素の位置を導出する変換、即ち逆変換の例を表している。変形元マップの座標と変形先マップの座標は、相互かつ一意的な対応付けとなるように数式で定義している。
　図５の例では、変形先マップの要素の位置に対応する変形元マップの要素の位置だけを見た場合、結果的に対応付けされていない位置（０、１、３、４）が存在している。これは画像変形において縮小に相当する部分であり、参照の漏れによってエイリアシングが発生する要因である。
　これに対して、変形元マップの要素の位置に対応する変形先マップの要素の位置を重ねて見た場合、対応付けされていなかった部分を補うことができている。これを実現する方法として、本発明は変形元マップを隔たりなく走査する手段を用いる。
　後述するが、本発明におけるリサンプリングは２次元以上の配列においても実施可能であり、画像処理の分野等にも利用できる。
　以下、図６のフローチャートを参照して、本発明の第１の実施形態に係るリサンプリング装置による、変形元画像を走査し、変形元画像を基に蓄積マップを更新する処理の流れを説明する。これは、図４のステップＳ１の処理の詳細に相当する。リサンプリング方法の一部にも相当し、中央制御部１１がメインメモリ１２のリサンプリングプログラムを実行した場合の処理の一部にも相応する。
　このフローチャートの処理は、ポリゴンモデルを用いたテクスチャマッピングの例であり、変形元画像を走査し、それぞれの画素で位置の順変換を行うものである。テクスチャマップは変形元画像に相当する。リターン時、蓄積マップは完成となり、後の変形先画像を更新する処理に用いられる。
　即ち、本処理を開始すると、蓄積マップを初期化し（ステップＳ１１）、全ポリゴン面の抽出が完了したか否かを判断する（ステップＳ１２）。ここで、全ポリゴン面の抽出が完了していなければ（ステップＳ１２をＮｏに分岐）、次のポリゴン面を抽出し（ステップＳ１３）、テクスチャマップにおいてポリゴン面に含まれる全画素の抽出が完了したか否かを判断する（ステップＳ１４）。ここで、全画素の抽出を完了していなければ（ステップＳ１４をＮｏに分岐）、テクスチャマップの次画素を抽出し（ステップＳ１５）、テクスチャマップの画素に対応する蓄積マップ画素群を更新する処理を行い（ステップＳ１６）、ステップＳ１４に戻る。そして、テクスチャマップにおいてポリゴン面に含まれる全画素の抽出が完了するまでステップＳ１４乃至Ｓ１６の処理を繰り返し、抽出を完了すると（ステップＳ１４をＹｅｓに分岐）、ステップＳ１２に戻る。こうして、全ポリゴン面の抽出を完了するまでステップＳ１２乃至Ｓ１６の処理を繰り返し、抽出を完了すると（ステップＳ１２をＹｅｓに分岐）、リターンする。
　ただし、図６のフローチャートは複数のポリゴンからなるポリゴンモデル（即ち、変形方法が複数）を想定した例であり、ポリゴンが単一の場合や、変形方法定義データ４２にて単一のテーブルや数式を用いる場合、ステップＳ１２乃至Ｓ１３は省略可能である。即ち、本処理を開始すると、ステップＳ１４乃至Ｓ１６の処理を繰り返し、抽出を完了すると（ステップＳ１４をＹｅｓに分岐）、リターンしてもよい。
　なお、「テクスチャマップ」とは、「変形元画像」と同義であり、「ポリゴン面」とは、変形元画像において「変形を行う範囲」と同義であることに留意する。
　以下、図７の概念図を参照して、変形元画像を走査し、変形元画像を基に蓄積マップを更新する過程を更に詳述する。
　ここでは、本発明における２次元座標の逆変換が可能な画像変形として、ポリゴンモデルを用いたテクスチャマッピングの例を示す。３次元空間上の任意な姿勢および位置を設定した長方形モデルを描画する例であり、即ち射影変換および回転を含んだ変形に相当する。長方形モデルは２つの３角形ポリゴンと見なし、それぞれをポリゴンＰ、ポリゴンＱとする。同図の右上は、ポリゴンモデルのテクスチャマップを表し、即ち変形元画像に相当する。同図の左上は、蓄積マップを表し、後述する変形先画像に相当するターゲットマップと共通の座標系である。
　テクスチャマップの画素は不透明度と色とを含む画素情報（ａ＿ｓｒｃ：アルファ，ｒ＿ｓｒｃ：赤，ｇ＿ｓｒｃ：緑，ｂ＿ｓｒｃ：青）を持っているものとする。蓄積マップの画素は影響値と不透明度と色とを含む加算可能な画素情報（ｗ＿ｓｕｍ：影響値，ａ＿ｓｕｍ：アルファ，ｒ＿ｓｕｍ：赤，ｇ＿ｓｕｍ：緑，ｂ＿ｓｕｍ：青）を持つものとする。テクスチャマップ及び蓄積マップのそれぞれにおいて、画素は２次元で配置され、座標（水平方向，垂直方向）の単位は１画素を１とし、便宜上、画素の領域の境界を破線の格子で表している。
　始めに、蓄積マップの初期化、即ち蓄積マップの全画素において影響値および色情報を０にクリアしておく。次に、テクスチャマップ側において各ポリゴンに囲まれる範囲を隔たりなく走査する。ここで、走査対象画素の位置を（ｉ，ｊ）とし、ｉは水平位置、ｊは垂直位置とする。テクスチャマップにおけるポリゴンＰに関する走査対象画素を黒塗り三角印、ポリゴンＱに関する走査対象画素を黒塗り四角印でそれぞれ表している。画素情報の入出力関係は破線の矢印で表しており、テクスチャマップから蓄積マップへの転送を意味する。
　続いて、走査対象画素に関して、まず当該画素の位置から図のような変形方法に従って蓄積マップ側の注目座標を導出する。ここでは、蓄積マップにおけるポリゴンＰに関する注目座標を黒塗り三角印、ポリゴンＱに関する注目座標を黒塗り四角印でそれぞれ表している。この段階において導出された注目座標は、画素単位とは限らない（例えば、実数である）ことに留意する。
　次いで、注目座標に関連する蓄積マップの画素を更新対象画素として決定する。ここでは、従来の最近傍法における位置の導出方法に倣い、注目座標に最も近い位置にある１つの画素、即ち注目座標が含まれる領域にある１つの画素を更新対象画素とすることを例とする。ただし、従来の最近傍補間と異なる点として、求める位置の画素が入力側ではなく出力側であることに留意する。ここで、（ｉ，ｊ）に対応する蓄積マップにおける更新対象画素の位置を（ｘ，ｙ）とし、ｘは水平位置、ｙは垂直位置とする。
　次にテクスチャマップの走査対象画素における画素情報であるａ＿ｓｒｃ（ｉ，ｊ）、ｒ＿ｓｒｃ（ｉ，ｊ）、ｇ＿ｓｒｃ（ｉ，ｊ）、及びｂ＿ｓｒｃ（ｉ，ｊ）を用い、以下のように蓄積マップの更新対象画素における画素情報であるｗ＿ｓｕｍ（ｘ，ｙ）、ａ＿ｓｕｍ（ｘ，ｙ）、ｒ＿ｓｕｍ（ｘ，ｙ）、ｇ＿ｓｕｍ（ｘ，ｙ）、及びｂ＿ｓｕｍ（ｘ，ｙ）をそれぞれ更新する（以降、位置（ｉ，ｊ）および（ｘ，ｙ）の記述は省略する）。
　すなわち、
　ｗ＿ｓｕｍに対しては、一定値（たとえば、１）だけ加算する。
　ａ＿ｓｕｍに対しては、ａ＿ｓｒｃだけ加算する。
　ｒ＿ｓｕｍに対しては、ａ＿ｓｒｃにｒ＿ｓｒｃを乗算した値だけ加算する。
　ｇ＿ｓｕｍに対しては、ａ＿ｓｒｃにｇ＿ｓｒｃを乗算した値だけ加算する。
　ｂ＿ｓｕｍに対しては、ａ＿ｓｒｃにｂ＿ｓｒｃを乗算した値だけ加算する。
　なお、完全に不透明な画像のみを扱う場合、ａ＿ｓｒｃは一定値（たとえば、１）に置き換えることができ、ａ＿ｓｕｍは、ｗ＿ｓｕｍで代用可能である。
　即ち、蓄積マップの更新対象画素の更新は以下のように簡略化することが出来る。
　ｗ＿ｓｕｍに対しては、一定値（たとえば、１）だけ加算する。
　ｒ＿ｓｕｍに対しては、ｒ＿ｓｒｃだけ加算する。
　ｇ＿ｓｕｍに対しては、ｇ＿ｓｒｃだけ加算する。
　ｂ＿ｓｕｍに対しては、ｂ＿ｓｒｃだけ加算する。
　以上のような処理を伴い、各ポリゴンのテクスチャマップの走査を完了させる。
　図７の左下は、テクスチャマップの走査結果として、蓄積マップで加算された影響値ｗ＿ｓｕｍの分布を数値で表している。説明の便宜上、斜線で示す領域は影響値が一定値（たとえば、２）以上の画素を示しているが、詳細は後述する。
　灰色の領域は、テクスチャマップと蓄積マップの対応付けの一部の例であり、テクスチャマップにおける位置（７，９）（８，９）および（７，１０）の３画素が、蓄積マップにおける位置（９，５）の画素の更新に携わった例を示している。
　図７の右下は、テクスチャマップの走査結果、蓄積マップにおける位置（９，５）の画素に対して行われた加算の例を表している。
　前述した規則に従い、以下のように加算される。
　ｗ＿ｓｕｍ（９，５）＝　１＋１＋１＝３
　ａ＿ｓｕｍ（９，５）＝　１×ａ＿ｓｒｃ（７，９）
　　　　　　　　　　　　　　＋１×ａ＿ｓｒｃ（８，９）
　　　　　　　　　　　　　　　＋１×ａ＿ｓｒｃ（７，１０）
　ｒ＿ｓｕｍ（９，５）＝　１×ａ＿ｓｒｃ（７，９）×ｒ＿ｓｒｃ（７，９）
　　　　　　　　　　　　　　＋１×ａ＿ｓｒｃ（８，９）×ｒ＿ｓｒｃ（８，９）
　　　　　　　　　　　　　　　＋１×ａ＿ｓｒｃ（７，１０）×ｒ＿ｓｒｃ（７，１０）
　ｇ＿ｓｕｍ（９，５）及びｂ＿ｓｕｍ（９，５）はｒ＿ｓｕｍ（９，５）と同様に求めることができる。
　図８の例のように、もしテクスチャマップがラッピング（繰り返し）の場合、前述のテクスチャマップ側において各ポリゴンに囲まれる範囲を隔たりなく走査する際には、繰り返しを考慮して走査することに留意する。たとえば、位置（２，２）の画素はポリゴンＰで３回、ポリゴンＱで１回、合計４回走査対象となる。
　次に、図９のフローチャートを参照して、本発明の第１の実施形態に係るリサンプリング装置により、テクスチャマップの画素に対応する蓄積マップ画素群を更新する処理の流れを説明する。これは、図６のステップＳ１６の処理の詳細に相当する。リサンプリング方法の一部にも相当し、中央制御部１１がメインメモリ１２のリサンプリングプログラムを実行した場合の処理の一部にも相応する。
　本フローチャートは、縮小による重心のずれを抑える手段の一部を示している。
　この処理に入ると、テクスチャマップの画素の位置（Ａ）に対応する蓄積マップ注目座標（Ｂ）から、「蓄積マップ位置（Ｂ１～Ｂ４）」と「重み値（ＫＢ１～ＫＢ４）」を作成する（ステップＳ２１）。続いて、テクスチャマップ画素情報（ＤＡ）および重み値（ＫＢ１～ＫＢ４）から蓄積マップ画素情報群（ＳＢ１～ＳＢ４）を更新し（ステップＳ２２）、リターンする。
　なお、「テクスチャマップ」とは、「変形元画像」と同義であることに留意する。
　以下、図１０の概念図を参照して、テクスチャマップの画素に対応する蓄積マップ画素群を更新する処理の流れを更に詳述する。
　前述の例では、従来の最近傍法における位置の導出方法に倣い、注目座標に最も近い位置にある１つの画素を更新対象画素とした。
　図１０の例では、変形における重心のずれを抑える方法として、従来のバイリニア法における位置の導出方法および重みづけ方法に倣い、注目座標に近い位置にある複数（たとえば、水平２つと垂直２つとで、２×２＝４）の画素を更新対象画素とする。ただし、従来のバイリニア補間と異なる点として、重み付けを行う複数の画素が入力側ではなく出力側であることに留意する。以下、詳述する。
　先ず、テクスチャマップにおける走査対象画素の位置Ａに対応する蓄積マップの注目座標Ｂを順変換により求める。ＡからＢへの破線の矢印は、座標の順変換を表している。ここで、座標マップを用いる場合、Ｂの水平座標及び垂直座標を、座標マップの位置Ａの要素に記憶しておく。これにより、位置Ａに対応する注目座標Ｂを後から再び求める必要がなくなる。
　次に、注目座標に近い４つの画素の位置をそれぞれＢ１、Ｂ２、Ｂ３、およびＢ４とする。４つの位置それぞれにおいて、Ｂとの距離に応じて重みづけを行い、重み値ＫＢ１、ＫＢ２、ＫＢ３、およびＫＢ４を導出する。４つの重み値の合計は一定値（たとえば、１）とする。
　ここで、位置Ａに関する画素情報をＤＡとし、位置Ｂ１に関する画素情報ＳＢ１については現在の値から「ＫＢ１を考慮したＤＡ」だけ加算する。
　即ち、テクスチャマップの走査対象画素における画素情報であるａ＿ｓｒｃ（Ａ）、ｒ＿ｓｒｃ（Ａ）、ｇ＿ｓｒｃ（Ａ）、及びｂ＿ｓｒｃ（Ａ）を用い、以下のように蓄積マップの更新対象画素における画素情報であるｗ＿ｓｕｍ（Ｂ１）、ａ＿ｓｕｍ（Ｂ１）、ｒ＿ｓｕｍ（Ｂ１）、ｇ＿ｓｕｍ（Ｂ１）、及びｂ＿ｓｕｍ（Ｂ１）をそれぞれ更新する（以降、位置（Ａ）及び（Ｂ）の記述は省略する）。
　すなわち、
　ｗ＿ｓｕｍに対しては、ＫＢ１だけ加算する。
　ａ＿ｓｕｍに対しては、ＫＢ１にａ＿ｓｒｃを乗算した値だけ加算する。
　ｒ＿ｓｕｍに対しては、ＫＢ１にａ＿ｓｒｃ及びｒ＿ｓｒｃを乗算した値だけ加算する。
　ｇ＿ｓｕｍに対しては、ＫＢ１にａ＿ｓｒｃ及びｇ＿ｓｒｃを乗算した値だけ加算する。
　ｂ＿ｓｕｍに対しては、ＫＢ１にａ＿ｓｒｃ及びｂ＿ｓｒｃを乗算した値だけ加算する。
　この演算については、簡易的な表現として「ＳＢ１＋＝ＫＢ１・ＤＡ」と表す。
　「＋＝」は、左辺自身に対する加算を表し、即ち「ＳＢ１＋ＫＢ１・ＤＡ」の結果をＳＢ１に代入することを示す。
　なお、完全に不透明な画像のみを扱う場合、ａ＿ｓｒｃは一定値（たとえば、１）に置き換えることができ、ａ＿ｓｕｍは、ｗ＿ｓｕｍで代用可能である。
　即ち、蓄積マップの更新対象画素の更新は以下のように簡略化することが出来る。
　ｗ＿ｓｕｍに対しては、ＫＢ１だけ加算する。
　ｒ＿ｓｕｍに対しては、ＫＢ１にｒ＿ｓｒｃを乗算した値だけ加算する。
　ｇ＿ｓｕｍに対しては、ＫＢ１にｇ＿ｓｒｃを乗算した値だけ加算する。
　ｂ＿ｓｕｍに対しては、ＫＢ１にｂ＿ｓｒｃを乗算した値だけ加算する。
　位置Ｂ２、Ｂ３、Ｂ４に関する画素情報ＳＢ２、ＳＢ３、ＳＢ４についても、それぞれ同様に上記のような加算を行う。
　このように、位置の導出及び重み付けの目的が更新対象画素における画素情報の加算でありながら、従来の参照を目的とした画素の位置の導出方法および重みづけ方法の適用が可能である。同様の例としてバイキュービック法等の適用も可能である。
　以下、図１１のフローチャートを参照して、本発明の第１の実施形態に係るリサンプリング装置による、変形先画像を走査し、蓄積マップを基に変形先画像を更新する処理の流れを説明する。尚、この処理は、図４のステップＳ２に相当するものである。リサンプリング方法の一部にも相当し、中央制御部１１がメインメモリ１２のリサンプリングプログラムを実行した場合の処理の一部にも相応する。
　本フローチャートはポリゴンモデルを用いたテクスチャマッピングの例であり、変形先画像を走査する旨の説明である。ターゲットマップは変形先画像に相当する。
　即ち、本処理に入ると、全ポリゴン面の抽出を完了したか否かを判断し（ステップＳ３１）、抽出を完了していなければ（ステップＳ３１をＮｏに分岐）、次のポリゴン面を抽出し（ステップＳ３２）、続いてターゲットマップにおいてポリゴン面に含まれる全画素抽出を完了したか否かを判断し（ステップＳ３３）、完了していなければ（ステップＳ３３をＮｏに分岐）、ターゲットマップの次画素を抽出し（ステップＳ３４）、蓄積マップを基にターゲットマップ画素を更新する処理を行い（ステップＳ３５）、ステップＳ３３に戻る。こうして、ステップＳ３３乃至Ｓ３５の処理を、ターゲットマップにおいてポリゴン面に含まれる全画素抽出を完了するまで繰り返し、全画素抽出を完了すると（ステップＳ３３をＹｅｓに分岐）、ステップＳ３１に戻る。こうして、全ポリゴン面の抽出を完了するまでステップＳ３１乃至Ｓ３５の処理を繰り返し、抽出を完了すると（ステップＳ３１をＹｅｓに分岐）、リターンする。
　ただし、図１１のフローチャートは複数のポリゴンからなるポリゴンモデル（即ち、変形方法が複数）を想定した例であり、ポリゴンが単一の場合や、変形方法定義データ４２にて単一のテーブルや数式を用いる場合、ステップＳ３１乃至Ｓ３２は省略可能である。
即ち、本処理を開始すると、ステップＳ３３乃至Ｓ３５の処理を繰り返し、抽出を完了すると（ステップＳ３３をＹｅｓに分岐）、リターンしてもよい。
　なお、「ターゲットマップ」とは、「変形先画像」と同義であり、「ポリゴン面」とは、変形元画像において「変形を行う範囲」と同義であることに留意する。
　ここで、図１２のフローチャートを参照して、蓄積マップを基にターゲットマップ画素を更新する処理の流れを説明する。これは、図１１のステップＳ３５の処理の詳細に相当するものである。リサンプリング方法の一部にも相当し、中央制御部１１がメインメモリ１２のリサンプリングプログラムを実行した場合の処理の一部にも相応する。本フローチャートは、簡易的にターゲットマップ画素を更新する例であり、縮小の場合に重心のずれを抑える手段を示している。なお、画像の基準点において縮小と拡大が複合する変形に適した手段についてはここでは述べず、後述する。
　この処理に入ると、先ず、蓄積マップ画素の位置（Ｐ）に関する画素情報（ＳＰ）の影響値（ｗ＿ｓｕｍ）は一定値以上であるか否かを判断する（ステップＳ４１）。ここで、影響値（ｗ＿ｓｕｍ）が一定値以上であれば（ステップＳ４１をＹｅｓに分岐）、蓄積マップ画素情報（ＳＰ）からターゲットマップ画素情報（ＤＰ）を生成し（ステップＳ４２）、リターンする。一方、影響値（ｗ＿ｓｕｍ）が一定値以上でなければ（ステップＳ４１をＮｏに分岐）、従来の補間方法でテクスチャマップ画素情報ＤＡ１～ＤＡ４からターゲットマップ画素情報（ＤＰ）を生成し（ステップＳ４３）、リターンする。
　なお、「ターゲットマップ」とは、「変形先画像」と同義であり、「テクスチャマップ」とは、「変形元画像」と同義であることに留意する。
　以下、図１３の概念図を参照して、本発明の第１の実施形態に係るリサンプリング装置により、変形先画像を走査し、蓄積マップを基に変形先画像を更新する処理について詳細に説明する。
　図１３の右の図は、変形元画像に相当する前述のテクスチャマップである。図１３の左上の図は、前述の蓄積マップであり、前述のテクスチャマップ側の走査が完了した状態とする。図１３の左下の図は、変形先画像に相当するターゲットマップを表している。
　ターゲットマップの画素は不透明度と色とを含む画素情報（ａ＿ｄｓｔ：アルファ，ｒ＿ｄｓｔ：赤，ｇ＿ｄｓｔ：緑，ｂ＿ｄｓｔ：青）を持つものとする。
　テクスチャマップ、ターゲットマップ、および蓄積マップのそれぞれにおいて、画素は２次元で配置され、座標（水平方向，垂直方向）の単位は１画素を１とし、便宜上、画素の領域の境界を破線の格子で表している。
　ターゲットマップ側において、各ポリゴンに囲まれる範囲を隔たりなく走査する。ここで、走査対象画素の位置を（ｉ，ｊ）とし、ｉは水平位置、ｊは垂直位置とする。ちなみに、前述のとおり、蓄積マップはターゲットマップと共通の座標系としているので、すなわち（ｉ，ｊ）は走査対象画素の位置に対応する蓄積マップの画素の位置としても表すことができる。ターゲットマップにおけるポリゴンＰに関する走査対象画素を黒塗り三角印又は白抜き三角印とし、ポリゴンＱに関する走査対象画素を黒塗り四角印又は白抜き四角印としてそれぞれ表している。
　画素情報の入出力関係は破線の矢印で表しており、蓄積マップからターゲットマップへの転送、またはテクスチャマップからターゲットマップへの転送を意味する。ここで、白抜き三角印又は白抜き四角印は、影響値ｗ＿ｓｕｍ（ｉ，ｊ）が一定値（たとえば、２）以上であることを表し、黒塗り三角印又は黒塗り四角印は、影響値ｗ＿ｓｕｍ（ｉ，ｊ）が一定値（たとえば、２）未満であることを表している。影響値ｗ＿ｓｕｍ（ｉ，ｊ）が２以上である場合と２未満である場合で異なる更新対象画素の更新方法を用いる。
　走査対象画素に関して、まず当該画素の位置に対応する蓄積マップの画素の影響値ｗ＿ｓｕｍ（ｉ，ｊ）を読み出す。蓄積マップにおける影響値ｗ＿ｓｕｍ（ｉ，ｊ）が２以上の場合、局部的に縮小相当と考え、当該画素に携わったテクスチャマップの画素の数が充分と見なし、携わった画素の平均を用いることとする。
　即ち、蓄積マップにおける画素情報ｗ＿ｓｕｍ（ｉ，ｊ）、ａ＿ｓｕｍ（ｉ，ｊ）、ｒ＿ｓｕｍ（ｉ，ｊ）、ｇ＿ｓｕｍ（ｉ，ｊ）、ｂ＿ｓｕｍ（ｉ，ｊ）を用いて、以下に示すようにターゲットマップの更新対象画素における画素情報ａ＿ｄｓｔ（ｉ，ｊ）、ｒ＿ｄｓｔ（ｉ，ｊ）、ｇ＿ｄｓｔ（ｉ，ｊ）、ｂ＿ｄｓｔ（ｉ，ｊ）をそれぞれ更新する（以降、位置（ｉ，ｊ）の記述は省略する）。
　すなわち、
　ａ＿ｄｓｔに対しては、ａ＿ｓｕｍからｗ＿ｓｕｍを除算した値を代入する。
　ｒ＿ｄｓｔに対しては、ｒ＿ｓｕｍからａ＿ｓｕｍを除算した値を代入する。
　ｇ＿ｄｓｔに対しては、ｇ＿ｓｕｍからａ＿ｓｕｍを除算した値を代入する。
　ｂ＿ｄｓｔに対しては、ｂ＿ｓｕｍからａ＿ｓｕｍを除算した値を代入する。
　蓄積マップの画素情報をＳ（ｉ，ｊ）とし、この演算については簡易的な表現として「Ｓ（ｉ，ｊ）／ｗ＿ｓｕｍ（ｉ，ｊ）」と表す。
　なお、必ず不透明な画像を扱う場合、ａ＿ｓｕｍは、ｗ＿ｓｕｍで代用可能な事は前述の説明のとおりである。即ち、ターゲットマップの更新対象画素の更新は以下のように置き換えることが出来る。
　すなわち、
　ｒ＿ｄｓｔに対しては、ｒ＿ｓｕｍからｗ＿ｓｕｍを除算した値を代入する。
　ｇ＿ｄｓｔに対しては、ｇ＿ｓｕｍからｗ＿ｓｕｍを除算した値を代入する。
　ｂ＿ｄｓｔに対しては、ｂ＿ｓｕｍからｗ＿ｓｕｍを除算した値を代入する。
　走査対象画素の位置に対応する蓄積マップの画素の影響値ｗ＿ｓｕｍ（ｉ，ｊ）が２未満の場合、局部的に拡大相当と考え、当該画素に携わったテクスチャマップの画素の数が不充分と見なす。この場合、当該画素の画素情報を用いず、従来のテクスチャマッピングに基づいた補間（たとえば、バイリニア補間）により算出した値を用いてターゲットマップの更新対象画素における画素情報を更新する。
　即ち、走査対象画素に関して、まず当該画素に関する位置から図のような変形方法に従ってテクスチャマップ側の注目座標を導出する。テクスチャマップにおけるポリゴンＰに関する注目座標を黒塗り三角印、ポリゴンＱに関する注目座標を黒塗り四角印としてそれぞれ表している。この段階において導出された注目座標は画素単位とは限らない（たとえば、実数である）ことに留意する。
　次に、注目座標に関連するテクスチャマップの画素を被参照画素として決定する。ここでは、注目座標に近い２×２の画素、即ち注目座標が含まれる領域の画素及び近傍の画素を被参照画素とする。以下、詳述する。
　図１４には、従来のテクスチャマッピングに基づいた補間の例を示す。
　ターゲットマップに関する、位置Ｐに応じた画素情報ＤＰの生成例は次式で示される。
　ＤＰ＝（ＫＡ１・ＤＡ１＋ＫＡ２・ＤＡ２＋ＫＡ３・ＤＡ３＋ＫＡ４・ＤＡ４）
　　　　　　　　　　　　　　　　　　　　　　／（ＫＡ１＋ＫＡ２＋ＫＡ３＋ＫＡ４）
　すなわち、先ずターゲットマップの位置Ｐに対応するテクスチャマップの注目座標Ａを逆変換により求める。ＰからＡへの破線の矢印は、座標の逆変換を表している。Ａに近い４つの画素の位置Ａ１、Ａ２、Ａ３、およびＡ４において、それぞれＡとの距離に応じて重みづけを行い、重み値ＫＡ１、ＫＡ２、ＫＡ３、およびＫＡ４を導出する。４つの重み値の合計は一定値（たとえば、１）とする。そして、位置Ａ１～Ａ４に関する画素情報をＤＡ１～ＤＡ４とし、位置Ｐに関する画素情報ＤＰについては「ＫＡ１～ＫＡ４を考慮したＤＡ１～ＤＡ４」を合成して生成する。
　なお、図１５には、変形例として、従来の補間から算出した値と蓄積マップから算出した値とを重み付けによる合成の考え方を示し説明する。
　前述の例（図１２の処理）では、蓄積マップにおける画素の影響値ｗ＿ｓｕｍが一定値以上である場合と一定値未満である場合で異なる更新対象画素の更新方法を用いたが、両方の方法から値をそれぞれ算出し、影響値ｗ＿ｓｕｍの値に応じた割合を用いて合成した画素情報を更新対象画素の画素情報としてもよい。即ち、影響値ｗ＿ｓｕｍの値が大きいとき、蓄積マップの位置Ｐにおける画素情報ＳＰを用いる割合も高くする。これにより、拡大部分と縮小部分の境目がなめらかになる。
　図１６には、リサンプリング結果の例を示し説明する。
　図１６は、奥行きが非常に長い直方体の内部を投影する際のテクスチャマッピングについて従来手段の異方性フィルタと比較した例である。図１６（ａ）が従来の異方性フィルタ（１６ｘサンプル設定）、図１６（ｂ）が本発明の手段であり、それぞれ遠方部分、即ち縮小を含む変形を強調している。市松模様や直線模様に着目し、本発明の結果として、特に画素の平均や重心といった観点から遠方部分の品質が高く保たれていることを示している。
（第２の実施形態）
　第２の実施形態に係るリサンプリング装置による処理では、第１の実施形態に係るリサンプリング装置による図１２の処理を図１７に示されるように変更している。
　以下、図１７のフローチャートを参照して、本発明の第２の実施形態に係るリサンプリング装置による、蓄積マップを基にターゲットマップ画素を更新する処理の流れを説明する。本フローチャートは、縮小による重心のずれを抑える手段に加え、画像の基準点において縮小と拡大が複合する変形に適した手段を示している。これは、第２の実施形態に係るリサンプリング方法の一部にも相当し、中央制御部１１がメインメモリ１２のリサンプリングプログラムを実行した場合の処理の一部にも相応する。
以下、詳述する。
　すなわち、この処理に入ると、蓄積マップの画素の位置（Ｐ）に対応するテクスチャマップ注目座標（Ａ）から、「テクスチャマップ位置（Ａ１～Ａ４）」と「重み値（ＫＡ１～ＫＡ４）」とを作成し（ステップＳ５１）、テクスチャマップ位置（Ａ１～Ａ４）に対応する蓄積マップ注目座標（Ｂ１～Ｂ４）から、「蓄積マップ位置（Ｂ１１～Ｂ４４）」と「重み値（ＫＢ１１～ＫＢ４４）」とを作成し（ステップＳ５２）、蓄積マップの画素情報（ＤＢ１１～ＤＢ４４）および重み値（ＫＡ１～ＫＡ４，ＫＢ１１～ＫＢ４４）からターゲットマップの位置（Ｐ）の画素情報（ＤＰ）を生成し（ステップＳ５３）、リターンすることになる。
　なお、「ターゲットマップ」とは、「変形先画像」と同義であり、「テクスチャマップ」とは、「変形元画像」と同義であることに留意する。
　ここで、図１８の概念図を参照して、蓄積マップを基にターゲットマップ画素を更新する処理について更に詳述する。
　先ず、蓄積マップの位置Ｐに対応するテクスチャマップの注目座標Ａを逆変換により求める。ＰからＡへの破線の矢印は、座標の逆変換を表している。次いで、注目座標Ａに近い４つの画素の位置Ａ１、Ａ２、Ａ３、およびＡ４において、それぞれＡとの距離に応じて重み付けを行い、重み値ＫＡ１、ＫＡ２、ＫＡ３、およびＫＡ４を導出する。４つの重み値の合計は一定値（たとえば、１）とする。
　さらに、位置Ａ１に対応する蓄積マップの注目座標Ｂ１を順変換により求める。Ａ１からＢ１への破線の矢印は、座標の順変換を表している。次いで、注目座標Ｂ１に近い４つの画素の位置Ｂ１１、Ｂ１２、Ｂ１３、およびＢ１４において、それぞれＢ１との距離に応じて重み付けを行い、重み値ＫＢ１１、ＫＢ１２、ＫＢ１３、およびＫＢ１４を導出する。４つの重み値の合計は一定値（たとえば、１）とする。
　なお、座標マップを用いている場合、座標マップの位置Ａ１の要素である座標情報が存在するならば、その座標情報をＢ１としてもよい。
　Ａ２、Ａ３、およびＡ４に対応する座標や位置等は、図示を省略しているが、これらも同様に導出する。
　そして、位置Ｂ１１～Ｂ４４に関する画素情報をＤＢ１１～ＤＢ４４とし、位置Ｐに関する画素情報ＤＰについては「ＫＢ１１～ＫＢ４４およびＫＡ１～ＫＡ４を考慮したＤＢ１１～ＤＢ４４」を合成して生成する。
　ところで、前述したテクスチャマップ側の走査が完了した状態において、拡大部分では蓄積マップの画素の更新に隔たりが生じ、位置によっては画素が一切更新されていない場合もある。ただし、ここで説明した方法における蓄積マップを参照するための座標変換は既にテクスチャマップ側の走査の際に行われ、さらには関連する蓄積マップの画素が更新されている。すなわち、更新が一切されていない画素の位置は導出されないものと考えてよい。よって、縮小と拡大で処理を分ける必要がないので、この方法は画像の基準点において縮小と拡大が複合する変形に適したリサンプリングと言える。
　図１９には、第２の実施形態によるリサンプリング結果の例を示す。
　座標の順変換（入力→出力）、座標の逆変換（出力→入力）は次式で示される。
　　座標の順変換（入力→出力）：
　　　X_OUT = (w / 2) + cos(X_IN / w * 2 * PI) * Y_IN / h * (w / 2)
　　　Y_OUT = (h / 2) + sin(X_IN / w * 2 * PI) * Y_IN / h * (h / 2)
　　座標の逆変換（出力→入力）：
　　　X_IN = atan2((Y_OUT - h / 2) / h, (X_OUT - w / 2) / w) / (2 * PI) * w
　　　Y_IN = sqrt(((X_OUT - w / 2) / (w / 2)) ^ 2 + ((Y_OUT - h / 2) / (h / 2)) ^ 2) * h
　図１９は、本発明の第２の実施形態に係るリサンプリング装置の手段で極座標変換による変形を行った結果の例である。
　図１９（ｂ）は変形元画像であり、正方形をパターンとして格子状に配置した例である。変形元画像の最上部は変形先画像の中心に対応し、変形元画像の左下から右下への線分は、変形先画像の右端から時計回りで１周する円に対応するものとする。図１９（ａ）は蓄積マップにおいて、変形元画像の各画素の位置から順変換により求めた座標を表しており、黒色の画素に対しては黒塗り丸印、白色の画素に対しては白抜き丸印でそれぞれ表している。図１９（ｄ）は変形元画像において、変形先画像となる各画素の位置から逆変換により求めた座標を白抜き丸印で表している。
　また図１９（ａ）の例は、円の端付近において、半径方向については座標群が密であるため縮小になるが、円周方向については座標群が疎であるため拡大になるような変形である。変形の結果として、図１９（ｃ）のように、拡大の方向では補間によりジャギーが抑制され、かつ、縮小の方向では平均によりエイリアシングが抑制されている。
　以上、本発明の第１、第２の実施形態について詳述したが、本発明はこれらに限定されることなく、その主旨を逸脱しない範囲で種々の改良・変更が可能である。
　例えば、本発明は、同一発明者の先願である、特願２０１１－０９６９４０後の明細書及び図面に記載の全方位画像編集装置に記載の描画処理に適用してもよい。この場合、視野角を極端に小さくした状態、即ち表示を拡大した状態での細かな描き込みにおいて、縮小による重心のずれを抑えるリサンプリングが期待できる。また、視野角を極端に大きくした状態、即ち表示を広範囲にした状態での遠近感を表現する描き込みにおいて、画像の基準点において縮小と拡大が複合する変形に適したリサンプリングが期待できる。
　また、本発明は、２次元までに限定される手段を用いない。したがって、いずれの処理も３次元への拡張（たとえば、ボクセルを用いる３次元データの変形等）が可能である。
　１　リサンプリング装置
１０　パーソナルコンピュータ
１１　中央制御部
１２　メインメモリ
１３　画像制御部
１３ａビデオメモリ
１４　入出力制御部
１５　内蔵不揮発性記憶媒体
１６　メディア読み書きインターフェイス
２０　表示装置
３０　変形パラメータ入力装置
４０　変形元画像入力データ
４１　変形先画像出力データ
４２　変形方法定義データ
５０　プログラムデータ

Claims (21)

  1. 　変形先画像と共通の系列を持つ蓄積マップを用いたリサンプリング方法であって、
    　変形元画像を走査し、当該変形元画像を基に前記蓄積マップを更新する第１のステップと、
    　変形先画像を走査し、前記蓄積マップを基に前記変形先画像を更新する第２のステップと、を有すること
    を特徴とするリサンプリング方法。
  2. 　前記第１のステップでは、
    　前記蓄積マップを初期化し、変形元画像において変形を行う範囲に含まれる全画素の抽出が完了するまで当該変形元画像の次画素の抽出を続け、当該変形元画像の当該画素に対応する蓄積マップの画素群を更新する処理を行うこと
    を特徴とする請求項１に記載のリサンプリング方法。
  3. 　前記変形元画像の当該画素に対応する蓄積マップの画素群を更新する処理では、
    　前記変形元画像の画素の位置に対応する蓄積マップ注目座標から、蓄積マップ位置と重み値とを算出し、変形元画像画素情報および重み値から蓄積マップ画素情報群を更新すること
    を特徴とする請求項２に記載のリサンプリング方法。
  4. 　前記第２のステップでは、
    　変形先画像において変形を行う範囲に含まれる全画素抽出を完了するまで、前記変形先画像の次画素を抽出し、前記蓄積マップを基に変形先画像の画素を更新する処理を行うこと
    を特徴とする請求項１に記載のリサンプリング方法。
  5. 　前記蓄積マップを基に変形先画像の画素を更新する処理では、
    　前記蓄積マップの画素の位置に関する画素情報の影響値が一定値以上であるか否かを判断し、影響値が一定値以上であれば、蓄積マップ画素情報から変形先画像の画素情報を生成し、影響値が一定値以上でなければ、所定の補間方法で変形元画像の画素情報から変形先画像の画素情報を生成すること
    を特徴とする請求項４に記載のリサンプリング方法。
  6. 　前記蓄積マップを基に変形先画像の画素を更新する処理では、
    　蓄積マップの画素の位置に対応する変形元画像の注目座標から、変形元画像の位置と重み値とを算出し、変形元画像の位置に対応する蓄積マップ注目座標から、蓄積マップ位置と重み値とを算出し、蓄積マップの画素情報および重み値から変形先画像の位置の画素情報を生成すること
    を特徴とする請求項４に記載のリサンプリング方法。
  7. 　前記変形元画像において変形を行う範囲とはポリゴン面であり、
    　前記第１及び第２のステップでは、全ポリゴン面の抽出が完了するまで次のポリゴン面の抽出を続けること
    を特徴とする請求項２又は４のいずれかに記載のリサンプリング方法。
  8. 　変形先画像と共通の系列を持つ蓄積マップを用いるリサンプリング装置であって、
    各種画像を表示する表示手段と、
    　リサンプリングプログラムに従って制御する中央制御手段と、を備え、
    　上記中央制御手段は、
    　変形元画像を走査し、当該変形元画像を基に前記蓄積マップを更新する第１のステップと、変形先画像を走査し、前記蓄積マップを基に前記変形先画像を更新する第２のステップとを実行すること
    を特徴とするリサンプリング装置。
  9. 　前記中央制御手段は、前記第１のステップでは、前記蓄積マップを初期化し、変形元画像において変形を行う範囲に含まれる全画素の抽出が完了するまで当該変形元画像の次画素の抽出を続け、当該変形元画像の当該画素に対応する蓄積マップの画素群を更新する処理を行うこと
    を特徴とする請求項８に記載のリサンプリング装置。
  10. 　前記中央制御手段は、前記変形元画像の当該画素に対応する蓄積マップの画素群を更新する処理では、前記変形元画像の画素の位置に対応する蓄積マップ注目座標から、蓄積マップ位置と重み値とを算出し、変形元画像画素情報および重み値から蓄積マップ画素情報群を更新すること
    を特徴とする請求項９に記載のリサンプリング装置。
  11. 　前記中央制御手段は、前記第２のステップでは、変形先画像において変形を行う範囲に含まれる全画素抽出を完了するまで、前記変形先画像の次画素を抽出し、前記蓄積マップを基に変形先画像の画素を更新する処理を行うこと
    を特徴とする請求項８に記載のリサンプリング装置。
  12. 　前記中央制御手段は、前記蓄積マップを基に変形先画像の画素を更新する処理では、前記蓄積マップの画素の位置に関する画素情報の影響値が一定値以上であるか否かを判断し、影響値が一定値以上であれば、蓄積マップ画素情報から変形先画像の画素情報を生成し、影響値が一定値以上でなければ、所定の補間方法で変形元画像の画素情報から変形先画像の画素情報を生成すること
    を特徴とする請求項１１に記載のリサンプリング装置。
  13. 　前記中央制御手段は、前記蓄積マップを基に変形先画像の画素を更新する処理では、蓄積マップの画素の位置に対応する変形元画像の注目座標から、変形元画像の位置と重み値とを算出し、変形元画像の位置に対応する蓄積マップ注目座標から、蓄積マップ位置と重み値とを算出し、蓄積マップの画素情報および重み値から変形先画像の位置の画素情報を生成すること
    を特徴とする請求項１１に記載のリサンプリング装置。
  14. 　前記変形元画像において変形を行う範囲とはポリゴン面であり、
    　前記第１及び第２のステップでは、全ポリゴン面の抽出が完了するまで次のポリゴン面の抽出を続けること
    を特徴とする請求項９又は１１のいずれかに記載のリサンプリング装置。
  15. 　コンピュータが、
    　変形元画像を走査し、当該変形元画像を基に変形先画像と共通の系列を持つ蓄積マップを更新する第１のステップと、変形先画像を走査し、前記蓄積マップを基に前記変形先画像を更新する第２のステップとを実行する中央制御手段として機能すること
    を特徴とするリサンプリングプログラム。
  16. 　前記第１のステップでは、前記蓄積マップを初期化し、変形元画像において変形を行う範囲に含まれる全画素の抽出が完了するまで当該変形元画像の次画素の抽出を続け、当該変形元画像の当該画素に対応する蓄積マップの画素群を更新する処理を行うこと
    を特徴とする請求項１５に記載のリサンプリングプログラム。
  17. 　前記変形元画像の当該画素に対応する蓄積マップの画素群を更新する処理では、前記変形元画像の画素の位置に対応する蓄積マップ注目座標から、蓄積マップ位置と重み値とを算出し、変形元画像画素情報および重み値から蓄積マップ画素情報群を更新すること
    を特徴とする請求項１６に記載のリサンプリングプログラム。
  18. 　前記第２のステップでは、変形先画像において変形を行う範囲に含まれる全画素抽出を完了するまで、前記変形先画像の次画素を抽出し、前記蓄積マップを基に変形先画像の画素を更新する処理を行うこと
    を特徴とする請求項１５に記載のリサンプリングプログラム。
  19. 　前記蓄積マップを基に変形先画像の画素を更新する処理では、前記蓄積マップの画素の位置に関する画素情報の影響値が一定値以上であるか否かを判断し、影響値が一定値以上であれば、蓄積マップ画素情報から変形先画像の画素情報を生成し、影響値が一定値以上でなければ、所定の補間方法で変形元画像の画素情報から変形先画像の画素情報を生成すること
    を特徴とする請求項１８に記載のリサンプリングプログラム。
  20. 　前記蓄積マップを基に変形先画像の画素を更新する処理では、蓄積マップの画素の位置に対応する変形元画像の注目座標から、変形元画像の位置と重み値とを算出し、変形元画像の位置に対応する蓄積マップ注目座標から、蓄積マップ位置と重み値とを算出し、蓄積マップの画素情報および重み値から変形先画像の位置の画素情報を生成すること
    を特徴とする請求項１８に記載のリサンプリングプログラム。
  21. 　前記変形元画像において変形を行う範囲とはポリゴン面であり、
    　前記第１及び第２のステップでは、全ポリゴン面の抽出が完了するまで次のポリゴン面の抽出を続けること
    を特徴とする請求項１６又は１８のいずれかに記載のリサンプリングプログラム。
PCT/JP2012/006307 2012-10-02 2012-10-02 デジタル画像リサンプリング装置、方法、及びプログラム WO2014054068A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2012/006307 WO2014054068A1 (ja) 2012-10-02 2012-10-02 デジタル画像リサンプリング装置、方法、及びプログラム
US14/433,032 US9532071B2 (en) 2012-10-02 2012-10-02 Resampling apparatus, method, and recording medium having resampling program recorded therein for digital image
JP2014539472A JP5975496B2 (ja) 2012-10-02 2012-10-02 デジタル画像リサンプリング装置、方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/006307 WO2014054068A1 (ja) 2012-10-02 2012-10-02 デジタル画像リサンプリング装置、方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2014054068A1 true WO2014054068A1 (ja) 2014-04-10

Family

ID=50434438

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/006307 WO2014054068A1 (ja) 2012-10-02 2012-10-02 デジタル画像リサンプリング装置、方法、及びプログラム

Country Status (3)

Country Link
US (1) US9532071B2 (ja)
JP (1) JP5975496B2 (ja)
WO (1) WO2014054068A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016162218A (ja) * 2015-03-02 2016-09-05 セイコーエプソン株式会社 画像処理装置、表示装置、及び、画像処理装置の制御方法
CN110910312A (zh) * 2019-11-21 2020-03-24 北京百度网讯科技有限公司 图像处理方法和装置、自动驾驶车辆、电子设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10691926B2 (en) 2018-05-03 2020-06-23 Analog Devices, Inc. Single-pixel sensor
US11450021B2 (en) 2019-12-30 2022-09-20 Sensetime International Pte. Ltd. Image processing method and apparatus, electronic device, and storage medium

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005516313A (ja) * 2002-02-01 2005-06-02 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ エッジエイリアス除去のためのテクスチャフィルタリングの使用
JP2006195908A (ja) * 2005-01-17 2006-07-27 Fuji Xerox Co Ltd 画像処理装置、画像処理方法及び画像処理プログラム
JP2007500391A (ja) * 2003-07-30 2007-01-11 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ テクスチャマッピングにおける適応リサンプリングのためのシステム
JP2007280267A (ja) * 2006-04-11 2007-10-25 Matsushita Electric Ind Co Ltd 画像処理方法及び画像処理装置
JP2010251882A (ja) * 2009-04-13 2010-11-04 Sanyo Electric Co Ltd 撮像装置及び画像再生装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7643702B1 (en) * 2004-07-23 2010-01-05 Adobe Systems Incorporated Object detection in images using a graphics processor
JP4450036B2 (ja) * 2007-09-10 2010-04-14 トヨタ自動車株式会社 複合画像生成装置、及びプログラム
JP2014502443A (ja) * 2010-11-04 2014-01-30 コーニンクレッカ フィリップス エヌ ヴェ 深さ表示マップの生成
WO2014165753A1 (en) * 2013-04-05 2014-10-09 The Wistar Institute Of Anatomy And Biology Methods and compositions for diagnosis of glioblastoma or a subtype thereof

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005516313A (ja) * 2002-02-01 2005-06-02 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ エッジエイリアス除去のためのテクスチャフィルタリングの使用
JP2007500391A (ja) * 2003-07-30 2007-01-11 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ テクスチャマッピングにおける適応リサンプリングのためのシステム
JP2006195908A (ja) * 2005-01-17 2006-07-27 Fuji Xerox Co Ltd 画像処理装置、画像処理方法及び画像処理プログラム
JP2007280267A (ja) * 2006-04-11 2007-10-25 Matsushita Electric Ind Co Ltd 画像処理方法及び画像処理装置
JP2010251882A (ja) * 2009-04-13 2010-11-04 Sanyo Electric Co Ltd 撮像装置及び画像再生装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016162218A (ja) * 2015-03-02 2016-09-05 セイコーエプソン株式会社 画像処理装置、表示装置、及び、画像処理装置の制御方法
CN110910312A (zh) * 2019-11-21 2020-03-24 北京百度网讯科技有限公司 图像处理方法和装置、自动驾驶车辆、电子设备

Also Published As

Publication number Publication date
JPWO2014054068A1 (ja) 2016-08-25
US20150264401A1 (en) 2015-09-17
JP5975496B2 (ja) 2016-08-23
US9532071B2 (en) 2016-12-27

Similar Documents

Publication Publication Date Title
US7432936B2 (en) Texture data anti-aliasing method and apparatus
US8149235B2 (en) System and method for upscaling low-resolution images
US20080246760A1 (en) Method and apparatus for mapping texture onto 3-dimensional object model
JP2006209223A (ja) 描画方法、画像生成装置、および電子情報機器
CN110246161B (zh) 一种360度全景图像无缝拼接的方法
US9565414B2 (en) Efficient stereo to multiview rendering using interleaved rendering
JP5975496B2 (ja) デジタル画像リサンプリング装置、方法、及びプログラム
JP7434032B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP5111900B2 (ja) ポイント補間によるレンダリング方法及び装置
JP6254228B2 (ja) デジタル画像リサンプリング装置、方法、及びプログラム
JPH09259290A (ja) 描画方法
JP2005107602A (ja) ３次元画像描画装置および３次元画像描画方法
JP2010152529A (ja) 頂点テクスチャマッピング装置及びプログラム
JP4081304B2 (ja) 描画処理プログラム，描画処理プログラムを記憶させた記憶媒体，描画処理装置、及び描画処理方法
WO2014111968A1 (ja) 映像生成装置、映像生成プログラム、及び映像生成方法
JP2015114949A (ja) 画像処理装置、画像処理方法、画像処理装置用プログラム、および、記録媒体
JP4925112B2 (ja) 自由視点画像の生成方法
KR100684558B1 (ko) 텍스쳐 밉매핑 장치 및 방법
Brosz et al. Shape defined panoramas
JP3872056B2 (ja) 描画方法
Bhatt Comparative study of triangulation based and feature based image morphing
Benjamin et al. Painting with triangles
JP6326914B2 (ja) 補間装置及び補間方法
JP2011227864A (ja) 画像視点変換装置、画像視点変換方法、画像視点変換プログラム
JP6861910B2 (ja) 情報処理装置、プログラム及び情報処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12886146

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014539472

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14433032

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12886146

Country of ref document: EP

Kind code of ref document: A1