WO2007049610A1 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
WO2007049610A1
WO2007049610A1 PCT/JP2006/321152 JP2006321152W WO2007049610A1 WO 2007049610 A1 WO2007049610 A1 WO 2007049610A1 JP 2006321152 W JP2006321152 W JP 2006321152W WO 2007049610 A1 WO2007049610 A1 WO 2007049610A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
shader
data
processing
image processing
Prior art date
Application number
PCT/JP2006/321152
Other languages
English (en)
French (fr)
Inventor
Yoshiyuki Katou
Akira Torii
Ryohei Ishida
Original Assignee
Mitsubishi Electric Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corporation filed Critical Mitsubishi Electric Corporation
Priority to US11/816,576 priority Critical patent/US20090051687A1/en
Priority to JP2007521167A priority patent/JPWO2007049610A1/ja
Publication of WO2007049610A1 publication Critical patent/WO2007049610A1/ja

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/80—Shading
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/12—Frame memory handling
    • G09G2360/121—Frame memory handling using a cache memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/18—Use of a frame buffer in a display terminal, inclusive of the display panel

Definitions

  • the present invention relates to an image processing apparatus that displays a computer graphics image on a display screen, and more particularly to an image processing apparatus that executes vertex geometry processing and pixel rendering processing in a programmable manner.
  • 3D graphics processing can be classified into geometry processing that performs coordinate conversion and lighting calculation, and rendering processing that decomposes triangles into pixels and applies texture mapping to draw them in the frame buffer.
  • photorealistic expression methods using programmable graphics algorithms have been used rather than using the classic geometry processing and rendering processing determined in advance by API (Application Programming Interfaces).
  • vertex shader and pixel shader also called fragment shader.
  • Non-Patent Document 1 discloses a graphics processor equipped with these vertex and pixel shaders.
  • the vertex shader is an image processing program that is programmed by, for example, an assembly language or a high-level shading language, and can algorithmize the algorithm of the application programmer itself by using nodeware.
  • the vertex shader can freely move, transform, rotate, write, etc. the vertex data without changing the modeling data. This enables 3D morphing, refraction effects, skinning (smoothly expresses discontinuities at vertices such as joints), and enables realistic expression without burdening the CPU.
  • the pixel shader is for performing pixel operations that are programmable in units of pixels, and is programmed using an assembly language or a high-level shading language in the same manner as the vertex shader. This allows the pixel shader to perform lighting processing in units of pixels using normal vectors as texture data, Thus, processing such as bump mapping using perturbation data becomes possible.
  • the pixel shader can also perform the blending operation of the texture color and the pixel in a programmable manner by simply changing the texture address calculation method.
  • image processing such as gradation inversion and color space conversion is also possible.
  • vertex shaders and pixel shaders are used in combination, and various expressions are possible by combining vertex processing and pixel processing.
  • the time required for processing the vertex seeder is affected by the vertex calculation method and the number of light sources. For example, if displacement is mapped to vertex position information by displacement mapping, or the number of light sources increases, the time required for vertex processing increases.
  • the processing time in the pixel seeder is affected by the number of pixels included in the primitive and the complexity of the pixel seeder calculation. For example, if the number of pixels included in a polygon is large or the number of textures sampled in the pixel shader is large, the time required for processing increases.
  • FIG. 8 is a diagram showing a configuration of a conventional image processing apparatus shown in Non-Patent Document 1, and shows a graphics processor equipped with a vertex shader and a pixel shader as an example.
  • geometry data 101a, command 101b, and texture data 101c are transferred in advance from the system memory 100 to the video memory 101.
  • the video memory 101 is also provided with a storage area as a frame buffer 101d.
  • the vertex seeder 104 reads necessary vertex information from the preceding T & L cache 102, performs geometric operation processing, and writes the operation result to the subsequent T & L cache 105.
  • triangle The setup 106 reads out the three apex data from the calculation result written in the subsequent T & L cache 105 and calculates the increment value necessary for the drawing process.
  • the rasterizer 107 performs pixel interpolation using the increment value and decomposes the triangle into pixels.
  • the fragment shader 108 reads texel data from the texture cache 103 using the texture coordinates generated by the rasterizer 107, and performs a blending process of the read texel data and color data. Finally, a logical operation (raster operation) is performed with the frame buffer 101d of the video memory 101, and the final color is written into the frame buffer 101d.
  • a logical operation raster operation
  • the vertex shader and the pixel shader are implemented as independent processors.
  • the pipeline processing is performed efficiently.
  • the vertex shader process becomes a bottleneck for the pixel shader process, and the pixel shader is frequently idle. End up.
  • the polygon is a large polygon and the number of pixels contained in this polygon increases, the processing of the pixel shader becomes a bottleneck, and the vertex shader frequently becomes idle.
  • both vertex and pixel shaders are often equipped with 4 SIMD FPUs, and the hardware scale is quite large. Nevertheless, one of the two idlers is idle, which means that the installed computing hardware is operating efficiently, meaning that unnecessary hardware is installed, It is equivalent to that. This is a major problem especially in fields where the hardware scale needs to be kept small, such as for embedded applications. In addition, power consumption increases as the gate size increases. [0015]
  • the present invention has been made to solve the above-described problems, eliminates the imbalance between the processing load of the vertex shader and the pixel shader, and efficiently processes the vertex shader and the pixel shader. An object is to obtain an image processing apparatus that can be executed. Disclosure of the invention
  • An image processing apparatus includes a cedar processor that sequentially executes vertex cedar processing and pixel ceaser processing, and pixel cedar processing based on data that has been subjected to vertices cedar processing by the cedar processor.
  • a rasterizer unit that generates pixel data necessary for the image processing, and a feedback loop that feeds back pixel data output from the rasterizer unit to the cedar processor as a target of the pixel cedar processing following the vertex cedar processing. Is.
  • a shader processor that sequentially executes the vertex shader process and the pixel shader process, and the data necessary for the pixel shader process based on the data subjected to the vertex shader process by the shader processor! Since the same processor is provided with a rasterizer unit that generates pixel data and a feedback loop that feeds back pixel data output from the rasterizer unit to the cedar processor as a target of the pixel cedar processing following the vertex cedar processing. Since the vertex shader process and the pixel shader process are executed sequentially, the unbalance of the processing load on the vertex shader and the pixel shader is eliminated, and the vertex seeder process and the pixel seeder process can be executed efficiently. is there.
  • FIG. 1 is a block diagram showing a configuration of an image processing apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a diagram for explaining the configuration and operation of a seeder core of an image processing apparatus according to Embodiment 2 of the present invention.
  • FIG. 3 is a diagram showing an example of 3D graphics processing by the image processing apparatus of the present invention.
  • FIG. 4 is a diagram showing an example of a program layout of a sierra core in the image processing apparatus of the present invention.
  • FIG. 5 is a diagram showing a computing unit configuration of a cedar core of an image processing apparatus according to Embodiment 3 of the present invention.
  • FIG. 6 is a diagram showing an example of an instruction format according to the third embodiment.
  • FIG. 7 is a block diagram showing a configuration of an image processing apparatus according to Embodiment 4 of the present invention.
  • FIG. 8 is a diagram showing a configuration of a conventional image processing apparatus shown in Non-Patent Document 1.
  • FIG. 1 is a block diagram showing a configuration of an image processing apparatus according to Embodiment 1 of the present invention.
  • the image processing apparatus according to the first embodiment includes a main storage device 1, a video memory 2, a cedar cache (cache memory) 3, an instruction cache (cache memory) 4, a pixel cache (cache memory) 5, a sida core 6, and a setup. It includes an engine 7, a rasterizer (rasterizer section) 8 and an early fragment test unit (fragment test section) 9.
  • the main memory device 1 includes geometry data 2a including vertex information that constitutes an image of an object to be drawn, light information such as illuminance of the light source (lighting calculation data), and the processor of the image processing device. It stores a sierra program 2b and a texture data 2c for functioning as the sierra core 6.
  • the video memory 2 is a storage device dedicated to image processing. In the image processing of the image processing device, the geometry data 2a, the shader program 2b, and the texture data 2c are transferred in advance from the main storage device 1. . Further, the video memory 2 is provided with a storage area in which pixel data subjected to final arithmetic processing from the pixel cache 5 is appropriately written, and is used as an area of the frame notifier 2d.
  • the video memory 2 and the main storage device 1 may be configured as the same memory.
  • the geometry data 2a and the texture data 2c are read from the video memory 2 and held in the shader cache (cache memory) 3.
  • the data stored in the cedar cache 3 is appropriately read out by the cyda core 6 and used for the processing when the cyda core 6 performs image processing.
  • the instruction cache (cache memory) 4 instructions necessary for operating the cedar core 6 are also read and stored in the coder program 2 b of the video memory 2.
  • the instruction of the sida program 2b is sent to the sida program through the instruction cache 4. It is read and executed by the sensor, and operates as the Sieder Core 6.
  • the destination data of the video memory 2 stored in the frame buffer 2 d is held and read out to the shader core 6, and the final pixel value subjected to the arithmetic processing is held. Written to frame buffer 2d.
  • the cedar core 6 is composed of one cyader processor that executes the instructions of the cyder program 2b read out via the instruction cache 4, and the data necessary for image processing via the cyder cache 3 and the pixel cache 5 , And both the processing related to the vertex shader and the processing related to the pixel shader are executed sequentially.
  • the setup engine 7 also calculates the increment information necessary for interpolation with the vertex information power of the primitive output from the sieder core 6.
  • the rasterizer (rasterizer unit) 8 decomposes the triangle determined by the vertex information into pixels while performing the inside / outside determination of the triangle, and performs the interpolation using the increment value calculated by the setup engine 7.
  • the early fragment test unit (fragment test unit) 9 is provided on a feedback loop between the rasterizer 8 and the sierra core 6, and the depth value of the pixel calculated by the rasterizer 8 and the depth of the destination data read from the pixel cache 5 are provided. The pixel value is compared, and it is determined whether or not the pixel value is fed back to the shader core 6 according to the comparison result.
  • geometry data 2a such as vertex information that constitutes the image of the object to be drawn and information about light from the light source, etc.
  • cyder program 2b and texture data 2c for operating the processor as the cedar core 6 are stored in the main memory. Transferred from device 1 to video memory 2 in advance.
  • the cedar core 6 reads out the geometry data 2a to be processed from the video memory 2 via the siesa cache 3, and performs vertex cedar processing such as geometric calculation processing and lighting calculation processing using the geometry data 2a. Execute. At this time, the seeder core 6 operates by reading the instruction of the shader program 2b related to the vertex shader from the video memory 2 via the instruction cache 4. Note that the instructions of the cedar program 2b are sequentially stored in the instruction cache 4 which is an external memory, so that the maximum number of steps of the instruction is limited. There is no.
  • the cedar core 6 executes force ring, viewport conversion, and primitive assembly processing following the vertex cedar processing, and outputs the vertex information of the primitive calculated as the processing result to the setup engine 7.
  • the force ring process is a process for discarding the back surface of a polyhedron such as a polygon defined by the vertex data from the drawing target.
  • Viewport conversion is a process of converting vertex data into a device coordinate system.
  • Primitive assembly is the process of reconstructing triangles that are connected in series like a strip or triangles that share a single vertex like a fan into independent triangles.
  • the processing other than the vertex seeder processing is sequentially executed by the seeder core 6, so that the fixed processing node and one door for executing the processing other than the vertex seeder processing can be omitted, and the processing is integrated. Can be executed.
  • the vertex information of the primitive output from the sierra core 6 is calculated, and the coordinate value and color information on the display screen of the pixels constituting the polygon are calculated, and the increment value is obtained.
  • the calculated increment value is output from the setup engine 7 to the rasterizer 8.
  • the rasterizer 8 decomposes the triangle determined by the vertex information into pixels while performing the inside / outside determination of the triangle, and performs interpolation using the increment value calculated by the setup engine 7 for the pixels in the triangle.
  • the inside / outside determination of a triangle is performed by, for example, evaluating a straight line equation representing a side of the triangle with respect to a pixel that can enter the inside of the triangle, and determining whether or not the target pixel is inside the side of the triangle. Is done.
  • the early fragment test unit 9 calculates the depth value of the pixel (source) that the rasterizer 8 calculates and the depth value in the destination data (display screen) of the previous pixel read from the pixel cache 5. And compare. At this time, if the comparison result is within a range where drawing is allowed, the pixel data which is to be drawn as having passed the test is fed back to the shader core 6 and the drawing process is executed. On the other hand, if the comparison result is outside the range that should be allowed to be drawn, it is not necessary to draw as the test has failed, so the pixel data is not output to the downstream core 6.
  • the cedar core 6 executes the process of the pixel sieder using the texture data 2c read out from the video memory 2 via the sieder cache 3 and the pixel value input from the early fragment test unit 9. .
  • the shader core 6 operates by reading an instruction of the shader program 2b related to the pixel shader from the video memory 2 via the instruction cache 4.
  • the shader core 6 reads the destination data from the frame buffer 2d via the pixel cache 5 and executes an alpha blend raster operation process.
  • the alpha blending process is a process of translucently combining two images using alpha values.
  • the raster operation process is an image superimposition process, and for example, a pixel to be rendered and a pixel of destination data serving as a background thereof are superimposed.
  • the processing other than the pixel seeder processing is sequentially executed by the seeder core 6, so that fixed processing nodeware for executing processing other than the pixel seeder processing can be omitted, and the processing can be executed in an integrated manner. .
  • the final pixel value calculated as described above is written from the shader core 6 to the frame buffer 2d via the pixel cache 5.
  • the cedar core 6 that executes the processing of the vertex sidder and the pixel shader sequentially. This is generated when two independent graphics processors are used for the vertex and pixel shaders as in the conventional case! /, And the processor idle state can be eliminated. . This can reduce power consumption and the hardware scale.
  • the configuration in which the early fragment test unit 9 is provided on the feedback loop between the rasterizer 8 and the shader core 6 has been described.
  • the function is provided to the shader core 6. So, you can omit the early fragment test unit 9.
  • Embodiment 2 uses a FIFO (First In First Out) for data transfer to the rasterizer power seeder core, thereby enabling prefetching from the rasterizer to the shader cache and the pixel cache.
  • FIFO First In First Out
  • FIG. 2 is a diagram for explaining the configuration and operation of the cedar core of the image processing apparatus according to the second embodiment of the present invention.
  • the FIF015 is provided between the early fragment test unit 9 that receives the output from the rasterizer 8 and the pixel shader 16.
  • the sierra core 6 is broken down into a vertex shader 13, a geometry shader 14, a pixel shader 16 and a sample shader 17!
  • the system consists of a single processor that integrates and executes the processing of these cascaders.
  • the resource 10a is used to execute the vertex seeder processing.
  • the geometry shader 14 uses the resource 10b to execute the geometry shader processing.
  • the pixel seeder 16 uses the resource 11 to perform pixel seeding processing.
  • resource 12 is used to execute sample seeder processing.
  • the resources 10a, 10b, 11, and 12 for example, internal registers such as a data register and an address register in the cedar processor, a program counter, and the like can be considered.
  • FIG. 2 the same or equivalent components as those in FIG.
  • FIG. 3 is a diagram showing an example of 3D graphics processing by the image processing apparatus of the present invention. Since the image processing apparatus according to the second embodiment has basically the same configuration as that of the first embodiment, the operation will be described below with reference to FIGS.
  • the vertex shader 13 reads vertex data from the video memory 2 via the shader cache 3 and performs vertex shading processing.
  • the resource 10a for the vertex shader 13 is used as an internal register (data register, address register, etc.) inside the processor core 6 and a resource such as a program counter.
  • the process proceeds to the geometry shader 14 process.
  • the geometry shader 14 has been described in the first embodiment. Viewport conversion, force ring processing, and primitive assembly processing are executed sequentially.
  • resources such as the internal register and program counter of the shader core 6 are switched from the resource 10a to the resource 10b for the geometry shader 14.
  • the geometry shader program can be executed independently of the exit status of the vertex shader program and can be described as a single program. It becomes.
  • the setup engine 7 calculates the coordinate information and color information on the display screen of the pixels constituting the polygon for the vertex information power of the primitive output from the sierra core 6 and the increment value is calculated. Desired .
  • the calculated increment value is output from the setup engine 7 to the rasterizer 8.
  • Rasterizer 8 decomposes the triangle determined by the vertex information into pixels while generating a triangle inside / outside determination (generates a fragment), and uses the increment value calculated by setup engine 7 for the pixels in the triangle. Interpolation is performed.
  • the pixel information calculated by the rasterizer 8 is output to the early fragment test unit 9.
  • the depth value of the pixel (fragment) to be drawn calculated by the rasterizer 8 is compared with the depth value in the destination data of the previous pixel read from the pixel cache 5. .
  • the comparison result is within the range that should allow drawing, the pixel data that was to be drawn as having passed the test is output to FIF015.
  • the comparison result is outside the range that should allow drawing, the pixel data is not output to the FIF015 in the subsequent stage because it is not necessary to draw as a test failure.
  • the rasterizer 8 outputs the XY coordinate value of the pixel output to the FIF 015 to the pixel cache 5 as a pixel prefetch address.
  • the pixel cache 5 prefetches pixel data based on the coordinates. In this way, when desired pixel data written in the frame buffer 2d is used later, data can be read and written in the pixel cache 5 without causing a miss hit.
  • the rasterizer 8 uses the texture coordinate value as the texture prefetch address. Output to order cache 3. Shader cache 3 pre-fetches the texel data based on the coordinates.
  • the pixel shader 16 uses the pixel information read from the FIF 015 and the texel data read from the shader cache 3 to perform operations related to the pixel shading process.
  • the resource 11 for the pixel shader 16 is used as a resource of the shader mouth setr such as an internal register and a program counter.
  • the sample shader 17 sequentially executes anti-aliasing processing, fragment test processing, pre-rendering processing, and dither processing based on the calculation result by the pixel shader 16.
  • the resources of the sierra processor such as the internal register and the program power counter are switched from the resource 11 to the resource 12 for the sample cipher 17.
  • the sample shader program is executed without depending on the end state of the pixel shader program, and as a single program. It can be described.
  • the anti-aliasing process is a process of calculating a coverage value to make the edge jaggy look smooth.
  • the blending process performs translucent processing such as alpha blending.
  • the dither process is a process for dithering when there are few color bits.
  • the fragment test process is a process for determining whether or not the pixel obtained as a fragment to be drawn should be drawn, and includes an alpha test, a depth test (hidden surface removal), and a stencil test. In these processes, when the destination data of the frame buffer 2d is necessary, pixel data (color value, depth value, stencil value) is read by the sample shader 17 via the pixel cache 5.
  • the alpha test the alpha value of the pixel (fragment) to be written and the reference
  • the alpha value of the pixel read out from the pixel cache 5 serving as an instance is compared, and whether or not to draw is determined according to the designated comparison function.
  • the depth test hidden surface removal
  • the stencil test is a process of comparing the stencil value of the pixel (fragment) to be written with the stencil value of the pixel read from the reference pixel cache 5 and determining whether or not drawing is performed according to the comparison function.
  • the pixel data calculated by the sample shader 17 is written to the pixel cache 5 and is written to the frame buffer 2 d of the video memory 2 via the pixel cache 5.
  • vertex shader 13 and the pixel shader 16 can be described by an application programmer, the processing of the geometry shader 14 and the sample shader 17 is a fixed process written on the device driver side. So there are many cases that are not open to application programmers.
  • each cedar process is executed using a unique resource, so that each seda program manages each other's resources. Therefore, it is possible to efficiently execute a plurality of processing programs on one processor.
  • the pixel information is stored in the FIFO 15 and the pixel and texel data are prefetched by the pixel cache 5 and the cipher cache 3.
  • the data is prepared in advance in the pixel cache 5 and the shader cache 3, and a delay due to the waiting time does not occur. In other words, read latency from the cache can be minimized.
  • FIG. 4 is a diagram showing an example of the program layout of the coder core in the image processing apparatus of the present invention.
  • the vertex shader program, the geometry program, the pixel shader program, and the sample program program are also shown in FIG. Composed. These programs correspond to the vertex shader 13, the geometry shader 14, the pixel shader 16, and the sample shader 17 in FIG. In addition, these programs need not be arranged in order, and may be randomly arranged at an arbitrary address.
  • the vertex shader program its execution is started from the instruction indicated by the program counter A.
  • the program counter switches from program counter A to program counter B, and the geometry program instruction specified by program counter B is executed.
  • the pixel counter program instruction and the sample cipher program instruction are executed sequentially by switching the program counter.
  • the vertex shader program and the geometry program are processed in units of primitives.
  • the pixel shader program and the sample shader program are processed in units of pixels. For this reason, for example, while a pixel (fragment) included in a triangle is generated, the pixel shader program and the sample shader program force are repeatedly executed for the number of pixels. That is, it is executed while switching between the program counter C and the program counter D. When all of the pixels included in the triangle have been processed, the program counter switches to program counter A again, and the top tier program for the next vertex is executed.
  • the sieder program stored in an arbitrary address can be executed on one processor. It is also possible to prepare a plurality of cipher programs in advance, and select and execute these cipher programs as appropriate according to the request from the application or the drawing mode.
  • the arithmetic unit configuration and the instruction set of the cedar core are dynamically reconfigured so that processing can be efficiently performed with the optimal arithmetic unit configuration for each cedar program.
  • FIG. 5 is a diagram showing a computing unit configuration of the cedar core of the image processing apparatus according to Embodiment 3 of the present invention.
  • the sierra core 6 according to the third embodiment includes an input register 18a to 18d, a crossover switch 19, a register file 20 to 24, a product-sum operation unit (operation unit) 25 to 28, and a scalar operation unit (operation unit) 29. , Output registers 30 to 34, fp32 instruction decoder (instruction decoder) 35, fp 16 instruction decoder (instruction decoder) 36, and sequencer 37.
  • the input registers 18a, 18b, 18c, and 18d include, for example, a pixel position coordinate processing unit.
  • the pixel position coordinates X, Y, Z, and W output from other image blocks are stored.
  • color data R, G, B, A are stored in the input registers 18a, 18b, 18c, 18d, respectively.
  • the texture coordinates S, T, R, and Q are the data held in the input registers 18a, 18b, 18c, and 18d, respectively.
  • Arbitrary scalar data may also be stored.
  • the cross burst 19 is a component of the data from the input registers 18 a to 18 d and the output from the sum-of-products calculator 25 to 28 and the scalar calculator 29. Is selected arbitrarily and output to register files 20 to 24, respectively.
  • the register files 20 to 23 store data other than the scalar data of the input register 18a to 18d selected by the cross-burst switch 19 and the output of the sum of products calculators 25 to 28. Is done.
  • the register file 24 stores the scalar data from the input cache 18a to 18d selected by the crossover switch 19 and the output value from the scalar calculator 29.
  • the product-sum operation units 25 to 28 execute product-sum operation processing on the data input from the register files 20 to 23, and output the operation results to the output registers 30 to 33, respectively.
  • the product-sum calculators 25-28 it is possible to perform arithmetic processing in 4-SIMD format. In other words, vertex position coordinates (X, Y, Z, W) can be processed at once.
  • the scalar calculator 29 executes scalar calculation processing on the scalar data (denoted as Sa and Sb in the figure) input to the register file 24, and the calculation result is output to the output register 34.
  • the scalar operation by the scalar operator 29 is a special operation such as division, power, sinZcos, which is an operation process other than sum of products.
  • the output registers 30 to 34 temporarily store the calculation results of the calculator and output them to the pixel cache 5 or the setup engine 7.
  • the product-sum calculator 25 includes a distributor 25 a, two pseudo 16-bit calculators (indicated as a pseudo fpl6 calculator in the figure) (arithmetic unit) 25b, 16-32 bit conversion calculator (in the figure, f P16 ⁇ 32 Conversion calculator) (Conversion unit) 25c It is comprised including.
  • the distributor 25a divides the operation data in the 32-bit format into two 16-bit format data in the upper Z lower order. And output to two pseudo 16-bit arithmetic units 25b.
  • the fp32 instruction decoder 35 decodes an instruction code for operating in 4 SIMD (Single Instruction / Multiple Data) using a 32-bit floating point format.
  • the fpl6 instruction decoder decodes the instruction code for operation with 8-SIMD using the 16-bit floating point format.
  • the sequencer 37 sends control signals to the cross burst 19, register files 20 to 24, product-sum calculators 25 to 28, and scalar calculator 29. Is output.
  • instruction code read from instruction cache 4 is an instruction code (fp32 instruction) to operate with 4 SIMD using the 32-bit floating-point format
  • fp3 2 instruction decoder 35 decodes the instruction code
  • a request corresponding to the instruction is output to the sequencer 37.
  • the instruction code read from the instruction cache 4 is an instruction code (fpl6 instruction) for operating in 8-SIMD using the 16-bit floating-point format
  • the fpl6 instruction decoder 36 stores the instruction code. Decodes and outputs a request according to the instruction to sequencer 37.
  • the sequencer 37 sends a cross burst 19, a register file 20 to 24, a sum-of-products calculator 25 to 28, and a scalar calculator 29.
  • a control signal is output.
  • the position coordinates (Xa, Ya, Za, Wa) and the position coordinate force (Xb, Yb, Zb, Wb) were output from the input registers 18a, 18b, 18c, 18d to the cross burst 19 Shall.
  • the sequencer 37 outputs a control signal to the cross switch 19 and these position coordinates (Xa, Ya, Za, Wa), ( Xb, Yb, Zb, Wb) are output to register files 20-23, respectively.
  • the sequencer 37 controls the register files 20 to 23 to output data corresponding to the 16-bit addition operation mode or the 32-bit addition operation mode to the product-sum operation units 25 to 28.
  • the register file 20 outputs the 32-bit format coordinate values Xa and Xb to the product-sum operation unit 25.
  • the register file 20 in the 16-bit addition operation mode, the register file 20 generates data XOa, Xla, XOb, Xlb by dividing the coordinate values Xa, Xb in 32-bit format into the upper Z lower 16-bit format. And output to the product-sum calculator 25.
  • the distributor 25a outputs the data XOa, XOb among the XOa, Xla, XOb, Xlb input from the register file 20 to one pseudo 16-bit arithmetic unit 25b.
  • the data Xla and Xlb are output to the other pseudo 16-bit arithmetic unit 25b.
  • the distributor 25a divides the coordinate values Xa and Xb in the 32-bit format into two 16-bit format formats in the upper and lower Z, and two pseudo 16-bit arithmetic units 25b Respectively.
  • the two pseudo 16-bit arithmetic units 25b perform addition operation on the input data and output to the 16-32 bit conversion arithmetic unit 25c.
  • the product-sum calculators 26, 27, 28 and the scalar calculator 29 are also processed in the same manner.
  • the calculator configuration can be reconfigured according to the calculation format, and calculations with different calculation formats can be executed efficiently. For example, by dynamically switching between fp32 and fpl6 instructions, 4-SIMD 32-bit floating point operations and 8-SIMD 16-bit floating point operations can be executed separately.
  • vertex shader processing is often performed in a 32-bit floating point format
  • pixel shader processing is often performed in a 16-bit floating point format. Therefore, if the vertex shader process is executed with the fp32 instruction and the pixel seeder process is executed with the fp 16 instruction, these processes can be executed as a series of processes. This makes it possible to make maximum use of the hardware computation resources necessary for executing the vertex shader processing and the pixel shader processing, and also reduces the instruction word length.
  • the 4x4 matrix operation is frequently used in the vertex seeder processing, and the linear interpolation operation necessary for the filter processing or the like tends to be frequently used in the pixel seeder processing.
  • MOO to M33 are each element of 4 X 4 matrix.
  • the fp32 instruction decoder 35 that decodes the instruction code that specifies the arithmetic processing in the 32-bit arithmetic format, and the 16-bit arithmetic format. It has an fpl6 instruction decoder 36 that decodes instruction codes that specify arithmetic processing, two pseudo 16-bit arithmetic units 25b, and a 16- to 32-bit conversion arithmetic unit 25c that converts arithmetic formats from 16 bits to 32 bits.
  • the Sieder Core 6 is configured. This makes it possible to efficiently execute operations with different operation formats. In addition, optimal processing can be efficiently executed on the same hardware. In addition, by dynamically changing the instruction format, an optimal instruction set can be selected according to the graphics API to be handled.
  • the fourth embodiment is a main configuration of the image processing apparatus shown in the first to third embodiments.
  • the image processing performance is improved by operating multiple generators in parallel as an integrated sierra pipeline.
  • FIG. 7 is a diagram showing a configuration of an image processing apparatus according to Embodiment 4 of the present invention.
  • the integrated sierra pipelines 39— 0, 39- 1, 39- 2, 39- 3,... are arranged in parallel, with the sierra cache 3, the sierra core 6, the setup engine 7, and the rasterizer. 8 and early fragment test unit 9
  • the basic operation of these components is the same as that described in the first embodiment.
  • the shader cache 3 also has the function of the pixel cache 5 shown in the first embodiment, and stores the pixel data finally obtained by the calculation by the shader core 6.
  • the video memory 2A is provided in common to the integrated cedar pipeline 39-0, 39-1, 39-3, 39-3,.
  • the command data distributor 38 reads the vertex data of the instruction data of the shader program stored in the video memory 2A, and each integrated shader pipeline 39— 0, 39- 1, 39- 2, 39- 3, ⁇ ⁇ ⁇ Distribute to Sieda Core 6 Revenor 2 cache 40 ⁇ , each integrated sidano pipeline 39— 0, 39- 1, 39— 2, 39— 3, ...
  • geometry data such as vertex information constituting the image of the object to be rendered and information about the light from the light source, and the main memory (not shown) are the sierra program and the texture data for operating the processor as the sierra core 6.
  • the device power is also transferred to the video memory 2 ⁇ ⁇ ⁇ in advance.
  • the command data distributor 38 reads out the vertex data contained in the scene stored in the video memory 2 ⁇ , breaks it into units such as a triangle strip and a triangle fan, and combines with the instruction code (command) of the shader program.
  • the command data distributor 38 transfers it to the next idle integrated sierra pipeline.
  • the Sieda Core 6 of each integrated Sieder pipeline can perform geometric calculation processing and lighting using geometric data.
  • the vertex shader process such as an arithmetic process is executed.
  • the sierra core 6 executes the force ring, viewport conversion, and primitive assembling processing subsequent to the vertex sierra processing, and calculates the processing result.
  • the vertex information of the selected primitive is output to setup engine 7.
  • the vertex information of the primitive output from the sierra core 6 is calculated, and the coordinate value and color information on the display screen of the pixels constituting the polygon are calculated, and the increment value is obtained.
  • the rasterizer 8 decomposes the triangle determined by the vertex information into pixels while performing the inside / outside determination of the triangle, and performs interpolation using the increment value calculated by the setup engine 7 for the pixels in the triangle.
  • the early fragment test unit 9 calculates the depth value of the pixel (source) that the rasterizer 8 calculates and the depth value in the destination data (display screen) of the previous pixel read from the pixel cache 5. And compare. At this time, if the comparison result is within a range where drawing is permitted, the pixel data which is to be drawn as having passed the test is fed back to the shader core 6 and the drawing process is continued. On the other hand, if the comparison result is outside the range that should be allowed to be drawn, it is not necessary to draw as the test has failed, so the pixel data is not output to the downstream core 6.
  • the command data distributor 38 also reads the texture data from the video memory 2A, and includes the instruction code of the shader program related to the pixel shader, along with the integrated shader pipeline 39-0, 39-1, 39- Transfer to each Sieder Core 6 of 2, 39-3,.
  • the processing of the pixel shader is executed using the pixel information from the command data distributor 38 and the pixel information input from the early fragment test unit 9.
  • the seeder core 6 reads the destination data from the frame buffer of the video memory 2A by the command data distributor 38 following the pixel seeder processing, and executes alpha blending and raster operation processing.
  • Integrated Sierra Pipeline 39— 0, 39- 1, 39- 2, 39- 3, ... Stores the final pixel data calculated for each integrated shader pipeline in the shader cache 3 temporarily. Thereafter, the final pixel data operation value is written from the shader cache 3 to the level 2 cache 40. Then, the pixel data is transferred to the frame buffer area of the video memory 2A via the level 2 cache 40.
  • a plurality of integrated shader pipelines that integrate and execute the vertex shader processing and the pixel shader processing are arranged in parallel, and each integrated shader pipe is arranged. Since the command data distributor 38 that distributes commands and processing target data to the line is provided, parallel processing is possible using a multi-threaded integrated shader pipeline. It is possible to improve the throughput of order processing. In addition, by changing the number of integrated sierra pipelines arranged in parallel according to the purpose, it is possible to flexibly support a wide range of applications from the embedded field where the hardware scale is limited to the high end. Industrial applicability
  • the image processing apparatus that eliminates the imbalance between the processing loads of the vertex shader and the pixel shader and efficiently executes the processing is a 3D computer graphic or the like on the display screen.
  • This is an image processing device that displays images of the above, and is particularly suitable for use in portable terminal devices that require a small hardware scale for use in installation.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)

Abstract

頂点シェーダ処理とピクセルシェーダ処理を逐次実行するシェーダプロセッサと、シェーダプロセッサにより頂点シェーダ処理されたデータに基づいて、ピクセルシェーダ処理に必要なピクセルデータを生成するラスタライザ部と、ラスタライザ部から出力されたピクセルデータを、頂点シェーダ処理に引き続くピクセルシェーダ処理の対象としてシェーダプロセッサにフィードバックするフィードバックループとを備える。

Description

明 細 書
画像処理装置
技術分野
[0001] この発明は、表示画面上にコンピュータグラフィックス画像を表示する画像処理装 置に係り、特に頂点のジォメトリ処理とピクセルの描画処理をプログラマブルに実行 する画像処理装置に関するものである。
背景技術
[0002] 一般に、 3Dグラフィクスの処理は、座標変換やライティング計算などを行なうジオメ トリ処理と、三角形などをピクセルに分解してテクスチャマッピングなどを施してフレー ムバッファへ描画するレンダリング処理とに分類できる。近年、 API (Application P rogramming Interfaces)で予め決められた古典的なジオメトリ処理やレンダリング 処理を用いるのではなぐプログラマブルなグラフィクスアルゴリズムによるフォトリアル な表現手法が用いられるようになつてきた。この手法の一つとして、頂点シエーダとピ クセルシェーダ (フラグメントシエーダとも呼ばれる）がある。これら頂点シエーダ及び ピクセルシエーダを搭載するグラフィクスプロセッサには、例えば非特許文献 1に示す ようなものがある。
[0003] 頂点シエーダは、例えばアセンブリ言語や高レベルのシェーディング言語によりプ ログラムされる画像処理プログラムであり、アプリケーションプログラマ自身のアルゴリ ズムをノヽードウエアでァクセラレーシヨンすることができる。また、頂点シエーダでは、 モデリングデータを変えることなぐ頂点データに対して移動、変形、回転、ライティン グ処理などを自由にカ卩えることができる。これにより、 3Dモーフイング、屈折エフェクト 、スキニング（関節などの頂点の不連続部分を滑らかに表現する)などが可能となり、 CPUに負荷をかけずにリアリスティックな表現が可能である。
[0004] ピクセルシエーダは、ピクセル単位でプログラマブルなピクセル演算をするためのも のであり、頂点シエーダと同様にアセンブリ言語や高レベルのシェーディング言語を 用いてプログラムする。これにより、ピクセルシエーダでは、テクスチャデータとして法 線ベクトルを用いてピクセル単位でライティング処理を行なったり、テクスチャデータと して摂動データを用いてバンプマップを行なうなどの処理が可能となる。
[0005] また、ピクセルシエーダは、テクスチャアドレスの計算手法を変えるだけでなぐテク スチヤカラーとピクセルのブレンド演算もプログラマブルに行なうことができる。これに より、階調反転、色空間の変換などの画像処理も可能である。一般的に、頂点シエー ダとピクセルシエーダは組み合わせて用いられ、頂点処理とピクセル処理を組み合わ せることにより多彩な表現が可能となる。
[0006] 頂点シエーダゃピクセルシエーダには、 4 SIMD形式の演算ハードウェアや DSP のような特殊プロセッサが用いられることが多ぐ位置座標 [X, y, z, w]、カラー [r, g , b, a]、テクスチャ座標 [s, t, p, q]などの各 4要素が並列に演算処理される。演算 フォーマットとしては、 32ビット浮動小数点 (符号:指数:仮数 = 1 : 8 : 23)や 16ビット 浮動小数点 (符号:指数:仮数 = 1： 5： 15)が使用される。
[0007] ^^特千文献 1 : Cemし ebenoyan and Matthias Wlo a, Optimizing the Graphics Pipeli ne", GDC 2003 NVIDIA presentation.
[0008] 頂点シ ーダの処理に要する時間は、頂点演算の手法や光源の数などの影響を 受ける。例えば、ディスプレイスメント 'マッピングにより頂点の位置情報に変換をカロえ たり、光源の数が多くなると頂点処理に力かる時間が大きくなる。一方、ピクセルシヱ ーダでの処理時間は、そのプリミティブに含まれるピクセル数やピクセルシエーダ演 算の複雑度の影響を受ける。例えば、ポリゴンに含まれるピクセルの数が多力つたり、 ピクセルシエーダの中でサンプルするテクスチャ数が多 、と、処理に要する時間が大 きくなる。
[0009] 図 8は、非特許文献 1に示される従来の画像処理装置の構成を示す図であり、一例 として頂点シエーダとピクセルシエーダを搭載するグラフィクスプロセッサを示している 。当該グラフィックスプロセッサにおいて、描画処理に先立ち、ビデオメモリ 101には、 システムメモリ 100からジオメトリデータ (物体を構成する頂点情報や光源の情報など ) 101a,コマンド 101b、テクスチャデータ 101cが予め転送されているものとする。ま た、ビデオメモリ 101には、フレームバッファ 101dとしての記憶領域も設けられる。
[0010] 頂点シヱーダ 104は、前段 T&Lキャッシュ 102から必要な頂点情報を読み出して 幾何学演算処理を行い、演算結果を後段 T&Lキャッシュ 105へ書き込む。三角形 セットアップ 106は、後段 T&Lキャッシュ 105に書き込まれた演算結果から 3個の頂 点データを読み出して描画処理に必要な増分値などの計算を行う。ラスタライザ 107 は、その増分値を用いてピクセルの補間処理を行ない、三角形をピクセルに分解す る。
[0011] フラグメントシエーダ 108は、ラスタライザ 107で生成されたテクスチャ座標を使って テクスチャキャッシュ 103からテクセルデータを読み出し、読み出したテクセルデータ とカラーデータのブレンド処理などを行なう。最後に、ビデオメモリ 101のフレームバッ ファ 101dとの間で論理演算（ラスターオペレーション)などを行い、最終カラーをフレ ームバッファ 101dへ書き込む。
[0012] 図 8に示したような従来の画像処理装置の構成では、頂点シエーダとピクセルシェ ーダとが独立したプロセッサとして実装される。ここで、頂点シエーダとピクセルシエー ダの処理のバランスがとれているときは、効率よくパイプライン処理される。しかしなが ら、例えば小さなポリゴンであって、これに含まれるピクセル数が少ない画像データで あると、ピクセルシエーダ処理に対して頂点シエーダの処理がボトルネックとなり、ピク セルシェーダが頻繁にアイドル状態となってしまう。逆に、大きなポリゴンであって、こ れに含まれるピクセル数が多くなると、ピクセルシエーダの処理がボトルネックとなり、 頂点シエーダが頻繁にアイドル状態となってしまう。
[0013] 一般のアプリケーションでは、この頂点処理とピクセル処理の関係がアンバランスで 、処理の負荷がどちらか一方に偏る傾向が高い。例えば、携帯電話向けアプリケー シヨンにぉ 、て、頂点処理とピクセル処理をパイプライン処理させた場合とさせな 、場 合を比較したところ、処理性能が約 10%しか向上しな力つたという報告もある。
[0014] さらに、頂点シエーダもピクセルシエーダも 4 SIMD形式の FPUを搭載しているこ とが多ぐハードウェア規模はかなり大きい。それにもかかわらず、どちらか一方のシ エーダがアイドル状態になるということは搭載された演算ハードウェアが効率的に動 作して 、な 、ことを意味し、無駄なハードウェアを搭載して 、ることと等価になってし まう。これは、特に組み込み向け用途などでハードウェア規模を小さく抑える必要が ある分野において大きな問題となる。また、ゲート規模が増加すると消費電力も増加 してしまう。 [0015] この発明は、上記のような課題を解決するためになされたもので、頂点シエーダとピ クセルシェーダの処理負荷のアンバランスを解消し、頂点シエーダとピクセルシエー ダの処理を効率よく実行することができる画像処理装置を得ることを目的とする。 発明の開示
[0016] この発明に係る画像処理装置は、頂点シエーダ処理とピクセルシエーダ処理を逐 次実行するシエーダプロセッサと、シエーダプロセッサにより頂点シエーダ処理された データに基づ 、て、ピクセルシエーダ処理に必要なピクセルデータを生成するラスタ ライザ部と、ラスタライザ部から出力されたピクセルデータを、頂点シ ーダ処理に引 き続くピクセルシエーダ処理の対象としてシエーダプロセッサにフィードバックするフィ ードバックループとを備えるものである。
[0017] この発明によれば、頂点シエーダ処理とピクセルシエーダ処理を逐次実行するシェ ーダプロセッサと、シエーダプロセッサにより頂点シエーダ処理されたデータに基づ!/ヽ て、ピクセルシエーダ処理に必要なピクセルデータを生成するラスタライザ部と、ラス タライザ部から出力されたピクセルデータを、頂点シ ーダ処理に引き続くピクセルシ エーダ処理の対象としてシエーダプロセッサにフィードバックするフィードバックルー プとを備えるので、同一のプロセッサにより頂点シエーダ処理とピクセルシエーダ処理 が逐次実行されることから、頂点シエーダとピクセルシエーダの処理負荷のアンバラ ンスが解消され、頂点シヱーダ処理とピクセルシヱーダ処理を効率よく実行することが できるという効果がある。
図面の簡単な説明
[0018] [図 1]この発明の実施の形態 1による画像処理装置の構成を示すブロック図である。
[図 2]この発明の実施の形態 2による画像処理装置のシヱーダコアの構成及びその 動作を説明するための図である。
[図 3]本発明の画像処理装置による 3Dグラフィックス処理の一例を示す図である。
[図 4]本発明の画像処理装置におけるシエーダコアのプログラム配置の一例を示す 図である。
[図 5]この発明の実施の形態 3による画像処理装置のシエーダコアの演算器構成を 示す図である。 [図 6]実施の形態 3による命令フォーマットの例を示す図である。
[図 7]この発明の実施の形態 4による画像処理装置の構成を示すブロック図である。
[図 8]非特許文献 1に示される従来の画像処理装置の構成を示す図である。
発明を実施するための最良の形態
[0019] 以下、この発明をより詳細に説明するために、この発明を実施するための最良の形 態について、添付の図面に従って説明する。
実施の形態 1.
図 1は、この発明の実施の形態 1による画像処理装置の構成を示すブロック図であ る。本実施の形態 1による画像処理装置は、主記憶装置 1、ビデオメモリ 2、シヱーダ キャッシュ（キャッシュメモリ） 3、命令キャッシュ（キャッシュメモリ） 4、ピクセルキヤッシ ュ（キャッシュメモリ） 5、シエーダコア 6、セットアップエンジン 7、ラスタライザ（ラスタライ ザ部） 8及び早期フラグメントテストユニット (フラグメントテスト部） 9を含んで構成され る。主記憶装置 1は、描画処理の対象となる物体等の画像を構成する頂点情報や光 源の照度等の光に関する情報 (ライティング計算用データ）を含むジオメトリデータ 2a 、本画像処理装置のプロセッサをシエーダコア 6として機能させるためのシエーダプロ グラム 2b、及びテクスチャデータ 2cを記憶する。
[0020] ビデオメモリ 2は、画像処理専用の記憶装置であり、本画像処理装置の画像処理に あたり、主記憶装置 1からジオメトリデータ 2a、シエーダプログラム 2b、テクスチャデー タ 2cが予め転送される。また、ビデオメモリ 2には、ピクセルキャッシュ 5から最終的な 演算処理が施されたピクセルデータが適宜書き込まれる記憶領域が設けられ、フレ 一ムノッファ 2dの領域として使用される。なお、ビデオメモリ 2と主記憶装置 1とは同 一メモリとして構成してもよ 、。
[0021] シエーダキャッシュ（キャッシュメモリ） 3には、ジオメトリデータ 2aやテクスチャデータ 2cがビデオメモリ 2から読み出されて保持される。このシエーダキャッシュ 3の記憶デ ータは、シエーダコア 6による画像処理に際し、シエーダコア 6に適宜読み出されてそ の処理に利用される。命令キャッシュ（キャッシュメモリ） 4には、シエーダコア 6を動作 させるために必要な命令がビデオメモリ 2のシエーダプログラム 2b力も読み出されて 保持される。シエーダプログラム 2bの命令は、命令キャッシュ 4を介してシエーダプロ セッサに読み出されて実行され、シエーダコア 6として動作する。ピクセルキャッシュ（ キャッシュメモリ） 5では、フレームバッファ 2dに記憶されたビデオメモリ 2のデイスティ ネーシヨンデータが保持されてシエーダコア 6に読み出され、演算処理が施された最 終のピクセル値が保持されてフレームバッファ 2dに書き込まれる。
[0022] シエーダコア 6は、命令キャッシュ 4を介して読み出されるシエーダプログラム 2bの 命令を実行する一つのシエーダプロセッサにより構成され、シエーダキャッシュ 3及び ピクセルキャッシュ 5を介して画像処理に必要なデータを読み出して頂点シエーダに 関する処理とピクセルシエーダに関する処理の双方をシーケンシャルに実行する。セ ットアップエンジン 7は、シエーダコア 6から出力されるプリミティブの頂点情報力もイン ターポーレーシヨンに必要な増分値を算出する。
[0023] ラスタライザ (ラスタライザ部） 8は、三角形の内外判定を行いながら頂点情報により 決定される三角形をピクセルに分解し、セットアップエンジン 7により算出された増分 値を用いてインターポーレーシヨンを行う。早期フラグメントテストユニット (フラグメント テスト部） 9は、ラスタライザ 8とシエーダコア 6との間のフィードバックループ上に設け られ、ラスタライザ 8が算出したピクセルのデプス値とピクセルキャッシュ 5から読み出 したデスティネーションデータのデプス値とを比較し、比較結果に応じてピクセル値を シエーダコア 6にフィードバックするか否かを判定する。
[0024] 次に動作について説明する。
描画処理にあたり、描画対象の物体の画像を構成する頂点情報や光源からの光に 関する情報等のジオメトリデータ 2a、シエーダコア 6としてプロセッサを動作させるた めのシエーダプログラム 2b、テクスチャデータ 2cが主記憶装置 1からビデオメモリ 2に 予め転送される。
[0025] シエーダコア 6は、シエーダキャッシュ 3を介してビデオメモリ 2から処理対象のジオメ トリデータ 2aを読み出して、ジォメトリデータ 2aを用いた幾何学演算処理やライティン グ演算処理等の頂点シヱーダの処理を実行する。このとき、シヱーダコア 6は、命令 キャッシュ 4を介してビデオメモリ 2から頂点シエーダに関するシエーダプログラム 2b の命令を読み込んで動作する。なお、シエーダプログラム 2bの命令は、外部メモリで ある命令キャッシュ 4に逐次格納されるので、命令の最大ステップ数が制限されること はない。
[0026] 次に、シエーダコア 6は、頂点シエーダ処理に引き続き、力リング、ビューポート変換 、プリミティブの組み立て処理を実行し、処理結果として算出されたプリミティブの頂 点情報をセットアップエンジン 7に出力する。なお、力リング処理とは、頂点データによ り規定されるポリゴン等の多面体の裏面を描画対象から破棄する処理である。ビュー ポート変換は、頂点データをデバイス座標系へ変換する処理である。また、プリミティ ブの組み立ては、ストリップのように一連に結合された三角形やファンのように一つの 頂点を共有する三角形等を独立の三角形に再構成する処理である。
[0027] このように、頂点シヱーダ処理以外の処理もシヱーダコア 6が逐次実行することで、 頂点シ ーダ処理以外の処理を実行する固定処理ノ、一ドウ アを省略でき、統合的 に処理を実行することができる。
[0028] セットアップエンジン 7では、シエーダコア 6から出力されるプリミティブの頂点情報 力 ポリゴンを構成するピクセルの表示画面上での座標値や色情報を算出し、その 増分値を求める。算出された増分値は、セットアップエンジン 7からラスタライザ 8に出 力される。ラスタライザ 8は、三角形の内外判定を行いながら頂点情報により決定され る三角形をピクセルに分解し、三角形内のピクセルに対しセットアップエンジン 7によ り算出された増分値を用いてインターポーレーシヨンを行う。三角形の内外判定は、 例えば三角形内部に入り得るピクセルに対して三角形の辺を表す直線の方程式を 評価し、三角形の辺の内側に対象とするピクセルが入って 、るか否かを判定すること により行われる。
[0029] 早期フラグメントテストユニット 9は、ラスタライザ 8が算出した今力も描画しょうとする ピクセル（ソース）のデプス値と、ピクセルキャッシュ 5から読み出した以前のピクセル のデスティネーションデータ（表示画面）におけるデプス値とを比較する。このとき、比 較結果が描画を許容すべき範囲内にあれば、テストに合格したものとして描画しょう としていたピクセルデータをシエーダコア 6にフィードバックして描画処理を実行する。 一方、比較結果が描画を許容すべき範囲外である場合は、テストに失敗したものとし て描画する必要がないことから、当該ピクセルデータを後段のシヱーダコア 6に出力 しない。 [0030] 続いて、シエーダコア 6は、シエーダキャッシュ 3を介してビデオメモリ 2から読み出し たテクスチャデータ 2cと、早期フラグメントテストユニット 9から入力したピクセル値とを 用いてピクセルシエーダの処理を実行する。このとき、シエーダコア 6は、命令キヤッシ ュ 4を介してビデオメモリ 2からピクセルシエーダに関するシエーダプログラム 2bの命 令を読み込んで動作する。
[0031] 次に、シエーダコア 6は、ピクセルシエーダの処理に引き続き、ピクセルキャッシュ 5 を介してフレームバッファ 2dからデスティネーションデータを読み込んでアルファブレ ンドゃラスタオペレーション処理を実行する。なお、アルファブレンド処理とは、二つ の画像をアルファ値を用いて半透明合成する処理である。また、ラスタオペレーション 処理とは、画像の重ね合わせ処理であり、例えば描画対象のピクセルとこれの背景と なるディスティネーションデータのピクセルとを重ね合わせる。
[0032] このように、ピクセルシヱーダ処理以外の処理もシヱーダコア 6が逐次実行すること で、ピクセルシエーダ処理以外の処理を実行する固定処理ノヽードウエアを省略でき、 統合的に処理を実行することができる。上述のようにして演算された最終的なピクセ ル値は、シエーダコア 6からピクセルキャッシュ 5を介してフレームバッファ 2dへ書き込 まれる。
[0033] 以上のように、この実施の形態 1によれば、ラスタライザ 8からの出力をシエーダプロ セッサにフィードバックするフィードバックループを設けることにより、頂点シヱーダとピ クセルシェーダの処理をシーケンシャルに実行するシエーダコア 6を一つのシエーダ プロセッサ力 構成したので、従来のように頂点シエーダとピクセルシエーダに独立し た 2つのグラフィックスプロセッサを用いた場合に発生して!/、たプロセッサのアイドル 状態をなくすことができる。これにより、消費電力を低減でき、ハードウ ア規模も削減 することができる。
[0034] なお、上記実施の形態 1では、早期フラグメントテストユニット 9をラスタライザ 8とシェ ーダコア 6との間のフィードバックループ上に設けた構成を説明したが、その機能をシ エーダコア 6に持たせることで、早期フラグメントテストユニット 9を省略した構成にして ちょい。
[0035] 実施の形態 2. 本実施の形態 2は、ラスタライザ力 シヱーダコアへのデータ転送に FIFO (First I n First Out)を用いることにより、ラスタライザからシエーダキャッシュやピクセルキ ャッシュへのプリフェッチを行えるようにしたものである。
[0036] 図 2は、この発明の実施の形態 2による画像処理装置のシエーダコアの構成及びそ の動作を説明するための図である。本画像処理装置は、上記実施の形態 1の構成に おいて、ラスタライザ 8からの出力を受ける早期フラグメントテストユニット 9とピクセル シエーダ 16との間に FIF015が設けられている。また、図において、シエーダコア 6は 、その機能を説明するため、頂点シエーダ 13、ジオメトリシエーダ 14、ピクセルシエー ダ 16及びサンプルシエーダ 17に分解して記載して!/ヽるが、実際にはこれらのシエー ダの処理を統合して実行する一つのシエーダプロセッサにより構成される。
[0037] 頂点シ ーダ 13ではリソース 10aが使用されて頂点シ ーダ処理が実行される。ま た、ジオメトリシェーダ 14ではリソース 10bが使用されてジオメトリシェーダ処理が実行 される。さらに、ピクセルシヱーダ 16ではリソース 11が使用されてピクセルシヱーダ処 理が実行される。サンプルシエーダ 17ではリソース 12が使用されてサンプルシエー ダ処理が実行される。リソース 10a, 10b, 11, 12としては、例えばシエーダプロセッ サ内部のデータレジスタやアドレスレジスタ等の内部レジスタや、プログラムカウンタ 等が考えられる。なお、図 2において、図 1と同一又はそれに相当する構成要素には 同一符号を付して重複する説明を省略する。
[0038] 次に動作について説明する。
図 3は、本発明の画像処理装置による 3Dグラフィックス処理の一例を示す図である 。実施の形態 2による画像処理装置は、上記実施の形態 1と基本的に同様な構成を 有しているので、以降では図 1及び図 3に沿って動作を説明する。
頂点シエーダ 13は、シエーダキャッシュ 3を介してビデオメモリ 2から頂点データを 読み出して頂点シェーディング処理を行う。このとき、シエーダコア 6の内部レジスタ（ プロセッサ内部のデータレジスタやアドレスレジスタ等）や、プログラムカウンタ等のリ ソースは、頂点シエーダ 13用のリソース 10aが使用される。
[0039] 次に、頂点シエーダ 13による頂点シェーディング処理が終了すると、ジォメトリシェ ーダ 14の処理に移行する。ジォメトリシェーダ 14では、上記実施の形態 1で説明した ビューポート変換、力リング処理、プリミティブの組み立て処理が逐次実行される。こ のジオメトリシェーダ 14による処理にあたり、シエーダコア 6の内部レジスタやプログラ ムカウンタ等のリソースは、リソース 10aからジオメトリシエーダ 14用のリソース 10bへ 切り替わる。このように、頂点シエーダ 13とジオメトリシェーダ 14とで別個のリソースを 使用するので、ジオメトリシェーダプログラムは、頂点シエーダブログラムの終了状態 に依存することなく実行され、単独のプログラムとしての記述が可能となる。
[0040] ジオメトリシエーダ 14の処理が完了すると、その演算結果は、シエーダコア 6からセ ットアップエンジン 7へ出力される。セットアップエンジン 7では、上記実施の形態 1と 同様に、シエーダコア 6から出力されるプリミティブの頂点情報力もポリゴンを構成す るピクセルの表示画面上での座標値や色情報が算出され、その増分値が求められる 。算出された増分値は、セットアップエンジン 7からラスタライザ 8に出力される。ラスタ ライザ 8では、三角形の内外判定を行いながら頂点情報により決定される三角形をピ クセルに分解 (フラグメントの生成）し、三角形内のピクセルに対しセットアップェンジ ン 7により算出された増分値を用いてインターポーレーシヨンを行う。
[0041] ラスタライザ 8により算出されたピクセル情報は、早期フラグメントテストユニット 9に 出力される。早期フラグメントテストユニット 9では、ラスタライザ 8が算出した今力ゝら描 画しようとするピクセル (フラグメント）のデプス値と、ピクセルキャッシュ 5から読み出し た以前のピクセルのデスティネーションデータにおけるデプス値とを比較する。このと き、比較結果が描画を許容すべき範囲内にあれば、テストに合格したものとして描画 しょうとしていたピクセルデータを FIF015へ出力する。一方、比較結果が描画を許 容すべき範囲外である場合は、テストに失敗したものとして描画する必要がないこと から、当該ピクセルデータを後段の FIF015に出力しない。
[0042] 同時に、ラスタライザ 8は、 FIF015に出力したピクセルの XY座標値をピクセルプリ フェッチアドレスとしてピクセルキャッシュ 5へ出力する。ピクセルキャッシュ 5はその座 標を基にピクセルデータをプリフェッチする。このようにすることで、フレームバッファ 2 dに書き込まれた所望のピクセルデータを後で使用するとき、ピクセルキャッシュ 5に おいて、ミスヒットすることなくデータの読み出し及び書き込みが可能となる。また、同 時に、ラスタライザ 8は、テクスチャ座標値をテクスチャプリフェッチアドレスとしてシェ ーダキャッシュ 3へ出力する。シェーダキャッシュ 3はその座標を基にテクセルデータ をプリフ ツチする。
[0043] このように、 FIFO 15にピクセルデータやテクスチャデータをー且格納し、ピクセル キャッシュ 5ゃシエーダキャッシュ 3によりピクセルとテクセルデータをプリフェッチする ことにより、実際にピクセルやテクセルデータを使用するとき、ピクセルキャッシュ 5や シエーダキャッシュ 3にはデータが予め準備されており、キャッシュからの読み出しレ ィテンシを最小限に抑えることができる。
[0044] ピクセルシエーダ 16は、 FIF015から読み出したピクセル情報、及び、シェーダキ ャッシュ 3から読み出したテクセルデータを用いて、ピクセルシェーディング処理に関 する演算を実行する。このとき、内部レジスタ及びプログラムカウンタ等のシエーダブ 口セッサのリソースは、ピクセルシエーダ 16用のリソース 11が使用される。
[0045] ピクセルシエーダ 16の処理が完了すると、サンプルシエーダ 17は、ピクセルシエー ダ 16による演算結果を基に、アンチエイリアス処理、フラグメントテスト処理、プレンデ イング処理及びディザ処理を逐次実行する。このとき、内部レジスタ及びプログラム力 ゥンタ等のシエーダプロセッサのリソースは、リソース 11からサンプルシエーダ 17用の リソース 12へ切り替わる。このように、ピクセルシエーダ 16とサンプルシエーダ 17とで 別個のリソースを使用するので、サンプルシエーダプログラムは、ピクセルシエーダブ ログラムの終了状態に依存することなく実行され、単独のプログラムとしての記述が可 能である。
[0046] アンチエイリアス処理は、カバレッジ値を算出してエッジのジャギーを滑らかに見せ る処理である。ブレンディング処理は、アルファブレンデイング等の半透明処理を行 なう。ディザ処理は、少ないカラービットの場合にディザをかける処理である。また、フ ラグメントテスト処理は、描画対象のフラグメントとして求められたピクセルを描画すベ き力否かを判定する処理であり、アルファテスト、デプステスト（陰面消去）、ステンシ ルテストがある。これらの処理において、フレームバッファ 2dのデスティネーションデ ータが必要な場合は、サンプルシエーダ 17によってピクセルキャッシュ 5を介してピク セルデータ (カラー値、デプス値、ステンシル値）が読み出される。
[0047] なお、アルファテストでは、書き込むピクセル（フラグメント）のアルファ値と、リファレ ンスとなるピクセルキャッシュ 5から読み出したピクセルのアルファ値とを比較し、指定 された比較関数に応じて描画する力否かが決定される。デプステスト（陰面消去）は、 書き込むピクセル（フラグメント）のデプス値と、リファレンスとなるピクセルキャッシュ 5 力 読み出したピクセルのデプス値とを比較し、比較関数に応じて描画する力否かを 決定する処理である。ステンシルテストは、書き込むピクセル（フラグメント）のステンシ ル値と、リファレンスとなるピクセルキャッシュ 5から読み出したピクセルのステンシル 値とを比較し、比較関数に応じて描画するか否かを決定する処理である。
[0048] サンプルシエーダ 17により演算処理されたピクセルデータは、ピクセルキャッシュ 5 へ書き込まれ、ピクセルキャッシュ 5を介してビデオメモリ 2のフレームバッファ 2dに書 き込まれる。
[0049] なお、頂点シエーダ 13及びピクセルシエーダ 16は、アプリケーションプログラマによ りそのプログラムを記述できるが、ジオメトリシエーダ 14及びサンプルシエーダ 17の処 理はデバイスドライバ側で記述される固定処理であるので、アプリケーションプロダラ マへ開放されな 、場合が多 、。
[0050] 以上のように、この実施の形態 2によれば、各シヱーダの処理はそれぞれに固有の リソースを用いて実行されるので、各シエーダプログラムにお 、て互 、のリソースの管 理を考慮する必要がなく、一つのプロセッサ上で複数の処理プログラムを効率よく実 行することができる。また、 FIFO 15にピクセル情報をー且格納し、ピクセルキャッシュ 5ゃシエーダキャッシュ 3によりピクセルとテクセルデータをプリフェッチする。これによ り、実際にピクセルやテクセルデータを使用するとき、ピクセルキャッシュ 5ゃシエーダ キャッシュ 3には、データが予め準備されており待ち時間による遅延が発生しない。つ まり、キャッシュからの読み出しレイテンシを最小限に抑えることができる。
[0051] 図 4は、本発明の画像処理装置におけるシ ーダコアのプログラム配置の一例を示 す図であり、頂点シェーダプログラム、ジオメトリプログラム、ピクセルシエーダブログラ ム及びサンプルプログラムカもシエーダプログラムが構成される。これらのプログラム は、それぞれ図 2における頂点シエーダ 13、ジオメトリシエーダ 14、ピクセルシエーダ 16、サンプルシエーダ 17のプログラムに相当する。また、これらプログラムは、順番に 配置されて 、る必要はなく、ランダムに任意のアドレスに配置されて 、てもよ 、。 [0052] 先ず、頂点シエーダプログラムにお 、て、プログラムカウンタ Aで指示される命令か らその実行が開始される。頂点シエーダの処理が終了すると、プログラムカウンタはプ ログラムカウンタ Aからプログラムカウンタ Bに切り替わり、プログラムカウンタ Bで指示 された、ジオメトリプログラムの命令が実行される。以下同様にしてプログラムカウンタ を切り替えることにより、ピクセルシエーダプログラムの命令、サンプルシエーダブログ ラムの命令が順次実行されて 、く。
[0053] 頂点シエーダプログラムとジオメトリプログラムは、プリミティブ単位で処理される。一 方、ピクセルシエーダプログラム及びサンプルシエーダプログラムは、ピクセル単位で 処理される。このため、例えば三角形に含まれるピクセル (フラグメント）が生成されて いる間、ピクセルシエーダプログラムとサンプルシエーダプログラム力 そのピクセル の数だけ繰り返し実行される。つまり、プログラムカウンタ Cとプログラムカウンタ Dを切 り替えながら実行される。そして、三角形に含まれるピクセルの処理が全て終了すると 、プログラムカウンタは、再びプログラムカウンタ Aに切り替わり、次の頂点のための頂 点シエーダブログラムが実行される。
[0054] このように、各シエーダ間でプログラムカウンタを切り替えることにより、任意のァドレ スに格納されたシエーダプログラムを一つのプロセッサ上で実行することができる。ま た、予めシエーダプログラムを複数準備しておき、アプリケーションからの要求や描画 モード等により、それらシエーダプログラムを適宜選択して実行することも可能となる。
[0055] 実施の形態 3.
本実施の形態 3は、シエーダコアの演算器構成と命令セットとを動的に再構成する ことにより、各シヱーダプログラムに最適な演算器構成で効率良く処理できるようにし たものである。
[0056] 図 5は、この発明の実施の形態 3による画像処理装置のシエーダコアの演算器構成 を示す図である。図において、実施の形態 3によるシエーダコア 6は、入力レジスタ 18 a〜18d、クロスバースィッチ 19、レジスタファイル 20〜24、積和演算器（演算器） 25 〜28、スカラ演算器 (演算器） 29、出力レジスタ 30〜34、 fp32命令デコーダ (命令 デコーダ） 35、 fp 16命令デコーダ (命令デコーダ） 36及びシーケンサ 37を備える。
[0057] 入力レジスタ 18a, 18b, 18c, 18dには、例えばピクセルの位置座標を処理する場 合、他の画像ブロックから出力されたピクセルの位置座標 X, Y, Z, Wのデータがそ れぞれ格納される。また、カラーを処理する場合であれば、カラーデータ R, G, B, A が入力レジスタ 18a, 18b, 18c, 18dにそれぞれ格納される。さらに、テクスチャ座標 を処理する場合は、テクスチャ座標 S, T, R, Qが入力レジスタ 18a, 18b, 18c, 18d にそれぞれ保持されるデータとなる。また、任意のスカラデータが格納されることもあ る。
[0058] クロスバースィッチ 19は、シーケンサ 37からの制御信号に従って、入力レジスタ 18 a〜18dゃシエーダキャッシュ 3からのデータ、積和演算器 25〜28及びスカラ演算器 29からの出力の各成分を任意に選択してレジスタファイル 20〜24へそれぞれ出力 する。レジスタファイル 20〜23には、クロスバースィッチ 19により選択された、入カレ ジスタ 18a〜18dゃシエーダキャッシュ 3力らのスカラデータ以外のデータ、積和演算 器 25〜28からの出力値が格納される。また、レジスタファイル 24には、クロスバース イッチ 19により選択された、入力レジスタ 18a〜18dゃシエーダキャッシュ 3からのス カラデータ、スカラ演算器 29からの出力値が格納される。
[0059] 積和演算器 25〜28は、レジスタファイル 20〜23から入力されるデータに対して積 和演算処理を実行し、演算結果を出力レジスタ 30〜33にそれぞれ出力する。これら 4つの積和演算器 25〜28を用いることにより、 4— SIMD形式で演算処理を行なうこ とができる。つまり、頂点の位置座標 (X, Y, Z, W)の演算を一度に処理することがで きる。
[0060] また、スカラ演算器 29は、レジスタファイル 24力 入力されるスカラデータ（図中に S a, Sbと表記）に対してスカラ演算処理を実行し、演算結果を出力レジスタ 34にそれ ぞれ出力する。ここで、スカラ演算器 29によるスカラ演算とは、積和以外の演算処理 である除算、累乗、 sinZcos等の特殊演算である。出力レジスタ 30〜34は、演算器 の演算結果を一時記憶し、ピクセルキャッシュ 5又はセットアップエンジン 7へ出力す る。
[0061] ここで、積和演算器の内部構成を説明する。例えば、積和演算器 25は、分配器 25 a、 2個の擬似 16ビット演算器 (図中、擬似 fpl6演算器と表記）（演算ユニット) 25b、 16— 32ビット変換演算器 (図中、 fP16→32変換演算器と表記）（変換ユニット） 25c を含んで構成される。分配器 25aは、シーケンサ 37からの制御信号で指定された演 算モードが 32ビット演算モードである場合、 32ビットフォーマットの演算データを上位 Z下位の 2個の 16ビットフォーマット形式のデータに分割し、 2個の擬似 16ビット演算 器 25bへそれぞれ出力する。
[0062] 擬似 16ビット演算器 25bは、擬似 16ビットフォーマット (符号:指数:仮数 = 1 : 8 : 15 )形式の演算を行い、 fpl6ビットフォーマット形式のデータを出力する。また、 16— 3 2ビット変換演算器 25cは、上位/下位の 2個の擬似 16ビットフォーマットを 32ビット 浮動小数点フォーマット (符号：指数:仮数 = 1： 8： 23)へ変換する。
[0063] なお、 fp32命令デコーダ 35は、 32ビット浮動小数点フォーマット形式を使って 4 SIMD (Single Instruction/Multiple Data)で動作させるための命令コードを デコードする。 fpl6命令デコーダは、 16ビット浮動小数点フォーマット形式を使って 8— SIMDで動作させるための命令コードをデコードする。シーケンサ 37は、 fp32命 令デコーダ 35又は fpl6命令デコーダ 36からの要求に応じて、クロスバースィッチ 19 、レジスタファイル 20〜24、積和演算器 25〜28、スカラ演算器 29に対して制御信 号を出力する。
[0064] 次に動作について説明する。
命令キャッシュ 4から読み出された命令コード力 32ビット浮動小数点フォーマット 形式を使って 4 SIMDで動作させるための命令コード (fp32命令）である場合、 fp3 2命令デコーダ 35が当該命令コードをデコードし、その命令に応じた要求をシーケン サ 37に出力する。一方、命令キャッシュ 4から読み出された命令コード力 16ビット浮 動小数点フォーマット形式を使って 8— SIMDで動作させるための命令コード（fpl6 命令）である場合、 fpl6命令デコーダ 36が当該命令コードをデコードし、その命令 に応じた要求をシーケンサ 37に出力する。
[0065] シーケンサ 37は、 fp32命令デコーダ 35又は fpl6命令デコーダ 36から入力された 要求に応じて、クロスバースィッチ 19、レジスタファイル 20〜24、積和演算器 25〜2 8、スカラ演算器 29に対して制御信号を出力する。例えば、入力レジスタ 18a, 18b, 18c, 18dからクロスバースィッチ 19に出力されたデータとして、位置座標（Xa, Ya, Za, Wa)と位置座標力 (Xb, Yb, Zb, Wb)があったものとする。ここで、 fp32命令デ コーダ 35又は fpl6命令デコーダ 36から入力された要求が加算処理であった場合、 シーケンサ 37は、クロスバースィッチ 19に制御信号を出力して、これら位置座標 (Xa , Ya, Za, Wa)、 (Xb, Yb, Zb, Wb)をレジスタファイル 20〜23にそれぞれ出力さ せる。
[0066] さらに、シーケンサ 37は、レジスタファイル 20〜23を制御して、 16ビット加算演算 モードか 32ビット加算演算モードかに応じたデータを積和演算器 25〜28へ出力さ せる。例えば、 32ビット加算演算モードであれば、レジスタファイル 20は、 32ビットフ ォーマットの座標値 Xa、Xbを積和演算器 25に出力する。また、 16ビット加算演算モ ードの場合、レジスタファイル 20は、 32ビットフォーマットである座標値 Xa、 Xbを上位 Z下位の 16ビットフォーマット形式にそれぞれ分けたデータ XOa, Xla、XOb, Xlb を生成して積和演算器 25に出力する。
[0067] 16ビット加算演算モードにおいて、分配器 25aは、レジスタファイル 20から入力さ れた XOa, Xla、 XOb, Xlbのうち、データ XOa, XObを一方の擬似 16ビット演算器 2 5bに出力し、データ Xla, Xlbを他方の擬似 16ビット演算器 25bに出力する。これ により、 2つの擬似 16ビット演算器 25bは、 16ビット浮動小数点フォーマット (符号:指 数:仮数 = 1 : 5 : 15)形式で同時に加算演算をそれぞれ行い、 16ビットフォーマット の 2個の演算結果として XO=XOa+XOb及び Xl =Xla+Xlbを出力レジスタ 30に 出力する。
[0068] 一方、 32ビット浮動小数点モードにおいて、分配器 25aは、 32ビットフォーマットの 座標値 Xa、 Xbを上位 Z下位の 2個の 16ビットフォーマット形式へ分割し、 2つの擬似 16ビット演算器 25bにそれぞれ出力する。 2つの擬似 16ビット演算器 25bでは、入力 したデータについて加算演算を行い、 16— 32ビット変換演算器 25cに出力する。 16 —32ビット変換演算器 25cでは、 2個の擬似 16ビット演算器力も出力される上位 Z 下位の擬似 16ビットフォーマットの演算結果を 1個の 32ビットフォーマットへ変換し、 32ビットフォーマットの演算結果として X=Xa+Xbを出力レジスタ 30に出力する。な お、積和演算器 26, 27, 28及びスカラ演算器 29についても、同様な方式で演算処 理が行われる。
[0069] このようにして、複数の命令デコーダとそれに応じた演算器を用いることにより、演 算フォーマットに応じて演算器構成を再構成することができ、演算フォーマットの異な る演算を効率よく実行することができる。例えば、 fp32命令と fpl6命令を動的に切り 替えることにより、 4— SIMDの 32ビット浮動小数点演算と 8— SIMDの 16ビット浮動 小数点演算を使い分けながら実行することができる。
[0070] 一般に、頂点シエーダ処理は 32ビット浮動小数点フォーマットで、ピクセルシエーダ 処理は 16ビット浮動小数点フォーマットで演算されることが多い。従って、頂点シエー ダ処理を fp32命令で、ピクセルシヱーダ処理を fp 16命令で実行させれば、これらの 処理を一連の処理として実行できる。これにより、頂点シエーダ処理及びピクセルシ エーダ処理の実行に必要なハードウェア演算リソースを最大限に有効活用することが でき、命令の語長も小さくなる。
[0071] また、命令フォーマットを動的に変更することにより、演算フォーマットだけでなぐ 演算命令の種類についても頂点シエーダ処理、ジオメトリシエーダ処理、ピクセルシ エーダ処理、サンプルシエーダ処理の各々に最適な命令セットを用意することが可能 となる。
[0072] 例えば、下記のように、頂点シヱーダ処理では 4 X 4のマトリクス演算が多用され、ピ クセルシヱーダ処理ではフィルタ処理等で必要な線形補間演算が多用される傾向が ある。
(1)マトリクス演算
X=MOO A+M01 B+M02 C + M03水 D
Y=M10 A+M11 B + M12 C + M13水 D
Z=M20 A+M21 B + M22 C + M23水 D
W=M30 A+M31 B + M32 C + M33水 D
但し、 MOO〜M33は 4 X 4のマトリクスの各要素である。
(2)線形補間処理
補間値 C=ArgO * Arg2+Argl * (1— Arg2)
[0073] 頂点シエーダ処理における位置座標 (X, Y, Z, W)の演算では、例えば (X, Υ, Z , W)成分に対して 4 X 4のマトリクス演算を一度に実行する。そこで、図 6の上段に示 すような (X, Y, Z, W)成分に対して 4 SIMDによる演算を行う命令フォーマットの 4SIMD命令を使用する。
[0074] また、ピクセルシヱーダ処理におけるカラー演算では、（R, G, B)成分と (A)成分 に対して異なる演算を施すことが多い。そこで、図 6の中段に示すように、 3-SIMD と 1 SIMDの組み合わせで演算を行う命令フォーマットを使用するようにしてもよい
[0075] 一方、テクスチャアドレスの演算では、マルチテクスチャなどのように（SO, TO)成分 と（SI, T1)成分を同時に演算する方がよぐ図 6の下段に示すように、 2— SIMDと 2— SIMDの組み合わせで演算する命令フォーマットの方が効率的である。
[0076] 以上のように、この実施の形態 3によれば、 32ビットの演算フォーマットでの演算処 理を指定する命令コードをデコードする fp32命令デコーダ 35と、 16ビットの演算フォ 一マットでの演算処理を指定する命令コードをデコードする fpl6命令デコーダ 36と、 2個の擬似 16ビット演算器 25b及び 16ビットから 32ビットへ演算フォーマットを変換 する 16— 32ビット変換演算器 25cを有し、演算器 25bによる演算又はその演算結果 を 16— 32ビット変換演算器 25cにより演算フォーマット変換することで、各命令コード に対応した演算フォーマットデータの演算を行う複数の演算器 25〜29と、シエーダ 処理に必要なデータを入力し、当該入力データから各演算器 25〜29の演算対象デ ータを選択するクロスバースィッチ 19と、 fp 32命令デコーダ 35又は fp 16命令デコー ダ 36がデコードした命令に従ってクロスバースィッチ 19のデータ選択及びデータ演 算を行う演算器 25〜29の内部演算器の組み合わせを決定することにより、演算器 2 5〜29による各命令コードに対応した演算フォーマットのデータ演算を制御するシー ケンサ 37とを含むプロセッサでシエーダコア 6を構成したので、各シエーダ間で使用 頻度の高い演算命令を準備して演算の並列度を用途により変更することが可能とな り、演算フォーマットの異なる演算を効率よく実行することができる。また、同一ハード ウェア上で最適な処理を効率よく実行することが可能となる。さらに、命令フォーマット を動的に変更することにより、取り扱うグラフィクス APIに応じて最適な命令セットを選 択できると 、う効果も得られる。
[0077] 実施の形態 4.
本実施の形態 4は、上記実施の形態 1から 3までに示した画像処理装置の主要構 成部を統合シエーダパイプラインとして複数個並列に動作されることで、画像処理の 処理性能を向上させたものである。
[0078] 図 7は、この発明の実施の形態 4による画像処理装置の構成を示す図である。図に おいて、統合シエーダパイプライン 39— 0, 39- 1, 39- 2, 39- 3, · · ·はそれぞれ 並列に配置され、シエーダキャッシュ 3、シエーダコア 6、セットアップエンジン 7、ラス タライザ 8及び早期フラグメントテストユニット 9を含んで構成される。これら構成要素 の基本的な動作は、上記実施の形態 1で説明したものと同様である。但し、シエーダ キャッシュ 3は、上記実施の形態 1で示したピクセルキャッシュ 5の機能も有し、シエー ダコア 6による演算により最終的に得られたピクセルデータを格納する。
[0079] ビデオメモリ 2Aは、統合シエーダパイプライン 39— 0, 39- 1, 39 - 2, 39- 3, · · •に共通に設けられる。コマンドデータ分配器 38は、ビデオメモリ 2Aに格納されたシ エーダブログラムの命令ゃジオメトリデータの頂点データを読み出して、各統合シェ ーダパイプライン 39— 0, 39- 1, 39- 2, 39- 3, · · ·のシエーダコア 6に分配する。 レべノレ 2キャッシュ 40 ίま、各統合シエーダノ ィプライン 39— 0, 39- 1, 39— 2, 39— 3, · · ·による演算結果のピクセルデータを一時的に保持してビデオメモリ 2Αに設け られたフレームバッファ領域に転送する。
[0080] 次に動作について説明する。
描画処理にあたり、描画対象の物体の画像を構成する頂点情報や光源からの光に 関する情報等のジオメトリデータ、シエーダコア 6としてプロセッサを動作させるための シエーダブログラム、テクスチャデータが不図示の主記憶装置力もビデオメモリ 2Αに 予め転送される。
[0081] コマンドデータ分配器 38は、ビデオメモリ 2Αに格納されたシーンに含まれる頂点 データを読み出して三角形ストリップや三角形ファン等の単位に分解し、シエーダブ ログラムの命令コード（コマンド）と共に、統合シエーダパイプライン 39— 0, 39- 1, 3 9- 2, 39- 3, · · ·の各シエーダコア 6へ順番に転送する。このとき、コマンドデータ 分配器 38は、転送先の統合シエーダノ ィプラインがビジー状態であれば、次のアイ ドル状態の統合シエーダパイプラインへ転送する。これにより、各統合シエーダパイプ ラインのシエーダコア 6は、ジオメトリデータを用いた幾何学演算処理やライティング 演算処理等の頂点シエーダの処理を実行する。
[0082] 各統合シエーダパイプラインにおいて、シエーダコア 6は、上記実施の形態 1と同様 に、頂点シエーダ処理に引き続き、力リング、ビューポート変換、プリミティブの組み立 て処理を実行し、処理結果として算出されたプリミティブの頂点情報をセットアップェ ンジン 7に出力する。
[0083] セットアップエンジン 7では、シエーダコア 6から出力されるプリミティブの頂点情報 力 ポリゴンを構成するピクセルの表示画面上での座標値や色情報を算出し、その 増分値を求める。ラスタライザ 8は、三角形の内外判定を行いながら頂点情報により 決定される三角形をピクセルに分解し、三角形内のピクセルに対しセットアップェン ジン 7により算出された増分値を用いてインターポーレーシヨンを行う。
[0084] 早期フラグメントテストユニット 9は、ラスタライザ 8が算出した今力も描画しょうとする ピクセル（ソース）のデプス値と、ピクセルキャッシュ 5から読み出した以前のピクセル のデスティネーションデータ（表示画面）におけるデプス値とを比較する。このとき、比 較結果が描画を許容すべき範囲内にあれば、テストに合格したものとして描画しょう としていたピクセルデータをシエーダコア 6にフィードバックして描画処理を継続する。 一方、比較結果が描画を許容すべき範囲外である場合は、テストに失敗したものとし て描画する必要がないことから、当該ピクセルデータを後段のシヱーダコア 6に出力 しない。
[0085] 続いて、コマンドデータ分配器 38は、ビデオメモリ 2A力もテクスチャデータを読み 出してピクセルシエーダに関するシエーダプログラムの命令コードと共に、統合シエー ダパイプライン 39— 0, 39- 1, 39- 2, 39- 3, · · ·の各シエーダコア 6へ順番に転 送する。シエーダコア 6では、コマンドデータ分配器 38からのピクセル情報と、早期フ ラグメントテストユニット 9から入力したピクセル情報とを用いてピクセルシエーダの処 理を実行する。
[0086] 次に、シヱーダコア 6は、ピクセルシヱーダの処理に引き続き、コマンドデータ分配 器 38によってビデオメモリ 2Aのフレームバッファからデスティネーションデータを読 み込んでアルファブレンドやラスタオペレーション処理を実行する。
[0087] 統合シエーダパイプライン 39— 0, 39- 1, 39- 2, 39- 3, · · ·の各シエーダコア 6 は、統合シエーダパイプライン毎に演算された最終的なピクセルデータをシエーダキ ャッシュ 3に一時的に格納する。この後、シエーダキャッシュ 3から最終的なピクセル データの演算値がレベル 2キャッシュ 40へ書き込まれる。そして、レベル 2キャッシュ 4 0を介して当該ピクセルデータがビデオメモリ 2Aのフレームバッファ領域へ転送され る。
[0088] 以上のように、この実施の形態 4によれば、頂点シエーダ処理とピクセルシエーダ処 理を統合して実行する統合シエーダパイプラインを複数個並列に配置し、各統合シ エーダパイプラインに対してコマンド及び処理対象データの分配を行うコマンドデー タ分配器 38を設けたので、マルチスレッド型の統合シエーダパイプラインを用いれば 並列処理が可能であり、頂点シ ーダ処理及びピクセルシ ーダ処理のスループット を向上させることができる。また、並列配置する統合シエーダパイプラインの個数を目 的に応じて変更することにより、ハードウェア規模が限定される組み込み向け分野か らハイエンド向けまで柔軟に幅広く対応することができる。 産業上の利用可能性
[0089] 以上のように、この発明に係る、頂点シエーダとピクセルシエーダの処理負荷のアン バランスを解消し、処理を効率よく実行させる画像処理装置は、表示画面上に 3Dコ ンピュータグラフイクスなどの画像を表示する画像処理装置であり、特に組み込み向 け用途でハードウェア規模を小さく抑える必要がある携帯端末機器などに用いるのに 適している。

Claims

請求の範囲
[1] 頂点シエーダ処理とピクセルシエーダ処理を逐次実行するシエーダプロセッサと、 前記シエーダプロセッサにより頂点シエーダ処理されたデータに基づ 、て、ピクセ ルシェーダ処理に必要なピクセルデータを生成するラスタライザ部と、
前記ラスタライザ部から出力されたピクセルデータを、頂点シ ーダ処理に引き続く ピクセルシエーダ処理の対象として前記シエーダプロセッサにフィードバックするフィ ードバックループとを備えた画像処理装置。
[2] ラスタライザ部からシエーダプロセッサまでのフィードバックループ上に設けられ、前 記ラスタライザ部から出力されたピクセルデータの描画可否を判定し、判定結果に応 じて前記シエーダプロセッサへの前記ピクセルデータのフィードバックの可否を決定 するフラグメントテスト部を備えたことを特徴とする請求項 1記載の画像処理装置。
[3] シエーダプロセッサは、キャッシュメモリを介して、シエーダ処理に必要なデータの 読み出し又は書き込み、及び、シエーダブログラムの命令コードの読み出しを行うこと を特徴とする請求項 1記載の画像処理装置。
[4] ラスタライザ部からシエーダプロセッサまでのフィードバックループ上に設けられ、前 記ラスタライザ部からの出力データを保持する FIFOを備え、
キャッシュメモリは、前記ラスタライザ部力 前記 FIFOに転送されるデータをプリフ エッチすることを特徴とする請求項 3記載の画像処理装置。
[5] シエーダプロセッサは、頂点シエーダ処理に引き続くピクセルシエーダ処理以外の シエーダ処理も逐次実行し、
各シエーダ処理のシエーダプログラムは、前記シエーダプロセッサにお 、てそれぞ れのプログラムに固有のリソースを用いて実行されることを特徴とする請求項 1記載の 画像処理装置。
[6] シエーダプロセッサは、各シエーダ処理に応じた処理単位でシエーダプログラムを 切り替えるプログラムカウンタを備えたことを特徴とする請求項 5記載の画像処理装置
[7] シエーダプロセッサは、
異なるビット数の各演算フォーマットでの演算処理を指定する命令コードをデコード する複数の命令デコーダと、
複数の演算ユニット及び演算フォーマットの変換ユニットを有し、前記演算ユニット による演算又はその演算結果を前記変換ユニットにより演算フォーマット変換すること で、前記各命令コードに対応した演算フォーマットデータの演算を行う複数の演算器 と、
シエーダ処理に必要なデータを入力し、当該入力データから前記各演算器の演算 対象データを選択するクロスバースィッチと、
前記命令デコーダがデコードした命令に従って、前記クロスバースィッチのデータ 選択及びデータ演算を行う前記演算ユニットの組み合わせを決定することにより、前 記演算器による各命令コードに対応した演算フォーマットのデータ演算を制御するシ 一ケンサとを備えたことを特徴とする請求項 1記載の画像処理装置。
[8] 演算器及びその演算ユニットの組み合わせを指定する命令コードからなる命令セッ トを用い、各シエーダ処理における演算命令の種類に応じて前記命令セットの組み 合わせフォーマットを変更することを特徴とする請求項 7記載の画像処理装置。
[9] 複数個を並列に配置した請求項 1記載の画像処理装置と、
各シエーダ処理に必要なデータ及び前記画像処理装置のシエーダプロセッサに実 行させるシエーダプログラムを格納するビデオメモリと、
前記各画像処理装置による処理に応じて、前記ビデオメモリに格納されたデータ及 びシエーダプログラムの命令コードを読み出して分配するコマンドデータ分配部とを 備えた画像処理装置。
PCT/JP2006/321152 2005-10-25 2006-10-24 画像処理装置 WO2007049610A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US11/816,576 US20090051687A1 (en) 2005-10-25 2006-10-24 Image processing device
JP2007521167A JPWO2007049610A1 (ja) 2005-10-25 2006-10-24 画像処理装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005-310154 2005-10-25
JP2005310154 2005-10-25

Publications (1)

Publication Number Publication Date
WO2007049610A1 true WO2007049610A1 (ja) 2007-05-03

Family

ID=37967722

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/321152 WO2007049610A1 (ja) 2005-10-25 2006-10-24 画像処理装置

Country Status (4)

Country Link
US (1) US20090051687A1 (ja)
JP (1) JPWO2007049610A1 (ja)
CN (1) CN101156176A (ja)
WO (1) WO2007049610A1 (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008282170A (ja) * 2007-05-09 2008-11-20 Sony Computer Entertainment Inc グラフィックスプロセッサ、描画処理装置および描画処理方法
JP2008299642A (ja) * 2007-05-31 2008-12-11 Mitsubishi Electric Corp 図形描画装置
JP2008299662A (ja) * 2007-05-31 2008-12-11 Sony Corp 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
JP4756107B1 (ja) * 2011-02-09 2011-08-24 株式会社ディジタルメディアプロフェッショナル グラフィックス処理装置
JP2011524046A (ja) * 2008-05-30 2011-08-25 アドバンスト・マイクロ・ディバイシズ・インコーポレイテッド シェーダ列のための冗長方法及び装置
JP2011524562A (ja) * 2008-05-30 2011-09-01 アドバンスト・マイクロ・ディバイシズ・インコーポレイテッド 拡大縮小可能で且つ統合化されたコンピュータシステム
JP2012503811A (ja) * 2008-09-24 2012-02-09 ザ・ベイカリー 複雑な３次元シーンのレンダリングまたはインターラクティブライティングをするための方法およびシステム
JP2013504129A (ja) * 2009-09-03 2013-02-04 アドバンスト・マイクロ・ディバイシズ・インコーポレイテッド 複数のシェーダエンジンを伴う処理ユニット
JP2013122769A (ja) * 2007-09-14 2013-06-20 Qualcomm Inc グラフィクス処理ユニットにおけるフラグメントシェーダのバイパス、その装置及び方法。
JP2014529143A (ja) * 2011-09-12 2014-10-30 株式会社ソニー・コンピュータエンタテインメント テクスチャ座標導関数を用いた高速化テクスチャ検索
KR20150002738A (ko) * 2012-04-04 2015-01-07 퀄컴 인코포레이티드 그래픽스 프로세싱에서의 패치된 쉐이딩
US9093040B2 (en) 2008-05-30 2015-07-28 Advanced Micro Devices, Inc. Redundancy method and apparatus for shader column repair
JP2016196290A (ja) * 2015-04-02 2016-11-24 ジーイー・アビエイション・システムズ・リミテッドＧｅ Ａｖｉａｔｉｏｎ Ｓｙｓｔｅｍｓ Ｌｉｍｉｔｅｄ アビオニクス表示システム
JP2018514034A (ja) * 2015-04-08 2018-05-31 アーム・リミテッド グラフィックス処理システム
JP7451568B2 (ja) 2019-06-03 2024-03-18 マイクロソフト テクノロジー ライセンシング，エルエルシー コンパイラの精度選定によるシェーダプログラムの加速化

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100188412A1 (en) * 2009-01-28 2010-07-29 Microsoft Corporation Content based cache for graphics resource management
US8711159B2 (en) * 2009-02-23 2014-04-29 Microsoft Corporation VGPU: a real time GPU emulator
US9378560B2 (en) * 2011-06-17 2016-06-28 Advanced Micro Devices, Inc. Real time on-chip texture decompression using shader processors
US8941655B2 (en) 2011-09-07 2015-01-27 Qualcomm Incorporated Memory copy engine for graphics processing
US20140125706A1 (en) * 2011-09-12 2014-05-08 Mitsubishi Electric Corporation Geomorphing device
KR102048885B1 (ko) * 2013-05-09 2019-11-26 삼성전자 주식회사 그래픽 프로세싱 유닛, 이를 포함하는 그래픽 프로세싱 시스템, 및 이를 이용한 렌더링 방법
KR102116708B1 (ko) * 2013-05-24 2020-05-29 삼성전자 주식회사 그래픽스 프로세싱 유닛
WO2015108218A1 (ko) * 2014-01-20 2015-07-23 (주)넥셀 그래픽 처리 장치 및 방법
US9786026B2 (en) 2015-06-15 2017-10-10 Microsoft Technology Licensing, Llc Asynchronous translation of computer program resources in graphics processing unit emulation
US9881351B2 (en) 2015-06-15 2018-01-30 Microsoft Technology Licensing, Llc Remote translation, aggregation and distribution of computer program resources in graphics processing unit emulation
KR102465969B1 (ko) * 2015-06-23 2022-11-10 삼성전자주식회사 그래픽스 파이프라인을 수행하는 방법 및 장치
US9819913B2 (en) * 2015-08-26 2017-11-14 Stmicroelectronics International N.V. Image sensor device with macropixel processing and related devices and methods
US10121222B2 (en) * 2016-01-22 2018-11-06 Mediatek Inc. Bandwidth efficient method for generating an alpha hint buffer
US20180082464A1 (en) * 2016-09-16 2018-03-22 Tomas G. Akenine-Moller Apparatus and method for an efficient 3d graphics pipeline
US10460513B2 (en) 2016-09-22 2019-10-29 Advanced Micro Devices, Inc. Combined world-space pipeline shader stages
KR20180038793A (ko) * 2016-10-07 2018-04-17 삼성전자주식회사 영상 데이터 처리 방법 및 장치
US10649524B2 (en) * 2017-04-07 2020-05-12 Intel Corporation Apparatus and method for foveated rendering, bin comparison and TBIMR memory-backed storage for virtual reality implementations
US10685473B2 (en) * 2017-05-31 2020-06-16 Vmware, Inc. Emulation of geometry shaders and stream output using compute shaders
US11455766B2 (en) * 2018-09-18 2022-09-27 Advanced Micro Devices, Inc. Variable precision computing system
US11315315B2 (en) * 2019-08-23 2022-04-26 Adobe Inc. Modifying three-dimensional representations using digital brush tools
US11651548B2 (en) * 2021-07-08 2023-05-16 Huawei Technologies Co., Ltd. Method and apparatus for computer model rasterization

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1091439A (ja) * 1996-05-23 1998-04-10 Matsushita Electric Ind Co Ltd プロセッサ
JP2002063593A (ja) * 2000-08-23 2002-02-28 Nintendo Co Ltd グラフィクスシステムにおいて直接および間接テクスチャを処理するための方法および装置
JP2004234123A (ja) * 2003-01-28 2004-08-19 Fujitsu Ltd マルチスレッドコンピュータ

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0785219B2 (ja) * 1990-11-15 1995-09-13 インターナショナル・ビジネス・マシーンズ・コーポレイション データ処理システム及びデータ制御方法
US5808617A (en) * 1995-08-04 1998-09-15 Microsoft Corporation Method and system for depth complexity reduction in a graphics rendering system
JP2000311249A (ja) * 1999-04-28 2000-11-07 Hitachi Ltd グラフィック処理装置とそのグラフィックコマンド処理方法
US6819325B2 (en) * 2000-03-07 2004-11-16 Microsoft Corporation API communications for vertex and pixel shaders
US6760032B1 (en) * 2002-03-14 2004-07-06 Nvidia Corporation Hardware-implemented cellular automata system and method
US6825843B2 (en) * 2002-07-18 2004-11-30 Nvidia Corporation Method and apparatus for loop and branch instructions in a programmable graphics pipeline
GB0220138D0 (en) * 2002-08-30 2002-10-09 Kaydara Inc Matte extraction using fragment processors
JP2004145838A (ja) * 2002-10-25 2004-05-20 Sony Corp 画像処理装置
US7796133B1 (en) * 2002-11-18 2010-09-14 Ati Technologies Ulc Unified shader
US7633506B1 (en) * 2002-11-27 2009-12-15 Ati Technologies Ulc Parallel pipeline graphics system
US7928997B2 (en) * 2003-02-06 2011-04-19 Nvidia Corporation Digital image compositing using a programmable graphics processor
US7151543B1 (en) * 2003-04-16 2006-12-19 Nvidia Corporation Vertex processor with multiple interfaces
US7508448B1 (en) * 2003-05-29 2009-03-24 Nvidia Corporation Method and apparatus for filtering video data using a programmable graphics processor
JP5441305B2 (ja) * 2003-09-15 2014-03-12 エヌヴィディア コーポレイション 半導体機能回路のテストおよび構成のためのシステムおよび方法
US7948490B2 (en) * 2003-10-22 2011-05-24 Microsoft Corporation Hardware-accelerated computation of radiance transfer coefficients in computer graphics
US6897871B1 (en) * 2003-11-20 2005-05-24 Ati Technologies Inc. Graphics processing architecture employing a unified shader
US7542042B1 (en) * 2004-11-10 2009-06-02 Nvidia Corporation Subpicture overlay using fragment shader

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1091439A (ja) * 1996-05-23 1998-04-10 Matsushita Electric Ind Co Ltd プロセッサ
JP2002063593A (ja) * 2000-08-23 2002-02-28 Nintendo Co Ltd グラフィクスシステムにおいて直接および間接テクスチャを処理するための方法および装置
JP2004234123A (ja) * 2003-01-28 2004-08-19 Fujitsu Ltd マルチスレッドコンピュータ

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GOTO H.: "2003 Nen no CPU", ASCII, vol. 27, no. 2, 1 February 2003 (2003-02-01), pages 219 - 224, XP003011908 *

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008282170A (ja) * 2007-05-09 2008-11-20 Sony Computer Entertainment Inc グラフィックスプロセッサ、描画処理装置および描画処理方法
JP2008299642A (ja) * 2007-05-31 2008-12-11 Mitsubishi Electric Corp 図形描画装置
JP2008299662A (ja) * 2007-05-31 2008-12-11 Sony Corp 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
US8624896B2 (en) 2007-05-31 2014-01-07 Sony Corporation Information processing apparatus, information processing method and computer program
JP2013122769A (ja) * 2007-09-14 2013-06-20 Qualcomm Inc グラフィクス処理ユニットにおけるフラグメントシェーダのバイパス、その装置及び方法。
JP2011524046A (ja) * 2008-05-30 2011-08-25 アドバンスト・マイクロ・ディバイシズ・インコーポレイテッド シェーダ列のための冗長方法及び装置
JP2011524562A (ja) * 2008-05-30 2011-09-01 アドバンスト・マイクロ・ディバイシズ・インコーポレイテッド 拡大縮小可能で且つ統合化されたコンピュータシステム
US9367891B2 (en) 2008-05-30 2016-06-14 Advanced Micro Devices, Inc. Redundancy method and apparatus for shader column repair
US11948223B2 (en) 2008-05-30 2024-04-02 Advanced Micro Devices, Inc. Redundancy method and apparatus for shader column repair
US11386520B2 (en) 2008-05-30 2022-07-12 Advanced Micro Devices, Inc. Redundancy method and apparatus for shader column repair
US9093040B2 (en) 2008-05-30 2015-07-28 Advanced Micro Devices, Inc. Redundancy method and apparatus for shader column repair
US10861122B2 (en) 2008-05-30 2020-12-08 Advanced Micro Devices, Inc. Redundancy method and apparatus for shader column repair
JP2012503811A (ja) * 2008-09-24 2012-02-09 ザ・ベイカリー 複雑な３次元シーンのレンダリングまたはインターラクティブライティングをするための方法およびシステム
JP2013504129A (ja) * 2009-09-03 2013-02-04 アドバンスト・マイクロ・ディバイシズ・インコーポレイテッド 複数のシェーダエンジンを伴う処理ユニット
US9142057B2 (en) 2009-09-03 2015-09-22 Advanced Micro Devices, Inc. Processing unit with a plurality of shader engines
JP4756107B1 (ja) * 2011-02-09 2011-08-24 株式会社ディジタルメディアプロフェッショナル グラフィックス処理装置
JP2014529143A (ja) * 2011-09-12 2014-10-30 株式会社ソニー・コンピュータエンタテインメント テクスチャ座標導関数を用いた高速化テクスチャ検索
JP2015529859A (ja) * 2012-04-04 2015-10-08 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ グラフィックス処理におけるパッチされたシェーディング
KR102132040B1 (ko) * 2012-04-04 2020-07-08 퀄컴 인코포레이티드 그래픽스 프로세싱에서의 패치된 쉐이딩
KR20150002738A (ko) * 2012-04-04 2015-01-07 퀄컴 인코포레이티드 그래픽스 프로세싱에서의 패치된 쉐이딩
US11769294B2 (en) 2012-04-04 2023-09-26 Qualcomm Incorporated Patched shading in graphics processing
KR102046676B1 (ko) * 2012-04-04 2019-11-19 퀄컴 인코포레이티드 그래픽스 프로세싱에서의 패치된 쉐이딩
US10535185B2 (en) 2012-04-04 2020-01-14 Qualcomm Incorporated Patched shading in graphics processing
US10559123B2 (en) 2012-04-04 2020-02-11 Qualcomm Incorporated Patched shading in graphics processing
KR20150002742A (ko) * 2012-04-04 2015-01-07 퀄컴 인코포레이티드 그래픽스 프로세싱에서의 패치된 쉐이딩
US11200733B2 (en) 2012-04-04 2021-12-14 Qualcomm Incorporated Patched shading in graphics processing
JP2015529860A (ja) * 2012-04-04 2015-10-08 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ グラフィックス処理におけるパッチされたシェーディング
JP2016196290A (ja) * 2015-04-02 2016-11-24 ジーイー・アビエイション・システムズ・リミテッドＧｅ Ａｖｉａｔｉｏｎ Ｓｙｓｔｅｍｓ Ｌｉｍｉｔｅｄ アビオニクス表示システム
US9892551B2 (en) 2015-04-02 2018-02-13 Ge Aviation Systems Limited Avionics display system
US10832464B2 (en) 2015-04-08 2020-11-10 Arm Limited Graphics processing systems for performing per-fragment operations when executing a fragment shader program
JP7038548B2 (ja) 2015-04-08 2022-03-18 アーム・リミテッド グラフィックス処理システム
JP2018514034A (ja) * 2015-04-08 2018-05-31 アーム・リミテッド グラフィックス処理システム
JP7451568B2 (ja) 2019-06-03 2024-03-18 マイクロソフト テクノロジー ライセンシング，エルエルシー コンパイラの精度選定によるシェーダプログラムの加速化

Also Published As

Publication number Publication date
CN101156176A (zh) 2008-04-02
JPWO2007049610A1 (ja) 2009-04-30
US20090051687A1 (en) 2009-02-26

Similar Documents

Publication Publication Date Title
WO2007049610A1 (ja) 画像処理装置
US11023996B2 (en) Graphics processing architecture employing a unified shader
US10140678B2 (en) Specialized code paths in GPU processing
US6807620B1 (en) Game system with graphics processor
US8074224B1 (en) Managing state information for a multi-threaded processor
US6624819B1 (en) Method and system for providing a flexible and efficient processor for use in a graphics processing system
US20150279090A1 (en) Methods of and apparatus for assigning vertex and fragment shading operations to a multi-threaded multi-format blending device
US20170287209A1 (en) Per-Sample MSAA Rendering Using Comprehension Data
WO2017171568A1 (en) Apparatus and method for asynchronous texel shading
JP2022541461A (ja) チップレット統合型機械学習アクセラレータ
US11068401B2 (en) Method and apparatus to improve shared memory efficiency
JP2023525725A (ja) データ圧縮の方法及び装置
US10943336B2 (en) Tone-mapping high dynamic range images
US7847803B1 (en) Method and apparatus for interleaved graphics processing
WO2006054389A1 (ja) 描画処理装置および描画処理方法
US11656877B2 (en) Wavefront selection and execution

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200680011822.3

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2007521167

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 11816576

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 06822132

Country of ref document: EP

Kind code of ref document: A1