WO2022196200A1 - 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム - Google Patents

情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム Download PDF

Info

Publication number
WO2022196200A1
WO2022196200A1 PCT/JP2022/005356 JP2022005356W WO2022196200A1 WO 2022196200 A1 WO2022196200 A1 WO 2022196200A1 JP 2022005356 W JP2022005356 W JP 2022005356W WO 2022196200 A1 WO2022196200 A1 WO 2022196200A1
Authority
WO
WIPO (PCT)
Prior art keywords
rendering
rendered image
information processing
resolution
restoration
Prior art date
Application number
PCT/JP2022/005356
Other languages
English (en)
French (fr)
Inventor
幸司 西田
紀晃 高橋
孝明 鈴木
優斗 小林
大輔 入江
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to CN202280019857.0A priority Critical patent/CN116964635A/zh
Priority to US18/549,324 priority patent/US20240169657A1/en
Publication of WO2022196200A1 publication Critical patent/WO2022196200A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/36—Level of detail

Definitions

  • the present disclosure relates to an information processing device, an information processing method, an information processing program, and an information processing system that render model data by ray tracing.
  • General path tracing uses the Monte Carlo method, which randomly calculates a fixed number of samples for each pixel. Typically, there are 1000 ray traces per pixel (1000 SPP), so rendering a 4K image would require computation of 4000 ⁇ 2000 ⁇ 1000 rays.
  • Non-Patent Document 1 pre-rendering is first performed with 1SPP to create a noisy image, and the noisy image and its denoised image are used as inputs to learn a DNN that predicts a sampling map.
  • This sampling map is an output as an image of how difficult it is to render that pixel (that is, how many SPPs are required to render that pixel well).
  • the actual rendering is performed based on the sampling map.
  • the number of SPPs at this time is an optimum value for each pixel, which is larger than that for pre-rendering (1 SPP) but far smaller than normal (1000 SPP).
  • a DNN that removes noise by inputting the rendered image output last is learned.
  • two DNNs, the sampling map prediction DNN and the denoising DNN are optimally interlocked and learned so that the error in the final result is reduced.
  • Patent Literature 1 like Non-Patent Literature 1, discloses adaptive sampling configured to learn a DNN that predicts a sampling map from a noisy image created by pre-rendering at a low SPP (1SPP) and an image obtained by denoising it. do.
  • Patent Document 2 discloses a method of displaying in low resolution at first and gradually increasing the resolution in rendering via a network.
  • Patent Document 2 only the resolution is changed, restoration processing is not performed, and the rendering reduction rate is simply obtained from the transmission bandwidth and the rendering speed.
  • Patent Document 3 discloses that in HMD (Head Mounted Display), MSAA (Multi-Sample Anti-Aliasing) rendering method is used when rendering with different resolutions depending on the position from the center of the pixel and the importance of the subject. anti-aliasing.
  • MSAA Multi-Sample Anti-Aliasing rendering method
  • the restoration is simply an accumulation average, and the rendering reduction rate is not predicted according to the Loss after restoration.
  • Non-Patent Document 1 and Patent Document 1 a sampling map that adaptively controls only SPP is predicted. However, even if only the SPP is adaptively changed, there is a limit to the effect of reducing the computation time.
  • the purpose of the present disclosure is to render model data with high quality and in a short time by ray tracing.
  • An information processing device includes: a pre-rendering unit that pre-renders model data by ray tracing to create a pre-rendered image; a prediction unit that predicts the degree of difficulty of restoration in the pre-rendered image; A rendering condition determination unit that determines rendering conditions that specify the resolution and SPP (Sample Per Pixel) of each element in the pre-rendered image based on the difficulty level of restoration, and creates an adaptive control signal that sets the rendering conditions.
  • a pre-rendering unit that pre-renders model data by ray tracing to create a pre-rendered image
  • a prediction unit that predicts the degree of difficulty of restoration in the pre-rendered image
  • a rendering condition determination unit that determines rendering conditions that specify the resolution and SPP (Sample Per Pixel) of each element in the pre-rendered image based on the difficulty level of restoration, and creates an adaptive control signal that sets the rendering conditions.
  • a rendering unit that creates an adaptive rendering image by rendering the model data by ray tracing according to the rendering condition for each element set in the adaptive control signal
  • a rendered image restoration unit that restores the adaptive rendered image by super-resolution and denoising to create a final rendered image.
  • the SPP not only the SPP but also the resolution are adaptively controlled for each element. This makes it possible to predict the optimal combination of SPP and resolution for each element, adaptively render, restore (denoise and super-resolution), and output the final rendered image at high speed while maintaining image quality. .
  • the rendering conditions further specify the number of images, the number of bounces, the number of refractions of internal transmission, random number sequences of noise, bit depth, temporal resolution, on/off of light component, on/off of antialiasing and/or number of subsamples. You may
  • the rendering condition determination unit may determine the rendering conditions based on image processing, points of interest, importance of subjects, and/or display information.
  • Condition prediction can be performed more easily and lightly. Also, by combining with the condition prediction DNN, the accuracy of the rendering condition can be improved.
  • the rendering condition determining unit may determine the rendering condition for each element, for each pixel, for each patch containing a plurality of pixels, or for each object area.
  • the accuracy of the adaptive control signal can be improved and the continuity between adjacent pixels can be maintained.
  • the rendering conditions for each object it is possible to determine the rendering conditions that follow the edge and have less protrusion. It can improve the prediction accuracy of rendering conditions and reduce computation time.
  • the rendering condition determination unit determines a rendering condition for each of the partial elements, Other rendering conditions for each element may be predetermined.
  • the calculation time can be reduced, the output processing of each frame can be accelerated, and real-time rendering can be achieved.
  • the prediction unit inputs the pre-rendered image to a conditional prediction DNN (Deep Neural Network) to predict the difficulty level of restoration for each element
  • the rendered image restoring unit may generate the final rendered image by inputting the adaptive rendered image and the adaptive control signal to a restored DNN learned simultaneously with the conditional prediction DNN.
  • conditional prediction coefficients for uniformly outputting the target SPP and target resolution for the entire screen. Then, an image obtained by rendering with the uniform target SPP and target resolution for the entire screen is used as a student, and an image restoration coefficient for restoration (denoising and super-resolution) for predicting a teacher image is learned. As a result, learning of the conditional prediction DNN and the restoration DNN can be performed at the same time.
  • the prediction unit predicts a sampling map indicating a difficulty level of restoration for each element in the pre-rendered image
  • the rendering condition determining unit may create the adaptive control signal based on the sampling map.
  • an appropriate adaptive control signal can be created according to the difficulty of restoration. For example, elements with high recovery difficulty can create adaptive control signals for relatively high SPP and high resolution rendering conditions. As a result, it is possible to output a final rendered image with image quality equivalent to that of the goal image.
  • the prediction unit predicts a resolution sampling map and an SPP sampling map
  • the rendering condition determining unit may set the rendering condition for the resolution based on the sampling map for the resolution, and set the rendering condition for the SPP based on the sampling map for the SPP.
  • the rendering condition determination unit may specify the resolution and SPP without performing any particular conversion.
  • the prediction unit predicts the one-dimensional sampling map
  • the rendering condition determining unit may set a resolution rendering condition and an SPP rendering condition based on the one-dimensional sampling map.
  • the rendering condition determining unit may specify a combination of resolution and SPP according to an arbitrary conversion formula from the predicted one-dimensional sampling map.
  • the SPP of the pre-rendered image may be lower than the SPP of the final rendered image.
  • the resolution of the pre-rendered image may be lower than the resolution of the final rendered image.
  • An information processing method includes: Pre-render the model data by ray tracing to create a pre-rendered image, predicting the difficulty of restoration in the pre-rendered image; Based on the degree of difficulty of restoration, determine a rendering condition that specifies the resolution and SPP (Sample Per Pixel) of each element in the pre-rendered image, and create an adaptive control signal that sets the rendering condition; creating an adaptive rendering image by rendering the model data by ray tracing according to the rendering condition for each element set in the adaptive control signal; The adaptive rendered image is reconstructed by super-resolution and denoising to create a final rendered image.
  • SPP Sample Per Pixel
  • An information processing program includes the processor of the information processing device, a pre-rendering unit that pre-renders model data by ray tracing to create a pre-rendered image; a prediction unit that predicts the degree of difficulty of restoration in the pre-rendered image; A rendering condition determination unit that determines rendering conditions that specify the resolution and SPP (Sample Per Pixel) of each element in the pre-rendered image based on the difficulty level of restoration, and creates an adaptive control signal that sets the rendering conditions.
  • SPP Sample Per Pixel
  • a rendering unit that creates an adaptive rendering image by rendering the model data by ray tracing according to the rendering condition for each element set in the adaptive control signal; It operates as a rendered image restoration unit that restores the adaptive rendered image by performing super-resolution and denoising to create a final rendered image.
  • An information processing system includes: a pre-rendering unit that pre-renders model data by ray tracing to create a pre-rendered image; a prediction unit that predicts the degree of difficulty of restoration in the pre-rendered image; A rendering condition determination unit that determines rendering conditions that specify the resolution and SPP (Sample Per Pixel) of each element in the pre-rendered image based on the difficulty level of restoration, and creates an adaptive control signal that sets the rendering conditions.
  • a pre-rendering unit that pre-renders model data by ray tracing to create a pre-rendered image
  • a prediction unit that predicts the degree of difficulty of restoration in the pre-rendered image
  • a rendering condition determination unit that determines rendering conditions that specify the resolution and SPP (Sample Per Pixel) of each element in the pre-rendered image based on the difficulty level of restoration, and creates an adaptive control signal that sets the rendering conditions.
  • a rendering unit that creates an adaptive rendering image by rendering the model data by ray tracing according to the rendering condition for each element set in the adaptive control signal
  • a rendered image restoration unit that restores the adaptive rendered image by super-resolution and denoising to create a final rendered image.
  • FIG. 1 shows a configuration of an information processing device according to an embodiment of the present disclosure
  • 4 shows an operation flow of the information processing apparatus
  • FIG. 1 shows the configuration of an information processing device according to an embodiment of the present disclosure.
  • the information processing device 100 is, for example, a device that renders images for displaying on a 3D display capable of displaying 3D images.
  • the information processing device 100 is built in or externally connected to a 3D display, for example.
  • the information processing apparatus 100 loads an information processing program recorded in a ROM into a RAM and executes it, thereby obtaining a pre-rendering unit 101, a sampling map prediction unit 102, a rendering condition determination unit 103, a rendering unit 104, and a rendered image. It operates as the restoration unit 105 .
  • FIG. 2 shows the operation flow of the information processing device.
  • the information processing apparatus 100 repeatedly executes the processes from step S101 onward for each frame.
  • Step S101 Read model data
  • the pre-rendering unit 101 reads model data input as data to be rendered.
  • the model data is, for example, 3D CG model data.
  • Step S102 Execute pre-rendering
  • the pre-rendering unit 101 pre-renders the input model data by ray tracing to create a pre-rendered image.
  • the pre-rendering unit 101 pre-renders the model data, for example, at the same resolution as the output resolution (that is, the resolution of the final rendering image to be output) and at a low SPP of about 1 SPP.
  • the pre-rendering unit 101 may pre-render the model data at a resolution lower than the output resolution (eg, 1 ⁇ 4 or 1/16) and/or at an SPP greater than one.
  • a pre-rendered image created by the pre-rendering unit 101 is a noisy rendered image.
  • the pre-rendering unit 101 may also create various other AOV (Arbitrary Output Variable) images (that is, images for each element such as depth, normal, albedo, diffusion, and reflection).
  • AOV Arbitrary Output Variable
  • the pre-rendering unit 101 inputs the pre-rendering image to the sampling map prediction unit 102 .
  • the sampling map prediction unit 102 is a conditional prediction DNN that predicts a sampling map representing the degree of rendering difficulty (difficulty) from the input noisy pre-rendered image.
  • Step S103 Cut out patches from the pre-rendered image
  • the sampling map prediction unit 102 scans the pre-rendered image and cuts out a plurality of patches from the pre-rendered image.
  • the patch size is equal to the input patch size of the conditional predictive DNN.
  • the sampling map prediction unit 102 may cut out patches so as to sequentially raster scan from the upper left of the pre-rendered image.
  • Step S104 Input the patch to the conditional prediction DNN and predict the sampling map
  • the sampling map prediction unit 102 inputs the extracted patch to the conditional prediction DNN and predicts the sampling map.
  • the sampling map indicates the rendering difficulty (difficulty). In other words, the sampling map prediction unit 102 predicts the difficulty level of restoration in the pre-rendered image.
  • a sampling map prediction unit 102 predicts a sampling map using pre-learned conditional prediction coefficients 106 . When learning is performed using not only pre-rendered images but also various AOV images, the sampling map prediction unit 102 also cuts out patches of the corresponding AOV images and inputs them to the conditional prediction DNN.
  • condition prediction coefficient 106 will be explained.
  • the conditional prediction coefficients 106 are trained with high SPP and high resolution rendered images created from a large amount of CG models, and are trained with low SPP (eg, 1 SPP) and low resolution (eg, 1/4 and 1/16) rendered images. , and a restored image restored (denoised and super-resolved) by the restored DNN are used as inputs for learning.
  • a specific learning procedure for the conditional prediction coefficients 106 will be described.
  • a conditional prediction coefficient 106 is set to uniformly output the target SPP (4SPP, for example) and the target resolution (4K, for example) for the entire screen.
  • the image restoration (denoising and super-resolution) for predicting the teacher image is learned by learning the image restoration coefficient 107 for the restoration (denoising and super-resolution) for predicting the teacher image by using the result image of rendering with the uniform target SPP and target resolution for the entire screen as a student.
  • Loss is the difference between the inference image output as a result of this learning and the teacher image.
  • the condition prediction coefficient 106 is learned so as to reduce this loss.
  • the conditional prediction coefficient 106 increases the SPP and resolution where the Loss is large and decreases the SPP and resolution where the Loss is small so that the average of the SPP and resolution of the entire screen becomes the target SPP and target resolution. Calculate the sampling map.
  • NR also called noise reduction
  • SR super resolution
  • sampling map output by the sampling map prediction unit 102 is not limited to a one-dimensional map representing the difficulty of rendering. Anything is fine.
  • the sampling map prediction unit 102 may predict a one-dimensional sampling map commonly used for resolution and SPP, or may predict the resolution sampling map and the SPP sampling map separately.
  • further sampling maps may be predicted for further information (eg, image processing, points of interest, subject importance and/or display information).
  • Step S105 Determine rendering conditions from the sampling map
  • the rendering condition determination unit 103 determines rendering conditions for each element (for example, each pixel, each patch containing a plurality of pixels, or each object region) in the pre-rendered image based on a sampling map indicating the degree of difficulty of restoration. Rendering conditions specify the resolution and SPP for each element in the pre-rendered image.
  • the rendering condition determination unit 103 creates an adaptive control signal that sets the determined rendering conditions. In other words, the rendering condition determination unit 103 calculates an adaptive control signal that sets actual rendering conditions for each element from the sampling map predicted by the sampling map prediction unit 102 .
  • the rendering condition determination unit 103 may specify a combination of resolution and SPP according to an arbitrary conversion formula from the predicted one-dimensional sampling map.
  • the rendering condition determination unit 103 may specify the resolution and SPP without performing any particular conversion.
  • the rendering condition determination unit 103 may convert the sampling map according to an arbitrary conversion formula according to setting conditions (high speed, high resolution, etc.) input by the user (director or viewer).
  • Step S106 Determine the rendering conditions for the full screen
  • the rendering condition determination unit 103 determines rendering conditions for each element of the full screen of the pre-rendered image.
  • Step S107 Execute rendering
  • the rendering unit 104 creates an adaptive rendering image by rendering the model data by ray tracing according to the rendering conditions for each element set in the adaptive control signal. That is, the rendering unit 104 creates an adaptive rendering image by rendering the model data for each element with the resolution and SPP specified for each element by the adaptive control signal. In other words, the rendering unit 104 performs the main rendering according to the rendering conditions defined by the calculated adaptive control signal. In short, the rendering unit 104 performs rendering while changing the conditions for each element based on the locally optimum combination of SPP and resolution according to the adaptive control signal.
  • the rendering unit 104 basically uses the same renderer (rendering software) as the pre-rendering unit 101, but may use another renderer (such as a renderer that performs more advanced ray calculation).
  • Step S108 Cut out patches from the adaptive rendering image
  • the rendered image restoration unit 105 scans the adaptive rendered image and cuts out a plurality of patches from the adaptive rendered image.
  • the size of the patch is equal to the input patch size of the reconstructed DNN.
  • the rendered image restoration unit 105 may cut out patches so as to sequentially perform raster scanning from the upper left of the adaptive rendered image.
  • the input patch size of the restoration DNN may be equal to or different from the input patch size of the conditional prediction DNN.
  • Step S109 Input the adaptive control signal and patch to the restoration DNN, and predict the output image
  • the rendered image restoration unit 105 inputs the adaptive control signal and the patch extracted from the adaptive rendered image to the restoration DNN, and predicts the output image for each patch.
  • the rendering conditions set in the adaptive control signals specify the resolution and SPP for each element.
  • the decompressor DNN simultaneously handles two tasks of super-resolution and denoising.
  • the rendered image restoration unit 105 restores the patch by super-resolution and denoising.
  • the image restoration coefficients 107 are learned together with the conditional prediction coefficients 106 .
  • the rendered image restoration unit 105 may use not only the adaptive rendered image but also sampling maps and various AOV images. In that case, it is necessary to carry out learning under those conditions.
  • Step S110 Predict full-screen output image
  • the rendering image restoration unit 105 predicts output images for all patches.
  • Step S111 Output the final rendering result
  • the rendered image restoration unit 105 connects the super-resolved and denoised output images of all patches to create and output the final rendering result.
  • step S105 the rendering condition determination unit 103 determines rendering conditions for each element in the pre-rendered image from the sampling map, and creates adaptive control signals for setting the determined rendering conditions. Various variations of rendering conditions are described.
  • the rendering condition determining unit 103 may specify other rendering conditions in addition to the SPP and resolution as rendering conditions.
  • the rendering conditions may further include the number of images, the number of bounces, the number of internal transmission refractions, the noise random number sequence, the bit depth, the temporal resolution, the light component on/off, the antialiasing on/off, and/or the number of subsamples. May be specified. Different effects are required for the restored DNN depending on the adaptively changed rendering conditions. As a result, adaptive rendering can be performed more efficiently or under conditions that meet the user's wishes.
  • the number of images means dividing the SPP in the direction of the number of images. For example, creating five sheets of 2SPP instead of 10SPP changes the ease of denoising.
  • the restoration DNN becomes a DNN that performs not only super-resolution and denoising but also fusion of a plurality of images.
  • the number of bounces means how many times a light ray hits an object and is reflected.
  • the number of refractions for internal transmission means how many times the light rays are refracted on the way when they enter the transparent object.
  • the noise random number sequence means switching between high-frequency-oriented or low-frequency-oriented random numbers.
  • Ray tracing uses a technique called Monte Carlo sampling, in which a ray is sampled in a random direction each time it diverges or refracts, and the result is calculated when the ray travels in that direction.
  • Monte Carlo sampling in which a ray is sampled in a random direction each time it diverges or refracts, and the result is calculated when the ray travels in that direction.
  • white noise is used in random sampling, unevenness and fineness will occur locally.
  • more advantageous rendering is performed by switching between high frequency emphasis, low frequency emphasis, and random numbers according to the characteristics of the region such as a flat portion and a complicated portion.
  • Bit depth means whether the number of bits is full or reduced. Since collision calculations are performed many times in ray tracing, if the full number of bits is calculated each time, the amount of calculation becomes enormous, so unnecessary bits are reduced for each pixel.
  • Temporal resolution means the frame rate during video rendering.
  • On/off of light components means on/off of diffused light, reflected light and/or transmitted light components. In ray tracing, various components other than direct light are tracked, and each component is turned on/off for each pixel.
  • Antialiasing on/off and the number of subsamples are antialiasing settings.
  • ray tracing if rendering is simply performed for each pixel, jaggies occur in oblique lines and the like, so various types of anti-aliasing are performed.
  • the representative methods of SSAA (Supersampling Anti-Aliasing) and MSAA (Multi Sample Anti-Aliasing) calculate four sub-sampling points for one pixel and mix them to obtain the final pixel value Ask for The anti-aliasing function is turned on/off and the number of sub-sampling points is changed for each pixel.
  • the rendering condition determination unit 103 may determine rendering conditions using a method other than DNN-based learning. For example, the rendering condition determination unit 103 may determine rendering conditions and generate adaptive control signals by model-based signal processing or external settings. Specifically, the rendering condition determination unit 103 may determine rendering conditions based on image processing, points of interest, subject importance, and/or display information. As a result, condition prediction can be performed more easily and lightly. Also, by combining with the condition prediction DNN, the accuracy of the rendering condition can be improved.
  • the rendering condition determination unit 103 may determine rendering conditions based on detection (edge, flatness, brightness, depth, motion amount) according to the difficulty level of rendering and restoration. Flat areas, dark areas, and blurred areas (due to out-of-focus, rapid motion, etc.) can be easily restored by super-resolution and denoising, even if the resolution and number of SPPs are small.
  • Known model-based image processing can detect such regions and create adaptive control signals to simplify rendering.
  • the rendering condition determining unit 103 may determine the rendering condition based on the point of interest and the importance of the subject. Points of interest and important objects can be rendered at high resolution and high SPP, and simplified elsewhere. Such an adaptive control signal can be generated by detecting it by image processing or externally designated by the user.
  • the rendering condition determination unit 103 may determine rendering conditions based on user (director or viewer) preferences.
  • the rendering condition determination unit 103 can be created by externally designating an adaptive control signal that changes the rendering condition. For example, if the resolution is important, the resolution can be allocated, and if the noise reduction is important, the SPP can be allocated more resources. Priorities can be set for temporal resolution, bit depth, anti-aliasing, and various components. In addition, in the case of 3D, it is possible to make settings such as emphasizing rendering on the effective side.
  • the rendering condition determining unit 103 may determine the rendering condition based on various information when displaying 3D or the like.
  • viewpoints such as the ends can be rendered with high resolution and high SPP, and viewpoint positions in between can be simplified and rendered.
  • the resolution and SPP are increased for rendering in areas such as occlusion areas (areas on the back side of the solid) and screen edges where sufficient information cannot be obtained only from the two-end viewpoints.
  • An adaptive control signal reflecting such a viewpoint position and the presence or absence of occlusion can be set by external setting or Visible calculation.
  • the rendering condition determining unit 103 may determine the rendering condition according to the display characteristics of the display. For example, in accordance with the resolution of the display, rendering is performed at a resolution that is 1/4 or 1/16 times the resolution. For special displays such as 3D displays, rendering may be performed according to display characteristics other than resolution. For example, in a lenticular 3D display, aliasing and false colors occur depending on the phase relationship between the lenticular lens and the pixels of the panel. Therefore, it is possible to calculate optimal rendering conditions from these characteristics and set adaptive control signals.
  • the rendering condition determination unit 103 may determine rendering conditions for each element in the pre-rendered image, for each pixel, for each patch containing a plurality of pixels, or for each object area. This improves the prediction accuracy of the rendering conditions and reduces the computation time. Basically, the rendering condition determining unit 103 may set rendering conditions for each pixel, but instead of pixels, rendering conditions may be set for each rectangular patch, for example.
  • the sampling map prediction unit 102 calculates a sampling map using the conditional prediction DNN. Also, the rendering image restoration unit 105 restores (super-resolution, denoises) the adaptive rendering image using the restoration DNN. These conditional prediction DNN and restoration DNN process each rectangular patch extracted from the input image (pre-rendered image and adaptive rendered image).
  • the rendering condition determination unit 103 may determine rendering conditions for each rectangular patch as each element in the pre-rendered image. By determining the rendering condition not for each pixel but for each region containing a plurality of pixels in this way, it is possible to improve the accuracy of the adaptive control signal and maintain the continuity between adjacent pixels.
  • the size of this rectangular patch may not be the same as the patch size of the conditional prediction DNN and the restoration DNN.
  • the patch of the conditional prediction DNN may be further divided into four and aggregated, or a completely different patch size may be adopted. Also, a plurality of sampling maps (adaptive control signals) may be multiplied.
  • the rendering condition determining unit 103 may determine rendering conditions for each object region for each element in the pre-rendered image.
  • the object area means a meaningful object area such as a person, unlike a mechanically divided rectangular patch.
  • the rendering condition determination unit 103 divides a pre-rendered image pre-rendered in 1SPP into a plurality of object regions using an existing semantic segmentation technique, aggregates the rendering conditions for each pixel for each object region, and calculates the object You can set the rendering conditions for each.
  • the rendering conditions for each object can be set with high precision, and the rendering conditions that follow the edge and have less protrusion can be determined.
  • the rendering condition determining unit 103 may determine rendering conditions for some elements and determine rendering conditions for other elements in advance. Some of the rendering conditions can be pre-computed (before the start of the operational flow of FIG. 2) rather than being computed at pre-rendering time. As a result, the calculation time can be reduced, the speed of output processing for each frame can be increased, and real-time rendering can be realized. Such pre-rendering requires conditions at all times and viewpoints during animation and free-viewpoint generation. This pre-calculation can be performed for all conditions, or can be thinned out at arbitrary intervals. It is also possible to pre-calculate the times and viewpoints of high importance in advance. It is also possible to precalculate only places that do not change with time or viewpoint.
  • the information processing apparatus 100 has a pre-rendering unit 101 , a sampling map prediction unit 102 , a rendering condition determination unit 103 , a rendering unit 104 and a rendering image restoration unit 105 .
  • the server-side information processing device has a pre-rendering unit 101, a sampling map prediction unit 102, a rendering condition determination unit 103, and a rendering unit 104, and the client-side information processing device has a rendering image restoration unit 105. (not shown).
  • the information processing device on the client side is, for example, built in or externally connected to the 3D display at the end user site.
  • the video may be compressed during transmission.
  • the rendering image is degraded by compression.
  • the adaptive control signal at this time can be set not only for the entire screen uniformly according to the band, but also for each area according to the easiness of compression.
  • the server-side information processing device has a pre-rendering unit 101, a sampling map prediction unit 102, and a rendering condition determination unit 103, and the client-side information processing device has a rendering unit 104 and a rendered image restoration unit 105.
  • a system may be implemented (not shown).
  • the information processing device on the client side is, for example, built in or externally connected to the 3D display at the end user site.
  • adaptive control signals can also be transmitted at the same time. This allows for optimal adaptive rendering on the client side.
  • optimal restoration processing is performed by transmitting adaptive control signals. be able to.
  • this also applies to cases where super-resolution only, denoising only, or other signal processing is performed.
  • a technique for predicting a sampling map that adaptively controls only the SPP is known.
  • the resolution can be reduced to 1/4 or 1/16 to dramatically reduce computation time while maintaining image quality.
  • not only the SPP but also the resolution are adaptively controlled for each element.
  • the optimal combination of SPP and resolution is locally predicted, adaptively rendered, restored (denoising and super-resolution) by the restoration DNN, and the final rendered image with the same image quality as the goal image is output at high speed. can do.
  • the present disclosure may have the following configurations.
  • a pre-rendering unit that pre-renders model data by ray tracing to create a pre-rendered image
  • a prediction unit that predicts the degree of difficulty of restoration in the pre-rendered image
  • a rendering condition determination unit that determines rendering conditions that specify the resolution and SPP (Sample Per Pixel) of each element in the pre-rendered image based on the difficulty level of restoration, and creates an adaptive control signal that sets the rendering conditions.
  • SPP Sample Per Pixel
  • the rendering conditions further specify the number of images, the number of bounces, the number of refractions of internal transmission, random number sequences of noise, bit depth, temporal resolution, on/off of light component, on/off of antialiasing and/or number of subsamples.
  • Information processing equipment (3) The information processing device according to (1) or (2) above, The information processing apparatus, wherein the rendering condition determining unit determines the rendering condition based on image processing, a point of interest, importance of a subject, and/or display information.
  • the information processing device determines the rendering condition for each element, for each pixel, for each patch including a plurality of pixels, or for each object region.
  • the rendering condition determination unit determines a rendering condition for each of the partial elements, A rendering condition for each of the other elements is determined in advance. Information processing apparatus.
  • the prediction unit inputs the pre-rendered image to a conditional prediction DNN (Deep Neural Network) to predict the difficulty level of restoration for each element
  • the rendered image restoration unit inputs the adaptive rendered image and the adaptive control signal to a restoration DNN learned simultaneously with the conditional prediction DNN to create the final rendered image.
  • the prediction unit predicts a sampling map indicating a difficulty level of restoration for each element in the pre-rendered image
  • the information processing apparatus, wherein the rendering condition determination unit creates the adaptive control signal based on the sampling map.
  • the prediction unit predicts a resolution sampling map and an SPP sampling map
  • the said rendering condition determination part sets the rendering condition of resolution based on the sampling map of said resolution, and sets the rendering condition of SPP based on said sampling map of SPP.
  • the prediction unit predicts the one-dimensional sampling map
  • the information processing apparatus wherein the rendering condition determination unit sets a resolution rendering condition and an SPP rendering condition based on the one-dimensional sampling map.
  • the information processing device according to any one of (1) to (10) above, The information processing apparatus, wherein the resolution of the pre-rendered image is lower than the resolution of the final rendered image.
  • (12) Pre-render the model data by ray tracing to create a pre-rendered image, predicting the difficulty of restoration in the pre-rendered image; Based on the degree of difficulty of restoration, determine a rendering condition that specifies the resolution and SPP (Sample Per Pixel) of each element in the pre-rendered image, and create an adaptive control signal that sets the rendering condition; creating an adaptive rendering image by rendering the model data by ray tracing according to the rendering condition for each element set in the adaptive control signal; An information processing method for reconstructing the adaptive rendered image by super-resolution and denoising to create a final rendered image.
  • SPP Sample Per Pixel
  • a pre-rendering unit that pre-renders model data by ray tracing to create a pre-rendered image
  • a prediction unit that predicts the degree of difficulty of restoration in the pre-rendered image
  • a rendering condition determination unit that determines rendering conditions that specify the resolution and SPP (Sample Per Pixel) of each element in the pre-rendered image based on the difficulty level of restoration, and creates an adaptive control signal that sets the rendering conditions.
  • a rendering unit that creates an adaptive rendering image by rendering the model data by ray tracing according to the rendering condition for each element set in the adaptive control signal;
  • An information processing program that operates as a rendered image restoration unit that restores the adaptive rendered image by performing super-resolution and denoising to create a final rendered image.
  • a pre-rendering unit that pre-renders model data by ray tracing to create a pre-rendered image; a prediction unit that predicts the degree of difficulty of restoration in the pre-rendered image;
  • a rendering condition determination unit that determines rendering conditions that specify the resolution and SPP (Sample Per Pixel) of each element in the pre-rendered image based on the difficulty level of restoration, and creates an adaptive control signal that sets the rendering conditions.
  • a rendering unit that creates an adaptive rendering image by rendering the model data by ray tracing according to the rendering condition for each element set in the adaptive control signal;
  • a rendered image restoration unit that restores the adaptive rendered image by performing super-resolution and denoising to create a final rendered image.
  • the processor of the information processing device a pre-rendering unit that pre-renders model data by ray tracing to create a pre-rendered image; a prediction unit that predicts the degree of difficulty of restoration in the pre-rendered image;
  • a rendering condition determination unit that determines rendering conditions that specify the resolution and SPP (Sample Per Pixel) of each element in the pre-rendered image based on the difficulty level of restoration, and creates an adaptive control signal that sets the rendering conditions.
  • a rendering unit that creates an adaptive rendering image by rendering the model data by ray tracing according to the rendering condition for each element set in the adaptive control signal
  • a non-transitory computer-readable recording medium recording an information processing program that operates as a rendered image restoration unit that restores the adaptive rendered image by super-resolution and denoising to create a final rendered image.
  • Pre-rendering unit 101 Sampling map prediction unit 102
  • Rendering condition determination unit 103 Rendering unit 104 Rendered image restoration unit 105 condition prediction coefficient 106 Image restoration coefficient 107

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)

Abstract

【課題】高品質かつ短時間でモデルデータをレイトレーシングによりレンダリングする。 【解決手段】情報処理装置は、モデルデータをレイトレーシングによりプリレンダリングしてプリレンダリング画像を作成するプリレンダリング部と、プリレンダリング画像内の復元の難易度を予測する予測部と、復元の難易度に基づき、プリレンダリング画像内の要素毎の解像度及びＳＰＰを指定するレンダリング条件を決定し、レンダリング条件を設定するアダプティブ制御信号を作成するレンダリング条件決定部と、アダプティブ制御信号に設定された要素毎のレンダリング条件に従って、モデルデータをレイトレーシングによりレンダリングすることにより、アダプティブレンダリング画像を作成するレンダリング部と、アダプティブレンダリング画像を超解像及びデノイズすることにより復元して最終レンダリング画像を作成するレンダリング画像復元部とを具備する。

Description

情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム
　本開示は、モデルデータをレイトレーシングによりレンダリングする情報処理装置、情報処理方法、情報処理プログラム及び情報処理システムに関する。
　一般的なパストレーシング（レイトレーシング）では、画素ごとに固定の数のサンプルをランダムに計算するモンテカルロ法が用いられる。一般的には１画素あたり１０００本（１０００ＳＰＰ）程度の光線追跡が行われ、その場合に４Ｋ画像のレンダリングには、４０００ｘ２０００ｘ１０００本の光線の計算が必要になる。これに対して従来のアダプティブサンプリングでは、ある程度（√１０００＝３２）のサンプルを計算した時点でレンダリング結果の誤差を予測し、その誤差がしきい値を超えている場合はサンプルを追加していく。そして誤差がしきい値を下回った時点でサンプリングの追加を打ち切るという手法が取られる。
　それに対して、非特許文献１では、最初に１ＳＰＰでプリレンダリングを行ってノイジーな画像を作成し、そのノイジー画像とそれをデノイズした画像を入力として、サンプリングマップを予測するＤＮＮを学習する。このサンプリングマップとは、その画素のレンダリングがどれだけ難しいか（即ち、その画素をきれいにレンダリングするためにどれだけ多くのＳＰＰ数が必要か）を画像として出力したものである。次に、そのサンプリングマップをもとにして本番のレンダリングを行う。このときのＳＰＰ数は画素ごとに最適な値が用いられ、プリレンダリング時（１ＳＰＰ）よりは多いが、通常（１０００ＳＰＰ）よりは遥かに少ない。最後に出力されたレンダリング画像を入力してノイズを除去する（デノイズ）ＤＮＮを学習する。非特許文献１は、このサンプリングマップ予測ＤＮＮと、デノイズＤＮＮの２つのＤＮＮを、最終結果の誤差が少なくなるように最適に連動させて学習する。
　特許文献１は、非特許文献１と同様に、低ＳＰＰ（１ＳＰＰ）程度のプリレンダリングで作成したノイジー画像とそれをデノイズした画像からサンプリングマップを予測するＤＮＮを学習するという構成のアダプティブサンプリングを開示する。
　特許文献２は、ネットワーク経由のレンダリングにおいて、最初は低解像度で表示し、徐々に解像度を高くしていく手法を開示する。特許文献２は、変化させているのは解像度だけであり、復元処理を行っておらず、レンダリングの削減率を単純に送信帯域幅やレンダリング速度から求めるだけである。
　特許文献３は、ＨＭＤ（Head Mounted Display）において、画素の中心からの位置や被写体の重要度に応じて、解像度を変えてレンダリングする際にＭＳＡＡ（Multi-Sample Anti-Aliasing）レンダリング手法を用いてアンチエイリアシングする。特許文献３は、変化させているのは解像度だけであり、復元が単に蓄積平均であり、復元後のＬｏｓｓに応じてレンダリングの削減率を予測していない。
米国特許第１０７０６５０８号明細書 特表２０１３－５３３５４０号公報 特表２０２０－５１０９１８号公報
Alexandr Kuznetsov, Nima Khademi Kalantari, and Ravi Ramamoorthi, "Deep Adaptive Sampling for Low Sample Count Rendering", [online], 2018, Eurographics Symposium on Rendering 2018 Volume 37 (2018) Number 4, [2021年2月19日検索], インターネット<URL：https://people.engr.tamu.edu/nimak/Data/EGSR18_Sampling.pdf>
　非特許文献１及び特許文献１によれば、ＳＰＰのみをアダプティブに制御するサンプリングマップを予測する。しかしながら、ＳＰＰのみをアダプティブに変化させても、計算時間の削減効果には限界がある。
　以上のような事情に鑑み、本開示の目的は、高品質かつ短時間でモデルデータをレイトレーシングによりレンダリングすることにある。
　本開示の一形態に係る情報処理装置は、
　モデルデータをレイトレーシングによりプリレンダリングしてプリレンダリング画像を作成するプリレンダリング部と、
　前記プリレンダリング画像内の復元の難易度を予測する予測部と、
　前記復元の難易度に基づき、前記プリレンダリング画像内の要素毎の解像度及びＳＰＰ（Sample Per Pixel）を指定するレンダリング条件を決定し、前記レンダリング条件を設定するアダプティブ制御信号を作成するレンダリング条件決定部と、
　前記アダプティブ制御信号に設定された前記要素毎の前記レンダリング条件に従って、前記モデルデータをレイトレーシングによりレンダリングすることにより、アダプティブレンダリング画像を作成するレンダリング部と、
　前記アダプティブレンダリング画像を超解像及びデノイズすることにより復元して最終レンダリング画像を作成するレンダリング画像復元部と
　を具備する。
　本実施形態によれば、ＳＰＰだけでなく解像度も要素毎にアダプティブに制御する。これにより、ＳＰＰ及び解像度の最適な組み合わせを要素毎に予測してアダプティブにレンダリングし、復元（デノイズ及び超解像）して、最終レンダリング画像を、画像品質を保ちつつ高速に出力することができる。
　前記レンダリング条件は、さらに、画像枚数、バウンス数、内部透過の屈折回数、ノイズの乱数列、ビット深度、時間解像度、光成分のオン／オフ、アンチエイリアスのオン／オフ及び／又はサブサンプル数を指定してもよい。
　これにより、要素毎により最適なレンダリング条件を指定することができる。より高効率に、又はユーザの希望に沿った条件で、アダプティブレンダリングを行うことができる。
　前記レンダリング条件決定部は、画像処理、注目点、被写体の重要度及び／又は表示情報に基づき前記レンダリング条件を決定してもよい。
　これにより、要素毎により最適なレンダリング条件を指定することができる。より簡易的に、軽量に条件予測を行うことができる。また条件予測ＤＮＮと組み合わせればレンダリング条件の精度を向上させることができる。
　前記レンダリング条件決定部は、前記要素毎として、画素毎、複数の画素を含むパッチ毎又はオブジェクト領域毎の前記レンダリング条件を決定してもよい。
　複数の画素を含む領域毎のレンダリング条件を決定することで、アダプティブ制御信号の精度を向上させ、さらに、近接画素間の連続性を保持できる。オブジェクトごとのレンダリング条件を設定することで、エッジに追従したはみ出しの少ないレンダリング条件を決定できる。レンダリング条件の予測精度を向上させ、計算時間を削減できる。
　前記レンダリング条件決定部は、一部の前記要素毎のレンダリング条件を決定し、
　他の前記要素毎のレンダリング条件は、予め決定されてもよい。
　これにより、計算時間を削減でき、毎フレームの出力処理を高速化したり、リアルタイムレンダリングを実現したりすることができる。
　前記予測部は、条件予測ＤＮＮ（Deep Neural Network）に前記プリレンダリング画像を入力して前記要素毎の復元の難易度を予測し、
　前記レンダリング画像復元部は、前記条件予測ＤＮＮと同時に学習された復元ＤＮＮに前記アダプティブレンダリング画像及び前記アダプティブ制御信号を入力して前記最終レンダリング画像を作成してもよい。
　まず、ターゲットＳＰＰ及びターゲット解像度を全画面一律に出力する条件予測係数を設定する。そして、この全画面一律のターゲットＳＰＰ及びターゲット解像度でレンダリングを行った結果画像を生徒とし、教師画像を予測する復元（デノイズ及び超解像）用の画像復元係数を学習する。これにより、条件予測ＤＮＮと復元ＤＮＮの学習を同時に行うことができる。
　前記予測部は、前記プリレンダリング画像内の前記要素毎に復元の難易度を示すサンプリングマップを予測し、
　前記レンダリング条件決定部は、前記サンプリングマップに基づき、前記アダプティブ制御信号を作成してもよい。
　要素毎に復元の難易度を示すサンプリングマップに基づきアダプティブ制御信号を作成することで、復元の難易度に応じて適切なアダプティブ制御信号を作成できる。例えば、復元の難易度が高い要素は、比較的高ＳＰＰ及び高解像度のレンダリング条件のアダプティブ制御信号を作成できる。これにより、ゴール画像と同等の画質の最終レンダリング画像を出力することができる。
　前記予測部は、解像度のサンプリングマップと、ＳＰＰのサンプリングマップとを予測し、
　前記レンダリング条件決定部は、前記解像度のサンプリングマップに基づき解像度のレンダリング条件を設定し、前記ＳＰＰのサンプリングマップに基づきＳＰＰのレンダリング条件を設定してもよい。
　解像度のサンプリングマップとＳＰＰのサンプリングマップの２面のサンプリングマップが予測された場合は、レンダリング条件決定部は、特に変換を行わず解像度とＳＰＰとを指定してもよい。
　前記予測部は、１次元の前記サンプリングマップを予測し、
　前記レンダリング条件決定部は、前記１次元のサンプリングマップに基づき解像度のレンダリング条件及びＳＰＰのレンダリング条件を設定してもよい。
　レンダリング条件決定部は、予測された１次元のサンプリングマップから、任意の変換式に応じて解像度とＳＰＰとの組み合わせを指定すればよい。
　前記プリレンダリング画像のＳＰＰは、前記最終レンダリング画像のＳＰＰより低くてもよい。
　これにより、最終レンダリング画像を高速に出力することができる。
　前記プリレンダリング画像の解像度は、前記最終レンダリング画像の解像度より低くてもよい。
　これにより、最終レンダリング画像を高速に出力することができる。
　本開示の一形態に係る情報処理方法は、
　モデルデータをレイトレーシングによりプリレンダリングしてプリレンダリング画像を作成し、
　前記プリレンダリング画像内の復元の難易度を予測し、
　前記復元の難易度に基づき、前記プリレンダリング画像内の要素毎の解像度及びＳＰＰ（Sample Per Pixel）を指定するレンダリング条件を決定し、前記レンダリング条件を設定するアダプティブ制御信号を作成し、
　前記アダプティブ制御信号に設定された前記要素毎の前記レンダリング条件に従って、前記モデルデータをレイトレーシングによりレンダリングすることにより、アダプティブレンダリング画像を作成し、
　前記アダプティブレンダリング画像を超解像及びデノイズすることにより復元して最終レンダリング画像を作成する。
　本開示の一形態に係る情報処理プログラムは、
　情報処理装置のプロセッサを、
　モデルデータをレイトレーシングによりプリレンダリングしてプリレンダリング画像を作成するプリレンダリング部と、
　前記プリレンダリング画像内の復元の難易度を予測する予測部と、
　前記復元の難易度に基づき、前記プリレンダリング画像内の要素毎の解像度及びＳＰＰ（Sample Per Pixel）を指定するレンダリング条件を決定し、前記レンダリング条件を設定するアダプティブ制御信号を作成するレンダリング条件決定部と、
　前記アダプティブ制御信号に設定された前記要素毎の前記レンダリング条件に従って、前記モデルデータをレイトレーシングによりレンダリングすることにより、アダプティブレンダリング画像を作成するレンダリング部と、
　前記アダプティブレンダリング画像を超解像及びデノイズすることにより復元して最終レンダリング画像を作成するレンダリング画像復元部と
　して動作させる。
　本開示の一形態に係る情報処理システムは、
　モデルデータをレイトレーシングによりプリレンダリングしてプリレンダリング画像を作成するプリレンダリング部と、
　前記プリレンダリング画像内の復元の難易度を予測する予測部と、
　前記復元の難易度に基づき、前記プリレンダリング画像内の要素毎の解像度及びＳＰＰ（Sample Per Pixel）を指定するレンダリング条件を決定し、前記レンダリング条件を設定するアダプティブ制御信号を作成するレンダリング条件決定部と、
　前記アダプティブ制御信号に設定された前記要素毎の前記レンダリング条件に従って、前記モデルデータをレイトレーシングによりレンダリングすることにより、アダプティブレンダリング画像を作成するレンダリング部と、
　前記アダプティブレンダリング画像を超解像及びデノイズすることにより復元して最終レンダリング画像を作成するレンダリング画像復元部と
　を具備する。
本開示の一実施形態に係る情報処理装置の構成を示す。 情報処理装置の動作フローを示す。
　以下、図面を参照しながら、本開示の実施形態を説明する。
　１．情報処理装置の構成
　図１は、本開示の一実施形態に係る情報処理装置の構成を示す。
　情報処理装置１００は、例えば、３Ｄ画像を表示可能な３Ｄディスプレイに表示するための画像をレンダリングする装置である。情報処理装置１００は、例えば、３Ｄディスプレイに内蔵又は外付け接続される。情報処理装置１００は、プロセッサがＲＯＭに記録された情報処理プログラムをＲＡＭにロードして実行することにより、プリレンダリング部１０１、サンプリングマップ予測部１０２、レンダリング条件決定部１０３、レンダリング部１０４及びレンダリング画像復元部１０５として動作する。
　２．情報処理装置の動作フロー
　図２は、情報処理装置の動作フローを示す。
　情報処理装置１００は、１フレーム毎にステップＳ１０１以下の処理を繰り返し実行する。
　ステップＳ１０１：モデルデータを読み込み
　プリレンダリング部１０１は、レンダリング対象のデータとして入力されたモデルデータを読み込む。モデルデータは、例えば、３ＤのＣＧモデルデータである。
　ステップＳ１０２：プリレンダリングを実行
　プリレンダリング部１０１は、入力されたモデルデータをレイトレーシングによりプリレンダリングし、プリレンダリング画像を作成する。プリレンダリング部１０１は、例えば、出力解像度（即ち、出力すべき最終レンダリング画像の解像度）と同じ解像度で、且つ、１ＳＰＰ程度の低ＳＰＰで、モデルデータをプリレンダリングする。プリレンダリング部１０１は、出力解像度より低い解像度（例えば、１／４や１／１６）、及び／又は、１より大きいＳＰＰで、モデルデータをプリレンダリングしてもよい。プリレンダリング部１０１が作成するプリレンダリング画像は、ノイジーなレンダリング画像である。プリレンダリング部１０１は、他にも各種ＡＯＶ（Arbitrary Output Variable）画像（即ち、デプス、法線、アルベド、拡散、反射等の要素ごとの画像）をさらに作成してもよい。
　プリレンダリング部１０１は、プリレンダリング画像をサンプリングマップ予測部１０２に入力する。サンプリングマップ予測部１０２は、入力されたノイジーなプリレンダリング画像から、レンダリングの難易度（難しさ）を表すサンプリングマップを予測する条件予測ＤＮＮである。
　ステップＳ１０３：プリレンダリング画像からパッチを切り出し
　サンプリングマップ予測部１０２は、プリレンダリング画像をスキャンして、プリレンダリング画像から複数のパッチを切り出す。パッチのサイズは、条件予測ＤＮＮの入力パッチサイズに等しい。例えば、サンプリングマップ予測部１０２は、プリレンダリング画像の左上から順次ラスタスキャンするようにパッチを切り出せばよい。
　ステップＳ１０４：パッチを条件予測ＤＮＮに入力し、サンプリングマップを予測
　サンプリングマップ予測部１０２は、切り出したパッチを条件予測ＤＮＮに入力し、サンプリングマップを予測する。サンプリングマップは、レンダリングの難易度（難しさ）を示す。言い換えれば、サンプリングマップ予測部１０２は、プリレンダリング画像内の復元の難易度を予測する。サンプリングマップ予測部１０２は、事前に学習した条件予測係数１０６を用いてサンプリングマップを予測する。プリレンダリング画像だけでなく、各種ＡＯＶ画像も用いて学習を行った場合は、サンプリングマップ予測部１０２は、対応するＡＯＶ画像のパッチも切り出し、条件予測ＤＮＮに入力する。
　ここで、条件予測係数１０６を説明する。条件予測係数１０６は、大量のＣＧモデルから作成した高ＳＰＰ及び高解像度のレンダリング画像を教師とし、低ＳＰＰ（例えば、１ＳＰＰ）及び低解像度（例えば、１／４や１／１６）のレンダリング画像と、それを復元ＤＮＮにより復元（デノイズ及び超解像）した復元画像とを入力として、学習を行う。条件予測係数１０６の具体的な学習手順を説明する。まず、ターゲットＳＰＰ（例えば、４ＳＰＰ）及びターゲット解像度（例えば、４Ｋ）を全画面一律に出力する条件予測係数１０６を設定する。そして、この全画面一律のターゲットＳＰＰ及びターゲット解像度でレンダリングを行った結果画像を生徒とし、教師画像を予測する復元（デノイズ及び超解像）用の画像復元係数１０７を学習する。この学習の結果として出力される推論画像と、教師画像との差分がＬｏｓｓとなる。次に、このＬｏｓｓを減らすように条件予測係数１０６を学習する。このとき、条件予測係数１０６は、Ｌｏｓｓが大きい場所はＳＰＰ及び解像度を増やし、Ｌｏｓｓが小さい場所はＳＰＰ及び解像度を減らして、全画面のＳＰＰ及び解像度の平均がターゲットＳＰＰ及びターゲット解像度となるようなサンプリングマップを算出する。そして、このサンプリングマップに応じて、再度レンダリングを行い、画像復元係数１０７を学習し、Ｌｏｓｓを更新する。その後、Ｌｏｓｓが許容範囲内となるまで、条件予測係数１０６と画像復元係数１０７の予測を繰り返し行う。この様に、条件予測ＤＮＮと復元ＤＮＮの学習を同時に行う。
　この様に、低ＳＰＰ且つ低解像度な画像をレンダリングし、デノイズ（ＮＲ：Noise Reductionとも呼ばれる）と超解像（ＳＲ：Super Resolution）を同時に行った場合についての学習を行う。また入力されるのはレンダリング画像のみだけでなく、各種ＡＯＶ画像を用いて学習するようにしてもよい。
　サンプリングマップ予測部１０２が出力するサンプリングマップは、レンダリングの難しさを表す１次元のものに限定されず、ＳＰＰと解像度を独立して出力する２面のマップにしてもよいし、さらに高次のものでもよい。言い換えれば、サンプリングマップ予測部１０２は、解像度及びＳＰＰに共通に使用される１次元のサンプリングマップを予測してもよいし、解像度のサンプリングマップと、ＳＰＰのサンプリングマップとを別個に予測してもよいし、さらに別の情報（例えば、画像処理、注目点、被写体の重要度及び／又は表示情報）に関するサンプリングマップをさらに予測してもよい。
　ステップＳ１０５：サンプリングマップからレンダリング条件を決定
　レンダリング条件決定部１０３は、復元の難易度を示すサンプリングマップに基づき、プリレンダリング画像内の要素（例えば、画素毎、複数の画素を含むパッチ毎又はオブジェクト領域毎）毎のレンダリング条件を決定する。レンダリング条件は、プリレンダリング画像内の要素毎の解像度及びＳＰＰを指定する。レンダリング条件決定部１０３は、決定したレンダリング条件を設定するアダプティブ制御信号を作成する。言い換えれば、レンダリング条件決定部１０３は、サンプリングマップ予測部１０２が予測したサンプリングマップから、実際のレンダリング条件を要素毎に設定するアダプティブ制御信号を算出する。
　例えば、レンダリング条件決定部１０３は、予測された１次元のサンプリングマップから、任意の変換式に応じて解像度とＳＰＰとの組み合わせを指定すればよい。あるいは、解像度のサンプリングマップとＳＰＰのサンプリングマップの２面のサンプリングマップが予測された場合は、レンダリング条件決定部１０３は、特に変換を行わず解像度とＳＰＰとを指定すればよい。あるいは、レンダリング条件決定部１０３は、ユーザ（ディレクター又は視聴者）が入力する設定条件（高速性、高解像度等）に応じて、サンプリングマップを任意の変換式に応じて変換してもよい。
　ステップＳ１０６：全画面のレンダリング条件を決定
　レンダリング条件決定部１０３は、プリレンダリング画像の全画面の要素ごとのレンダリング条件を決定する。
　ステップＳ１０７：レンダリングを実行
　レンダリング部１０４は、アダプティブ制御信号に設定された要素毎のレンダリング条件に従って、モデルデータをレイトレーシングによりレンダリングすることにより、アダプティブレンダリング画像を作成する。即ち、レンダリング部１０４は、アダプティブ制御信号で要素毎に規定された解像度及びＳＰＰで、モデルデータを要素毎にレンダリングすることにより、アダプティブレンダリング画像を作成する。言い換えれば、レンダリング部１０４は、算出されたアダプティブ制御信号で規定されるレンダリング条件に従い、本レンダリングを行う。要するに、レンダリング部１０４は、アダプティブ制御信号に応じて局所的に最適なＳＰＰと解像度の組み合わせに基づき、要素毎に条件を変更しながらレンダリングを行う。レンダリング部１０４は、基本的には、プリレンダリング部１０１と同じレンダラー（レンダリングソフトウェア）を用いるが、別のレンダラー（より高度な光線算出を行うレンダラー等）を用いてもいい。
　ステップＳ１０８：アダプティブレンダリング画像からパッチを切り出し
　レンダリング画像復元部１０５は、アダプティブレンダリング画像をスキャンして、アダプティブレンダリング画像から複数のパッチを切り出す。パッチのサイズは、復元ＤＮＮの入力パッチサイズに等しい。例えば、レンダリング画像復元部１０５は、アダプティブレンダリング画像の左上から順次ラスタスキャンするようにパッチを切り出せばよい。なお、復元ＤＮＮの入力パッチサイズは、条件予測ＤＮＮの入力パッチサイズと等しくてもよいし異なってもよい。
　ステップＳ１０９：アダプティブ制御信号及びパッチを復元ＤＮＮに入力し、出力画像を予測
　レンダリング画像復元部１０５は、アダプティブ制御信号と、アダプティブレンダリング画像から切り出したパッチとを復元ＤＮＮに入力し、パッチ毎の出力画像を予測する。アダプティブ制御信号に設定されたレンダリング条件は、要素毎の解像度及びＳＰＰを指定する。このため、復元ＤＮＮは、超解像及びデノイズの２つのタスクを同時に処理する。言い換えれば、レンダリング画像復元部１０５は、パッチを超解像及びデノイズすることにより復元する。ステップＳ１０４で説明した様に、画像復元係数１０７は、条件予測係数１０６とセットで学習したものである。なお、レンダリング画像復元部１０５は、アダプティブレンダリング画像だけでなく、サンプリングマップや、各種ＡＯＶ画像を用いてもよい。その場合は、その条件で学習を行っておく必要がある。
　ステップＳ１１０：全画面の出力画像を予測
　レンダリング画像復元部１０５は、全てのパッチ毎の出力画像を予測する。
　ステップＳ１１１：最終レンダリング結果を出力
　レンダリング画像復元部１０５は、超解像及びデノイズされた全パッチの出力画像をつなぎ合わせて、最終レンダリング結果を作成し、出力する。
　３．レンダリング条件のバリエーション
　ステップＳ１０５で、レンダリング条件決定部１０３は、サンプリングマップからプリレンダリング画像内の要素毎のレンダリング条件を決定し、決定したレンダリング条件を設定するアダプティブ制御信号を作成する。レンダリング条件の各種バリエーションを説明する。
　３－１．ＳＰＰ及び解像度以外のレンダリング条件のバリエーション
　レンダリング条件決定部１０３は、レンダリング条件として、ＳＰＰ及び解像度に加えて、他のレンダリング条件を指定してもよい。例えば、レンダリング条件は、さらに、画像枚数、バウンス数、内部透過の屈折回数、ノイズの乱数列、ビット深度、時間解像度、光成分のオン／オフ、アンチエイリアスのオン／オフ及び／又はサブサンプル数を指定してもよい。アダプティブに変化させたレンダリング条件に応じて復元ＤＮＮに求められる効果は異なる。これにより、より高効率に、又はユーザの希望に沿った条件で、アダプティブレンダリングを行うことができる。
　画像枚数は、ＳＰＰを枚数方向に分けることを意味する。例えば、１０ＳＰＰの代わりに２ＳＰＰを５枚作成することで、デノイズのしやすさが変わる。このように画像枚数をアダプティブに変化させた場合、復元ＤＮＮは超解像やデノイズだけでなく、複数画像のフュージョンを行うＤＮＮとなる。
　バウンス数は、光線（レイ）が物体にぶつかって反射する回数を何回まで計算するかを意味する。
　内部透過の屈折回数は、光線が透明物体内部に侵入したときに、途中で屈折する回数を何回まで計算するかを意味する。
　ノイズの乱数列は、高域重視又は低域重視の乱数の切り替えを意味する。レイトレーシングではモンテカルロサンプリングという手法を用い、光線が拡散や屈折するたびにランダムな方向にサンプルを取り、その方向の先に光線が進んだときの結果を計算する。このときランダムサンプリング時にホワイトノイズを用いると、局所的に粗密が発生するため、ある程度分布に規則性を持たせた乱数が採用される。このときに平坦部や複雑部など領域の特徴に応じて高域重視、低域重視と乱数を切り替えてより有利なレンダリングを行う。
　ビット深度は、ビット数をフルにするか削減するかを意味する。レイトレーシングでは何度も衝突計算を行うので、そのたびにフルのビット数を計算すると計算量が膨大となるので、画素ごとに不要なビットを削減する。
　時間解像度は、動画レンダリング時のフレームレートを意味する。
　光成分のオン／オフは、拡散光、反射光及び／又は透過光成分のオン／オフを意味する。レイトレーシングでは直接光以外にも各種成分の追跡を行うが、画素ごとに各成分をオン／オフする。
　アンチエイリアスのオン／オフ、サブサンプル数は、アンチエイリアスの設定である。レイトレーシングでは、単純に画素ごとにレンダリングを行うと斜線等にジャギーが発生するため、各種アンチエイリアシングが行われる。このうち代表的なＳＳＡＡ（Supersampling Anti-Aliasing）やＭＳＡＡ（Multi Sample Anti-Aliasing）という手法では、１つの画素に対して４つのサブサンプル点を計算し、それらをミックスして最終的な画素値を求める。このようなアンチエイリアシング機能のオン／オフや、サブサンプル点数を画素毎に変化させる。
　３－２．レンダリング条件を決定する手法のバリエーション
　レンダリング条件決定部１０３は、ＤＮＮによる学習以外の手法を用いてレンダリング条件を決定してもいい。例えば、レンダリング条件決定部１０３は、モデルベースの信号処理や、外部設定によって、レンダリング条件を決定し、アダプティブ制御信号を作成してもいい。具体的には、レンダリング条件決定部１０３は、画像処理、注目点、被写体の重要度及び／又は表示情報に基づきレンダリング条件を決定してもよい。これにより、より簡易的に、軽量に条件予測を行うことができる。また条件予測ＤＮＮと組み合わせればレンダリング条件の精度を向上させることができる。
　レンダリング条件決定部１０３は、レンダリング及び復元の難易度による検波（エッジ、平坦等、明るさ、ぼけ（Ｄｅｐｔｈ）、動き量）に基づきレンダリング条件を決定してもよい。平坦部、暗所、ボケている場所（フォーカスが合っていない、動きが激しい等による）等は、超解像やデノイズがしやすいため、解像度やＳＰＰ数が少なくても容易に復元できる。このような領域を既知のモデルベースの画像処理で検出し、レンダリングを簡素化するようなアダプティブ制御信号を作成することができる。
　レンダリング条件決定部１０３は、注目点、被写体の重要さに基づきレンダリング条件を決定してもよい。注目点や重要な被写体は高解像度及び高ＳＰＰでレンダリングし、それ以外の場所は簡素化することができる。画像処理によって検出したり、ユーザが外部から指定したりして、このようなアダプティブ制御信号を作成することができる。
　レンダリング条件決定部１０３は、ユーザ（ディレクター又は視聴者）の嗜好に基づきレンダリング条件を決定してもよい。レンダリング条件決定部１０３は、レンダリング条件を変更するようなアダプティブ制御信号を外部から指定するなどして作成することができる。例えば解像度を重視する場合は解像度に、ノイズの少なさを重視する場合はＳＰＰに多くのリソースを割くように設定できる。時間解像度、ビット深度、アンチエイリアシング、各種成分等の優先度を設定できる。他にも３Ｄの場合は効き目側のレンダリングを重視するなどを設定できる。
　レンダリング条件決定部１０３は、３Ｄ等の表示の際の各種情報に基づきレンダリング条件を決定してもよい。３Ｄ等の用途のために多視点画像をレンダリングする際には、両端などの重要な視点のみを高解像度及び高ＳＰＰでレンダリングし、それ以外の間の視点位置は簡素化してレンダリングすることができる。このときにオクルージョン領域（立体の裏面側の領域）や画面端等の両端視点だけでは十分な情報が得られない場所は、解像度やＳＰＰを上げてレンダリングする。このような視点位置とオクルージョン有無を反映したアダプティブ制御信号を外部設定やＶｉｓｉｂｌｅ算出によって設定することができる。
　レンダリング条件決定部１０３は、ディスプレイの表示特性に合わせてレンダリング条件を決定してもよい。例えば、ディスプレイの解像度に合わせて、その等倍や１／４倍、１／１６倍の解像度でレンダリングする。３Ｄディスプレイなどの特殊なディスプレイでは、解像度以外のディスプレイ特性に応じたレンダリングを行ってもいい。例えばレンチキュラー方式の３Ｄディスプレイでは、レンチキュラーレンズとパネルの画素の位相関係によって、折り返りや色偽が発生する。そこでこれらの特性から最適なレンダリング条件を計算し、アダプティブ制御信号を設定することができる。
　３－３．共通のレンダリング条件が設定されるプリレンダリング画像内の要素のバリエーション
　レンダリング条件決定部１０３は、プリレンダリング画像内の要素毎として、画素毎、複数の画素を含むパッチ毎又はオブジェクト領域毎のレンダリング条件を決定すればよい。これにより、レンダリング条件の予測精度を向上させ、計算時間を削減できる。レンダリング条件決定部１０３は、基本的には、画素毎にレンダリング条件を設定すればよいが、画素に代えて例えば矩形パッチ毎にレンダリング条件を設定してもよい。本実施形態では、サンプリングマップ予測部１０２は、条件予測ＤＮＮを用いてサンプリングマップを算出する。また、レンダリング画像復元部１０５は、復元ＤＮＮを用いてアダプティブレンダリング画像を復元（超解像、デノイズ）する。これら条件予測ＤＮＮ及び復元ＤＮＮは、入力画像（プリレンダリング画像及びアダプティブレンダリング画像）から抜き出した矩形のパッチ毎に処理を行う。そこで、レンダリング条件決定部１０３は、プリレンダリング画像内の要素毎としてこの矩形パッチ毎にレンダリング条件を決定してもよい。このように画素毎ではなく、複数の画素を含む領域毎のレンダリング条件を決定することで、アダプティブ制御信号の精度を向上させ、さらに、近接画素間の連続性を保持できる。なお、この矩形パッチのサイズは、条件予測ＤＮＮや復元ＤＮＮのパッチサイズと同一でなくてもよい。例えば、条件予測ＤＮＮのパッチをさらに４分割して集約してもよいし、全く別のパッチサイズを採用してもよい。また、複数のサンプリングマップ（アダプティブ制御信号）をかけ合わせてもよい。
　あるいは、レンダリング条件決定部１０３は、プリレンダリング画像内の要素毎として、オブジェクト領域毎のレンダリング条件を決定してもよい。オブジェクト領域は、機械的に分割した矩形パッチと異なり、人物等意味のあるオブジェクトの領域を意味する。例えば、レンダリング条件決定部１０３は、１ＳＰＰでプリレンダリングしたプリレンダリング画像を、既存のセマンティックセグメンテーション技術を用いて複数のオブジェクト領域に分割し、そのオブジェクト領域毎に画素毎のレンダリング条件を集約し、オブジェクトごとのレンダリング条件を設定することができる。これにより、オブジェクトごとのレンダリング条件を高精度に設定し、エッジに追従したはみ出しの少ないレンダリング条件を決定できる。
　３－４．レンダリング条件を決定するタイミングのバリエーション
　レンダリング条件決定部１０３は、一部の要素毎のレンダリング条件を決定し、他の要素毎のレンダリング条件は予め決定されてもよい。レンダリング条件の一部は、プリレンダリング時に計算するのではなく、事前に（図２の動作フローの開始前に）計算しておくことができる。これにより、計算時間を削減でき、毎フレームの出力処理を高速化したり、リアルタイムレンダリングを実現したりすることができる。このようなプリレンダリングは、アニメーションや自由視点生成時には、全ての時間や視点での条件が必要になる。この事前計算は、全条件を行っていくこともできるし、任意の間隔で間引いておくこともできる。また重要度の高い時間や視点を重点的に事前計算しておくこともできる。また時間や視点によって変化しない場所のみ事前計算しておくこともできる。
　４．変形例
　本実施形態では、情報処理装置１００は、プリレンダリング部１０１、サンプリングマップ予測部１０２、レンダリング条件決定部１０３、レンダリング部１０４及びレンダリング画像復元部１０５を有する。
　これに代えて、サーバー側の情報処理装置が、プリレンダリング部１０１、サンプリングマップ予測部１０２、レンダリング条件決定部１０３及びレンダリング部１０４を有し、クライアント側の情報処理装置がレンダリング画像復元部１０５を有する情報処理システムが実現されてもよい（不図示）。クライアント側の情報処理装置は、例えば、エンドユーザサイトの３Ｄディスプレイに内蔵又は外付け接続される。
　サーバー側でレンダリングを行い、それをクライアント側に伝送するケースでは、伝送時に動画を圧縮する場合がある。このとき伝送帯域によっては、レンダリング画像が圧縮により劣化する。この場合、レンダリング品質を向上させても無駄になってしまう。よって伝送帯域に応じて動的にレンダリング条件をアダプティブに変更することもできる。このときのアダプティブ制御信号は、帯域に応じて全画面一律に行うだけでなく、圧縮のしやすさに応じて領域ごとに設定することもできる。
　あるいは、サーバー側の情報処理装置が、プリレンダリング部１０１、サンプリングマップ予測部１０２及びレンダリング条件決定部１０３を有し、クライアント側の情報処理装置がレンダリング部１０４及びレンダリング画像復元部１０５を有する情報処理システムが実現されてもよい（不図示）。クライアント側の情報処理装置は、例えば、エンドユーザサイトの３Ｄディスプレイに内蔵又は外付け接続される。
　サーバー側からレンダリングモデルデータを伝送し、それをクライアント側でレンダリングするケースでは、アダプティブ制御信号（又はサンプリングマップ）を同時に伝送することもできる。これによりクライアント側で最適なアダプティブレンダリングを行うことができる。またこれ以外のケースでも、例えばサーバー側でレンダリングを行い、クライアント側で超解像やデノイズなどの復元処理を行うような場合においても、アダプティブ制御信号を伝送することで、最適な復元処理を行うことができる。もちろんこれは、超解像のみ、デノイズのみや、その他の信号処理を行うケースでも同様である。
　５．結語
　ＳＰＰのみをアダプティブに制御するサンプリングマップを予測する技術が知られている。しかしながら、ＳＰＰのみをアダプティブに変化させても、計算時間の削減効果には限界がある。例えば平坦な領域であれば、ＳＰＰを減らすだけでなく、解像度を１／４や１／１６に削減することで、画像品質を保ちつつ劇的に計算時間を削減することができる。本実施形態によれば、ＳＰＰだけでなく解像度も要素毎にアダプティブに制御する。これにより、ＳＰＰ及び解像度の最適な組み合わせを局所的に予測してアダプティブにレンダリングし、復元ＤＮＮにより復元（デノイズ及び超解像）して、ゴール画像と同等の画質の最終レンダリング画像を高速に出力することができる。
　本開示は、以下の各構成を有してもよい。
　（１）
　モデルデータをレイトレーシングによりプリレンダリングしてプリレンダリング画像を作成するプリレンダリング部と、
　前記プリレンダリング画像内の復元の難易度を予測する予測部と、
　前記復元の難易度に基づき、前記プリレンダリング画像内の要素毎の解像度及びＳＰＰ（Sample Per Pixel）を指定するレンダリング条件を決定し、前記レンダリング条件を設定するアダプティブ制御信号を作成するレンダリング条件決定部と、
　前記アダプティブ制御信号に設定された前記要素毎の前記レンダリング条件に従って、前記モデルデータをレイトレーシングによりレンダリングすることにより、アダプティブレンダリング画像を作成するレンダリング部と、
　前記アダプティブレンダリング画像を超解像及びデノイズすることにより復元して最終レンダリング画像を作成するレンダリング画像復元部と
　を具備する情報処理装置。
　（２）
　上記（１）に記載の情報処理装置であって、
　前記レンダリング条件は、さらに、画像枚数、バウンス数、内部透過の屈折回数、ノイズの乱数列、ビット深度、時間解像度、光成分のオン／オフ、アンチエイリアスのオン／オフ及び／又はサブサンプル数を指定する
　情報処理装置。
　（３）
　上記（１）又は（２）に記載の情報処理装置であって、
　前記レンダリング条件決定部は、画像処理、注目点、被写体の重要度及び／又は表示情報に基づき前記レンダリング条件を決定する
　情報処理装置。
　（４）
　上記（１）乃至（３）の何れかに記載の情報処理装置であって、
　前記レンダリング条件決定部は、前記要素毎として、画素毎、複数の画素を含むパッチ毎又はオブジェクト領域毎の前記レンダリング条件を決定する
　情報処理装置。
　（５）
　上記（１）乃至（４）の何れかに記載の情報処理装置であって、
　前記レンダリング条件決定部は、一部の前記要素毎のレンダリング条件を決定し、
　他の前記要素毎のレンダリング条件は、予め決定される
　情報処理装置。
　（６）
　上記（１）乃至（５）の何れかに記載の情報処理装置であって、
　前記予測部は、条件予測ＤＮＮ（Deep Neural Network）に前記プリレンダリング画像を入力して前記要素毎の復元の難易度を予測し、
　前記レンダリング画像復元部は、前記条件予測ＤＮＮと同時に学習された復元ＤＮＮに前記アダプティブレンダリング画像及び前記アダプティブ制御信号を入力して前記最終レンダリング画像を作成する
　情報処理装置。
　（７）
　上記（１）乃至（６）の何れかに記載の情報処理装置であって、
　前記予測部は、前記プリレンダリング画像内の前記要素毎に復元の難易度を示すサンプリングマップを予測し、
　前記レンダリング条件決定部は、前記サンプリングマップに基づき、前記アダプティブ制御信号を作成する
　情報処理装置。
　（８）
　上記（１）乃至（７）の何れかに記載の情報処理装置であって、
　前記予測部は、解像度のサンプリングマップと、ＳＰＰのサンプリングマップとを予測し、
　前記レンダリング条件決定部は、前記解像度のサンプリングマップに基づき解像度のレンダリング条件を設定し、前記ＳＰＰのサンプリングマップに基づきＳＰＰのレンダリング条件を設定する
　情報処理装置。
　（９）
　上記（１）乃至（７）の何れかに記載の情報処理装置であって、
　前記予測部は、１次元の前記サンプリングマップを予測し、
　前記レンダリング条件決定部は、前記１次元のサンプリングマップに基づき解像度のレンダリング条件及びＳＰＰのレンダリング条件を設定する
　情報処理装置。
　（１０）
　上記（１）乃至（９）の何れかに記載の情報処理装置であって、
　前記プリレンダリング画像のＳＰＰは、前記最終レンダリング画像のＳＰＰより低い
　情報処理装置。
　（１１）
　上記（１）乃至（１０）の何れかに記載の情報処理装置であって、
　前記プリレンダリング画像の解像度は、前記最終レンダリング画像の解像度より低い
　情報処理装置。
　（１２）
　モデルデータをレイトレーシングによりプリレンダリングしてプリレンダリング画像を作成し、
　前記プリレンダリング画像内の復元の難易度を予測し、
　前記復元の難易度に基づき、前記プリレンダリング画像内の要素毎の解像度及びＳＰＰ（Sample Per Pixel）を指定するレンダリング条件を決定し、前記レンダリング条件を設定するアダプティブ制御信号を作成し、
　前記アダプティブ制御信号に設定された前記要素毎の前記レンダリング条件に従って、前記モデルデータをレイトレーシングによりレンダリングすることにより、アダプティブレンダリング画像を作成し、
　前記アダプティブレンダリング画像を超解像及びデノイズすることにより復元して最終レンダリング画像を作成する
　情報処理方法。
　（１３）
　情報処理装置のプロセッサを、
　モデルデータをレイトレーシングによりプリレンダリングしてプリレンダリング画像を作成するプリレンダリング部と、
　前記プリレンダリング画像内の復元の難易度を予測する予測部と、
　前記復元の難易度に基づき、前記プリレンダリング画像内の要素毎の解像度及びＳＰＰ（Sample Per Pixel）を指定するレンダリング条件を決定し、前記レンダリング条件を設定するアダプティブ制御信号を作成するレンダリング条件決定部と、
　前記アダプティブ制御信号に設定された前記要素毎の前記レンダリング条件に従って、前記モデルデータをレイトレーシングによりレンダリングすることにより、アダプティブレンダリング画像を作成するレンダリング部と、
　前記アダプティブレンダリング画像を超解像及びデノイズすることにより復元して最終レンダリング画像を作成するレンダリング画像復元部と
　して動作させる情報処理プログラム。
　（１４）
　モデルデータをレイトレーシングによりプリレンダリングしてプリレンダリング画像を作成するプリレンダリング部と、
　前記プリレンダリング画像内の復元の難易度を予測する予測部と、
　前記復元の難易度に基づき、前記プリレンダリング画像内の要素毎の解像度及びＳＰＰ（Sample Per Pixel）を指定するレンダリング条件を決定し、前記レンダリング条件を設定するアダプティブ制御信号を作成するレンダリング条件決定部と、
　前記アダプティブ制御信号に設定された前記要素毎の前記レンダリング条件に従って、前記モデルデータをレイトレーシングによりレンダリングすることにより、アダプティブレンダリング画像を作成するレンダリング部と、
　前記アダプティブレンダリング画像を超解像及びデノイズすることにより復元して最終レンダリング画像を作成するレンダリング画像復元部と
　を具備する情報処理システム。
　（１５）
　情報処理装置のプロセッサを、
　モデルデータをレイトレーシングによりプリレンダリングしてプリレンダリング画像を作成するプリレンダリング部と、
　前記プリレンダリング画像内の復元の難易度を予測する予測部と、
　前記復元の難易度に基づき、前記プリレンダリング画像内の要素毎の解像度及びＳＰＰ（Sample Per Pixel）を指定するレンダリング条件を決定し、前記レンダリング条件を設定するアダプティブ制御信号を作成するレンダリング条件決定部と、
　前記アダプティブ制御信号に設定された前記要素毎の前記レンダリング条件に従って、前記モデルデータをレイトレーシングによりレンダリングすることにより、アダプティブレンダリング画像を作成するレンダリング部と、
　前記アダプティブレンダリング画像を超解像及びデノイズすることにより復元して最終レンダリング画像を作成するレンダリング画像復元部と
　して動作させる情報処理プログラム
　を記録した非一過性のコンピュータ読み取り可能な記録媒体。
　本技術の各実施形態及び各変形例について上に説明したが、本技術は上述の実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
　情報処理装置１００
　プリレンダリング部１０１
　サンプリングマップ予測部１０２
　レンダリング条件決定部１０３
　レンダリング部１０４
　レンダリング画像復元部１０５
　条件予測係数１０６
　画像復元係数１０７

Claims (14)

  1. 　モデルデータをレイトレーシングによりプリレンダリングしてプリレンダリング画像を作成するプリレンダリング部と、
    　前記プリレンダリング画像内の復元の難易度を予測する予測部と、
    　前記復元の難易度に基づき、前記プリレンダリング画像内の要素毎の解像度及びＳＰＰ（Sample Per Pixel）を指定するレンダリング条件を決定し、前記レンダリング条件を設定するアダプティブ制御信号を作成するレンダリング条件決定部と、
    　前記アダプティブ制御信号に設定された前記要素毎の前記レンダリング条件に従って、前記モデルデータをレイトレーシングによりレンダリングすることにより、アダプティブレンダリング画像を作成するレンダリング部と、
    　前記アダプティブレンダリング画像を超解像及びデノイズすることにより復元して最終レンダリング画像を作成するレンダリング画像復元部と
    　を具備する情報処理装置。
  2. 　請求項１に記載の情報処理装置であって、
    　前記レンダリング条件は、さらに、画像枚数、バウンス数、内部透過の屈折回数、ノイズの乱数列、ビット深度、時間解像度、光成分のオン／オフ、アンチエイリアスのオン／オフ及び／又はサブサンプル数を指定する
    　情報処理装置。
  3. 　請求項１に記載の情報処理装置であって、
    　前記レンダリング条件決定部は、画像処理、注目点、被写体の重要度及び／又は表示情報に基づき前記レンダリング条件を決定する
    　情報処理装置。
  4. 　請求項１に記載の情報処理装置であって、
    　前記レンダリング条件決定部は、前記要素毎として、画素毎、複数の画素を含むパッチ毎又はオブジェクト領域毎の前記レンダリング条件を決定する
    　情報処理装置。
  5. 　請求項１に記載の情報処理装置であって、
    　前記レンダリング条件決定部は、一部の前記要素毎のレンダリング条件を決定し、
    　他の前記要素毎のレンダリング条件は、予め決定される
    　情報処理装置。
  6. 　請求項１に記載の情報処理装置であって、
    　前記予測部は、条件予測ＤＮＮ（Deep Neural Network）に前記プリレンダリング画像を入力して前記要素毎の復元の難易度を予測し、
    　前記レンダリング画像復元部は、前記条件予測ＤＮＮと同時に学習された復元ＤＮＮに前記アダプティブレンダリング画像及び前記アダプティブ制御信号を入力して前記最終レンダリング画像を作成する
    　情報処理装置。
  7. 　請求項１に記載の情報処理装置であって、
    　前記予測部は、前記プリレンダリング画像内の前記要素毎に復元の難易度を示すサンプリングマップを予測し、
    　前記レンダリング条件決定部は、前記サンプリングマップに基づき、前記アダプティブ制御信号を作成する
    　情報処理装置。
  8. 　請求項１に記載の情報処理装置であって、
    　前記予測部は、解像度のサンプリングマップと、ＳＰＰのサンプリングマップとを予測し、
    　前記レンダリング条件決定部は、前記解像度のサンプリングマップに基づき解像度のレンダリング条件を設定し、前記ＳＰＰのサンプリングマップに基づきＳＰＰのレンダリング条件を設定する
    　情報処理装置。
  9. 　請求項１に記載の情報処理装置であって、
    　前記予測部は、１次元の前記サンプリングマップを予測し、
    　前記レンダリング条件決定部は、前記１次元のサンプリングマップに基づき解像度のレンダリング条件及びＳＰＰのレンダリング条件を設定する
    　情報処理装置。
  10. 　請求項１に記載の情報処理装置であって、
    　前記プリレンダリング画像のＳＰＰは、前記最終レンダリング画像のＳＰＰより低い
    　情報処理装置。
  11. 　請求項１に記載の情報処理装置であって、
    　前記プリレンダリング画像の解像度は、前記最終レンダリング画像の解像度より低い
    　情報処理装置。
  12. 　モデルデータをレイトレーシングによりプリレンダリングしてプリレンダリング画像を作成し、
    　前記プリレンダリング画像内の復元の難易度を予測し、
    　前記復元の難易度に基づき、前記プリレンダリング画像内の要素毎の解像度及びＳＰＰ（Sample Per Pixel）を指定するレンダリング条件を決定し、前記レンダリング条件を設定するアダプティブ制御信号を作成し、
    　前記アダプティブ制御信号に設定された前記要素毎の前記レンダリング条件に従って、前記モデルデータをレイトレーシングによりレンダリングすることにより、アダプティブレンダリング画像を作成し、
    　前記アダプティブレンダリング画像を超解像及びデノイズすることにより復元して最終レンダリング画像を作成する
    　情報処理方法。
  13. 　情報処理装置のプロセッサを、
    　モデルデータをレイトレーシングによりプリレンダリングしてプリレンダリング画像を作成するプリレンダリング部と、
    　前記プリレンダリング画像内の復元の難易度を予測する予測部と、
    　前記復元の難易度に基づき、前記プリレンダリング画像内の要素毎の解像度及びＳＰＰ（Sample Per Pixel）を指定するレンダリング条件を決定し、前記レンダリング条件を設定するアダプティブ制御信号を作成するレンダリング条件決定部と、
    　前記アダプティブ制御信号に設定された前記要素毎の前記レンダリング条件に従って、前記モデルデータをレイトレーシングによりレンダリングすることにより、アダプティブレンダリング画像を作成するレンダリング部と、
    　前記アダプティブレンダリング画像を超解像及びデノイズすることにより復元して最終レンダリング画像を作成するレンダリング画像復元部と
    　して動作させる情報処理プログラム。
  14. 　モデルデータをレイトレーシングによりプリレンダリングしてプリレンダリング画像を作成するプリレンダリング部と、
    　前記プリレンダリング画像内の復元の難易度を予測する予測部と、
    　前記復元の難易度に基づき、前記プリレンダリング画像内の要素毎の解像度及びＳＰＰ（Sample Per Pixel）を指定するレンダリング条件を決定し、前記レンダリング条件を設定するアダプティブ制御信号を作成するレンダリング条件決定部と、
    　前記アダプティブ制御信号に設定された前記要素毎の前記レンダリング条件に従って、前記モデルデータをレイトレーシングによりレンダリングすることにより、アダプティブレンダリング画像を作成するレンダリング部と、
    　前記アダプティブレンダリング画像を超解像及びデノイズすることにより復元して最終レンダリング画像を作成するレンダリング画像復元部と
    　を具備する情報処理システム。
PCT/JP2022/005356 2021-03-17 2022-02-10 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム WO2022196200A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202280019857.0A CN116964635A (zh) 2021-03-17 2022-02-10 信息处理装置、信息处理方法、信息处理程序和信息处理系统
US18/549,324 US20240169657A1 (en) 2021-03-17 2022-02-10 Information processing apparatus, information processing method, information processing program, and information processing system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021043193A JP2024063786A (ja) 2021-03-17 2021-03-17 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム
JP2021-043193 2021-03-17

Publications (1)

Publication Number Publication Date
WO2022196200A1 true WO2022196200A1 (ja) 2022-09-22

Family

ID=83322210

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/005356 WO2022196200A1 (ja) 2021-03-17 2022-02-10 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム

Country Status (4)

Country Link
US (1) US20240169657A1 (ja)
JP (1) JP2024063786A (ja)
CN (1) CN116964635A (ja)
WO (1) WO2022196200A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200380763A1 (en) * 2019-06-03 2020-12-03 Nvidia Corporation Bayesian machine learning system for adaptive ray-tracing

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200380763A1 (en) * 2019-06-03 2020-12-03 Nvidia Corporation Bayesian machine learning system for adaptive ray-tracing

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ALEXANDR KUZNETSOV; NIMA KHADEMI KALANTARI; RAVI RAMAMOORTHI: "Deep Adaptive Sampling for Low Sample Count Rendering", COMPUTER GRAPHICS FORUM : JOURNAL OF THE EUROPEAN ASSOCIATION FOR COMPUTER GRAPHICS, WILEY-BLACKWELL, OXFORD, vol. 37, no. 4, 20 July 2018 (2018-07-20), Oxford , pages 35 - 44, XP071489107, ISSN: 0167-7055, DOI: 10.1111/cgf.13473 *

Also Published As

Publication number Publication date
US20240169657A1 (en) 2024-05-23
CN116964635A (zh) 2023-10-27
JP2024063786A (ja) 2024-05-14

Similar Documents

Publication Publication Date Title
CN105374005B (zh) 数据处理系统及其操作方法、计算机可读存储介质
US7916934B2 (en) Method and system for acquiring, encoding, decoding and displaying 3D light fields
US8860790B2 (en) Rendering improvement for 3D display
US8044994B2 (en) Method and system for decoding and displaying 3D light fields
JP2022523335A (ja) 層状シーン分解コーデックシステムおよび方法
EP2092488B1 (en) Image compression and/or decompression
EP2797054B1 (en) Rendering of an indirect illumination data buffer
US20080074438A1 (en) Sampling methods suited for graphics hardware acceleration
EP1906359B1 (en) Method, medium and system rendering 3-D graphics data having an object to which a motion blur effect is to be applied
US20070013696A1 (en) Fast ambient occlusion for direct volume rendering
JP2012527005A (ja) 表示装置およびそのための方法
KR20050004124A (ko) 흐림 생성 방법
US10868969B1 (en) Method and apparatus for accelerated tonemapping and display
CN114514746B (zh) 用于作为对视频编码的预处理的运动自适应滤波的系统和方法
WO2022196200A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム
EP3818495B1 (fr) Procede et dispositif d&#39;affichage de donnees sonar ou radar a haute dynamique
WO2023217867A1 (en) Variable resolution variable frame rate video coding using neural networks
US20050007379A1 (en) Matched texture filter design for rendering multi-rate data samples
CN113256785B (zh) 图像处理方法、装置、设备及介质
EP4242960A1 (en) High efficiency dynamic contrast processing
CN116681594B (zh) 图像处理方法及装置、设备、介质
Nguyen Adaptive Windowed Sinc Filter for Image Interpolation
US20240169654A1 (en) Information processing apparatus, information processing method, and information processing program
US20230325977A1 (en) Adaptive tile based super resolution
Ritschel et al. Perceptual Rasterization for Head-mounted Display Image Synthesis

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22770959

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18549324

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 202280019857.0

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22770959

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP