WO2019239462A1 - 学習装置、画像生成装置、学習方法、画像生成方法及びプログラム - Google Patents

学習装置、画像生成装置、学習方法、画像生成方法及びプログラム Download PDF

Info

Publication number
WO2019239462A1
WO2019239462A1 PCT/JP2018/022259 JP2018022259W WO2019239462A1 WO 2019239462 A1 WO2019239462 A1 WO 2019239462A1 JP 2018022259 W JP2018022259 W JP 2018022259W WO 2019239462 A1 WO2019239462 A1 WO 2019239462A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
wide
angle
learning
generation unit
Prior art date
Application number
PCT/JP2018/022259
Other languages
English (en)
French (fr)
Inventor
弘孝 浅山
Original Assignee
株式会社ソニー・インタラクティブエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・インタラクティブエンタテインメント filed Critical 株式会社ソニー・インタラクティブエンタテインメント
Priority to CN201880094324.2A priority Critical patent/CN112236800A/zh
Priority to PCT/JP2018/022259 priority patent/WO2019239462A1/ja
Priority to JP2020524963A priority patent/JP6980913B2/ja
Priority to US17/056,806 priority patent/US11625816B2/en
Publication of WO2019239462A1 publication Critical patent/WO2019239462A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Definitions

  • the present invention relates to a learning device, an image generation device, a learning method, an image generation method, and a program.
  • IBL image-based lightning
  • IBL In order to improve the reality of the generated image, in IBL, it is desirable to set the light source based on a wide-angle image such as a 360 degree image with a high dynamic range (HDR).
  • HDR high dynamic range
  • a wide-angle image is generated using an image generation unit implemented by a learned machine learning model or the like.
  • an estimation result of an environment outside the angle of view of the image such as an object or landscape outside the angle of view of the image is obtained.
  • a supplemented wide angle image is generated.
  • the high-luminance portion cannot be estimated well, and the high-luminance portion is arranged at an unnatural position in the wide-angle image, or conversely, In some cases, the high-luminance portion is not arranged at the position to be made. As a result, for example, the setting of the light source in IBL may become unnatural.
  • the present invention has been made in view of the above problems, and one of its purposes is a learning device, an image generation device, a learning method, and an image that can improve the estimation accuracy of a high-luminance portion of a generated wide-angle image. To provide a generation method and a program.
  • a learning device includes an input image acquisition unit that acquires an input image, and a generated wide image that is an image having a wider angle of view than the input image according to the input of the input image.
  • a wide-angle image generation unit that generates an angle image
  • a comparative wide-angle image acquisition unit that acquires a comparative wide-angle image that is an image to be compared with the generated wide-angle image, and the generated wide-angle image
  • the parameter value of the wide-angle image generation unit is set based on the brightness level of the pixel in the comparative wide-angle image or the generated wide-angle image.
  • a wide-angle image generation learning unit that performs learning of the wide-angle image generation unit by updating so that the update amount of the parameter value related to the pixel increases according to the luminance level of the pixel; Including.
  • an HDR image generation unit that generates a generated HDR image that is an image with a high dynamic range in response to an input of an image with a standard dynamic range, and an image with a high dynamic range that is compared with the generated HDR image
  • a comparison HDR image acquisition unit that acquires a comparison HDR image, and updating a parameter value of the HDR image generation unit based on a comparison result between the generated HDR image and the comparison HDR image
  • An HDR image generation learning unit that performs learning of the generation unit, and the input image acquisition unit acquires the generated HDR image generated by the learned HDR image generation unit as the input image.
  • An image generation apparatus includes an image acquisition unit that acquires an image of a standard dynamic range, an HDR image generation unit that generates an image of a high dynamic range according to the input of the image of the standard dynamic range, A wide-angle image generation unit that generates a wide-angle image having a wider angle of view than the image in response to the input of the high dynamic range image.
  • the wide-angle image generation unit is compared with the generated wide-angle image generated by the wide-angle image generation unit in response to input of the input image and the generated wide-angle image.
  • This is a learned machine learning model in which learning is performed by updating the parameter value of the wide angle image generation unit based on the comparison result with the comparative wide angle image.
  • the wide-angle image generation unit sets the parameter value of the wide-angle image generation unit to the brightness of the pixel in the comparative wide-angle image or the pixel value in the generated wide-angle image. It may be a learned machine learning model in which learning is executed by updating so that the update amount of the parameter value related to the pixel increases in accordance with the luminance level.
  • the HDR image generation unit compares the high dynamic range image generated by the HDR image generation unit in response to the input of the standard dynamic range image with the high dynamic range image.
  • This is a learned machine learning model in which learning is executed by updating the parameter value of the HDR image generation unit based on the comparison result with the high dynamic range image.
  • the learning method includes a step of acquiring an input image, and a generated wide image that is an image having a wider angle of view than the input image according to the input of the input image using a wide-angle image generation unit.
  • a step of generating a corner image a step of acquiring a comparative wide angle image that is an image to be compared with the generated wide angle image, and a comparison result between the generated wide angle image and the comparative wide angle image.
  • the image generation method includes a step of acquiring an image of a standard dynamic range, a step of generating an image of a high dynamic range according to the input of the image of the standard dynamic range, Generating a wide-angle image having a wider angle of view than the image in response to the input of the image.
  • the program according to the present invention includes a procedure for obtaining an input image, and a generated wide-angle image that is an image having a wider angle of view than the input image according to the input of the input image using a wide-angle image generation unit.
  • a procedure for acquiring a comparative wide-angle image that is an image to be compared with the generated wide-angle image On the basis of a comparison result between the generated wide-angle image and the comparative wide-angle image, and a procedure for acquiring a comparative wide-angle image that is an image to be compared with the generated wide-angle image.
  • the parameter value of the wide-angle image generation unit is set to a parameter value related to the pixel according to the luminance level of the pixel in the comparative wide-angle image or the luminance level of the pixel in the generated wide-angle image.
  • Another program according to the present invention includes a procedure for acquiring a standard dynamic range image, a procedure for generating a high dynamic range image in response to an input of the standard dynamic range image, and a step for generating the high dynamic range image.
  • the computer In response to the input, the computer is caused to execute a procedure for generating a wide-angle image having a wider angle of view than the image.
  • FIG. 1 is a configuration diagram of an image processing apparatus according to an embodiment of the present invention. It is a figure which shows an example of the 1st learning which concerns on one Embodiment of this invention. It is a figure which shows an example of the 2nd learning which concerns on one Embodiment of this invention. It is a figure which shows an example of a learning input HDR image typically. It is a figure which shows an example of a comparative wide field angle image typically. It is a figure which shows an example of a produced
  • FIG. 1 is a configuration diagram of an image processing apparatus 10 according to the present embodiment.
  • the image processing apparatus 10 according to the present embodiment is a computer such as a game console or a personal computer, for example.
  • the image processing apparatus 10 according to the present embodiment includes, for example, a processor 12, a storage unit 14, an operation unit 16, and a display unit 18.
  • the processor 12 is a program control device such as a CPU that operates according to a program installed in the image processing apparatus 10, for example.
  • the storage unit 14 is a storage element such as a ROM or a RAM, a hard disk drive, or the like.
  • the storage unit 14 stores a program executed by the processor 12 and the like.
  • the operation unit 16 is a user interface such as a keyboard, a mouse, and a game console controller, and receives a user operation input and outputs a signal indicating the content to the processor 12.
  • the display unit 18 is a display device such as a liquid crystal display, and displays various images in accordance with instructions from the processor 12.
  • the image processing apparatus 10 may include a communication interface such as a network board, an optical disk drive that reads an optical disk such as a DVD-ROM or a Blu-ray (registered trademark) disk, and a USB (Universal Serial Bus) port.
  • a communication interface such as a network board
  • an optical disk drive that reads an optical disk such as a DVD-ROM or a Blu-ray (registered trademark) disk
  • a USB Universal Serial Bus
  • a learned machine learning model is implemented in the image processing apparatus 10 according to the present embodiment. Then, using the machine learning model, an image in which an object or landscape outside the angle of view of the plane image is supplemented is generated based on the plane image (two-dimensional image).
  • a 32-bit high dynamic range (HDR) image per channel may be generated based on a standard dynamic range (SDR) planar image (two-dimensional image) of 8 bits per channel.
  • the planar image of the SDR may be an image taken with a general camera, for example.
  • the generated HDR image may be a full sky image (360 degree image), a half sky image (180 degree image), or the like.
  • the generated HDR image may be a panoramic image.
  • learning of the HDR image generation unit 20 is executed as shown in FIG.
  • learning data used for learning of the HDR image generation unit 20 is referred to as first learning data.
  • learning of the HDR image generation unit 20 is referred to as first learning.
  • the HDR image generation unit 20 is a machine learning model implemented by, for example, a convolutional neural network (CNN). For example, the HDR image generation unit 20 generates and outputs a 32-bit HDR image per channel associated with the image in response to an input of an 8-bit SDR image per channel.
  • CNN convolutional neural network
  • the first learning data includes, for example, a combination of the learning input SDR image 22 and the comparative HDR image 24.
  • the learning input SDR image 22 included in the first learning data is, for example, an image input to the HDR image generation unit 20 in the first learning.
  • the learning input SDR image 22 is an SDR plane image such as an image taken by a general camera.
  • the comparison HDR image 24 included in the first learning data is an HDR plane image such as an image captured by a general camera, which is not an image generated by the HDR image generation unit 20, for example.
  • the learning input SDR image 22 is input to the HDR image generation unit 20. Then, the HDR image generation unit 20 generates and outputs an HDR plane image associated with the learning input SDR image 22 in accordance with the input of the learning input SDR image 22.
  • the image generated in this way is referred to as a generated HDR image 26.
  • the generated HDR image 26 that is an output when the learning input SDR image 22 included in the first learning data is input to the HDR image generation unit 20 and the comparison HDR image included in the first learning data. 24 (the comparison result) is specified.
  • an inter-pixel error such as L1 loss may be specified.
  • the parameter value of the HDR image generation unit 20 is updated by, for example, the error back propagation method.
  • learning of the wide-angle image generation unit 28 is performed as shown in FIG. 3 separately from the first learning described above.
  • the learning data used for learning by the wide angle image generation unit 28 is referred to as second learning data.
  • learning of the wide-angle image generation unit 28 is referred to as second learning.
  • the wide angle-of-view image generation unit 28 is a machine learning model implemented by CNN, for example.
  • an HDR plane image is input to the wide angle image generation unit 28.
  • the wide-angle image generation unit 28 estimates an environment outside the angle of view of the image, such as an object or landscape outside the angle of view of the input HDR planar image. Then, for example, the wide-angle image generation unit 28 generates an image having a wider angle of view than the image included in the input planar image in which the estimation result is reflected.
  • an all-sky image or a half-sky image may be generated.
  • a panoramic image may be generated.
  • the wide angle image generation unit 28 outputs the generated image.
  • the domain identification unit 30 is, for example, a machine learning model implemented by CNN. For example, either an image generated by the wide angle image generation unit 28 or an image different from the image generated by the wide angle image generation unit 28 is input to the domain identification unit 30. Then, the domain identification unit 30 outputs an identification result as to whether or not the image input to the domain identification unit 30 is an image generated by the wide angle image generation unit 28, for example.
  • the domain identification unit 30 may output data indicating a high possibility that the image input to the domain identification unit 30 is an image generated by the wide-angle image generation unit 28.
  • the second learning data includes a learning input HDR image 32 and a comparative wide angle image 34.
  • the learning input HDR image 32 included in the second learning data is an HDR plane image such as an image photographed by a general camera.
  • FIG. 4 is a diagram schematically illustrating an example of the learning input HDR image 32 according to the present embodiment.
  • FIG. 4 shows an image obtained by binarizing the HDR image.
  • an HDR plane image generated by the learned HDR image generation unit 20 may be used as the learning input HDR image 32.
  • an HDR plane image generated by the learned HDR image generation unit 20 according to the input of the learning input SDR image 22 may be used as the learning input HDR image 32.
  • an HDR plane image generated by the learned HDR image generation unit 20 in response to an input of an SDR image different from the learning input SDR image 22 may be used as the learning input HDR image 32.
  • the comparative wide-angle image 34 included in the second learning data is not an image generated by the wide-angle image generation unit 28, for example, and is captured by an all-sky image or a half-sky camera captured by the all-sky camera. This is an HDR wide-angle image such as a half-sky image.
  • the comparative wide angle image 34 may be a panoramic image taken with a panoramic camera.
  • FIG. 5 is a diagram schematically illustrating an example of the comparative wide angle image 34 according to the present embodiment.
  • FIG. 5 shows an image obtained by binarizing the HDR image.
  • the comparative wide-angle image 34 included in the second learning data an image associated with the learning input HDR image 32 included in the second learning data may be used.
  • the comparative wide-angle image 34 included in the second learning data may be an image taken at the same position as the learning input HDR image 32 included in the second learning data, for example.
  • FIG. 6 is a diagram schematically illustrating an example of the generated wide angle image 36 according to the present embodiment.
  • FIG. 6 shows an image obtained by binarizing the HDR image.
  • the domain identification unit 30 generates either the generated wide-angle image 36 generated based on the learning input HDR image 32 included in the second learning data or the comparative wide-angle image 34 included in the second learning data. Is entered.
  • the domain identifying unit 30 outputs, for example, generation possibility data 38 indicating a high possibility that the image input to the domain identification unit 30 is the generated wide-angle image 36.
  • An adversarial loss is identified.
  • a value associated with either the generated wide-angle image 36 or the comparative wide-angle image 34 may be set.
  • the generation possibility data 38 may be data having a value of 0 or more and 1 or less.
  • the domain identification data 40 takes 1 as a value when the image input to the domain identification unit 30 is the generated wide-angle image 36 and 0 as a value when the image is the comparative wide-angle image 34. It may be data.
  • the generation possibility data 38 and the domain identification data 40 may be expressed as a vector including two elements, for example.
  • the value of the first element of the generation possibility data 38 may be a value indicating the high possibility that the image input to the domain identification unit 30 is the generated wide-angle image 36.
  • the value of the second element of the generation possibility data 38 may be a value indicating a high possibility that the image input to the domain identification unit 30 is the comparative wide-angle image 34.
  • the value of the domain identification data 40 associated with the generated wide angle image 36 is represented by a two-dimensional vector (1, 0)
  • the value of the domain identification data 40 associated with the comparative wide angle image 34 is two. It may be expressed by a dimension vector (0, 1).
  • the value of either the wide-angle image generation unit 28 or the domain identification unit 30 is updated based on the adversal loss, for example, by the error back propagation method.
  • the parameter value of the wide-angle image generation unit 28 using the predetermined number of second learning data is updated and the domain identification unit 30 using the predetermined number of second learning data.
  • the updating of the parameter value may be repeatedly performed alternately. In this case, when the parameter value of the wide angle image generation unit 28 is updated, the parameter value of the wide angle image generation unit 28 is updated while the parameter value of the domain identification unit 30 is fixed. The Further, when updating the parameter value of the domain identification unit 30, the parameter value of the domain identification unit 30 is updated in a state where the parameter value of the wide-angle image generation unit 28 is fixed.
  • the second learning according to the present embodiment is executed using the conditional GAN technique as described above. Therefore, in updating the parameter value of the wide-angle image generation unit 28, not only the adversarial loss, but also an inter-pixel error such as an L1 loss between the generated wide-angle image 36 and the comparative wide-angle image 34. It is added.
  • a weight 42 corresponding to the magnitude of the luminance value in the comparative wide angle image 34 is determined.
  • the corrected inter-pixel error is determined by weighting the above-described inter-pixel error with the weight 42.
  • the value of the corrected inter-pixel error is determined by multiplying the inter-pixel error value by a value indicating the weight 42. Then, based on the adversal loss and the corrected inter-pixel error determined for each pixel, the value of the parameter of the wide-angle image generation unit 28 is updated by, for example, the error back propagation method.
  • FIG. 7 is a diagram illustrating an example of a weight map 44 in which an example of the weight 42 according to the luminance value according to the present embodiment is expressed.
  • a pixel having a larger value indicating the weight 42 is expressed in white, and a pixel having a smaller value indicating the weight 42 is expressed in black.
  • FIG. 7 shows an image that has been binarized.
  • the weight 42 may be, for example, a luminance value increasing function. For example, even if the weight 42 of each pixel is set so that the weight 42 is 1 when the luminance value is less than a predetermined value and the weight 42 when the luminance value is greater than or equal to the predetermined value becomes larger as the luminance value is larger. Good. Further, for example, the weight 42 of each pixel may be set so that the weight 42 is 1 when the luminance value is less than a predetermined value and the weight 42 is 2 when the luminance value is greater than or equal to the predetermined value. The relationship between the luminance value and the weight 42 is not limited to the above.
  • the parameter of the wide-angle image generation unit 28 is set so that the update amount of the parameter value related to the pixel increases in accordance with the luminance level of the pixel in the comparative wide-angle image 34.
  • the learning of the wide-angle image generation unit 28 is executed by updating the value of.
  • the weight 42 corresponding to the magnitude of the luminance value in the generated wide angle image 36 instead of the comparative wide angle image 34 may be determined.
  • the parameter value of the wide-angle image generation unit 28 is updated so that the update amount of the parameter value related to the pixel increases according to the luminance level of the pixel in the generated wide-angle image 36.
  • the learning of the wide-angle image generation unit 28 is executed.
  • a weight 42 corresponding to the larger one of the luminance value of the pixel in the comparative wide-angle image 34 or the luminance value of the pixel in the generated wide-angle image 36 is determined. May be.
  • the update amount of the parameter value related to the pixel is increased in accordance with the height of the luminance of the pixel in the comparative wide-angle image 34 or the luminance of the pixel in the generated wide-angle image 36.
  • the parameter value of the angle-of-view image generation unit 28 is updated.
  • the learning method according to the present embodiment is not limited to the above.
  • the second learning based on only the inter-pixel error or the corrected inter-pixel error may be executed without using the conditional GAN technique.
  • learning of the wide angle image generation unit 28 is executed without using the domain identification unit 30.
  • an SDR plane image such as an image taken by a general camera is input to the learned HDR image generation unit 20.
  • the image input in this way is referred to as a target input image 46.
  • the HDR image generation unit 20 generates and outputs an HDR plane image corresponding to the target input image 46.
  • the HDR image output in this way is referred to as a target intermediate image 48.
  • the target intermediate image 48 is input to the learned wide-angle image generation unit 28.
  • the wide-angle image generation unit 28 generates and outputs an HDR image corresponding to the target intermediate image 48.
  • the image output here is, for example, an image having a wider angle of view than the target intermediate image 48 in which an object or landscape outside the angle of view of the target intermediate image 48 is supplemented.
  • the image is referred to as a target wide-angle image 50.
  • a pixel with high luminance such as a pixel having a large luminance value is likely to be a pixel in which a so-called light source such as the sun or illumination is expressed. If the wide-angle image generation unit 28 cannot estimate such a high-brightness pixel, a high-luminance portion is or should be arranged at an unnatural position in the generated wide-angle image 36. The high luminance part is not arranged in the part. As a result, for example, the setting of the light source in IBL may become unnatural.
  • the parameter value of the wide-angle image generation unit 28 is updated so that the update amount of the parameter value related to the pixel increases in accordance with the luminance level of the pixel. Learning of the angle-of-view image generation unit 28 is executed. Therefore, it is possible to improve the estimation accuracy of the wide-angle image generation unit 28 for pixels with high luminance.
  • the setting of the light source in the IBL can be made natural. Further, for example, reflection of a specular object using IBL technology can be expressed delicately.
  • the parameter value of the wide-angle image generation unit 28 is updated so that the update amount of the parameter value related to the pixel increases in accordance with the luminance level of the pixel in the comparative wide-angle image 34.
  • learning by the wide-angle image generation unit 28 may be executed. In this case, it is possible to reduce the possibility that the high luminance part is not arranged in the part to be arranged in the generated wide field angle image 36.
  • the parameter value of the wide-angle image generation unit 28 by updating the parameter value of the wide-angle image generation unit 28 so that the update amount of the parameter value related to the pixel increases in accordance with the luminance level of the pixel in the generated wide-angle image 36.
  • the learning of the wide-angle image generation unit 28 may be executed. In this case, it is possible to reduce the possibility that a high-luminance portion is arranged at an unnatural position in the generated wide-angle image 36.
  • the weight 42 of each pixel corresponding to the luminance value is determined based on an HDR image with a wide dynamic range, a particularly large luminance 42 is given to a portion with a particularly high luminance. Can be accurately weighted according to.
  • the HDR image generated by the wide-angle image generation unit 28 can be a high-frequency image.
  • the learning of the HDR image generation unit 20 is executed separately from the learning of the wide-angle image generation unit 28.
  • the HDR image generation unit 20 generates an HDR image based on the SDR image
  • the wide-angle image generation unit 28 generates an HDR wide-angle image based on the HDR image.
  • the generation of an HDR wide-angle image is performed in two stages, whereby a high-contrast HDR wide-angle image is generated according to the present embodiment.
  • a light source in image-based lighting may be set based on the target wide-angle image 50 generated by the image processing apparatus 10 according to the present embodiment.
  • the application of the target wide-angle image 50 generated by the image processing apparatus 10 according to the present embodiment is not limited to IBL.
  • FIG. 9 is a functional block diagram showing an example of functions implemented in the image processing apparatus 10 according to the present embodiment. Note that the image processing apparatus 10 according to the present embodiment does not have to include all the functions illustrated in FIG. 9, and functions other than the functions illustrated in FIG. 9 may be mounted.
  • the image processing apparatus 10 functionally includes, for example, an HDR image generation unit 20, a wide-angle image generation unit 28, a domain identification unit 30, and a first learning data acquisition unit.
  • 60 the 1st learning part 62, the 2nd learning data acquisition part 64, the 2nd learning part 66, the target input image acquisition part 68, the target intermediate image acquisition part 70, and the target wide view angle image acquisition part 72 are contained.
  • the above elements are mainly implemented by the processor 12 and the storage unit 14.
  • the image processing apparatus 10 performs image generation using a machine learning model that has also learned a role as a learning apparatus that performs learning of a machine learning model installed in the image processing apparatus 10. It also plays a role as a generator.
  • the learning unit 66 corresponds to a role as a learning device.
  • the HDR image generation unit 20, the wide angle image generation unit 28, the target input image acquisition unit 68, the target intermediate image acquisition unit 70, and the target wide angle image acquisition unit 72 correspond to the role as an image generation device. To do.
  • the above functions may be implemented by causing the processor 12 to execute a program that is installed in the image processing apparatus 10 that is a computer and that includes instructions corresponding to the above functions.
  • This program may be supplied to the image processing apparatus 10 via a computer-readable information storage medium such as an optical disk, a magnetic disk, a magnetic tape, a magneto-optical disk, or a flash memory, or via the Internet. .
  • the HDR image generation unit 20 generates and outputs an HDR plane image, for example, in response to an input of an SDR plane image.
  • the HDR image generation unit 20 may be implemented by a machine learning model such as CNN.
  • the wide-angle image generation unit 28 generates an image having a wider angle of view than the image according to the input of the image. Further, as described above, the wide angle image generation unit 28 outputs, for example, a generated image in the present embodiment. Alternatively, an HDR image may be output in response to an HDR image input.
  • the wide-angle image generation unit 28 may be implemented by a machine learning model such as CNN.
  • the domain identification unit 30 outputs an identification result indicating whether the image input to the domain identification unit 30 is an image generated by the wide-angle image generation unit 28.
  • the domain identification unit 30 may be implemented by a machine learning model such as CNN.
  • the first learning data acquisition unit 60 acquires first learning data including a combination of the learning input SDR image 22 and the comparative HDR image 24.
  • the first learning unit 62 performs the first learning using the first learning data acquired by the first learning data acquisition unit 60.
  • the generated HDR image 26 may be generated by the HDR image generating unit 20 based on the learning input SDR image 22 included in the first learning data. Then, based on the comparison result between the generated HDR image 26 and the comparative HDR image 24 included in the first learning data, the parameter value of the HDR image generating unit 20 is updated, so that the HDR image generating unit 20 Learning may be performed.
  • the second learning data acquisition unit 64 acquires second learning data including a combination of the learning input HDR image 32 and the comparative wide angle image 34.
  • the second learning data acquisition unit 64 may acquire second learning data including the generated HDR image 26 generated by the learned HDR image generation unit 20 as the learning input HDR image 32.
  • the second learning unit 66 performs the second learning using the second learning data acquired by the second learning data acquisition unit 64.
  • the generated wide angle image 36 may be generated by the wide angle image generation unit 28 based on the learning input HDR image 32 included in the second learning data. Then, for each pixel included in the generated wide angle image 36 or the comparative wide angle image 34 included in the second learning data, a weight 42 corresponding to the luminance value of the pixel may be determined.
  • the pixels included in the generated wide angle image 36 and the pixels included in the comparative wide angle image 34 may be associated with each other on a one-to-one basis. Then, for each pixel included in the comparative wide-angle image 34, according to the larger one of the luminance value of the pixel or the luminance value of the pixel in the generated wide-angle image 36 associated with the pixel.
  • the weight 42 may be determined as the weight 42 of the pixel.
  • the parameter value of the wide-angle image generation unit 28 is set so that the inter-pixel error between the generated wide-angle image 36 and the comparative wide-angle image 34 and the update amount according to the determined weight 42 are obtained.
  • the learning of the wide-angle image generation unit 28 may be executed by updating. For example, a corrected inter-pixel error value that is a value obtained by multiplying the inter-pixel error value of the generated wide-angle image 36 and the comparative wide-angle image 34 for a certain pixel by the value indicating the weight 42 of the pixel is added. Based on this, the update amount of the parameter value related to the pixel may be determined.
  • the parameter value of the wide-angle image generation unit 28 is updated so that the update amount of the parameter value related to the pixel increases in accordance with the luminance level of the pixel in the comparative wide-angle image 34.
  • learning by the wide-angle image generation unit 28 may be executed.
  • the learning of the wide angle image generation unit 28 may be executed.
  • the update amount of the parameter value related to the pixel is increased in accordance with the height of the luminance of the pixel in the comparative wide-angle image 34 or the luminance of the pixel in the generated wide-angle image 36.
  • the parameter value of the angle-of-view image generation unit 28 may be updated.
  • the target input image acquisition unit 68 acquires the target input image 46 described above that is input to the learned HDR image generation unit 20.
  • the target intermediate image acquisition unit 70 acquires the target intermediate image 48 generated and output by the HDR image generation unit 20 based on the target input image 46 as described above.
  • the target intermediate image acquisition unit 70 inputs the target intermediate image 48 to the wide angle image generation unit 28, for example.
  • the target wide-angle image acquisition unit 72 acquires the target wide-angle image 50 generated and output by the wide-angle image generation unit 28 based on the target intermediate image 48 as described above.
  • FIG. 1 An example of the learning process flow of the HDR image generation unit 20, the wide-angle image generation unit 28, and the domain identification unit 30 performed in the image processing apparatus 10 according to the present embodiment is illustrated in FIG. This will be described with reference to the drawings.
  • the first learning data acquisition unit 60 acquires a plurality of first learning data (S101).
  • the 1st learning part 62 performs 1st learning using the some 1st learning data acquired by the process shown to S101 (S102). Here, learning of the HDR image generation unit 20 is executed.
  • the second learning data acquisition unit 64 acquires a plurality of second learning data (S103).
  • m ⁇ 2n (m and n are integers) pieces of second learning data are acquired.
  • m ⁇ 2n pieces of second learning data are divided into 2n data groups.
  • the i (1 ⁇ i ⁇ m) th data group is referred to as an i-th data group.
  • the second learning unit 66 sets 1 to the value of the variable i (S104).
  • the 2nd learning part 66 performs the 2nd learning about the wide view angle image generation part 28 using n 2nd learning data contained in an i-th data group (S105).
  • the parameter value of the wide-angle image generation unit 28 is updated in a state where the parameter value of the domain identification unit 30 is fixed.
  • the 2nd learning part 66 performs the 2nd learning about the domain identification part 30 using the remaining n 2nd learning data which are not used by the process shown to S105 contained in an i-th data group. (S106).
  • the parameter value of the domain identifying unit 30 is updated in a state where the parameter value of the wide angle image generating unit 28 is fixed.
  • the 2nd learning part 66 confirms whether the value of the variable i is m (S107). When the value is not m (S107: N), the second learning unit 66 increments the value of the variable i by 1 (S108), and returns to the process shown in S105. If the value is m (S107: Y), the processing shown in this processing example is terminated.
  • FIG. 11 illustrates an example of the flow of the second learning process for the wide-angle image generation unit 28 using the n second learning data included in the i-th data group shown in S105 described above. This will be described with reference to the flowchart.
  • the second learning unit 66 acquires one of the n second learning data included in the i-th data group that has not been subjected to the processes shown in S202 to S212 below (S201).
  • the second learning unit 66 identifies the comparative wide-angle image 34 included in the second learning data acquired in the process shown in S201 (S202).
  • the 2nd learning part 66 specifies the learning input HDR image 32 contained in the 2nd learning data acquired by the process shown to S201 (S203).
  • the 2nd learning part 66 inputs the learning input HDR image 32 specified by the process shown to S203 to the wide view angle image generation part 28 (S204).
  • the 2nd learning part 66 acquires the production
  • the second learning unit 66 inputs either the comparative wide angle image 34 identified in the process shown in S202 or the generated wide angle image 36 acquired in the process shown in S205 to the domain identifying unit 30 (S206). ).
  • the 2nd learning part 66 acquires the production
  • the second learning unit 66 calculates an adversarial loss based on the generation possibility data 38 acquired in the process shown in S207 and the domain identification data 40 associated with the input in the process shown in S206 (S208). .
  • the second learning unit 66 identifies an inter-pixel error between the comparative wide-angle image 34 identified in the process shown in S202 and the generated wide-angle image 36 obtained in the process shown in S205 (S209). .
  • the 2nd learning part 66 determines the weight 42 matched with each pixel contained in the comparative wide view angle image 34 specified by the process shown to S202 (S210).
  • the weight 42 associated with each pixel included in the generated wide-angle image 36 acquired in the process shown in S205 may be determined.
  • the weight 42 corresponding to the larger one of the luminance value of the pixel in the comparative wide-angle image 34 or the luminance value of the pixel in the generated wide-angle image 36 is set. It may be determined.
  • the second learning unit 66 calculates a corrected inter-pixel error based on the inter-pixel error specified in the process shown in S209 and the weight 42 determined in the process shown in S210 (S211).
  • the second learning unit 66 updates the parameter value of the wide-angle image generation unit 28 based on the adversari loss calculated in the process shown in S209 and the corrected inter-pixel error calculated in the process shown in S211. (S212).
  • the parameter value of the wide-angle image generation unit 28 is set so that the update amount of the parameter value related to the pixel increases according to the luminance level of the pixel in the comparative wide-angle image 34. Updated. Further, the parameter value of the wide angle image generation unit 28 may be updated by, for example, the error back propagation method in a direction in which the adversary loss increases and the error between the corrected pixels decreases.
  • the second learning unit 66 confirms whether or not the processing shown in S202 to S212 has been executed for all of the n second learning data included in the i-th data group (S213).
  • the processing shown in S202 to S212 is not executed for all (S213: N)
  • the processing returns to S201.
  • the processes shown in S202 to S212 are executed for all (S213: Y)
  • the process shown in S105 is ended.
  • the second learning unit 66 executes the processes shown in S302 to S312 below among the remaining n second learning data included in the i-th data group and not used in the process shown in S105. One that does not exist is acquired (S301).
  • the second learning unit 66 identifies the comparative wide-angle image 34 included in the second learning data acquired in the process shown in S301 (S302).
  • the 2nd learning part 66 specifies the learning input HDR image 32 contained in the 2nd learning data acquired by the process shown to S301 (S303).
  • the second learning unit 66 inputs the learning input HDR image 32 specified in the process shown in S303 to the wide-angle image generation unit 28 (S304).
  • the second learning unit 66 acquires the generated wide-angle image 36 that is the output of the wide-angle image generation unit 28 when the learning input HDR image 32 is input in the process shown in S304 (S305).
  • the second learning unit 66 inputs either the comparative wide-angle image 34 identified in the process shown in S302 or the generated wide-angle image 36 acquired in the process shown in S206 to the domain identifying unit 30 (S306). ).
  • the 2nd learning part 66 acquires the production
  • the second learning unit 66 calculates an adversarial loss based on the generation possibility data 38 acquired in the process shown in S307 and the domain identification data 40 associated with the input in the process shown in S206 (S308). .
  • the 2nd learning part 66 updates the value of the parameter of the domain identification part 30 based on the adversari loss calculated by the process shown to S308 (S309).
  • the value of the parameter of the domain identification unit 30 may be updated in a direction in which the adversarial loss becomes smaller, for example, by the error back propagation method.
  • the second learning unit 66 determines whether or not the processing shown in S302 to S309 has been executed for all of the remaining n second learning data included in the i-th data group and not used in the processing shown in S105. Confirm (S310). If the processing shown in S302 to S309 is not executed for all (S310: N), the processing returns to S301. When the processing shown in S302 to S309 has been executed for all (S310: Y), the processing shown in S106 is terminated.
  • the target input image acquisition unit 68 acquires the target input image 46 (S401).
  • the target input image acquisition unit 68 inputs the target input image 46 acquired in the process shown in S401 to the HDR image generation unit 20 (S402).
  • the HDR image generation unit 20 generates a target intermediate image 48 corresponding to the target input image 46 input in the process shown in S302, and outputs the target intermediate image 48 (S403).
  • the target intermediate image acquisition unit 70 acquires the target intermediate image 48 output in the process shown in S403 (S404).
  • the target intermediate image acquisition unit 70 inputs the target intermediate image 48 acquired in the process shown in S404 to the wide-angle image generation unit 28 (S405).
  • the wide angle image generation unit 28 generates a target wide angle image 50 corresponding to the target intermediate image 48 input in the process shown in S405, and outputs the target wide angle image 50 (S406). .
  • the target wide angle image acquisition unit 72 acquires the target wide angle image 50 output in the process shown in S406 (S407), and ends the process shown in the present processing example.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

生成される広画角画像の高輝度部分の推定精度を向上できる学習装置、画像生成装置、学習方法、画像生成方法及びプログラムを提供する。第２学習データ取得部（６４）は、入力画像を取得する。広画角画像生成部（２８）は、入力画像の入力に応じて当該入力画像よりも画角が広い画像である生成広画角画像を生成する。第２学習データ取得部（６４）は、生成広画角画像と比較される画像である比較広画角画像を取得する。第２学習部（６６）は、生成広画角画像と比較広画角画像との比較結果に基づいて、広画角画像生成部（２８）のパラメータの値を、比較広画角画像内における画素の輝度の高さ又は生成広画角画像内における画素の輝度の高さに応じて当該画素に係るパラメータの値の更新量が大きくなるよう更新することで、広画角画像生成部（２８）の学習を実行する。

Description

学習装置、画像生成装置、学習方法、画像生成方法及びプログラム
　本発明は、学習装置、画像生成装置、学習方法、画像生成方法及びプログラムに関する。
　実写の画像に基づいて設定される光源を用いて、リアルなコンピュータグラフィックス（ＣＧ）の画像やＣＧと実写の画像とを合成した画像を生成するイメージベースドライトニング（ＩＢＬ）の技術が知られている。
　生成される画像のリアリティを向上させるため、ＩＢＬにおいてはハイダイナミックレンジ（ＨＤＲ）の３６０度画像などといった広画角画像に基づいて光源が設定されることが望ましい。しかし、広画角画像を得るためには全天周カメラや半天周カメラなどといった専用機材による撮影が必要であり、また、専門の知識も求められる。
　そのため、撮影によって広画角画像を生成する代わりに、学習済の機械学習モデルなどによって実装された画像生成部を用いて広画角画像を生成することが行われている。この場合は例えば、一般的なカメラにより撮影される画像を画像生成部に入力することで、当該画像の画角の外の物体や風景などといった当該画像の画角の外の環境の推定結果が補われた広画角画像が生成される。
　しかし上述のようにして広画角画像を生成する従来技術では、高輝度部分がうまく推定できず、広画角画像内の不自然な位置に高輝度部分が配置される、あるいは逆に、配置されるべき位置に高輝度部分が配置されないことがあった。その結果、例えばＩＢＬにおける光源の設定が不自然になることがあった。
　本発明は上記課題に鑑みてなされたものであって、その目的の１つは、生成される広画角画像の高輝度部分の推定精度を向上できる学習装置、画像生成装置、学習方法、画像生成方法及びプログラムを提供することにある。
　上記課題を解決するために、本発明に係る学習装置は、入力画像を取得する入力画像取得部と、前記入力画像の入力に応じて当該入力画像よりも画角が広い画像である生成広画角画像を生成する広画角画像生成部と、前記生成広画角画像と比較される画像である比較広画角画像を取得する比較広画角画像取得部と、前記生成広画角画像と前記比較広画角画像との比較結果に基づいて、前記広画角画像生成部のパラメータの値を、前記比較広画角画像内における画素の輝度の高さ又は前記生成広画角画像内における画素の輝度の高さに応じて当該画素に係るパラメータの値の更新量が大きくなるよう更新することで、前記広画角画像生成部の学習を実行する広画角画像生成学習部と、を含む。
　本発明の一態様では、スタンダードダイナミックレンジの画像の入力に応じて、ハイダイナミックレンジの画像である生成ＨＤＲ画像を生成するＨＤＲ画像生成部と、前記生成ＨＤＲ画像と比較されるハイダイナミックレンジの画像である比較ＨＤＲ画像を取得する比較ＨＤＲ画像取得部と、前記生成ＨＤＲ画像と前記比較ＨＤＲ画像との比較結果に基づいて、前記ＨＤＲ画像生成部のパラメータの値を更新することで、前記ＨＤＲ画像生成部の学習を実行するＨＤＲ画像生成学習部と、をさらに含み、前記入力画像取得部は、学習済の前記ＨＤＲ画像生成部が生成する前記生成ＨＤＲ画像を、前記入力画像として取得する。
　また、本発明にかかる画像生成装置は、スタンダードダイナミックレンジの画像を取得する画像取得部と、前記スタンダードダイナミックレンジの画像の入力に応じて、ハイダイナミックレンジの画像を生成するＨＤＲ画像生成部と、前記ハイダイナミックレンジの画像の入力に応じて、当該画像より画角が広い広画角画像を生成する広画角画像生成部と、を含む。
　本発明の一態様では、前記広画角画像生成部は、入力画像の入力に応じて当該広画角画像生成部が生成する生成広画角画像と、当該生成広画角画像と比較される比較広画角画像と、の比較結果に基づいて、前記広画角画像生成部のパラメータの値を更新することで学習が実行された学習済の機械学習モデルである。
　この態様では、前記広画角画像生成部は、前記広画角画像生成部のパラメータの値を前記比較広画角画像内における画素の輝度の高さ又は前記生成広画角画像内における画素の輝度の高さに応じて当該画素に係るパラメータの値の更新量が大きくなるよう更新することで学習が実行された学習済の機械学習モデルであってもよい。
　また、本発明の一態様では、前記ＨＤＲ画像生成部は、スタンダードダイナミックレンジの画像の入力に応じて当該ＨＤＲ画像生成部が生成するハイダイナミックレンジの画像と、当該ハイダイナミックレンジの画像と比較されるハイダイナミックレンジの画像と、の比較結果に基づいて、前記ＨＤＲ画像生成部のパラメータの値を更新することで学習が実行された学習済の機械学習モデルである。
　また、本発明に係る学習方法は、入力画像を取得するステップと、広画角画像生成部を用いて前記入力画像の入力に応じて当該入力画像よりも画角が広い画像である生成広画角画像を生成するステップと、前記生成広画角画像と比較される画像である比較広画角画像を取得するステップと、前記生成広画角画像と前記比較広画角画像との比較結果に基づいて、前記広画角画像生成部のパラメータの値を、前記比較広画角画像内における画素の輝度の高さ又は前記生成広画角画像内における画素の輝度の高さに応じて当該画素に係るパラメータの値の更新量が大きくなるよう更新することで、前記広画角画像生成部の学習を実行するステップと、を含む。
　また、本発明に係る画像生成方法は、スタンダードダイナミックレンジの画像を取得するステップと、前記スタンダードダイナミックレンジの画像の入力に応じて、ハイダイナミックレンジの画像を生成するステップと、前記ハイダイナミックレンジの画像の入力に応じて、当該画像より画角が広い広画角画像を生成するステップと、を含む。
　また、本発明に係るプログラムは、入力画像を取得する手順、広画角画像生成部を用いて前記入力画像の入力に応じて当該入力画像よりも画角が広い画像である生成広画角画像を生成する手順、前記生成広画角画像と比較される画像である比較広画角画像を取得する手順、前記生成広画角画像と前記比較広画角画像との比較結果に基づいて、前記広画角画像生成部のパラメータの値を、前記比較広画角画像内における画素の輝度の高さ又は前記生成広画角画像内における画素の輝度の高さに応じて当該画素に係るパラメータの値の更新量が大きくなるよう更新することで、前記広画角画像生成部の学習を実行する手順、をコンピュータに実行させる。
　また、本発明に係る別のプログラムは、スタンダードダイナミックレンジの画像を取得する手順、前記スタンダードダイナミックレンジの画像の入力に応じて、ハイダイナミックレンジの画像を生成する手順、前記ハイダイナミックレンジの画像の入力に応じて、当該画像より画角が広い広画角画像を生成する手順、をコンピュータに実行させる。
本発明の一実施形態に係る画像処理装置の構成図である。 本発明の一実施形態に係る第１学習の一例を示す図である。 本発明の一実施形態に係る第２学習の一例を示す図である。 学習入力ＨＤＲ画像の一例を模式的に示す図である。 比較広画角画像の一例を模式的に示す図である。 生成広画角画像の一例を模式的に示す図である。 重みマップの一例を示す図である。 本発明の一実施形態に係る画像の生成の一例を示す図である。 本発明の一実施形態に係る画像処理装置で実装される機能の一例を示す機能ブロック図である。 本発明の一実施形態に係る画像処理装置で行われる学習処理の流れの一例を示すフロー図である。 本発明の一実施形態に係る画像処理装置で行われる学習処理の流れの一例を示すフロー図である。 本発明の一実施形態に係る画像処理装置で行われる学習処理の流れの一例を示すフロー図である。 本発明の一実施形態に係る画像処理装置で行われるターゲット広画角画像の生成処理の流れの一例を示すフロー図である。
　以下、本発明の一実施形態について図面に基づき詳細に説明する。
　図１は、本実施形態に係る画像処理装置１０の構成図である。本実施形態に係る画像処理装置１０は、例えば、ゲームコンソールやパーソナルコンピュータなどのコンピュータである。図１に示すように、本実施形態に係る画像処理装置１０は、例えば、プロセッサ１２、記憶部１４、操作部１６、表示部１８を含んでいる。
　プロセッサ１２は、例えば画像処理装置１０にインストールされるプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである。
　記憶部１４は、ＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである。記憶部１４には、プロセッサ１２によって実行されるプログラムなどが記憶される。
　操作部１６は、キーボード、マウス、ゲームコンソールのコントローラ等のユーザインタフェースであって、ユーザの操作入力を受け付けて、その内容を示す信号をプロセッサ１２に出力する。
　表示部１８は、液晶ディスプレイ等の表示デバイスであって、プロセッサ１２の指示に従って各種の画像を表示する。
　なお、画像処理装置１０は、ネットワークボードなどの通信インタフェース、ＤＶＤ－ＲＯＭやＢｌｕ－ｒａｙ（登録商標）ディスクなどの光ディスクを読み取る光ディスクドライブ、ＵＳＢ（Universal Serial Bus）ポートなどを含んでいてもよい。
　本実施形態に係る画像処理装置１０には学習済の機械学習モデルが実装される。そして当該機械学習モデルを用いて、平面画像（二次元画像）に基づいて、当該平面画像の画角の外の物体や風景が補われた画像が生成される。ここで例えば、チャネルあたり８ビットのスタンダードダイナミックレンジ（ＳＤＲ）の平面画像（二次元画像）に基づいて、チャネルあたり３２ビットのハイダイナミックレンジ（ＨＤＲ）の画像が生成されてもよい。また当該ＳＤＲの平面画像は、例えば一般的なカメラで撮影される画像などであってもよい。また例えば、生成されるＨＤＲの画像は、全天周画像（３６０度画像）や半天周画像（１８０度画像）などであってもよい。また生成されるＨＤＲの画像は、パノラマ画像であってもよい。
　以下、画像処理装置１０に実装されている機械学習モデルの学習の一例について説明する。
　本実施形態に係る画像処理装置１０に実装されている機械学習モデルの学習においては、まず、図２に示すように、ＨＤＲ画像生成部２０の学習が実行される。ここでＨＤＲ画像生成部２０の学習に用いられる学習データを第１学習データと呼ぶこととする。また以下、ＨＤＲ画像生成部２０の学習を第１学習と呼ぶこととする。
　ＨＤＲ画像生成部２０は、例えば、畳み込みニューラルネットワーク（ＣＮＮ）により実装された機械学習モデルである。ＨＤＲ画像生成部２０は、例えば、チャネルあたり８ビットのＳＤＲの画像の入力に応じて、当該画像に対応付けられるチャネルあたり３２ビットのＨＤＲの画像を生成して出力する。
　第１学習データには、例えば、学習入力ＳＤＲ画像２２と比較ＨＤＲ画像２４との組合せが含まれる。
　第１学習データに含まれる学習入力ＳＤＲ画像２２は、例えば、第１学習においてＨＤＲ画像生成部２０に入力される画像である。学習入力ＳＤＲ画像２２は、例えば、一般的なカメラで撮影される画像などといった、ＳＤＲの平面画像である。
　第１学習データに含まれる比較ＨＤＲ画像２４は、例えば、ＨＤＲ画像生成部２０により生成された画像ではない、一般的なカメラで撮影される画像などといった、ＨＤＲの平面画像である。
　本実施形態では例えば、学習入力ＳＤＲ画像２２がＨＤＲ画像生成部２０に入力される。するとＨＤＲ画像生成部２０は、当該学習入力ＳＤＲ画像２２の入力に応じて、当該学習入力ＳＤＲ画像２２に対応付けられるＨＤＲの平面画像を生成して出力する。このようにして生成される画像を生成ＨＤＲ画像２６と呼ぶこととする。
　そして本実施形態では例えば、第１学習データに含まれる学習入力ＳＤＲ画像２２をＨＤＲ画像生成部２０に入力した際の出力である生成ＨＤＲ画像２６と、当該第１学習データに含まれる比較ＨＤＲ画像２４と、の誤差（比較結果）が特定される。ここで例えば、Ｌ１ロスなどの画素間誤差（ピクセル間誤差）が特定されてもよい。そして特定される誤差に基づいて、例えば誤差逆伝搬法により、ＨＤＲ画像生成部２０のパラメータの値が更新される。
　本実施形態では例えば、上述の第１学習とは別に、図３に示すように、広画角画像生成部２８の学習が実行される。ここで広画角画像生成部２８の学習に用いられる学習データを第２学習データと呼ぶこととする。また、以下、広画角画像生成部２８の学習を第２学習と呼ぶこととする。
　以下、条件付きＧＡＮ（Generative Adversarial Network）の技術を用いて、広画角画像生成部２８の学習だけではなくドメイン識別部３０の学習も併せて実行される第２学習の一例について説明する。
　広画角画像生成部２８は、例えば、ＣＮＮにより実装された機械学習モデルである。広画角画像生成部２８には、例えば、ＨＤＲの平面画像が入力される。
　そして広画角画像生成部２８は、例えば入力されるＨＤＲの平面画像の画角の外の物体や風景などといった当該画像の画角の外の環境を推定する。そして広画角画像生成部２８は例えば、当該推定の結果が反映された、入力される平面画像に含まれる画像よりも画角が広い画像を生成する。ここで例えば、全天周画像や半天周画像が生成されてもよい。また例えば、パノラマ画像が生成されてもよい。そして広画角画像生成部２８は、生成された画像を出力する。
　ドメイン識別部３０は、例えば、ＣＮＮにより実装された機械学習モデルである。ドメイン識別部３０には、例えば、広画角画像生成部２８により生成された画像、又は、広画角画像生成部２８では生成された画像とは異なる画像のいずれかが入力される。そしてドメイン識別部３０は、例えば、ドメイン識別部３０に入力される画像が広画角画像生成部２８により生成された画像であるか否かの識別結果を出力する。ここでドメイン識別部３０が、ドメイン識別部３０に入力された画像が広画角画像生成部２８により生成された画像である可能性の高さを示すデータを出力してもよい。
　第２学習データには、学習入力ＨＤＲ画像３２と、比較広画角画像３４と、が含まれている。
　第２学習データに含まれる学習入力ＨＤＲ画像３２は、例えば、一般的なカメラで撮影される画像などといったＨＤＲの平面画像である。図４は、本実施形態に係る学習入力ＨＤＲ画像３２の一例を模式的に示す図である。なお図４にはＨＤＲの画像に対して二値化処理がされた画像が示されている。なお学習入力ＨＤＲ画像３２として、学習済のＨＤＲ画像生成部２０が生成するＨＤＲの平面画像が用いられてもよい。ここで例えば、学習入力ＳＤＲ画像２２の入力に応じて学習済のＨＤＲ画像生成部２０が生成するＨＤＲの平面画像が学習入力ＨＤＲ画像３２として用いられてもよい。また学習入力ＳＤＲ画像２２とは異なるＳＤＲの画像の入力に応じて学習済のＨＤＲ画像生成部２０が生成するＨＤＲの平面画像が学習入力ＨＤＲ画像３２として用いられてもよい。
　第２学習データに含まれる比較広画角画像３４は、例えば、広画角画像生成部２８により生成された画像ではない、全天周カメラで撮影された全天周画像や半天周カメラで撮影された半天周画像などのＨＤＲの広画角画像である。なお比較広画角画像３４は、パノラマカメラで撮影されたパノラマ画像であってもよい。図５は、本実施形態に係る比較広画角画像３４の一例を模式的に示す図である。なお図５にはＨＤＲの画像に対して二値化処理がされた画像が示されている。
　また、第２学習データに含まれる比較広画角画像３４として、当該第２学習データに含まれる学習入力ＨＤＲ画像３２に対応付けられる画像が用いられてもよい。第２学習データに含まれる比較広画角画像３４は、例えば、当該第２学習データに含まれる学習入力ＨＤＲ画像３２と同じ位置で撮影された画像であってもよい。
　第２学習では、第２学習データに含まれる学習入力ＨＤＲ画像３２が広画角画像生成部２８に入力される。すると広画角画像生成部２８は、当該学習入力ＨＤＲ画像３２の入力に応じて、当該学習入力ＨＤＲ画像３２よりも画角が広い画像を生成する。このようにして生成される画像を生成広画角画像３６と呼ぶこととする。図６は、本実施形態に係る生成広画角画像３６の一例を模式的に示す図である。なお図６にはＨＤＲの画像に対して二値化処理がされた画像が示されている。
　そしてドメイン識別部３０に、第２学習データに含まれる学習入力ＨＤＲ画像３２に基づいて生成された生成広画角画像３６、又は、第２学習データに含まれる比較広画角画像３４のいずれかが入力される。
　そしてドメイン識別部３０は、例えば、ドメイン識別部３０に入力された画像が生成広画角画像３６である可能性の高さを示す生成可能性データ３８を出力する。そして当該生成可能性データ３８と、ドメイン識別部３０に入力された画像が生成広画角画像３６であるか比較広画角画像３４であるかを示すドメイン識別データ４０との誤差（比較結果）であるアドバーサリアルロス（adversarial loss）が特定される。
　ここで例えばドメイン識別データ４０の値として、生成広画角画像３６又は比較広画角画像３４のいずれかに対応付けられる値が設定されてもよい。
　例えば生成可能性データ３８が０以上１以下の値をとるデータであってもよい。この場合、ドメイン識別データ４０は例えば、ドメイン識別部３０に入力された画像が生成広画角画像３６である場合に値として１をとり比較広画角画像３４である場合に値として０をとるデータであってもよい。
　また生成可能性データ３８及びドメイン識別データ４０が例えば２個の要素を含むベクトルとして表現されてもよい。例えば、生成可能性データ３８の第１の要素の値がドメイン識別部３０に入力された画像が生成広画角画像３６である可能性の高さを示す値であってもよい。そして生成可能性データ３８の第２の要素の値がドメイン識別部３０に入力された画像が比較広画角画像３４である可能性の高さを示す値であってもよい。この場合、生成広画角画像３６に対応付けられるドメイン識別データ４０の値が二次元ベクトル（１，０）で表現され、比較広画角画像３４に対応付けられるドメイン識別データ４０の値が二次元ベクトル（０，１）で表現されてもよい。
　そして本実施形態では、アドバーサリアルロスに基づいて、例えば誤差逆伝搬法により、広画角画像生成部２８又はドメイン識別部３０のいずれかのパラメータの値が更新される。
　ここで本実施形態に係る第２学習において、所定数の第２学習データを用いた広画角画像生成部２８のパラメータの値の更新と所定数の第２学習データを用いたドメイン識別部３０のパラメータの値の更新とが、交互に繰り返し実行されてもよい。この場合、広画角画像生成部２８のパラメータの値の更新の際には、ドメイン識別部３０のパラメータの値が固定された状態で、広画角画像生成部２８のパラメータの値が更新される。また、ドメイン識別部３０のパラメータの値の更新の際には、広画角画像生成部２８のパラメータの値が固定された状態で、ドメイン識別部３０のパラメータの値が更新される。
　また本実施形態に係る第２学習は、上述のように条件付きＧＡＮの技術を用いて実行される。そのため、広画角画像生成部２８のパラメータの値の更新では、アドバーサリアルロスだけではなく、生成広画角画像３６と比較広画角画像３４との間のＬ１ロスなどの画素間誤差も加味される。
　また本実施形態では例えば、各画素について、比較広画角画像３４における輝度値の大きさに応じた重み４２が決定される。そして上述の画素間誤差に重み４２による重み付けを行うことで、修正画素間誤差が決定される。例えば、各画素について、画素間誤差の値に重み４２を示す値を乗じることで、修正画素間誤差の値が決定される。そして、アドバーサリアルロス、及び、各画素について決定される修正画素間誤差に基づいて、例えば誤差逆伝搬法により、広画角画像生成部２８のパラメータの値が更新される。
　図７は、本実施形態に係る輝度値に応じた重み４２の一例が表現された重みマップ４４の一例を示す図である。図７の重みマップ４４では、重み４２を示す値が大きな画素ほど白く、また重み４２を示す値が小さな画素ほど黒く表現されている。なお図７には二値化処理がされた画像が示されている。
　ここで重み４２は、例えば、輝度値の増加関数であってもよい。例えば、輝度値が所定値未満である場合における重み４２は１となり、輝度値が所定値以上である場合における重み４２は輝度値が大きいほど大きくなるよう、各画素の重み４２が設定されてもよい。また例えば、輝度値が所定値未満である場合における重み４２は１となり、輝度値が所定値以上である場合における重み４２は２となるよう、各画素の重み４２が設定されてもよい。なお輝度値と重み４２との関係は上述のものに限定されない。
　以上のようにして本実施形態では、比較広画角画像３４内における画素の輝度の高さに応じて当該画素に係るパラメータの値の更新量が大きくなるよう広画角画像生成部２８のパラメータの値を更新することで、広画角画像生成部２８の学習が実行される。
　なお各画素について、比較広画角画像３４ではなく生成広画角画像３６における輝度値の大きさに応じた重み４２が決定されてもよい。この場合は生成広画角画像３６内における画素の輝度の高さに応じて当該画素に係るパラメータの値の更新量が大きくなるよう広画角画像生成部２８のパラメータの値を更新することで、広画角画像生成部２８の学習が実行される。
　また各画素について、比較広画角画像３４内における当該画素の輝度値又は生成広画角画像３６内における当該画素の輝度値のうちのいずれか大きな方の大きさに応じた重み４２が決定されてもよい。この場合は比較広画角画像３４内における画素の輝度の高さ又は生成広画角画像３６内における画素の輝度の高さに応じて当該画素に係るパラメータの値の更新量が大きくなるよう広画角画像生成部２８のパラメータの値が更新される。
　なお本実施形態に係る学習の方法は上述のものに限定されない。例えば条件付きＧＡＮの技術を用いずに、例えば画素間誤差や修正画素間誤差のみに基づく第２学習が実行されてもよい。この場合は、ドメイン識別部３０を用いずに広画角画像生成部２８の学習が実行されることとなる。
　以下、学習済のＨＤＲ画像生成部２０及び広画角画像生成部２８を用いた画像の生成について図８を参照しながら説明する。
　まず、一般的なカメラで撮影される画像などといったＳＤＲの平面画像が学習済のＨＤＲ画像生成部２０に入力される。以下、このようにして入力される画像をターゲット入力画像４６と呼ぶこととする。
　そしてＨＤＲ画像生成部２０が、当該ターゲット入力画像４６に応じたＨＤＲの平面画像を生成して出力する。以下、このようにして出力されるＨＤＲの画像をターゲット中間画像４８と呼ぶこととする。
　そして当該ターゲット中間画像４８が学習済の広画角画像生成部２８に入力される。そして広画角画像生成部２８が、当該ターゲット中間画像４８に応じたＨＤＲの画像を生成して出力する。ここで出力される画像は、例えば、ターゲット中間画像４８の画角の外の物体や風景が補われた、当該ターゲット中間画像４８よりも画角が広い画像である。以下、当該画像をターゲット広画角画像５０と呼ぶこととする。
　輝度値が大きい画素などといった輝度が高い画素は、太陽や照明などといったいわゆる光源が表現された画素である可能性が高い。そしてこのような輝度が高い画素について広画角画像生成部２８の推定がうまくできないと、生成広画角画像３６内の不自然な位置に高輝度部分が配置される、あるいは、配置されるべき部分に高輝度部分が配置されない。その結果、例えばＩＢＬにおける光源の設定が不自然になることがあった。
　本実施形態では上述のように、画素の輝度の高さに応じて当該画素に係るパラメータの値の更新量が大きくなるよう広画角画像生成部２８のパラメータの値を更新することで、広画角画像生成部２８の学習が実行される。そのため、輝度が高い画素について広画角画像生成部２８の推定精度を向上させることができる。その結果、例えばＩＢＬにおける光源の設定を自然なものとすることができる。また例えばＩＢＬの技術を用いた鏡面物体の反射を繊細に表現できるようになる。
　ここで例えば、比較広画角画像３４内における画素の輝度の高さに応じて当該画素に係るパラメータの値の更新量が大きくなるよう広画角画像生成部２８のパラメータの値を更新することで、広画角画像生成部２８の学習が実行されてもよい。この場合は、生成広画角画像３６内の配置されるべき部分に高輝度部分が配置されない可能性を下げることができる。
　また例えば、生成広画角画像３６内における画素の輝度の高さに応じて当該画素に係るパラメータの値の更新量が大きくなるよう広画角画像生成部２８のパラメータの値を更新することで、広画角画像生成部２８の学習が実行されてもよい。この場合は、生成広画角画像３６内の不自然な位置に高輝度部分が配置される可能性を下げることができる。
　また本実施形態では、ダイナミックレンジが広いＨＤＲの画像に基づいて輝度値に応じた各画素の重み４２が決定されるため、輝度が特に高い部分に対して特に大きな重み４２を付与するなどといった輝度に応じた的確な重み付けを行うことができる。
　また第２学習において条件付きＧＡＮの技術が用いる場合には、広画角画像生成部２８により生成されるＨＤＲの画像を高周波なものとすることができる。
　また本実施形態では例えば上述のように、広画角画像生成部２８の学習とは別にＨＤＲ画像生成部２０の学習が実行される。そしてＨＤＲ画像生成部２０によりＳＤＲの画像に基づくＨＤＲの画像が行われ、広画角画像生成部２８により当該ＨＤＲの画像に基づくＨＤＲの広画角の画像の生成が行われる。このようにＨＤＲの広画角の画像の生成が２段階で行われることにより本実施形態によれば高コントラストなＨＤＲの広画角の画像が生成されることとなる。
　なお本実施形態に係る画像処理装置１０で生成されるターゲット広画角画像５０に基づいて、イメージベースドライトニング（ＩＢＬ）における光源が設定されてもよい。なおもちろん、本実施形態に係る画像処理装置１０で生成されるターゲット広画角画像５０の用途はＩＢＬには限定されない。
　以下、本実施形態に係る画像処理装置１０の機能、及び、画像処理装置１０で実行される処理についてさらに説明する。
　図９は、本実施形態に係る画像処理装置１０で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係る画像処理装置１０で、図９に示す機能のすべてが実装される必要はなく、また、図９に示す機能以外の機能が実装されていても構わない。
　図９に示すように、本実施形態に係る画像処理装置１０には、機能的には例えば、ＨＤＲ画像生成部２０、広画角画像生成部２８、ドメイン識別部３０、第１学習データ取得部６０、第１学習部６２、第２学習データ取得部６４、第２学習部６６、ターゲット入力画像取得部６８、ターゲット中間画像取得部７０、ターゲット広画角画像取得部７２、が含まれる。以上の要素はプロセッサ１２、及び、記憶部１４を主として実装される。
　本実施形態に係る画像処理装置１０は、画像処理装置１０に実装されている機械学習モデルの学習を実行する学習装置としての役割も学習済の機械学習モデルを用いた画像の生成を実行する画像生成装置としての役割も担っている。図９の例では、ＨＤＲ画像生成部２０、広画角画像生成部２８、ドメイン識別部３０、第１学習データ取得部６０、第１学習部６２、第２学習データ取得部６４、及び、第２学習部６６が、学習装置としての役割に相当する。また、ＨＤＲ画像生成部２０、広画角画像生成部２８、ターゲット入力画像取得部６８、ターゲット中間画像取得部７０、及び、ターゲット広画角画像取得部７２が、画像生成装置としての役割に相当する。
　以上の機能は、コンピュータである画像処理装置１０にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ１２で実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介して画像処理装置１０に供給されてもよい。
　ＨＤＲ画像生成部２０は、上述のように本実施形態では例えば、ＳＤＲの平面画像の入力に応じて、ＨＤＲの平面画像を生成して出力する。またＨＤＲ画像生成部２０は、ＣＮＮなどの機械学習モデルにより実装されていてもよい。
　広画角画像生成部２８は、上述のように本実施形態では例えば、画像の入力に応じて、当該画像よりも画角が広い画像を生成する。また広画角画像生成部２８は、上述のように本実施形態では例えば、生成された画像を出力する。また、ＨＤＲの画像の入力に応じて、ＨＤＲの画像を出力してもよい。また広画角画像生成部２８は、ＣＮＮなどの機械学習モデルにより実装されていてもよい。
　ドメイン識別部３０は、上述のように本実施形態では例えば、ドメイン識別部３０に入力される画像が広画角画像生成部２８により生成された画像であるか否かの識別結果を出力する。またドメイン識別部３０は、ＣＮＮなどの機械学習モデルにより実装されていてもよい。
　第１学習データ取得部６０は、本実施形態では例えば、学習入力ＳＤＲ画像２２と比較ＨＤＲ画像２４との組合せを含む第１学習データを取得する。
　第１学習部６２は、本実施形態では例えば、第１学習データ取得部６０が取得する第１学習データを用いて第１学習を実行する。ここで例えば、第１学習データに含まれる学習入力ＳＤＲ画像２２に基づいてＨＤＲ画像生成部２０により生成ＨＤＲ画像２６が生成されてもよい。そして当該生成ＨＤＲ画像２６と、当該第１学習データに含まれる比較ＨＤＲ画像２４と、の比較結果に基づいて、ＨＤＲ画像生成部２０のパラメータの値を更新することで、ＨＤＲ画像生成部２０の学習が実行されてもよい。
　第２学習データ取得部６４は、本実施形態では例えば、学習入力ＨＤＲ画像３２と比較広画角画像３４との組合せを含む第２学習データを取得する。ここで第２学習データ取得部６４は、学習済のＨＤＲ画像生成部２０が生成する生成ＨＤＲ画像２６を学習入力ＨＤＲ画像３２として含む第２学習データを取得してもよい。
　第２学習部６６は、本実施形態では例えば、第２学習データ取得部６４が取得する第２学習データを用いて第２学習を実行する。
　ここで例えば、第２学習データに含まれる学習入力ＨＤＲ画像３２に基づいて広画角画像生成部２８により生成広画角画像３６が生成されてもよい。そして当該生成広画角画像３６、又は、当該第２学習データに含まれる比較広画角画像３４に含まれる各画素について、当該画素の輝度値に応じた重み４２が決定されてもよい。
　また、生成広画角画像３６に含まれる画素と比較広画角画像３４に含まれる画素とが１対１で対応付けられていてもよい。そして比較広画角画像３４に含まれる各画素について、当該画素の輝度値又は当該画素に対応付けられる生成広画角画像３６内の画素の輝度値のうちのいずれか大きな方の大きさに応じた重み４２が当該画素の重み４２として決定されてもよい。
　そして、当該生成広画角画像３６と当該比較広画角画像３４との画素間誤差、及び、決定される重み４２に応じた更新量となるよう、広画角画像生成部２８のパラメータの値を更新することで、広画角画像生成部２８の学習が実行されてもよい。例えばある画素についての生成広画角画像３６と比較広画角画像３４との画素間誤差の値と、当該画素の重み４２を示す値と、を乗じた値である修正画素間誤差の値に基づいて、当該画素に係るパラメータの値の更新量が決定されてもよい。
　ここで例えば、比較広画角画像３４内における画素の輝度の高さに応じて当該画素に係るパラメータの値の更新量が大きくなるよう広画角画像生成部２８のパラメータの値を更新することで、広画角画像生成部２８の学習が実行されるようにしてもよい。
　また例えば、生成広画角画像３６内における画素の輝度の高さに応じて当該画素に係るパラメータの値の更新量が大きくなるよう広画角画像生成部２８のパラメータの値を更新することで、広画角画像生成部２８の学習が実行されるようにしてもよい。
　また例えば、比較広画角画像３４内における画素の輝度の高さ又は生成広画角画像３６内における画素の輝度の高さに応じて当該画素に係るパラメータの値の更新量が大きくなるよう広画角画像生成部２８のパラメータの値が更新されてもよい。
　ターゲット入力画像取得部６８は、本実施形態では例えば、学習済のＨＤＲ画像生成部２０に入力される、上述のターゲット入力画像４６を取得する。
　ターゲット中間画像取得部７０は、本実施形態では例えば、上述したようにターゲット入力画像４６に基づいてＨＤＲ画像生成部２０が生成して出力するターゲット中間画像４８を取得する。またターゲット中間画像取得部７０は、本実施形態では例えば、当該ターゲット中間画像４８を広画角画像生成部２８に入力する。
　ターゲット広画角画像取得部７２は、本実施形態では例えば、上述したようにターゲット中間画像４８に基づいて広画角画像生成部２８が生成して出力するターゲット広画角画像５０を取得する。
　ここで、本実施形態に係る画像処理装置１０で行われるＨＤＲ画像生成部２０、広画角画像生成部２８、及び、ドメイン識別部３０の学習処理の流れの一例を、図１０に例示するフロー図を参照しながら説明する。
　まず、第１学習データ取得部６０が、複数の第１学習データを取得する（Ｓ１０１）。
　そして、第１学習部６２が、Ｓ１０１に示す処理で取得された複数の第１学習データを用いて第１学習を実行する（Ｓ１０２）。ここではＨＤＲ画像生成部２０の学習が実行される。
　そして、第２学習データ取得部６４が、複数の第２学習データを取得する（Ｓ１０３）。ここでは例えば、ｍ×２ｎ（ｍ，ｎは整数）個の第２学習データが取得されることとする。また、ｍ×２ｎ個の第２学習データは、２ｎ個ずつのデータ群に分割されていることとする。以下、ｉ（１≦ｉ≦ｍ）番目のデータ群を第ｉデータ群と呼ぶこととする。
　そして、第２学習部６６が、変数ｉの値に１を設定する（Ｓ１０４）。
　そして、第２学習部６６が、第ｉデータ群に含まれるｎ個の第２学習データを用いて、広画角画像生成部２８についての第２学習を実行する（Ｓ１０５）。Ｓ１０５に示す処理では、ドメイン識別部３０のパラメータの値が固定された状態で、広画角画像生成部２８のパラメータの値が更新される。
　そして、第２学習部６６が、第ｉデータ群に含まれる、Ｓ１０５に示す処理で用いられていない残りのｎ個の第２学習データを用いて、ドメイン識別部３０についての第２学習を実行する（Ｓ１０６）。Ｓ１０６に示す処理では、広画角画像生成部２８のパラメータの値が固定された状態で、ドメイン識別部３０のパラメータの値が更新される。
　そして、第２学習部６６は、変数ｉの値がｍであるか否かを確認する（Ｓ１０７）。値がｍでない場合は（Ｓ１０７：Ｎ）、第２学習部６６は、変数ｉの値を１増加させて（Ｓ１０８）、Ｓ１０５に示す処理に戻る。値がｍである場合は（Ｓ１０７：Ｙ）、本処理例に示す処理を終了する。
　次に、上述のＳ１０５に示す、第ｉデータ群に含まれるｎ個の第２学習データを用いた広画角画像生成部２８についての第２学習の処理の流れの一例について、図１１に例示するフロー図を参照しながら説明する。
　まず、第２学習部６６が、第ｉデータ群に含まれるｎ個の第２学習データのうち、以下のＳ２０２～Ｓ２１２に示す処理が実行されていないものを１つ取得する（Ｓ２０１）。
　そして第２学習部６６が、Ｓ２０１に示す処理で取得された第２学習データに含まれる比較広画角画像３４を特定する（Ｓ２０２）。
　そして第２学習部６６は、Ｓ２０１に示す処理で取得された第２学習データに含まれる学習入力ＨＤＲ画像３２を特定する（Ｓ２０３）。
　そして第２学習部６６は、Ｓ２０３に示す処理で特定された学習入力ＨＤＲ画像３２を広画角画像生成部２８に入力する（Ｓ２０４）。
　そして第２学習部６６は、Ｓ２０４に示す処理で学習入力ＨＤＲ画像３２が入力された際の広画角画像生成部２８の出力である生成広画角画像３６を取得する（Ｓ２０５）。
　そして第２学習部６６は、Ｓ２０２に示す処理で特定された比較広画角画像３４又はＳ２０５に示す処理で取得された生成広画角画像３６のいずれかをドメイン識別部３０に入力する（Ｓ２０６）。
　そして第２学習部６６は、Ｓ２０６に示す処理における入力に応じたドメイン識別部３０の出力である生成可能性データ３８を取得する（Ｓ２０７）。
　そして第２学習部６６は、Ｓ２０７に示す処理で取得された生成可能性データ３８と、Ｓ２０６に示す処理における入力に対応付けられるドメイン識別データ４０と、に基づいて、アドバーサリロスを算出する（Ｓ２０８）。
　そして第２学習部６６は、Ｓ２０２に示す処理で特定された比較広画角画像３４と、Ｓ２０５に示す処理で取得された生成広画角画像３６と、の画素間誤差を特定する（Ｓ２０９）。
　そして第２学習部６６は、Ｓ２０２に示す処理で特定された比較広画角画像３４に含まれる各画素に対応付けられる重み４２を決定する（Ｓ２１０）。ここで例えば、Ｓ２０５に示す処理で取得された生成広画角画像３６に含まれる各画素に対応付けられる重み４２が決定されてもよい。また例えば、各画素について、比較広画角画像３４内における当該画素の輝度値又は生成広画角画像３６内における当該画素の輝度値のうちのいずれか大きな方の大きさに応じた重み４２が決定されてもよい。
　そして第２学習部６６は、Ｓ２０９に示す処理で特定された画素間誤差と、Ｓ２１０に示す処理で決定された重み４２と、に基づいて、修正画素間誤差を算出する（Ｓ２１１）。
　そして第２学習部６６は、Ｓ２０９に示す処理で算出されたアドバーサリロス、及び、Ｓ２１１に示す処理で算出された修正画素間誤差、に基づいて、広画角画像生成部２８のパラメータの値を更新する（Ｓ２１２）。ここで上述のように、比較広画角画像３４内における画素の輝度の高さに応じて当該画素に係るパラメータの値の更新量が大きくなるよう広画角画像生成部２８のパラメータの値は更新される。またアドバーサリロスは大きくなる方向で、また、修正画素間誤差は小さくなる方向で、例えば誤差逆伝搬法により、広画角画像生成部２８のパラメータの値が更新されてもよい。
　そして第２学習部６６は、第ｉデータ群に含まれるｎ個の第２学習データのすべてについてＳ２０２～Ｓ２１２に示す処理が実行されたか否かを確認する（Ｓ２１３）。すべてについてＳ２０２～Ｓ２１２に示す処理が実行されていない場合は（Ｓ２１３：Ｎ）、Ｓ２０１に示す処理に戻る。すべてについてＳ２０２～Ｓ２１２に示す処理が実行された場合は（Ｓ２１３：Ｙ）、Ｓ１０５に示す処理は終了される。
　なおＳ２０１～Ｓ２１３に示す処理の１回のループ中に、比較広画角画像３４をドメイン識別部３０に入力する場合と、生成広画角画像３６をドメイン識別部３０に入力する場合のそれぞれについて、Ｓ２０６～Ｓ２１２に示す処理が２回繰り返して実行されてもよい。
　次に、上述のＳ１０６に示す、第ｉデータ群に含まれる、Ｓ１０５に示す処理で用いられていない残りのｎ個の第２学習データを用いた、ドメイン識別部３０についての第２学習の処理の流れの一例について、図１２に例示するフロー図を参照しながら説明する。
　まず、第２学習部６６が、第ｉデータ群に含まれる、Ｓ１０５に示す処理で用いられていない残りのｎ個の第２学習データのうち、以下のＳ３０２～Ｓ３１２に示す処理が実行されていないものを１つ取得する（Ｓ３０１）。
　そして第２学習部６６が、Ｓ３０１に示す処理で取得された第２学習データに含まれる比較広画角画像３４を特定する（Ｓ３０２）。
　そして第２学習部６６は、Ｓ３０１に示す処理で取得された第２学習データに含まれる学習入力ＨＤＲ画像３２を特定する（Ｓ３０３）。
　そして第２学習部６６は、Ｓ３０３に示す処理で特定された学習入力ＨＤＲ画像３２を広画角画像生成部２８に入力する（Ｓ３０４）。
　そして第２学習部６６は、Ｓ３０４に示す処理で学習入力ＨＤＲ画像３２が入力された際の広画角画像生成部２８の出力である生成広画角画像３６を取得する（Ｓ３０５）。
　そして第２学習部６６は、Ｓ３０２に示す処理で特定された比較広画角画像３４又はＳ２０６に示す処理で取得された生成広画角画像３６のいずれかをドメイン識別部３０に入力する（Ｓ３０６）。
　そして第２学習部６６は、Ｓ３０６に示す処理における入力に応じたドメイン識別部３０の出力である生成可能性データ３８を取得する（Ｓ３０７）。
　そして第２学習部６６は、Ｓ３０７に示す処理で取得された生成可能性データ３８と、Ｓ２０６に示す処理における入力に対応付けられるドメイン識別データ４０と、に基づいて、アドバーサリロスを算出する（Ｓ３０８）。
　そして第２学習部６６は、Ｓ３０８に示す処理で算出されたアドバーサリロスに基づいて、ドメイン識別部３０のパラメータの値を更新する（Ｓ３０９）。ここでアドバーサリロスは小さくなる方向で、例えば誤差逆伝搬法により、ドメイン識別部３０のパラメータの値が更新されてもよい。
　そして第２学習部６６は、第ｉデータ群に含まれる、Ｓ１０５に示す処理で用いられていない残りのｎ個の第２学習データのすべてについてＳ３０２～Ｓ３０９に示す処理が実行されたか否かを確認する（Ｓ３１０）。すべてについてＳ３０２～Ｓ３０９に示す処理が実行されていない場合は（Ｓ３１０：Ｎ）、Ｓ３０１に示す処理に戻る。すべてについてＳ３０２～Ｓ３０９に示す処理が実行された場合は（Ｓ３１０：Ｙ）、Ｓ１０６に示す処理は終了される。
　なおＳ３０１～Ｓ３１３に示す処理の１回のループ中に、比較広画角画像３４をドメイン識別部３０に入力する場合と、生成広画角画像３６をドメイン識別部３０に入力する場合のそれぞれについて、Ｓ３０６～Ｓ３０９に示す処理が２回繰り返して実行されてもよい。
　また図１０～図１２に示す処理例では、Ｓ１０５に示す処理とＳ１０６に示す処理とで異なる第２学習データが用いられているが、Ｓ１０５に示す処理とＳ１０６に示す処理とで同じ第２学習データが用いられてもよい。
　次に、本実施形態に係る画像処理装置１０で行われる、ターゲット広画角画像５０の生成処理の流れの一例を、図１３に例示するフロー図を参照しながら説明する。
　まず、ターゲット入力画像取得部６８が、ターゲット入力画像４６を取得する（Ｓ４０１）。
　そして、ターゲット入力画像取得部６８が、Ｓ４０１に示す処理で取得されたターゲット入力画像４６をＨＤＲ画像生成部２０に入力する（Ｓ４０２）。
　そして、ＨＤＲ画像生成部２０は、Ｓ３０２に示す処理で入力されたターゲット入力画像４６に応じたターゲット中間画像４８を生成して、当該ターゲット中間画像４８を出力する（Ｓ４０３）。
　そして、ターゲット中間画像取得部７０が、Ｓ４０３に示す処理で出力されたターゲット中間画像４８を取得する（Ｓ４０４）。
　そして、ターゲット中間画像取得部７０が、Ｓ４０４に示す処理で取得されたターゲット中間画像４８を広画角画像生成部２８に入力する（Ｓ４０５）。
　そして、広画角画像生成部２８は、Ｓ４０５に示す処理で入力されたターゲット中間画像４８に応じたターゲット広画角画像５０を生成して、当該ターゲット広画角画像５０を出力する（Ｓ４０６）。
　そして、ターゲット広画角画像取得部７２が、Ｓ４０６に示す処理で出力されたターゲット広画角画像５０を取得して（Ｓ４０７）、本処理例に示す処理を終了する。
　なお、本発明は上述の実施形態に限定されるものではない。
　また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。

Claims (10)

  1. 　入力画像を取得する入力画像取得部と、
    　前記入力画像の入力に応じて当該入力画像よりも画角が広い画像である生成広画角画像を生成する広画角画像生成部と、
    　前記生成広画角画像と比較される画像である比較広画角画像を取得する比較広画角画像取得部と、
    　前記生成広画角画像と前記比較広画角画像との比較結果に基づいて、前記広画角画像生成部のパラメータの値を、前記比較広画角画像内における画素の輝度の高さ又は前記生成広画角画像内における画素の輝度の高さに応じて当該画素に係るパラメータの値の更新量が大きくなるよう更新することで、前記広画角画像生成部の学習を実行する広画角画像生成学習部と、
    　を含むことを特徴とする学習装置。
  2. 　スタンダードダイナミックレンジの画像の入力に応じて、ハイダイナミックレンジの画像である生成ＨＤＲ画像を生成するＨＤＲ画像生成部と、
    　前記生成ＨＤＲ画像と比較されるハイダイナミックレンジの画像である比較ＨＤＲ画像を取得する比較ＨＤＲ画像取得部と、
    　前記生成ＨＤＲ画像と前記比較ＨＤＲ画像との比較結果に基づいて、前記ＨＤＲ画像生成部のパラメータの値を更新することで、前記ＨＤＲ画像生成部の学習を実行するＨＤＲ画像生成学習部と、をさらに含み、
    　前記入力画像取得部は、学習済の前記ＨＤＲ画像生成部が生成する前記生成ＨＤＲ画像を、前記入力画像として取得する、
    　ことを特徴とする請求項１に記載の学習装置。
  3. 　スタンダードダイナミックレンジの画像を取得する画像取得部と、
    　前記スタンダードダイナミックレンジの画像の入力に応じて、ハイダイナミックレンジの画像を生成するＨＤＲ画像生成部と、
    　前記ハイダイナミックレンジの画像の入力に応じて、当該画像より画角が広い広画角画像を生成する広画角画像生成部と、
    　を含むことを特徴とする画像生成装置。
  4. 　前記広画角画像生成部は、入力画像の入力に応じて当該広画角画像生成部が生成する生成広画角画像と、当該生成広画角画像と比較される比較広画角画像と、の比較結果に基づいて、前記広画角画像生成部のパラメータの値を更新することで学習が実行された学習済の機械学習モデルである、
    　ことを特徴とする請求項３に記載の画像生成装置。
  5. 　前記広画角画像生成部は、前記広画角画像生成部のパラメータの値を前記比較広画角画像内における画素の輝度の高さ又は前記生成広画角画像内における画素の輝度の高さに応じて当該画素に係るパラメータの値の更新量が大きくなるよう更新することで学習が実行された学習済の機械学習モデルである、
    　ことを特徴とする請求項４に記載の画像生成装置。
  6. 　前記ＨＤＲ画像生成部は、スタンダードダイナミックレンジの画像の入力に応じて当該ＨＤＲ画像生成部が生成するハイダイナミックレンジの画像と、当該ハイダイナミックレンジの画像と比較されるハイダイナミックレンジの画像と、の比較結果に基づいて、前記ＨＤＲ画像生成部のパラメータの値を更新することで学習が実行された学習済の機械学習モデルである、
    　ことを特徴とする請求項３から５のいずれか一項に記載の画像生成装置。
  7. 　入力画像を取得するステップと、
    　広画角画像生成部を用いて前記入力画像の入力に応じて当該入力画像よりも画角が広い画像である生成広画角画像を生成するステップと、
    　前記生成広画角画像と比較される画像である比較広画角画像を取得するステップと、
    　前記生成広画角画像と前記比較広画角画像との比較結果に基づいて、前記広画角画像生成部のパラメータの値を、前記比較広画角画像内における画素の輝度の高さ又は前記生成広画角画像内における画素の輝度の高さに応じて当該画素に係るパラメータの値の更新量が大きくなるよう更新することで、前記広画角画像生成部の学習を実行するステップと、
    　を含むことを特徴とする学習方法。
  8. 　スタンダードダイナミックレンジの画像を取得するステップと、
    　前記スタンダードダイナミックレンジの画像の入力に応じて、ハイダイナミックレンジの画像を生成するステップと、
    　前記ハイダイナミックレンジの画像の入力に応じて、当該画像より画角が広い広画角画像を生成するステップと、
    　を含むことを特徴とする画像生成方法。
  9. 　入力画像を取得する手順、
    　広画角画像生成部を用いて前記入力画像の入力に応じて当該入力画像よりも画角が広い画像である生成広画角画像を生成する手順、
    　前記生成広画角画像と比較される画像である比較広画角画像を取得する手順、
    　前記生成広画角画像と前記比較広画角画像との比較結果に基づいて、前記広画角画像生成部のパラメータの値を、前記比較広画角画像内における画素の輝度の高さ又は前記生成広画角画像内における画素の輝度の高さに応じて当該画素に係るパラメータの値の更新量が大きくなるよう更新することで、前記広画角画像生成部の学習を実行する手順、
    　をコンピュータに実行させることを特徴とするプログラム。
  10. 　スタンダードダイナミックレンジの画像を取得する手順、
    　前記スタンダードダイナミックレンジの画像の入力に応じて、ハイダイナミックレンジの画像を生成する手順、
    　前記ハイダイナミックレンジの画像の入力に応じて、当該画像より画角が広い広画角画像を生成する手順、
    　をコンピュータに実行させることを特徴とするプログラム。
PCT/JP2018/022259 2018-06-11 2018-06-11 学習装置、画像生成装置、学習方法、画像生成方法及びプログラム WO2019239462A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201880094324.2A CN112236800A (zh) 2018-06-11 2018-06-11 学习设备、图像生成设备、学习方法、图像生成方法和程序
PCT/JP2018/022259 WO2019239462A1 (ja) 2018-06-11 2018-06-11 学習装置、画像生成装置、学習方法、画像生成方法及びプログラム
JP2020524963A JP6980913B2 (ja) 2018-06-11 2018-06-11 学習装置、画像生成装置、学習方法、画像生成方法及びプログラム
US17/056,806 US11625816B2 (en) 2018-06-11 2018-06-11 Learning device, image generation device, learning method, image generation method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/022259 WO2019239462A1 (ja) 2018-06-11 2018-06-11 学習装置、画像生成装置、学習方法、画像生成方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2019239462A1 true WO2019239462A1 (ja) 2019-12-19

Family

ID=68842548

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/022259 WO2019239462A1 (ja) 2018-06-11 2018-06-11 学習装置、画像生成装置、学習方法、画像生成方法及びプログラム

Country Status (4)

Country Link
US (1) US11625816B2 (ja)
JP (1) JP6980913B2 (ja)
CN (1) CN112236800A (ja)
WO (1) WO2019239462A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022172449A1 (ja) * 2021-02-15 2022-08-18 株式会社ソニー・インタラクティブエンタテインメント 学習装置、動画像生成装置、学習済モデルの生成方法、動画像生成方法及びプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020123505A1 (de) 2020-09-09 2022-03-10 Carl Zeiss Microscopy Gmbh Mikroskopiesystem und verfahren zum erzeugen eines übersichtsbildes
DE102020123504A1 (de) * 2020-09-09 2022-03-10 Carl Zeiss Microscopy Gmbh Mikroskopiesystem und verfahren zum erzeugen eines hdr-bildes

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008016918A (ja) * 2006-07-03 2008-01-24 Matsushita Electric Ind Co Ltd 画像処理装置、画像処理システムおよび画像処理方法
JP2011138314A (ja) * 2009-12-28 2011-07-14 Sharp Corp 画像処理装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011182252A (ja) * 2010-03-02 2011-09-15 Ricoh Co Ltd 撮像装置および画像撮影方法
JP5409577B2 (ja) * 2010-10-05 2014-02-05 株式会社ソニー・コンピュータエンタテインメント パノラマ画像生成装置およびパノラマ画像生成方法
JP6143096B2 (ja) * 2013-08-07 2017-06-07 ソニー株式会社 眼底画像処理装置およびプログラム、並びに眼底画像撮影装置
US10609286B2 (en) * 2017-06-13 2020-03-31 Adobe Inc. Extrapolating lighting conditions from a single digital image
US10474160B2 (en) * 2017-07-03 2019-11-12 Baidu Usa Llc High resolution 3D point clouds generation from downsampled low resolution LIDAR 3D point clouds and camera images
US20190080440A1 (en) * 2017-09-08 2019-03-14 Interdigital Vc Holdings, Inc. Apparatus and method to convert image data
US10475169B2 (en) * 2017-11-28 2019-11-12 Adobe Inc. High dynamic range illumination estimation
KR102524671B1 (ko) * 2018-01-24 2023-04-24 삼성전자주식회사 전자 장치 및 그의 제어 방법
US10445865B1 (en) * 2018-03-27 2019-10-15 Tfi Digital Media Limited Method and apparatus for converting low dynamic range video to high dynamic range video

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008016918A (ja) * 2006-07-03 2008-01-24 Matsushita Electric Ind Co Ltd 画像処理装置、画像処理システムおよび画像処理方法
JP2011138314A (ja) * 2009-12-28 2011-07-14 Sharp Corp 画像処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HIRAO, KATSUHIKO ET AL.: "A Study on HDR Image Generation Method from an SDR Image Using Deep Neural Networks", IEICE TECHNICAL REPORT, vol. 116, no. 496, 2017, pages 37 - 42 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022172449A1 (ja) * 2021-02-15 2022-08-18 株式会社ソニー・インタラクティブエンタテインメント 学習装置、動画像生成装置、学習済モデルの生成方法、動画像生成方法及びプログラム

Also Published As

Publication number Publication date
CN112236800A (zh) 2021-01-15
JPWO2019239462A1 (ja) 2021-02-18
US11625816B2 (en) 2023-04-11
US20210125317A1 (en) 2021-04-29
JP6980913B2 (ja) 2021-12-15

Similar Documents

Publication Publication Date Title
US11106938B2 (en) Image processing apparatus, image processing method, and storage medium for lighting processing on image using model data
CN106548455B (zh) 用于调整图像的亮度的设备和方法
WO2019239462A1 (ja) 学習装置、画像生成装置、学習方法、画像生成方法及びプログラム
US20120293537A1 (en) Data-generating device, data-generating method, data-generating program and recording medium
US8000561B2 (en) Apparatus, method, and medium for generating panoramic image using a series of images captured in various directions
US11838674B2 (en) Image processing system, image processing method and storage medium
US10580122B2 (en) Method and system for image enhancement
JP2007096437A (ja) 画像生成者の意図の判定
WO2014010726A1 (ja) 画像処理装置及び画像処理プログラム
CN116506732A (zh) 一种图像抓拍防抖的方法、装置、系统和计算机设备
WO2019224947A1 (ja) 学習装置、画像生成装置、学習方法、画像生成方法及びプログラム
JP6967150B2 (ja) 学習装置、画像生成装置、学習方法、画像生成方法及びプログラム
JP7045103B1 (ja) データ拡張装置、データ拡張システム、及びデータ拡張プログラム
JP2004140692A (ja) 画像補正装置および画像補正方法
JP6451300B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
CN114529460A (zh) 低照度场景智慧公路监测快速去雾方法、装置和电子设备
JP5050141B2 (ja) カラー画像の露出評価方法
US20240320799A1 (en) Information processing apparatus, image processing apparatus, and information processing method
JP5889383B2 (ja) 画像処理装置および画像処理方法
CN112699795B (zh) 一种人脸识别方法、装置、电子设备和存储介质
JP2019086969A (ja) 画像処理装置、画像処理方法、及びプログラム
WO2023037451A1 (ja) 画像処理装置、方法およびプログラム
CN114760422B (zh) 一种逆光检测方法及系统、电子设备及存储介质
KR20230018398A (ko) 다중 도메인 데이터 세트를 이용한 기계 학습 예측 생성
CN117522729A (zh) 图像处理方法、装置及设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18922264

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020524963

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18922264

Country of ref document: EP

Kind code of ref document: A1