WO2023100665A1 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

画像処理装置、画像処理方法、及びプログラム Download PDF

Info

Publication number
WO2023100665A1
WO2023100665A1 PCT/JP2022/042662 JP2022042662W WO2023100665A1 WO 2023100665 A1 WO2023100665 A1 WO 2023100665A1 JP 2022042662 W JP2022042662 W JP 2022042662W WO 2023100665 A1 WO2023100665 A1 WO 2023100665A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
correction
parameter
captured image
Prior art date
Application number
PCT/JP2022/042662
Other languages
English (en)
French (fr)
Inventor
裕也 山下
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2023100665A1 publication Critical patent/WO2023100665A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Definitions

  • the present disclosure relates to an image processing device, an image processing method, and a program, and more particularly to an image processing device, an image processing method, and a program that can improve the accuracy of correction of a captured image.
  • Patent Literature 1 discloses a program for automatically editing a moving image that designates a template.
  • the present disclosure has been made in view of such circumstances, and is intended to improve the accuracy of correction for a captured image.
  • An image processing apparatus corrects a captured image in a first unit, and corrects the captured image based on a relationship between the captured image and an intermediate corrected image obtained by correction in the first unit.
  • the image processing apparatus includes a processing unit that estimates a correction parameter for an image and corrects the captured image in a second unit larger than the first unit using the estimated parameter.
  • an image processing device corrects a captured image in a first unit, and the relationship between the captured image and an intermediate corrected image obtained by correction in the first unit is corrected.
  • the image processing method estimates parameters for correction of the photographed image based on the parameters, and corrects the photographed image in a second unit larger than the first unit using the estimated parameters.
  • a program causes a computer to correct a captured image in a first unit, and based on the relationship between the captured image and an intermediate corrected image obtained by correction in the first unit, the A program for estimating a correction parameter for a captured image and using the estimated parameter to correct the captured image in a second unit larger than the first unit.
  • the captured image is corrected in the first unit, and the captured image and the intermediate corrected image obtained by the correction in the first unit are A correction parameter for the photographed image is estimated based on the relationship of , and the photographed image is corrected in a second unit larger than the first unit using the estimated parameter.
  • the image processing device may be an independent device, or may be an internal block forming one device.
  • FIG. 1 is a diagram illustrating a configuration example of an embodiment of a video production system to which the present disclosure is applied;
  • FIG. It is a block diagram which shows the structural example of a camera.
  • It is a block diagram which shows the structural example of a cloud server.
  • It is a block diagram which shows the structural example of a terminal device.
  • FIG. 4 is a diagram showing an overall flow representing the flow of action creation service;
  • FIG. 10 is a diagram showing an example of a motion production algorithm;
  • FIG. 7 is a diagram showing an example of correction processing performed in automatic quality correction;
  • 4 is a block diagram showing a functional configuration example of a processing unit in the cloud server;
  • FIG. FIG. 4 is a diagram showing an overview of a first example of correction processing;
  • FIG. 10 is a diagram showing an example of a correction algorithm using a trained model;
  • FIG. 10 is a diagram showing an example of editing parameters;
  • FIG. 10 is a diagram showing an example of an image processed in the first example of correction processing;
  • 4 is a flowchart for explaining the flow of a first example of correction processing;
  • FIG. 10 is a diagram showing an overview of a second example of correction processing;
  • FIG. 4 is a diagram showing examples of brightness and contrast parameters;
  • FIG. 4 is a diagram showing examples of brightness and contrast parameters;
  • FIG. 10 is a diagram showing an overview of a second example of correction processing;
  • 9 is a flowchart for explaining the flow of a second example of correction processing;
  • FIG. 10 is a diagram illustrating another configuration example of a processing unit that executes a second example of correction processing;
  • FIG. 20 is a flowchart for explaining the flow of a second example of correction processing by the processing unit in FIG. 19;
  • FIG. 20 is a flowchart
  • FIG. 1 is a diagram showing a configuration example of an embodiment of a moving image production system to which the present disclosure is applied.
  • the movie production system 1 in FIG. 1 is a system for producing movies from images taken by a user.
  • a video production system 1 is composed of a camera 10 , a cloud server 20 and a terminal device 30 .
  • the camera 10 is a digital camera capable of shooting moving images and still images.
  • the camera 10 is not limited to a digital camera, and may be a device having a photographing function such as a smart phone or a tablet terminal.
  • the camera 10 shoots an image of a subject according to a user's operation, and records the resulting shot image.
  • Captured images include moving images and still images.
  • moving images include moving images and still images.
  • produced moving images when it is necessary to distinguish between moving images as captured images and moving images automatically produced by a moving image production service, the latter will be referred to as produced moving images.
  • the captured image captured by the camera 10 is transmitted to the cloud server 20.
  • the camera 10 can transmit the captured image to the cloud server 20 via the network 40-1.
  • a memory card such as a flash memory or wireless communication such as a wireless LAN (Local Area Network)
  • the terminal device 30 can be transferred to the network 40- 2, the captured image may be transmitted to the cloud server 20.
  • the networks 40-1 and 40-2 include communication lines such as the Internet and mobile phone networks.
  • the networks 40-1 and 40-2 may be the same network or different networks.
  • the network 40-1 and the network 40-2 will be referred to as the network 40 when there is no need to distinguish between them.
  • the cloud server 20 is a server that provides a video production service that produces (automatically produces) production videos from captured images through the network 40 .
  • the cloud server 20 is an example of an image processing device to which the present disclosure is applied.
  • the cloud server 20 receives captured images captured by the camera 10 via the network 40 .
  • the cloud server 20 produces a produced moving image by performing processing such as editing on the captured image, and transmits the produced moving image to the terminal device 30 via the network 40 .
  • the terminal device 30 is a device such as a PC (Personal Computer), a tablet terminal, or a smartphone.
  • the terminal device 30 performs processing such as settings related to the video production service and editing of the produced video according to the user's operation.
  • the terminal device 30 receives the production video transmitted from the cloud server 20 via the network 40 .
  • the terminal device 30 records the produced moving image in the terminal and outputs it to the outside.
  • FIG. 2 is a block diagram showing a configuration example of the camera 10 of FIG.
  • the camera 10 includes a lens system 111, an imaging unit 112, a camera signal processing unit 113, a recording control unit 114, a display unit 115, a communication unit 116, an operation unit 117, a camera control unit 118, and a memory unit 119. , a driver unit 120 , a sensor unit 121 , a sound input unit 122 and a sound processing unit 123 .
  • the lens system 111 takes in incident light (image light) from a subject and causes it to enter the imaging unit 112 .
  • the imaging unit 112 has a solid-state imaging device such as a CMOS (Complementary Metal Oxide Semiconductor) image sensor, and converts the amount of incident light imaged on the imaging surface of the solid-state imaging device by the lens system 111 into an electric signal in pixel units. It is converted and output as a pixel signal.
  • CMOS Complementary Metal Oxide Semiconductor
  • the camera signal processing unit 113 is composed of a DSP (Digital Signal Processor), a frame memory for temporarily recording image data, and the like.
  • the camera signal processing unit 113 performs various kinds of signal processing on the image signal output from the imaging unit 112, and outputs image data of the captured image obtained as a result. In this manner, the lens system 111, the imaging section 112, and the camera signal processing section 113 constitute an imaging system.
  • the recording control unit 114 records the image data of the captured image captured by the imaging system in a storage medium including a memory card such as a flash memory.
  • a display unit 115 is composed of a liquid crystal display, an organic EL display, or the like, and displays a captured image captured by the imaging system.
  • the communication unit 116 is composed of a communication module or the like compatible with a predetermined communication method such as wireless communication including wireless LAN and cellular communication (for example, 5G (5th Generation)). Data is transmitted to other devices including the cloud server 20 via the network 40 or the like.
  • the operation unit 117 includes an operation system such as physical buttons and a touch panel, and issues operation commands for various functions of the camera 10 according to user's operations.
  • the camera control unit 118 is composed of processors such as a CPU (Central Processing Unit) and a microprocessor, and controls the operation of each unit of the camera 10 .
  • the memory unit 119 records various data under the control of the camera control unit 118 .
  • the driver unit 120 drives the lens system 111 to achieve autofocus, zooming, etc., under the control of the camera control unit 118 .
  • the sensor unit 121 senses spatial information, time information, etc., and outputs a sensor signal obtained as a result of the sensing.
  • the sensor unit 121 includes various sensors such as a gyro sensor and an acceleration sensor.
  • the sound input unit 122 is composed of a microphone or the like, collects sounds such as the user's voice or environmental sounds, and outputs the resulting sound signal.
  • the sound processing unit 123 performs sound signal processing on the sound signal output from the sound input unit 122 .
  • the sound signal from the sound processing unit 123 is input to the camera signal processing unit 113, processed in synchronization with the image signal under the control of the camera control unit 118, and recorded as the sound (audio) of the moving image.
  • FIG. 3 is a block diagram showing a configuration example of the cloud server 20 of FIG.
  • a CPU 211 a CPU (Read Only Memory) 212 and a RAM (Random Access Memory) 213 are interconnected by a bus 214 .
  • An input/output I/F 215 is further connected to the bus 214 .
  • An input unit 216 , an output unit 217 , a storage unit 218 and a communication unit 219 are connected to the input/output I/F 215 .
  • the input unit 216 supplies various input signals to each unit including the CPU 211 via the input/output I/F 215 .
  • the input unit 216 is composed of a keyboard, mouse, microphone, and the like.
  • the output unit 217 outputs various information according to control from the CPU 211 via the input/output I/F 215 .
  • the output unit 217 is composed of a display, a speaker, and the like.
  • the storage unit 218 is configured as an auxiliary storage device such as a semiconductor memory or HDD (Hard Disk Drive).
  • the storage unit 218 records various data and programs under the control of the CPU 211 .
  • the CPU 211 reads and processes various data from the storage unit 218 and executes programs.
  • the communication unit 219 is composed of a communication module that supports wireless communication such as wireless LAN or cellular communication (eg 5G), or wired communication.
  • the communication unit 219 communicates with other devices including the camera 10 and the terminal device 30 via the network 40 under the control of the CPU 211 .
  • the configuration of the cloud server 20 shown in FIG. 3 is an example, and image processing may be performed by providing a dedicated processor such as a GPU (Graphics Processing Unit).
  • a dedicated processor such as a GPU (Graphics Processing Unit).
  • FIG. 4 is a block diagram showing a configuration example of the terminal device 30 of FIG.
  • the CPU 311 , ROM 312 and RAM 313 are interconnected by a bus 314 .
  • An input/output I/F 315 is further connected to the bus 314 .
  • An input unit 316 , an output unit 317 , a storage unit 318 and a communication unit 319 are connected to the input/output I/F 315 .
  • the input unit 316 supplies various input signals to each unit including the CPU 311 via the input/output I/F 315 .
  • the input section 316 has an operation section 321 .
  • the operation unit 321 includes a keyboard, mouse, microphone, physical buttons, touch panel, and the like. The operation unit 321 is operated by a user and supplies an operation signal corresponding to the operation to the CPU 311 .
  • the output unit 317 outputs various information according to control from the CPU 311 via the input/output I/F 315 .
  • the output section 317 has a display section 331 and a sound output section 332 .
  • the display unit 331 is composed of a liquid crystal display, an organic EL display, and the like.
  • a display unit 331 displays a captured image, an editing screen, and the like under the control of the CPU 311 .
  • the sound output unit 332 is composed of a speaker, a headphone connected to an output terminal, or the like. The sound output unit 332 outputs a sound according to the sound signal under the control of the CPU 311 .
  • the storage unit 318 is configured as an auxiliary storage device such as a semiconductor memory.
  • the storage unit 318 may be configured as an internal storage, or may be an external storage such as a memory card.
  • a storage unit 318 records various data and programs under the control of the CPU 311 .
  • the CPU 311 reads and processes various data from the storage unit 318 and executes programs.
  • the communication unit 319 is composed of a communication module compatible with a predetermined communication method such as wireless communication such as wireless LAN or cellular communication (eg 5G), or wired communication.
  • the communication unit 319 communicates with other devices including the cloud server 20 via the network 40 under the control of the CPU 311 .
  • the configuration of the terminal device 30 shown in FIG. 4 is an example, and image processing may be performed by providing a dedicated processor such as a GPU.
  • captured images captured by the camera 10 are uploaded to the cloud server 20, and processing such as editing using the captured images is performed by the cloud server 20. is produced.
  • the terminal device 30 setting and editing related to the produced moving image are performed, and the completed produced moving image is output.
  • the cloud server 20 is installed in a data center or the like, but is not limited to one server, and may be composed of a plurality of servers to provide the moving image production service.
  • FIG. 5 is a diagram showing the overall flow of the moving picture production service provided by the cloud server 20 in the moving picture production system 1. As shown in FIG. The overall flow shown in FIG. 5 is divided into before shooting, during shooting, during editing, and review by concerned parties, with the direction from left to right being the direction of time.
  • project creation S1
  • automatic transfer settings for shot images S2 are performed.
  • the user inputs a project name and creates a project for managing information relating to the production of the produced moving image.
  • the automatic transfer destination of the photographed image photographed by the camera 10 is set.
  • the location information URL (Uniform Resource Locator), etc.) of the cloud server 20 is set as the automatic transfer destination.
  • Project creation and automatic transfer settings can be performed from the camera 10 or the terminal device 30 by the user's operation. Alternatively, it may be set from another device such as a smartphone owned by the user.
  • the video is automatically produced (S3).
  • the cloud server 20 produces produced moving images using captured images transferred from the camera 10 .
  • processes such as automatic selection, automatic trimming, and automatic quality correction are performed using captured images.
  • the video is additionally edited (S4).
  • the produced moving image is additionally edited by the terminal device 30 according to the user's operation. This additional editing is not essential, and if the user determines that there is no need to edit the produced moving image, there is no need to perform additional editing.
  • the video is output and shared (S5).
  • the terminal device 30 In outputting and sharing the moving image, the terminal device 30 outputs the produced moving image additionally edited as necessary in a predetermined format and shares it with the relevant parties. As a result, the produced moving image is reviewed by the relevant parties, and delivered after being appropriately corrected according to the review results.
  • FIG. 6 is a diagram showing an example of a video production algorithm used when producing a video in the automatic video production (S3) of FIG.
  • the video production algorithm includes processes such as automatic selection, automatic trimming, and automatic quality correction, and the production video is produced by performing these processes.
  • captured images (clips) including moving images and still images are grouped (grouped) by scene, and the appropriate captured image is selected for each scene.
  • the trimming range of a moving image (clip) is specified by an in point (start point) and an out point (end point).
  • start point an in point
  • end point an out point
  • a clip represents a photographed image captured by a device such as the cloud server 20 .
  • various corrections are applied to the captured image (clip) to improve the quality. For example, exposure correction (brightness correction) between multiple clips, color correction (color correction) between multiple clips, noise reduction of sound, camera shake correction, video effects such as panning and zooming, and audio level equalization. done.
  • automatic selection, automatic trimming, and automatic quality correction are exemplified as video production algorithms, but other processing may be added as long as it is necessary to produce the production video. .
  • FIG. 7 is a diagram showing an example of correction processing performed in automatic quality correction.
  • FIG. 7 illustrates a case where color correction of an input image including a photographed image is performed as correction processing.
  • target image B that is the target of correction (exemplar: target color, for example) is used.
  • a corrected corrected image D is output.
  • the input image A is corrected in two steps, pixel-by-pixel correction and image-frame-by-frame correction.
  • An input image A is a photographed image such as a moving image or a still image photographed by the camera 10 .
  • the input image A may be a photographed image subjected to processing such as automatic selection or automatic trimming.
  • the target image B may be a photographed image photographed by the camera 10, or may be an image other than the photographed image (for example, an image prepared in advance).
  • FIG. 8 is a block diagram showing a functional configuration example of the processing unit 200 in the cloud server 20.
  • the processing unit 200 is realized by executing a program such as a video production program by a processor such as the CPU 211 or GPU.
  • the processing unit 200 may be implemented as a dedicated circuit.
  • the input image A including the photographed image is corrected in two stages, the first unit and the second unit.
  • the first unit is pixel units and the second unit is image frame units.
  • the processing unit 200 has a pixel-by-pixel correction unit 251 , a parameter estimation unit 252 and an image frame correction unit 253 .
  • the input image A and the target image B are input to the pixel-by-pixel correction unit 251 .
  • the pixel-by-pixel correction unit 251 uses the input image A and the target image B to perform pixel-by-pixel correction, and supplies the resulting intermediate corrected image C to the parameter estimation unit 252 .
  • corrections such as color correction and brightness correction of the input image A are performed.
  • the input image A or the input image A and the target image B, and the intermediate corrected image C from the pixel-by-pixel correction unit 251 are input to the parameter estimation unit 252 .
  • the parameter estimating unit 252 uses the input image A and the intermediate corrected image C to estimate an editing parameter P, which is a correction parameter for the entire area (entire image frame) of the input image A, and supplies it to the image frame correcting unit 253 .
  • the parameter estimator 252 estimates the editing parameter P using the input image A, the target image B, and the intermediate corrected image C, and supplies it to the image frame corrector 253 .
  • the input image A and the editing parameter P from the parameter estimation unit 252 are input to the image frame correction unit 253 .
  • the image frame correction unit 253 uses the editing parameter P to correct the input image A in image frame units, and outputs a corrected image D obtained as a result.
  • correction such as color correction and brightness correction of the input image A is performed as correction corresponding to the pixel unit correction.
  • the input image A is corrected in pixel units by the pixel unit correction unit 251 and corrected in image frame units using the editing parameter P by the image frame correction unit 253 .
  • the correction is performed in two steps. By performing such a two-step correction, it is possible to improve the accuracy of the correction for the captured image. For example, by performing two-stage correction, failure of correction can be suppressed as compared with the case where only the previous-stage correction is performed on a pixel-by-pixel basis.
  • FIG. 200 Two patterns of a first example and a second example will be described below as two-step correction processing performed by the processing unit 200.
  • FIG. 9 is a diagram showing an overview of a first example of correction processing executed by the processing unit 200 of FIG. 9 will be described with reference to FIGS. 10 to 12 as appropriate.
  • the input image A11 such as the captured image is corrected in two stages. That is, in the first example of the correction process, the editing parameter P11 is estimated from the intermediate corrected image C11 obtained by pixel-by-pixel correction using the input image A11 and the target image B11, and the input image A11 is corrected for each image frame.
  • FIG. 9 illustrates a case where color correction is performed as correction processing for an input image A11 such as a captured image.
  • the input image A11 and the target image B11 are input to the pixel-by-pixel correction unit 251 .
  • the pixel-by-pixel correction unit 251 uses the target image B11 to color-correct the input image A11 on a pixel-by-pixel basis, and supplies the resulting intermediate corrected image C11 to the parameter estimation unit 252 .
  • a learned model 261 learned by machine learning can be used as the pixel-by-pixel correction process.
  • an intermediate corrected image C11 can be obtained as a result of correction of the output.
  • the learned model 261 can use a DNN (Deep Neural Network) that has been trained with an image as learning data as an input and an image after color correction as an output.
  • DNN Deep Neural Network
  • a well-known technique can be used for such a DNN-based correction algorithm.
  • the input image A11 can be converted into the hue of the target image B11.
  • the learned model 261 can be used for all or part of the process. For example, processing using the trained model 261 and image processing for the input image A11 and the target image B11 may be combined. Alternatively, if the trained model 261 is not used in pixel-by-pixel correction processing, image processing, rule-based processing, or the like may be used.
  • the input image A11 and the intermediate corrected image C11 from the pixel-by-pixel correction unit 251 are input to the parameter estimation unit 252 .
  • the parameter estimation unit 252 estimates the editing parameter P11 from the correspondence relationship between the input image A11 and the intermediate corrected image C11, and supplies it to the image frame correction unit 253.
  • the editing parameter P11 is a correction parameter for the entire area (entire image frame) of the input image A11.
  • the editing parameters P11 can include parameters used in general image editing software. For example, parameters used in image editing processing such as tone curve and level correction can be used.
  • the tone curves 271R, 271G, and 271B for each RGB value give an image You can adjust the color tone of the entire frame.
  • the parameter estimating section 252 can estimate a parameter related to color tone adjustment using this tone curve as an editing parameter P11.
  • the input image A11 and the editing parameter P11 from the parameter estimation unit 252 are input to the image frame correction unit 253 .
  • the image frame correction unit 253 uses the editing parameter P11 to color-correct the input image A11 in units of image frames, and outputs a corrected image D11 obtained as a result.
  • the image frame correction unit 253 recorrects the input image A11 using parameters (tone curve parameters, etc.) suitable for general image editing software as the editing parameters P11. That is, in the pixel-by-pixel correction process, there is a possibility that the correction may be partially broken in the image frame. By doing so, it is possible to suppress the failure of the correction.
  • an intermediate corrected image C11 obtained by pixel-by-pixel correction using an input image A11 and a target image B11 is such that the image frame as a whole is appropriately corrected.
  • the correction is broken in some parts (for example, the hand part). Therefore, by correcting the input image A11 in units of image frames using the editing parameter P11 through correction in two stages, a corrected image D11 in which correction failure is suppressed can be obtained.
  • the image frame correction unit 253 is not limited to specific image editing software, and performs correction processing using image editing software of each company. be able to. Further, since the image frame correction unit 253 only corrects the tone curve using the editing parameter P11 by image editing software, it is possible to correct only the tint without causing an overall failure.
  • step S111 the pixel-by-pixel correction unit 251 performs pixel-by-pixel correction (for example, color correction) using the input image A11 and the target image B11 input thereto to obtain an intermediate corrected image C11.
  • pixel-by-pixel correction for example, color correction
  • step S112 the parameter estimation unit 252 estimates the editing parameter P11 from the correspondence relationship between the input image A11 and the intermediate corrected image C11. For example, a tone curve parameter is estimated as the editing parameter P11.
  • step S113 the image frame correction unit 253 performs correction (for example, color correction) for each image frame on the input image A11 using the editing parameter P11 to obtain a corrected image D11.
  • correction for example, color correction
  • general image editing software performs a correction process for color adjustment using tone curve parameters as editing parameters P11.
  • tone curve parameters as editing parameters P11.
  • the input image A11 (captured image, etc.) is corrected in the first unit (pixel unit) using the target image B11, and the input image A11 and the input image A11 are corrected.
  • An editing parameter P11 (a parameter such as a tone curve) is estimated based on the relationship with the intermediate corrected image C11 obtained from the target image B11. image frame unit).
  • the photographed image as the input image A11 has a different color tone depending on the subject and light conditions at the time of photographing.
  • the moving image production system 1 applies the first example of the correction process at the time when the photographed images to be used for producing the produced moving image are determined. , it is possible to evenly match the color tone of the captured image of the object. As a result, it is possible to reduce the sense of incongruity when the user views the produced moving image, and improve the completeness of the produced moving image.
  • correction processing is not automatically performed, a user who has knowledge of editing performs this manually, which takes time and effort. With this correction processing, a user with knowledge of editing can save labor through automation, while a user without knowledge of editing can do things that have not been possible until now.
  • FIG. 14 is a diagram showing an overview of a second example of correction processing executed by the processing unit 200 of FIG. The description of FIG. 14 will be made with reference to FIGS. 15 to 17 as appropriate.
  • the editing parameters P21 and P23 are estimated from the intermediate corrected images C21 and C21 obtained by pixel-by-pixel correction using the input image A21 and the target image B21 separately. Using the parameters P21 and P23, the input image A21 is corrected for each image frame.
  • FIG. 14 illustrates a case where brightness correction is performed as correction processing for an input image A21 such as a captured image.
  • the pixel-by-pixel correction unit 251-1 performs brightness correction on the input image A21 input thereto on a pixel-by-pixel basis, and supplies the intermediate corrected image C21 obtained as a result to the parameter estimation unit 252-1.
  • automatic correction such as AE (Automatic Exposure) correction is performed.
  • This automatic correction can use a learned model learned by machine learning.
  • an intermediate corrected image C21 can be obtained as a corrected result of the output.
  • the trained model can use a DNN that has been trained with an image as learning data as an input and an image after brightness correction as an output.
  • a well-known technique can be used for such a DNN-based correction algorithm.
  • pixel-by-pixel correction processing all or part of the processing can be processed using a learned model. For example, processing using a trained model and image processing for the input image A21 may be combined. Alternatively, image processing, rule-based processing, or the like may be used in pixel-by-pixel correction processing when a learned model is not used.
  • the input image A21 and the intermediate corrected image C21 from the pixel-by-pixel correction unit 251-1 are input to the parameter estimation unit 252-1.
  • the parameter estimation unit 252-1 estimates the editing parameter P21 from the correspondence relationship between the input image A21 and the intermediate corrected image C21, and supplies it to the image frame correction unit 253-1.
  • the editing parameter P21 is a correction parameter for the entire area (entire image frame) of the input image A21.
  • the editing parameters P21 can include parameters used in general image editing software.
  • parameters such as brightness and contrast can be used as the editing parameter P21.
  • the horizontal axis and the vertical axis are input and output, and the relationship between the solid line and the broken line in the figure indicates that the correspondence relationship between the brightness of the input and output can be adjusted by uniformly adding an offset.
  • the relationship between the solid line and the broken line in the figure indicates that the inclination of the correspondence relationship between the input and output contrasts can be adjusted.
  • the pixel-by-pixel correction unit 251-2 performs brightness correction on a pixel-by-pixel basis on the input target image B21, and supplies the intermediate corrected image C22 obtained as a result to the parameter estimation unit 252-2.
  • the pixel-by-pixel correction unit 251-2 performs the same pixel-by-pixel correction process as the pixel-by-pixel correction unit 251-1.
  • the target image B21 and the intermediate corrected image C22 from the pixel-by-pixel correction unit 251-2 are input to the parameter estimation unit 252-2.
  • the parameter estimator 252-2 estimates the editing parameter P22 from the correspondence relationship between the target image B21 and the intermediate corrected image C22.
  • Parameter estimating section 252-2 estimates parameters related to brightness in the same manner as parameter estimating section 252-1.
  • the parameter estimation unit 252-2 further estimates an editing parameter P23 for correcting in the opposite direction to the editing parameter P22, and supplies it to the image frame correction unit 253-2.
  • an image frame correction unit 254 is provided after the parameter estimation units 252-1 and 252-2, and the image frame correction unit 254 performs correction using the editing parameters P21 and P22. Assume that it is done.
  • the image frame correction unit 254-1 performs brightness correction on the input image A21 using the editing parameter P21 to obtain a corrected image D21.
  • the image frame correction unit 254-2 performs brightness correction using the editing parameter P22 to obtain a corrected image D22.
  • the corrected image D21 and the corrected image D22 obtained by such correction are images with similar brightness.
  • the second correction processing is performed using the relationship that the corrected images D21 and D22 obtained by the correction processing have similar brightness. example is done.
  • the input image A21 and the editing parameter P21 from the parameter estimation unit 252-1 are input to the image frame correction unit 253-1.
  • the image frame corrector 253-1 performs brightness correction on the input image A21 using the editing parameter P21, and supplies the resulting corrected image E21 to the image frame corrector 253-2.
  • the corrected image E21 from the image frame correction section 253-1 and the editing parameter P23 from the parameter estimation section 252-2 are input to the image frame correction section 253-2.
  • the image frame correction unit 253-2 performs brightness correction (inverse conversion) on the corrected image E21 using the editing parameter P23, and outputs the resulting corrected image F21.
  • the brightness correction using the editing parameter P23 is performed after the brightness correction using the editing parameter P21.
  • the brightness of the image is brought closer to the target value.
  • the input image A21 is corrected in image frame units using the editing parameters P21 and P23, thereby suppressing the failure of the correction.
  • a corrected image F21 can be obtained.
  • the editing parameter P21 and the editing parameter P23 parameters suitable for general image editing software, such as parameters related to brightness, are used. Correction processing can be performed by image editing software of each company.
  • step S131 the pixel-by-pixel correction unit 251-1 performs automatic AE correction (for example, brightness correction) on the input image A21 input thereto to obtain an intermediate corrected image C21.
  • automatic AE correction for example, brightness correction
  • step S132 the parameter estimation unit 252-1 estimates the editing parameter P21 from the correspondence relationship between the input image A21 and the intermediate corrected image C21. For example, as the editing parameter P21, a parameter related to brightness such as "brightness+0.2" is estimated.
  • step S136 When the processing of the input image A21 in steps S131 and S132 is completed, the process proceeds to step S136.
  • step S133 the pixel-by-pixel correction unit 251-2 performs automatic AE correction (for example, brightness correction) on the input target image B21 to obtain an intermediate corrected image C22.
  • automatic AE correction for example, brightness correction
  • step S134 the parameter estimation unit 252-2 estimates the editing parameter P22 from the correspondence relationship between the target image B21 and the intermediate corrected image C22. Also, in step S135, the parameter estimator 252-2 estimates an editing parameter P23 that corrects in the opposite direction to the editing parameter P22.
  • steps S133 to S135 When the processing for the target image B21 in steps S133 to S135 is completed, the processing proceeds to step S136. Steps S131 and S132 and steps S133 to S135 can be processed in parallel.
  • step S136 the image frame correction unit 253-1 performs correction (for example, brightness correction) on the input image A21 input thereto using the editing parameter P21 to obtain a corrected image E21.
  • a corrected image E21 is obtained by correcting the input image A21 using the editing parameter P21 of "brightness+0.2".
  • step S137 the image frame correction unit 253-2 performs correction (for example, brightness correction) on the corrected image E21 using the editing parameter P23 to obtain a corrected image F21.
  • the final corrected image F21 is obtained by correcting the corrected image E21 using the editing parameter P23 of "brightness+0.1".
  • the input image A21 (photographed image, etc.) is corrected in the first unit (pixel unit), and the input image A21 and the intermediate corrected image obtained from the input image A21 are Editing parameters P21 (parameters related to brightness, etc.) are estimated based on the relationship with C21, and target image B21 is corrected in the first unit (pixel unit) to obtain target image B21 and target image B21.
  • Editing parameters P22 (parameters related to brightness, etc.) are estimated based on the relationship with the intermediate corrected image C22.
  • an editing parameter P23 for performing correction in the direction opposite to the correction using the estimated editing parameter P22 is estimated, and the estimated editing parameter P21 and editing parameter P23 are used to convert the input image A21 (such as a photographed image) into a third image. Corrected in units of 2 (image frame units). By performing such a two-step correction, it is possible to suppress the failure of the correction and improve the accuracy of the correction.
  • the captured image as the input image A11 is in a different state in terms of brightness, etc., depending on the subject and light conditions at the time of capturing.
  • the moving image production system 1 applies the second example of the correction process at the time when the photographed images to be used for producing the produced moving image are determined. , the brightness of the captured image of the object can be uniformed.
  • FIG. 19 is a diagram showing another configuration example of the processing unit 200 that executes the second example of correction processing.
  • the configuration shown in FIG. 19 has a configuration in which a parameter integrating section 255 is provided after the parameter estimating section 252-1 and the parameter estimating section 252-2.
  • the parameter integrating section 255 receives the editing parameter P21 from the parameter estimating section 252-1 and the editing parameter P23 from the parameter estimating section 252-2.
  • the editing parameter P21 is a parameter estimated from the correspondence relationship between the input image A21 and the intermediate corrected image C21.
  • the editing parameter P23 is a parameter for performing correction in the direction opposite to the correction using the editing parameter P22 estimated from the correspondence relationship between the target image B21 and the intermediate corrected image C22.
  • the parameter integration unit 255 estimates the editing parameter P24 by integrating the editing parameter P21 and the editing parameter P23, and supplies it to the image frame correction unit 253.
  • the input image A21 and the editing parameter P24 from the parameter integration unit 255 are input to the image frame correction unit 253 .
  • the image frame correction unit 253 performs brightness correction on the input image A21 using the editing parameter P24, and outputs a corrected image F21 obtained as a result.
  • steps S151 and S152 similar to steps S131 and S132 in FIG. 18, the input image A21 is automatically corrected, and the editing parameter P21 is estimated from the correspondence relationship between the input image A21 and the intermediate corrected image C21.
  • steps S153 to S155 similarly to steps S133 to S135 in FIG. 18, the target image B21 is automatically corrected, and the editing parameter P22 estimated from the correspondence relationship between the target image B21 and the intermediate corrected image C22 is corrected in the opposite direction. is estimated as an editing parameter P23.
  • the parameter integration unit 255 estimates the editing parameter P24 by integrating the editing parameter P21 and the editing parameter P23. For example, if a parameter of "brightness + 0.2" is estimated as the editing parameter P21 and a parameter of "brightness + 0.1" is estimated as the editing parameter P23, then these parameters are integrated to obtain an editing parameter of "brightness + 0.3". A parameter P24 is estimated.
  • step S157 the image frame correction unit 253 performs correction using the editing parameter P24 on the input image A21 input thereto to obtain a corrected image F21.
  • the final corrected image F21 is obtained by correcting the input image A21 using the editing parameter P24 of "brightness+0.3".
  • the correction process is performed more efficiently than the configuration in which the correction process is performed for each of the two editing parameters P21 and P23. can be combined into one, the processing load can be reduced.
  • the processing unit 200 of the cloud server 20 executes the correction processing, but the processing may be executed by a device other than the cloud server 20.
  • the processing unit of the terminal device 30 may have functions corresponding to the processing unit 200 to perform all or part of the correction processing.
  • Programs executed by computers can be provided by being recorded on removable recording media such as package media, for example. Also, the program can be provided via wired or wireless transmission media such as LAN, Internet, and digital satellite broadcasting.
  • the program can be installed in the storage unit via the input/output I/F by loading the removable recording medium into the drive. Also, the program can be received by the communication unit and installed in the storage unit via a wired or wireless transmission medium. In addition, the program can be pre-installed in the ROM or storage unit.
  • processing performed by the computer according to the program does not necessarily have to be performed in chronological order according to the order described as the flowchart.
  • processing performed by a computer according to a program includes processing that is executed in parallel or individually (for example, parallel processing or processing by objects).
  • the program may be processed by one computer (processor), or may be processed by a plurality of computers in a distributed manner. Furthermore, the program may be transferred to and executed on a remote computer.
  • the term “automatic” means that a device such as the cloud server 20 performs processing without the user’s direct operation
  • the term “manual” means that the user directly It means that processing is performed through a similar operation.
  • the effects described in this specification are merely examples and are not limited, and other effects may be provided.
  • a system means a set of multiple components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, both a plurality of devices housed in separate enclosures and connected via a network and a single device housing a plurality of modules within a single enclosure are systems.
  • the present disclosure can be configured as follows.
  • An image processing apparatus comprising a processing unit that corrects the captured image in a second unit larger than the first unit using the estimated parameter.
  • the first unit is a pixel unit, the second unit is an image frame unit;
  • the processing unit is correcting the captured image in the first unit using a target image as a correction target;
  • the image processing device according to (2), wherein the parameter is estimated based on a relationship between the captured image and the intermediate corrected image obtained from the captured image and the target image.
  • the processing unit is correcting the captured image in the first unit; estimating a first parameter for correction of the captured image based on a relationship between the captured image and a first intermediate corrected image obtained by correcting the captured image; correcting a target image to be corrected in the first unit; estimating a second parameter for correction of the captured image based on the relationship between the target image and a second intermediate corrected image obtained by correcting the target image; Estimate a third parameter that performs correction in the opposite direction to the correction using the estimated second parameter,
  • the image processing device according to (2), wherein the captured image is corrected in the second unit using the estimated first parameter and third parameter.
  • the processing unit is correcting the captured image in the second unit using the estimated first parameter; The image processing device according to (8), wherein the captured image corrected using the first parameter is corrected in the second unit using the estimated third parameter. (10) The processing unit is Estimate a fourth parameter that integrates the first parameter and the third parameter, The image processing device according to (8), wherein the captured image is corrected in the second unit using the estimated fourth parameter. (11) The image processing device according to any one of (1) to (10), wherein the processing unit corrects color or brightness of the captured image.
  • the captured image captured by a camera operated by a user and configured as a server for processing the captured image received via a network The image processing apparatus according to any one of (1) to (11), wherein a moving image produced based on the corrected captured image is transmitted to a terminal device operated by a user via a network.
  • the image processing device correcting the captured image in the first unit; estimating a correction parameter for the captured image based on the relationship between the captured image and the intermediate corrected image obtained by the first unit correction; An image processing method comprising correcting the captured image in a second unit larger than the first unit using the estimated parameter.
  • the computer correcting the captured image in the first unit; estimating a correction parameter for the captured image based on the relationship between the captured image and the intermediate corrected image obtained by the first unit correction;
  • a program functioning as a processing unit that corrects the captured image in a second unit larger than the first unit using the estimated parameter.
  • Video production system 10 camera, 20 cloud server, 30 terminal device, 40-1, 40-2, 40 network, 200 processing unit, 211 CPU, 251, 251-1, 251-2 pixel unit correction unit, 252, 252-1, 252-2 parameter estimator, 253, 253-1, 253-2 image frame corrector, 255 parameter integration unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本開示は、撮影画像に対する補正の精度を向上させることができるようにする画像処理装置、画像処理方法、及びプログラムに関する。 撮影画像を、第１の単位で補正し、撮影画像と、第１の単位の補正で得られる中間補正画像との関係に基づいて、撮影画像に対する補正用のパラメータを推定し、推定されたパラメータを用いて、撮影画像を、第１の単位よりも大きい第２の単位で補正する処理部を備える画像処理装置が提供される。本開示は、例えば、インターネットを介してサービスを提供するクラウドサーバに適用することができる。

Description

画像処理装置、画像処理方法、及びプログラム
　本開示は、画像処理装置、画像処理方法、及びプログラムに関し、特に、撮影画像に対する補正の精度を向上させることができるようにした画像処理装置、画像処理方法、及びプログラムに関する。
　ユーザが撮影した静止画や動画等の撮影画像を自動で編集する機能を有するプログラムが提供されている。例えば、特許文献１には、動画を自動で編集するプログラムとして、テンプレートを指定するものが開示されている。
特開2009-55152号公報
　撮影画像を編集して動画を制作する動画制作サービスを提供するに際しては、撮影画像に対して補正処理を施す場合があり、撮影画像に対する補正の精度を向上させることが求められる。
　本開示はこのような状況に鑑みてなされたものであり、撮影画像に対する補正の精度を向上させることができるようにするものである。
　本開示の一側面の画像処理装置は、撮影画像を、第１の単位で補正し、前記撮影画像と、前記第１の単位の補正で得られる中間補正画像との関係に基づいて、前記撮影画像に対する補正用のパラメータを推定し、推定された前記パラメータを用いて、前記撮影画像を、前記第１の単位よりも大きい第２の単位で補正する処理部を備える画像処理装置である。
　本開示の一側面の画像処理方法は、画像処理装置が、撮影画像を、第１の単位で補正し、前記撮影画像と、前記第１の単位の補正で得られる中間補正画像との関係に基づいて、前記撮影画像に対する補正用のパラメータを推定し、推定された前記パラメータを用いて、前記撮影画像を、前記第１の単位よりも大きい第２の単位で補正する画像処理方法である。
　本開示の一側面のプログラムは、コンピュータを、撮影画像を、第１の単位で補正し、前記撮影画像と、前記第１の単位の補正で得られる中間補正画像との関係に基づいて、前記撮影画像に対する補正用のパラメータを推定し、推定された前記パラメータを用いて、前記撮影画像を、前記第１の単位よりも大きい第２の単位で補正する処理部として機能させるプログラムである。
　本開示の一側面の画像処理装置、画像処理方法、及びプログラムにおいては、撮影画像が、第１の単位で補正され、前記撮影画像と、前記第１の単位の補正で得られる中間補正画像との関係に基づいて、前記撮影画像に対する補正用のパラメータが推定され、推定された前記パラメータを用いて、前記撮影画像が、前記第１の単位よりも大きい第２の単位で補正される。
　なお、本開示の一側面の画像処理装置は、独立した装置であってもよいし、１つの装置を構成している内部ブロックであってもよい。
本開示を適用した動画制作システムの一実施の形態の構成例を示す図である。 カメラの構成例を示すブロック図である。 クラウドサーバの構成例を示すブロック図である。 端末装置の構成例を示すブロック図である。 動作制作サービスの流れを表した全体フローを示す図である。 動作制作アルゴリズムの例を示す図である。 自動品質補正で行われる補正処理の例を示す図である。 クラウドサーバにおける処理部の機能的な構成例を示すブロック図である。 補正処理の第１の例の概要を示す図である。 学習済みモデルを用いた補正アルゴリズムの例を示す図である。 編集パラメータの例を示す図である。 補正処理の第１の例で処理される画像の例を示す図である。 補正処理の第１の例の流れを説明するフローチャートである。 補正処理の第２の例の概要を示す図である。 明るさとコントラストのパラメータの例を示す図である。 明るさとコントラストのパラメータの例を示す図である。 補正処理の第２の例の概要を示す図である。 補正処理の第２の例の流れを説明するフローチャートである。 補正処理の第２の例を実行する処理部の他の構成例を示す図である。 図１９の処理部による補正処理の第２の例の流れを説明するフローチャートである。
＜システム構成例＞
　図１は、本開示を適用した動画制作システムの一実施の形態の構成例を示す図である。
　図１の動画制作システム１は、ユーザが撮影した撮影画像から動画を制作するシステムである。動画制作システム１は、カメラ１０、クラウドサーバ２０、及び端末装置３０から構成される。
　カメラ１０は、動画と静止画を撮影可能なデジタルカメラである。カメラ１０は、デジタルカメラに限らず、スマートフォンやタブレット型端末などの撮影機能を有する機器であってもよい。カメラ１０は、ユーザの操作に従い、被写体像を撮影し、その結果得られる撮影画像を記録する。
　撮影画像は、動画と静止画を含む。以下の説明では、撮影画像としての動画と、動画制作サービスにより自動制作される動画とを区別する必要がある場合、後者を制作動画と呼ぶ。
　カメラ１０により撮影された撮影画像は、クラウドサーバ２０に送信される。カメラ１０は、ネットワーク４０－１を介して、撮影画像をクラウドサーバ２０に送信することができる。あるいは、フラッシュメモリ等のメモリカードや、無線LAN(Local Area Network)等の無線通信などを利用して、カメラ１０から端末装置３０に撮影画像を転送することで、端末装置３０が、ネットワーク４０－２を介して、撮影画像をクラウドサーバ２０に送信してもよい。
　ネットワーク４０－１とネットワーク４０－２は、インターネットや携帯電話網などの通信回線を含む。ネットワーク４０－１とネットワーク４０－２は、同一のネットワークであってもよいし、異なるネットワークであってもよい。以下、ネットワーク４０－１とネットワーク４０－２を区別する必要がない場合、ネットワーク４０と呼ぶ。
　クラウドサーバ２０は、ネットワーク４０を通じて、撮影画像から制作動画を制作(自動制作)する動画制作サービスを提供するサーバである。クラウドサーバ２０は、本開示を適用した画像処理装置の一例である。クラウドサーバ２０は、カメラ１０により撮影された撮影画像を、ネットワーク４０を介して受信する。クラウドサーバ２０は、撮影画像に対する編集等の処理を行うことで制作動画を制作し、ネットワーク４０を介して端末装置３０に送信する。
　端末装置３０は、PC(Personal Computer)、タブレット型端末、スマートフォンなどの機器である。端末装置３０は、ユーザの操作に従い、動画制作サービスに関する設定や制作動画の編集などの処理を行う。端末装置３０は、ネットワーク４０を介してクラウドサーバ２０から送信されてくる制作動画を受信する。端末装置３０は、制作動画を端末内に記録したり、外部に出力したりする。
＜カメラの構成例＞
　図２は、図１のカメラ１０の構成例を示すブロック図である。
　図２に示すように、カメラ１０は、レンズ系１１１、撮像部１１２、カメラ信号処理部１１３、記録制御部１１４、表示部１１５、通信部１１６、操作部１１７、カメラ制御部１１８、メモリ部１１９、ドライバ部１２０、センサ部１２１、音入力部１２２、及び音処理部１２３から構成される。
　レンズ系１１１は、被写体からの入射光(像光)を取り込んで、撮像部１１２に入射させる。撮像部１１２は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等の固体撮像素子を有し、レンズ系１１１によって固体撮像素子の撮像面上に結像された入射光の光量を画素単位で電気信号に変換して画素信号として出力する。
　カメラ信号処理部１１３は、DSP(Digital Signal Processor)や、画像データを一時的に記録するフレームメモリ等から構成される。カメラ信号処理部１１３は、撮像部１１２から出力される画像信号に対し、各種の信号処理を行い、その結果得られる撮影画像の画像データを出力する。このように、レンズ系１１１と、撮像部１１２と、カメラ信号処理部１１３とから撮像系が構成される。
　記録制御部１１４は、撮像系で撮像された撮影画像の画像データを、フラッシュメモリ等のメモリカードを含む記憶媒体に記録する。表示部１１５は、液晶ディスプレイや有機ELディスプレイ等から構成され、撮像系で撮像された撮影画像を表示する。
　通信部１１６は、無線LANやセルラー方式の通信（例えば5G(5th Generation)）を含む無線通信などの所定の通信方式に対応した通信モジュール等から構成され、撮像系で撮像された撮影画像の画像データを、ネットワーク４０等を介してクラウドサーバ２０を含む他の機器に送信する。操作部１１７は、物理的なボタンやタッチパネルなどの操作系からなり、ユーザによる操作に応じて、カメラ１０が有する様々な機能についての操作指令を発する。
　カメラ制御部１１８は、CPU(Central Processing Unit)やマイクロプロセッサ等のプロセッサから構成され、カメラ１０の各部の動作を制御する。メモリ部１１９は、カメラ制御部１１８からの制御に従い、各種のデータを記録する。ドライバ部１２０は、カメラ制御部１１８からの制御に従い、オートフォーカスやズーム等を実現するためにレンズ系１１１を駆動する。
　センサ部１２１は、空間情報や時間情報等のセンシングを行い、そのセンシングの結果得られるセンサ信号を出力する。例えば、センサ部１２１は、ジャイロセンサや加速度センサ等の各種のセンサを含んで構成される。
　音入力部１２２は、マイク等から構成され、ユーザの声や環境音などの音を集音し、その結果得られる音信号を出力する。音処理部１２３は、音入力部１２２から出力される音信号に対し、音信号処理を行う。音処理部１２３からの音信号は、カメラ信号処理部１１３に入力され、カメラ制御部１１８からの制御に従って画像信号と同期して処理されることで、動画の音(音声)として記録される。
＜クラウドサーバの構成例＞
　図３は、図１のクラウドサーバ２０の構成例を示すブロック図である。
　図３に示すように、クラウドサーバ２０において、CPU２１１と、ROM(Read Only Memory)２１２と、RAM(Random Access Memory)２１３は、バス２１４により相互に接続される。バス２１４には、さらに入出力I/F２１５が接続される。入出力I/F２１５には、入力部２１６、出力部２１７、記憶部２１８、及び通信部２１９が接続される。
　入力部２１６は、各種の入力信号を、入出力I/F２１５を介してCPU２１１を含む各部に供給する。例えば、入力部２１６は、キーボード、マウス、マイクなどから構成される。
　出力部２１７は、入出力I/F２１５を介してCPU２１１からの制御に従い、各種の情報を出力する。例えば、出力部２１７は、ディスプレイ、スピーカなどから構成される。
　記憶部２１８は、半導体メモリ、HDD(Hard Disk Drive)等の補助記憶装置として構成される。記憶部２１８は、CPU２１１からの制御に従い、各種のデータやプログラムを記録する。CPU２１１は、記憶部２１８から各種のデータを読み出して処理したり、プログラムを実行したりする。
　通信部２１９は、無線LANやセルラー方式の通信(例えば5G)などの無線通信、又は有線通信に対応した通信モジュールなどから構成される。通信部２１９は、CPU２１１からの制御に従い、ネットワーク４０を介して、カメラ１０及び端末装置３０を含む他の機器と通信を行う。
　なお、図３に示したクラウドサーバ２０の構成は一例であり、例えばGPU(Graphics Processing Unit)等の専用のプロセッサを設けて、画像処理が行われるようにしてもよい。
＜端末装置の構成例＞
　図４は、図１の端末装置３０の構成例を示すブロック図である。
　図４に示すように、端末装置３０において、CPU３１１と、ROM３１２と、RAM３１３は、バス３１４により相互に接続される。バス３１４には、さらに入出力I/F３１５が接続される。入出力I/F３１５には、入力部３１６、出力部３１７、記憶部３１８、及び通信部３１９が接続される。
　入力部３１６は、各種の入力信号を、入出力I/F３１５を介してCPU３１１を含む各部に供給する。例えば、入力部３１６は、操作部３２１を有する。操作部３２１は、キーボード、マウス、マイク、物理的なボタン、タッチパネル等から構成される。操作部３２１は、ユーザによって操作され、その操作に対応する操作信号をCPU３１１に供給する。
　出力部３１７は、入出力I/F３１５を介してCPU３１１からの制御に従い、各種の情報を出力する。例えば、出力部３１７は、表示部３３１、及び音出力部３３２を有する。
　表示部３３１、液晶ディスプレイや有機ELディスプレイなどから構成される。表示部３３１は、CPU３１１からの制御に従い、撮影画像や編集画面等を表示する。音出力部３３２は、スピーカや出力端子に接続されるヘッドホンなどから構成される。音出力部３３２は、CPU３１１からの制御に従い、音信号に応じた音を出力する。
　記憶部３１８は、半導体メモリ等の補助記憶装置として構成される。記憶部３１８は、内部ストレージとして構成されてもよいし、メモリカード等の外部ストレージであってもよい。記憶部３１８は、CPU３１１からの制御に従い、各種のデータやプログラムを記録する。CPU３１１は、記憶部３１８から各種のデータを読み出して処理したり、プログラムを実行したりする。
　通信部３１９は、無線LANやセルラー方式の通信（例えば5G）などの無線通信、又は有線通信などの所定の通信方式に対応した通信モジュールなどから構成される。通信部３１９は、CPU３１１からの制御に従い、ネットワーク４０を介してクラウドサーバ２０を含む他の機器と通信を行う。
　なお、図４に示した端末装置３０の構成は一例であり、例えばGPU等の専用のプロセッサを設けて、画像処理が行われるようにしてもよい。
　以上のように構成される動画制作システム１では、カメラ１０により撮影された撮影画像がクラウドサーバ２０にアップロードされ、クラウドサーバ２０により撮影画像を用いた編集等の処理が行われることで、制作動画が制作される。端末装置３０では、制作動画に関する設定や編集など行われ、完成した制作動画が出力される。
　なお、図１の動画制作システム１では、説明を簡略化するために、１台のカメラ１０と１台の端末装置３０がそれぞれ設けられた構成を示したが、動画制作サービスを利用するユーザごとに、１又は複数台のカメラ１０と１又は複数台の端末装置３０が設けられる。カメラ１０と端末装置３０は、同一のユーザにより操作されてもよいし、異なるユーザにより操作されてもよい。クラウドサーバ２０は、データセンタ等に設置されるが、１台のサーバに限らず、複数台のサーバから構成されるようにして、動画制作サービスを提供してもよい。
＜全体フロー＞
　図５は、動画制作システム１におけるクラウドサーバ２０により提供される動画制作サービスの流れを表した全体フローを示す図である。図５に示した全体フローは、左側から右側に向かう方向を時間の方向として、撮影前と、撮影中と、編集中と、関係者レビューとに分けられる。
　撮影前においては、プロジェクトの作成(Ｓ１)と、撮影画像の自動転送設定(Ｓ２)が行われる。プロジェクトの作成では、ユーザによりプロジェクト名が入力され、制作動画の制作に関する情報を管理するためのプロジェクトが作成される。撮影画像の自動転送設定では、カメラ１０により撮影された撮影画像の自動転送先が設定される。例えば、自動転送先として、クラウドサーバ２０のロケーション情報(URL(Uniform Resource Locator)等)が設定される。
　プロジェクトの作成や自動転送設定は、ユーザの操作によって、カメラ１０又は端末装置３０から行うことができる。あるいは、ユーザが所持するスマートフォン等の他の機器から設定しても構わない。
　撮影中においては、動画の自動制作(Ｓ３)が行われる。動画の自動制作では、クラウドサーバ２０により、カメラ１０から転送された撮影画像を用いた制作動画が制作される。詳細は後述するが、動画の自動制作では、撮影画像を用いて、自動セレクション、自動トリミング、及び自動品質補正などの処理が行われる。
　編集中においては、動画の追加編集(Ｓ４)が行われる。動画の追加編集では、端末装置３０により、ユーザの操作に応じて、制作動画が追加で編集される。この追加編集は必須ではなく、ユーザが、制作動画を編集する必要がないと判断した場合には、追加編集を行う必要はない。
　関係者レビューにおいては、動画の出力と共有(Ｓ５)が行われる。動画の出力と共有では、端末装置３０により、必要に応じて追加編集された制作動画が所定形式で出力されて、関係者に共有される。これにより、当該制作動画が関係者によりレビューされ、レビューの結果に応じて適宜修正された後に納品される。
　図６は、図５の動画の自動制作(Ｓ３)での動画制作時に用いられる動画制作アルゴリズムの例を示す図である。
　図６に示すように、動画制作アルゴリズムには、自動セレクション、自動トリミング、及び自動品質補正などの処理が含まれ、これらの処理が行われることで制作動画が制作される。
　自動セレクションでは、動画や静止画を含む撮影画像(クリップ)がシーンごとにグループ化(グルーピング)され、シーンごとに適切な撮影画像が選択される。自動トリミングでは、動画(クリップ)のトリミング範囲が、インポイント(開始点)とアウトポイント(終了点)により指定される。撮影時にユーザによる操作に応じたショットマーク(図中の旗印)が撮影画像に付与されている場合には、当該マークを中心にして時間的にその前後が切り取られるようにする。クリップとは、クラウドサーバ２０等の機器に取り込まれた撮影画像のことを表す。
　自動品質補正では、撮影画像(クリップ)に対し、各種の補正が施されて品質が向上される。例えば、複数クリップ間の露出補正(明るさ補正)、複数クリップ間の色合い補正(色補正)、音のノイズ除去、手振れ補正、パンやズーム等の動画効果、音声レベルの均一化などの処理が行われる。
　ここでは、動画制作アルゴリズムとして、自動セレクション、自動トリミング、及び自動品質補正を例示したが、制作動画を制作するために必要な処理であれば、それ以外の他の処理が追加されても構わない。
＜自動品質補正の例＞
　図７は、自動品質補正で行われる補正処理の例を示す図である。図７では、補正処理として、撮影画像を含む入力画像の色補正が行われる場合を例示している。
　図７に示すように、本開示を適用した補正処理では、入力画像Ａの補正(例えば色補正)を行うに際して、補正の目標(Exemplar：例えば目標の色味)となる目標画像Ｂを用いた補正を行うことで、補正された補正画像Ｄを出力する。具体的には、本開示を適用した補正処理では、入力画像Ａに対し、画素単位の補正と画像フレーム単位の補正とが、２段階で行われる。
　入力画像Ａは、カメラ１０により撮影された動画や静止画等の撮影画像である。入力画像Ａは、撮影画像に対し、自動セレクションや自動トリミングなどの処理を施したものであっても構わない。目標画像Ｂは、カメラ１０により撮影された撮影画像であってもよいし、撮影画像以外の他の画像(例えば予め用意していた画像)であってもよい。
＜機能的な構成例＞
　図８は、クラウドサーバ２０における処理部２００の機能的な構成例を示すブロック図である。処理部２００は、CPU２１１やGPU等のプロセッサによって、動画制作プログラム等のプログラムが実行されることで実現される。あるいは、処理部２００を専用の回路として実現してもよい。
　図８において、処理部２００では、撮影画像を含む入力画像Ａに対し、第１の単位と第２の単位で２段階の補正が行われる。例えば、第１の単位は画素単位であり、第２の単位は画像フレーム単位である。処理部２００は、画素単位補正部２５１、パラメータ推定部２５２、及び画像フレーム補正部２５３を有する。
　画素単位補正部２５１には、入力画像Ａと目標画像Ｂが入力される。画素単位補正部２５１は、入力画像Ａと目標画像Ｂを用い、画素単位での補正を行い、その結果得られる中間補正画像Ｃを、パラメータ推定部２５２に供給する。画素単位の補正では、入力画像Ａの色補正や明るさ補正等の補正が行われる。
　パラメータ推定部２５２には、入力画像Ａ又は入力画像Ａ及び目標画像Ｂと、画素単位補正部２５１からの中間補正画像Ｃが入力される。パラメータ推定部２５２は、入力画像Ａと中間補正画像Ｃを用い、入力画像Ａの全領域(画像フレーム全体)に対する補正用のパラメータである編集パラメータＰを推定し、画像フレーム補正部２５３に供給する。あるいは、パラメータ推定部２５２は、入力画像Ａ及び目標画像Ｂと中間補正画像Ｃを用い、編集パラメータＰを推定し、画像フレーム補正部２５３に供給する。
　画像フレーム補正部２５３には、入力画像Ａと、パラメータ推定部２５２からの編集パラメータＰが入力される。画像フレーム補正部２５３は、編集パラメータＰを用い、入力画像Ａに対し、画像フレーム単位での補正を行い、その結果得られる補正画像Ｄを出力する。画像フレーム単位の補正では、画素単位の補正に対応した補正として、入力画像Ａの色補正や明るさ補正等の補正が行われる。
　以上のように構成される処理部２００では、入力画像Ａに対し、画素単位補正部２５１による画素単位の補正と、画像フレーム補正部２５３による編集パラメータＰを用いた画像フレーム単位の補正とが行われることで、補正が２段階で行われている。このような２段階の補正を行うことで、撮影画像に対する補正の精度を向上させることができる。例えば、２段階の補正を行うことにより、前段の画素単位の補正のみを行う場合と比べて、補正の破綻を抑制することができる。
　以下、処理部２００で行われる２段階の補正処理として、第１の例と第２の例の２パターンについて説明する。
＜補正処理の第１の例＞
　図９は、図８の処理部２００により実行される補正処理の第１の例の概要を示す図である。図９の説明では、図１０乃至図１２を適宜参照しながら説明する。
　補正処理の第１の例では、撮影画像等の入力画像Ａ１１に対して２段階の補正が行われる。すなわち、補正処理の第１の例では、入力画像Ａ１１と目標画像Ｂ１１を用いた画素単位の補正で得られる中間補正画像Ｃ１１から編集パラメータＰ１１が推定され、当該編集パラメータＰ１１を用いて、入力画像Ａ１１に対して画像フレーム単位の補正が行われる。図９においては、撮影画像等の入力画像Ａ１１に対する補正処理として、色補正が行われる場合を例示する。
　画素単位補正部２５１には、入力画像Ａ１１と目標画像Ｂ１１が入力される。画素単位補正部２５１は、目標画像Ｂ１１を用いて、入力画像Ａ１１を画素単位で色補正し、その結果得られる中間補正画像Ｃ１１を、パラメータ推定部２５２に供給する。
　画素単位の補正処理としては、図１０に示すように、機械学習により学習された学習済みモデル２６１を用いることができる。学習済みモデル２６１に対し、入力画像Ａ１１と目標画像Ｂ１１を入力することで、その出力の補正結果として中間補正画像Ｃ１１を得ることができる。
　学習済みモデル２６１は、学習データとしての画像を入力とし、色補正後の画像を出力として学習したDNN(Deep Neural Network)を用いることができる。このようなDNNをベースにした補正アルゴリズムは、公知の技術を用いることができる。学習済みモデル２６１を用いた色補正が行われることで、入力画像Ａ１１を、目標画像Ｂ１１の色味に変換することができる。
　画素単位の補正処理では、全ての処理又は一部の処理を、学習済みモデル２６１を用いて処理することができる。例えば、学習済みモデル２６１を用いた処理と、入力画像Ａ１１や目標画像Ｂ１１に対する画像処理とを組み合わせた処理が行われてもよい。あるいは、画素単位の補正処理で、学習済みモデル２６１を用いない場合には、画像処理やルールベースの処理などを用いても構わない。
　パラメータ推定部２５２には、入力画像Ａ１１と、画素単位補正部２５１からの中間補正画像Ｃ１１が入力される。パラメータ推定部２５２は、入力画像Ａ１１と中間補正画像Ｃ１１との対応関係から編集パラメータＰ１１を推定し、画像フレーム補正部２５３に供給する。
　編集パラメータＰ１１は、入力画像Ａ１１の全領域(画像フレーム全体)に対する補正用のパラメータである。編集パラメータＰ１１としては、一般的な画像編集ソフトウェアで用いられるパラメータを含めることができる。例えば、トーンカーブ、レベル補正などの画像編集処理で用いられるパラメータを用いることができる。
　図１１のＡ乃至Ｃに示すように、横軸を入力画像Ａ１１のＲＧＢ値とし、縦軸を中間補正画像Ｃ１１のＲＧＢ値としたとき、ＲＧＢ値ごとのトーンカーブ２７１Ｒ，２７１Ｇ，２７１Ｂによって、画像フレーム全体の色味を調整することができる。パラメータ推定部２５２では、このトーンカーブによる色味の調整に関するパラメータを、編集パラメータＰ１１として推定することができる。
　画像フレーム補正部２５３には、入力画像Ａ１１と、パラメータ推定部２５２からの編集パラメータＰ１１が入力される。画像フレーム補正部２５３は、編集パラメータＰ１１を用いて、入力画像Ａ１１を画像フレーム単位で色補正し、その結果得られる補正画像Ｄ１１を出力する。
　このように、画像フレーム補正部２５３では、編集パラメータＰ１１として、一般的な画像編集ソフトウェアに適合したパラメータ(トーンカーブのパラメータ等)を用い、入力画像Ａ１１に対し、補正をかけなおしている。すなわち、画素単位の補正処理では、画像フレームにおいて部分的に補正が破綻している箇所がでてくる恐れがあるが、編集パラメータＰ１１を用いた画像フレーム単位の補正によって、２段階で補正を行うことで、補正の破綻を抑制することができる。
　具体的には、図１２に示すように、入力画像Ａ１１と目標画像Ｂ１１を用いた画素単位の補正で得られる中間補正画像Ｃ１１は、画像フレーム全体としては適切な補正が施されているようにも見えるが、ある部分(例えば手の部分)では補正が破綻している。そこで、２段階での補正により、編集パラメータＰ１１を用い、入力画像Ａ１１を画像フレーム単位で補正することで、補正の破綻が抑制された補正画像Ｄ１１を得ることができる。
　また、編集パラメータＰ１１として、一般的な画像編集ソフトウェアに適合したパラメータを出力可能であるため、画像フレーム補正部２５３では、特定の画像編集ソフトウェアに限られず、各社の画像編集ソフトウェアにより補正処理を行うことができる。また、画像フレーム補正部２５３では、画像編集ソフトウェアにより、編集パラメータＰ１１を用いてトーンカーブを補正しているだけなので、全体的な破綻が生じることはなく、色味のみを補正することができる。
　次に、図１３のフローチャートを参照して、図９に示した構成を有する処理部２００により実行される補正処理の第１の例の流れを説明する。
　ステップＳ１１１において、画素単位補正部２５１は、そこに入力される入力画像Ａ１１と目標画像Ｂ１１を用いた画素単位の補正(例えば色補正)を行い、中間補正画像Ｃ１１を得る。
　ステップＳ１１２において、パラメータ推定部２５２は、入力画像Ａ１１と中間補正画像Ｃ１１との対応関係から編集パラメータＰ１１を推定する。例えば、編集パラメータＰ１１として、トーンカーブのパラメータが推定される。
　ステップＳ１１３において、画像フレーム補正部２５３は、入力画像Ａ１１に対し、編集パラメータＰ１１を用いた画像フレーム単位の補正(例えば色補正)を行い、補正画像Ｄ１１を得る。
　ここでは、例えば、一般的な画像編集ソフトウェアによって、編集パラメータＰ１１としてのトーンカーブのパラメータを用いた色味の調整する補正処理が行われる。ステップＳ１１３の処理が終了すると、一連の補正処理は終了する。
　以上のように、補正処理の第１の例では、目標画像Ｂ１１を用いて入力画像Ａ１１(撮影画像等)が第１の単位(画素単位)で補正され、入力画像Ａ１１と、入力画像Ａ１１と目標画像Ｂ１１から得られた中間補正画像Ｃ１１との関係に基づき編集パラメータＰ１１(トーンカーブ等のパラメータ)が推定され、編集パラメータＰ１１を用いて入力画像Ａ１１(撮影画像等)が第２の単位(画像フレーム単位)で補正される。このような２段階の補正を行うことで、補正の破綻を抑制することができ、補正の精度を向上させることができる。
　入力画像Ａ１１としての撮影画像は、撮影時の被写体や光の状況などで色合い等が、それぞれで異なった状態となる。動画制作システム１においては、動画制作サービスを提供するに際して、このような状態を回避するために、制作動画の制作に用いる撮影画像が決定した時点で、補正処理の第１の例を適用することで、対象の撮影画像の色合いを均一に揃えることができる。これにより、ユーザが制作動画を視聴するときの違和感を軽減し、制作動画の完成度を向上させることができる。このような補正処理が自動で行われない場合に、編集の知識があるユーザであれば、これを手動で行うが、手間と時間がかかってしまう。当該補正処理により、編集の知識があるユーザは自動化により省力化することが可能となる一方で、編集の知識がないユーザであれば、今までできなかったことが可能となる。
　なお、上述した補正処理の第１の例の説明では、補正処理として色補正が行われる場合について説明したが、明るさ補正など他の補正が行われてもよい。例えば、明るさ補正を行う場合、画素単位補正部２５１における学習済みモデル２６１として、明るさ補正後の画像を出力するように学習された学習済みモデルを用い、画像フレーム補正部２５３で用いられる編集パラメータＰ１１として、明るさの調整に関するパラメータが推定されるようにすればよい。
＜補正処理の第２の例＞
　図１４は、図８の処理部２００により実行される補正処理の第２の例の概要を示す図である。図１４の説明では、図１５乃至図１７を適宜参照しながら説明する。
　補正処理の第２の例では、撮影画像等の入力画像Ａ２１に対して２段階の補正を行が行われる。すなわち、補正処理の第２の例では、入力画像Ａ２１と目標画像Ｂ２１のそれぞれを別個に用いた画素単位の補正で得られる中間補正画像Ｃ２１，Ｃ２１から編集パラメータＰ２１，Ｐ２３が推定され、当該編集パラメータＰ２１，Ｐ２３を用いて、入力画像Ａ２１に対して画像フレーム単位の補正が行われる。図１４においては、撮影画像等の入力画像Ａ２１に対する補正処理として、明るさ補正が行われる場合を例示する。
　画素単位補正部２５１－１は、そこに入力される入力画像Ａ２１に対し、画素単位で明るさ補正を行い、その結果得られる中間補正画像Ｃ２１を、パラメータ推定部２５２－１に供給する。
　画素単位の補正処理としては、例えばAE(Automatic Exposure)補正などの自動補正が行われる。この自動補正では、機械学習により学習された学習済みモデルを用いることができる。学習済みモデルに対し、入力画像Ａ２１を入力することで、その出力の補正結果として中間補正画像Ｃ２１を得ることができる。学習済みモデルは、学習データとしての画像を入力とし、明るさ補正後の画像を出力として学習したDNNを用いることができる。このようなDNNをベースにした補正アルゴリズムは、公知の技術を用いることができる。
　画素単位の補正処理では、全ての処理又は一部の処理を、学習済みモデルを用いて処理することができる。例えば、学習済みモデルを用いた処理と、入力画像Ａ２１に対する画像処理とを組み合わせた処理が行われてもよい。あるいは、画素単位の補正処理で、学習済みモデルを用いない場合には、画像処理やルールベースの処理などを用いても構わない。
　パラメータ推定部２５２－１には、入力画像Ａ２１と、画素単位補正部２５１－１からの中間補正画像Ｃ２１が入力される。パラメータ推定部２５２－１は、入力画像Ａ２１と中間補正画像Ｃ２１との対応関係から編集パラメータＰ２１を推定し、画像フレーム補正部２５３－１に供給する。
　編集パラメータＰ２１は、入力画像Ａ２１の全領域(画像フレーム全体)に対する補正用のパラメータである。編集パラメータＰ２１としては、一般的な画像編集ソフトウェアで用いられるパラメータを含めることができる。
　図１５に示すように、編集パラメータＰ２１としては、例えば、明るさ(brightness)やコントラスト(contrast)のパラメータを用いることができる。図１６のＡにおいては、横軸と縦軸を入力と出力として、入出力の明るさの対応関係を、一律にオフセットを付けて調整できることを、図中の実線と破線の関係で表している。図１６のＢにおいては、入出力のコントラストの対応関係の傾きを調整できることを、図中の実線と破線の関係で表している。
　画素単位補正部２５１－２は、そこに入力される目標画像Ｂ２１に対し、画素単位で明るさ補正を行い、その結果得られる中間補正画像Ｃ２２を、パラメータ推定部２５２－２に供給する。画素単位補正部２５１－２では、画素単位補正部２５１－１と同様の画素単位の補正処理が行われる。
　パラメータ推定部２５２－２には、目標画像Ｂ２１と、画素単位補正部２５１－２からの中間補正画像Ｃ２２が入力される。パラメータ推定部２５２－２は、目標画像Ｂ２１と中間補正画像Ｃ２２との対応関係から編集パラメータＰ２２を推定する。パラメータ推定部２５２－２では、パラメータ推定部２５２－１と同様に、明るさに関するパラメータが推定される。
　また、パラメータ推定部２５２－２は、編集パラメータＰ２２と逆方向の補正を行う編集パラメータＰ２３をさらに推定し、画像フレーム補正部２５３－２に供給する。
　すなわち、補正処理の第２の例では、画素単位の補正処理として、上述した補正処理の第１の例のように目標値を入力するような補正アルゴリズムではなく、AE補正等の自動補正を行うアルゴリズムを用いているため、自動補正の結果得られる画像の明るさがほぼ同じであることを前提として処理が行われるようにしている。
　ここで、図１７に示すように、パラメータ推定部２５２－１，２５２－２の後段に、画像フレーム補正部２５４を設けて、画像フレーム補正部２５４によって、編集パラメータＰ２１，Ｐ２２を用いた補正が行われる場合を想定する。画像フレーム補正部２５４－１では、入力画像Ａ２１に対し、編集パラメータＰ２１を用いた明るさ補正が行われ、補正画像Ｄ２１が得られる。また、画像フレーム補正部２５４－２では、編集パラメータＰ２２を用いた明るさ補正が行われ、補正画像Ｄ２２が得られる。
　このような補正で得られた補正画像Ｄ２１と補正画像Ｄ２２とは、似通った明るさの画像となる。図１７に示した画像フレーム補正部２５４による補正処理は実際には実行されないが、当該補正処理で得られる補正画像Ｄ２１，Ｄ２２が似通った明るさになるという関係を利用として、補正処理の第２の例が行われている。
　図１４の説明に戻り、画像フレーム補正部２５３－１には、入力画像Ａ２１と、パラメータ推定部２５２－１からの編集パラメータＰ２１が入力される。画像フレーム補正部２５３－１は、入力画像Ａ２１に対し、編集パラメータＰ２１を用いた明るさ補正を行い、その結果得られる補正画像Ｅ２１を、画像フレーム補正部２５３－２に供給する。
　画像フレーム補正部２５３－２には、画像フレーム補正部２５３－１からの補正画像Ｅ２１と、パラメータ推定部２５２－２からの編集パラメータＰ２３が入力される。画像フレーム補正部２５３－２は、補正画像Ｅ２１に対し、編集パラメータＰ２３を用いた明るさ補正(逆変換)を行い、その結果得られる補正画像Ｆ２１を出力する。
　このように、自動補正の結果得られる画像の明るさがほぼ同じであることを前提として、編集パラメータＰ２１を用いた明るさ補正の後に、編集パラメータＰ２３を用いた明るさ補正を行って、画像の明るさを戻す(逆変換する)ことで、画像の明るさを目標値に近づけている。
　このような自動補正と編集パラメータを用いた補正との２段階での補正では、編集パラメータＰ２１，Ｐ２３を用いて、入力画像Ａ２１を画像フレーム単位で補正することで、補正の破綻が抑制された補正画像Ｆ２１を得ることができる。また、編集パラメータＰ２１と編集パラメータＰ２３としては、明るさに関するパラメータなど、一般的な画像編集ソフトウェアに適合したパラメータが用いられるため、画像フレーム補正部２５３－１と画像フレーム補正部２５３－２では、各社の画像編集ソフトウェアにより補正処理を行うことができる。
　次に、図１８のフローチャートを参照して、図１４に示した構成を有する処理部２００により実行される補正処理の第２の例の流れを説明する。
　ステップＳ１３１において、画素単位補正部２５１－１は、そこに入力される入力画像Ａ２１に対し、AE等の自動補正(例えば明るさ補正)を行い、中間補正画像Ｃ２１を得る。
　ステップＳ１３２において、パラメータ推定部２５２－１は、入力画像Ａ２１と中間補正画像Ｃ２１との対応関係から編集パラメータＰ２１を推定する。例えば、編集パラメータＰ２１としては、「brightness ＋0.2」などの、明るさに関するパラメータが推定される。
　ステップＳ１３１，Ｓ１３２による入力画像Ａ２１に対する処理が完了すると、処理はステップＳ１３６に進められる。
　ステップＳ１３３において、画素単位補正部２５１－２は、そこに入力される目標画像Ｂ２１に対し、AE等の自動補正(例えば明るさ補正)を行い、中間補正画像Ｃ２２を得る。
　ステップＳ１３４において、パラメータ推定部２５２－２は、目標画像Ｂ２１と中間補正画像Ｃ２２との対応関係から編集パラメータＰ２２を推定する。また、ステップＳ１３５において、パラメータ推定部２５２－２は、編集パラメータＰ２２と逆方向の補正を行う編集パラメータＰ２３を推定する。
　例えば、編集パラメータＰ２２として、「brightness -0.1」であるパラメータが推定された場合、当該パラメータを用いた補正とは逆方向の補正を行うための編集パラメータＰ２３として、「brightness ＋0.1」であるパラメータが推定される。
　ステップＳ１３３乃至Ｓ１３５による目標画像Ｂ２１に対する処理が完了すると、処理はステップＳ１３６に進められる。ステップＳ１３１，Ｓ１３２と、ステップＳ１３３乃至Ｓ１３５とは、並列に処理を行うことができる。
　ステップＳ１３６において、画像フレーム補正部２５３－１は、そこに入力される入力画像Ａ２１に対し、編集パラメータＰ２１を用いた補正(例えば明るさ補正)を行い、補正画像Ｅ２１を得る。例えば、「brightness ＋0.2」である編集パラメータＰ２１を用いて入力画像Ａ２１が補正されることで、補正画像Ｅ２１が得られる。
　ステップＳ１３７において、画像フレーム補正部２５３－２は、補正画像Ｅ２１に対し、編集パラメータＰ２３を用いた補正（例えば明るさ補正）を行い、補正画像Ｆ２１を得る。例えば、「brightness ＋0.1」である編集パラメータＰ２３を用いて補正画像Ｅ２１が補正されることで、最終的な補正画像Ｆ２１が得られる。ステップＳ１３７の処理が終了すると、一連の補正処理は終了する。
　以上のように、補正処理の第２の例では、入力画像Ａ２１(撮影画像等)が第１の単位(画素単位)で補正され、入力画像Ａ２１と、入力画像Ａ２１から得られた中間補正画像Ｃ２１との関係に基づき編集パラメータＰ２１(明るさ等に関するパラメータ)が推定されるともに、目標画像Ｂ２１が第１の単位(画素単位)で補正され、目標画像Ｂ２１と、目標画像Ｂ２１から得られた中間補正画像Ｃ２２との関係に基づき編集パラメータＰ２２(明るさ等に関するパラメータ)が推定される。そして、推定された編集パラメータＰ２２を用いた補正と逆方向の補正を行う編集パラメータＰ２３が推定され、推定された編集パラメータＰ２１及び編集パラメータＰ２３を用いて、入力画像Ａ２１(撮影画像等)が第２の単位(画像フレーム単位)で補正される。このような２段階の補正を行うことで、補正の破綻を抑制することができ、補正の精度を向上させることができる。
　入力画像Ａ１１としての撮影画像は、撮影時の被写体や光の状況などで明るさ等が、それぞれで異なった状態となる。動画制作システム１においては、動画制作サービスを提供するに際して、このような状態を回避するために、制作動画の制作に用いる撮影画像が決定した時点で、補正処理の第２の例を適用することで、対象の撮影画像の明るさを均一に揃えることができる。
＜補正処理の第２の例の他の構成＞
　図１９は、補正処理の第２の例を実行する処理部２００の他の構成例を示す図である。
　図１９に示した構成では、図１４に示した構成と比べて、パラメータ推定部２５２－１とパラメータ推定部２５２－２の後段に、パラメータ統合部２５５が設けられた構成となっている。
　パラメータ統合部２５５には、パラメータ推定部２５２－１からの編集パラメータＰ２１と、パラメータ推定部２５２－２からの編集パラメータＰ２３が入力される。
　編集パラメータＰ２１は、入力画像Ａ２１と中間補正画像Ｃ２１との対応関係から推定されたパラメータである。編集パラメータＰ２３は、目標画像Ｂ２１と中間補正画像Ｃ２２との対応関係から推定された編集パラメータＰ２２を用いた補正とは逆方向の補正を行うためのパラメータである。
　パラメータ統合部２５５は、編集パラメータＰ２１と編集パラメータＰ２３を統合した編集パラメータＰ２４を推定し、画像フレーム補正部２５３に供給する。
　画像フレーム補正部２５３には、入力画像Ａ２１と、パラメータ統合部２５５からの編集パラメータＰ２４が入力される。画像フレーム補正部２５３は、入力画像Ａ２１に対し、編集パラメータＰ２４を用いた明るさ補正を行い、その結果得られる補正画像Ｆ２１を出力する。
　次に、図２０のフローチャートを参照して、図１９に示した構成を有する処理部２００により実行される補正処理の第２の例の流れを説明する。
　ステップＳ１５１，Ｓ１５２においては、図１８のステップＳ１３１，Ｓ１３２と同様に、入力画像Ａ２１が自動補正され、入力画像Ａ２１と中間補正画像Ｃ２１との対応関係から編集パラメータＰ２１が推定される。
　ステップＳ１５３乃至Ｓ１５５においては、図１８のステップＳ１３３乃至Ｓ１３５と同様に、目標画像Ｂ２１が自動補正され、目標画像Ｂ２１と中間補正画像Ｃ２２との対応関係から推定される編集パラメータＰ２２の逆方向の補正を行う編集パラメータＰ２３が推定される。
　ステップＳ１５６において、パラメータ統合部２５５は、編集パラメータＰ２１と編集パラメータＰ２３を統合した編集パラメータＰ２４を推定する。例えば、編集パラメータＰ２１として「brightness ＋0.2」、編集パラメータＰ２３として「brightness ＋0.1」であるパラメータがそれぞれ推定された場合、それらのパラメータを統合して、「brightness ＋0.3」である編集パラメータＰ２４が推定される。
　ステップＳ１５７において、画像フレーム補正部２５３は、そこに入力される入力画像Ａ２１に対し、編集パラメータＰ２４を用いた補正を行い、補正画像Ｆ２１を得る。例えば、「brightness ＋0.3」である編集パラメータＰ２４を用いて入力画像Ａ２１が補正されることで、最終的な補正画像Ｆ２１が得られる。ステップＳ１５７の処理が終了すると、一連の補正処理は終了する。
　このように、２つの編集パラメータＰ２１，Ｐ２３を統合して得られる編集パラメータＰ２４を用いて補正処理を行うことで、２つの編集パラメータＰ２１，Ｐ２３ごとに補正処理を行う構成と比べて、補正処理を１つにまとめることができるため、処理負荷を軽減することができる。
　なお、上述した補正処理の第２の例の説明では、補正処理として明るさ補正が行われる場合について説明したが、色補正など他の補正が行われてもよい。例えば、色補正を行う場合には、画素単位補正部２５１における自動補正として、AWB(Auto White Balance)等の自動補正を行い、編集パラメータＰ２１乃至Ｐ２４として、トーンカーブ等のパラメータが推定されるようにすればよい。
＜変形例＞
　上述した説明では、動画制作システム１において、クラウドサーバ２０の処理部２００が補正処理を実行するとして説明したが、クラウドサーバ２０以外の機器で処理が実行されても構わない。例えば、端末装置３０の処理部が、処理部２００に対応した機能を有することで、補正処理の全部又は一部を実行してもよい。
　上述したフローチャートの各ステップの処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、各装置のコンピュータにインストールされる。
　コンピュータが実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体に記録して提供することができる。また、プログラムは、LAN、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブル記録媒体をドライブに装着することにより、入出力I/Fを介して、記憶部にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部で受信し、記憶部にインストールすることができる。その他、プログラムは、ROMや記憶部に、あらかじめインストールしておくことができる。
　ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理(例えば並列処理あるいはオブジェクトによる処理)も含む。
　また、プログラムは、１のコンピュータ(プロセッサ)により処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されてもよい。
　本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　本明細書において、「自動」と記載した場合、クラウドサーバ２０等の機器が、ユーザの直接的な操作を介さずに処理を行うことを意味し、「手動」と記載した場合、ユーザの直接的な操作を介して処理を行うことを意味する。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、本開示は、以下のような構成をとることができる。
（１）
　撮影画像を、第１の単位で補正し、
　前記撮影画像と、前記第１の単位の補正で得られる中間補正画像との関係に基づいて、前記撮影画像に対する補正用のパラメータを推定し、
　推定された前記パラメータを用いて、前記撮影画像を、前記第１の単位よりも大きい第２の単位で補正する
　処理部を備える
　画像処理装置。
（２）
　前記第１の単位は、画素単位であり、
　前記第２の単位は、画像フレーム単位であり、
　前記パラメータは、前記撮影画像の全領域に対する補正用のパラメータである
　前記（１）に記載の画像処理装置。
（３）
　前記処理部は、
　　補正の目標となる目標画像を用いて、前記撮影画像を前記第１の単位で補正し、
　　前記撮影画像と、前記撮影画像と前記目標画像から得られた前記中間補正画像との関係に基づいて、前記パラメータを推定する
　前記（２）に記載の画像処理装置。
（４）
　前記処理部は、機械学習により学習された学習済みモデルを用い、前記撮影画像と前記目標画像から、前記撮影画像を前記第１の単位で補正する
　前記（３）に記載の画像処理装置。
（５）
　前記学習済みモデルは、学習データとしての画像を入力とし、補正後の画像を出力として学習したDNN(Deep Neural Network)である
　前記（４）に記載の画像処理装置。
（６）
　前記処理部は、画像編集ソフトウェアによる前記パラメータを用いた補正処理により、前記撮影画像を前記第２の単位で補正する
　前記（２）乃至（５）のいずれかに記載の画像処理装置。
（７）
　前記パラメータは、トーンカーブに関するパラメータを含む
　前記（６）に記載の画像処理装置。
（８）
　前記処理部は、
　　前記撮影画像を前記第１の単位で補正し、
　　前記撮影画像と、前記撮影画像の補正で得られる第１の中間補正画像との関係に基づいて、前記撮影画像に対する補正用の第１のパラメータを推定し、
　　補正の目標となる目標画像を前記第１の単位で補正し、
　　前記目標画像と、前記目標画像の補正で得られる第２の中間補正画像との関係に基づいて、前記撮影画像に対する補正用の第２のパラメータを推定し、
　　推定された前記第２のパラメータを用いた補正と逆方向の補正を行う第３のパラメータを推定し、
　　推定された前記第１のパラメータ及び前記第３のパラメータを用いて、前記撮影画像を前記第２の単位で補正する
　前記（２）に記載の画像処理装置。
（９）
　前記処理部は、
　　推定された前記第１のパラメータを用いて、前記撮影画像を前記第２の単位で補正し、
　　推定された前記第３のパラメータを用いて、前記第１のパラメータを用いて補正された前記撮影画像を前記第２の単位で補正する
　前記（８）に記載の画像処理装置。
（１０）
　前記処理部は、
　　前記第１のパラメータと前記第３のパラメータを統合した第４のパラメータを推定し、
　　推定された前記第４のパラメータを用いて、前記撮影画像を前記第２の単位で補正する
　前記（８）に記載の画像処理装置。
（１１）
　前記処理部は、前記撮影画像の色又は明るさに関する補正を行う
　前記（１）乃至（１０）のいずれかに記載の画像処理装置。
（１２）
　ユーザが操作するカメラにより撮影された前記撮影画像であって、ネットワークを介して受信した前記撮影画像を処理するサーバとして構成され、
　補正された前記撮影画像に基づき制作された動画を、ネットワークを介してユーザが操作する端末装置に送信する
　前記（１）乃至（１１）のいずれかに記載の画像処理装置。
（１３）
　画像処理装置が、
　撮影画像を、第１の単位で補正し、
　前記撮影画像と、前記第１の単位の補正で得られる中間補正画像との関係に基づいて、前記撮影画像に対する補正用のパラメータを推定し、
　推定された前記パラメータを用いて、前記撮影画像を、前記第１の単位よりも大きい第２の単位で補正する
　画像処理方法。
（１４）
　コンピュータを、
　撮影画像を、第１の単位で補正し、
　前記撮影画像と、前記第１の単位の補正で得られる中間補正画像との関係に基づいて、前記撮影画像に対する補正用のパラメータを推定し、
　推定された前記パラメータを用いて、前記撮影画像を、前記第１の単位よりも大きい第２の単位で補正する
　処理部として機能させるプログラム。
　１　動画制作システム，　１０　カメラ，　２０　クラウドサーバ，　３０　端末装置，　４０－１，４０－２，４０　ネットワーク，　２００　処理部，　２１１　CPU，　２５１，２５１－１，２５１－２　画素単位補正部，　２５２，２５２－１，２５２－２　パラメータ推定部，　２５３，２５３－１，２５３－２　画像フレーム補正部，　２５５　パラメータ統合部

Claims (14)

  1. 　撮影画像を、第１の単位で補正し、
    　前記撮影画像と、前記第１の単位の補正で得られる中間補正画像との関係に基づいて、前記撮影画像に対する補正用のパラメータを推定し、
    　推定された前記パラメータを用いて、前記撮影画像を、前記第１の単位よりも大きい第２の単位で補正する
    　処理部を備える
    　画像処理装置。
  2. 　前記第１の単位は、画素単位であり、
    　前記第２の単位は、画像フレーム単位であり、
    　前記パラメータは、前記撮影画像の全領域に対する補正用のパラメータである
    　請求項１に記載の画像処理装置。
  3. 　前記処理部は、
    　　補正の目標となる目標画像を用いて、前記撮影画像を前記第１の単位で補正し、
    　　前記撮影画像と、前記撮影画像と前記目標画像から得られた前記中間補正画像との関係に基づいて、前記パラメータを推定する
    　請求項２に記載の画像処理装置。
  4. 　前記処理部は、機械学習により学習された学習済みモデルを用い、前記撮影画像と前記目標画像から、前記撮影画像を前記第１の単位で補正する
    　請求項３に記載の画像処理装置。
  5. 　前記学習済みモデルは、学習データとしての画像を入力とし、補正後の画像を出力として学習したDNN(Deep Neural Network)である
    　請求項４に記載の画像処理装置。
  6. 　前記処理部は、画像編集ソフトウェアによる前記パラメータを用いた補正処理により、前記撮影画像を前記第２の単位で補正する
    　請求項２に記載の画像処理装置。
  7. 　前記パラメータは、トーンカーブに関するパラメータを含む
    　請求項６に記載の画像処理装置。
  8. 　前記処理部は、
    　　前記撮影画像を前記第１の単位で補正し、
    　　前記撮影画像と、前記撮影画像の補正で得られる第１の中間補正画像との関係に基づいて、前記撮影画像に対する補正用の第１のパラメータを推定し、
    　　補正の目標となる目標画像を前記第１の単位で補正し、
    　　前記目標画像と、前記目標画像の補正で得られる第２の中間補正画像との関係に基づいて、前記撮影画像に対する補正用の第２のパラメータを推定し、
    　　推定された前記第２のパラメータを用いた補正と逆方向の補正を行う第３のパラメータを推定し、
    　　推定された前記第１のパラメータ及び前記第３のパラメータを用いて、前記撮影画像を前記第２の単位で補正する
    　請求項２に記載の画像処理装置。
  9. 　前記処理部は、
    　　推定された前記第１のパラメータを用いて、前記撮影画像を前記第２の単位で補正し、
    　　推定された前記第３のパラメータを用いて、前記第１のパラメータを用いて補正された前記撮影画像を前記第２の単位で補正する
    　請求項８に記載の画像処理装置。
  10. 　前記処理部は、
    　　前記第１のパラメータと前記第３のパラメータを統合した第４のパラメータを推定し、
    　　推定された前記第４のパラメータを用いて、前記撮影画像を前記第２の単位で補正する
    　請求項８に記載の画像処理装置。
  11. 　前記処理部は、前記撮影画像の色又は明るさに関する補正を行う
    　請求項１に記載の画像処理装置。
  12. 　ユーザが操作するカメラにより撮影された前記撮影画像であって、ネットワークを介して受信した前記撮影画像を処理するサーバとして構成され、
    　補正された前記撮影画像に基づき制作された動画を、ネットワークを介してユーザが操作する端末装置に送信する
    　請求項１に記載の画像処理装置。
  13. 　画像処理装置が、
    　撮影画像を、第１の単位で補正し、
    　前記撮影画像と、前記第１の単位の補正で得られる中間補正画像との関係に基づいて、前記撮影画像に対する補正用のパラメータを推定し、
    　推定された前記パラメータを用いて、前記撮影画像を、前記第１の単位よりも大きい第２の単位で補正する
    　画像処理方法。
  14. 　コンピュータを、
    　撮影画像を、第１の単位で補正し、
    　前記撮影画像と、前記第１の単位の補正で得られる中間補正画像との関係に基づいて、前記撮影画像に対する補正用のパラメータを推定し、
    　推定された前記パラメータを用いて、前記撮影画像を、前記第１の単位よりも大きい第２の単位で補正する
    　処理部として機能させるプログラム。
PCT/JP2022/042662 2021-12-01 2022-11-17 画像処理装置、画像処理方法、及びプログラム WO2023100665A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-195415 2021-12-01
JP2021195415 2021-12-01

Publications (1)

Publication Number Publication Date
WO2023100665A1 true WO2023100665A1 (ja) 2023-06-08

Family

ID=86612021

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/042662 WO2023100665A1 (ja) 2021-12-01 2022-11-17 画像処理装置、画像処理方法、及びプログラム

Country Status (1)

Country Link
WO (1) WO2023100665A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005136852A (ja) * 2003-10-31 2005-05-26 Canon Inc 画像処理方法、画像処理装置および画像処理プログラム
JP2010231668A (ja) * 2009-03-27 2010-10-14 Infocom Corp アニメーション自動作成システム
CN111311517A (zh) * 2020-02-26 2020-06-19 福州大学 基于抠图的颜色校正优化方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005136852A (ja) * 2003-10-31 2005-05-26 Canon Inc 画像処理方法、画像処理装置および画像処理プログラム
JP2010231668A (ja) * 2009-03-27 2010-10-14 Infocom Corp アニメーション自動作成システム
CN111311517A (zh) * 2020-02-26 2020-06-19 福州大学 基于抠图的颜色校正优化方法

Similar Documents

Publication Publication Date Title
US9137447B2 (en) Imaging apparatus that generates an image including an emphasized in-focus part of a captured image
WO2021104394A1 (zh) 图像处理方法及装置、电子设备、存储介质
US20080094484A1 (en) Image capture methods and systems
US10091415B2 (en) Image processing apparatus, method for controlling image processing apparatus, image pickup apparatus, method for controlling image pickup apparatus, and recording medium
CN113810593A (zh) 图像处理方法、装置、存储介质及电子设备
US10447969B2 (en) Image processing device, image processing method, and picture transmission and reception system
CN103873762A (zh) 拍摄装置及其控制方法
WO2018180530A1 (ja) 画像処理装置および方法
CN105210362B (zh) 图像调整设备、图像调整方法和图像捕获设备
US9894315B2 (en) Image capturing apparatus, image processing apparatus and method, image processing system, and control method for image capturing apparatus
WO2023100665A1 (ja) 画像処理装置、画像処理方法、及びプログラム
JP6032912B2 (ja) 撮像装置、その制御方法及びプログラム
TW201801515A (zh) 影像產生方法及影像拍攝裝置
WO2022109897A1 (zh) 延时摄影方法及设备、延时摄影视频生成方法及设备
US9659222B2 (en) Vehicle event data recorder and operation method thereof
JP2005277618A (ja) 撮像装置、シェーディング補正装置、及びシェーディング補正方法
US9521355B2 (en) Image processing apparatus, image processing method and program thereof
JP6083959B2 (ja) 伝送装置、その制御方法、および制御プログラム
US20160088225A1 (en) Method and technical equipment for imaging
WO2023100664A1 (ja) 画像処理装置、画像処理方法、及びプログラム
JP5975705B2 (ja) 撮像装置およびその制御方法、画像処理装置および画像処理のための方法
JP4389656B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
WO2022219985A1 (ja) 情報処理方法、情報処理装置、プログラム
TWI381718B (zh) A system for reducing video noise and a method thereof, and an image capturing apparatus
TW202207693A (zh) 資料產生方法、學習方法、推定方法、資料產生裝置及程式

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22901098

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023564867

Country of ref document: JP

Kind code of ref document: A