WO2019188573A1 - 演算装置、演算方法およびプログラム - Google Patents

演算装置、演算方法およびプログラム Download PDF

Info

Publication number
WO2019188573A1
WO2019188573A1 PCT/JP2019/011394 JP2019011394W WO2019188573A1 WO 2019188573 A1 WO2019188573 A1 WO 2019188573A1 JP 2019011394 W JP2019011394 W JP 2019011394W WO 2019188573 A1 WO2019188573 A1 WO 2019188573A1
Authority
WO
WIPO (PCT)
Prior art keywords
image quality
quality evaluation
evaluation value
parameter group
image data
Prior art date
Application number
PCT/JP2019/011394
Other languages
English (en)
French (fr)
Inventor
大輔 中尾
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/982,582 priority Critical patent/US11381737B2/en
Priority to JP2020510734A priority patent/JP7363770B2/ja
Publication of WO2019188573A1 publication Critical patent/WO2019188573A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Definitions

  • the present technology relates to an arithmetic device, an arithmetic method, and a program, and more particularly, to an arithmetic device for adjusting the image quality of a captured image captured by a camera to a predetermined image quality.
  • the image quality of a captured image captured by a camera may be required to be close to a predetermined image quality, for example, the image quality of a captured image captured by a camera of a model different from the camera model used for imaging.
  • a predetermined image quality for example, the image quality of a captured image captured by a camera of a model different from the camera model used for imaging.
  • Japanese Patent Laid-Open No. 2004-228561 is based on a correspondence relationship between pixels between a captured image obtained by capturing a pattern with a predefined geometric shape captured by a camera and a reference image including the defined pattern.
  • a camera calibration device for calculating conversion parameters is shown.
  • An object of the present technology is to provide a calculation device, a calculation method, and a program that can acquire an image quality parameter group that brings the image quality of a captured image captured by a camera close to a predetermined image quality.
  • An image quality evaluation value acquisition unit that obtains a first image quality evaluation value based on the developed image data obtained by developing the captured image data
  • An arithmetic unit includes an image quality parameter group acquisition unit that obtains an image quality parameter group in the development processing so that a difference between the first image quality evaluation value and a reference second image quality evaluation value is reduced.
  • the image quality evaluation value acquisition unit obtains the first image quality evaluation value based on the developed image data obtained by developing the captured image data. Then, the image quality parameter group acquisition unit obtains the image quality parameter group in the development process so that the difference between the first image quality evaluation value and the second image quality evaluation value serving as a reference decreases.
  • the second image quality evaluation value is the developed image data obtained by developing the captured image data of the second camera of the same model or different model as the first camera for obtaining the captured image data. Obtained on the basis of.
  • the difference between the first image quality evaluation value obtained based on the developed image data obtained by developing the captured image data and the reference second image quality evaluation value is The image quality parameter group in the development processing is obtained so as to decrease. Therefore, it is possible to obtain an image quality parameter group for bringing the image quality of the developed image data obtained by developing the captured image data close to the image quality of the target developed image data, and the image quality of the captured image captured by the camera is predetermined. It is possible to approximate the image quality.
  • the evaluation function itself for evaluating the image quality is not optimized, but the difference from a predetermined evaluation value (second image quality evaluation value) is optimized, so that the image quality can be brought close to the predetermined image quality. Is.
  • An image quality evaluation value acquisition unit that obtains a plurality of first image quality evaluation values based on a plurality of developed image data obtained by developing each of the plurality of captured image data; An image quality parameter group in the development processing is obtained so that a difference between each of the plurality of first image quality evaluation values and a second image quality evaluation value obtained based on the plurality of first image quality evaluation values is reduced.
  • An arithmetic device having an image quality parameter group acquisition unit.
  • the image quality evaluation value acquisition unit obtains a plurality of first image quality evaluation values based on a plurality of developed image data obtained by developing each of the plurality of captured image data. Then, development is performed by the image quality parameter group acquisition unit so that the difference between each of the plurality of first image quality evaluation values and the second image quality evaluation value obtained based on the plurality of first image quality evaluation values decreases.
  • a group of image quality parameters in the process is obtained.
  • the image quality parameter group acquisition unit may obtain an image quality parameter group under a constraint condition that ensures a certain image quality.
  • the plurality of captured image data may be captured image data of a plurality of cameras, all of which are the same model, or all or a part of different models.
  • the image quality parameter group in the development processing is obtained so that the difference from the second image quality evaluation value obtained based on the image quality evaluation value is reduced. Therefore, it is possible to obtain a group of image quality parameters for approximating the image quality of the plurality of developed image data obtained by developing each of the plurality of captured image data, and to set the image quality of the captured image captured by the camera to a predetermined image quality. It becomes possible to approach.
  • the evaluation function itself for evaluating the image quality is not optimized, but the difference from a predetermined evaluation value (second image quality evaluation value) is optimized, so that the image quality can be brought close to the predetermined image quality. Is.
  • the image quality of a captured image captured by the camera can be brought close to a predetermined image quality.
  • the effects described here are not necessarily limited, and may be any of the effects described in the present disclosure.
  • FIG. 16 is a block diagram illustrating a configuration example of a personal computer.
  • FIG. 1 shows a configuration example of a camera image quality adjustment system 100 according to the first embodiment.
  • the camera image quality adjustment system 100 includes a camera 101, an image quality evaluation system 102, an image quality difference index calculator 103, and an image quality parameter automatic tuning system 104.
  • the camera image quality adjustment system 100 is a system for bringing the image quality of the developed image output from the camera 101 closer to the image quality of the developed image of the target camera. With this system, the image quality of a captured image captured by the camera can be brought close to a predetermined image quality. For example, when shooting with multiple cameras, it may not be possible to create a unified work due to the different image quality of each camera, but with this technology it is possible to match the image quality between multiple cameras Therefore, such a problem can be solved.
  • Fig. 2 (a) shows how image quality is matched between models.
  • the cameras 10t, 10s1, and 10s2 are cameras of different models, and can minimize variations between models and variations between individuals.
  • FIG. 2 (b) shows the state of image quality matching between individuals.
  • the cameras 20t, 20s1, and 20s2 are cameras of the same model and can minimize variations among individuals.
  • 2A and 2B show the case where there are two source cameras, the same applies to the case where there are three or more source cameras.
  • the camera 101 corresponds to the source camera in FIG. FIG. 3 shows a configuration example of the camera 101.
  • the camera 101 includes an image input unit 111, an image holding unit (memory) 112, a development processing unit 113, a development parameter holding unit (memory) 114, an image information recording unit 115, and an external input / output control unit 116.
  • the user operation unit 117 is included.
  • the image input unit 111 includes a lens, an imager, and the like, and the imager outputs RAW image data as captured image data.
  • the image holding unit 112 holds RAW image data output from the imager.
  • a chart Macbeth Color Checker / ISO-12233 resolution test chart, etc.
  • RAW image data of each chart is also stored in an image holding unit. 112.
  • the development processing unit 113 performs development processing on the RAW image data held in the image holding unit 112 and outputs the developed image data.
  • the image holding unit 112 also holds developed image data output from the development processing unit 113.
  • the development parameter holding unit 114 holds a development image quality parameter group used in the development processing unit 113.
  • the development parameter holding unit 114 is used when performing image quality adjustment with another camera in the special mode in this embodiment.
  • the special image quality parameter group can be retained.
  • the development parameter holding unit 114 can hold not only one special image quality parameter group but also a plurality of special image quality parameter groups. .
  • each special image quality parameter group is held in association with another camera that performs image quality matching by a model name, a model number, or the like.
  • FIG. 4 shows a configuration example of the development processing unit 113.
  • the development processing unit 113 includes an offset removal / white balance unit, a noise reduction unit, a Bayer interpolation processing unit, a color space conversion unit, a gamma processing unit, an RGB / YCC conversion unit, an unsharp mask unit, a JPEG conversion unit, and the like. is doing.
  • only representative processing blocks are shown. However, in an actual camera, there are a great many other processing blocks. Depending on the camera, some of the processing blocks in the illustrated example may not be used.
  • the image quality parameter (development parameter) is a parameter used for processing in the processing block and affects the color reproducibility, resolution, noise, etc. of the developed image data, and changes the image quality of the developed image data.
  • This image quality parameter exists for most processing blocks and varies in a complicated manner depending on the camera characteristics and mode.
  • the development parameter holding unit 114 holds all of them, and switches the image quality parameter group to be passed to the development processing unit 113 according to the mode.
  • the development parameter holding unit 114 can additionally hold a special image quality parameter group obtained via an external input / output device or the like in addition to the fixed image quality parameter group that is fixedly held.
  • the image information recording unit 115 records the RAW image data and the developed image data held in the image holding unit 112 on a memory stick, an SD card, or the like, which is a removable medium, as necessary. Further, the image information recording unit 115 records the image quality parameter group held in the development parameter holding unit 114 as necessary on a memory stick, an SD card, or the like, which is a removable medium.
  • the external input / output control unit 116 accesses the image holding unit 112 to read out the RAW image data and the developed image data, and transmits them to the external device by wired communication or wireless communication. Also, the external input / output control unit 116 receives a special image quality parameter group from an external device by wired communication or wireless communication, and writes it in the development parameter holding unit 114. In this case, a new special image quality parameter group can be written in the development parameter holding unit 114, and the special image quality parameter group can be changed by overwriting the existing special image quality parameter group.
  • the user operation unit 117 includes buttons, a touch panel, and the like, and allows the user to perform various operations.
  • the user can perform an operation of setting the operation mode of the development processing unit 113 to the normal mode or the special mode.
  • the user can perform an operation so as to transmit RAW image data and developed image data held in the image holding unit 112 to an external device.
  • the user can operate to receive from an external device and write to the development parameter holding unit 114.
  • the user can perform an operation so as to delete the special image quality parameter group held in the development parameter holding unit 114.
  • the image quality evaluation system 102 receives a plurality of developed image data for image quality evaluation from the camera 101. . Then, the image quality evaluation system 102 evaluates each of color reproducibility, resolution, noise feeling, and the like based on the plurality of developed image data, and obtains an image quality evaluation value group.
  • the image quality difference index calculator 103 calculates an image quality difference index indicating a difference between the image quality evaluation value group obtained by the image quality evaluation system 102 and a reference image quality evaluation value group.
  • the image quality evaluation value group for the target camera is used as the reference image quality evaluation value group.
  • an image quality evaluation value group for the target camera is acquired by evaluating each of color reproducibility, resolution, noise, and the like based on a plurality of developed image data for image quality evaluation from the target camera.
  • the image quality parameter automatic tuning system 104 is based on the image quality difference index calculated by the image quality difference index calculator 103 using a non-linear optimization algorithm such as genetic algorithm (GA: Genetic Algorithm) or simulated annealing (SA).
  • GA Genetic Algorithm
  • SA simulated annealing
  • the image quality parameter group in the development processing unit 113 of the camera 101 is calculated so that the difference decreases.
  • a group of image quality parameters obtained by the image quality parameter automatic tuning system 104 is reflected in the development processing unit 113 of the camera 101.
  • the image quality parameter automatic tuning system 104 may use a neural network, deep learning, or the like.
  • the image quality parameter automatic tuning system 104 repeatedly obtains the image quality parameter group based on the new image quality difference index, optimizes the image quality parameter group, and calculates the optimum image quality parameter group. Finally, the camera 101 holds the optimum image quality parameter group calculated by the image quality parameter automatic tuning system 104 as a special image quality parameter group in the development parameter holding unit 114 and uses it in a special mode for matching the image quality to the target camera. .
  • an image quality parameter group P is set, and in this state, development processing is performed on the plurality of RAW image data for image quality evaluation, and a plurality of development image data for image quality evaluation is obtained.
  • the image quality evaluation system 102 evaluates each of color reproducibility, resolution, noise, and the like to obtain an image quality evaluation value group e.
  • the image quality evaluation value group e is supplied to the image quality difference index calculator 103.
  • the image quality difference index calculator 103 is also supplied with an image quality evaluation index weight coefficient w.
  • the image quality evaluation index weight coefficient w is a coefficient for weighting each image quality evaluation value according to the importance. For example, when the resolution is important and the noise feeling is not important, the resolution w is large and the noise w is small. Thereby, it is possible to minimize the image quality difference with an emphasis on resolution.
  • an example in which the image quality evaluation index weighting coefficient w is used has been described, but there may be a case where this coefficient is not used.
  • the image quality difference index calculator 103 calculates the image quality difference index Q based on, for example, the following formula (1).
  • e_src (j) indicates an image quality evaluation value group of the source camera, that is, an element of the image quality evaluation value group e obtained by the image evaluation system 102.
  • e_target (j) Indicates elements of the image quality evaluation value group of the target camera.
  • M indicates the number of elements of the image quality evaluation value group.
  • the mathematical formula for obtaining the image quality difference index Q is not limited to the mathematical formula (1).
  • the difference absolute value sum may be used as the image quality difference index Q.
  • the image quality difference index Q is supplied to the image quality parameter automatic tuning system 104.
  • the image quality parameter automatic tuning system 104 is also supplied with an image quality parameter group P.
  • the image quality parameter automatic tuning system 104 calculates the next image quality parameter group P ′ based on P and Q.
  • the image quality parameter automatic tuning system 104 repeats this process to derive an image quality parameter group P that optimizes the image quality difference index Q.
  • the image quality parameter automatic tuning system 104 may refer to the past P and Q.
  • FIG. 6 shows an example of convergence conditions in the image quality parameter automatic tuning system 104.
  • the convergence condition for example, the following (1) to (4) are conceivable. (1) End when the number of repetitions exceeds a certain number. (2) End when the convergence speed of the image quality difference index Q falls below a specified value. (3) End when the image quality difference index Q falls below a specified value.
  • combinations of (1) to (3) are also conceivable. For example, although it repeats according to (3), for example, there is a possibility that it will not be terminated. Therefore, when the number of times specified in (1) is exceeded, it is forcibly terminated even if (3) is not satisfied. In that case, it is necessary to return information as to which of the conditions ended.
  • the image quality parameter automatic tuning system 104 uses the image quality difference index obtained from the image quality evaluation value group of the camera 101 and the image quality evaluation value group of the target camera. An image quality parameter group to be optimized is obtained. Therefore, an image quality parameter for making the image quality of the camera 101 as the source camera close to the image quality of the target camera can be easily obtained.
  • the image quality evaluation system itself includes a development processing unit, and in the automatic tuning process, it is conceivable to perform the development process using the development processing unit to perform the optimization process of the image quality parameter group.
  • a plurality of RAW image data for image quality evaluation is supplied from the camera 101 to the image quality evaluation system 102.
  • the optimization result may not be expected depending on the setting of the target camera.
  • the target camera is the latest model and the level cannot be reached no matter what image quality parameter group the other source cameras take.
  • optimization was performed with each of the three cameras as a target camera, and the best result (low Q) was obtained.
  • a method of using the target camera setting as a final result is conceivable.
  • FIG. 7 shows a configuration example of a camera image quality adjustment system 200 as the second embodiment.
  • the camera image quality adjustment system 200 includes cameras 201-1, 201-2, 201-3, an image quality evaluation system 202, an image quality difference index calculator 203, and an image quality parameter automatic tuning system 204.
  • This camera image quality adjustment system 200 is a system for bringing the developed images output from the cameras 201-1, 201-2, and 201-3 closer to each other. With this system, the image quality of a captured image captured by the camera can be brought close to a predetermined image quality. For example, when shooting with multiple cameras, it may not be possible to create a unified work due to the different image quality of each camera, but with this technology it is possible to match the image quality between multiple cameras Therefore, such a problem can be solved.
  • the camera image quality adjustment system 200 a specific target camera is not set, and the image quality difference as a whole is minimized by changing image quality parameter groups with each other. For example, if the target camera is the latest model and has better image quality than any other camera, the other camera cannot produce the image quality of the target camera no matter how much the image quality parameter group is changed. In the camera image quality adjustment system 200, since the image quality of all the cameras “walks up”, the degree of optimization of the image quality difference increases. In the camera image quality adjustment system 200, unlike the case where a target camera is set, optimization is not performed for each camera, but image quality parameter groups of all cameras are optimized simultaneously.
  • Fig. 8 (a) shows how image quality is matched between models.
  • the source cameras 30s1, 30s2, and 30s3 are cameras of different models, and can minimize variations between models and variations between individuals.
  • FIG. 8B shows a state of image quality matching between individuals.
  • the cameras 40 s 1, 40 s 2, and 40 s 3 are cameras of the same model and can minimize variations among individuals.
  • 8A and 8B show the case where there are three source cameras, the same applies to the case where there are four or more source cameras.
  • the cameras 201-1, 201-2, and 201-3 correspond to the three source cameras in FIG. Although detailed description is omitted, the configuration of each camera is the same as that of the camera 101 shown in FIG. 1 (see FIG. 3).
  • the image quality evaluation system 202 performs image quality evaluation from each of the cameras 201-1, 201-2, and 201-3. Receive a plurality of developed image data.
  • the image quality evaluation system 202 obtains an image quality evaluation value group for each camera by evaluating each of color reproducibility, resolution, noise, and the like based on a plurality of developed image data for image quality evaluation.
  • the image quality difference index calculator 203 calculates an image quality difference index indicating a difference between the image quality evaluation value group of each camera obtained by the image quality evaluation system 202 and the reference image quality evaluation value group.
  • the reference image quality evaluation value group is obtained based on the image quality evaluation value group of each camera. For example, an average value of image quality evaluation values of each camera is obtained for each image quality evaluation value, and used as a reference image quality evaluation value.
  • the image quality parameter automatic tuning system 204 is based on the image quality difference index calculated by the image quality difference index calculator 203 using a non-linear optimization algorithm such as genetic algorithm (GA: Genetic Algorithm) or simulated annealing (SA).
  • GA Genetic Algorithm
  • SA simulated annealing
  • the image quality parameter automatic tuning system 204 repeatedly obtains the image quality parameter group for each camera based on the new image quality difference index, optimizes the image quality parameter group for each camera, and calculates the optimum image quality parameter group. Finally, the cameras 201-1, 201-2, and 201-3 use the optimum image quality parameter group of each camera calculated by the image quality parameter automatic tuning system 204 as a special image quality parameter group, and a development parameter holding unit of each camera. 114 and used in a special mode for adjusting the image quality.
  • the above-described automatic tuning process for matching the image quality of the cameras 201-1, 201-2, and 201-3 is performed under a constraint condition L that ensures a certain image quality.
  • the image quality difference is small, but the image quality may not be guaranteed in the first place.
  • the image quality parameter is “fill all images black”, all images are black, so there is no image quality difference. Therefore, the image quality difference index is 0, which is the best result.
  • the constraint condition L is for ensuring a certain image quality. For example, “all image quality evaluation values must be greater than or equal to a specified value” can be considered.
  • Image quality parameter groups P1, P2, and P3 are set in the development processing unit 113 of each camera, and development processing is performed on a plurality of RAW image data for image quality evaluation in that state, and a plurality of development image data for image quality evaluation is obtained. can get.
  • the image quality evaluation system 202 evaluates each of color reproducibility, resolution, noise, and the like based on a plurality of developed image data for image quality evaluation, and the image quality evaluation value groups e1, e2, e3 are obtained. can get.
  • image quality evaluation value groups e1, e2, e3 are supplied to the image quality difference index calculator 203.
  • the image quality difference index calculator 203 is also supplied with an image quality evaluation index weight coefficient w.
  • the image quality evaluation index weight coefficient w is a coefficient for weighting each image quality evaluation value according to the importance. For example, when the resolution is important and the noise feeling is not important, the resolution w is large and the noise w is small. Thereby, it is possible to minimize the image quality difference with an emphasis on resolution.
  • an example in which the image quality evaluation index weighting coefficient w is used has been described, but there may be a case where this coefficient is not used.
  • the image quality difference index calculator 203 calculates the image quality difference index Q based on, for example, the following formula (2).
  • e_src (i) (j) is an image quality evaluation value group of the source camera (i), that is, an image quality evaluation value group e of the source camera (i) obtained by the image evaluation system 202.
  • E bar (j) indicates an element of the standard image quality evaluation value group.
  • M indicates the number of elements of the image quality evaluation value group.
  • the image quality difference index Q is supplied to the image quality parameter automatic tuning system 204.
  • the image quality parameter automatic tuning system 204 is also supplied with image quality parameter groups P1, P2, and P3 of each camera.
  • the image quality parameter automatic tuning system 204 calculates next image quality parameter groups P1 ′, P2 ′, and P3 ′ based on P1, P2, P3, and Q.
  • the image quality parameter automatic tuning system 204 repeats this process, and derives image quality parameters P1, P2, and P3 that optimize the image quality difference index Q under the constraint condition L that ensures a certain image quality.
  • the image quality parameter automatic tuning system 204 may refer to the past P and Q.
  • the image quality parameter automatic tuning system 204 uses the image quality evaluation value groups of the cameras 201-1, 201-2, 201-3 and these image quality evaluation value groups.
  • the image quality parameter group of each camera that optimizes the image quality difference index obtained from the standard image quality evaluation value group obtained based on the above is obtained. Therefore, it is possible to easily obtain image quality parameters for bringing the images of the cameras 201-1, 201-2, and 201-3 closer to each other.
  • the development processing unit 113 provided in the cameras 201-1, 201-2, and 201-3 is used in the automatic tuning process.
  • the image quality evaluation system itself includes a development processing unit, and in the automatic tuning process, it is conceivable to perform the development process using the development processing unit to perform the optimization process of the image quality parameter group.
  • a plurality of RAW image data for image quality evaluation is supplied from the cameras 201-1, 201-2, 201-3 to the image quality evaluation system 202.
  • FIG. 10 schematically shows the first business model.
  • the user brings a camera group for which image quality adjustment is desired to the center or mails it.
  • the user can instruct the target camera (Target) and the source camera (Src), but it is not necessary to instruct.
  • the center shoots a chart (Macbeth Color Checker / ISO-12233 resolution test chart, etc.) for evaluating each of the color reproducibility, resolution, noise, etc. with each camera, and adjusts the image quality.
  • RAW image data is obtained.
  • the center optimizes the image quality parameter group of each camera based on a plurality of RAW image data for image quality adjustment for each camera.
  • the center sends each camera installed with the optimized image quality parameter group as the special image quality parameter group to the user.
  • the user can switch to the special mode to use the special image quality parameter group, and can shoot with the image quality of each camera close to each other.
  • chart shooting and optimization are performed on the center side, so that variation among individuals can be optimized, so it can be used to match image quality between models / individuals. Is possible.
  • FIG. 11 schematically shows the second business model.
  • the user selects a combination of camera groups for which image quality adjustment is desired on the Web, and transmits the combination data to a data center or a server base.
  • a combination in which the target camera (Target) and the source camera (Src) are specified may be used.
  • the data center or server base generates and stores the optimum image quality parameter group of each camera in all or representative model combinations in advance.
  • the data center and the server base search and extract the optimum image quality parameter group of each camera that matches the combination data sent from the user.
  • the data center or server base transmits the optimum image quality parameter group of each camera to the user.
  • the user installs the optimum image quality parameter group of each camera received from the data center or server site as a special image quality parameter group in each camera.
  • the user can switch to the special mode to use the special image quality parameter group, and can shoot with the image quality of each camera close to each other.
  • FIG. 12 schematically shows the third business model.
  • the user shoots a commercially available chart (Macbeth Color Checker / ISO-12233 resolution test chart, etc.) with each camera of the camera group for which image quality adjustment is desired.
  • a user transmits RAW image data captured by each camera to a data center or a server site on the Web. In this case, the user can instruct the target camera (Target) and the source camera (Src), but it is not necessary to instruct.
  • the user operates on the web (Web) to optimize the image quality parameter group of each camera based on a plurality of RAW image data for image quality adjustment for each camera at the data center or the server base.
  • Web web
  • the user does not need to be aware of the optimization, and the optimization may be automatically executed when the user transmits the RAW image data of each camera to the data center or the server base.
  • the data center or server base transmits the optimum image quality parameter group of each camera to the user.
  • the user installs the optimum image quality parameter group of each camera received from the data center or server site as a special image quality parameter group in each camera.
  • the user can switch to the special mode to use the special image quality parameter group, and can shoot with the image quality of each camera close to each other.
  • FIG. 13 schematically shows a fourth business model.
  • the user selects a combination of camera groups for which image quality adjustment is desired on the Web, and transmits the combination data to a data center or a server base. At this time, auxiliary information held by each camera at the time of factory shipment is also given and transmitted. In this case, a combination in which the target camera (Target) and the source camera (Src) are specified may be used.
  • Supplied information includes individual number and inter-individual variation information.
  • the auxiliary information includes individual number and variation information regarding image quality. For example, there may be a shift direction such as how the color reproducibility is shifted compared to the model average and the amount thereof, and the magnitude of noise compared to the model average.
  • auxiliary information including information sufficient to be used as an additional service after the fact.
  • the data center or server base holds additional information corresponding to auxiliary information transmitted by the user and forms inter-individual variation information by associating it with an individual number.
  • RAW image data obtained by photographing a chart at the time of factory shipment as additional information in a data center or a server base.
  • the data center and server base optimize the image quality parameter group of each camera using model combination information and auxiliary information (including individual variation information).
  • model combination information and auxiliary information including individual variation information.
  • auxiliary information including individual variation information
  • information stored in the data center or the server base in association with the individual number can be additionally used.
  • the optimization at the data center or server base may be executed by the user operating on the Web, but the user transmits the model combination information and auxiliary information to the data center or server base. Thus, optimization may be performed automatically.
  • the data center or server base transmits the optimum image quality parameter group of each camera to the user.
  • the user installs the optimum image quality parameter group of each camera received from the data center or server site as a special image quality parameter group in each camera.
  • the user can switch to the special mode to use the special image quality parameter group, and can shoot with the image quality of each camera close to each other.
  • auxiliary information including individual variation information in addition to model combination information is sent to the data center and server base, so that variation between individuals can be optimized. It is possible to use it for image quality matching.
  • the processing of the image quality evaluation systems 102 and 202, the image quality difference index calculators 103 and 203, and the image quality parameter automatic tuning systems 104 and 204 can be executed by hardware. However, it can also be executed by software. When a series of processing is executed by software, a program constituting the software is installed in the computer.
  • the computer includes a computer incorporated in dedicated hardware, a general-purpose personal computer capable of executing various functions by installing various programs, and the like.
  • a CPU (Central Processing Unit) 701 of the personal computer 700 performs various processes according to a program stored in a ROM (Read Only Memory) 702 or a program loaded from a storage unit 713 into a RAM (Random Access Memory) 703. Execute the process.
  • the RAM 703 also appropriately stores data necessary for the CPU 701 to execute various processes.
  • the CPU 701, the ROM 702, and the RAM 703 are connected to each other via a bus 704.
  • An input / output interface 710 is also connected to the bus 704.
  • the input / output interface 710 includes an input unit 711 including a keyboard and a mouse, a display including a CRT (Cathode Ray Tube) and an LCD (Liquid Crystal Display), an output unit 712 including a speaker, a hard disk, and the like.
  • a communication unit 714 including a storage unit 713 and a modem is connected. The communication unit 714 performs communication processing via a network including the Internet.
  • a drive 715 is also connected to the input / output interface 710 as necessary, and a removable medium 721 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory is appropriately attached, and a computer program read from them is loaded. It is installed in the storage unit 713 as necessary.
  • this technique can also take the following structures.
  • an image quality evaluation value acquisition unit that obtains a first image quality evaluation value based on the developed image data obtained by developing the captured image data;
  • An arithmetic unit comprising: an image quality parameter group acquisition unit that obtains an image quality parameter group in the development processing so that a difference between the first image quality evaluation value and a second image quality evaluation value serving as a reference decreases.
  • the second image quality evaluation value is obtained by developing the captured image data of the second camera of the same model or different model as the first camera for obtaining the captured image data.
  • the arithmetic unit according to (1) obtained on the basis of image data.
  • the image quality evaluation value acquisition unit may repeat the development image data by performing development processing based on the image quality parameter group that can be repeated by the image quality parameter group acquisition unit.
  • a procedure for obtaining a first image quality evaluation value based on the developed image data obtained by developing the captured image data A calculation method comprising a procedure of obtaining an image quality parameter group in the development processing so that a difference between the first image quality evaluation value and a reference second image quality evaluation value is reduced.
  • Image quality evaluation value acquisition means for obtaining a first image quality evaluation value based on the developed image data obtained by developing the captured image data A program that functions as an image quality parameter group acquisition unit that obtains an image quality parameter group in the development processing such that a difference between the first image quality evaluation value and a reference second image quality evaluation value decreases.
  • an image quality evaluation value acquisition unit that obtains a plurality of first image quality evaluation values based on a plurality of developed image data obtained by developing each of the plurality of captured image data; An image quality parameter group in the development processing is obtained so that a difference between each of the plurality of first image quality evaluation values and a second image quality evaluation value obtained based on the plurality of first image quality evaluation values is reduced.
  • An arithmetic device comprising an image quality parameter group acquisition unit. (9) The arithmetic unit according to (8), wherein the image quality parameter group acquisition unit obtains the image quality parameter group under a constraint condition that guarantees a constant image quality.
  • the arithmetic device according to (8) or (9), wherein the plurality of captured image data are captured image data of a plurality of cameras, all of which are the same model, or all or a part of different models.
  • (11) A procedure for obtaining a plurality of first image quality evaluation values based on a plurality of developed image data obtained by developing each of a plurality of captured image data, The development for the plurality of captured image data such that the difference between each of the plurality of first image quality evaluation values and the second image quality evaluation value obtained based on the plurality of first image quality evaluation values is reduced. And a procedure for obtaining an image quality parameter group in the processing.
  • the computer Image quality evaluation value acquisition means for obtaining a first image quality evaluation value based on the developed image data obtained by developing the captured image data; An image quality parameter group in the development processing is obtained so that a difference between each of the plurality of first image quality evaluation values and a second image quality evaluation value obtained based on the plurality of first image quality evaluation values is reduced.
  • a program that functions as an image quality parameter group acquisition means for obtaining a first image quality evaluation value based on the developed image data obtained by developing the captured image data;

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

カメラで撮像した撮像画像の画質を所定の画質に近づける。　撮像画像データに現像処理をして得られた現像画像データに基づいて第１の画質評価値を得る。この第１の画質評価値と基準となる第２の画質評価値との差分が減少するように現像処理における画質パラメータ群を得る。あるいは、複数の撮像画像データにそれぞれ現像処理をして得られた複数の現像画像データに基づいて複数の第１の画質評価値を得る。この複数の第１の画質評価値のそれぞれとこの複数の第１の画質評価値に基づいて得られた第２の画質評価値との差分が減少するように現像処理における画質パラメータ群を得る。

Description

演算装置、演算方法およびプログラム
　本技術は、演算装置、演算方法およびプログラムに関し、詳しくは、カメラで撮像した撮像画像の画質を所定の画質に合わせるための演算装置等に関する。
　カメラで撮像した撮像画像の画質を、例えば撮像に使ったカメラの機種とは異なる機種のカメラで撮像した場合の撮像画像の画質など、所定の画質に近づけることが求められることがある。撮像画像の画質の調整に関して、例えば、特許文献１には、幾何形状が定義済みのパターンをカメラで撮像した撮像画像と前記定義済みのパターンからなる基準画像との間の画素の対応関係に基づいて変換パラメータを算出するカメラ・キャリブレーション装置が示されている。
特開２０００－３５０２３９号公報
　本技術の目的は、カメラで撮像した撮像画像の画質を所定の画質に近づける画質パラメータ群を取得することができる演算装置、演算方法およびプログラムを提供することにある。
　本技術の概念は、
　撮像画像データに現像処理をして得られた現像画像データに基づいて第１の画質評価値を得る画質評価値取得部と、
　上記第１の画質評価値と基準となる第２の画質評価値との差分が減少するように上記現像処理における画質パラメータ群を得る画質パラメータ群取得部を備える
　演算装置にある。
　本技術において、画質評価値取得部により、撮像画像データに現像処理をして得られた現像画像データに基づいて第１の画質評価値が得られる。そして、画質パラメータ群取得部により、第１の画質評価値と基準となる第２の画質評価値との差分が減少するように現像処理における画質パラメータ群が得られる。例えば、第２の画質評価値は、撮像画像データを得るための第１のカメラと同一の機種または異なる機種の第２のカメラの撮像画像データに現像処理をして得られた現像画像データに基づいて得られる、ようにされてもよい。
　このように本技術においては、撮像画像データに現像処理をして得られた現像画像データに基づいて得られた第１の画質評価値と、基準となる第２の画質評価値との差分が減少するように現像処理における画質パラメータ群を得るものである。そのため、撮像画像データに現像処理をして得られた現像画像データの画質をターゲットの現像画像データの画質に近づけるための画質パラメータ群を得ることができ、カメラで撮像した撮像画像の画質を所定の画質に近づけることが可能となる。本技術においては、画質を評価する評価関数自体を最適化するのではなく、所定の評価値（第２の画質評価値）との差分を最適化することで、所定の画質に近づけることができるものである。
　また、本技術の他の概念は、
　複数の撮像画像データにそれぞれ現像処理をして得られた複数の現像画像データに基づいて複数の第１の画質評価値を得る画質評価値取得部と、
　上記複数の第１の画質評価値のそれぞれと該複数の第１の画質評価値に基づいて得られた第２の画質評価値との差分が減少するように上記現像処理における画質パラメータ群を得る画質パラメータ群取得部を備える
　演算装置にある。
　本技術において、画質評価値取得部により、複数の撮像画像データにそれぞれ現像処理をして得られた複数の現像画像データに基づいて複数の第１の画質評価値が得られる。そして、画質パラメータ群取得部により、複数の第１の画質評価値のそれぞれとこの複数の第１の画質評価値に基づいて得られた第２の画質評価値との差分が減少するように現像処理における画質パラメータ群が得られる。例えば、画質パラメータ群取得部は、一定の画質を担保する制約条件の下で画質パラメータ群を得る、ようにされてもよい。また、例えば、複数の撮像画像データは、全部が同一機種、あるいは全部または一部が異なる機種である複数のカメラの撮像画像データである、ようにされてもよい。
　このように本技術においては、複数の撮像画像データにそれぞれ現像処理をして得られた複数の現像画像データに基づいて得られた複数の第１の画質評価値と、この複数の第１の画質評価値に基づいて得られた第２の画質評価値との差分が減少するように現像処理における画質パラメータ群を得るものである。そのため、複数の撮像画像データにそれぞれ現像処理をして得られた複数の現像画像データの画質を近づけるための画質パラメータ群を得ることができ、カメラで撮像した撮像画像の画質を所定の画質に近づけることが可能となる。本技術においては、画質を評価する評価関数自体を最適化するのではなく、所定の評価値（第２の画質評価値）との差分を最適化することで、所定の画質に近づけることができるものである。
　本技術によれば、カメラで撮像した撮像画像の画質を所定の画質に近づけることができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
第１の実施の形態としてのカメラ画質調整システムの構成例を示すブロック図である。 機種間、個体間の画質合わせの様子を示す図である。 カメラの構成例を示すブロック図である。 現像処理部の構成例を示すブロック図である。 画質パラメータ群の最適化処理を説明するための図である。 画質パラメータ自動チューニングシステムにおける収束条件を説明するための図である。 第２の実施の形態としてのカメラ画質調整システムの構成例を示すブロック図である。 機種間、個体間の画質合わせの様子を示す図である。 画質パラメータ群の最適化処理を説明するための図である。 本技術を利用した第１のビジネスモデルを概略的に示す図である。 本技術を利用した第２のビジネスモデルを概略的に示す図である。 本技術を利用した第３のビジネスモデルを概略的に示す図である。 本技術を利用した第４のビジネスモデルを概略的に示す図である。 パーソナルコンピュータの構成例を示すブロック図である。
　以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
　１．第１の実施の形態
　２．第２の実施の形態
　３．ビジネスモデル
　４．変形例
　＜１．第１の実施の形態＞
　［カメラ画質調整システム］
　図１は、第１の実施の形態としてのカメラ画質調整システム１００の構成例を示している。このカメラ画質調整システム１００は、カメラ１０１と、画質評価システム１０２と、画質差分指標計算器１０３と、画質パラメータ自動チューニングシステム１０４を有している。このカメラ画質調整システム１００は、カメラ１０１から出力される現像画像の画質を、ターゲットカメラの現像画像の画質に近づけるためのシステムである。このシステムにより、カメラで撮像した撮像画像の画質を所定の画質に近づけることができる。例えば、複数のカメラを用いて撮影を行う場合、それぞれのカメラの画質が異なることで統一感のある作品を作成できないことがあるが、本技術により、複数のカメラ間の画質を合わせることができるため、そのような課題を解決できる。
　図２（ａ）は、機種間での画質合わせの様子を示している。図示の例では、ターゲットカメラ１０ｔの他に、ソースカメラ１０ｓ１，１０ｓ２が存在し、ソースカメラ１０ｓ１，１０ｓ２の画質をターゲットカメラ１０ｔの画質に近づけることを示している。ここで、カメラ１０ｔ，１０ｓ１，１０ｓ２は異なる機種のカメラであり、機種間ばらつきおよび個体間ばらつきを最小化できる。
　また、図２（ｂ）は、個体間での画質合わせの様子を示している。図示の例では、ターゲットカメラ２０ｔの他に、ソースカメラ２０ｓ１，２０ｓ２が存在し、ソースカメラ２０ｓ１，２０ｓ２の画質をターゲットカメラ２０ｔの画質に近づけることを示している。ここで、カメラ２０ｔ，２０ｓ１，２０ｓ２は同一機種のカメラであり、個体間ばらつきを最小化できる。なお、図２（ａ），（ｂ）の例では、ソースカメラが２つの場合を示しているが、ソースカメラが３つ以上の場合であっても同様である。
　図１に戻って、カメラ１０１は、図２におけるソースカメラに相当する。図３は、カメラ１０１の構成例を示している。このカメラ１０１は、画像入力部１１１と、画像保持部（メモリ）１１２と、現像処理部１１３と、現像パラメータ保持部（メモリ）１１４と、画像情報記録部１１５と、外部入出力制御部１１６と、ユーザ操作部１１７を有している。
　画像入力部１１１は、レンズやイメージャなどで構成されており、イメージャは撮像画像データとしてのＲＡＷ画像データを出力する。画像保持部１１２は、イメージャから出力されるＲＡＷ画像データを保持する。ここで、色再現性、解像度、ノイズ感などのそれぞれを評価するためのチャート（マクベスカラーチェッカー/ISO-12233解像度テストチャートなど）がイメージャにより撮像され、この各チャートのＲＡＷ画像データも画像保持部１１２に保持される。
　現像処理部１１３は、画像保持部１１２に保持されているＲＡＷ画像データに対して現像処理を行って現像画像データを出力する。画像保持部１１２は、現像処理部１１３から出力される現像画像データも保持する。現像パラメータ保持部１１４は、現像処理部１１３で用いられる現像画質パラメータ群を保持する。ここで、現像パラメータ保持部１１４は、通常モードで使用される固定画質パラメータ群を保持する他に、この実施の形態においては、特殊モードで他のカメラとの画質合わせを行う際に使用される特殊画質パラメータ群の保持が可能とされる。
　なお、画質合わせを行う他のカメラが複数存在することも予想されることから、現像パラメータ保持部１１４は、特殊画質パラメータ群の保持を１つだけでなく、複数保持することも可能とされる。その際には、それぞれの特殊画質パラメータ群は、画質合わせを行う他のカメラと機種名や型番号等で関連付けされて保持されることになる。
　図４は、現像処理部１１３の構成例を示している。この現像処理部１１３は、オフセット除去・ホワイトバランス部、ノイズリダクション部、ベイヤ補間処理部、色空間変換部、ガンマ処理部、ＲＧＢ/ＹＣＣ変換部、アンシャープ・マスク部、ＪＰＥＧ変換部等を有している。なお、図示の例においては、代表的な処理ブロックのみを示しているが、実際のカメラでは、この他にも非常に多くの処理ブロックが存在する。また、カメラによっては図示の例の処理ブロックの一部を使用しない場合もある。
　画質パラメータ（現像パラメータ）は、処理ブロックにおける処理に用いられるパラメータであり、現像画像データの色再現性、解像度、ノイズ感などに影響を与えるもので、現像画像データの画質を変化させる。この画質パラメータは、ほとんどの処理ブロックに対して存在し、カメラの特性やモードによって複雑に変化する。現像パラメータ保持部１１４はその全てを保持し、モードに応じて現像処理部１１３に渡す画質パラメータ群を切り替える。現像パラメータ保持部１１４は、固定で保持する固定画質パラメータ群の他に、外部入出力装置などを介して得られた特殊画質パラメータ群を別途追加で保持することができる。
　特殊画質パラメータ群は複数持つことも可能であり、自動チューニング処理においては、外部より渡された画質パラメータ群で現像を行い、その現像結果を外部装置に送ることで最適化処理が行われる。最適化された画質パラメータ群は現像パラメータ保持部１１４に特殊画質パラメータ群として保持され、ユーザが特殊モードを選んだ場合に使用される。なお、特殊モードを複数持つことも可能である。
　図３に戻って、画像情報記録部１１５は、リムーバブルメディアであるメモリスティックやＳＤカード等に、必要に応じて、画像保持部１１２に保持されているＲＡＷ画像データや現像画像データを記録する。また、画像情報記録部１１５は、リムーバブルメディアであるメモリスティックやＳＤカード等に、必要に応じて、現像パラメータ保持部１１４に保持されている画質パラメータ群を記録する。
　外部入出力制御部１１６は、画像保持部１１２にアクセスしてＲＡＷ画像データや現像画像データを読み出し、有線通信あるいは無線通信により、外部機器に送信する。また、外部入出力制御部１１６は、有線通信あるいは無線通信により、外部機器から特殊画質パラメータ群を受信し、現像パラメータ保持部１１４に書き込む。この場合、現像パラメータ保持部１１４に新たな特殊画質パラメータ群を書き込むことができ、また、既存の特殊画質パラメータ群に上書きすることで特殊画質パラメータ群の変更も可能である。
　ユーザ操作部１１７は、ボタンやタッチパネル等で構成されており、ユーザが種々の操作を行うことができる。例えば、ユーザは、現像処理部１１３の動作モードを通常モードとするか特殊モードとするかの操作を行うことができる。また、例えば、ユーザは、画像保持部１１２に保持されているＲＡＷ画像データや現像画像データを外部機器に送信するように操作することができる。また、例えば、ユーザは、外部機器からを受信し、現像パラメータ保持部１１４に書き込むように操作することができる。さらに、例えば、ユーザは、現像パラメータ保持部１１４に保持されている特殊画質パラメータ群を削除するように操作することができる。
　図１に戻って、ソースカメラであるカメラ１０１の画質をターゲットカメラの画質に合わせるための自動チューニング処理においては、画質評価システム１０２は、カメラ１０１から画質評価用の複数の現像画像データを受信する。そして、画質評価システム１０２は、この複数の現像画像データに基づいて色再現性、解像度、ノイズ感などのそれぞれの評価を行って画質評価値群を求める。
　画質差分指標計算器１０３は、画質評価システム１０２で求められた画質評価値群と基準となる画質評価値群との差分を示す画質差分指標を計算する。ここで、基準となる画質評価値群としては、ターゲットカメラについての画質評価値群が使用される。この場合、ターゲットカメラからの画質評価用の複数の現像画像データに基づいて色再現性、解像度、ノイズ感などのそれぞれの評価がされることでターゲットカメラについての画質評価値群が取得される。
　画質パラメータ自動チューニングシステム１０４は、遺伝的アルゴリズム(ＧＡ：Genetic Algorithms)、シミュレーテッド アニーリング(ＳＡ)などの非線形最適化アルゴリズムを用いて、画質差分指標計算器１０３で計算された画質差分指標に基づき、その差分が減少するように、カメラ１０１の現像処理部１１３における画質パラメータ群を算出する。画質パラメータ自動チューニングシステム１０４で求められる画質パラメータ群はカメラ１０１の現像処理部１１３に反映される。画質パラメータ自動チューニングシステム１０４は、ニューラルネットワークや、ディープラーニングなどを用いても良い。
　画質パラメータ自動チューニングシステム１０４は、新たな画質差分指標に基づいて画質パラメータ群を求めることを繰り返し、画質パラメータ群の最適化を行って、最適画質パラメータ群を算出する。最終的に、カメラ１０１は、画質パラメータ自動チューニングシステム１０４で算出された最適画質パラメータ群を、特殊画質パラメータ群として、現像パラメータ保持部１１４に保持し、画質をターゲットカメラに合わせる特殊モードにおいて使用する。
　上述した画質パラメータ群の最適化処理について、図５を参照して、さらに説明する。現像処理部１１３には、画質パラメータ群Ｐがセットされ、その状態で画質評価用の複数のＲＡＷ画像データに現像処理がされて画質評価用の複数の現像画像データが得られる。そして、この複数の現像画像データに基づいて画質評価システム１０２で色再現性、解像度、ノイズ感などのそれぞれの評価が行われて画質評価値群ｅが得られる。
　この画質評価値群ｅは画質差分指標計算器１０３に供給される。また、この画質差分指標計算器１０３には、画質評価指標重み係数ｗも供給される。この画質評価指標重み係数ｗは、重要度に応じてそれぞれの画質評価値に重みを付けるための係数である。例えば、解像度が重要であり、ノイズ感は重要でない場合には、解像度のｗは大きく、ノイズ感のｗは小さくされる。これにより、解像度を重視した画質差分の最小化を行うことができる。なお、ここでは、画質評価指標重み係数ｗを用いる例を示したが、この係数を用いない場合も考えられる。
　画質差分指標計算器１０３は、例えば、以下の数式（１）に基づいて、画質差分指標Ｑを算出する。この数式（１）において、“e_src(j)”は、ソースカメラの画質評価値群、つまり画像評価システム１０２で得られた画質評価値群ｅの要素を示しており、“e_target(j)”は、ターゲットカメラの画質評価値群の要素を示している。また、Ｍは画質評価値群の要素の個数を示している。なお、画質差分指標Ｑを求める数式は、数式（１）に限定されない。例えば、差分絶対値和を画質差分指標Ｑとすることも考えられる。
Figure JPOXMLDOC01-appb-M000001
　この画質差分指標Ｑは、画質パラメータ自動チューニングシステム１０４に供給される。また、この画質パラメータ自動チューニングシステム１０４には、画質パラメータ群Ｐも供給される。画質パラメータ自動チューニングシステム１０４は、Ｐ，Ｑに基づいて、次回の画質パラメータ群Ｐ´を算出する。画質パラメータ自動チューニングシステム１０４は、この処理を繰り返し、画質差分指標Ｑを最適化する画質パラメータ群Ｐを導出する。なお、画質パラメータ自動チューニングシステム１０４は、過去のＰ，Ｑを参照することもある。
　図６は、画質パラメータ自動チューニングシステム１０４における収束条件の一例を示している。収束条件としては、例えば、以下の（１）～（４）が考えられる。（１）繰り返し回数が一定回数を上回ったら終了とする。（２）画質差分指標Ｑの収束速度が指定値を下回った時点で終了とする。（３）画質差分指標Ｑが指定値を下回った時点で終了とする。また、（４）として、（１）～（３）の組み合わせも考えられる。例えば、例えば（３）に従って繰り返すものの、その場合は終了しない恐れもあるので、（１）の指定回数を越えた場合は（３）を満たさなくても強制的に終了するというものがある。その場合はどちらの条件で終了したかも情報として返す必要がある。
　以上説明したように、図１に示すカメラ画質調整システム１００においては、画質パラメータ自動チューニングシステム１０４で、カメラ１０１の画質評価値群とターゲットカメラの画質評価値群とから得られた画質差分指標を最適化する画質パラメータ群を得るものである。そのため、ソースカメラとしてのカメラ１０１の画質をターゲットカメラの画質に近づけるための画質パラメータを容易に得ることができる。
　なお、図１のカメラ画質調整システム１００においては、自動チューニング処理において、カメラ１０１が備える現像処理部１１３を用いる例を示した。詳細説明は省略するが、画質評価システム自体が現像処理部を備えおり、自動チューニング処理では、その現像処理部を用いて現像処理を行って画質パラメータ群の最適化処理を行うことも考えられる。この場合には、カメラ１０１から画質評価システム１０２には、画質評価用の複数のＲＡＷ画像データが供給される。
　また、図２（ａ）に示す機種間の場合、実運用では、全ての(または代表的な)組み合わせの最適化処理を事前に行っておき、ユーザ提供時にはその画質パラメータ群をそのまま提供することもできる。ただし、この方法の場合はカメラの機種間ばらつきは最小化できるものの、個体間ばらつきまでは最適化の対象とはならない。
　また、上述したように、ターゲットカメラの画質にその他のソースカメラの画質を合わせる手法の場合、ターゲットカメラの設定次第では、最適化の結果が思わしくない場合がある。例えばターゲットカメラが最新機種であり、他のソースカメラがどのような画質パラメータ群を取ろうともそのレベルに達することができない場合などがある。このような弊害を防ぐため、例えば、３つのカメラの画質を合わせる場合には、３つのカメラそれぞれをターゲットカメラにした最適化を行い、その中で最も良好な結果(Ｑが小さい)を得たターゲットカメラ設定を最終結果として用いる方法などが考えられる。
　＜２．第２の実施の形態＞
　［カメラ画質調整システム］
　図７は、第２の実施の形態としてのカメラ画質調整システム２００の構成例を示している。このカメラ画質調整システム２００は、カメラ２０１-1，２０１-2，２０１-3と、画質評価システム２０２と、画質差分指標計算器２０３と、画質パラメータ自動チューニングシステム２０４を有している。このカメラ画質調整システム２００は、カメラ２０１-1，２０１-2，２０１-3から出力される現像画像の画質を近づけるためのシステムである。このシステムにより、カメラで撮像した撮像画像の画質を所定の画質に近づけることができる。例えば、複数のカメラを用いて撮影を行う場合、それぞれのカメラの画質が異なることで統一感のある作品を作成できないことがあるが、本技術により、複数のカメラ間の画質を合わせることができるため、そのような課題を解決できる。
　カメラ画質調整システム２００では、特定のターゲットカメラを設定せず、相互に画質パラメータ群を変化させることで全体としての画質差分の最小化を行うものである。例えば、ターゲットカメラが最新機種で、他のどのカメラよりも画質が優れている場合、他のカメラはいくら画質パラメータ群を変化させてもターゲットカメラの画質を作ることはできない。カメラ画質調整システム２００では、全てのカメラの画質が「歩み寄る」ことから、画質差分の最適化度合は高まる。カメラ画質調整システム２００では、ターゲットカメラが設定される場合とは異なり、最適化をカメラ毎に行うのではなく、全てのカメラの画質パラメータ群の最適化が同時に行われる。
　図８（ａ）は、機種間での画質合わせの様子を示している。図示の例では、ソースカメラ３０ｓ１，３０ｓ２，３０ｓ３が存在し、これらソースカメラ３０ｓ１，３０ｓ２，３０ｓ３の画質を、制約条件Ｌの下で、近づけることを示している。ここで、ソースカメラ３０ｓ１，３０ｓ２，３０ｓ３は異なる機種のカメラであり、機種間ばらつきおよび個体間ばらつきを最小化できる。
　また、図８（ｂ）は、個体間での画質合わせの様子を示している。図示の例では、ソースカメラ４０ｓ１，４０ｓ２，４０ｓ３が存在し、これらソースカメラ４０ｓ１，４０ｓ２，４０ｓ３の画質を、制約条件Ｌの下で、近づけることを示している。ここで、カメラ４０ｓ１，４０ｓ２，４０ｓ３は同一機種のカメラであり、個体間ばらつきを最小化できる。なお、図８（ａ），（ｂ）の例では、ソースカメラが３つの場合を示しているが、ソースカメラが４つ以上の場合であっても同様である。
　図７に戻って、カメラ２０１-1，２０１-2，２０１-3は、図８における３つのソースカメラに相当する。詳細説明は省略するが、各カメラの構成は、上述の図１に示すカメラ１０１と同様である（図３参照）。
　カメラ２０１-1，２０１-2，２０１-3の画質を合わせるための自動チューニング処理においては、画質評価システム２０２は、カメラ２０１-1，２０１-2，２０１-3のそれぞれから、画質評価用の複数の現像画像データを受信する。そして、画質評価システム２０２は、カメラ毎に、画質評価用の複数の現像画像データに基づいて、色再現性、解像度、ノイズ感などのそれぞれの評価を行って画質評価値群を求める。
　画質差分指標計算器２０３は、画質評価システム２０２で求められた各カメラの画質評価値群と基準となる画質評価値群との差分を示す画質差分指標を計算する。ここで、基準となる画質評価値群は、各カメラの画質評価値群に基づいて得られる。例えば、それぞれの画質評価値毎に各カメラの画質評価値の平均値が求められ、基準の画質評価値とされる。
　画質パラメータ自動チューニングシステム２０４は、遺伝的アルゴリズム(ＧＡ：Genetic Algorithms)、シミュレーテッド アニーリング(ＳＡ)などの非線形最適化アルゴリズムを用いて、画質差分指標計算器２０３で計算された画質差分指標に基づき、その差分が減少するように、カメラ２０１-1，２０１-2，２０１-3のそれぞれにおける現像処理部１１３の画質パラメータ群を算出する。画質パラメータ自動チューニングシステム２０４で求められる各カメラの画質パラメータ群はカメラ２０１-1，２０１-2，２０１-3のそれぞれにおける現像処理部１１３に反映される。
　画質パラメータ自動チューニングシステム２０４は、新たな画質差分指標に基づいて各カメラの画質パラメータ群を求めることを繰り返し、各カメラの画質パラメータ群の最適化を行って、最適画質パラメータ群を算出する。最終的に、カメラ２０１-1，２０１-2，２０１-3は、画質パラメータ自動チューニングシステム２０４で算出された各カメラの最適画質パラメータ群を、特殊画質パラメータ群として、各カメラの現像パラメータ保持部１１４に保持し、画質合わせをする特殊モードにおいて使用する。
　なお、カメラ２０１-1，２０１-2，２０１-3の画質を合わせるための上述の自動チューニング処理は、一定の画質を担保する制約条件Ｌの下で行われる。このような制約条件Ｌがない場合、画質差分は小さくなるものの、そもそもの画質が保証されない可能性があるためである。例えば、画質パラメータが「画像を全て黒く塗りつぶす」ものであった場合、全ての画像は黒一色となるため、画質差分はない。そのため、画質差分指標は０となり、最高の結果となる。しかしながら、このような結果はユーザの期待に沿うものではない。制約条件Ｌは、一定の画質を担保するためのものであり、例えば「全ての画質評価値は指定値以上であること」などが考えられる。
　上述した画質パラメータ群の最適化処理について、図９を参照して、さらに説明する。各カメラの現像処理部１１３には、画質パラメータ群Ｐ１，Ｐ２，Ｐ３がセットされ、その状態で画質評価用の複数のＲＡＷ画像データに現像処理がされて画質評価用の複数の現像画像データが得られる。そして、カメラ毎に、画質評価用の複数の現像画像データに基づいて画質評価システム２０２で色再現性、解像度、ノイズ感などのそれぞれの評価が行われて画質評価値群ｅ１，ｅ２，ｅ３が得られる。
　これらの画質評価値群ｅ１，ｅ２，ｅ３は画質差分指標計算器２０３に供給される。また、この画質差分指標計算器２０３には、画質評価指標重み係数ｗも供給される。この画質評価指標重み係数ｗは、重要度に応じてそれぞれの画質評価値に重みを付けるための係数である。例えば、解像度が重要であり、ノイズ感は重要でない場合には、解像度のｗは大きく、ノイズ感のｗは小さくされる。これにより、解像度を重視した画質差分の最小化を行うことができる。なお、ここでは、画質評価指標重み係数ｗを用いる例を示したが、この係数を用いない場合も考えられる。
　画質差分指標計算器２０３は、例えば、以下の数式（２）に基づいて、画質差分指標Ｑを算出する。この数式（２）において、“e_src(i)(j)”は、ソースカメラ(i)の画質評価値群、つまり画像評価システム２０２で得られたソースカメラ(i)の画質評価値群ｅの要素を示しており、“eバー(j)”は、基準の画質評価値群の要素を示している。また、Ｍは画質評価値群の要素の個数を示している。また、Ｎはカメラの個数を示し、ここではＮ＝３である。なお、画質差分指標Ｑを求める数式は、数式（２）に限定されない。
Figure JPOXMLDOC01-appb-M000002
　この画質差分指標Ｑは、画質パラメータ自動チューニングシステム２０４に供給される。また、この画質パラメータ自動チューニングシステム２０４には、各カメラの画質パラメータ群Ｐ１，Ｐ２，Ｐ３も供給される。画質パラメータ自動チューニングシステム２０４は、Ｐ１，Ｐ２，Ｐ３，Ｑに基づいて、次回の画質パラメータ群Ｐ１´，Ｐ２´，Ｐ３´を算出する。画質パラメータ自動チューニングシステム２０４は、この処理を繰り返し、一定の画質を担保する制約条件Ｌの下、画質差分指標Ｑを最適化する画質パラメータＰ１，Ｐ２，Ｐ３を導出する。なお、画質パラメータ自動チューニングシステム２０４は、過去のＰ，Ｑを参照することもある。
　なお、画質パラメータ自動チューニングシステム２０４における収束条件に関しては、詳細説明は省略するが、上述の図１に示す画質パラメータ自動チューニングシステム１０４における収束条件と同様である（図６参照）。
　以上説明したように、図７に示すカメラ画質調整システム２００においては、画質パラメータ自動チューニングシステム２０４で、カメラ２０１-1，２０１-2，２０１-3の画質評価値群とこれらの画質評価値群に基づいて得られた基準の画質評価値群とから得られた画質差分指標を最適化する各カメラの画質パラメータ群を得るものである。そのため、カメラ２０１-1，２０１-2，２０１-3の画質を近づけるための画質パラメータを容易に得ることができる。
　なお、図７のカメラ画質調整システム２００においては、自動チューニング処理において、カメラ２０１-1，２０１-2，２０１-3が備える現像処理部１１３を用いる例を示した。詳細説明は省略するが、画質評価システム自体が現像処理部を備えおり、自動チューニング処理では、その現像処理部を用いて現像処理を行って画質パラメータ群の最適化処理を行うことも考えられる。この場合には、カメラ２０１-1，２０１-2，２０１-3から画質評価システム２０２には、画質評価用の複数のＲＡＷ画像データが供給される。
　また、図８（ａ）に示す機種間の場合、実運用では、全ての(または代表的な)組み合わせの最適化処理を事前に行っておき、ユーザ提供時にはその画質パラメータ群をそのまま提供することもできる。ただし、この方法の場合はカメラの機種間ばらつきは最小化できるものの、個体間ばらつきまでは最適化の対象とはならない。
　＜３．ビジネスモデル＞
　次に、本技術を利用した第１から第４のビジネスモデルについて説明する。
　「第１のビジネスモデル」
　図１０は、第１のビジネスモデルを概略的に示している。
　（１）ユーザは、画質合わせを希望するカメラ群をセンターに持ち込むか郵送する。この場合、ユーザは、ターゲットカメラ（Target）、ソースカメラ（Src）の別を指示することもできるが、指示しなくてもよい。
　（２）センターは、各カメラで色再現性、解像度、ノイズ感などのそれぞれを評価するためのチャート（マクベスカラーチェッカー/ISO-12233解像度テストチャートなど）を撮影して、画質調整のための複数のＲＡＷ画像データを得る。
　（３）センターは、カメラ毎の画質調整のための複数のＲＡＷ画像データに基づき、各カメラの画質パラメータ群の最適化をする。
　（４）センターは、最適化画質パラメータ群を特殊画質パラメータ群としてインストールした各カメラを、ユーザに送付する。
　（５）ユーザは、各カメラを特殊モードに切り替えることで特殊画質パラメータ群を利用した状態とすることができ、各カメラの画質を近づけた状態で撮影することが可能となる。
　この第１のビジネスモデルでは、センター側でチャート撮影および最適化を行うものであることから、個体間ばらつきも最適化可能なため、機種間/個体間の両方での画質合わせに利用することが可能である。
　「第２のビジネスモデル」
　図１１は、第２のビジネスモデルを概略的に示している。
　（１）ユーザは、画質合わせを希望するカメラ群の機種の組み合わせを、ウェブ（Ｗｅｂ）上で選択し、その組み合わせデータをデータセンターやサーバ拠点に送信する。この場合、ターゲットカメラ（Target）およびソースカメラ(Src)を特定した組み合わせであってもよい。
　（２）データセンターやサーバ拠点は、予め全てあるいは代表的な機種組み合わせにおける各カメラの最適画質パラメータ群を生成して保存しておく。データセンターやサーバ拠点は、ユーザから送られてくる組み合わせデータに合致する各カメラの最適画質パラメータ群を検索して抽出する。
　（３）データセンターやサーバ拠点は、各カメラの最適画質パラメータ群を、ユーザに、送信する。
　（４）ユーザは、データセンターやサーバ拠点から受信した各カメラの最適画質パラメータ群を、それぞれのカメラに特殊画質パラメータ群としてインストールする。
　（５）ユーザは、各カメラを特殊モードに切り替えることで特殊画質パラメータ群を利用した状態とすることができ、各カメラの画質を近づけた状態で撮影することが可能となる。
　この第２のビジネスモデルでは、ユーザのカメラ個体の情報がないため個体間ばらつきの最適化は不可能であり、機種間での画質合わせのみに利用することが可能である。
　「第３のビジネスモデル」
　図１２は、第３のビジネスモデルを概略的に示している。
　（１）ユーザは、画質合わせを希望するカメラ群の各カメラで市販のチャート（マクベスカラーチェッカー/ISO-12233解像度テストチャートなど）を撮影する。
　（２）ユーザは、ウェブ（Ｗｅｂ）で、各カメラで撮影されたＲＡＷ画像データを、データセンターやサーバ拠点に送信する。この場合、ユーザは、ターゲットカメラ（Target）、ソースカメラ（Src）の別を指示することもできるが、指示しなくてもよい。
　（３）ユーザは、ウェブ（Ｗｅｂ）上で操作して、データセンターやサーバ拠点において、カメラ毎の画質調整のための複数のＲＡＷ画像データに基づき、各カメラの画質パラメータ群の最適化を実行させる。この場合、ユーザは、最適化の実行を自覚する必要はなく、ユーザが各カメラのＲＡＷ画像データをデータセンターやサーバ拠点に送信することで、最適化が自動的に実行されてもよい。
　（４）データセンターやサーバ拠点は、各カメラの最適画質パラメータ群を、ユーザに、送信する。
　（５）ユーザは、データセンターやサーバ拠点から受信した各カメラの最適画質パラメータ群を、それぞれのカメラに特殊画質パラメータ群としてインストールする。
　（６）ユーザは、各カメラを特殊モードに切り替えることで特殊画質パラメータ群を利用した状態とすることができ、各カメラの画質を近づけた状態で撮影することが可能となる。
　この第３のビジネスモデルでは、ユーザのカメラ個体の情報があるため個体間ばらつきの最適化も可能であり、機種間/個体間の両方での画質合わせに利用することが可能である。
　なお、ウェブ（Ｗｅｂ）を用いて、逐次指定していく形でも良いが、専用アプリや専用Ｗｅｂアプリを用いって、（２）～（５）を自動で実行することもできる。また、上述では、チャートは市販のものを用いるとしているが、プロのユーザであれば所持またはレンタルしていることを想定している。また、チャートをＷｅｂ上でダウンロードし、印刷または画面表示したものを撮影することで代替することも可能であるが、ユーザが持つハード環境などに強く依存するため、精度のよい結果が得られない可能性がある。
　「第４のビジネスモデル」
　図１３は、第４のビジネスモデルを概略的に示している。
　（１）ユーザは、画質合わせを希望するカメラ群の機種の組み合わせを、ウェブ（Ｗｅｂ）上で選択し、その組み合わせデータをデータセンターやサーバ拠点に送信する。この際、各カメラが工場出荷時に保持している補助情報も付与して送信する。この場合、ターゲットカメラ（Target）およびソースカメラ(Src)を特定した組み合わせであってもよい。
　補助情報には個体番号や個体間ばらつき情報が含まれている。補助情報には個体番号の他、画質に関するばらつき情報などが含まれている。例えば、色再現性が機種平均に比べ、どのようにシフトしているかなどのシフト方向とその量、またノイズ量の機種平均に比べた大小などがあり得る。
　個体間ばらつきを出荷時に全て補正するのはコストの関係上難しい。そこで、事後に追加サービスとして用いるのに十分な情報を含む補助情報を出荷時にカメラに持たせることが想定される。なお、データセンターやサーバ拠点が、ユーザが送信する補助情報と対応する追加情報を保持し、個体番号と対応させることで個体間ばらつき情報を形成することも考えられる。工場出荷時にチャートを撮影して得られたＲＡＷ画像データをデータセンターやサーバ拠点に追加情報として置く方法もある。
　（２）データセンターやサーバ拠点は、機種組み合わせ情報および補助情報（固体ばらつき情報を含む）を用いて、各カメラの画質パラメータ群を最適化する。その際、補助情報を用いるので、個体間ばらつきの補正も同時に行うことができる。この時、個体番号と対応付けされてデータセンターやサーバ拠点が保持する情報を追加的に利用することもできる。なお、このデータセンターやサーバ拠点における最適化の実行は、ユーザがウェブ（Ｗｅｂ）上で操作して実行させてもよいが、ユーザが機種組み合わせ情報および補助情報をデータセンターやサーバ拠点に送信することで、最適化が自動的に実行されてもよい。
　（３）データセンターやサーバ拠点は、各カメラの最適画質パラメータ群を、ユーザに、送信する。
　（４）ユーザは、データセンターやサーバ拠点から受信した各カメラの最適画質パラメータ群を、それぞれのカメラに特殊画質パラメータ群としてインストールする。
　（５）ユーザは、各カメラを特殊モードに切り替えることで特殊画質パラメータ群を利用した状態とすることができ、各カメラの画質を近づけた状態で撮影することが可能となる。
　この第４のビジネスモデルでは、機種組み合わせ情報の他に固体ばらつき情報を含む補助情報をデータセンターやサーバ拠点に送信するため、個体間ばらつきの最適化も可能であり、機種間/個体間の両方での画質合わせに利用することが可能である。
　＜４．変形例＞
　なお、上述第１、第２の実施の形態において、画質評価システム１０２，２０２、画質差分指標計算器１０３，２０３および画質パラメータ自動チューニングシステム１０４，２０４の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどが含まれる。
　図１４において、パーソナルコンピュータ７００のＣＰＵ（Central Processing Unit）７０１は、ＲＯＭ（Read Only Memory）７０２に記憶されているプログラム、または記憶部７１３からＲＡＭ（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７０３にはまた、ＣＰＵ７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　ＣＰＵ７０１、ＲＯＭ７０２、およびＲＡＭ７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７１０も接続されている。
　入出力インタフェース７１０には、キーボード、マウスなどよりなる入力部７１１、ＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部７１２、ハードディスクなどより構成される記憶部７１３、モデムなどより構成される通信部７１４が接続されている。通信部７１４は、インターネットを含むネットワークを介しての通信処理を行う。
　入出力インタフェース７１０にはまた、必要に応じてドライブ７１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７１３にインストールされる。
　また、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本技術は、以下のような構成を取ることもできる。
　（１）撮像画像データに現像処理をして得られた現像画像データに基づいて第１の画質評価値を得る画質評価値取得部と、
　上記第１の画質評価値と基準となる第２の画質評価値との差分が減少するように上記現像処理における画質パラメータ群を得る画質パラメータ群取得部を備える
　演算装置。
　（２）上記第２の画質評価値は、上記撮像画像データを得るための第１のカメラと同一の機種または異なる機種の第２のカメラの撮像画像データに現像処理をして得られた現像画像データに基づいて得られる
　前記（１）に記載の演算装置。
　（３）上記画質評価値取得部は、上記画質パラメータ群取得部が繰り返し得る上記画質パラメータ群に基づいて現像処理することで、上記現像画像データを繰り返し得る
　前記（１）または（２）に記載の演算装置。
　（４）上記画質パラメータ群は、上記現像画像データの画質に影響を与えるパラメータである
　前記（１）から（３）のいずれかに記載の演算装置。
　（５）上記第１の画質評価値は、上記現像画像データの色再現性、解像度、ノイズ感を評価する評価値である
　前記（１）から（４）のいずれかに記載の演算装置。
　（６）撮像画像データに現像処理をして得られた現像画像データに基づいて第１の画質評価値を得る手順と、
　上記第１の画質評価値と基準となる第２の画質評価値との差分が減少するように上記現像処理における画質パラメータ群を得る手順を有する
　演算方法。
　（７）コンピュータを、
　撮像画像データに現像処理をして得られた現像画像データに基づいて第１の画質評価値を得る画質評価値取得手段と、
　上記第１の画質評価値と基準となる第２の画質評価値との差分が減少するような上記現像処理における画質パラメータ群を得る画質パラメータ群取得手段として機能させる
　プログラム。
　（８）複数の撮像画像データにそれぞれ現像処理をして得られた複数の現像画像データに基づいて複数の第１の画質評価値を得る画質評価値取得部と、
　上記複数の第１の画質評価値のそれぞれと該複数の第１の画質評価値に基づいて得られた第２の画質評価値との差分が減少するように上記現像処理における画質パラメータ群を得る画質パラメータ群取得部を備える
　演算装置。
　（９）上記画質パラメータ群取得部は、一定の画質を担保する制約条件の下で上記画質パラメータ群を得る
　前記（８）に記載の演算装置。
　（１０）上記複数の撮像画像データは、全部が同一機種、あるいは全部または一部が異なる機種である複数のカメラの撮像画像データである
　前記（８）または（９）に記載の演算装置。
　（１１）複数の撮像画像データにそれぞれ現像処理をして得られた複数の現像画像データに基づいて複数の第１の画質評価値を得る手順と、
　上記複数の第１の画質評価値のそれぞれと該複数の第１の画質評価値に基づいて得られた第２の画質評価値との差分が減少するような上記複数の撮像画像データに対する上記現像処理における画質パラメータ群を得る手順とを有する
　演算方法。
　（１２）コンピュータを、
　撮像画像データに現像処理をして得られた現像画像データに基づいて第１の画質評価値を得る画質評価値取得手段と、
　上記複数の第１の画質評価値のそれぞれと該複数の第１の画質評価値に基づいて得られた第２の画質評価値との差分が減少するように上記現像処理における画質パラメータ群を得る画質パラメータ群取得手段として機能させる
　プログラム。
　１００，２００・・・カメラ画質調整システム
　１０１，２０１-1，２０１－２，２０１－３・・・カメラ
　１０２，２０２・・・画質評価システム
　１０３，０２３・・・画質差分指標計算器
　１０４，２０４・・・画質パラメータ自動チューニングシステム
　１１１・・・画像入力部
　１１２・・・画像保持部（メモリ）
　１１３・・・現像処理部
　１１４・・・撮像パラメータ保持部（メモリ）
　１１５・・・画像情報記録部
　１１６・・・外部入出力制御部
　１１７・・・ユーザ操作部

Claims (12)

  1. 　撮像画像データに現像処理をして得られた現像画像データに基づいて第１の画質評価値を得る画質評価値取得部と、
    　上記第１の画質評価値と基準となる第２の画質評価値との差分が減少するように上記現像処理における画質パラメータ群を得る画質パラメータ群取得部を備える
    　演算装置。
  2. 　上記第２の画質評価値は、上記撮像画像データを得るための第１のカメラと同一の機種または異なる機種の第２のカメラの撮像画像データに現像処理をして得られた現像画像データに基づいて得られる
    　請求項１に記載の演算装置。
  3. 　上記画質評価値取得部は、上記画質パラメータ群取得部が繰り返し得る上記画質パラメータ群に基づいて現像処理することで、上記現像画像データを繰り返し得る
    　請求項１に記載の演算装置。
  4. 　上記画質パラメータ群は、上記現像画像データの画質に影響を与えるパラメータである
    　請求項１に記載の演算装置。
  5. 　上記第１の画質評価値は、上記現像画像データの色再現性、解像度、ノイズ感を評価する評価値である
    　請求項１に記載の演算装置。
  6. 　撮像画像データに現像処理をして得られた現像画像データに基づいて第１の画質評価値を得る手順と、
    　上記第１の画質評価値と基準となる第２の画質評価値との差分が減少するように上記現像処理における画質パラメータ群を得る手順を有する
    　演算方法。
  7. 　コンピュータを、
    　撮像画像データに現像処理をして得られた現像画像データに基づいて第１の画質評価値を得る画質評価値取得手段と、
    　上記第１の画質評価値と基準となる第２の画質評価値との差分が減少するような上記現像処理における画質パラメータ群を得る画質パラメータ群取得手段として機能させる
    　プログラム。
  8. 　複数の撮像画像データにそれぞれ現像処理をして得られた複数の現像画像データに基づいて複数の第１の画質評価値を得る画質評価値取得部と、
    　上記複数の第１の画質評価値のそれぞれと該複数の第１の画質評価値に基づいて得られた第２の画質評価値との差分が減少するように上記現像処理における画質パラメータ群を得る画質パラメータ群取得部を備える
    　演算装置。
  9. 　上記画質パラメータ群取得部は、一定の画質を担保する制約条件の下で上記画質パラメータ群を得る
    　請求項８に記載の演算装置。
  10. 　上記複数の撮像画像データは、全部が同一機種、あるいは全部または一部が異なる機種である複数のカメラの撮像画像データである
    　請求項８に記載の演算装置。
  11. 　複数の撮像画像データにそれぞれ現像処理をして得られた複数の現像画像データに基づいて複数の第１の画質評価値を得る手順と、
    　上記複数の第１の画質評価値のそれぞれと該複数の第１の画質評価値に基づいて得られた第２の画質評価値との差分が減少するような上記複数の撮像画像データに対する上記現像処理における画質パラメータ群を得る手順とを有する
    　演算方法。
  12. 　コンピュータを、
    　撮像画像データに現像処理をして得られた現像画像データに基づいて第１の画質評価値を得る画質評価値取得手段と、
    　上記複数の第１の画質評価値のそれぞれと該複数の第１の画質評価値に基づいて得られた第２の画質評価値との差分が減少するように上記現像処理における画質パラメータ群を得る画質パラメータ群取得手段として機能させる
    　プログラム。
PCT/JP2019/011394 2018-03-28 2019-03-19 演算装置、演算方法およびプログラム WO2019188573A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/982,582 US11381737B2 (en) 2018-03-28 2019-03-19 Arithmetic device and arithmetic method
JP2020510734A JP7363770B2 (ja) 2018-03-28 2019-03-19 演算装置、演算方法およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-063208 2018-03-28
JP2018063208 2018-03-28

Publications (1)

Publication Number Publication Date
WO2019188573A1 true WO2019188573A1 (ja) 2019-10-03

Family

ID=68061581

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/011394 WO2019188573A1 (ja) 2018-03-28 2019-03-19 演算装置、演算方法およびプログラム

Country Status (3)

Country Link
US (1) US11381737B2 (ja)
JP (1) JP7363770B2 (ja)
WO (1) WO2019188573A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112911131A (zh) * 2019-12-03 2021-06-04 杭州海康威视数字技术股份有限公司 画质调整方法及装置
WO2022016442A1 (zh) * 2020-07-23 2022-01-27 深圳传音控股股份有限公司 一种拍照方法、相关设备及计算机可读存储介质
JP7533055B2 (ja) 2020-09-15 2024-08-14 ソニーグループ株式会社 プログラム、情報処理装置および情報処理システム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022076239A (ja) * 2020-11-09 2022-05-19 キヤノン株式会社 画像処理装置および画像処理方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016046610A (ja) * 2014-08-21 2016-04-04 キヤノン株式会社 撮像装置
WO2017110192A1 (ja) * 2015-12-24 2017-06-29 ソニー株式会社 情報処理装置、情報処理方法、プログラムおよび情報処理システム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5835627A (en) * 1995-05-15 1998-11-10 Higgins; Eric W. System and method for automatically optimizing image quality and processing time
JP4453119B2 (ja) 1999-06-08 2010-04-21 ソニー株式会社 カメラ・キャリブレーション装置及び方法、画像処理装置及び方法、プログラム提供媒体、並びに、カメラ
US20020080143A1 (en) * 2000-11-08 2002-06-27 Morgan David L. Rendering non-interactive three-dimensional content
US7498961B2 (en) * 2004-09-14 2009-03-03 Hewlett-Packard Development Company, L.P. Context identification using a denoised signal
WO2008017076A2 (en) * 2006-08-03 2008-02-07 The Regents Of The University Of California Iterative methods for dose reduction and image enhancement in tomography
JP2013097463A (ja) * 2011-10-28 2013-05-20 Sony Corp 画像評価装置、画像評価方法、およびプログラム
US10055821B2 (en) * 2016-01-30 2018-08-21 John W. Glotzbach Device for and method of enhancing quality of an image
KR101753261B1 (ko) * 2016-03-21 2017-07-03 박은홍 촬영 시스템 및 그 영상품질 동기화 방법
US10057562B2 (en) * 2016-04-06 2018-08-21 Facebook, Inc. Generating intermediate views using optical flow
US10057499B1 (en) * 2017-02-21 2018-08-21 Motorola Mobility Llc Automatic exposure control convergence procedure by auxiliary camera
JP6588675B2 (ja) * 2017-03-10 2019-10-09 富士フイルム株式会社 画像処理システム、画像処理装置、画像処理方法及び画像処理プログラム
EP3430973A1 (en) * 2017-07-19 2019-01-23 Sony Corporation Mobile system and method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016046610A (ja) * 2014-08-21 2016-04-04 キヤノン株式会社 撮像装置
WO2017110192A1 (ja) * 2015-12-24 2017-06-29 ソニー株式会社 情報処理装置、情報処理方法、プログラムおよび情報処理システム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112911131A (zh) * 2019-12-03 2021-06-04 杭州海康威视数字技术股份有限公司 画质调整方法及装置
CN112911131B (zh) * 2019-12-03 2022-11-25 杭州海康威视数字技术股份有限公司 画质调整方法及装置
WO2022016442A1 (zh) * 2020-07-23 2022-01-27 深圳传音控股股份有限公司 一种拍照方法、相关设备及计算机可读存储介质
JP7533055B2 (ja) 2020-09-15 2024-08-14 ソニーグループ株式会社 プログラム、情報処理装置および情報処理システム

Also Published As

Publication number Publication date
US11381737B2 (en) 2022-07-05
US20210021757A1 (en) 2021-01-21
JPWO2019188573A1 (ja) 2021-04-01
JP7363770B2 (ja) 2023-10-18

Similar Documents

Publication Publication Date Title
WO2019188573A1 (ja) 演算装置、演算方法およびプログラム
US9270867B2 (en) Image compensation device, image processing apparatus and methods thereof
US11663707B2 (en) Method and system for image enhancement
CN103165098A (zh) 自动调整电子显示器设置的系统和方法
JPWO2008133195A1 (ja) 画質調整能力測定方法、装置およびプログラム、並びに画質調整方法、装置およびプログラム
CN112132172A (zh) 基于图像处理的模型训练方法、装置、设备和介质
JP7403995B2 (ja) 情報処理装置、制御方法およびプログラム
JP2018163444A (ja) 情報処理装置、情報処理方法及びプログラム
US11625816B2 (en) Learning device, image generation device, learning method, image generation method, and program
US20100238301A1 (en) Color controlling device, method of generating color controlling method, and method of generating color reproducing device
JP7192854B2 (ja) 演算装置、演算方法、プログラムおよび判別システム
WO2011033744A1 (ja) 画像処理装置、画像処理方法および画像処理用プログラム
JP7443030B2 (ja) 学習方法、プログラム、学習装置、および、学習済みウエイトの製造方法
JP2017147638A (ja) 映像投影システム、映像処理装置、映像処理プログラムおよび映像処理方法
US12079971B2 (en) Hand motion pattern modeling and motion blur synthesizing techniques
JP6818585B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
JP2015171039A (ja) 色処理装置およびその方法
US20230154046A1 (en) Image processing device, image processing method, and non-transitory computer-readable storage medium
CN117951975A (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
JP7512150B2 (ja) 情報処理装置、情報処理方法およびプログラム
CN116264056A (zh) 显示设备的亮度调整方法及装置、电子设备、存储介质
JP2021163319A (ja) 画像処理装置、画像処理方法及びプログラム
JP2010226368A (ja) 画像処理装置、画像処理方法、及びプログラム
CN118540449A (zh) 图像处理方法和终端设备
JP2023026343A (ja) 画像処理および画像合成における画像データおよび関連するノイズモデルの同時のかつ整合的な取り扱い

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19775433

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020510734

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19775433

Country of ref document: EP

Kind code of ref document: A1