WO2021144924A1 - 情報処理装置、情報処理方法、および情報処理プログラム - Google Patents

情報処理装置、情報処理方法、および情報処理プログラム Download PDF

Info

Publication number
WO2021144924A1
WO2021144924A1 PCT/JP2020/001302 JP2020001302W WO2021144924A1 WO 2021144924 A1 WO2021144924 A1 WO 2021144924A1 JP 2020001302 W JP2020001302 W JP 2020001302W WO 2021144924 A1 WO2021144924 A1 WO 2021144924A1
Authority
WO
WIPO (PCT)
Prior art keywords
main subject
weight
information processing
captured image
probability
Prior art date
Application number
PCT/JP2020/001302
Other languages
English (en)
French (fr)
Inventor
秀星 板垣
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to PCT/JP2020/001302 priority Critical patent/WO2021144924A1/ja
Publication of WO2021144924A1 publication Critical patent/WO2021144924A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene

Definitions

  • This disclosure relates to an information processing device, an information processing method, and an information processing program.
  • Cameras and video cameras have an automatic exposure (AE: Auto Exposure) function that determines the brightness of the subject and adjusts shooting parameters such as aperture and shutter speed to obtain an appropriate exposure.
  • AE Auto Exposure
  • the AE function is often provided in terminals equipped with a camera function such as mobile phones and smartphones.
  • a face AE function that can recognize a person's face and take a picture with an appropriate exposure to the face.
  • main subjects black and white subjects that users want to shoot with appropriate exposure
  • main subjects there are black and white subjects that users want to shoot with appropriate exposure
  • main subjects there is a range of light reflectance.
  • the main subject is emitting light. Therefore, if the difference in brightness between the main subject and other subjects exceeds the dynamic range of the camera, so-called overexposure or underexposure occurs for the subject in the excess portion.
  • this disclosure proposes an information processing device, an information processing method, and an information processing program capable of photographing a subject with an appropriate exposure.
  • a shooting unit that shoots a subject and converts it into digital data to generate a shot image
  • a subject included in a predetermined area for each predetermined area of the shot image are the main subjects that the photographer wants to shoot.
  • a calculation unit that calculates a certain probability and calculates the weight corresponding to the probability for each predetermined area based on the probability and the exposure weight for the captured image, and exposure compensation for the captured image based on the weight for each predetermined area.
  • An information processing apparatus is provided that includes an exposure compensation unit for performing the exposure.
  • the information processing apparatus captures a subject, converts it into digital data to generate a captured image, and the photographer captures a subject included in the predetermined region for each predetermined region of the captured image. Calculate the probability of being the main subject you want, calculate the weight corresponding to the probability for each predetermined area based on the probability and the exposure weight for the captured image, and adjust the exposure for the captured image based on the weight for each predetermined area.
  • a method is provided to perform the process of performing the process.
  • an information processing device captures a subject, converts it into digital data to generate a captured image, and the photographer captures a subject included in the predetermined region for each predetermined region of the captured image. Calculate the probability of being the main subject you want, calculate the weight corresponding to the probability for each predetermined area based on the probability and the exposure weight for the captured image, and adjust the exposure for the captured image based on the weight for each predetermined area.
  • a program is provided that executes the process of performing the above.
  • the information processing device 10 may be a digital camera or a digital video camera, or may be a mobile terminal such as a smartphone or a tablet PC (Personal Computer).
  • FIG. 1 is a block diagram showing a functional configuration example of the information processing device 10 according to the present embodiment.
  • the information processing apparatus 10 includes a storage unit 110, a photographing unit 120, a display unit 130, a calculation unit 140, an exposure compensation unit 150, a determination unit 160, a weight correction unit 170, and a sensor unit. It includes 180 and a control unit 200.
  • the storage unit 110 is a storage area for temporarily or permanently storing various programs and data.
  • the storage unit 110 may store programs and data for the information processing device 10 to execute various functions.
  • the storage unit 110 may store a program for executing a camera application, a learning model for determining a main subject, management data for managing various settings, and the like.
  • shooting parameters for example, various parameters for shooting such as focus and exposure
  • UI user interface
  • the photographing unit 120 captures a moving image or a photograph based on the control by the control unit 200.
  • the photographing unit 120 includes an image sensor, a focus ring, a zoom lens, and the like.
  • the moving image or photograph taken by the photographing unit 120 is converted into digital data and stored in the storage unit 110.
  • the moving image shot by the shooting unit 120 is stored together with the voice and the environmental sound collected during shooting by a voice input unit (not shown) such as a microphone.
  • the moving images taken by the shooting unit 120 and stored in the storage unit 110 include a moving image taken during recording and a moving image for previewing the subject on the display unit 130 or the like at a time other than recording. be.
  • the former moving image is displayed on the display unit 130, temporarily stored in the RAM (Random Access Memory), and then stored in the ROM (Read Only Memory).
  • the latter moving image is also temporarily stored in the RAM, but when the RAM capacity is full, the oldest ones are deleted and are not stored in the ROM.
  • the display unit 130 displays various visual information based on the control by the control unit 200.
  • the visual information is, for example, a UI of a camera application, a subject photographed by the photographing unit 120, or the like.
  • the display unit 130 includes various display devices such as a liquid crystal display (LCD: Liquid Crystal Display) device and an OLED (Organic Light Emitting Display) display device.
  • LCD Liquid Crystal Display
  • OLED Organic Light Emitting Display
  • the calculation unit 140 has a probability (main subject degree) that the subject included in the predetermined area is the main subject for each predetermined area of the image (captured image) of one frame of the moving image taken by the shooting unit 120. : For example, 0 to 1) is calculated.
  • the main subject is an object (object) that the photographer wants to shoot.
  • the main subject degree of the captured image with respect to the subject is determined by using a learning model in which a plurality of sets of an image of an object that can be the main subject and a mask image masking the main subject area are used as teacher data.
  • the exposure weight is calculated from the main subject degree by linear interpolation, and the exposure compensation for the captured image is performed based on the exposure weight.
  • the calculation unit 140 calculates the exposure weight corresponding to the main subject degree for each predetermined area of the photographed image by linear interpolation of the main subject degree and the exposure weight (exposure weight) for the photographed image.
  • calculation unit 140 calculates the average value of the brightness values of the pixels in each area as the brightness value of each area for each predetermined area of the captured image. Further, the calculation unit 140 calculates the average value of the luminance values for the main subject area and the other areas.
  • the exposure compensation unit 150 performs exposure compensation for the captured image based on the exposure weight for each predetermined region of the captured image calculated by the calculation unit 140. Further, when the exposure compensation unit 150 satisfies a predetermined condition and determines that the exposure compensation by the main subject metering is not appropriate, the exposure compensation unit 150 performs the exposure compensation by the center-weighted metering on the captured image.
  • the determination unit 160 determines a predetermined region in which the main subject degree is equal to or higher than a predetermined threshold value (for example, 0.7) as the main subject region.
  • a predetermined threshold value for example, 0.7
  • the weight correction unit 170 has a large luminance difference between the main subject area and the other areas, and when the exposure compensation by the main subject metering may cause overexposure or underexposure, the weight correction unit 170 of the main subject area. Correct the exposure weight. At this time, when the main subject area is bright (or dark), the weight correction unit 170 corrects so that the exposure weight of the main subject area is gradually weakened (or strengthened) depending on the magnitude of the brightness difference. That is, the weight correction unit 170 corrects so as to adjust (change) the exposure weight of the main subject area when the brightness difference between the main subject area and the other areas is a specific brightness difference.
  • the weight correction unit 170 corrects the exposure weight of the main subject area so as to gradually weaken due to the large number of high main subject areas described later. Further, the weight correction unit 170 can determine whether to adopt the exposure weight correction based on the brightness difference or the exposure weight correction based on the number of high main subject areas.
  • the sensor unit 180 measures the distance to the subject (also referred to as depth and depth information).
  • the sensor unit 180 includes, for example, a ToF (Time of Flight) sensor and the like.
  • the information processing device 10 may include a voice output unit that outputs various sounds and voices in addition to the above.
  • the sound output unit outputs, for example, a sound or sound according to the situation of the camera application based on the control by the control unit 200 (for example, a sound is produced at the start or end of shooting).
  • the audio output unit includes a speaker and an amplifier.
  • Control unit 200 The control unit 200 according to the present embodiment controls each configuration included in the information processing device 10. Further, the control unit 200 is characterized in that it controls camera shooting. Shooting control includes adjusting shooting parameters and operating the shutter, aperture, and the like included in the shooting unit 120 based on the shooting parameters. Details of the functions of the control unit 200 will be described later.
  • the functional configuration example of the information processing device 10 according to the present embodiment has been described above.
  • the above-mentioned functional configuration described with reference to FIG. 1 is merely an example, and the functional configuration of the information processing apparatus 10 according to the present embodiment is not limited to such an example.
  • the information processing device 10 does not necessarily have all of the configurations shown in FIG. 1, and each configuration such as the display unit 130 may be provided in another device different from the information processing device 10.
  • the functional configuration of the information processing apparatus 10 according to the present embodiment can be flexibly modified according to specifications and operations.
  • each component is read from a storage medium such as ROM or RAM in which an arithmetic unit such as a CPU (Central Processing Unit) stores a control program that describes a processing procedure for realizing these functions, and the control program is read out. It may be done by interpreting and executing the program. Therefore, it is possible to appropriately change the configuration to be used according to the technical level at each time when the present embodiment is implemented.
  • a storage medium such as ROM or RAM
  • an arithmetic unit such as a CPU (Central Processing Unit) stores a control program that describes a processing procedure for realizing these functions
  • the control program is read out. It may be done by interpreting and executing the program. Therefore, it is possible to appropriately change the configuration to be used according to the technical level at each time when the present embodiment is implemented.
  • An example of the hardware configuration of the information processing device 10 will be described later.
  • the control unit 200 of the information processing apparatus 10 according to the present embodiment calculates the main subject degree of the captured image with respect to the subject using the learning model, calculates the exposure weight from the main subject degree by linear interpolation, and is based on the exposure weight.
  • One of the features is to perform exposure compensation on the captured image.
  • the learning model of the present embodiment is a model for identifying a main subject portion in a captured image.
  • the learning model is a first element belonging to a layer other than the output layer, which is any of the input layer, the output layer, and the input layer to the output layer into which the captured image (or the feature amount of the captured image) is input.
  • a second element whose value is calculated based on the first element and the weight of the first element, and the captured image according to the captured image (or the feature amount of the captured image) input to the input layer.
  • the information processing device 10 is made to function so as to output data indicating a portion recognized as the main subject (for example, data indicating the degree of the main subject described later) from the output layer.
  • the generation device (for example, the information processing device 10 such as the server device) that generates the learning model of the present embodiment may generate the above-mentioned learning model using any learning algorithm.
  • the generation device may generate the learning model of the present embodiment by using a learning algorithm such as a neural network (NN: Neural Network), a support vector machine (SVM: Support Vector Machine), clustering, and reinforcement learning.
  • NN Neural Network
  • SVM Support Vector Machine
  • the generator uses NN to generate the learning model of the present embodiment.
  • the learning model may have an input layer containing one or more neurons, an intermediate layer containing one or more neurons, and an output layer containing one or more neurons.
  • the first element learning model contains corresponds to the input data such as x 1 and x 2 (x i).
  • the weight of the first component corresponds to the coefficients a i corresponding to x i.
  • the regression model can be regarded as a simple perceptron having an input layer and an output layer.
  • the first element corresponds to any node of the input layer
  • the second element can be regarded as the node of the output layer.
  • the learning model according to the present embodiment is realized by an NN having one or a plurality of intermediate layers such as a DNN (Deep Neural Network).
  • the first element included in the learning model corresponds to either the node of the input layer or the intermediate layer.
  • the second element corresponds to a node in the next stage, which is a node to which a value is transmitted from a node corresponding to the first element.
  • the weight of the first element corresponds to a connection coefficient which is a weight considered for the value transmitted from the node corresponding to the first element to the node corresponding to the second element.
  • the main subject degree is calculated using a learning model having an arbitrary structure such as the regression model and NN described above. More specifically, in the learning model, when a captured image is input, a coefficient is set so as to output the main subject degree for each predetermined area of the captured image.
  • the learning model according to the present embodiment may be a model generated based on the result obtained by repeating the input / output of data.
  • the learning model according to the present embodiment is a model (referred to as model X) that outputs the main subject degree for each predetermined area of the photographed image when the photographed image is input. rice field.
  • the learning model according to the present embodiment may be a model generated based on the result obtained by repeating the input / output of data to the model X.
  • the learning model according to the present embodiment may be a learning model (referred to as model Y) in which the captured image is input and the main subject degree output by the model X is output.
  • the learning model according to the present embodiment may be a learning model in which the captured image is input and the main subject degree output by the model Y is output.
  • FIG. 2 is a diagram showing an example of extraction of the main subject object according to the present embodiment.
  • the left side of FIG. 2 is a photographed image of a cat in a living room with a window overlooking the outside scenery.
  • the right side of FIG. 2 is an image of a cat, which is the main subject, extracted.
  • -A learning model is generated by extracting objects such as, etc., and training an image showing an object that can be the main subject and a mask image masking the main subject part.
  • an appropriate main subject can be determined from the captured moving image (image). Further, as the teacher data of the learning model, the depth of the subject acquired by the sensor unit 180 may be used. This makes it possible to generate a learning model that takes into account the distance to the subject. It is also possible to perform deep learning by RNN (Recurrent Neural Network) that inputs time-series data including captured images of past frames of captured moving images.
  • RNN Recurrent Neural Network
  • FIG. 3 is a diagram showing an example of generating a main subject MAP according to the present embodiment.
  • the main subject area is determined by calculating the main subject degree for each predetermined area of the captured image and generating the main subject MAP that maps each predetermined area and the main subject degree.
  • each predetermined area is determined, for example, by dividing the captured image into 9 vertical ⁇ 11 horizontal.
  • the number of regions to be divided is not limited to 9 in the vertical direction and 11 in the horizontal direction, and the number of pixels included in each region may be constant or different.
  • the number of pixels included in each region may be divided so as to be constant, and the pixels corresponding to the fractional number of pixels may be included in the region of the outer edge of the captured image.
  • the main subject degree is calculated using the learning model generated as described in FIG. 2, and the main subject MAP is generated.
  • the right side of FIG. 3 is an example of the generated main subject MAP.
  • the main subject degree (0 to 1) calculated for each area is shown in the main subject MAP.
  • the region including the “flower” in the captured image shows a high degree of main subject.
  • the regions having a high degree of main subject are concentrated in one place, but the regions having a high degree of main subject may be dispersed or absent depending on the captured image.
  • FIG. 4 is a diagram showing an example of linear interpolation between the main subject degree and the exposure weight according to the present embodiment.
  • the example of FIG. 4 shows linear interpolation between the main subject degree x and the exposure weight y, where the minimum weight value (y 0 ) is 25 and the maximum weight value (y 1) is 128.
  • the main subject degree can be calculated by using a learning model as described with reference to FIG. 3, with the minimum value (x 0 ) being 0 and the maximum value (x 1) being 1.
  • the linear interpolation of FIG. 4 can be expressed by the following equation (1).
  • y y 0 + (y 1- y 0 ) * (x-x 0 ) / (x 1- x 0 ) ... (1)
  • the exposure weight can be calculated from the main subject degree using the formula (1).
  • the exposure weight for each region can be calculated from the main subject degree for each region of the main subject MAP generated in FIG.
  • FIG. 5 is a diagram showing an example of conversion from the main subject MAP to the main subject metering MAP according to the present embodiment.
  • the exposure weight for each region can be calculated from each main subject degree of the main subject MAP on the left side of FIG. 5, and the main subject metering MAP can be obtained as shown on the right side of FIG.
  • the numerical value of each region of the main subject metering MAP is the exposure weight.
  • a predetermined threshold value for example, 0.7
  • FIG. 6 is a diagram showing another example of conversion from the main subject MAP to the main subject metering MAP according to the present embodiment.
  • the main subject degree and the exposure weight of the outer edge region are not calculated because it is considered that there will be almost no important subject in the outer edge region of the captured image.
  • a region vertical 7 ⁇ horizontal 9
  • overexposure or underexposure occurs when the brightness difference between the main subject area and the other areas is large. there is a possibility.
  • FIG. 7 is a diagram showing an example of comparison between the central priority AE and the main subject AE according to the present embodiment.
  • exposure compensation is performed by the center-weighted AE and the main subject AE for a captured image having a large luminance difference between the main subject region and the other regions.
  • the left side of FIG. 7 is an image corrected so as to give more exposure weight to the central region of the captured image (center-weighted AE).
  • the right side of FIG. 7 is an image corrected (main subject AE) so as to give more exposure weight to the main subject area by using the main subject metering MAP described with reference to FIGS. 5 and 6.
  • main subject metering MAP described with reference to FIGS. 5 and 6.
  • the signboard in the photographed image is determined to be the main subject, and the signboard portion has an exposure weight. Therefore, the signboard portion is clearly visible as compared with the one in the center-weighted AE. However, the background part other than the signboard is crushed black, which makes it difficult to see. In the example of FIG. 7, the case where the main subject is bright is shown, but when the main subject is dark, overexposure may occur.
  • FIG. 8 is a diagram showing an example of brightness MAP when the main subject according to the present embodiment is bright.
  • the left side of FIG. 8 shows that the main subject MAP was generated and the region where the main subject degree was equal to or higher than a predetermined threshold value (for example, 0.7) was determined as the main subject region (within the frame).
  • a predetermined threshold value for example, 0.7
  • the average value of the brightness values of each pixel is calculated for each area to generate a brightness MAP, and the average value of the brightness values is calculated for the main subject area and the other areas. be.
  • a predetermined threshold value for example, 0.7
  • the average value of the brightness values in the main subject area is 650.0, the average value of the brightness values in the other areas is 54.7, the main subject is bright, and the brightness difference is 11 times or more.
  • the luminance difference is three times or more, it is considered that the luminance difference is large, and the exposure weight of the main subject area can be corrected according to the magnitude of the luminance difference.
  • the average value of the brightness values in the main subject area is a part of each brightness value in the main subject area (for example, the top 30% of the brightness values). ) May be the average value.
  • the average value of the brightness values of the main subject region may be the top 1 luminance value of the main subject region.
  • FIG. 9 is a diagram showing an example of exposure weight correction when the main subject is bright with respect to the linear interpolation of the main subject degree and the exposure weight according to the present embodiment.
  • the left side of FIG. 9 is the basic form of linear interpolation shown in FIG.
  • the exposure weight of the main subject area (main subject degree is 0.7 or more) is corrected according to the magnitude of the brightness difference.
  • the luminance difference is less than 1 to 3 times, it is the same as the linear interpolation of the basic form, but when the luminance difference is 3 times or more, the main subject area depends on the magnitude of the luminance difference. Make corrections to gradually weaken the exposure weight of.
  • the upper limit of the exposure weight of the main subject degree is 76 when the luminance difference is 3 times, and is weakened to 25 when the luminance difference is 16 times.
  • three graphs of luminance difference of 3 times, 9 times, and 16 times are shown as an example of weakening the exposure weight, but there is a graph corresponding to each luminance difference between each luminance difference. ..
  • the graph of the main subject area is shown by a broken line to emphasize the difference due to the magnitude of the luminance difference, it is actually a straight line.
  • the difference in brightness for which exposure compensation is performed to be three times or more, the upper limit of the exposure weight of 76, and the like are merely examples, and the present invention is not limited thereto.
  • the exposure weight may be corrected when the brightness difference is 4 times or more, and the upper limit of the exposure weight can be arbitrarily adjusted.
  • FIG. 10 is a diagram showing an example of brightness MAP when the main subject according to the present embodiment is dark.
  • FIG. 10 shows the luminance MAP when the main subject is dark, as opposed to FIG. 8 when the main subject is bright.
  • the main subject MAP and the brightness MAP are generated, and the average value of the brightness values is calculated for the main subject area (within the frame) and the other areas.
  • the average value of the brightness values in the main subject area is 60.0
  • the average value of the brightness values in the other areas is 390.0
  • the main subject is dark
  • the brightness difference is 6 times or more.
  • FIG. 11 is a diagram showing an example of exposure weight correction when the main subject is dark with respect to the linear interpolation of the main subject degree and the exposure weight according to the present embodiment. Similar to FIG. 9, the left side of FIG. 11 is also the basic form of linear interpolation shown in FIG. On the other hand, on the right side of FIG. 11, the exposure weight of the main subject area (main subject degree is 0.7 or more) is corrected according to the magnitude of the brightness difference. As shown on the right side of FIG. 11, when the brightness difference is 2 times or more, it is the same as the linear interpolation of the basic form, but when the brightness difference is 1 to 2 times, the main subject area depends on the magnitude of the brightness difference. Make corrections to gradually increase the exposure weight. As in FIG. 9, FIG. 9, FIG.
  • the present invention is not limited to these.
  • FIG. 12 is a diagram showing another example of exposure weight correction when the main subject is bright with respect to the linear interpolation of the main subject degree and the exposure weight according to the present embodiment.
  • the left side of FIG. 12 is also the basic form of linear interpolation shown in FIG.
  • the exposure weight of the main subject area (main subject degree is 0.7 or more) is corrected by the large number of high main subject areas.
  • the number of high main subject areas is 6 or less, it is the same as the linear interpolation of the basic form, but when the number of high main subject areas is 7 or more, the number of high main subject areas is high. Correction is performed to gradually weaken the exposure weight of the main subject area depending on the number of. Further, when the number of high main subject areas is 24 or more, exposure compensation may be performed by center-weighted metering.
  • the reference number (6 to 24) of the number of high main subject areas shown in FIG. 12 is the number when the area is divided into 9 vertical ⁇ 11 horizontal regions as shown in FIG. 3, and can be arbitrarily changed. .. Further, in FIG. 12, as in FIG.
  • the correction based on the brightness difference and the number of high main subject areas are used.
  • the correction was explained.
  • the one in which the correction amount of the exposure weight is small and the exposure weight is light can be adopted.
  • FIG. 13 is a flowchart showing the flow of the main subject AE processing according to the present embodiment. This process is started, for example, by the information processing device 10 temporarily storing the moving image of the subject in the RAM, calculating the main subject degree, calculating the exposure weight from the main subject degree by linear interpolation, and then calculating the exposure weight. This is a process of performing exposure compensation on a captured image based on the exposure weight.
  • the calculation unit 140 of the information processing device 10 calculates the main subject degree for each predetermined area of one frame image (captured image) of the moving image captured by the photographing unit 120 (step). S101).
  • the predetermined area is determined by dividing the captured image into a predetermined number of divisions (for example, 9 vertical ⁇ 11 horizontal).
  • the calculation unit 140 calculates the exposure weight for each predetermined area corresponding to the main subject degree for each predetermined area by linear interpolation between the main subject degree and the exposure weight (step S102).
  • the determination unit 160 of the information processing device 10 determines a predetermined region in which the main subject degree calculated in step S101 is equal to or greater than a predetermined threshold value as the main subject region (step S103). At this time, the captured image may not include an object that can be the main subject, and there may be no main subject area.
  • step S104 When there is no main subject area (step S104: No), the exposure compensation unit 150 of the information processing device 10 executes exposure compensation by center-weighted metering (step S105). After step S105, this process ends.
  • step S104 when there is a main subject region (step S104: Yes), the calculation unit 140 calculates the average value of the brightness values of the pixels in each region as the brightness value of each region for each predetermined region of the captured image (step S104: Yes). Step S106). In addition, the calculation unit 140 calculates the average value of the brightness values for the main subject area and the other areas.
  • step S107: No the exposure compensation unit 150 determines the exposure weight for each predetermined region calculated in step S102. Is used to perform exposure compensation on the captured image (step S108). After step S108, this process ends.
  • a predetermined threshold value for example, 3 times
  • step S107 when the brightness difference between the main subject area and the other areas is equal to or greater than a predetermined threshold value (step S107: Yes), the average value of the brightness values of the main subject area is the average of the brightness values of the other areas. Whether or not it is higher than the value is determined (step S109).
  • the weight correction unit 170 determines the exposure weight of the main subject area depending on the magnitude of the brightness difference. Is corrected so as to gradually increase (step S110).
  • the exposure compensation unit 150 executes exposure compensation for the captured image using the exposure weight for each predetermined area corrected in step S110 (step S111). After step S111, this process ends.
  • step S109 when the average value of the brightness values of the main subject area is higher than the average value of the brightness values of the other areas (step S109: Yes), the weight correction unit 170 determines the main subject area depending on the magnitude of the brightness difference. The exposure weight is corrected so as to be gradually weakened (step S112).
  • step S113 when the number of high main subject areas (for example, the number of areas having a main subject degree of 0.99 or more) is a predetermined number (for example, 24) or more (step S113: Yes), the exposure compensation unit 150 is the central portion. Exposure compensation by focused metering is executed (step S105).
  • step S113 when the number of high main subject areas is less than a predetermined number (step S113: No), the weight correction unit 170 corrects the exposure weight of the main subject area so as to gradually weaken due to the large number of high main subject areas. (Step S114).
  • the weight correction unit 170 determines whether to adopt the correction of the exposure weight due to the brightness difference in step S112 or the correction of the exposure weight due to the number of high main subject areas in step S114 (step S115). For this, for example, the one in which the correction amount of the exposure weight is small and the exposure weight is light can be adopted.
  • the exposure compensation unit 150 executes exposure compensation for the captured image using the exposure weight for each predetermined area adopted in step S115 (step S116). After step S116, this process ends.
  • FIG. 14 is a block diagram showing a hardware configuration example of the information processing device 10 according to the present embodiment.
  • the information processing device 10 includes, for example, a processor 411, a ROM 412, a RAM 413, a host bus 414, a bridge 415, an external bus 416, an interface 417, an input device 418, and an output device 419. It has a storage 420, a drive 421, a connection port 422, and a communication device 423.
  • the hardware configuration shown here is an example, and some of the components may be omitted. Further, components other than the components shown here may be further included.
  • the processor 411 functions as, for example, an arithmetic processing unit or a control device, and controls all or a part of the operation of each component based on various programs recorded in the ROM 412, the RAM 413, the storage 420, or the removable recording medium 20. ..
  • the ROM 412 is a means for storing a program read into the processor 411, data used for calculation, and the like.
  • the RAM 413 temporarily or permanently stores, for example, a program read into the processor 411 and various parameters that change as appropriate when the program is executed.
  • the processor 411, ROM 412, and RAM 413 are connected to each other via, for example, a host bus 414 capable of high-speed data transmission.
  • the host bus 414 is connected to the external bus 416, which has a relatively low data transmission speed, via, for example, a bridge 415.
  • the external bus 416 is connected to various components via the interface 417.
  • Input device 4108 For the input device 418, for example, a mouse, a keyboard, a touch panel, buttons, switches, levers, and the like are used. Further, as the input device 418, a remote controller (hereinafter referred to as a remote controller) capable of transmitting a control signal using infrared rays or other radio waves may be used. Further, the input device 418 includes a voice input device such as a microphone.
  • the output device 419 provides the user with acquired information such as a display device such as a CRT (Cathode Ray Tube), an LCD, or an organic EL, an audio output device such as a speaker or headphones, a printer, a mobile phone, or a facsimile. It is a device that can notify visually or audibly. Further, the output device 419 according to the present embodiment includes various vibration devices capable of outputting tactile stimuli.
  • the storage 420 is a device for storing various types of data.
  • a magnetic storage device such as a hard disk drive (HDD), a semiconductor storage device, an optical storage device, an optical magnetic storage device, or the like is used.
  • the drive 421 is a device that reads information recorded on a removable recording medium 20 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, or writes information to the removable recording medium 20.
  • a removable recording medium 20 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory
  • the removable recording medium 20 is, for example, a DVD medium, a Blu-ray (registered trademark) medium, an HD DVD medium, various semiconductor storage media, and the like.
  • the removable recording medium 20 may be, for example, an IC card equipped with a non-contact type IC chip, an electronic device, or the like.
  • connection port 422 is, for example, a port for connecting an external connection device 30 such as a USB (Universal Serial Bus) port, an IEEE1394 port, a SCSI (SCSI Computer System Interface), an RS-232C port, or an optical audio terminal.
  • an external connection device 30 such as a USB (Universal Serial Bus) port, an IEEE1394 port, a SCSI (SCSI Computer System Interface), an RS-232C port, or an optical audio terminal.
  • the externally connected device 30 is, for example, a printer, a portable music player, a digital camera, a digital video camera, an IC recorder, or the like.
  • the communication device 423 is a communication device for connecting to a network, for example, a communication card for wired or wireless LAN, Bluetooth (registered trademark), or WUSB (Wireless USB), a router for optical communication, and ADSL (Asymmetric Digital). A router for Subscriber Line), a modem for various communications, and the like.
  • the information processing apparatus 10 has a photographing unit 120 that photographs a subject and converts it into digital data to generate a captured image, and the subject included in the predetermined region for each predetermined region of the captured image.
  • the calculation unit 140 calculates the probability that the photographer is the main subject to be photographed, and calculates the weight corresponding to the probability for each predetermined area based on the probability and the exposure weight for the captured image. It is provided with an exposure compensation unit 150 that performs exposure compensation on the captured image based on the weight of each predetermined region.
  • the present technology can also have the following configurations.
  • a shooting unit that shoots a subject and converts it into digital data to generate a shot image. For each predetermined region of the captured image, the probability that the subject included in the predetermined region is the main subject that the photographer wants to capture is calculated, and the predetermined region is based on the probability and the weight of exposure to the captured image.
  • a calculation unit that calculates the weight corresponding to the probability for each region,
  • An information processing device including an exposure compensation unit that performs exposure compensation on a captured image based on the weight of each predetermined region.
  • a determination unit that determines the predetermined region whose probability exceeds the first threshold value as the main subject region, and When the brightness difference between the first average value of the first brightness value of the main subject area and the second average value of the second brightness value of the area other than the main subject area is equal to or larger than the second threshold value.
  • the information processing apparatus according to (1) further comprising a weight correction unit for correcting the weight of the main subject area.
  • the weight correction unit corrects the weight of the main subject area by adjusting the weight of the main subject area to a large difference in brightness.
  • the first average value used by the weight correction unit is an average value of the upper 30% of the first luminance values.
  • the first average value used by the weight correction unit is the uppermost one-ranked luminance value of the first luminance value.
  • the information processing device described in. (6) When the first average value is lower than the second average value, the weight correction unit corrects the weight of the main subject area by adjusting the weight of the main subject area to the magnitude of the brightness difference.
  • the information processing apparatus according to (2) above which is corrected so as to be changed by.
  • the information processing apparatus according to (2) above which is corrected so as to be gradually weakened by a large number of.
  • the weight correction of the main subject area by the weight correction unit is not performed when the number of the main subject areas whose probability exceeds the third threshold value is equal to or more than a predetermined number, and the exposure compensation unit does not perform the correction. Further, the information processing apparatus according to (7) above, which performs exposure compensation for the captured image by center-weighted metering.
  • the exposure compensation unit performs exposure compensation by center-weighted metering on the captured image.
  • the information processing apparatus according to any one of (2) to (8) above.
  • the calculation of the probability by the calculation unit is described in any one of (1) to (10) above, which is calculated using a learning model in which the captured image is input and the probability is output. Information processing device.
  • the information processing device Take a picture of the subject, convert it to digital data and generate a shot image, For each predetermined region of the captured image, the probability that the subject included in the predetermined region is the main subject that the photographer wants to capture is calculated, and the predetermined region is based on the probability and the weight of exposure to the captured image. The weight corresponding to the probability is calculated for each region, and the weight is calculated. A method of executing a process of performing exposure compensation on a captured image based on the weight of each predetermined area.
  • Information processing device 110 Storage unit 120 Imaging unit 130 Display unit 140 Calculation unit 150 Exposure compensation unit 160 Determination unit 170 Weight compensation unit 180 Sensor unit 200 Control unit

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

被写体を撮影し、デジタルデータに変換して撮影画像を生成する撮影部と、撮影画像の所定領域ごとに、所定領域に含まれる被写が、撮影者が撮影したい主要被写体である確率を算出し、確率と撮影画像に対する露出の重みとの線形補間により、所定領域ごとに確率に対応する重みを算出する算出部と、所定領域ごとの重みに基づいて、撮影画像に対する露出補正を行う露出補正部とを備えた、情報処理装置が提供される。これにより、被写体を適切な露出で撮影することができる。

Description

情報処理装置、情報処理方法、および情報処理プログラム
　本開示は、情報処理装置、情報処理方法、および情報処理プログラムに関する。
　カメラやビデオカメラなどにおいて、被写体の明るさを判断し、絞りやシャッタースピードなどの撮影パラメータを調整することで適切な露光を得る自動露出（ＡＥ：Ａｕｔｏ　Ｅｘｐｏｓｕｒｅ）機能がある。ＡＥ機能は、携帯電話やスマートフォンなどカメラ機能を搭載した端末にも備わっている場合が多い。また、人物の顔を認識し、顔に対して適切な露出で撮影を行うことができる顔ＡＥ機能がある。
特開２０１７－００５７３８号公報
　しかしながら、ユーザが適切な露出で撮影したいと考えている被写体（以下、「主要被写体」という）には黒いものや白いものがあり、光の反射率に幅がある。また、主要被写体が発光している場合もある。そのため、このような主要被写体とその他の被写体との輝度の差がカメラのダイナミックレンジを超えてしまうと、超えた部分の被写体に対し、いわゆる、白飛びや黒潰れが発生してしまう。
　そこで、本開示では、被写体を適切な露出で撮影することができる情報処理装置、情報処理方法、および情報処理プログラムを提案する。
　本開示によれば、被写体を撮影し、デジタルデータに変換して撮影画像を生成する撮影部と、撮影画像の所定領域ごとに、所定領域に含まれる被写体が、撮影者が撮影したい主要被写体である確率を算出し、確率と撮影画像に対する露出の重みとに基づいて、所定領域ごとに確率に対応する重みを算出する算出部と、所定領域ごとの重みに基づいて、撮影画像に対する露出補正を行う露出補正部とを備えた、情報処理装置が提供される。
　また、本開示によれば、情報処理装置が、被写体を撮影し、デジタルデータに変換して撮影画像を生成し、撮影画像の所定領域ごとに、所定領域に含まれる被写体が、撮影者が撮影したい主要被写体である確率を算出し、確率と撮影画像に対する露出の重みとに基づいて、所定領域ごとに確率に対応する重みを算出し、所定領域ごとの重みに基づいて、撮影画像に対する露出補正を行う処理を実行する、方法が提供される。
　また、本開示によれば、情報処理装置に、被写体を撮影し、デジタルデータに変換して撮影画像を生成し、撮影画像の所定領域ごとに、所定領域に含まれる被写体が、撮影者が撮影したい主要被写体である確率を算出し、確率と撮影画像に対する露出の重みとに基づいて、所定領域ごとに確率に対応する重みを算出し、所定領域ごとの重みに基づいて、撮影画像に対する露出補正を行う処理を実行させる、プログラムが提供される。
本実施形態に係る情報処理装置１０の機能構成例を示すブロック図である。 同実施形態に係る主要被写体オブジェクトの抽出の一例を示す図である。 同実施形態に係る主要被写体ＭＡＰ生成の一例を示す図である。 同実施形態に係る主要被写体度と露出重みとの線形補間の一例を示す図である。 同実施形態に係る主要被写体ＭＡＰから主要被写体測光ＭＡＰへの変換の一例を示す図である。 同実施形態に係る主要被写体ＭＡＰから主要被写体測光ＭＡＰへの変換の別例を示す図である。 同実施形態に係る中央部重点ＡＥと主要被写体ＡＥとの比較の一例を示す図である。 同実施形態に係る主要被写体が明るい場合の輝度ＭＡＰの一例を示す図である。 同実施形態に係る主要被写体度と露出重みとの線形補間に対する主要被写体が明るい場合の露出重み補正の一例を示す図である。 同実施形態に係る主要被写体が暗い場合の輝度ＭＡＰの一例を示す図である。 同実施形態に係る主要被写体度と露出重みとの線形補間に対する主要被写体が暗い場合の露出重み補正の一例を示す図である。 同実施形態に係る主要被写体度と露出重みとの線形補間に対する主要被写体が明るい場合の露出重み補正の別例を示す図である。 同実施形態に係る主要被写体ＡＥ処理の流れを示すフローチャートである。 同実施形態に係る情報処理装置１０のハードウェア構成例を示すブロック図である。
　以下に、本実施形態について図面に基づいて詳細に説明する。なお、本明細書および図面において、実質的に同一の部位には、同一の符号を付することにより重複する説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．実施形態
　　１．１．機能構成例
　　１．２．機能の詳細
　　１．３．機能の流れ
　２．ハードウェア構成例
　３．まとめ
＜１．実施形態＞
＜＜１．１．機能構成例＞＞
　まず、本実施形態に係る情報処理装置１０の機能構成例について説明する。情報処理装置１０は、デジタルカメラやデジタルビデオカメラであってもよいし、スマートフォンやタブレットＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）などのモバイル端末であってもよい。
　図１は、本実施形態に係る情報処理装置１０の機能構成例を示すブロック図である。図１に示すように、本実施形態に係る情報処理装置１０は、記憶部１１０、撮影部１２０、表示部１３０、算出部１４０、露出補正部１５０、決定部１６０、重み補正部１７０、センサ部１８０、制御部２００を備える。
（記憶部１１０）
　本実施形態に係る記憶部１１０は、各種プログラムやデータを一時的または恒常的に記憶するための記憶領域である。例えば、記憶部１１０には、情報処理装置１０が各種機能を実行するためのプログラムやデータが記憶されてもよい。具体的な一例として、記憶部１１０には、カメラアプリケーションを実行するためのプログラムや、主要被写体を決定するための学習モデル、各種設定などを管理するための管理データなどが記憶されてよい。また、カメラアプリケーションのユーザインタフェース（ＵＩ）を介してユーザによって入力された撮影パラメータ（例えば、フォーカスや露光など、撮影のための各種パラメータ）などが記憶されてよい。もちろん、上記はあくまで一例であり、記憶部１１０に記憶されるデータの種別は特に限定されない。
（撮影部１２０）
　本実施形態に係る撮影部１２０は、制御部２００による制御に基づいて動画や写真の撮影を行う。撮影部１２０は、撮像素子、フォーカスリングやズームレンズなどを備える。撮影部１２０によって撮影された動画や写真はデジタルデータに変換され、記憶部１１０に記憶される。なお、撮影部１２０によって撮影される動画は、マイクロフォンなど音声入力部（図示せず）によって撮影中に収集される音声や環境音と共に記憶される。また、撮影部１２０によって撮影され、記憶部１１０に記憶される動画には、録画中に撮影される動画と、録画中以外の時に、表示部１３０などに被写体をプレビュー表示するための動画とがある。前者の動画は、表示部１３０に表示されるとともにＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）に一時的に記憶された後、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）に記憶される。後者の動画もＲＡＭに一時的に記憶されるが、ＲＡＭの容量がいっぱいになったら古いものから削除されていき、ＲＯＭには記憶されない。
（表示部１３０）
　本実施形態に係る表示部１３０は、制御部２００による制御に基づいて各種の視覚情報を表示する。視覚情報とは、例えば、カメラアプリケーションのＵＩや、撮影部１２０によって撮影される被写体などである。このために、表示部１３０は、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）ディスプレイ装置など、各種のディスプレイ装置を備える。
（算出部１４０）
　本実施形態に係る算出部１４０は、撮影部１２０によって撮影された動画の１フレームの画像（撮影画像）の所定領域ごとに、当該所定領域に含まれる被写体が主要被写体である確率（主要被写体度：例えば、０～１）を算出する。ここで、主要被写体とは、撮影者が撮影したい物体（オブジェクト）である。本実施形態では、例えば、主要被写体になり得る物体を撮影した画像と主要被写体領域をマスクしたマスク画像とのセットの複数を教師データとする学習モデルを用いて撮影画像の被写体に対する主要被写体度を算出し、線形補間により主要被写体度から露出重みを算出し、当該露出重みに基づいて撮影画像に対する露出補正を行う。
　また、算出部１４０は、主要被写体度と撮影画像に対する露出の重み（露出重み）との線形補間により、撮影画像の所定領域ごとに主要被写体度に対応する露出重みを算出する。
　また、算出部１４０は、撮影画像の所定領域ごとに、各領域の輝度値として、各領域内の画素（ピクセル）の輝度値の平均値を算出する。さらに、算出部１４０は、主要被写体領域とそれ以外の領域とに対し、輝度値の平均値をそれぞれ算出する。
（露出補正部１５０）
　本実施形態に係る露出補正部１５０は、算出部１４０によって算出された撮影画像の所定領域ごとの露出重みに基づいて、撮影画像に対する露出補正を行う。また、露出補正部１５０は、所定の条件を満たし、主要被写体測光による露出補正が適切でないと判断した場合、撮影画像に対して中央部重点測光による露出補正を行う。
（決定部１６０）
　本実施形態に係る決定部１６０は、主要被写体度が所定の閾値（例えば、０．７）以上の所定領域を主要被写体領域に決定する。
（重み補正部１７０）
　本実施形態に係る重み補正部１７０は、主要被写体領域とそれ以外の領域との間の輝度差が大きく、主要被写体測光による露出補正により白飛びや黒潰れが発生し得る場合、主要被写体領域の露出重みを補正する。この際、重み補正部１７０は、主要被写体領域が明るい（または暗い）場合、輝度差の大きさによって主要被写体領域の露出重みを徐々に弱める（または強める）ように補正する。すなわち、重み補正部１７０は、主要被写体領域とそれ以外の領域との間の輝度差が特定の輝度差の場合に、主要被写体領域の露出重みを調整（変更）するように補正する。また、重み補正部１７０は、後述する高主要被写体領域数の多さによって、主要被写体領域の露出重みを徐々に弱めるように補正する。また、重み補正部１７０は、輝度差による露出重みの補正と、高主要被写体領域数による露出重みの補正とのいずれを採用するかを決定することができる。
（センサ部１８０）
　本実施形態に係るセンサ部１８０は、被写体までの距離（深度、Ｄｅｐｔｈ情報ともいう）を測定する。センサ部１８０は、例えば、ＴｏＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）センサなどを備える。
（その他）
　情報処理装置１０は、図示していないが上記以外にも、各種の音や音声を出力する音声出力部を備えてもよい。音声出力部は、例えば、制御部２００による制御に基づいてカメラアプリケーションの状況に応じた音や音声を出力する（例えば、撮影開始や終了の際に音を鳴らす）。このために、音声出力部は、スピーカやアンプを備える。
（制御部２００）
　本実施形態に係る制御部２００は、情報処理装置１０が備える各構成を制御する。また制御部２００は、カメラ撮影を制御することを特徴の一つとする。撮影の制御には、撮影パラメータの調整を行うことや、撮影パラメータに基づいて、撮影部１２０が備えるシャッターや絞りなどを操作することを含む。制御部２００が有する機能の詳細については後述される。
　以上、本実施形態に係る情報処理装置１０の機能構成例について説明した。なお、図１を用いて説明した上記の機能構成はあくまで一例であり、本実施形態に係る情報処理装置１０の機能構成は係る例に限定されない。例えば、情報処理装置１０は、必ずしも図１に示す構成のすべてを備えなくてもよいし、表示部１３０などの各構成を情報処理装置１０とは異なる別の装置に備えることも可能である。本実施形態に係る情報処理装置１０の機能構成は、仕様や運用に応じて柔軟に変形可能である。
　また、各構成要素の機能を、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｃｅｓｓｉｎｇ　Ｕｎｉｔ）などの演算装置がこれらの機能を実現する処理手順を記述した制御プログラムを記憶したＲＯＭやＲＡＭなどの記憶媒体から制御プログラムを読み出し、そのプログラムを解釈して実行することにより行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜利用する構成を変更することが可能である。また、情報処理装置１０のハードウェア構成の一例については後述される。
＜＜１．２．機能の詳細＞＞
　次に、本実施形態に係る情報処理装置１０が有する機能について詳細に説明する。本実施形態に係る情報処理装置１０の制御部２００は、学習モデルを用いて撮影画像の被写体に対する主要被写体度を算出し、線形補間により主要被写体度から露出重みを算出し、当該露出重みに基づいて撮影画像に対する露出補正を行うことを特徴の１つとする。
　まず、図２を用いて、本実施形態に係る学習モデルの生成方法について説明する。本実施形態の学習モデルは、撮影画像中の主要被写体部分を特定するためのモデルである。学習モデルは、撮影画像（または撮影画像の特徴量）が入力される入力層と、出力層と、入力層から出力層までのいずれかの層であって出力層以外の層に属する第１要素と、第１要素と第１要素の重みとに基づいて値が算出される第２要素と、を含み、入力層に入力された撮影画像（または撮影画像の特徴量）に応じて、撮影画像中の主要被写体と認識される部分を示すデータ（例えば、後述の主要被写体度を示すデータ）を出力層から出力するよう、情報処理装置１０を機能させる。
　なお、本実施形態の学習モデルを生成する生成装置（例えば、サーバ装置などの情報処理装置１０）は、いかなる学習アルゴリズムを用いて上述の学習モデルを生成してもよい。例えば、生成装置は、ニューラルネットワーク（ＮＮ：Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）、サポートベクターマシン（ＳＶＭ：Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅ）、クラスタリング、強化学習などの学習アルゴリズムを用いて本実施形態の学習モデルを生成してもよい。一例として、生成装置がＮＮを用いて本実施形態の学習モデルを生成するとする。この場合、学習モデルは、１つ以上のニューロンを含む入力層と、１つ以上のニューロンを含む中間層と、１つ以上のニューロンを含む出力層とを有していてもよい。
　ここで、本実施形態に係る学習モデルが「ｙ＝ａ１＊ｘ１＋ａ２＊ｘ２＋・・・＋ａｉ＊ｘｉ」で示す回帰モデルで実現されるとする。この場合、学習モデルが含む第１要素は、ｘ１やｘ２などといった入力データ（ｘｉ）に対応する。また、第１要素の重みは、ｘｉに対応する係数ａｉに対応する。ここで、回帰モデルは、入力層と出力層とを有する単純パーセプトロンとみなすことができる。各モデルを単純パーセプトロンとみなした場合、第１要素は、入力層が有するいずれかのノードに対応し、第２要素は、出力層が有するノードとみなすことができる。
　また、本実施形態に係る学習モデルがＤＮＮ（Ｄｅｅｐ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）など、１つまたは複数の中間層を有するＮＮで実現されるとする。この場合、学習モデルが含む第１要素は、入力層または中間層が有するいずれかのノードに対応する。また、第２要素は、第１要素と対応するノードから値が伝達されるノードである次段のノードに対応する。また、第１要素の重みは、第１要素と対応するノードから第２要素と対応するノードに伝達される値に対して考慮される重みである接続係数に対応する。
　上述した回帰モデルやＮＮなど、任意の構造を有する学習モデルを用いて、主要被写体度を算出する。より具体的には、学習モデルは、撮影画像が入力された場合に、当該撮影画像の所定領域ごとに主要被写体度を出力するように係数が設定される。本実施形態に係る学習モデルは、データの入出力を繰り返すことで得られる結果に基づいて生成されるモデルであってもよい。
　なお、上記例では、本実施形態に係る学習モデルが、撮影画像が入力された場合に、当該撮影画像の所定領域ごとに主要被写体度を出力するモデル（モデルＸとする）である例を示した。しかしながら、本実施形態に係る学習モデルは、モデルＸに対しデータの入出力を繰り返すことで得られる結果に基づいて生成されるモデルであってもよい。例えば、本実施形態に係る学習モデルは、撮影画像を入力とし、モデルＸが出力する主要被写体度を出力とする学習モデル（モデルＹとする）であってもよい。または、本実施形態に係る学習モデルは、撮影画像を入力とし、モデルＹが出力する主要被写体度を出力とする学習モデルであってもよい。
　図２は、本実施形態に係る主要被写体オブジェクトの抽出の一例を示す図である。図２の左側は、外の景色が見える窓のあるリビングにいる猫の撮影画像である。これに対し、図２の右側は、主要被写体である猫を抽出した画像である。このように、様々な撮影画像から、主要被写体になり得る、人、動植物、建築物、車や飛行機などの移動体、文字や看板、玩具、電化製品、料理、衣類、アクセサリ、天体、・・・などのオブジェクトを抽出し、主要被写体になり得るオブジェクトが写った画像と主要被写体部分をマスクしたマスク画像とを学習させることで学習モデルを生成する。このような学習モデルにより、撮影動画（画像）から適切な主要被写体を決定することができる。また、学習モデルの教師データとして、センサ部１８０によって取得される、被写体の深度を用いてもよい。これにより、被写体までの距離を考慮した学習モデルを生成することができる。また、撮影動画の過去のフレームの撮影画像を含めた時系列データを入力とするＲＮＮ（Ｒｅｃｕｒｒｅｎｔ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）による深層学習を行うこともできる。
　次に、図３を用いて、撮影画像から主要被写体を決定するための主要被写体ＭＡＰの生成方法について説明する。図３は、本実施形態に係る主要被写体ＭＡＰ生成の一例を示す図である。本実施形態では、撮影画像の所定領域ごとに主要被写体度を算出し、各所定領域と主要被写体度とをマッピングした主要被写体ＭＡＰを生成することで、主要被写体領域が決定される。図３の左側に示すように、各所定領域は、例えば、撮影画像を縦９×横１１に分割することで決定される。なお、分割する領域数は縦９×横１１に限定されず、各領域に含まれる画素数は一定であっても異なってもよい。例えば、各領域に含まれる画素数が一定になるように分割し、端数の画素数分の画素は撮影画像外縁の領域に含めるようにしてもよい。
　図３の左側において分割した撮影画像の各領域に対して、図２での説明のように生成された学習モデルを用いて主要被写体度が算出され、主要被写体ＭＡＰが生成される。図３の右側が生成された主要被写体ＭＡＰの一例である。図３の右側に示すように、主要被写体ＭＡＰには、領域ごとに算出された主要被写体度（０～１）が示されている。図３の例では、撮影画像における“花”を含んだ領域が高い主要被写体度を示している。なお、図３の例では、主要被写体度の高い領域が一箇所に集まっているが、撮影画像によっては主要被写体度の高い領域が分散したり、無かったりする場合もあり得る。
　本実施形態では、主要被写体に対して露出の重みをより持たせることで、被写体を適切な露出で撮影することができる。そのため、主要被写体度が高いほど、露出重みを持たせるような露出補正を行う。図４は、本実施形態に係る主要被写体度と露出重みとの線形補間の一例を示す図である。図４の例は、重みの最小値（ｙ０）を２５、重みの最大値（ｙ１）を１２８として、主要被写体度ｘと露出重みｙとの線形補間を示すものである。主要被写体度は、最小値（ｘ０）を０、最大値（ｘ１）を１とし、図３を用いて説明したように学習モデルを用いて算出することができる。図４の線形補間は、次式（１）で表すことができる。
　ｙ＝ｙ０＋（ｙ１－ｙ０）＊（ｘ－ｘ０）／（ｘ１－ｘ０）　・・・（１）
　式（１）を用いて、主要被写体度から露出重みを算出することができる。これにより、図３で生成した主要被写体ＭＡＰの領域ごとの主要被写体度から、領域ごとの露出重みを算出することができる。
　図５は、本実施形態に係る主要被写体ＭＡＰから主要被写体測光ＭＡＰへの変換の一例を示す図である。式（１）を用いて、図５の左側の主要被写体ＭＡＰの各主要被写体度から、領域ごとの露出重みを算出し、図５の右側に示すように主要被写体測光ＭＡＰを得ることができる。主要被写体測光ＭＡＰの各領域の数値がそれぞれの露出重みである。なお、例えば、要被写体度が所定の閾値（例えば、０．７）以上の領域を主要被写体領域とし、撮影画像中に主要被写体領域が１つもない、またはすべての領域が主要被写体領域である場合は、中央部重点測光による露出補正を行ってもよい。
　図６は、本実施形態に係る主要被写体ＭＡＰから主要被写体測光ＭＡＰへの変換の別例を示す図である。図６の例は、撮影画像外縁の領域には重要な被写体がほとんどないであろうという考えから、外縁領域の主要被写体度や露出重みの算出を行わないようにしたものである。これにより、主要被写体が含まれているであろう、外縁以外の領域（縦７×横９）に対してより適切な露出補正を行うことができる。しかしながら、主要被写体測光ＭＡＰにより、主要被写体領域に露出重みをより持たせるようにしても、主要被写体領域とそれ以外の領域との間の輝度差が大きい場合に、白飛びや黒潰れが発生する可能性がある。
　図７は、本実施形態に係る中央部重点ＡＥと主要被写体ＡＥとの比較の一例を示す図である。図７の例は、主要被写体領域とそれ以外の領域との間の輝度差が大きい撮影画像に対し、中央部重点ＡＥおよび主要被写体ＡＥによりそれぞれ露出補正を行ったものである。図７の左側は、撮影画像の中央領域に露出重みをより持たせるように補正された（中央部重点ＡＥ）画像である。また、図７の右側が、図５や図６で説明した主要被写体測光ＭＡＰを用いて主要被写体領域に露出重みをより持たせるように補正された（主要被写体ＡＥ）画像である。図７の右側の例では、撮影画像中の看板が主要被写体と判断され、看板部分により露出重みが持たされているため、中央部重点ＡＥのものと比べると、看板部分ははっきり見える。しかしながら、看板以外の背景部分などは黒潰れが発生し、却って見え難くなっている。図７の例では、主要被写体が明るい場合を示したが、主要被写体が暗い場合には、白飛びが発生し得る。
　そこで、主要被写体領域とそれ以外の領域との間の輝度差が大きい場合は、輝度差の大きさによって主要被写体領域の露出重みを補正することができる。図８は、本実施形態に係る主要被写体が明るい場合の輝度ＭＡＰの一例を示す図である。図８の左側は、主要被写体ＭＡＰを生成し、主要被写体度が所定の閾値（例えば、０．７）以上の領域を主要被写体領域（枠内）に決定したことを示している。図８の右側は、領域ごとに各画素の輝度値の平均値を算出して輝度ＭＡＰを生成し、主要被写体領域とそれ以外の領域とに対し、輝度値の平均値をそれぞれ算出したものである。図８の例では、主要被写体領域の輝度値の平均値は６５０．０、それ以外の領域の輝度値の平均値は５４．７であり、主要被写体が明るく、輝度差は１１倍以上ある。例えば、輝度差が３倍以上ある場合に輝度差が大きいとみなして、輝度差の大きさによって主要被写体領域の露出重みの補正を行うことができる。なお、撮影画像中のノイズや、輝度の極端なバラつきなどを考慮して、主要被写体領域の輝度値の平均値は、主要被写体領域の各輝度値の一部（例えば、輝度値の上位３０％）の平均値であってよい。同様に、主要被写体領域の領域数が少ない場合（例えば、６以下の場合）、主要被写体領域の輝度値の平均値は、主要被写体領域の上位１位の輝度値であってよい。
　図９は、本実施形態に係る主要被写体度と露出重みとの線形補間に対する主要被写体が明るい場合の露出重み補正の一例を示す図である。図９の左側は、図４で示した線形補間の基本形である。これに対し、図９の右側は、輝度差の大きさによって、主要被写体領域（主要被写体度が０．７以上）の露出重みを補正したものである。図９の右側に示すように、輝度差が１～３倍未満の場合は、基本形の線形補間と同一であるが、輝度差が３倍以上ある場合は、輝度差の大きさによって主要被写体領域の露出重みを徐々に弱める補正を行う。例えば、主要被写体度の露出重みの上限は、輝度差が３倍の場合に７６であり、輝度差が１６倍の場合は２５まで弱められる。図９の例では、露出重みを弱める例として、輝度差３倍、９倍、１６倍の３つのグラフを示しているが、各輝度差の間には各輝度差に対応したグラフが存在する。また、主要被写体領域のグラフは、輝度差の大きさによる違いを強調するために破線で示されているが、実際には直線である。さらに、露出補正を行う輝度差の３倍以上や、露出重みの上限７６などはあくまでも一例であり、これらに限定されない。例えば、輝度差が４倍以上ある場合に露出重みの補正を行うなどしてもよく、露出重みの上限も任意に調整可能である。
　図１０は、本実施形態に係る主要被写体が暗い場合の輝度ＭＡＰの一例を示す図である。図１０は、主要被写体が明るい場合の図８に対して、主要被写体が暗い場合の輝度ＭＡＰについて示すものである。図１０は、図８同様、主要被写体ＭＡＰおよび輝度ＭＡＰを生成し、主要被写体領域（枠内）とそれ以外の領域とに対し、輝度値の平均値をそれぞれ算出したものである。図１０の例では、主要被写体領域の輝度値の平均値は６０．０、それ以外の領域の輝度値の平均値は３９０．０であり、主要被写体が暗く、輝度差は６倍以上ある。
　図１１は、本実施形態に係る主要被写体度と露出重みとの線形補間に対する主要被写体が暗い場合の露出重み補正の一例を示す図である。図１１の左側も図９同様、図４で示した線形補間の基本形である。これに対し、図１１の右側は、輝度差の大きさによって、主要被写体領域（主要被写体度が０．７以上）の露出重みを補正したものである。図１１の右側に示すように、輝度差が２倍以上の場合は、基本形の線形補間と同一であるが、輝度差が１～２倍の場合は、輝度差の大きさによって主要被写体領域の露出重みを徐々に強める補正を行う。なお、図１１も図９同様、各輝度差の間には各輝度差に対応したグラフが存在し、主要被写体領域のグラフは、実際には直線である。また、露出補正を行う輝度差の２倍未満や、露出重みの上限７６などはあくまでも一例であり、これらに限定されない。
　また、主要被写体領域の輝度値の平均値が、それ以外の領域の輝度値の平均値より高く、主要被写体が明るい場合、高主要被写体領域数によって露出重みを補正することもできる。ここで、高主要被写体領域数とは、主要被写体度の高い（例えば、０．９９以上）領域の数である。図１２は、本実施形態に係る主要被写体度と露出重みとの線形補間に対する主要被写体が明るい場合の露出重み補正の別例を示す図である。図１２の左側も、図４で示した線形補間の基本形である。図１２の右側は、高主要被写体領域数の多さによって、主要被写体領域（主要被写体度が０．７以上）の露出重みを補正したものである。図１２の右側に示すように、高主要被写体領域数が６個以下の場合は、基本形の線形補間と同一であるが、高主要被写体領域数が７個以上の場合は、高主要被写体領域数の多さによって主要被写体領域の露出重みを徐々に弱める補正を行う。また、高主要被写体領域数が２４以上の場合は、中央部重点測光による露出補正を行ってもよい。なお、図１２に示す高主要被写体領域数の基準数（６～２４個）は、図３のように縦９×横１１の領域に分割した場合の数であるため、任意に変更可能である。また、図１２も図９同様、高主要被写体領域数の各基準数の間には、各基準数に対応したグラフが存在し、主要被写体領域のグラフは、実際には直線である。また、露出重みの上限７６などはあくまでも一例であり、これらに限定されない。
　なお、主要被写体領域の輝度値の平均値が、それ以外の領域の輝度値の平均値より高く、主要被写体が明るい場合の露出重みの補正について、輝度差による補正と、高主要被写体領域数による補正とを説明した。いずれを採用するかは、例えば、露出重みの補正量が小さく、露出重みが軽くなる方を採用することができる。
　＜＜１．３．機能の流れ＞＞
　次に、図１３を用いて、本実施形態に係る主要被写体ＡＥ処理の手順について説明する。図１３は、本実施形態に係る主要被写体ＡＥ処理の流れを示すフローチャートである。本処理は、例えば、情報処理装置１０が、被写体を撮影した動画をＲＡＭに一時記憶したことをトリガーとして開始され、主要被写体度を算出し、線形補間により主要被写体度から露出重みを算出し、露出重みに基づいて撮影画像に対する露出補正を行う処理である。
　図１３に示すように、まず、情報処理装置１０の算出部１４０は、撮影部１２０によって撮影された動画の１フレームの画像（撮影画像）の所定領域ごとに、主要被写体度を算出する（ステップＳ１０１）。所定領域は、撮影画像を予め定められた分割数（例えば、縦９×横１１）に分割することにより決定される。
　次に、算出部１４０は、主要被写体度と露出重みとの線形補間により、所定領域ごとの主要被写体度に対応する、所定領域ごとの露出重みを算出する（ステップＳ１０２）。
　次に、情報処理装置１０の決定部１６０は、ステップＳ１０１で算出された主要被写体度が所定の閾値以上の所定領域を主要被写体領域に決定する（ステップＳ１０３）。この際、撮影画像に主要被写体となり得る物体が含まれず、主要被写体領域が１つもない場合もあり得る。
　主要被写体領域がない場合（ステップＳ１０４：Ｎｏ）、情報処理装置１０の露出補正部１５０は、中央部重点測光による露出補正を実行する（ステップＳ１０５）。ステップＳ１０５の後、本処理は終了する。
　一方、主要被写体領域がある場合（ステップＳ１０４：Ｙｅｓ）、算出部１４０は、撮影画像の所定領域ごとに、各領域の輝度値として、各領域内の画素の輝度値の平均値を算出する（ステップＳ１０６）。また、算出部１４０は、主要被写体領域とそれ以外の領域とに対し、輝度値の平均値をそれぞれ算出する。
　次に、主要被写体領域およびそれ以外の領域の輝度値の各平均値が比較される。その結果、これらの領域間の輝度差が所定の閾値（例えば、３倍）未満の場合（ステップＳ１０７：Ｎｏ）、露出補正部１５０は、ステップＳ１０２で算出された、所定領域ごとの露出重みを用いて、撮影画像に対する露出補正を実行する（ステップＳ１０８）。ステップＳ１０８の後、本処理は終了する。
　一方、主要被写体領域とそれ以外の領域との間の輝度差が所定の閾値以上の場合（ステップＳ１０７：Ｙｅｓ）、主要被写体領域の輝度値の平均値が、それ以外の領域の輝度値の平均値より高いか否かが判定される（ステップＳ１０９）。
　主要被写体領域の輝度値の平均値が、それ以外の領域の輝度値の平均値より低い場合（ステップＳ１０９：Ｎｏ）、重み補正部１７０は、輝度差の大きさによって、主要被写体領域の露出重みを徐々に強めるように補正する（ステップＳ１１０）。
　次に、露出補正部１５０は、ステップＳ１１０で補正された、所定領域ごとの露出重みを用いて、撮影画像に対する露出補正を実行する（ステップＳ１１１）。ステップＳ１１１の後、本処理は終了する。
　一方、主要被写体領域の輝度値の平均値が、それ以外の領域の輝度値の平均値より高い場合（ステップＳ１０９：Ｙｅｓ）、重み補正部１７０は、輝度差の大きさによって、主要被写体領域の露出重みを徐々に弱めるように補正する（ステップＳ１１２）。
　次に、高主要被写体領域数（例えば、主要被写体度が０．９９以上の領域数）が所定数（例えば、２４個）以上の場合（ステップＳ１１３：Ｙｅｓ）、露出補正部１５０は、中央部重点測光による露出補正を実行する（ステップＳ１０５）。
　一方、高主要被写体領域数が所定数未満の場合（ステップＳ１１３：Ｎｏ）、重み補正部１７０は、高主要被写体領域数の多さによって、主要被写体領域の露出重みを徐々に弱めるように補正する（ステップＳ１１４）。
　次に、重み補正部１７０は、ステップＳ１１２における輝度差による露出重みの補正と、ステップＳ１１４における高主要被写体領域数による露出重みの補正とのいずれを採用するかを決定する（ステップＳ１１５）。これは、例えば、露出重みの補正量が小さく、露出重みが軽くなる方を採用することができる。
　次に、露出補正部１５０は、ステップＳ１１５で採用された、所定領域ごとの露出重みを用いて、撮影画像に対する露出補正を実行する（ステップＳ１１６）。ステップＳ１１６の後、本処理は終了する。
＜２．ハードウェア構成例＞
　次に、本実施形態に係る情報処理装置１０のハードウェア構成例について説明する。図１４は、本実施形態に係る情報処理装置１０のハードウェア構成例を示すブロック図である。図１４を参照すると、情報処理装置１０は、例えば、プロセッサ４１１と、ＲＯＭ４１２と、ＲＡＭ４１３と、ホストバス４１４と、ブリッジ４１５と、外部バス４１６と、インターフェース４１７と、入力装置４１８と、出力装置４１９と、ストレージ４２０と、ドライブ４２１と、接続ポート４２２と、通信装置４２３と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
（プロセッサ４１１）
　プロセッサ４１１は、例えば、演算処理装置または制御装置として機能し、ＲＯＭ４１２、ＲＡＭ４１３、ストレージ４２０、またはリムーバブル記録媒体２０に記録された各種プログラムに基づいて各構成要素の動作全般またはその一部を制御する。
（ＲＯＭ４１２、ＲＡＭ４１３）
　ＲＯＭ４１２は、プロセッサ４１１に読み込まれるプログラムや演算に用いるデータなどを格納する手段である。ＲＡＭ４１３には、例えば、プロセッサ４１１に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータなどが一時的または永続的に格納される。
（ホストバス４１４、ブリッジ４１５、外部バス４１６、インターフェース４１７）
　プロセッサ４１１、ＲＯＭ４１２、ＲＡＭ４１３は、例えば、高速なデータ伝送が可能なホストバス４１４を介して相互に接続される。一方、ホストバス４１４は、例えば、ブリッジ４１５を介して比較的データ伝送速度が低速な外部バス４１６に接続される。また、外部バス４１６は、インターフェース４１７を介して種々の構成要素と接続される。
（入力装置４１８）
　入力装置４１８には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、およびレバーなどが用いられる。さらに、入力装置４１８としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。また、入力装置４１８には、マイクロフォンなどの音声入力装置が含まれる。
（出力装置４１９）
　出力装置４１９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）、ＬＣＤ、または有機ＥＬなどのディスプレイ装置、スピーカ、ヘッドホンなどのオーディオ出力装置、プリンタ、携帯電話、またはファクシミリなど、取得した情報を利用者に対して視覚的または聴覚的に通知することが可能な装置である。また、本実施形態に係る出力装置４１９は、触覚刺激を出力することが可能な種々の振動デバイスを含む。
（ストレージ４２０）
　ストレージ４２０は、各種のデータを格納するための装置である。ストレージ４２０としては、例えば、ハードディスクドライブ（ＨＤＤ）などの磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどが用いられる。
（ドライブ４２１）
　ドライブ４２１は、例えば、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体２０に記録された情報を読み出し、またはリムーバブル記録媒体２０に情報を書き込む装置である。
（リムーバブル記録媒体２０）
リムーバブル記録媒体２０は、例えば、ＤＶＤメディア、Ｂｌｕ－ｒａｙ（登録商標）メディア、ＨＤ　ＤＶＤメディア、各種の半導体記憶メディアなどである。もちろん、リムーバブル記録媒体２０は、例えば、非接触型ＩＣチップを搭載したＩＣカード、または電子機器などであってもよい。
（接続ポート４２２）
　接続ポート４２２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ　Ｃｏｍｐｕｔｅｒ　Ｓｙｓｔｅｍ　Ｉｎｔｅｒｆａｃｅ）、ＲＳ－２３２Ｃポート、または光オーディオ端子などのような外部接続機器３０を接続するためのポートである。
（外部接続機器３０）
　外部接続機器３０は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、またはＩＣレコーダなどである。
（通信装置４２３）
　通信装置４２３は、ネットワークに接続するための通信デバイスであり、例えば、有線または無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ、または各種通信用のモデムなどである。
＜３．まとめ＞
　以上説明したように、情報処理装置１０は、被写体を撮影し、デジタルデータに変換して撮影画像を生成する撮影部１２０と、前記撮影画像の所定領域ごとに、前記所定領域に含まれる前記被写体が、撮影者が撮影したい主要被写体である確率を算出し、前記確率と前記撮影画像に対する露出の重みとに基づいて、前記所定領域ごとに前記確率に対応する前記重みを算出する算出部１４０と、前記所定領域ごとの前記重みに基づいて、前記撮影画像に対する露出補正を行う露出補正部１５０とを備える。
　これにより、被写体を適切な露出で撮影することができる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、本技術は以下のような構成も取ることができる。
（１）被写体を撮影し、デジタルデータに変換して撮影画像を生成する撮影部と、
　前記撮影画像の所定領域ごとに、前記所定領域に含まれる前記被写体が、撮影者が撮影したい主要被写体である確率を算出し、前記確率と前記撮影画像に対する露出の重みとに基づいて、前記所定領域ごとに前記確率に対応する前記重みを算出する算出部と、
　前記所定領域ごとの前記重みに基づいて、前記撮影画像に対する露出補正を行う露出補正部と
　を備えた、情報処理装置。
（２）前記確率が第１の閾値を超える前記所定領域を主要被写体領域に決定する決定部と、
　前記主要被写体領域の第１の輝度値の第１の平均値と、前記主要被写体領域以外の領域の第２の輝度値の第２の平均値との輝度差が第２の閾値以上の場合、前記主要被写体領域の前記重みを補正する重み補正部と
　をさらに備えた、前記（１）に記載の情報処理装置。
（３）前記重み補正部による前記主要被写体領域の前記重みの補正は、前記第１の平均値が前記第２の平均値よりも高い場合、前記主要被写体領域の前記重みを前記輝度差の大きさによって変更するように補正される、前記（２）に記載の情報処理装置。
（４）前記重み補正部が用いる前記第１の平均値は、前記第１の輝度値の上位３０％の平均値である、前記（３）に記載の情報処理装置。
（５）前記主要被写体領域の数が所定数以下の場合、前記重み補正部が用いる前記第１の平均値は、前記第１の輝度値の上位１位の輝度値である、前記（３）に記載の情報処理装置。
（６）前記重み補正部による前記主要被写体領域の前記重みの補正は、前記第１の平均値が前記第２の平均値より低い場合、前記主要被写体領域の前記重みを前記輝度差の大きさによって変更するように補正される、前記（２）に記載の情報処理装置。
（７）前記重み補正部による前記主要被写体領域の前記重みの補正は、前記第１の平均値が前記第２の平均値よりも高い場合、前記確率が第３の閾値を超える前記主要被写体領域の数の多さによって徐々に弱めるように補正される、前記（２）に記載の情報処理装置。
（８）前記重み補正部による前記主要被写体領域の前記重みの補正は、前記確率が前記第３の閾値を超える前記主要被写体領域の前記数が所定数以上の場合は行わず、前記露出補正部はさらに、前記撮影画像に対して中央部重点測光による露出補正を行う、前記（７）に記載の情報処理装置。
（９）前記露出補正部はさらに、前記主要被写体領域が１つもない場合、または前記所定領域のすべてが前記主要被写体領域である場合、前記撮影画像に対して中央部重点測光による露出補正を行う、前記（２）～（８）のいずれか１つに記載の情報処理装置。
（１０）前記算出部が基づく前記確率と前記重みとは、前記確率と前記重みとの線形補間である、前記（１）～（９）のいずれか１つに記載の情報処理装置。
（１１）前記算出部による前記確率の算出は、前記撮影画像を入力し、前記確率を出力する学習モデルを用いて算出される、前記（１）～（１０）のいずれか１つに記載の情報処理装置。
（１２）情報処理装置が、
　被写体を撮影し、デジタルデータに変換して撮影画像を生成し、
　前記撮影画像の所定領域ごとに、前記所定領域に含まれる前記被写体が、撮影者が撮影したい主要被写体である確率を算出し、前記確率と前記撮影画像に対する露出の重みとに基づいて、前記所定領域ごとに前記確率に対応する前記重みを算出し、
　前記所定領域ごとの前記重みに基づいて、前記撮影画像に対する露出補正を行う
　処理を実行する、方法。
（１３）情報処理装置に、
　被写体を撮影し、デジタルデータに変換して撮影画像を生成し、
　前記撮影画像の所定領域ごとに、前記所定領域に含まれる前記被写体が、撮影者が撮影したい主要被写体である確率を算出し、前記確率と前記撮影画像に対する露出の重みとに基づいて、前記所定領域ごとに前記確率に対応する前記重みを算出し、
　前記所定領域ごとの前記重みに基づいて、前記撮影画像に対する露出補正を行う
　処理を実行させる、プログラム。
　１０　　情報処理装置
　１１０　記憶部
　１２０　撮影部
　１３０　表示部
　１４０　算出部
　１５０　露出補正部
　１６０　決定部
　１７０　重み補正部
　１８０　センサ部
　２００　制御部
 

Claims (13)

  1. 　被写体を撮影し、デジタルデータに変換して撮影画像を生成する撮影部と、
    　前記撮影画像の所定領域ごとに、前記所定領域に含まれる前記被写体が、撮影者が撮影したい主要被写体である確率を算出し、前記確率と前記撮影画像に対する露出の重みとに基づいて、前記所定領域ごとに前記確率に対応する前記重みを算出する算出部と、
    　前記所定領域ごとの前記重みに基づいて、前記撮影画像に対する露出補正を行う露出補正部と
    　を備えた、情報処理装置。
  2. 　前記確率が第１の閾値を超える前記所定領域を主要被写体領域に決定する決定部と、
    　前記主要被写体領域の第１の輝度値の第１の平均値と、前記主要被写体領域以外の領域の第２の輝度値の第２の平均値との輝度差が第２の閾値以上の場合、前記主要被写体領域の前記重みを補正する重み補正部と
    　をさらに備えた、請求項１に記載の情報処理装置。
  3. 　前記重み補正部による前記主要被写体領域の前記重みの補正は、前記第１の平均値が前記第２の平均値よりも高い場合、前記主要被写体領域の前記重みを前記輝度差の大きさによって変更するように補正される、請求項２に記載の情報処理装置。
  4. 　前記重み補正部が用いる前記第１の平均値は、前記第１の輝度値の上位３０％の平均値である、請求項３に記載の情報処理装置。
  5. 　前記主要被写体領域の数が所定数以下の場合、前記重み補正部が用いる前記第１の平均値は、前記第１の輝度値の上位１位の輝度値である、請求項３に記載の情報処理装置。
  6. 　前記重み補正部による前記主要被写体領域の前記重みの補正は、前記第１の平均値が前記第２の平均値より低い場合、前記主要被写体領域の前記重みを前記輝度差の大きさによって変更するように補正される、請求項２に記載の情報処理装置。
  7. 　前記重み補正部による前記主要被写体領域の前記重みの補正は、前記第１の平均値が前記第２の平均値よりも高い場合、前記確率が第３の閾値を超える前記主要被写体領域の数の多さによって徐々に弱めるように補正される、請求項２に記載の情報処理装置。
  8. 　前記重み補正部による前記主要被写体領域の前記重みの補正は、前記確率が前記第３の閾値を超える前記主要被写体領域の前記数が所定数以上の場合は行わず、前記露出補正部はさらに、前記撮影画像に対して中央部重点測光による露出補正を行う、請求項７に記載の情報処理装置。
  9. 　前記露出補正部はさらに、前記主要被写体領域が１つもない場合、または前記所定領域のすべてが前記主要被写体領域である場合、前記撮影画像に対して中央部重点測光による露出補正を行う、請求項２に記載の情報処理装置。
  10. 　前記算出部が基づく前記確率と前記重みとは、前記確率と前記重みとの線形補間である、請求項１に記載の情報処理装置。
  11. 　前記算出部による前記確率の算出は、前記撮影画像を入力し、前記確率を出力する学習モデルを用いて算出される、請求項１に記載の情報処理装置。
  12. 　情報処理装置が、
    　被写体を撮影し、デジタルデータに変換して撮影画像を生成し、
    　前記撮影画像の所定領域ごとに、前記所定領域に含まれる前記被写体が、撮影者が撮影したい主要被写体である確率を算出し、前記確率と前記撮影画像に対する露出の重みとに基づいて、前記所定領域ごとに前記確率に対応する前記重みを算出し、
    　前記所定領域ごとの前記重みに基づいて、前記撮影画像に対する露出補正を行う
    　処理を実行する、方法。
  13. 　情報処理装置に、
    　被写体を撮影し、デジタルデータに変換して撮影画像を生成し、
    　前記撮影画像の所定領域ごとに、前記所定領域に含まれる前記被写体が、撮影者が撮影したい主要被写体である確率を算出し、前記確率と前記撮影画像に対する露出の重みとに基づいて、前記所定領域ごとに前記確率に対応する前記重みを算出し、
    　前記所定領域ごとの前記重みに基づいて、前記撮影画像に対する露出補正を行う
    　処理を実行させる、プログラム。
     
PCT/JP2020/001302 2020-01-16 2020-01-16 情報処理装置、情報処理方法、および情報処理プログラム WO2021144924A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/001302 WO2021144924A1 (ja) 2020-01-16 2020-01-16 情報処理装置、情報処理方法、および情報処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/001302 WO2021144924A1 (ja) 2020-01-16 2020-01-16 情報処理装置、情報処理方法、および情報処理プログラム

Publications (1)

Publication Number Publication Date
WO2021144924A1 true WO2021144924A1 (ja) 2021-07-22

Family

ID=76864573

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/001302 WO2021144924A1 (ja) 2020-01-16 2020-01-16 情報処理装置、情報処理方法、および情報処理プログラム

Country Status (1)

Country Link
WO (1) WO2021144924A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0278379A (ja) * 1988-05-20 1990-03-19 Sanyo Electric Co Ltd 撮像装置
JP2008035125A (ja) * 2006-07-27 2008-02-14 Canon Inc 撮像装置、画像処理方法およびプログラム
JP2014119725A (ja) * 2012-12-19 2014-06-30 Casio Comput Co Ltd 露出、焦点制御装置、方法、およびプログラム
JP2016038415A (ja) * 2014-08-05 2016-03-22 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0278379A (ja) * 1988-05-20 1990-03-19 Sanyo Electric Co Ltd 撮像装置
JP2008035125A (ja) * 2006-07-27 2008-02-14 Canon Inc 撮像装置、画像処理方法およびプログラム
JP2014119725A (ja) * 2012-12-19 2014-06-30 Casio Comput Co Ltd 露出、焦点制御装置、方法、およびプログラム
JP2016038415A (ja) * 2014-08-05 2016-03-22 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体

Similar Documents

Publication Publication Date Title
CN111418201B (zh) 一种拍摄方法及设备
CN111327824B (zh) 拍摄参数的选择方法、装置、存储介质及电子设备
US8786749B2 (en) Digital photographing apparatus for displaying an icon corresponding to a subject feature and method of controlling the same
KR102146855B1 (ko) 촬영 설정 값을 공유하는 촬영 장치 및 방법 및 공유 시스템
CN105516585A (zh) 一种自动调整肤色的装置和方法
WO2022087973A1 (zh) 图像处理方法及装置、计算机可读介质和电子设备
CN108574803B (zh) 图像的选取方法、装置、存储介质及电子设备
CN111696058A (zh) 图像处理方法、装置及存储介质
WO2021136035A1 (zh) 拍照方法、装置、存储介质及电子设备
CN116668656B (zh) 图像处理方法及电子设备
CN113658065A (zh) 图像降噪方法及装置、计算机可读介质和电子设备
WO2021144924A1 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
CN113808066A (zh) 图像选取方法、装置、存储介质及电子设备
JP2010183460A (ja) 撮像装置およびその制御方法
WO2021179819A1 (zh) 照片处理方法、装置、存储介质及电子设备
WO2021149238A1 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
CN111277751B (zh) 拍照方法、装置、存储介质及电子设备
WO2021147648A1 (zh) 提示方法、装置、存储介质及电子设备
WO2021199366A1 (ja) 情報処理装置、方法、プログラム、およびモデル
CN109729269B (zh) 一种图像处理方法、终端设备及计算机可读存储介质
JP6514577B2 (ja) 画像処理装置および画像処理方法ならびに撮像装置
US9135687B2 (en) Threshold setting apparatus, threshold setting method and recording medium in which program for threshold setting method is stored
WO2023106119A1 (ja) 制御装置、制御方法、情報処理装置、生成方法、およびプログラム
CN116051434B (zh) 一种图像处理方法及相关电子设备
WO2017110192A1 (ja) 情報処理装置、情報処理方法、プログラムおよび情報処理システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20914416

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20914416

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP