WO2019093090A1 - 画像処理装置、画像撮像装置、画像処理方法およびプログラム - Google Patents

画像処理装置、画像撮像装置、画像処理方法およびプログラム Download PDF

Info

Publication number
WO2019093090A1
WO2019093090A1 PCT/JP2018/038778 JP2018038778W WO2019093090A1 WO 2019093090 A1 WO2019093090 A1 WO 2019093090A1 JP 2018038778 W JP2018038778 W JP 2018038778W WO 2019093090 A1 WO2019093090 A1 WO 2019093090A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
composition
corrected
unit
subject
Prior art date
Application number
PCT/JP2018/038778
Other languages
English (en)
French (fr)
Inventor
北浦　竜二
徳井　圭
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Priority to US16/761,985 priority Critical patent/US20200314309A1/en
Priority to JP2019552683A priority patent/JPWO2019093090A1/ja
Publication of WO2019093090A1 publication Critical patent/WO2019093090A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Definitions

  • the present invention relates to an image processing apparatus, an image processing method, and a program.
  • Priority is claimed on Japanese Patent Application No. 2017-217540, filed Nov. 10, 2017, the content of which is incorporated herein by reference.
  • an image processing apparatus equipped with a plurality of imaging units having different angles of view, it is possible to acquire a telephoto image and a wide-angle image in one shooting.
  • Patent Document 1 includes two imaging units having different angles of view, and the user changes the cutout range in the wide-angle image displayed on the display unit so that the oblique image is included from the telephoto image and the wide-angle image.
  • An imaging device and an imaging method for acquiring a cropped and cropped wide image are disclosed.
  • the size of the cutout range in the wide-angle image is determined by the focal length (imaging magnification) of one imaging unit, and the position needs to be adjusted by the user. is there. That is, depending on the scene to be shot, a size that is not the size automatically determined from the focal length may be a more preferable cutout size.
  • the trimming wide image (corrected image) of a suitable composition may not be obtained.
  • the present invention aims to provide an image processing apparatus, an image pickup apparatus, an image processing method, and a program capable of easily outputting a corrected image corrected to a suitable composition.
  • the image processing device concerning one mode of the present invention acquires the 1st picture and the acquisition part which acquires the 2nd picture whose angle of view is wider than the 1st picture ,; A detection unit for detecting a first subject as a main subject from the first image; and a composition in which a second subject corresponding to the first subject in the second image is a main subject And a composition correction unit that outputs a corrected image obtained by correcting the image of.
  • An image pickup apparatus includes: a first image pickup unit which picks up a first image; and a second image pickup unit which picks up a second image whose angle of view is wider than the first image.
  • An acquisition unit for acquiring the first image and a second image having a wider angle of view than the first image; and a detection unit for detecting a first object to be a main object from the first image
  • a composition correction unit that outputs a corrected image obtained by correcting the second image to a composition in which a second object corresponding to the first object in the second image is a main object, and the corrected image And a display unit to display.
  • an acquisition step of acquiring a first image and a second image having a wider angle of view than the first image, and a main subject from the first image Outputting a corrected image obtained by correcting the second image to a composition in which a second object corresponding to the first object in the second image is a main object in the detection step of detecting the first object
  • a composition correction step In an image processing method according to an aspect of the present invention, an acquisition step of acquiring a first image and a second image having a wider angle of view than the first image, and a main subject from the first image Outputting a corrected image obtained by correcting the second image to a composition in which a second object corresponding to the first object in the second image is a main object in the detection step of detecting the first object And a composition correction step.
  • an image processing apparatus an image pickup apparatus, an image processing method, and a program capable of easily outputting a corrected image corrected to a suitable composition.
  • FIG. 1 is a block diagram showing an example of a schematic configuration of an image processing apparatus according to a first embodiment of the present invention. It is a figure for demonstrating an example of a symmetry composition. It is a figure for demonstrating an example of a three-divided composition. It is a figure for demonstrating an example of a sun circle composition. It is a figure for demonstrating an example of a diagonal composition. It is a figure for demonstrating an example of a triangular composition. It is a figure for demonstrating an example of correction
  • the same reference numeral as a reference numeral given to a member in a certain drawing is also given to the same member in another drawing, the configuration, function, etc. of the same member are the same as the corresponding member Therefore, the detailed description of the same member is omitted.
  • the "image” described below is meant to include both still images and moving images. Furthermore, in the case where the moving image includes audio information, the “image” also includes audio information.
  • FIG. 1 is a functional block diagram showing the configuration of an image processing apparatus 1 according to the first embodiment of the present invention.
  • the image processing apparatus 1 includes an input unit (acquisition unit) 2, a detection unit 3, a composition correction unit 4, and an output unit 5.
  • image information of the first image and the second image is input to the input unit 2.
  • the output unit 5 of the image processing apparatus 1 outputs a corrected image (output image) in which the composition of the second image is corrected by the composition correction unit 4.
  • the second image is a wide-angle image having a wider angle of view than the first image.
  • the first image is treated as a telephoto image
  • the second image is treated as a wide-angle image.
  • the input unit 2 receives image information of a plurality of images with different angles of view in which the same subject is photographed. That is, the input unit 2 acquires a telephoto image and a wide-angle image. Examples of the image information input to the input unit 2 include image information captured by an imaging device and image information stored in a storage unit (not shown).
  • the detection unit 3 detects a first subject as a main subject from the telephoto image.
  • the detection unit 3 detects a first subject by face detection processing and feature point extraction processing.
  • a conventionally known method can be applied to the face detection processing, for example, a method of detecting a face by extracting a skin-colored area in a telephoto image, and a method of matching data indicating face information Can be applied.
  • the feature point extraction process various processes for extracting feature points of an image such as edge detection, corner detection, and straight line detection can be applied, for example.
  • the detection unit 3 according to the present embodiment is preferable because the main subject can be suitably detected.
  • composition correction unit 4 The composition correction unit 4 generates (outputs) a corrected image by correcting the composition of the wide-angle image with reference to the main object information of the first object in the telephoto image.
  • the composition correction unit 4 outputs a corrected image in which the wide-angle image is corrected such that the second object corresponding to the first object in the wide-angle image has a predetermined composition as a main object. This makes it possible to easily output a corrected image corrected to a suitable composition.
  • composition correction unit 4 calculates the correction amount of the wide-angle image for performing the correction, and outputs the corrected image by correcting the composition of the wide-angle image based on the calculated correction amount.
  • the composition correction unit 4 can output the corrected image more accurately and preferably by outputting the corrected image based on the calculated correction amount.
  • the composition correction unit 4 may output a corrected image by correcting the wide-angle image based on the position of the first subject in the telephoto image.
  • the second subject which is the main subject in the second composition, can be appropriately composed without protruding from the wide-angle image.
  • a corrected corrected image can be output.
  • the composition correction unit 4 can output a corrected image of a more preferable composition by correcting the composition of the wide-angle image to any of these compositions.
  • FIG. 2 is a diagram for explaining an example of the symmetry composition.
  • FIG. 3 is a diagram for explaining an example of a three-divided composition.
  • FIG. 4 is a diagram for explaining an example of the sun circle composition.
  • FIG. 5 is a diagram for explaining an example of the diagonal composition.
  • FIG. 6 is a diagram for explaining an example of the triangular composition.
  • the symmetry composition 6 is a composition in which the second object 7 is symmetrical with respect to the image center line 8.
  • the third division composition 9 divides the image into three divisions, and the second subject 12 is disposed at any position among the division points 11 which are intersection points of a plurality of division lines 10.
  • the composition is
  • the sun circle composition 13 is a composition in which the second subject 15 is disposed at the center 14 of the image.
  • the diagonal composition 16 is a composition in which the second objects 17 to 19 and the edge 20 in the image are arranged diagonally.
  • the triangular composition 21 is a composition in which the second object 22 and the edge 23 in the image are arranged in a triangular shape.
  • the composition correction unit 4 selects the composition of the correction image to be corrected from the wide-angle image from among the compositions assumed above.
  • the composition correction unit 4 calculates, for example, a score serving as an index indicating whether or not the position of the second subject in each composition considered is a suitable one for each composition, and compares the scores calculated in each composition By selecting the composition of the corrected image to be corrected from the wide-angle image.
  • the composition correction unit 4 matches the degree of left-right symmetry of the second subject 7 with respect to the image center line 8, that is, how much the second subject 7 is from the image center line 8. Calculate the score by measuring the distance.
  • the composition correction unit 4 is a division point closest to the second object 12 among the plurality of division points 11 at which the position of the second object 12 is the intersection of the plurality of division lines 10 in the case of the three-part composition 9 Calculate the score by measuring how far away from 11.
  • the composition correction unit 4 calculates the score by measuring how far the position of the second subject 15 is from the center 14 of the image.
  • the composition correction unit 4 measures the length of the edge 20 (diagonal) on which the second objects 17 to 19 are arranged or the number of intersections of the diagonals and the second objects 17 to 19 Calculate the score by doing.
  • the composition correction unit 4 calculates the score by measuring the area, the shape, and the position of the center of gravity of the second object 22.
  • the composition correction unit 4 calculates a score of a higher value as the area of the second subject 22 is larger.
  • the composition correction unit 4 calculates a score of a higher value as the shape of the second object 22 is closer to an equilateral triangle or an isosceles triangle. Further, the composition correction unit 4 calculates a score of a higher value as the position of the center of gravity of the second subject 22 approaches the center.
  • the composition correction unit 4 selects the composition of the highest score among the scores calculated in each composition as the composition of the corrected image. That is, the composition correction unit 4 determines which of the compositions the position of the second object in the wide-angle image is most suitable for each composition, and selects a composition to be corrected to a corrected image. This makes it possible to easily output a corrected image corrected to a suitable composition.
  • each composition may be prioritized in advance, and the composition correction unit 4 may select a composition having a high priority. Further, the composition correction unit 4 may allow the user to select which composition among the compositions with the highest score to be corrected. In this case, the composition correction unit 4 can acquire information of the composition selected by the user via, for example, the input unit 2.
  • the composition correction unit 4 selects the composition of the corrected image by comparing the scores calculated in the respective compositions, but the present invention is not limited to this.
  • the composition correction unit 4 prioritizes each composition, compares the score calculated in each composition with a preset threshold in the order of priority, and calculates the score calculated in a certain composition.
  • the composition may be selected as the composition of the correction image. As a result, it is possible to output a corrected image that is a composition desired by the user and corrected to a suitable composition.
  • the composition correction unit 4 may generate a correction image by selecting a composition while rotating the wide-angle image as necessary, and cutting out a part of the composition.
  • the composition correction unit 4 selects the composition of the rotation amount X1, the cutout position X2 and the range X3 that gives the highest score while changing the rotation amount X1, the cutout position X2 and the range X3 with respect to the wide-angle image before correction. May be
  • the composition correction unit 4 calculates the correction amount from the position of the second object in the wide-angle image before correction from the position and the range of the second object assumed after correcting the wide-angle image to the selected composition, A corrected image is output based on the correction amount.
  • the correction amount mentioned here means the rotation amount Y1 of the wide-angle image, the translation amount Y2, and the correction amount Y3 of the range.
  • the rotation amount Y1 means the rotation amount Y1 of the wide-angle image for moving from the position of the second object in the wide-angle image before correction to the position of the second object after composition correction.
  • the translation amount means a translation amount for moving from the position of the second object before composition correction to the position of the second object after composition correction.
  • the range means the range of the wide-angle image after composition correction with respect to the wide-angle image before composition correction, or the correction amount of the number of vertical and horizontal pixels.
  • the composition correction unit 4 outputs a corrected image based on at least one or more elements that can be these correction amounts.
  • the composition correction unit 4 calculates the amount of rotation Y1, the amount of translation Y2, and the amount of correction Y3 of the range from the amount of rotation X1 from the wide-angle image of the selected composition, the cutout position X2 and the range X3. For example, the composition correction unit 4 calculates the value of the rotation amount Y1 as X1, the value of the translation amount Y2 as -X2, and the value of the correction amount Y3 of the range as a difference value of the size of the range X3 with respect to the image size before correction. May be
  • FIG. 7 is a view for explaining an example of composition correction using a telephoto image. As shown in FIG. 7, when the image range of the telephoto image is the image range 24, the subject (first subject) 25 is at the image end, and sufficient translational correction can not be performed. Can not get.
  • composition correction processing may be performed on an object different from the main object intended by the user.
  • the image range of the wide-angle image is the image range 27 of the whole scene
  • the main subject intended by the user is the subject 25, but the composition may be corrected with the main subject as the subject 26 is there.
  • the same scene is photographed for the telephoto image and the wide-angle image, and the composition correction unit 4 analyzes the first subject and the composition in the telephoto image. Then, the composition is corrected in the wide-angle image.
  • the composition correction unit 4 performs composition correction so that the subject in the wide-angle image, which is the same subject as the subject in the telephoto image, is disposed at a position corresponding to the subject in the telephoto image.
  • the composition correction unit 4 composes the wide-angle image even without adjustment by the user. It can be output easily and suitably.
  • composition correction unit 4 (Specific example of composition correction)
  • the detection unit 3 estimates the first subject intended by the user as the subject 25 by face detection or feature point detection.
  • the composition correction unit 4 sets information indicating the area of the subject 25 as main subject information.
  • the composition correction unit 4 corrects the composition of the wide-angle image with reference to the main subject information of the subject 25.
  • the composition correction unit 4 selects a composition in which the second object in the wide-angle image is suitably disposed, which corresponds to the object 25 which is the first object in the telephoto image.
  • FIGS. 8 and 9 are diagrams for explaining an example of selection of the composition of the wide-angle image by the composition correction unit 4.
  • the composition correction unit 4 corrects the three-part composition 29 It is selected preferentially as the composition of the image.
  • the composition correction unit 4 prioritizes the day composition 33 as the composition of the correction image.
  • the composition correction unit 4 calculates the main subject information from the telephoto image, but may calculate the main subject information from the wide-angle image based on the first subject in the telephoto image. With such a configuration, the same effect as the above-described configuration can be obtained. For example, the composition correction unit 4 estimates the subject in the range where the telephoto image is captured in the wide-angle image as the main subject corresponding to the first subject based on the shooting conditions of the telephoto image and the wide-angle image. Good. Then, the composition correction unit 4 may analyze the main subject or may weight the result of the subject analysis. In addition, the composition correction unit 4 estimates the range in which the telephoto image is captured in the wide-angle image by matching the telephoto image in the wide-angle image, and performs subject analysis in the estimated range, or the result of subject analysis. May be weighted.
  • the main subject information may include information indicating the importance of a plurality of subjects.
  • the composition correction unit 4 can refer to the information indicating the importance of the plurality of subjects, and regard the subject with the highest degree of importance as the second subject.
  • the composition correction unit 4 selects a composition in which subjects with high importance are placed at suitable positions in the image, and subjects with low importance are also placed in the image, whereby composition corresponding to a plurality of subjects is made. Corrections can be made. If the main subject information includes information indicating that the first subject does not exist in the telephoto image, the composition correction unit 4 analyzes the main subject in the wide-angle image to calculate the main subject information, and the composition A correction may be made.
  • the output unit 5 outputs the image information of the corrected image to a display unit (not shown) or a storage unit (not shown) in an image pickup device described later.
  • FIG. 10 is a flowchart for explaining an example of image processing by the image processing apparatus 1.
  • the image processing apparatus 1 performs the determination process by executing steps S1 to S8 described below.
  • Step S1 The input unit 2 of the image processing apparatus 1 receives an input of image information of a telephoto image and a wide-angle image which is image information of a plurality of images with different angle of view in which the same subject is photographed. That is, the input unit 2 acquires a telephoto image and a wide-angle image (acquisition step).
  • Step S2 The detection unit 3 of the image processing apparatus 1 detects a first subject to be a main subject from the telephoto image (detection step).
  • Step S3 The composition correction unit 4 of the image processing apparatus 1 refers to the detected main subject information of the first subject, and corrects the correction amount and score of each composition when correcting a wide-angle image to each composition assumed. calculate.
  • Step S4 The composition correction unit 4 determines whether or not the correction amount and the score in the case of correcting the composition of the wide-angle image have been calculated for all the compositions. If the composition correction unit 4 determines that the calculation processing of the correction amount and the score is not completed even for some compositions (N in step S4), the process returns to step S3. If the composition correction unit 4 determines that the calculation processing of correction amounts and scores for all compositions has been completed (Y in step S4), the process proceeds to step S5.
  • Step S5 The composition correction unit 4 compares the score of each composition to be corrected from the wide-angle image.
  • Step S6 The composition correction unit 4 selects the composition of the highest score among the scores of each composition as the composition of the correction image. That is, the composition correction unit 4 selects a composition in which the second object of the wide-angle image is most suitably arranged.
  • Step S7 Based on the selected composition and correction amount, the composition correction unit 4 outputs a corrected image obtained by correcting the wide-angle image to a composition in which the second subject corresponding to the first object in the wide-angle image is the main subject. . Thereby, the composition correction unit 4 outputs a corrected image (composition correction step).
  • Step S8 The output unit 5 outputs the image information of the corrected image (output step).
  • the image processing apparatus 1 can output a corrected image in which the second subject intended by the user is disposed at a suitable position.
  • the composition correction unit 4 calculates the score of the composition and selection only for the wide-angle image. However, in the present embodiment, the composition correction unit 4 performs the calculation of the first subject (subject) in the telephoto image.
  • the composition of the corrected image may be determined based on the arrangement.
  • the composition correction unit 4 outputs, as composition point information, the composition point P1 that is the position closest to the center position of the first subject. Then, when calculating the composition score using the wide-angle image, the composition correction unit 4 refers to the composition point information and calculates a composition point P2 at the same position as the composition point P1 in the corrected image. Then, the composition correction unit 4 outputs a correction image so as to arrange the second subject at the composition point P2. As an example, in FIG. 7, since the position of the subject 25 as the first subject is located on the composition line on the right side of the three-part composition of the telephoto image, the composition correction unit 4 sets the composition line on the right side of the three-part composition. The composition point is P1.
  • the composition correction unit 4 divides the composition into three parts so that the subject 28 as the second subject is disposed on the dotted line 30 which is the composition point P2 in the wide angle view corresponding to the composition point P1 in the telephoto view. Select 29.
  • the second object corresponding to the first object intended by the user in the telephoto image can be arranged at the point of the composition intended by the user in the wide-angle image, and a more preferable corrected image can be output.
  • the composition correction unit 4 may not select a composition in which the proportion of the second object in the corrected image is equal to or less than the threshold. As a result, it is possible to realize composition correction in which the second object is not too small in the corrected image. As a result, the second subject intended by the user can be more easily gazed, and a more suitable corrected image can be output.
  • the composition correction unit 4 of the image processing apparatus 1 always outputs the corrected image regardless of the value of the correction amount, but as in the second embodiment, the corrected image may be output depending on the value of the correction amount It may function as a composition correction unit 54 (not shown) that does not output
  • An image processing apparatus 51 (not shown) according to the present embodiment has the same configuration as the image processing apparatus 1 according to the first embodiment except that the image processing apparatus 51 (not shown) includes a composition correction unit 54 instead of the composition correction unit 4. is there.
  • composition correction unit 54 When outputting the corrected image, the composition correcting unit 54 determines whether to output the corrected image from the wide-angle image according to the comparison result of the correction amount of the composition and the threshold.
  • the composition correction unit 54 has the same function as the composition correction unit 4 except for the above.
  • the composition correction unit 54 when the correction amount of the selected composition is less than the threshold, the composition correction unit 54 does not output the correction image of the selected composition from the wide-angle image, and the correction amount is equal to or more than the threshold. Outputs a corrected image of the selected composition.
  • the corrected image output from the output unit 5 Is an image in which the pixels in the first row of the wide-angle image input to the input unit 2 are cut off. In this case, the wide-angle image and the correction image are extremely similar.
  • the output unit 5 when the output unit 5 outputs a correction image to a storage unit (not shown) and stores the correction image, the storage area of the storage unit is unnecessarily reduced by storing the correction image similar to the wide-angle image. There is a risk of
  • the composition correction unit 54 when the amount of correction is small, the composition correction unit 54 does not output a correction image similar to the wide-angle image.
  • the composition correction unit 54 can output a corrected image so that the wide-angle image and the corrected image are not similar. As a result, it is possible to output a corrected image in which the user can feel a high composition correction effect.
  • the composition correction unit 54 may set each element such as the amount of rotation, the amount of translation, and the range that constitutes the correction value, or set all of these elements as a part. It is also good. For example, when the composition correction unit 54 sets the threshold of the rotation amount to 1 degree, among the elements of the correction amount, whether the other elements exceed the threshold for those whose rotation amount is less than 1 degree Regardless of whether or not the correction image is not output.
  • FIG. 11 is a flowchart for explaining an example of image processing by the image processing apparatus 51 according to the present embodiment.
  • steps S11 to S16, 18 and 19 shown in FIG. 11 are the same as steps S1 to S8 shown in FIG. 10, only step S17 will be described here.
  • Step S17 The composition correction unit 54 determines whether the amount of correction when correcting from the wide-angle image to the image of the selected composition is equal to or greater than a threshold. If the correction amount to the selected composition is equal to or larger than the threshold (Y in step S17), the process proceeds to step S18. If the correction amount to the selected composition is less than the threshold (N in step S17), that is, if the correction amount from the wide-angle image to the correction image is less than the threshold, the composition correction unit 54 corrects the correction image. The image processing ends without outputting.
  • the composition correction unit 54 determines not to output the correction image of the selected composition from the wide-angle image when the correction amount of the selected composition is less than the threshold. However, it is not limited to this. In the present embodiment, the composition correction unit 54 determines not to output the corrected image when the clipping range at the time of cutting out the corrected image from the wide-angle image is smaller than a separately determined threshold instead of the correction amount. Good.
  • the cutout range means, for example, the ratio of the corrected image to the wide-angle image.
  • the cutout range is composed of two components in the horizontal direction and the vertical direction, and a threshold may be provided for each component.
  • the composition correction unit 54 can set different values as the threshold according to the zoom magnification of the telephoto image.
  • the composition correction unit 54 may set the threshold value higher as the zoom magnification is higher.
  • the composition correction unit 54 in the image processing apparatus 51 has a composition correction effect sufficiently by not outputting a correction image with a small clipping range, and outputs a more preferable correction image. it can.
  • the composition correction unit 54 may determine not to output a correction image of the composition selected from the wide-angle image, when the number of pixels of the selected composition is less than the threshold instead of the correction amount and the clipping range. That is, when the number of pixels of the corrected image is less than the threshold, the composition correcting unit 54 may not output the corrected image.
  • the composition correction unit 54 sets a threshold to a value determined with reference to the number of pixels of the telephoto image. For example, the composition correction unit 54 sets a threshold to N% of the number of pixels of the telephoto image. If the corrected image is output when the number of pixels of the corrected image is low, the resolution of the corrected image is low, and the composition correction effect becomes insufficient. On the other hand, as described above, when the composition correction unit 54 does not output the correction image of the composition selected from the wide-angle image when the number of pixels of the selected composition is less than the threshold, composition correction effect is sufficiently obtained. It is possible to output a more preferable correction image.
  • the composition correction unit 54 limits the output of the corrected image by providing a threshold so that the wide-angle image and the corrected image are not similar, but the present embodiment is not limited thereto.
  • the composition correction unit 54 may limit the output of the corrected image if the telephoto image and the corrected image are similar instead of or in addition to the above-described example.
  • the composition correction unit 54 determines, for example, the degree of similarity between the telephoto image and the output corrected image, and limits the output if they are similar.
  • the composition correction unit 54 can determine the similarity by comparing the gradation values of the respective pixels after matching the resolutions of the respective images of the telephoto image and the correction image.
  • the composition correction unit 54 determines not to output the correction image of the selected composition from the wide-angle image. It is also good. In this case, the composition correction unit 54 sets each element such as the amount of rotation, the amount of translation, and the range constituting the correction value as in the threshold value of the correction amount from the wide-angle image to the correction image. It can be set to a part. As described above, even when the output of the corrected image is limited when the telephoto image and the corrected image are similar to each other, the composition correcting unit 54 can output a more preferable corrected image.
  • the composition correcting unit 54 restricts the output of the corrected image. It is also good.
  • the depth of field differs between the telephoto image and the wide-angle image. Therefore, even if the composition of the telescopic image and the composition of the wide-angle image are similar, the telescopic image with blur in the background area and the wide-angle image with focussed on the whole are taken at the same time. Images can be output. However, when the main subject is present in the distant view of the telescopic image, the depth of field in the telescopic image becomes deep, and there is a high possibility that the telescopic image and the corrected image are similar.
  • the composition correcting unit 54 outputs the corrected image.
  • FIG. 12 is a block diagram showing a schematic configuration of a modification of the image processing apparatus 51.
  • the image processing apparatus 51 may further include a comparing unit 55, and the comparing unit 55 may replace the composition correcting unit 54 with the comparison result of the correction amount of the composition and the threshold.
  • the comparison unit may provide a threshold to limit the output of the corrected image.
  • the composition correction unit 4 of the image processing apparatus 1 corrects the composition of the wide-angle image, but as in the third embodiment, as in the composition correction unit 104 (not shown), The composition of the telephoto image may be corrected.
  • the image processing apparatus 101 includes the image processing apparatus 1 according to the first embodiment except that the image processing apparatus 101 (not shown) includes a composition correction unit 104 (not shown) instead of the composition correction unit 4. It is the same composition.
  • composition correction unit 104 outputs an image in which the telephoto image is corrected without outputting a corrected image in which the wide-angle image is corrected according to the telephoto image.
  • the composition correction unit 104 corrects the composition of the telescopic image and outputs a corrected image if there is a composition capable of arranging the main object at a suitable position among the compositions of the telescopic image, and otherwise the wide-angle image Correct the composition of and output a corrected image. Since the correction of the composition can be performed in the same manner as the composition correction unit 4, the description thereof is omitted.
  • the composition correction unit 104 is a score that indicates whether the position of the main subject in each composition is a suitable position for each composition when the telephoto image is corrected to each possible composition. Calculate Then, when there is a composition in which the score is equal to or higher than the threshold, the composition correction unit 104 corrects the composition of the telephoto image to any one of the compositions in which the score is equal to or higher than the threshold to output a corrected image. Further, when there is no composition whose score is equal to or higher than the threshold, the composition correction unit 104 widens the composition in which the second object corresponding to the first object in the wide-angle image is the main object. Output a corrected image obtained by correcting the image. This makes it possible to easily output a corrected image corrected to a suitable composition.
  • the composition correction unit 104 has a composition capable of arranging the main subject at a preferable position in the composition of the telephoto image, and performs composition correction on the corrected image from the telephoto image when composition correction is possible. If not, the composition correction unit 104 corrects the composition of the wide-angle image with reference to the main subject information of the first subject which is the main subject in the detected telephoto image. As a result, the composition correction unit 104 can output a corrected image that has been subjected to composition correction with a more balanced composition.
  • FIG. 13 is a flowchart for explaining an example of image processing by the image processing apparatus 101 according to the present embodiment.
  • Steps S21, 22, 29 and 31 shown in FIG. 13 are the same as steps S1, 2, 8 and 7 shown in FIG. 10, respectively, so only steps S23 to 28 and 30 will be described here.
  • Step S23 The composition correction unit 104 of the image processing apparatus 101 refers to the detected main subject information of the first subject, and corrects the correction amount of each composition when the composition of the telephoto image is corrected to each possible composition. Calculate the score.
  • Step S24 The composition correction unit 104 determines whether or not the correction amount and the score in the case of correcting the composition of the telephoto image have been calculated for all the compositions. If the composition correction unit 104 determines that the calculation processing of the correction amount and the score is not finished even for some compositions (N in step S24), the process returns to step S23. If the composition correction unit 104 determines that the calculation processing of correction amounts and scores for all compositions has been completed (Y in step S24), the process proceeds to step S25.
  • Step S25 The composition correction unit 104 compares the score of each composition to be corrected from the telephoto image.
  • Step S26 The composition correction unit 104 selects the composition of the highest score among the scores of each composition as the composition of the correction image. That is, the composition correction unit 104 selects a composition in which the main subject of the telephoto image is most suitably arranged.
  • Step S27 The composition correction unit 104 determines whether the amount of correction when correcting from the telephoto image to the image of the selected composition is equal to or greater than a threshold. If the correction amount to the selected composition is equal to or larger than the threshold (Y in step S27), the process proceeds to step S28. If the correction amount to the selected composition is smaller than the threshold (N in step S27), the process proceeds to step S30.
  • Step S28 The composition correction unit 104 corrects the composition of the telephoto image based on the selected composition and the correction amount, and outputs a corrected image. As described above, the composition correction unit 104 outputs an image obtained by correcting the telephoto image without outputting a corrected image obtained by correcting the wide-angle image according to the telephoto image (composition correction step).
  • Step S30 The composition correction unit 104 calculates the correction amount and the score of each composition when the wide-angle image is corrected to each composition assumed, and the composition of the highest score in each composition is the composition of the corrected image select. Since this step is performed in the same manner as steps S3 to S6 in FIG. 10, the detailed description will be omitted.
  • the composition correction unit 4 of the image processing apparatus 1 always outputs a corrected image regardless of the state of pixels.
  • the composition correction unit may function as a composition correction unit 154 (not shown) that does not output a corrected image depending on the state of the pixel.
  • An image processing apparatus 151 (not shown) according to the present embodiment has the same configuration as the image processing apparatus 1 according to the first embodiment except that the image processing apparatus 151 (not shown) includes a composition correction unit 154 instead of the composition correction unit 4. is there.
  • composition correction unit 154 determines whether or not to output a corrected image, based on the state of the pixels of the second object area in the wide-angle image, which corresponds to the first object area in the telephoto image.
  • the composition correcting unit 154 outputs only a corrected image having a well-balanced composition and a good pixel state by not outputting a corrected image having a bad state of a pixel such as blur, black crushing, and overexposure. be able to.
  • composition correction unit 154 The function of the composition correction unit 154 will be described below by taking the degree of focusing as an example of the state of the pixel. In this case, the composition correction unit 154 outputs or does not output a corrected image according to the degree of focusing of the second object in the wide-angle image.
  • the composition correction unit 154 first measures the degree of focusing of the second object region in the wide-angle image, which corresponds to the first object region in the telephoto image.
  • the composition correction unit 154 can measure the degree of focusing by a general-purpose method using a point spread function.
  • the composition correction unit 154 outputs a corrected image when the degree of focusing of the second subject region is equal to or greater than the threshold, and does not output a corrected image when the degree of focusing is less than the threshold.
  • the composition correction unit 154 may set the threshold to, for example, the degree of focusing of the first subject region.
  • the shooting conditions for the telephoto image and the shooting conditions for the corrected image are different. Therefore, even with a well-balanced composition, a corrected image with a low degree of focusing may be output.
  • the focal position and exposure of the imaging unit for capturing a wide-angle image are set according to the imaging unit for capturing a telephoto image, and the imaging conditions for the telephoto image and the imaging conditions for the wide-angle image are set. Can be adjusted. However, if part of the second subject area extends beyond the angle of view of the telescopic image, the state of the area which has extended is not reflected in the setting, and the degree of focus of that area may be low. .
  • the composition correction unit 154 does not output a corrected image with a low degree of focusing even if the composition is well balanced, so the composition is a well balanced composition, and Only high corrected images can be output.
  • FIG. 14 is a flowchart for explaining an example of image processing by the image processing apparatus 151 according to the present embodiment.
  • the case where the composition correction unit 154 of the image processing apparatus 151 outputs a corrected image based on the degree of focusing will be described as an example of the state of the pixel.
  • Step S41 shown in FIG. 14 corresponds to steps S1 to S6 shown in FIG. 10, and steps S46 and S47 shown in FIG. 14 are similar to steps S7 and S8 shown in FIG. Will be explained only.
  • Step S42 The composition correction unit 154 measures a second subject area in the wide-angle image, which corresponds to the first subject area in the telephoto image.
  • Step S43 The composition correction unit 154 measures the degree of focusing of the second subject area.
  • Step S44 The composition correction unit 154 measures the degree of focusing of the first subject area and sets it as a threshold.
  • Step S45 The composition correction unit 154 outputs or does not output a corrected image according to the degree of focusing of the second object in the wide-angle image. More specifically, the composition correction unit 154 determines whether or not the degree of focus of the second subject area is equal to or higher than the degree of focus of the first subject area, that is, whether or not it is equal to or higher than a threshold. Do. If the degree of focusing of the second subject area is equal to or greater than the threshold (Y in step S45), the process proceeds to step S46. If the degree of focus of the second subject area is less than the threshold (N in step S45), the corrected image is not output, and the image processing ends.
  • the composition correction unit 154 determines whether or not to output a corrected image based on the value of the in-focus degree, but the present embodiment is not limited to this. In the present embodiment, the composition correction unit 154 determines whether or not to output a corrected image according to the motion blur amount indicating the blur amount of the still image portion instead of the focusing degree as the pixel state. It is also good. That is, the composition correction unit 154 outputs or does not output a corrected image according to the motion blur amount.
  • the composition correction unit 154 measures the amount of motion blur of the second subject region using a general-purpose motion detection method.
  • the composition correction unit 154 outputs a corrected image when the motion blur amount of the second object region is equal to or less than the threshold, and does not output a corrected image when the motion blur amount is larger than the threshold.
  • the composition correction unit 154 may set the threshold to, for example, the motion blur amount of the first subject region. According to the above-described configuration, the composition correction unit 154 does not output a corrected image with a low amount of motion blur even if the composition is a well-balanced composition, and thus a corrected image with a low amount of motion blur. Can only output.
  • the composition correction unit 154 may determine whether or not to output a corrected image according to the brightness instead of the above-described example as the state of the pixel. That is, the composition correction unit 154 outputs or does not output a corrected image according to the brightness.
  • the composition correction unit 154 measures the degree of brightness of the second subject region by a general-purpose method.
  • the composition correction unit 154 outputs a corrected image when the degree of brightness of the second subject region is within the predetermined range, and when the degree of brightness of the second object region is outside the predetermined range, Do not output a corrected image.
  • the composition correction unit 154 may regard brightness within a predetermined range, for example, when whiteout or blackout has not occurred.
  • the composition correction unit 154 limits the output of the corrected image when the degree of brightness is out of the predetermined range. As a result, the composition correction unit 154 does not output a corrected image with whiteout or blackout even with a well-balanced composition, and therefore outputs only a corrected image without a whiteout or blackout, which is well-balanced. can do.
  • the composition correction unit 154 determines whether to output a corrected image by appropriately combining the determination of the degree of focusing, the determination of the amount of motion blur, and the determination of the degree of brightness described in each of the above-described examples. It is also good. For example, the composition correction unit 154 may output a corrected image when the degree of focusing, the amount of motion blur, and the degree of brightness all satisfy the determination conditions. This makes it possible to output a well-balanced and more preferable corrected image.
  • FIG. 15 is a functional block diagram showing the configuration of an image pickup device 110 according to the fifth embodiment of the present invention.
  • the image pickup device 110 according to this embodiment includes the image processing device 1 according to the first embodiment, a first image pickup unit 111, a second image pickup unit 112, and a display unit 113. And a storage unit 114.
  • the image pickup device 110 outputs a corrected image by the image processing device 1 based on the telephoto image and the wide angle image picked up by the first image pickup unit 111 and the second image pickup unit 112, and the corrected image is displayed on the display unit 113. , Or stored in the storage unit 114. Therefore, like the image processing apparatus 1 described above, the image pickup apparatus 110 can perform composition correction using a wide-angle image while referring to the first object of the telephoto image. As a result, even when the first object is out of the telephoto image and the composition correction using the telephoto image is difficult, it is possible to output a corrected image in which the composition is well corrected and the composition is suitably corrected.
  • the first imaging unit 111 captures a telephoto image
  • the second imaging unit 112 captures a wide-angle image.
  • the first imaging unit 111 and the second imaging unit 112 each include an imaging lens and an imaging device such as a charge coupled device (CCD) sensor and a complementary metal oxide semiconductor (CMOS) sensor.
  • CMOS complementary metal oxide semiconductor
  • the first imaging unit 111 captures an image (still image or moving image) including the first subject
  • the second imaging unit 112 captures an image including the second subject. Since the first imaging unit 111 and the second imaging unit 112 have different focal lengths, it is possible to capture a telephoto image and a wide-angle image, respectively.
  • the display unit 113 displays a corrected image including text information, main subject information, and the like.
  • the display unit 113 is a display screen such as an LCD (Liquid Crystal Display) and an organic EL (Electro Luminescence) display.
  • the user uses the correction image displayed on the display unit 113 as a preview, and while confirming the correction image, instructs the user to store the correction image in the storage unit 114 through the input unit 2 as necessary. Good.
  • the instruction to be input to the input unit 2 can be performed, for example, by an operation such as pressing a shutter button of the input unit 2.
  • the display unit 113 may display a telephoto image instead of the corrected image.
  • the storage unit 114 stores an image such as a corrected image, a telephoto image, and a wide-angle image in a storage medium, or reads an image stored in the storage medium and outputs the image to the image processing apparatus 1. It consists of a hard disk etc.
  • FIG. 16 is a flowchart for explaining an example of image processing by the image pickup device 110 according to the present embodiment.
  • step S52 shown in FIG. 16 corresponds to steps S1 to S8 shown in FIG. 10, only steps S51 and 53 will be described here.
  • Step S51 The first imaging unit 111 and the second imaging unit 112 capture a telephoto image and a wide-angle image, or read a telephoto image and a wide-angle image from the storage unit 114, and the input unit 2 of the image processing apparatus 1 Enter in
  • Step S53 When the output unit 5 of the image processing apparatus 1 outputs the image information of the corrected image to the display unit 113, the display unit 113 displays the corrected image.
  • the storage unit 114 stores the corrected image.
  • the image pickup apparatus 110 including the image processing apparatus 1 has been described. However, even if the image pickup apparatus 110 includes any of the image processing apparatuses 51, 101 and 151 instead of the image processing apparatus 1. Good. In this case, the image pickup device 110 has the functions of the respective image processing devices instead of the function of the image processing device 1, and all components other than the composition correction unit can be operated in the same manner.
  • the image pickup device 110 displays a telephoto image on the display unit 113 instead of the corrected image, or a telephoto image. May be stored in the storage unit 114.
  • the image pickup device 110 displays only the corrected image or the telephoto image on the display unit 113, but the present embodiment is not limited to this.
  • the image pickup device 110 may simultaneously display the corrected image and the telephoto image on the display unit 113.
  • the user may recombine the composition of the telephoto image while confirming the corrected image displayed on the display unit 113.
  • the user can issue an instruction to store the corrected image in the storage unit 114 via the input unit 2 when the corrected image having a suitable composition becomes suitable.
  • the image processing apparatus 1 in the image pickup device 110 does not output the corrected image, and the telephoto image is not generated. Only the display unit 113 may be displayed or stored in the storage unit 114.
  • the image pickup apparatus 110 includes the storage unit 114.
  • the storage unit 114 is not an essential component, and the image pickup apparatus 110 may not include the storage unit 114. Also in this case, the image pickup device 110 can easily output a corrected image corrected to a suitable composition.
  • control blocks of the image processing apparatuses 1, 51, 101 and 151 are realized by logic circuits (hardware) formed in an integrated circuit (IC chip) or the like. It may be realized by software.
  • control blocks of the image processing apparatuses 1, 51, 101 and 151 can be realized by hardware such as an application specific integrated circuit (ASIC) and a field programmable gate array (FPGA).
  • ASIC application specific integrated circuit
  • FPGA field programmable gate array
  • the image processing apparatuses 1, 51, 101, and 151 each include a computer that executes a program instruction that is software that implements each function.
  • the computer includes, for example, at least one processor (control device), at least one computer readable storage medium storing the program, and includes an OS and hardware such as peripheral devices.
  • the computer also includes a homepage providing environment (or display environment) if the WWW system is used.
  • the processor reads the program from the recording medium and executes the program to achieve the object of the present invention.
  • a central processing unit (CPU) and a graphic processing unit (GPU) can be used.
  • the recording medium in addition to a “non-temporary tangible medium”, for example, a ROM (Read Only Memory), a tape, a disk, a card, a semiconductor memory, a programmable logic circuit, or the like can be used.
  • a RAM Random Access Memory
  • the program may be supplied to the computer via any transmission medium (communication network, broadcast wave, etc.) capable of transmitting the program.
  • any transmission medium communication network, broadcast wave, etc.
  • one aspect of the present invention can also be realized in the form of a data signal embedded in a carrier wave in which the program is embodied by electronic transmission.
  • An image processing apparatus (1, 51, 101, 151) is an acquisition unit (input unit for acquiring a first image and a second image having a wider angle of view than the first image Part 2), a detection part (3) for detecting a first subject (25) as a main subject from the first image, and a second part corresponding to the first subject (25) in the second image Composition correction unit (4, 54, 104, 154) that outputs a corrected image obtained by correcting the second image to a composition in which two subjects (7, 12, 15, 17, 18, 19, 22) are main subjects ) And.
  • the composition correction unit (4, 54, 104, 154) according to aspect 1 is the first subject in the first image.
  • the second image may be corrected based on the position of (25).
  • the composition correction unit (54) according to aspect 1 or 2 determines that the correction amount from the second image to the correction image is less than a threshold.
  • the correction image may not be output.
  • the composition correction unit can output a corrected image so that the second image and the corrected image are not similar. As a result, it is possible to output a corrected image in which the user can feel the composition correction effect.
  • the composition correction unit (54) determines that the number of pixels of the corrected image is less than the threshold value The corrected image may not be output.
  • the composition correction unit when the composition correction unit does not output the correction image of the composition selected from the second image when the number of pixels of the selected composition is less than the threshold, the composition correction effect is sufficiently obtained. A more preferable correction image can be output.
  • the composition correction unit (104) in any one of the aspects 1 to 4 does not output the corrected image according to the first image.
  • an image obtained by correcting the first image may be output.
  • the composition correction unit can output a corrected image that has been subjected to composition correction with a more balanced composition.
  • the composition correction unit (154) according to any one of aspects 1 to 5 is the state of the pixel of the second object in the second image.
  • the correction image may or may not be output depending on the situation.
  • the composition correction unit does not output a corrected image having a bad state of a pixel such as blur, blackening, and overexposure in the second image, so that the composition is well-balanced. And, it is possible to output only a corrected image in which the state of the pixel is good.
  • the composition correction unit (154) determines the degree of focusing of the second object in the second image.
  • the correction image may or may not be output depending on the situation.
  • the composition correction unit does not have to output a corrected image with a low degree of focus even if the composition is a well-balanced composition, so that the composition is a well-balanced composition and Only high correction images can be output.
  • the composition correction unit (154) according to any one of aspects 1 to 7 is the motion blur amount of the second object in the second image.
  • the correction image may or may not be output depending on the situation.
  • the composition correction unit does not have to output a corrected image having a large amount of motion blur even if the composition is a well-balanced composition. Only low correction images can be output.
  • the composition correction unit (154) according to any one of aspects 1 to 8 relates to the brightness of the second object in the second image.
  • the corrected image may or may not be output.
  • the composition correction unit does not have to output a corrected image having whiteout or blackout even if the composition is a well-balanced composition, so the balance is good and whiteout or black is crushed. It is possible to output only the corrected image without.
  • the first subject (25) in any one of the aspects 1 to 9 may be a face.
  • the detection unit in the image processing apparatus can preferably detect the first subject particularly when the first subject is a face.
  • An image pickup apparatus (110) picks up a first image pickup section (111) which picks up a first image, and picks up a second image whose angle of view is wider than the first image.
  • a detection unit (3) for detecting a first subject (25) to be a main subject from the second subject (7, 12, 15,...)
  • the composition correction unit (4, 54, 104, 154) for outputting a corrected image obtained by correcting the second image in a composition in which the main subject is 17, 18, 19, 22) and a display for displaying the corrected image And a unit (113).
  • the image pickup device has the same effect as the image processing device according to an aspect of the present invention.
  • An image processing method includes a first image and an acquisition step of acquiring a second image having a wider angle of view than the first image, and a main subject from the first image And a second object (7, 12, 15, 17, 18, 19, 22) corresponding to the first object (25) in the second image. And a composition correction step of outputting a corrected image obtained by correcting the second image in the composition serving as the subject.
  • the image processing method according to an aspect of the present invention has the same effect as the image processing device according to an aspect of the present invention.
  • the image processing apparatus (1, 51, 101, 151) may be realized by a computer, in which case the image processing apparatus (1, 51, 101, 151) Control program for the image processing apparatus (1, 51, 101, 151) that causes the computer to realize the image processing apparatus (1, 51, 101, 151) by operating as each component (software element) included Computer readable recording media are also within the scope of the present invention.

Abstract

好適な構図に補正した補正画像を容易に出力することができる画像処理装置、画像撮像装置、画像処理方法、およびプログラムを提供する。画像処理装置（１）は、第一の画像、および、前記第一の画像よりも画角が広い第二の画像を取得する入力部（２）と、第一の画像から主要被写体となる第一の被写体を検出する検出部（３）と、第二の画像において第一の被写体に対応する第二の被写体が主要被写体となる構図に、第二の画像を補正した補正画像を出力する構図補正部（４）と、を備えている。

Description

画像処理装置、画像撮像装置、画像処理方法およびプログラム
　本発明は、画像処理装置、画像処理方法およびプログラムに関する。
　本願は、２０１７年１１月１０日に、日本に出願された特願２０１７－２１７５４０に優先権を主張し、その内容をここに援用する。
　撮影した画像から主要被写体を推定し、当該画像の一部を切り出すことにより構図を補正する画像処理装置が知られている。
　また、画角の異なる複数の撮像部を搭載した画像処理装置では、１回の撮影で望遠画像および広角画像を取得することができる。
　特許文献１には、画角が異なる２つの撮像部を備え、表示部に表示された広角画像における切り出し範囲をユーザが変更することにより、望遠画像と、広角画像から被斜体が含まれるように切り出されたトリミングワイド画像とを取得する撮像装置および撮像方法が開示されている。
特開２０１１－２１１５５２号（２０１１年１０月２０日公開）
　しかしながら、特許文献１に開示された撮像装置および撮像方法によれば、広角画像における切り出し範囲は、一方の撮像部の焦点距離（撮影倍率）によってサイズが決定され、位置はユーザが調整する必要がある。つまり、撮影するシーンによって、焦点距離から自動で決定されたサイズではないサイズの方が、より好適な切り出しサイズである場合がある。また、ユーザの構図に関する知識が不十分であったり、ユーザによる切り出し位置の調整が不十分であったりする場合は、好適な構図のトリミングワイド画像（補正画像）とならない可能性がある。
　そこで、本発明は上記課題を鑑みて、好適な構図に補正した補正画像を容易に出力することができる画像処理装置、画像撮像装置、画像処理方法、およびプログラムを提供することを目的とする。
　上記の課題を解決するために、本発明の一態様に係る画像処理装置は、第一の画像、および、前記第一の画像よりも画角が広い第二の画像を取得する取得部と、前記第一の画像から主要被写体となる第一の被写体を検出する検出部と、前記第二の画像において前記第一の被写体に対応する第二の被写体が主要被写体となる構図に、前記第二の画像を補正した補正画像を出力する構図補正部と、を備えていることを特徴とする。
　本発明の一態様に係る画像撮像装置は、第一の画像を撮像する第一の撮像部と、前記第一の画像よりも画角が広い第二の画像を撮像する第二の撮像部と、前記第一の画像、および、前記第一の画像よりも画角が広い第二の画像を取得する取得部と、前記第一の画像から主要被写体となる第一の被写体を検出する検出部と、前記第二の画像において前記第一の被写体に対応する第二の被写体が主要被写体となる構図に、前記第二の画像を補正した補正画像を出力する構図補正部と、前記補正画像を表示する表示部と、を備えている。
　本発明の一態様に係る画像処理方法は、第一の画像、および、前記第一の画像よりも画角が広い第二の画像を取得する取得ステップと、前記第一の画像から主要被写体となる第一の被写体を検出する検出ステップと、前記第二の画像において前記第一の被写体に対応する第二の被写体が主要被写体となる構図に、前記第二の画像を補正した補正画像を出力する構図補正ステップと、を含むことを特徴とする。
　本発明の一態様によれば、好適な構図に補正した補正画像を容易に出力することができる画像処理装置、画像撮像装置、画像処理方法、およびプログラムを提供することができる。
本発明の第一の実施形態に係る画像処理装置の概略構成の一例を示すブロック図である。 シンメトリ構図の一例を説明するための図である。 三分割構図の一例を説明するための図である。 日の丸構図の一例を説明するための図である。 対角線構図の一例を説明するための図である。 三角構図の一例を説明するための図である。 望遠画像を用いた構図の補正の一例を説明するための図である。 構図補正部による広角画像の構図の選択の一例について説明するための図である。 構図補正部による広角画像の構図の選択の一例について説明するための図である。 本発明の第一の実施形態に係る画像処理装置による画像処理の一例を説明するためのフローチャートである。 本発明の第二の実施形態に係る画像処理装置による画像処理の一例を説明するためのフローチャートである。 本発明の第二の実施形態に係る画像処理装置の変形例の概略構成を示すブロック図である。 本発明の第三の実施形態に係る画像処理装置による画像処理の一例を説明するためのフローチャートである。 本発明の第四の実施形態に係る画像処理装置による画像処理の一例を説明するためのフローチャートである。 本発明の第五の実施形態に係る画像撮像装置の概略構成の一例を示すブロック図である。 本発明の第五の実施形態に係る画像撮像装置による画像処理の一例を説明するためのフローチャートである。
　本発明に係る各実施形態について、添付図面を参照することによって以下に詳細に説明する。各添付図面は、本発明の原理に則った具体的な実施形態を示すに過ぎない。これらは本発明の理解のために用意されたに過ぎず、決して本発明を限定的に解釈させるためのものではない。また、各添付図面に図示される各部材は、本発明の理解を深めるために敢えて誇張して記載されているので、実際の各部材の間隔および大きさとは異なることに留意すべきである。
　以下の説明において、ある図面においてある部材に付された符号と同じ符号が他の図面内の同一の部材にも付されている場合、当該同一の部材の構成および機能などは当該ある部材と同一であるため、当該同一の部材についての詳細な説明を省略する。また、以下に記載される「画像」とは、静止画像および動画像の両方を含む意味のものである。さらに、動画像に音声情報が含まれる場合、「画像」は音声情報も含むものとする。
　＜第一の実施形態＞
　本発明の第一の実施形態に係る画像処理装置１について、図１～１０を用いて以下に説明する。
　〔画像処理装置１〕
　図１は、本発明の第一の実施形態に係る画像処理装置１の構成を示す機能ブロック図である。図１に示すように、画像処理装置１は、入力部（取得部）２と検出部３と構図補正部４と出力部５とを備えている。本実施形態に係る画像処理装置１では、図１に示すように、入力部２には、第一の画像および第二の画像の画像情報が入力される。続いて、画像処理装置１の出力部５が、構図補正部４により第二の画像の構図が補正された補正画像（出力画像）を出力する。
　ここで、第二の画像は、第一の画像よりも画角が広い広角の画像である。以下では、説明の簡略化のため、第一の画像を望遠画像、第二の画像を広角画像として扱うことにする。
　［入力部２］
　入力部２は、同一の被写体を撮影した画角の異なる複数の画像の画像情報が入力される。すなわち、入力部２は、望遠画像および広角画像を取得する。入力部２に入力される画像情報としては、撮像素子により撮影された画像情報および記憶部（不図示）に記憶された画像情報などを挙げることができる。
　［検出部３］
　検出部３は、望遠画像から主要被写体となる第一の被写体を検出する。本実施形態において、検出部３は、顔検出処理および特徴点抽出処理により第一の被写体を検出する。顔検出処理には、従来公知の方法を適用することができ、例えば、望遠画像内の肌色の領域を抽出することで顔を検出する方法、および、顔情報を示すデータとのマッチングをする方法を適用することができる。特徴点抽出処理には、例えば、エッジ検出、コーナー検出、および、直線検出などの画像の特徴点を抽出するための様々な処理を適用することができる。本実施形態に係る検出部３は、特に、主要被写体が顔である場合に、主要被写体を好適に検出できるため好ましい。
　［構図補正部４］
　構図補正部４は、望遠画像における第一の被写体の主要被写体情報を参照して広角画像の構図を補正することで補正画像を生成（出力）する。構図補正部４は、広角画像において第一の被写体に対応する第二の被写体が主要被写体となる所定の構図となるように、広角画像を補正した補正画像を出力する。これにより、好適な構図に補正した補正画像を容易に出力することができる。
　また、構図補正部４は、当該補正を行うための広角画像の補正量を算出し、算出した補正量に基づいて広角画像の構図を補正することで補正画像を出力する。構図補正部４は、算出した補正量に基づいて補正画像を出力することで、より正確かつ好適に補正画像を出力することができる。
　一態様において、構図補正部４は、望遠画像における第一の被写体の位置に基づいて、広角画像を補正することで補正画像を出力してもよい。望遠画像における第一の被写体の位置に基づいて広角画像の構図を所定の構図に補正することで、第二の構図における主要被写体である第二の被写体が広角画像からはみ出ずに好適な構図に補正した補正画像を出力することができる。
　また、所定の構図としては、例えば、シンメトリ構図、三分割構図、日の丸構図、対角線構図および三角構図などが挙げられる。構図補正部４は、これらの構図のいずれかに広角画像の構図を補正することで、より好適な構図の補正画像を出力することができる。
　（シンメトリ構図、三分割構図、日の丸構図、対角線構図および三角構図）
　以下に、シンメトリ構図、三分割構図、日の丸構図、対角線構図および三角構図について図２～６を用いて説明する。図２はシンメトリ構図の一例を説明するための図である。図３は三分割構図の一例を説明するための図である。図４は日の丸構図の一例を説明するための図である。図５は対角線構図の一例を説明するための図である。図６は三角構図の一例を説明するための図である。
　図２に示すように、シンメトリ構図６は、第二の被写体７が画像中心線８に対して左右対称になる構図である。図３に示すように、三分割構図９は、画像を三分割に分割し、複数の分割線１０の交点である分割点１１のうちのいずれかの位置に、第二の被写体１２が配置される構図である。図４に示すように、日の丸構図１３は、画像の中心１４に第二の被写体１５が配置される構図である。図５に示すように、対角線構図１６は、画像内の第二の被写体１７～１９およびエッジ２０が対角線上に配置される構図である。図６に示すように、三角構図２１は、画像内の第二の被写体２２およびエッジ２３が三角形状となるように配置される構図である。
　構図補正部４は、広角画像から補正する補正画像の構図を、上述に想定される各構図の中から選択する。
　構図補正部４は、例えば、想定される各構図における第二の被写体の位置が、各構図にとって好適な一であるかどうかを示す指標となるスコアとして算出し、各構図で算出したスコアを比較することによって、広角画像から補正する補正画像の構図を選択する。
　構図補正部４は、シンメトリ構図６の場合には、画像中心線８に対する第二の被写体７の左右対称の度合いをマッチングすることで、すなわち、画像中心線８から第二の被写体７がどれだけ離れているかを測定することでスコアを算出する。
　構図補正部４は、三分割構図９の場合には、第二の被写体１２の位置が複数の分割線１０の交点である複数の分割点１１のうち、最も第二の被写体１２に近い分割点１１からどれだけ離れているかを測定することでスコアを算出する。
　構図補正部４は、日の丸構図１３の場合には、第二の被写体１５の位置が画像の中心１４からどれだけ離れているかを測定することでスコアを算出する。
　構図補正部４は、対角線構図１６の場合には、第二の被写体１７～１９が配置されるエッジ２０（対角線）の長さまたは対角線と第二の被写体１７～１９との交点の数を測定することでスコアを算出する。
　構図補正部４は、三角構図２１の場合には、第二の被写体２２の面積、形状、および重心位置を測定することでスコアを算出する。構図補正部４は、第二の被写体２２の面積が大きければ大きいほど高い値のスコアを算出する。構図補正部４は、第二の被写体２２の形状が正三角形または二等辺三角形に近ければ近いほど高い値のスコアを算出する。また、構図補正部４は、第二の被写体２２の重心位置が中央に近ければ近いほど高い値のスコアを算出する。
　構図補正部４は、各構図で算出したスコアのうち、最も高いスコアの構図を、補正画像の構図として選択する。すなわち、構図補正部４は、広角画像における第二の被写体の位置が、各構図のうち、いずれの構図に最も適しているかどうかを判定し、補正画像に補正するための構図を選択する。これにより、好適な構図に補正した補正画像を容易に出力することができる。
　ここで、最も高いスコアの構図が複数ある場合には、予め各構図に優先順位をつけておき、構図補正部４が優先順位の高い構図を選択するようにしてもよい。また、構図補正部４は、ユーザによって最も高いスコアの構図のうち、いずれの構図に補正するかを選択させてもよい。この場合、構図補正部４は、ユーザの選択した構図の情報を、例えば、入力部２を介して取得することができる。
　なお、上述の例では、構図補正部４は、各構図で算出したスコアを比較することで補正画像の構図を選択しているが、本実施形態ではこれに限定されない。本実施形態では、構図補正部４は、各構図に優先順位をつけておき、優先する順番に、各構図で算出したスコアと予め設定された閾値とを比較して、ある構図で算出したスコアが閾値より高くなった時点で、当該構図を補正画像の構図として選択してもよい。これにより、ユーザが希望する構図であり、かつ、好適な構図に補正した補正画像を出力することができる。
　なお、上述の例において、構図補正部４は、広角画像を必要に応じて回転させながら構図を選択し、その一部を切り出すことにより補正画像を生成してもよい。この場合、構図補正部４は、補正前の広角画像に対する回転量Ｘ１、切り出し位置Ｘ２および範囲Ｘ３を変更しながら、最もスコアの高くなる回転量Ｘ１、切り出し位置Ｘ２および範囲Ｘ３の構図を選択してもよい。
　（構図の補正）
　構図補正部４は、選択した構図に広角画像を補正した後に想定される第二の被写体の位置および範囲などから、補正前の広角画像における第二の被写体の位置からの補正量を算出し、当該補正量に基づいて補正画像を出力する。ここでいう補正量とは、広角画像の回転量Ｙ１、並進量Ｙ２および範囲の補正量Ｙ３のことを意味する。回転量Ｙ１とは、補正前の広角画像における第二の被写体の位置から構図補正後の第二の被写体の位置に移動するための広角画像の回転量Ｙ１を意味する。並進量とは、構図補正前の第二の被写体の位置から、構図補正後の第二の被写体の位置に移動するための並進量を意味する。範囲とは、構図補正前の広角画像に対する構図補正後の広角画像の範囲、または、縦および横の画素数の補正量を意味する。
　構図補正部４は、これらの補正量となり得る少なくとも一つ以上の要素に基づいて補正画像を出力する。
　なお、構図補正部４は、回転量Ｙ１、並進量Ｙ２、範囲の補正量Ｙ３はそれぞれ、選択した構図の広角画像からの回転量Ｘ１、切り出し位置Ｘ２および範囲Ｘ３から算出する。例えば、構図補正部４は、回転量Ｙ１の値をＸ１、並進量Ｙ２の値を－Ｘ２、範囲の補正量Ｙ３の値を、補正前の画像サイズに対する範囲Ｘ３のサイズの差分値として算出してもよい。
　ここで、第一画像、すなわち、望遠画像は、第一の被写体が拡大されて撮影されるため、第一の被写体が画像端に存在したり、第一の被写体全体が画像内に存在しなかったりする場合がある。望遠画像に対する構図補正処理において、第一の被写体が画像端に存在する場合、および、第一の被写体全体が画像内に存在しない場合は、十分な構図補正効果を得ることができない。以下に図７を用いて望遠画像に構図補正処理を行う場合の例を説明する。図７は、望遠画像を用いた構図の補正の一例を説明するための図である。図７に示すように、望遠画像の画像範囲が画像範囲２４である場合、被写体（第一の被写体）２５は画像端にあるため、並進を十分に行うことができないため、十分な構図補正効果を得ることができない。
　一方、広角画像では、複数の被写体が画像内に存在する場合がある。広角画像に対して構図補正処理を行う場合、複数の被写体が存在すると、検出部３によって顔検出または特徴点検出されて推定された主要被写体に基づいて補正を行うことになる。そのため、ユーザが意図した主要被写体とは異なる被写体に対して、構図補正処理が行われる可能性がある。例えば、図７において、広角画像の画像範囲がシーン全体の画像範囲２７である場合、ユーザが意図した主要被写体は被写体２５であるのに対し、主要被写体を被写体２６として構図を補正する可能性がある。
　これに対し、本実施形態に係る画像処理装置１では、望遠画像および広角画像は同一のシーンが撮影されており、構図補正部４は、望遠画像において第一の被写体および構図の解析を行ってから、広角画像において構図の補正を行う。このように、望遠画像および広角画像において同一のシーンが撮影されている場合、望遠画像として撮影される画像内の被写体が第一の被写体と推定される。また、構図補正部４は、望遠画像内の被写体と同一の被写体である広角画像内の被写体を、望遠画像内の被写体に対応する位置に配置するように構図補正を行う。
　これにより、そのシーンにおいてユーザが意図する主要被写体である第２の被写体が好適な位置に配置されるように適切な構図補正を行った補正画像を出力することができる。また、広角画像の方が切り出し範囲の自由度が高く、第２の被写体が画角外になる可能性が低くなるため、ユーザが調整しなくても、構図補正部４が広角画像の構図を容易かつ好適に出力することができる。
　（構図の補正の具体例）
　以下に、構図補正部４による構図の補正の具体例について図７～図９を用いて説明する。まず、検出部３は、図７の画像範囲２４の望遠画像において、顔検出または特徴点検出によりユーザが意図する第一の被写体を被写体２５であるように推定する。この場合、構図補正部４は、被写体２５の領域を示す情報を主要被写体情報とする。次に、構図補正部４は、被写体２５の主要被写体情報を参照し、広角画像の構図を補正する。構図補正部４は、望遠画像における第一の被写体である被写体２５に対応する、広角画像における第二の被写体が好適に配置される構図を選択する。
　以下、構図補正部４による、第二の被写体が好適に配置される構図の選択例について図８および図９を用いて説明する。図８および９は、構図補正部４による広角画像の構図の選択の一例について説明するための図である。例えば、図８に示すように、第二の被写体である被写体２８が三分割構図２９の構図線である点線３０に近い位置にある場合には、構図補正部４は、三分割構図２９を補正画像の構図として優先的に選択する。一方、図９に示すように、第二の被写体である被写体３１の重心が画像の中心３２付近に配置される場合には、構図補正部４は、日の丸構図３３を補正画像の構図として優先的に選択する。
　上述の例では、構図補正部４は、望遠画像から主要被写体情報を算出しているが、望遠画像における第一の被写体に基づいて、広角画像から主要被写体情報を算出してもよい。このような構成によっても上述の構成と同様の効果が得られる。例えば、構図補正部４は、望遠画像および広角画像の撮影条件に基づいて、広角画像内のうち、望遠画像が撮影された範囲における被写体を第一の被写体に対応する主要被写体と推定してもよい。そして、構図補正部４は、主要被写体の解析をしたり、被写体解析の結果に重み付けをしたりしてもよい。また、構図補正部４は、望遠画像を広角画像内でマッチングすることにより、広角画像内における望遠画像が撮影された範囲を推定し、推定された範囲で被写体解析をしたり、被写体解析の結果に重み付けをしたりしてもよい。
　また、主要被写体情報は、複数の被写体の重要度を示す情報を含んでいてもよい。例えば、複数の被写体がある場合、構図補正部４は、当該複数の被写体の重要度を示す情報を参照し、最も重要度の高い被写体を第二の被写体とみなすことができる。また、構図補正部４は、重要度の高い被写体が画像内の好適な位置に配置され、重要度が低い被写体も画像内に配置される構図を選択することで、複数の被写体に対応した構図補正を行うことができる。なお、主要被写体情報に、望遠画像に第一の被写体が存在しないという情報が含まれていた場合、構図補正部４は、広角画像内で主要被写体解析を行って主要被写体情報を算出し、構図補正を行ってもよい。
　［出力部５］
　出力部５は、補正画像の画像情報を後述の画像撮像装置における表示部（不図示）または記憶部（不図示）に出力する。
　〔画像処理〕
　本実施形態に係る画像処理装置１の画像処理（画像処理方法）について、図１０を用いて説明する。図１０は、画像処理装置１による画像処理の一例を説明するためのフローチャートである。
　本実施形態に係る画像処理装置１は、以下に説明するステップＳ１～Ｓ８を実行することによって判定処理を行う。
　ステップＳ１：画像処理装置１の入力部２は、同一の被写体を撮影した画角の異なる複数の画像の画像情報である望遠画像および広角画像の画像情報の入力を受け付ける。すなわち、入力部２は、望遠画像および広角画像を取得する（取得ステップ）。
　ステップＳ２：画像処理装置１の検出部３は、望遠画像から主要被写体となる第一の被写体を検出する（検出ステップ）。
　ステップＳ３:画像処理装置１の構図補正部４は、検出された第一の被写体の主要被写体情報を参照し、広角画像を想定される各構図に補正した場合の各構図の補正量およびスコアを算出する。
　ステップＳ４：構図補正部４は、全ての構図について、広角画像の構図を補正した場合の補正量およびスコアを算出したかどうかを判定する。一部の構図でも補正量およびスコアの算出処理を終了していないと構図補正部４が判定した場合（ステップＳ４のＮ）、ステップＳ３に戻る。全ての構図についての補正量およびスコアの算出処理を終了したと構図補正部４が判定した場合（ステップＳ４のＹ）、ステップＳ５へと進む。
　ステップＳ５：構図補正部４は、広角画像から補正する各構図のスコアを比較する。
　ステップＳ６：構図補正部４は、各構図のスコアのうち、最も高いスコアの構図を補正画像の構図に選択する。すなわち、構図補正部４は、広角画像の第二の被写体が最も好適に配置される構図を選択する。
　ステップＳ７：構図補正部４は、選択した構図および補正量に基づき、広角画像において第一の被写体に対応する第二の被写体が主要被写体となる構図に、広角画像を補正した補正画像を出力する。これにより、構図補正部４は、補正画像を出力する（構図補正ステップ）。
　ステップＳ８：出力部５は、補正画像の画像情報を出力する（出力ステップ）。
　上述の画像処理によれば、画像処理装置１は、ユーザが意図する第二の被写体が好適な位置に配置される補正画像を出力することができる。
　（構図補正部４の変形例１）
　上述の例では、構図補正部４は、構図のスコア算出および選択を広角画像のみで行っているが、本実施形態では、構図補正部４は、望遠画像内の第一の被写体（被写体）の配置に基づいて、補正画像の構図を決めてもよい。
　例えば、構図補正部４は、望遠画像において、第一の被写体の中心位置に最も近い位置である構図ポイントＰ１を、構図ポイント情報として出力する。そして、構図補正部４は、広角画像を用いて構図のスコア算出を行う際、構図ポイント情報を参照し、補正画像において、構図ポイントＰ１と同一の位置となる構図ポイントＰ２を算出する。そして、構図補正部４は、当該構図ポイントＰ２に第二の被写体を配置する構図となるように補正画像を出力する。一例として、図７では、第一の被写体である被写体２５の位置が望遠画像の三分割構図の右側の構図線上に位置することから、構図補正部４は、三分割構図の右側の構図線を構図ポイントＰ１とする。そして、図８において、望遠図の構図ポイントＰ１に対応する広角図の構図ポイントＰ２である点線３０上に第二の被写体である被写体２８が配置されるように、構図補正部４は三分割構図２９を選択する。これにより、望遠画像においてユーザが意図する第一の被写体に対応する第二の被写体が、広角画像においてユーザが意図する構図のポイントに配置され、より好適な補正画像を出力することができる。
　（構図補正部４の変形例２）
　また、構図補正部４は、広角画像を用いて構図補正を行う際、補正画像における第二の被写体が占める割合が、閾値以下となる構図は選択しないようにしてもよい。これにより、第二の被写体が補正画像内で小さくなり過ぎない構図補正が実現できる。その結果、ユーザが意図する第二の被写体がより注視されやすくなるため、より好適な補正画像を出力できる。
　＜第二の実施形態＞
　第一の実施形態では、画像処理装置１の構図補正部４は補正量の値によらず、必ず補正画像を出力するが、第二の実施形態のように、補正量の値によっては補正画像を出力しない構図補正部５４（不図示）として機能してもよい。
　第二の実施形態について、図１１および１２を参照して説明する。
　〔画像処理装置５１〕
　本実施形態に係る画像処理装置５１（不図示）は、構図補正部４の代わりに構図補正部５４を備えている点以外は、第一の実施形態に係る画像処理装置１と同様の構成である。
　［構図補正部５４］
　構図補正部５４は、補正画像を出力する際、構図の補正量と閾値との比較結果に応じて広角画像から補正画像を出力するか否かを判定する。それ以外は、構図補正部５４は構図補正部４と同様の機能を有する。
　より具体的には、構図補正部５４は、選択した構図の補正量が閾値未満となる場合には、広角画像から、選択した構図の補正画像を出力せず、補正量が閾値以上の場合には、選択した構図の補正画像を出力する。
　広角画像から補正画像に補正する際の補正量が小さい場合、入力部２に入力される広角画像と出力部５から出力される補正画像とが類似した画像になる可能性がある。例えば、補正量が、０度の回転量、縦方向に－１画素の並進量、および、広角画像に対して縦方向に－１画素の範囲となる場合、出力部５から出力される補正画像は、入力部２に入力される広角画像の１行目の画素が切り取られた画像となる。この場合、広角画像と補正画像とが極めて類似してしまう。その結果、例えば、出力部５が補正画像を記憶部（不図示）に出力して記憶させる場合、広角画像に類似した補正画像を保存することで、無駄に記憶部の記憶領域を低減させてしまう虞がある。
　これに対し、構図補正部５４は、補正量が小さい場合には、広角画像に類似する補正画像を出力しないようにする。これにより、構図補正部５４は、広角画像と補正画像とが類似しないように、補正画像を出力することができる。その結果、ユーザが高い構図補正効果を感じられる補正画像を出力することができる。
　ここで、閾値について、構図補正部５４は、補正値を構成する回転量、並進量および範囲などの要素ごとに設定してもよく、これらの要素全てに設定しても一部に設定してもよい。例えば、構図補正部５４が、回転量の閾値を１度に設定した場合、補正量の各要素のうち、回転量が１度未満となっているものは、他の要素が閾値を超えているか否かに関わらず、補正画像を出力しないことになる。
　〔画像処理〕
　本実施形態に係る画像処理装置５１における画像処理（画像処理方法）について、図１１を参照して説明する。図１１は、本実施形態に係る画像処理装置５１による画像処理の一例を説明するためのフローチャートである。
　図１１に示すステップＳ１１～１６、１８および１９は、図１０に示すステップＳ１～８と同様であるため、ここではステップＳ１７についてのみ説明する。
　ステップＳ１７：構図補正部５４は、広角画像から選択された構図の画像に補正する際の補正量が閾値以上であるか否かを判定する。選択された構図への補正量が閾値以上の場合（ステップＳ１７のＹ）、ステップＳ１８へと進む。選択された構図への補正量が閾値未満となる場合（ステップＳ１７のＮ）、すなわち、広角画像から補正画像への補正量が閾値未満となる場合には、構図補正部５４は、補正画像を出力せず、画像処理を終了する。
　（構図補正部５４の変形例１）
　上述の例では、構図補正部５４は、選択した構図の補正量が閾値未満となる場合には、広角画像から、選択した構図の補正画像を出力しないように判定しているが、本実施形態ではこれに限定されない。本実施形態では、構図補正部５４は、補正量の代わりに、広角画像から補正画像を切り出す際の切り出し範囲が別途定められた閾値未満となる場合に補正画像を出力しないように判定してもよい。
　ここで、切り出し範囲とは、例えば、広角画像に対して補正画像が占める割合のことを意味する。なお、この切り出し範囲は、水平方向と垂直方向との２成分から構成され、閾値を成分毎に設けてもよい。
　この場合、構図補正部５４は、望遠画像のズーム倍率に応じて異なる値を閾値に設定することができる。例えば、構図補正部５４は、ズーム倍率が高ければ高いほど、閾値を高く設定してもよい。
　閾値未満である切り出し範囲の補正画像を出力した場合、解像度が低いため、構図補正効果が不十分となる虞がある。これに対し、本実施形態に係る画像処理装置５１における構図補正部５４は、切り出し範囲の小さい補正画像を出力しないことにより、十分に構図補正効果があり、より好適な補正画像を出力することができる。
　（構図補正部５４の変形例２）
　また、構図補正部５４は、補正量および切り出し範囲の代わりに、選択した構図の画素数が閾値未満となる場合、広角画像から選択した構図の補正画像を出力しないように判定してもよい。すなわち、構図補正部５４は、補正画像の画素数が閾値未満となる場合、補正画像を出力しなくてもよい。
　この場合、構図補正部５４は、望遠画像の画素数を参照して定めた値に閾値を設定する。例えば、構図補正部５４は、望遠画像の画素数のＮ％に閾値を設定する。補正画像の画素数が低い場合に補正画像を出力すると、補正画像の解像度が低いため、構図補正効果が不十分となる。これに対し、上述のように、構図補正部５４が、選択した構図の画素数が閾値未満となる場合に広角画像から選択した構図の補正画像を出力しないことにより、十分に構図補正効果があり、より好適な補正画像を出力することができる。
　（構図補正部５４の変形例３）
　また、上述の例では、構図補正部５４は、広角画像と補正画像とが類似しないように閾値を設けて補正画像の出力を制限しているが、本実施形態ではこれに限定されない。本実施形態では、構図補正部５４は、上述の例の代わりに、または、加えて望遠画像と補正画像とが類似する場合には、補正画像の出力を制限してもよい。この場合、構図補正部５４は、例えば、望遠画像と出力された補正画像との類似度を判定し、類似している場合には出力制限をする。構図補正部５４は、望遠画像および補正画像の各画像の解像度を合わせた上で、各画素の階調値を比較することで類似度を判定することができる。また、構図補正部５４は、類似度の代わりに、望遠画像から補正画像への補正量が閾値未満となる場合には、広角画像から、選択した構図の補正画像を出力しないように判定してもよい。この場合、構図補正部５４は、広角画像から補正画像への補正量の閾値と同様に、補正値を構成する回転量、並進量および範囲などの要素ごとに設定したり、これらの要素全てまたは一部に設定したりすることができる。このように、望遠画像と補正画像とが類似する場合に補正画像の出力を制限した場合も、構図補正部５４は、より好適な補正画像を出力することができる。
　また、構図補正部５４は、望遠画像における第一の被写体が遠景に配置されており、かつ、望遠画像と補正画像とが類似していると判定した場合に、補正画像の出力を制限してもよい。
　同一の主要被写体に焦点を合わせて撮影した場合、望遠画像と広角画像とでは被写界深度が異なる。そのため、望遠画像の構図と広角画像の構図とが類似していても、背景領域にボケのある望遠画像と、全体にフォカースのあった広角画像とを同時に撮影し、望遠画像と非類似の補正画像を出力することができる。ただし、主要被写体が望遠画像の遠景に存在する場合には望遠画像における被写界深度が深くなり、望遠画像と補正画像とが類似する可能性が高い。
　これに対し、上述のように、望遠画像における第一の被写体が遠景に配置されており、かつ、望遠画像と補正画像とが類似している場合に、構図補正部５４は、補正画像の出力を制限することで、より好適な補正画像を出力することができる。
　（構図補正部５４の変形例４）
　上述の例では、構図補正部５４が補正画像を出力する際、構図の補正量と閾値との比較結果に応じて広角画像から補正画像を出力するか否かを判定し、かつ、補正画像を出力している。ただし、本実施形態ではこれに限定されない。以下に、図１２を用いて構図補正部５４の変形例４について説明する。図１２は、画像処理装置５１の変形例の概略構成を示すブロック図である。図１２に示すように、画像処理装置５１は、比較部５５をさらに備えていてよく、当該比較部５５が、構図補正部５４の代わりに、構図の補正量と、閾値との比較結果に応じて広角画像から補正画像を出力するか否かの判定を行ってもよい。これにより、構図補正部５４のみで処理を行う場合に比べて、構図補正部５４にかかる負担を軽減することができる。なお、以下の各実施形態においても、構図補正部の代わりに、比較部が閾値を設けて補正画像の出力を制限してもよい。
　＜第三の実施形態＞
　第一の実施形態では、画像処理装置１の構図補正部４は、広角画像の構図を補正しているが、第三の実施形態のように、構図補正部１０４（不図示）のように、望遠画像の構図を補正してもよい。
　第三の実施形態について、図１３を参照して説明する。
　〔画像処理装置１０１〕
　本実施形態に係る画像処理装置１０１（不図示）は、構図補正部４の代わりに構図補正部１０４（不図示）を備えている点以外は、第一の実施形態に係る画像処理装置１と同様の構成である。
　［構図補正部１０４］
　構図補正部１０４は、望遠画像に応じて、広角画像を補正した補正画像を出力せずに、望遠画像を補正した画像を出力する。構図補正部１０４は、望遠画像の構図のうち、好適な位置に主要被者体を配置できる構図があれば、望遠画像の構図を補正して補正画像を出力し、そうでない場合は、広角画像の構図を補正して補正画像を出力する。構図の補正は構図補正部４と同様に行うことができるため、その説明を省略する。
　より具体的には、構図補正部１０４は、望遠画像を想定される各構図に補正した場合の各構図における主要被写体の位置が、各構図にとって好適な位置であるかどうかを示す指標となるスコアを算出する。そして、構図補正部１０４は、当該スコアが閾値以上である構図がある場合には、望遠画像の構図をスコアが閾値以上である構図のうちのいずれかに補正することで補正画像を出力する。また、構図補正部１０４は、スコアが閾値以上である構図がない場合には、構図補正部４は、広角画像において第一の被写体に対応する第二の被写体が主要被写体となる構図に、広角画像を補正した補正画像を出力する。これにより、好適な構図に補正した補正画像を容易に出力することができる。
　このように、構図補正部１０４は、望遠画像の構図のうち、好適な位置に主要被写体を配置できる構図があり、好適に構図補正が可能な場合、望遠画像から補正画像に構図補正を行う。そうでない場合、構図補正部１０４は、検出された望遠画像における主要被写体である第一の被写体の主要被写体情報を参照して、広角画像の構図を補正する。これにより、構図補正部１０４は、よりバランスのよい構図で構図補正された補正画像を出力することができる。
　〔画像処理〕
　本実施形態に係る画像処理装置１０１における画像処理（画像処理方法）について、図１３を参照して説明する。図１３は、本実施形態に係る画像処理装置１０１による画像処理の一例を説明するためのフローチャートである。
　図１３に示すステップＳ２１、２２、２９、および３１は、それぞれ図１０に示すステップＳ１、２、８および７と同様であるため、ここではステップＳ２３～２８および３０についてのみ説明する。
　ステップＳ２３:画像処理装置１０１の構図補正部１０４は、検出された第一の被写体
の主要被写体情報を参照し、望遠画像の構図を想定される各構図に補正した場合の各構図の補正量およびスコアを算出する。
　ステップＳ２４：構図補正部１０４は、全ての構図について、望遠画像の構図を補正した場合の補正量およびスコアを算出したかどうかを判定する。一部の構図でも補正量およびスコアの算出処理を終了していないと構図補正部１０４が判定した場合（ステップＳ２４のＮ）、ステップＳ２３に戻る。全ての構図についての補正量およびスコアの算出処理を終了したと構図補正部１０４が判定した場合（ステップＳ２４のＹ）、ステップＳ２５へと進む。
　ステップＳ２５：構図補正部１０４は、望遠画像から補正する各構図のスコアを比較する。
　ステップＳ２６：構図補正部１０４は、各構図のスコアのうち、最も高いスコアの構図を補正画像の構図に選択する。すなわち、構図補正部１０４は、望遠画像の主要被写体が最も好適に配置される構図を選択する。
　ステップＳ２７：構図補正部１０４は、望遠画像から選択された構図の画像に補正する際の補正量が閾値以上であるか否かを判定する。選択された構図への補正量が閾値以上の場合（ステップＳ２７のＹ）、ステップＳ２８へと進む。選択された構図への補正量が閾値未満となる場合（ステップＳ２７のＮ）、ステップＳ３０へと進む。
　ステップＳ２８：構図補正部１０４は、選択した構図および補正量に基づき、望遠画像の構図を補正することで補正画像を出力する。このように、構図補正部１０４は、望遠画像に応じて、広角画像を補正した補正画像を出力せずに、望遠画像を補正した画像を出力する（構図補正ステップ）。
　ステップＳ３０：構図補正部１０４は、広角画像を、想定される各構図に補正した場合の各構図の補正量およびスコアを算出し、各構図の中で最も高いスコアの構図を補正画像の構図に選択する。本ステップは、図１０のステップＳ３～６と同様に行うため、詳細な説明を省略する。
　＜第四の実施形態＞
　第一の実施形態では、画像処理装置１の構図補正部４は画素の状態によらず、必ず補正画像を出力する。ただし、第四の実施形態のように、構図補正部は、画素の状態によっては補正画像を出力しない構図補正部１５４（不図示）として機能してもよい。
　第四の実施形態について、図１４を参照して説明する。
　〔画像処理装置１５１〕
　本実施形態に係る画像処理装置１５１（不図示）は、構図補正部４の代わりに構図補正部１５４を備えている点以外は、第一の実施形態に係る画像処理装置１と同様の構成である。
　［構図補正部１５４］
　構図補正部１５４は、望遠画像内における第一の被写体領域に対応する、広角画像内における第二の被写体領域の画素の状態に基づいて、補正画像を出力するか否かを判定する。構図補正部１５４は、ボケ、黒潰れおよび白飛びなどのある画素の状態が悪い補正画像を出力しないことで、バランスのよい構図であって、かつ、画素の状態がよい補正画像のみを出力することができる。
　以下に画素の状態として、合焦度を例に、構図補正部１５４の機能について説明する。この場合、構図補正部１５４は、広角画像内における第二の被写体の合焦度に応じて、補正画像を出力するか、または、出力しない。
　より具体的には、構図補正部１５４は、まず、望遠画像内における第一の被写体領域に対応する、広角画像内における第二の被写体領域の合焦度を測定する。構図補正部１５４は、点拡がり関数を用いて汎用の手法により合焦度を測定することができる。次に、構図補正部１５４は、第二の被写体領域の合焦度が閾値以上の場合は補正画像を出力し、合焦度が閾値未満となる場合は補正画像を出力しない。この場合、構図補正部１５４は、閾値を、例えば、第一の被写体領域の合焦度に設定してもよい。
　例えば、望遠画像を撮影する撮像部と、広角画像を撮影する撮像部とで、焦点位置および露出の設定の同期ができない場合は、望遠画像の撮影条件と補正画像の撮影条件とが異なる。そのため、バランスのよい構図であっても、合焦度の低い補正画像が出力される可能性がある。また、同期が可能な場合は、望遠画像を撮影する撮像部に合わせて、広角画像を撮影する撮像部の焦点位置および露出等を設定して、望遠画像の撮影条件と広角画像の撮影条件とを合わせられる。しかしながら、第二の被写体領域の一部が、望遠画像の画角よりも外にはみ出す場合は、はみ出した領域の状態が設定に反映されないため、その領域の合焦度が低くなる可能性がある。
　これに対し、上述の構成によれば、構図補正部１５４は、バランスのよい構図であっても合焦度の低い補正画像は出力しないため、バランスのよい構図であって、かつ、合焦度の高い補正画像のみを出力することができる。
　〔画像処理〕
　本実施形態に係る画像処理装置１５１における画像処理（画像処理方法）について、図１４を参照して説明する。図１４は、本実施形態に係る画像処理装置１５１による画像処理の一例を説明するためのフローチャートである。図１４では、画像処理装置１５１の構図補正部１５４が、画素の状態の一例として、合焦度に基づいて補正画像を出力する場合について説明する。
　図１４に示すステップＳ４１は、図１０に示すステップＳ１～６に相当し、図１４に示すステップＳ４６および４７は、図１０に示すステップＳ７および８と同様であるため、ここではステップＳ４２～４５についてのみ説明する。
　ステップＳ４２：構図補正部１５４は、望遠画像内の第一の被写体領域に対応する、広角画像内の第二の被写体領域を測定する。
　ステップＳ４３：構図補正部１５４は、第二の被写体領域の合焦度を測定する。
　ステップＳ４４：構図補正部１５４は、第一の被写体領域の合焦度を測定し、閾値に設定する。
　ステップＳ４５：構図補正部１５４は、広角画像内における第二の被写体の合焦度に応じて、補正画像を出力するか、または、出力しない。より具体的には、構図補正部１５４は、第二の被写体領域の合焦度が、第一の被写体領域の合焦度以上であるか否か、すなわち、閾値以上であるか否かを判定する。第二の被写体領域の合焦度が閾値以上である場合（ステップＳ４５のＹ）、ステップＳ４６に進む。第二の被写体領域の合焦度が閾値未満となる場合（ステップＳ４５のＮ）、補正画像を出力せず、画像処理を終了する。
　（構図補正部１５４の変形例１）
　上述の例では、構図補正部１５４は、合焦度の値に基づいて補正画像を出力するか否かを判定しているが、本実施形態ではこれに限定されない。本実施形態では、構図補正部１５４は、画素の状態として、合焦度の代わりに、静止画部分のボケ量を示す動きボケ量に応じて、補正画像を出力するか否かを判定してもよい。すなわち、構図補正部１５４は、動きボケ量に応じて、補正画像を出力するか、または、出力しない。
　まず、構図補正部１５４は、汎用の動き検出手法により、第二の被写体領域の動きボケ量を測定する。次に、構図補正部１５４は、第二の被写体領域の動きボケ量が閾値以下である場合には補正画像を出力し、動きボケ量が閾値よりも大きい場合には補正画像を出力しない。この場合、構図補正部１５４は、閾値を、例えば、第一の被写体領域の動きボケ量に設定してもよい。上述の構成によれば、構図補正部１５４は、バランスのよい構図であっても動きボケ量の低い補正画像は出力しないため、バランスのよい構図であって、かつ、動きボケ量の低い補正画像のみを出力することができる。
　（構図補正部１５４の変形例２）
　また、構図補正部１５４は、画素の状態として、上述の例の代わりに、明るさに応じて、補正画像を出力するか否かを判定してもよい。すなわち、構図補正部１５４は、明るさに応じて、補正画像を出力するか、または、出力しない。
　まず、構図補正部１５４は、汎用の手法により、第二の被写体領域の明るさの度合いを測定する。次に、構図補正部１５４は、第二の被写体領域の明るさの度合いが所定の範囲内の明るさである場合は、補正画像を出力し、所定の範囲外の明るさである場合は、補正画像を出力しない。この場合、構図補正部１５４は、例えば、白飛びまたは黒潰れが発生していない場合に、所定の範囲内の明るさであるとみなしてもよい。
　画像が極端に明るいか、または暗い場合など、所定の範囲外の明るさである場合は、白飛びまたは黒潰れが画像内に発生する可能性がある。これに対し、上述の構成によれば、構図補正部１５４は、明るさの度合いが所定の範囲外である場合に補正画像の出力を制限する。これにより、構図補正部１５４は、バランスのよい構図であっても、白飛びまたは黒潰れのある補正画像は出力しないため、バランスがよく、かつ、白飛びまたは黒潰れのない補正画像のみを出力することができる。
　（構図補正部１５４の変形例３）
　構図補正部１５４は、上述の各例で説明した合焦度の判定、動きボケ量の判定、および、明るさの度合いの判定を適宜組み合わせて補正画像を出力するか否かの判定を行ってもよい。例えば、構図補正部１５４は、合焦度、動きボケ量および明るさの度合いが全て判定条件を満たした場合に補正画像を出力するようにしてもよい。これにより、バランスがよく、かつ、より好適な補正画像を出力することができる。
　＜第五の実施形態＞
　本発明に係る第五の実施形態について、図１５および１６を用いて以下に説明する。
　〔画像撮像装置１１０〕
　図１５は、本発明の第五の実施形態に係る画像撮像装置１１０の構成を示す機能ブロック図である。図１５に示すように、本実施形態に係る画像撮像装置１１０は、第一の実施形態に係る画像処理装置１と、第一の撮像部１１１と、第二の撮像部１１２と、表示部１１３と、記憶部１１４とを備えている。
　画像撮像装置１１０は、第一の撮像部１１１と第二の撮像部１１２とで撮像した望遠画像および広角画像に基づいて、画像処理装置１によって補正画像を出力し、当該補正画像を表示部１１３に表示するか、または記憶部１１４に記憶する。そのため、画像撮像装置１１０は、上述の画像処理装置１と同様に、望遠画像の第一の被写体を参照しつつ、広角画像を用いて構図補正を行うことができる。これにより、望遠画像から第一の被写体がはみ出して望遠画像を用いた構図補正が難しい場合でも、バランスがよく、好適に構図が補正された補正画像を出力することができる。
　［第一の撮像部１１１および第二の撮像部１１２］
　第一の撮像部１１１は、望遠画像を撮像し、第二の撮像部１１２は広角画像を撮像する。第一の撮像部１１１および第二の撮像部１１２は、撮像レンズと、ＣＣＤ（Charge Coupled Device）センサおよびＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの撮像素子とを備える。第一の撮像部１１１は第一の被写体を含む画像（静止画または動画）を撮像し、第二の撮像部１１２は第二の被写体を含む画像を撮像する。第一の撮像部１１１と第二の撮像部１１２とは焦点距離が異なるため、それぞれ、望遠画像と広角画像とを撮影することができる。
　［表示部１１３］
　表示部１１３は、文字情報および主要被写体情報などを含む補正画像を表示する。表示部１１３は、ＬＣＤ（liquid Crystal Display）および有機ＥＬ（Electro Luminescence）ディスプレイなどの表示画面である。ユーザは、表示部１１３に表示される補正画像をプレビューとして利用し、補正画像を確認しながら、必要に応じて補正画像を記憶部１１４に記憶させる指示を、入力部２を介して行ってもよい。入力部２に入力する指示は、例えば、入力部２のシャッターボタンを押すなどの動作によって行うことができる。また、表示部１１３は、画像処理装置１が補正画像を出力しない場合には、補正画像の代わりに、望遠画像を表示してもよい。
　［記憶部１１４］
　記憶部１１４は、補正画像、望遠画像および広角画像などの画像を記憶媒体に記憶したり、記憶媒体に記憶された画像を読み込んで画像処理装置１に出力したりするものであり、フラッシュメモリおよびハードディスクなどで構成される。
　〔画像処理〕
　次に、本実施形態に係る画像撮像装置１１０における画像処理（画像処理方法）について、図１６を参照して説明する。図１６は、本実施形態に係る画像撮像装置１１０による画像処理の一例を説明するためのフローチャートである。
　図１６に示すステップＳ５２は、図１０に示すステップＳ１～８に相当するため、ここではステップＳ５１および５３についてのみ説明する。
　ステップＳ５１：第一の撮像部１１１および第二の撮像部１１２は、望遠画像および広角画像を撮像するか、または、記憶部１１４から望遠画像および広角画像を読み出し、画像処理装置１の入力部２に入力する。
　ステップＳ５３：画像処理装置１の出力部５が表示部１１３に補正画像の画像情報を出力した場合、表示部１１３は補正画像を表示する。出力部５が記憶部１１４に補正画像の画像情報を出力した場合、記憶部１１４は補正画像を記憶する。
　（画像撮像装置１１０の変形例１）
　上述の例では、画像処理装置１を備える画像撮像装置１１０について説明したが、画像撮像装置１１０は、画像処理装置１の代わりに、画像処理装置５１、１０１および１５１のいずれかを備えていてもよい。この場合、画像撮像装置１１０は、画像処理装置１の機能の代わりに、各画像処理装置の機能を有することになり、構図補正部以外は全て同様に動作させることができる。ここで、画像処理装置５１、１０１および１５１のいずれかが構図補正により補正画像を出力しない場合、画像撮像装置１１０は、補正画像の代わりに、望遠画像を表示部１１３に表示するか、望遠画像を記憶部１１４に記憶させてもよい。
　（画像撮像装置１１０の変形例２）
　また、上述の例では、画像撮像装置１１０は、補正画像または望遠画像のいずれかのみを表示部１１３に表示しているが、本実施形態ではこれに限定されない。本実施形態では、画像撮像装置１１０は、補正画像と望遠画像とを同時に表示部１１３に表示してもよい。この場合、ユーザは、表示部１１３に表示される補正画像を確認しながら、望遠画像の構図を決め直してもよい。この場合、ユーザは、好適な構図の補正画像が好適となった場合に、入力部２を介して当該補正画像を記憶部１１４に記憶部する指示を行うことができる。なお、望遠画像の構図を決め直して、望遠画像の構図と補正画像の構図とが類似の構図となった場合、画像撮像装置１１０における画像処理装置１は、補正画像を出力せず、望遠画像のみを表示部１１３に表示するか、または、記憶部１１４に記憶してもよい。
　（画像撮像装置１１０の変形例３）
　また、上述の例では、画像撮像装置１１０は記憶部１１４を備えているが、記憶部１１４は必須の構成ではなく、画像撮像装置１１０は記憶部１１４を備えていなくてもよい。この場合においても、画像撮像装置１１０は、好適な構図に補正した補正画像を容易に出力することができる。
　〔ハードウェアおよびソフトウェアによる実現例〕
　画像処理装置１、５１、１０１および１５１の制御ブロック（特に構図補正部４、５４、１０４および１５４）は、集積回路（ＩＣチップ）などに形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
　前者の場合、画像処理装置１、５１、１０１および１５１の制御ブロックは、ＡＳＩＣ（Application Specific Integrated Circuit）およびＦＰＧＡ（Field Programmable Gate Array）などによるハードウェアによって実現することができる。
　後者の場合、画像処理装置１、５１、１０１および１５１は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも１つのプロセッサ（制御装置）を備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な少なくとも１つの記録媒体を備えており、ＯＳおよび周辺機器などのハードウェアを含む。また、当該コンピュータは、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（または表示環境）も含む。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）およびＧＰＵ（Graphic Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）などの他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波など）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
　〔まとめ〕
　本発明の態様１に係る画像処理装置（１、５１、１０１、１５１）は、第一の画像、および、前記第一の画像よりも画角が広い第二の画像を取得する取得部（入力部２）と、前記第一の画像から主要被写体となる第一の被写体（２５）を検出する検出部（３）と、前記第二の画像において前記第一の被写体（２５）に対応する第二の被写体（７、１２、１５、１７、１８、１９、２２）が主要被写体となる構図に、前記第二の画像を補正した補正画像を出力する構図補正部（４、５４、１０４、１５４）と、を備えている。
　上記の構成によれば、好適な構図に補正した補正画像を容易に出力することができる。
　本発明の態様２に係る画像処理装置（１、５１、１０１、１５１）において、前記態様１における構図補正部（４、５４、１０４、１５４）は、前記第一の画像における前記第一の被写体（２５）の位置に基づいて、前記第二の画像を補正してもよい。
　上記の構成によれば、第一の画像における第一の被写体の位置に基づいて第二の画像を補正することで、第二の被写体が第二の画像からはみ出ないため、好適な構図に補正した補正画像を出力することができる。
　本発明の態様３に係る画像処理装置（５１）において、前記態様１または２における構図補正部（５４）は、前記第二の画像から前記補正画像への補正量が閾値未満となる場合には、当該補正画像を出力しなくてもよい。
　上記の構成によれば、構図補正部は、第二の画像と補正画像とが類似しないように、補正画像を出力することができる。その結果、ユーザが構図補正効果を感じられる補正画像を出力することができる。
　本発明の態様４に係る画像処理装置（５１）において、前記態様１から３のいずれか１つにおける構図補正部（５４）は、前記補正画像の画素数が閾値未満となる場合には、当該補正画像を出力しなくてもよい。
　上記の構成によれば、構図補正部が、選択した構図の画素数が閾値未満となる場合に第二の画像から選択した構図の補正画像を出力しないことにより、十分に構図補正効果がある、より好適な補正画像を出力することができる。
　本発明の態様５に係る画像処理装置（１０１）において、前記態様１から４のいずれか１つにおける構図補正部（１０４）は、前記第一の画像に応じて、前記補正画像を出力せずに、前記第一の画像を補正した画像を出力してもよい。
　上記の構成によれば、構図補正部は、よりバランスのよい構図で構図補正された補正画像を出力することができる。
　本発明の態様６に係る画像処理装置（１５１）において、前記態様１から５のいずれか１つにおける構図補正部（１５４）は、前記第二の画像内における前記第二の被写体の画素の状態に応じて、前記補正画像を出力するか、または、出力しなくてもよい。
　上記の構成によれば、構図補正部は、第二の画像内における、ボケ、黒潰れおよび白飛びなどのある画素の状態が悪い補正画像を出力しないことで、バランスのよい構図であって、かつ、画素の状態がよい補正画像のみを出力することができる。
　本発明の態様７に係る画像処理装置（１５１）において、前記態様１から６のいずれか１つにおける構図補正部（１５４）は、前記第二の画像内における前記第二の被写体の合焦度に応じて、前記補正画像を出力するか、または、出力しなくてもよい。
　上記の構成によれば、構図補正部は、バランスのよい構図であっても合焦度の低い補正画像は出力しなくてもよいため、バランスのよい構図であって、かつ、合焦度の高い補正画像のみを出力することができる。
　本発明の態様８に係る画像処理装置（１５１）において、前記態様１から７のいずれか１つにおける構図補正部（１５４）は、前記第二の画像内における前記第二の被写体の動きボケ量に応じて、前記補正画像を出力するか、または、出力しなくてもよい。
　上記の構成によれば、構図補正部は、バランスのよい構図であっても動きボケ量の多い補正画像を出力しなくてもよいため、バランスのよい構図であって、かつ、動きボケ量の低い補正画像のみを出力することができる。
　本発明の態様９に係る画像処理装置（１５１）において、前記態様１から８のいずれか１つにおける構図補正部（１５４）は、前記第二の画像内における前記第二の被写体の明るさに応じて、前記補正画像を出力するか、または、出力しなくてもよい。
　上記の構成によれば、構図補正部は、バランスのよい構図であっても、白飛びまたは黒潰れのある補正画像は出力しなくてもよいため、バランスがよく、かつ、白飛びまたは黒潰れのない補正画像のみを出力することができる。
　本発明の態様１０に係る画像処理装置（１、５１、１０１、１５１）において、前記態様１から９のいずれか１つにおける前記第一の被写体（２５）は顔であってもよい。
　画像処理装置における検出部は、特に、第一の被写体が顔である場合に第一の被写体を好適に検出できる。
　本発明の態様１１に係る画像撮像装置（１１０）は、第一の画像を撮像する第一の撮像部（１１１）と、前記第一の画像よりも画角が広い第二の画像を撮像する第二の撮像部（１１２）と、前記第一の画像、および、前記第一の画像よりも画角が広い第二の画像を取得する取得部（入力部２）と、前記第一の画像から主要被写体となる第一の被写体（２５）を検出する検出部（３）と、前記第二の画像において前記第一の被写体（２５）に対応する第二の被写体（７、１２、１５、１７、１８、１９、２２）が主要被写体となる構図に、前記第二の画像を補正した補正画像を出力する構図補正部（４、５４、１０４、１５４）と、前記補正画像を表示する表示部（１１３）と、を備えている。
　本発明の一態様に係る画像撮像装置は、本発明の一態様に係る画像処理装置と同様の効果を奏する。
　本発明の態様１２に係る画像処理方法は、第一の画像、および、前記第一の画像よりも画角が広い第二の画像を取得する取得ステップと、前記第一の画像から主要被写体となる第一の被写体を検出する検出ステップと、前記第二の画像において前記第一の被写体（２５）に対応する第二の被写体（７、１２、１５、１７、１８、１９、２２）が主要被写体となる構図に、前記第二の画像を補正した補正画像を出力する構図補正ステップと、を含む。
　本発明の一態様に係る画像処理方法は、本発明の一態様に係る画像処理装置と同様の効果を奏する。
　本発明の各態様に係る画像処理装置（１、５１、１０１、１５１）は、コンピュータによって実現してもよく、この場合には、コンピュータを上記画像処理装置（１、５１、１０１、１５１）が備える各部（ソフトウェア要素）として動作させることにより上記画像処理装置（１、５１、１０１、１５１）をコンピュータにて実現させる画像処理装置（１、５１、１０１、１５１）の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
　本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

Claims (13)

  1. 　第一の画像、および、前記第一の画像よりも画角が広い第二の画像を取得する取得部と、
    　前記第一の画像から主要被写体となる第一の被写体を検出する検出部と、
    　前記第二の画像において前記第一の被写体に対応する第二の被写体が主要被写体となる構図に、前記第二の画像を補正した補正画像を出力する構図補正部と、を備えていることを特徴とする画像処理装置。
  2. 　前記構図補正部は、前記第一の画像における前記第一の被写体の位置に基づいて、前記第二の画像を補正することを特徴とする請求項１に記載の画像処理装置。
  3. 　前記構図補正部は、前記第二の画像から前記補正画像への補正量が閾値未満となる場合には、当該補正画像を出力しないことを特徴とする請求項１または２に記載の画像処理装置。
  4. 　前記構図補正部は、前記補正画像の画素数が閾値未満となる場合には、当該補正画像を出力しないことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
  5. 　前記構図補正部は、前記第一の画像に応じて、前記補正画像を出力せずに、前記第一の画像を補正した画像を出力することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
  6. 　前記構図補正部は、前記第二の画像内における前記第二の被写体の画素の状態に応じて、前記補正画像を出力するか、または、出力しないことを特徴とする、請求項１から５のいずれか１項に記載の画像処理装置。
  7. 　前記構図補正部は、前記第二の画像内における前記第二の被写体の合焦度に応じて、前記補正画像を出力するか、または、出力しないことを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
  8. 　前記構図補正部は、前記第二の画像内における前記第二の被写体の動きボケ量に応じて、前記補正画像を出力するか、または、出力しないことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
  9. 　前記構図補正部は、前記第二の画像内における前記第二の被写体の明るさに応じて、前記補正画像を出力するか、または、出力しないことを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
  10. 　前記第一の被写体は顔であることを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
  11. 　第一の画像を撮像する第一の撮像部と、
    　前記第一の画像よりも画角が広い第二の画像を撮像する第二の撮像部と、
    　前記第一の画像、および、前記第一の画像よりも画角が広い第二の画像を取得する取得部と、
    　前記第一の画像から主要被写体となる第一の被写体を検出する検出部と、
    　前記第二の画像において前記第一の被写体に対応する第二の被写体が主要被写体となる構図に、前記第二の画像を補正した補正画像を出力する構図補正部と、
    　前記補正画像を表示する表示部と、を備えていることを特徴とする画像撮像装置。
  12. 　第一の画像、および、前記第一の画像よりも画角が広い第二の画像を取得する取得ステップと、
    　前記第一の画像から主要被写体となる第一の被写体を検出する検出ステップと、
    　前記第二の画像において前記第一の被写体に対応する第二の被写体が主要被写体となる構図に、前記第二の画像を補正した補正画像を出力する構図補正ステップと、を含むことを特徴とする画像処理方法。
  13. 　請求項１から１０のいずれか１項に記載の画像処理装置としてコンピュータを機能させるためのプログラムであって、前記取得部、前記検出部および前記構図補正部としてコンピュータを機能させるためのプログラム。
PCT/JP2018/038778 2017-11-10 2018-10-18 画像処理装置、画像撮像装置、画像処理方法およびプログラム WO2019093090A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/761,985 US20200314309A1 (en) 2017-11-10 2018-10-18 Image processing device, image capturing device, and image processing method
JP2019552683A JPWO2019093090A1 (ja) 2017-11-10 2018-10-18 画像処理装置、画像撮像装置、画像処理方法およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017217540 2017-11-10
JP2017-217540 2017-11-10

Publications (1)

Publication Number Publication Date
WO2019093090A1 true WO2019093090A1 (ja) 2019-05-16

Family

ID=66438853

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/038778 WO2019093090A1 (ja) 2017-11-10 2018-10-18 画像処理装置、画像撮像装置、画像処理方法およびプログラム

Country Status (3)

Country Link
US (1) US20200314309A1 (ja)
JP (1) JPWO2019093090A1 (ja)
WO (1) WO2019093090A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112425148B (zh) * 2018-06-21 2022-04-08 富士胶片株式会社 摄像装置、无人移动体、摄像方法、系统及记录介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006146428A (ja) * 2004-11-17 2006-06-08 Fuji Photo Film Co Ltd フォトムービーの編集条件設定装置及び編集条件設定プログラム
JP2008065757A (ja) * 2006-09-11 2008-03-21 Kawasaki Heavy Ind Ltd 運転支援装置
JP2012029245A (ja) * 2010-07-27 2012-02-09 Sanyo Electric Co Ltd 撮像装置
WO2014034137A1 (ja) * 2012-08-31 2014-03-06 パナソニック株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
WO2014097789A1 (ja) * 2012-12-20 2014-06-26 ソニー株式会社 画像処理装置、画像処理方法及び記録媒体
JP2016046772A (ja) * 2014-08-26 2016-04-04 富士フイルム株式会社 車載カメラ

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4787906B1 (ja) * 2010-03-30 2011-10-05 富士フイルム株式会社 撮像装置、方法およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006146428A (ja) * 2004-11-17 2006-06-08 Fuji Photo Film Co Ltd フォトムービーの編集条件設定装置及び編集条件設定プログラム
JP2008065757A (ja) * 2006-09-11 2008-03-21 Kawasaki Heavy Ind Ltd 運転支援装置
JP2012029245A (ja) * 2010-07-27 2012-02-09 Sanyo Electric Co Ltd 撮像装置
WO2014034137A1 (ja) * 2012-08-31 2014-03-06 パナソニック株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
WO2014097789A1 (ja) * 2012-12-20 2014-06-26 ソニー株式会社 画像処理装置、画像処理方法及び記録媒体
JP2016046772A (ja) * 2014-08-26 2016-04-04 富士フイルム株式会社 車載カメラ

Also Published As

Publication number Publication date
US20200314309A1 (en) 2020-10-01
JPWO2019093090A1 (ja) 2020-11-26

Similar Documents

Publication Publication Date Title
US8212895B2 (en) Digital camera system with portrait effect
JP5950678B2 (ja) 撮像装置、制御方法、及びプログラム
JP5368350B2 (ja) 立体撮像装置
WO2010128579A1 (ja) 電子カメラ、画像処理装置及び画像処理方法
JP5713885B2 (ja) 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体
JP5246078B2 (ja) 被写体位置特定用プログラム、およびカメラ
JP2012145840A (ja) 撮像装置
JP2015144416A (ja) 撮像装置及び撮像装置の制御方法
US10447944B2 (en) Imaging apparatus, control method thereof and program
US8681244B2 (en) Image processing method using blurring and photographing apparatus using the same
JPWO2017037978A1 (ja) 検出装置、検出方法、検出プログラムおよび撮像装置
GB2557437A (en) Display control apparatus and method of controlling display control apparatus
JP7049163B2 (ja) 電子機器およびその制御方法、プログラム並びに記憶媒体
JP2009288945A (ja) 画像表示装置及び画像表示方法
US20160275657A1 (en) Imaging apparatus, image processing apparatus and method of processing image
WO2019124289A1 (ja) 装置、制御方法および記憶媒体
EP3267675B1 (en) Terminal device and photographing method
US20190073751A1 (en) Image processing apparatus, image processing method, and storage medium
JP2020107956A (ja) 撮像装置、撮像方法およびプログラム
JP6326631B2 (ja) 撮像装置
US11233931B2 (en) Image processing device, imaging device, control method for image processing device, and recording medium
WO2019093090A1 (ja) 画像処理装置、画像撮像装置、画像処理方法およびプログラム
US11032463B2 (en) Image capture apparatus and control method thereof
JP2023033355A (ja) 画像処理装置およびその制御方法
JP2015041865A (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18876009

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019552683

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18876009

Country of ref document: EP

Kind code of ref document: A1