WO2019176804A1 - 画像処理装置、撮像装置、及び画像処理方法 - Google Patents

画像処理装置、撮像装置、及び画像処理方法 Download PDF

Info

Publication number
WO2019176804A1
WO2019176804A1 PCT/JP2019/009476 JP2019009476W WO2019176804A1 WO 2019176804 A1 WO2019176804 A1 WO 2019176804A1 JP 2019009476 W JP2019009476 W JP 2019009476W WO 2019176804 A1 WO2019176804 A1 WO 2019176804A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
zoom
image processing
unit
center
Prior art date
Application number
PCT/JP2019/009476
Other languages
English (en)
French (fr)
Inventor
小林　潤
祐樹 杉原
一樹 石田
真彦 宮田
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2020506482A priority Critical patent/JP7028958B2/ja
Publication of WO2019176804A1 publication Critical patent/WO2019176804A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • the present invention relates to an image processing apparatus, an imaging apparatus, and an image processing method, and more particularly to an image processing apparatus, an imaging apparatus, and an image processing method that obtain the effect of zoom exposure during exposure.
  • Patent Document 1 describes setting a range of change in focal length via a support image for setting shooting conditions.
  • the present invention has been made in view of such circumstances, and an object thereof is to provide an image processing apparatus, an imaging apparatus, and an image processing method capable of easily obtaining an effect intended by a photographer in zooming during exposure.
  • an image processing apparatus includes a first image acquisition unit that acquires a first image, and a zoom that sets a zoom center and a zoom range for the first image.
  • An intermediate image acquisition unit that acquires the same number of images, and an image processing unit that performs at least one of movement, enlargement or reduction, rotation, and change of the degree of blur on the first image, the second image, or the intermediate image
  • An image composition unit that generates a composite image by weighted addition of the processed first image, second image, or intermediate image.
  • the image processing apparatus weights and adds the first image, the second image, and the intermediate image having different shooting angles of view (corresponding to the zoom magnification), the effect of zoom exposure during exposure can be obtained.
  • the effect that the user wants to perform without performing a complicated and difficult operation for example, the locus of the subject is clear
  • the image processing apparatus can set a weight for image addition in accordance with, for example, the time during which the shooting angle of view (corresponding to the zoom magnification) is maintained in zoom exposure during exposure.
  • the weight of the image at that shooting angle of view may be increased.
  • image processing for changing the color and / or brightness of the image may be performed on the image selected from the first image, the second image, and the intermediate image. As a result, it is possible to obtain an image with higher artistic and fantastic effects.
  • the first image may be obtained by photographing with a photographing optical system, or an already photographed image may be obtained via a network or a recording medium.
  • the second image can be obtained from the first image by electronic zoom processing, and the intermediate image can be obtained by photographing with a photographing optical system.
  • An arbitrary integer greater than or equal to zero can be designated as the number of intermediate images to be taken. Processing may be performed with the second image (electronic zoom) with the number of intermediate images taken being zero, or the number of intermediate images may be increased.
  • the second image acquisition unit can acquire a second image having a shooting angle of view smaller than that of the first image.
  • the second image acquisition unit acquires the second image by cutting out a portion corresponding to the zoom center and the zoom range in the first image.
  • the second mode prescribes a mode in which the second image is acquired by electronic zoom.
  • the intermediate image acquisition unit acquires a plurality of images having different shooting angles of view as a specified number of intermediate images
  • the image processing unit includes a plurality of images. Processing is performed on each of the images.
  • the content and degree of processing performed by the image processing unit may be the same regardless of the image, or may be changed for each of a plurality of images.
  • the image processing device further includes an information display unit that displays information indicating a shooting angle of view of the intermediate image on the display device, and the intermediate image acquisition unit Acquires an image taken corresponding to the information as an intermediate image.
  • the information display unit can display, for example, information indicating the zoom center and zoom range with images, characters, numbers, symbols, graphics, etc., and the user can easily display the intermediate image by referring to this information. You can shoot.
  • the zoom setting unit moves the zoom center according to a shift between the zoom center indicated by the information and the center of the image photographed corresponding to the information.
  • the image processing unit moves, enlarges, reduces, or rotates the intermediate image and / or the second image by affine transformation.
  • the sixth aspect prescribes an example of a specific method of movement, enlargement or reduction, and rotation.
  • the zoom setting unit sets the zoom center and the zoom range based on a user instruction input.
  • the user can set a desired zoom center and zoom range.
  • the image processing unit changes the degree of blur based on a user instruction input.
  • the user can set a desired degree of blur.
  • the image processing device is the image processing apparatus according to any one of the first to eighth aspects, wherein the zoom setting unit sets a shooting field angle of the intermediate image according to a distance between the zoom center and the center of the first image.
  • the zoom setting unit sets a shooting field angle of the intermediate image according to a distance between the zoom center and the center of the first image.
  • the zoom setting unit sets the shooting angle of view of the intermediate image according to the distance between the zoom center and the center of the first image, thereby continuously tracing the locus of points away from the zoom center. Can be changed. For example, when changing the shooting angle of view of the intermediate image from a wide state to a narrow state, the zoom setting unit makes the change in the angle of view between images more gradual when the angle of view is wide than when the angle of view is narrow. Further, the number of intermediate images with a wide angle of view may be increased from the number of intermediate images with a narrow angle of view.
  • the image processing apparatus includes a display control unit that displays the composite image on the display device.
  • the user can visually recognize a composite image (an image having an effect of zoom between exposures).
  • the display control unit may display the first image, the second image, and the intermediate image on the display device in addition to the composite image.
  • an image pickup apparatus relates to an image pickup unit that picks up a subject image with a photographic lens including a zoom lens, and any one of the first to tenth aspects.
  • An image processing apparatus wherein the zoom setting unit controls the zoom lens according to the zoom center and the zoom range, and the intermediate image acquisition unit displays an intermediate image corresponding to the zoom center and the zoom range by the imaging unit. get.
  • the user can take an image optically zoomed with the zoom lens and use it as an intermediate image.
  • an image processing method includes a first image acquisition step of acquiring a first image, and a zoom for setting a zoom center and a zoom range for the first image. Specifying a setting step, a second image acquisition step of acquiring a second image corresponding to the zoom center and zoom range, and an intermediate image having a shooting angle of view narrower than that of the first image and a wider shooting angle of view than that of the second image
  • an image composition step of generating one image by weighted addition of the processed first image, second image, or intermediate image.
  • the twelfth aspect similarly to the first aspect, it is possible to easily obtain the effect intended by the photographer in the inter-exposure zoom photographing.
  • the second image acquisition step it is possible to acquire a second image having a shooting angle of view smaller than that of the first image.
  • the image processing method according to the twelfth aspect may further have the same configuration as the second to tenth aspects.
  • a program for causing an image processing apparatus and / or an imaging apparatus to execute the image processing method of these aspects, and a non-transitory recording medium on which a computer-readable code of such a program is recorded can also be cited as an aspect of the present invention. it can.
  • the image processing device As described above, according to the image processing device, the imaging device, and the image processing method of the present invention, it is possible to easily obtain the effect intended by the photographer in the inter-exposure zoom shooting.
  • FIG. 1 is a diagram illustrating a configuration of an imaging apparatus according to the first embodiment.
  • FIG. 2 is a diagram illustrating a functional configuration of the image processing unit.
  • FIG. 3 is a flowchart showing a procedure of image processing.
  • FIG. 4 is a flowchart (continuation of FIG. 3) showing the procedure of image processing.
  • FIG. 5 is a diagram illustrating an example of a wide-angle image.
  • FIG. 6 is a diagram illustrating how the zoom center is set.
  • FIG. 7 is a diagram illustrating how the zoom angle of view is set.
  • FIG. 8 is a diagram illustrating how the focus position is set.
  • FIG. 9 is a diagram illustrating how the number of intermediate images is set.
  • FIG. 10 is a diagram showing a state of actual photographing (first sheet).
  • FIG. 10 is a diagram showing a state of actual photographing (first sheet).
  • FIG. 11 is a diagram illustrating an example (first image) of an actually captured image.
  • FIG. 12 is a diagram showing a state of actual photographing (second image).
  • FIG. 13 is a diagram illustrating an example (second image) of an actually captured image.
  • FIG. 14 is a diagram illustrating a deviation between an intermediate image expected to be captured and an actual intermediate image.
  • FIG. 15 is a diagram illustrating how the shift is corrected.
  • FIG. 16 is a diagram illustrating how the enlargement / reduction ratio is adjusted.
  • FIG. 17 is a diagram illustrating an example of image synthesis by simulation.
  • FIG. 18 is a diagram illustrating another example of image synthesis by simulation.
  • FIG. 19 is a diagram illustrating an example of an output image.
  • FIG. 20 is a diagram illustrating an example of an image synthesized by simulation.
  • FIG. 21 is a diagram illustrating another example of an image synthesized by simulation.
  • FIG. 22 is a diagram showing still another example of an image synthesized by simulation.
  • FIG. 23 is a diagram illustrating an example of an image synthesized for a general subject.
  • FIG. 1 is a diagram illustrating a configuration of an imaging apparatus 10 (imaging apparatus, image processing apparatus) according to the first embodiment.
  • the imaging apparatus 10 includes an interchangeable lens 100 (imaging lens, imaging unit) and an imaging apparatus body 200 (image processing apparatus), and a subject image (optical image) is connected to the imaging element 210 by a photographing lens including a zoom lens 110 described later. Let me image.
  • the interchangeable lens 100 and the imaging apparatus main body 200 can be attached and detached via a mount (not shown).
  • the interchangeable lens 100 includes a zoom lens 110 (zoom lens, photographic lens), a focus lens 120 (photographic lens), a diaphragm 130, and a lens driving unit 140.
  • the lens driving unit 140 performs zoom (optical zoom) adjustment and focus adjustment by driving the zoom lens 110 and the focus lens 120 forward and backward according to a command from the image processing device 240 (lens drive control unit 240H in FIG. 2).
  • the zoom adjustment and the focus adjustment may be performed according to a zoom operation and a focus operation performed by the user (a zoom ring not shown, a rotation of the focus ring, etc.) in addition to being performed according to a command from the image processing apparatus 240. Good.
  • the lens driving unit 140 controls the diaphragm 130 in accordance with a command from the image processing device 240 to adjust the exposure.
  • information such as the positions of the zoom lens 110 and the focus lens 120 and the degree of opening of the diaphragm 130 are input to the image processing device 240.
  • the interchangeable lens 100 has an optical axis L.
  • the imaging apparatus main body 200 includes an imaging element 210 (imaging unit), an AFE 220 (AFE: Analog Front End, imaging unit), an A / D converter 230 (A / D: Analog to Digital, imaging unit), and an image processing device 240.
  • the image sensor 210 includes a light receiving surface on which a large number of light receiving elements are arranged in a matrix. Then, the subject light that has passed through the zoom lens 110, the focus lens 120, and the stop 130 is imaged on the light receiving surface of the image sensor 210, and is converted into an electric signal by each light receiver.
  • An R (red), G (green), or B (blue) color filter is provided on the light receiving surface of the image sensor 210, and a color image of the subject can be acquired based on the signals of each color.
  • various photoelectric conversion devices such as a complementary metal-oxide semiconductor (CMOS) and a charge-coupled device (CCD) can be used.
  • CMOS complementary metal-oxide semiconductor
  • CCD charge-coupled device
  • the AFE 220 performs noise removal and amplification of the analog image signal output from the image sensor 210, and the A / D converter 230 converts the captured analog image signal into a digital image signal having a gradation width.
  • FIG. 2 is a diagram illustrating a functional configuration of the image processing apparatus 240 (image processing apparatus).
  • the image processing apparatus 240 includes a first image acquisition unit 240A (first image acquisition unit), a zoom setting unit 240B (zoom setting unit), a second image acquisition unit 240C (second image acquisition unit), and an intermediate image acquisition unit 240D ( Intermediate image acquisition unit), image processing unit 240E (image processing unit), information display unit 240F (information display unit), display control unit 240G (display control unit), lens drive control unit 240H (lens drive control unit), and image A synthesis unit 240I (image synthesis unit) is provided, and processing such as generation of a synthesized image is performed based on the digital image signal input from the A / D converter 230. Details of the processing by the image processing apparatus 240 will be described later.
  • the function of the image processing apparatus 240 can be realized by using various processors.
  • the various processors include, for example, a CPU (Central Processing Unit) that is a general-purpose processor that executes various types of functions by executing software (programs).
  • the above-mentioned various processors include programmable logic devices that are processors whose circuit configuration can be changed after manufacture, such as GPU (Graphics Processing Unit) and FPGA (Field Programmable Gate Array) that are specialized for image processing. (Programmable Logic Device: PLD) is also included.
  • the above-mentioned various processors include dedicated electric circuits that are processors having a circuit configuration designed exclusively for executing specific processing such as ASIC (Application Specific Specific Integrated Circuit).
  • ASIC Application Specific Specific Integrated Circuit
  • each unit may be realized by a single processor, or may be realized by a plurality of processors of the same or different types (for example, a plurality of FPGAs, a combination of CPU and FPGA, or a combination of CPU and GPU).
  • a plurality of functions may be realized by one processor.
  • configuring a plurality of functions with one processor first, as represented by a computer such as an image processing apparatus main body and a server, one processor is configured with a combination of one or more CPUs and software. There is a form in which this processor is realized as a plurality of functions.
  • SoC system-on-chip
  • IC integrated circuit
  • a processor (computer) readable code of the software to be executed is stored in a non-temporary recording medium such as a ROM (Read Only Memory).
  • a non-temporary recording medium such as a ROM (Read Only Memory).
  • the software stored in the non-temporary recording medium includes a program for executing image input, zoom processing, composition processing, and the like.
  • the code may be recorded on a non-temporary recording medium such as various magneto-optical recording devices and semiconductor memories instead of the ROM.
  • RAM Random Access Memory
  • EEPROM Electrically Erasable Memory and Programmable Read Only Memory
  • the image processing apparatus 240 includes a ROM 242 (ROM: Read Only Memory, non-temporary recording medium) in addition to the above-described units.
  • the ROM 242 stores computer-readable codes of programs (including a program for executing the image processing method according to the present invention) necessary for image input, zoom processing, composition processing, and the like.
  • the operation unit 250 includes a release button (not shown), operation buttons (for example, a cross button, a Quick button, an OK button, etc.), a dial, a switch, and the like. Various operations such as setting an image generation instruction, image processing content and / or degree can be performed.
  • the monitor 270 may be configured as a touch panel and used as the operation unit 250.
  • the storage unit 260 includes various magneto-optical recording media, non-temporary recording media such as a semiconductor memory, and a control circuit thereof, and stores captured images (first image, second image), intermediate images, composite images, and the like.
  • the recording medium a type that can be attached to and detached from the imaging apparatus main body 200 can be used.
  • the monitor 270 (display device) is configured by, for example, a liquid crystal display panel, and can display captured images (first image and second image), intermediate images, composite images, photographing auxiliary information, and the like.
  • the monitor 270 can be disposed on the back side, the top side, or the like of the imaging apparatus main body 200.
  • Image processing in the imaging apparatus 10 having the above-described configuration will be described.
  • 3 and 4 are flowcharts showing the procedure of image processing according to the first embodiment.
  • the image processing device 240 acquires a wide-angle image (first image) (first image acquisition step).
  • the first image acquisition unit 240A may acquire an image captured by the user with the imaging device 10, or may acquire an image stored in advance in the storage unit 260. Further, an image may be acquired via a recording medium or a network.
  • An example of a wide-angle image (wide-angle image I0) is shown in FIG.
  • the image processing apparatus 240 sets the shooting angle of view (zoom center and zoom range) of the telephoto image (second image) for the acquired wide-angle image (step S110: zoom setting step).
  • a shooting angle of view narrower than that of the wide-angle image is set.
  • the image processing apparatus 240 can perform this setting based on a user operation via the operation unit 250 and the monitor 270 as in the following example.
  • FIGS. 6 and 7 are diagrams showing how the zoom center is set for a wide-angle image.
  • the zoom setting unit 240B displays a message M1 that prompts the user to set the zoom center (“Please set the center” in the example of FIG. 6) and a cross-shaped mark that indicates the zoom center.
  • C1 is superimposed on the wide-angle image I0 and displayed on the monitor 270.
  • the user can move the mark C1 to a desired position as shown in (b) and (c) of FIG. 6 by operating a button (for example, a cross button) (not shown) of the operation unit 250. it can.
  • the zoom center is once moved to the left and then moved downward to be in the state shown in part (c).
  • the arrows in the (b) part and (c) part of FIG. 6 indicate the moving direction and moving distance of the mark C1 from the center of the original wide-angle image (the state of the (a) part of FIG. 6).
  • the zoom center is determined (determined by operating an OK button (not shown) or the like) at the position shown in part (c) of FIG.
  • the zoom setting unit 240B displays a message M2 that prompts the user to set a zoom range (“Please set the angle of view” in the example of FIG. 7) and a frame F1 that indicates the zoom range.
  • the image is displayed on the monitor 270 so as to overlap the wide angle image I0.
  • the frame F1 can be a rectangle centered on the position of the mark C1 set in the above-described procedure.
  • the user operates a button (not shown) of the operation unit 250 (for example, an upper / lower button not shown), so that the frame F1 has a desired size as shown in (b) and (c) of FIG. Can be changed.
  • the zoom center is determined (determined by operating an OK button (not shown) or the like) at the position shown in part (c) of FIG.
  • the zoom setting unit 240B sets the zoom center and zoom range determined by the above-described operation as the zoom center and zoom range of the telephoto image (second image) (step S110).
  • the image processing unit 240E sets a focus position for the telephoto image and the intermediate image (step S120: focus position setting step).
  • the image processing unit 240E can perform this setting based on a user operation via the operation unit 250 and the monitor 270 as in the following example.
  • “Focus position” means “difference in the degree of blur between an image (for example, a wide-angle image) serving as a reference for blurring processing and an image of interest”.
  • the image processing unit 240E for example, a message M3 that prompts the user to set a focus position (“focus position setting” in the example of FIG.
  • the second image acquisition unit 240C and the intermediate image acquisition unit 240D set the number of shots N (the number of shots actually taken by the imaging device 10) (step S130: shot number setting step).
  • This setting can be performed based on a user operation via the operation unit 250 and the monitor 270 as in the following example.
  • the second image acquisition unit 240C and the intermediate image acquisition unit 240D indicate, for example, a message M4 that prompts the user to set the number of shots (“Please set the number of shots” in the example of FIG. 9) and the number of shots.
  • the message M4A is displayed on the monitor 270.
  • the second image acquisition unit 240C and the intermediate image acquisition unit 240D set the number N of shots based on the number specified by the above-described operation (step S130).
  • the number of shots N 0, shooting is not performed, and a telephoto image and an intermediate image are generated by electronic zoom.
  • the number of shots N ⁇ 1 N images (from the 0th sheet to the (N ⁇ 1) th sheet) are actually captured, and the image with the narrowest angle of view is used as the telephoto image.
  • the (N ⁇ 1) images excluding can be used as intermediate images.
  • the second image acquisition unit 240C and the intermediate image acquisition unit 240D reset the value of i (counter) to zero as an initial setting (step S140), proceed to step S150, and determine whether or not the number N of shots is 0. .
  • step S140 determines whether or not the number N of shots is 0.
  • step S150 determines whether or not the number N of shots is 0.
  • step S150 determines whether or not the number N of shots is 0.
  • step S220 determines the process.
  • a second image and an intermediate image are generated from the first image by electronic zoom processing.
  • the process proceeds to step S160, and the second image acquisition unit 240C and the intermediate image acquisition unit 240D display the shooting guide on the monitor 270.
  • a message M5 for prompting shooting is displayed (“shoot the first picture” in the example of FIG. 10).
  • the second image acquisition unit 240C and the intermediate image acquisition unit 240D further include an image I1A corresponding to the current shooting direction, zoom center, and zoom range (a live view image, a preview image, etc. can be used), and a reference image.
  • I1 information indicating the shooting angle of view of the telephoto image and intermediate image
  • the reference image I1 is an image that is assumed or expected to be captured.
  • a desired effect for example, a subject image
  • a plurality of images having different zoom magnifications shooting angle of view
  • This is the first image when the trajectory is changed continuously or smoothly.
  • a reference image for example, reference image I2 in FIG. 12
  • each zoom magnification may be displayed at the time of each shooting. preferable.
  • the user can easily capture an intermediate image and a telephoto image for achieving the intended effect by changing the zoom center, the zoom range, and the like so that the image I1A matches the reference image I1.
  • Part (b) of FIG. 10 shows a state where an image corresponding to the current shooting direction, zoom center, and zoom range is the image I1B.
  • the zoom center and the zoom range are closer to the reference image I1 than the image I1A by the user's operation.
  • the second image acquisition unit 240C and the intermediate image acquisition unit 240D compare the current image (images I1A and I1B) with the reference image I1 to calculate differences in the zoom center, zoom range, and the like. If it is larger than the threshold value, a warning message (“zoom to the telephoto side”, “pan to the right”, etc.) may be output (display, audio, etc.).
  • the second image acquisition unit 240C and the intermediate image acquisition unit 240D determine whether or not a shooting start instruction is input (step S170). This determination can be made according to, for example, whether or not the user has pressed down a release button (not shown). The second image acquisition unit 240C and the intermediate image acquisition unit 240D stand by until an instruction to start shooting is input (YES in step S170).
  • the second image acquisition unit 240C, the intermediate image acquisition unit 240D, and the image processing unit 240E correct the focus position of the image to be captured (step S180).
  • step S180 the degree of blur of the image to be photographed is changed by focus control, and the focus position at which the difference in degree of blur from the image serving as the reference for blurring processing (for example, a wide-angle image) is set in step S120 (see FIG. 8).
  • step S190 which will be described later, a blurred image is taken according to the focus position corrected in step S180).
  • the focus control can be performed when the lens drive control unit 240H and the lens drive unit 140 drive the focus lens 120 forward and backward in the direction of the optical axis L (see FIG. 1).
  • focus control focus position correction
  • the second image acquisition unit 240C and the intermediate image acquisition unit 240D capture (acquire) a telephoto image and / or an intermediate image via the interchangeable lens 100, the image sensor 210, and the like (step S190: second image acquisition process, intermediate image). Acquisition process).
  • FIG. 11 is a diagram illustrating an image I1R that is an example of an actually captured image (first image).
  • the second image acquisition unit 240C and the intermediate image acquisition unit 240D determine whether or not the number of captured images is equal to or greater than the number N of captured images (step S210), and repeat the processing of steps S160 to S200 until the determination result is YES. .
  • FIG. 12 is a diagram showing a state of shooting the second sheet.
  • the portion (a) in FIG. 12 corresponds to the message M6 that the second image acquisition unit 240C and the intermediate image acquisition unit 240D prompt the shooting, the current zoom center, and the zoom range, as in the case of the first shooting described above.
  • the image I2A for example, live view image, preview image
  • the reference image I2 telephoto image, information indicating the shooting angle of view of the intermediate image
  • FIG. 12B shows a state where the image corresponding to the current zoom center and zoom range is the image I2B.
  • FIG. 13 is a diagram illustrating an image I2R that is an example of an actually captured image (second image).
  • the intermediate image acquisition unit 240D electronically stores intermediate images having different zoom centers and / or zoom ranges. It can be generated by zooming (step S220: intermediate image acquisition step).
  • the intermediate image acquisition unit 240D can generate (acquire) an intermediate image of the necessary zoom center and zoom range by cutting out a portion corresponding to the zoom center and zoom range of the wide-angle image (first image). it can.
  • the intermediate image acquisition unit 240D repeats such electronic zooming to generate a necessary number of images. Note that the intermediate image acquisition unit 240D does not zoom the wide-angle image, but cuts out a portion corresponding to the zoom center and zoom range from the intermediate image having a wide shooting angle of view, so that the intermediate image of the necessary zoom center and zoom range is obtained. May be generated (obtained).
  • the number of images necessary to obtain a desired effect can be acquired quickly and easily.
  • the number of images necessary to obtain a desired effect can be acquired quickly and easily by using the electronic zoom. be able to.
  • the second image acquisition unit 240C and the intermediate image acquisition unit 240D all generate a telephoto image and an intermediate image by electronic zoom.
  • the image processing unit 240E performs at least one of movement, enlargement or reduction, rotation, and change of the degree of blur on the first image, the second image, and the intermediate image (step S230: image processing step).
  • This image processing is processing for the composite image to produce a desired effect.
  • the image processing unit 240E can set the content and degree of processing in accordance with a user operation (for example, designation of the content and degree of “desired effect”) via the operation unit 250. For example, when enlarging or reducing an image, a technique such as a bilinear interpolation method or a bicubic interpolation method can be used.
  • the center position is set to be shifted from the center of the wide-angle image, the distance from the enlargement / reduction center increases and the discontinuity at the time of image composition increases. Processing is performed at such a scaling ratio (described later). Further, when changing the degree of blur (change by image processing after shooting), a technique such as a Gaussian filter can be used. Further, when the image that is expected to be taken is different from the image that is actually taken, the enlargement / reduction center may be corrected (described later).
  • the image processing unit 240E may display a combination of processing contents and degree on the monitor 270, and perform processing according to the combination selected by the user.
  • the image to be processed can be selected from a wide-angle image (first image), a telephoto image (second image), and an intermediate image according to the content and degree of the effect to be played.
  • first image wide-angle image
  • second image telephoto image
  • intermediate image an image according to the content and degree of the effect to be played.
  • the color and / or brightness of the image may be changed.
  • an image that is expected to be captured and an image that is actually captured can be easily matched by an imaging guide (display of a message and a reference image, etc.). There is a possibility that the captured image will be different from the actually captured image.
  • an image that is expected to be photographed is an image I3 shown in part (a) of FIG. 14, and an actually photographed image (intermediate image or telephoto image) is an image I3R shown in part (b) of FIG. Assuming that the shooting range of the image I3 and the image I3R is shifted.
  • FIG. 15 is a diagram illustrating an example of the correction of the enlargement / reduction center.
  • Parts (a), (b), and (c) of FIG. 15 are “a state in which images I3 and I3R are superimposed as they are”, “a state in which images I3 and I3R are shifted and superimposed”, and “images I3 and I3R, respectively”.
  • a state in which I3R is shifted from the state of part (b) and superimposed is shown.
  • the zoom setting unit 240B and the image processing unit 240E in addition to correcting the enlargement / reduction center by movement, perform relative enlargement, reduction, or rotation between an image that is expected to be taken and an image that is actually taken. The deviation may be corrected.
  • Image processing such as enlargement may be performed every time it is photographed, not after all images are photographed. Note that such movement, enlargement, reduction, or rotation of an image can be performed by affine transformation of a wide-angle image (first image), an intermediate image, or a telephoto image (second image).
  • part (a) of FIG. 16 is a diagram showing an enlarged state with a constant zoom ratio of the image. Specifically, 125% of the zoom range Z1 is the zoom range Z2, 125% of the zoom range Z2 is the zoom range Z3, and 125% of the zoom range Z3 is the zoom range Z4.
  • the movement amount between the zoom ranges at the upper right point farthest from the enlargement / reduction center is the movement amount ⁇ Z3 (movement amount between the zoom ranges Z4 and Z3)> the movement amount ⁇ Z2 (zoom range Z3).
  • the state of spreading is conspicuous.
  • the zoom setting unit 240B and the image processing unit 240E adjust the enlargement / reduction ratio (zoom magnification, shooting angle of view), and the point farthest from the enlargement / reduction center (in the example of FIG. 16). Even at the upper right point of the zoom range), it looks continuous (changes at a constant interval) (step S230: image processing step). For example, as shown in part (b) of FIG. 16, the movement interval of the upper right point is made uniform in the movement range ⁇ Z4.
  • image processing can be performed by the zoom setting unit 240B and the image processing unit 240E setting the shooting field angle of the intermediate image according to the distance between the zoom center and the center of the wide-angle image.
  • the above-described image processing can be realized by causing the zoom setting unit 240B and the image processing unit 240E to gradually change the enlargement / reduction ratio outside the zoom range (in a state where the angle of view is wide) (described later). Note that such processing may be performed at the time of shooting (for example, steps S110 and S160), and an image in which the enlargement / reduction center is adjusted may be shot.
  • FIG. 18 is a diagram for explaining the effect of the above-described scaling ratio adjustment.
  • the part (a) in FIG. 18 is a specific example of an image in which the trajectory cannot be seen continuously like the part (a) in FIG. For example, discontinuity due to the region 301 of the bird wing portion appears in the region 302.
  • part (b) of FIG. 18 is a specific example of an image in which the trajectory can be seen continuously by setting the enlargement ratio by the method described above, as in part (b) of FIG. .
  • the image composition unit 240I generates a composite image by weighting and adding the images (wide-angle image, telephoto image, or intermediate image) subjected to the processing up to step S230 (step S240: image composition step).
  • the weight of the image is the degree of enhancement of the image at the start, midway, and end of the zoom (blurred from the start to the end of the zoom, or vice versa, the state that was blurred at the start of the zoom is made clear toward the end of the zoom , Etc.) can be set.
  • Etc. an image having the effect of zooming between exposures can be generated.
  • the display control unit 240G displays the composite image generated in step S240 on the monitor 270 (step S250: image display process).
  • the composite image may be stored in the storage unit 260.
  • the image composition unit 240I sequentially composes a wide-angle image, an intermediate image, and a telephoto image. From the state where the added image is small to the state where all the images are added, it is continuously like a moving image (or like an animation). Display), an effect such as “the subject pops out”, “sucking in” and the like may be emphasized.
  • FIG. 19 is a diagram illustrating an example of a composite image (an image obtained by zooming and combining actual captured images).
  • the subject flows radially from the zoom center I4C, and it is possible to give an impression that the subject jumps out (or an impression that the subject is sucked in).
  • FIG. 20 is a diagram showing another example of the composite image (composite image by simulation).
  • 41 images 40 intermediate images, telephoto image 1) obtained by enlarging and unsharping (unsharp) the original image I5A (wide-angle image) shown in part (a) of FIG.
  • the image is weighted and averaged to generate a composite image I5B (composite image) shown in part (b) of FIG.
  • the composite image I5B there is an effect that the subject I5X in the original image I5A is zoomed (enlarged) in a clear state.
  • FIG. 21 is a diagram showing another example of a composite image (composite image by simulation).
  • the original image I6A shown in the part (a) of FIG. 21 (wide-angle image; the same as the original image I5A shown in the part (a) of FIG. 20) is enlarged by affine transformation and the degree of blurring by the Gaussian filter.
  • 41 images (40 intermediate images and 1 telephoto image) subjected to the change process are weighted and averaged to generate a composite image I6B (composite image) shown in part (b) of FIG.
  • an effect of blurring the subject I6X in the original image I6A with zooming (enlargement) can be obtained.
  • FIG. 22 is a diagram showing still another example of the composite image (composite image by simulation).
  • 41 images obtained by performing enlargement and rotation by affine transformation on the original image I7A (wide-angle image) shown in part (a) of FIG. 22 and changing (blurring) the degree of blur by a Gaussian filter.
  • the weighted average of (40 intermediate images and 1 telephoto image) is averaged to generate a composite image I7B (composite image) shown in part (b) of FIG.
  • the composite image I7B there is an effect that the subject I7X in the original image I7A is blurred while zooming (enlarging) and rotating.
  • FIG. 23 is a diagram showing still another example of a composite image (a composite image based on an actual image).
  • 41 images (enlarged by affine transformation and changed (blurred) by a Gaussian filter for the original image I8A (wide-angle image) shown in part (a) of FIG. 40 intermediate images and one telephoto image) are weighted averaged to generate a composite image I8B (composite image) shown in part (b) of FIG.
  • a composite image I8B composite image shown in part (b) of FIG.
  • an effect of blurring the subject I8X in the original image I8A while zooming (enlarging) is obtained.
  • the first image, the second image, and the intermediate image having different shooting angles of view are weighted and added, so that the effect of zooming between exposures can be obtained.
  • at least one of the movement, enlargement, rotation, and change in the degree of blurring is performed in the generation of the composite image, it is possible to easily obtain the effect desired by the user without performing a complicated and difficult operation.
  • the imaging device according to the first embodiment can be realized by a digital camera, a smartphone, a tablet terminal, or the like.
  • a mode in which an image captured separately is acquired via a recording medium, a network, or the like and processed by a computer may be employed.
  • Imaging device 100 Interchangeable lens 110 Zoom lens 120 Focus lens 130 Diaphragm 140 Lens drive part 200 Imaging device main body 210 Imaging element 220 AFE 230 A / D converter 240 Image processing device 240A First image acquisition unit 240B Zoom setting unit 240C Second image acquisition unit 240D Intermediate image acquisition unit 240E Image processing unit 240F Information display unit 240G Display control unit 240H Lens drive control unit 240I Image Synthesizer 242 ROM 250 Operation Unit 260 Storage Unit 270 Monitor 301 Area 302 Area C1 Mark F1 Frame I0 Wide Angle Image I1 Reference Image I1A Image I1B Image I1R Image I2 Reference Image I2A Image I2B Image I2R Image I3 Image I3R Image I4 Image I4C Zoom Center I5A Original Image I5B Composite image I5X Subject I6A Original image I6B Composite image I6X Subject I7A Original image I7B Composite image I7X Subject I8A Original image I8B Composite image I8X Subject L

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)

Abstract

露光間ズーム撮影において撮影者が意図する効果を容易に得ることができる画像処理装置、撮像装置、及び画像処理方法を提供することを目的とする。画像処理装置の一態様は、第１画像を取得する第１画像取得部と、第１画像に対してズーム中心及びズーム範囲を設定するズーム設定部と、ズーム中心及びズーム範囲に対応した第２画像であって、第１画像よりも撮影画角が狭い第２画像を取得する第２画像取得部と、第１画像よりも撮影画角が狭く第２画像よりも撮影画角が広い中間画像を、指定された数だけ取得する中間画像取得部と、第１画像、第２画像、または中間画像に対し、移動、拡大または縮小、回転、ボケ度合いの変更のうち少なくとも１つの処理を施す画像処理部と、処理を施した第１画像、第２画像、または中間画像を重み付け加算して合成画像を生成する画像合成部と、を備える。

Description

画像処理装置、撮像装置、及び画像処理方法
　本発明は画像処理装置、撮像装置、及び画像処理方法に関し、特に露光間ズーム撮影の効果を得る画像処理装置、撮像装置、及び画像処理方法に関する。
　写真撮影において、いわゆる「露光間ズーム撮影」という技法が知られている。この「露光間ズーム撮影」によれば、露光中にズーム操作をすることにより被写体の大きさ、軌跡等が変化した芸術的、幻想的な作品を得ることができるが、撮影者の意図する画像を得るためには高度な撮影技術の習得が必要である。このため、露光間ズーム撮影を補助する技術が開発されている。例えば特許文献１には、撮影条件を設定するための支援画像を介して焦点距離の変化範囲を設定することが記載されている。
特開２０１０－２００２４３号公報
　露光間ズーム撮影において、被写体の軌跡を鮮明な線で表現したい場合、あるいは被写体の軌跡を次第にボケていくような線で表現したい場合は、ズーム操作と同時にフォーカス操作をする、という複雑で難易度の高い操作が必要である。また、主要被写体を画像の中心からずらした場所に移動させたい場合は、ズーム操作と同時にカメラの向きを変える操作（パン及び／またはチルト）を行う、という複雑で難易度の高い操作が必要である。しかしながら上述した特許文献１に記載の技術では、焦点距離の変化範囲（ズーム範囲）が設定しやすくなるとしても、ズーム操作と同時に他の操作を行うことが必要な場合は十分な効果が得られない。このような技術では、撮影者が意図した効果（例えば芸術的効果、幻想的効果）を得るのは困難である。
　このように、従来の技術では、露光間ズーム撮影において撮影者が意図する効果を得ることが困難であった。
　本発明はこのような事情に鑑みてなされたもので、露光間ズーム撮影において撮影者が意図する効果を容易に得ることができる画像処理装置、撮像装置、及び画像処理方法を提供することを目的とする。
　上述した目的を達成するため、本発明の第１の態様に係る画像処理装置は、第１画像を取得する第１画像取得部と、第１画像に対してズーム中心及びズーム範囲を設定するズーム設定部と、ズーム中心及びズーム範囲に対応した第２画像を取得する第２画像取得部と、第１画像よりも撮影画角が狭く第２画像よりも撮影画角が広い中間画像を、指定された数だけ取得する中間画像取得部と、第１画像、第２画像、または中間画像に対し、移動、拡大または縮小、回転、ボケ度合いの変更のうち少なくとも１つの処理を施す画像処理部と、処理を施した第１画像、第２画像、または中間画像を重み付け加算して合成画像を生成する画像合成部と、を備える。
　第１の態様によれば、画像処理装置は撮影画角（ズーム倍率に対応）が異なる第１画像、第２画像、中間画像を重み付け加算するので、露光間ズーム撮影の効果を得ることができる。また、合成画像の生成において移動、拡大、回転、ボケ度合いの変更のうち少なくとも１つの処理を施すので、複雑で難易度の高い操作を行うことなくユーザが求める効果（例えば被写体の軌跡が鮮明な線で表現される、被写体の軌跡が次第にボケていく線で表現される、主要被写体を画像の中心からずらした位置に移動させる、等）を容易に得ることができる。なお、画像処理装置は例えば露光間ズーム撮影において撮影画角（ズーム倍率に対応）を維持する時間に対応して、画像の加算における重みを設定することができる。特定の撮影画角における被写体の様子を強調したい場合は、その撮影画角における画像の重みを高くすればよい。また、合成画像の生成において、第１画像、第２画像、中間画像のうちから選択した画像に対し画像の色彩及び／または明るさを変える画像処理を施してもよい。これにより芸術的効果、幻想的効果がさらに高い画像を得ることができる。
　第１の態様において、第１画像は撮影光学系で撮影して取得してもよいし、既に撮影された画像をネットワーク経由、あるいは記録媒体経由で取得してもよい。また、第２画像は第１画像から電子ズーム処理により取得することができ、中間画像は撮影光学系で撮影して取得することができる。中間画像の撮影枚数としてゼロ以上の任意の整数を指定することができる。中間画像の撮影枚数をゼロとして全て第２画像（電子ズーム）で処理してもよいし、中間画像の枚数を多くしてもよい。
　なお、第２画像取得部は、第１画像よりも撮影画角が狭い第２画像を取得することができる。
　第２の態様に係る画像処理装置は第１の態様において、第２画像取得部は、第１画像のうちズーム中心及びズーム範囲に対応した部分を切り出すことにより第２画像を取得する。第２の態様は、電子ズームにより第２画像を取得する態様を規定するものである。
　第３の態様に係る画像処理装置は第１または第２の態様において、中間画像取得部は撮影画角が異なる複数の画像を指定された数の中間画像として取得し、画像処理部は複数の画像のそれぞれに対して処理を施す。第３の態様において、画像処理部が行う処理の内容、度合いは画像によらず同じでもよいし、複数の画像のそれぞれに対して変えてもよい。
　第４の態様に係る画像処理装置は第１から第３の態様のいずれか１つにおいて、中間画像の撮影画角を示す情報を表示装置に表示させる情報表示部をさらに備え、中間画像取得部は情報に対応して撮影された画像を中間画像として取得する。第４の態様では、情報表示部は例えばズーム中心及びズーム範囲を示す情報を画像、文字、数字、記号、図形等により表示することができ、ユーザはこの情報を参照して中間画像を容易に撮影することができる。
　第５の態様に係る画像処理装置は第４の態様において、ズーム設定部は、情報により示されるズーム中心と、情報に対応して撮影された画像の中心とのずれに応じてズーム中心を移動させる。ユーザが第４の態様のような情報を参照して中間画像を撮影する場合、計算上で撮影が期待される画像と実際に撮影された画像とがずれる可能性がある。そこで、ズーム設定部が第５の態様のようにズーム中心を移動させることで、被写体の軌跡がなめらかに変化する合成画像を得ることができる。例えば、ズーム設定部は、期待する画像と実際に撮影された画像との相関値を算出し、相関値が最も高くなるようにズーム中心を移動させることができる。
　第６の態様に係る画像処理装置は第１から第５の態様のいずれか１つにおいて、画像処理部は中間画像及び／または第２画像をアフィン変換により移動、拡大または縮小、回転する。第６の態様は、移動、拡大または縮小、回転の具体的手法の一例を規定するものである。
　第７の態様に係る画像処理装置は第１から第６の態様のいずれか１つにおいて、ズーム設定部はユーザの指示入力に基づいてズーム中心及びズーム範囲を設定する。第７の態様によれば、ユーザは所望のズーム中心及びズーム範囲を設定することができる。
　第８の態様に係る画像処理装置は第１から第７の態様のいずれか１つにおいて、画像処理部はユーザの指示入力に基づいてボケ度合いの変更を行う。第８の態様によれば、ユーザは所望のボケ度合いを設定することができる。
　第９の態様に係る画像処理装置は第１から第８の態様のいずれか１つにおいて、ズーム設定部はズーム中心と第１画像の中心との距離に応じて中間画像の撮影画角を設定する。ズーム中心が第１画像の中心から離れていると、ズーム中心から離れた点の軌跡が画角の変更（例えば、比率が一定の変更）に伴い不連続的に変化し、なめらかな軌跡が得られない場合がある。このような不連続的な変化は、ズーム中心から最も遠い点（例えば、画像の四隅のいずれか）で特に目立つ。そこで第９の態様では、ズーム設定部はズーム中心と第１画像の中心との距離に応じて中間画像の撮影画角を設定しており、これによりズーム中心から離れた点の軌跡を連続的に変化させることができる。例えば、ズーム設定部は、中間画像の撮影画角を広い状態から狭い状態に変化させる場合、画角が広い状態では、画角が狭い状態よりも画像間の画角の変化を緩やかにする。また、画角が広い状態での中間画像の枚数を画角が狭い状態での中間画像の枚数より増やしてもよい。
　第１０の態様に係る画像処理装置は第１から第９の態様のいずれか１つにおいて、合成画像を表示装置に表示させる表示制御部を備える。第１０の態様によれば、ユーザは合成画像（露光間ズームの効果を有する画像）を視認することができる。表示制御部は、合成画像に加えて第１画像、第２画像、中間画像を表示装置に表示させてもよい。
　上述した目的を達成するため、本発明の第１１の態様に係る撮像装置はズームレンズを含む撮影レンズにより被写体像を撮像する撮像部と、第１から第１０の態様のいずれか１つに係る画像処理装置と、を備える撮像装置であって、ズーム設定部はズーム中心及びズーム範囲に応じてズームレンズを制御し、中間画像取得部は撮像部によりズーム中心及びズーム範囲に対応した中間画像を取得する。第１１の態様によれば、ユーザはズームレンズにより光学ズームした画像を撮影して中間画像とすることができる。
　上述した目的を達成するため、本発明の第１２の態様に係る画像処理方法は、第１画像を取得する第１画像取得工程と、第１画像に対してズーム中心及びズーム範囲を設定するズーム設定工程と、ズーム中心及びズーム範囲に対応した第２画像を取得する第２画像取得工程と、第１画像よりも撮影画角が狭く第２画像よりも撮影画角が広い中間画像を、指定された数だけ取得する中間画像取得工程と、第１画像、第２画像、または中間画像に対し、移動、拡大または縮小、回転、ボケ度合いの変更のうち少なくとも１つの処理を施す画像処理工程と、処理を施した第１画像、第２画像、または中間画像を重み付け加算して１つの画像を生成する画像合成工程と、を有する。第１２の態様によれば、第１の態様と同様に露光間ズーム撮影において撮影者が意図する効果を容易に得ることができる。なお、第２画像取得工程では第１画像よりも撮影画角が狭い第２画像を取得することができる。
　第１２の態様に係る画像処理方法は、第２から第１０の態様と同様の構成をさらに有していてもよい。また、これら態様の画像処理方法を画像処理装置及び／または撮像装置に実行させるプログラム、及びそのようなプログラムのコンピュータ読み取り可能なコードを記録した非一時的記録媒体も本発明の態様として挙げることができる。
　以上説明したように、本発明の画像処理装置、撮像装置、及び画像処理方法によれば、露光間ズーム撮影において撮影者が意図する効果を容易に得ることができる。
図１は、第１の実施形態に係る撮像装置の構成を示す図である。 図２は、画像処理部の機能構成を示す図である。 図３は、画像処理の手順を示すフローチャートである。 図４は、画像処理の手順を示すフローチャート（図３の続き）である。 図５は、広角画像の例を示す図である。 図６は、ズーム中心を設定する様子を示す図である。 図７は、ズーム画角の設定の様子を示す図である。 図８は、フォーカス位置設定の様子を示す図である。 図９は、中間画像の撮影枚数設定の様子を示す図である。 図１０は、実際の撮影の様子（１枚目）を示す図である。 図１１は、実際に撮影された画像の例（１枚目）を示す図である。 図１２は、実際の撮影の様子（２枚目）を示す図である。 図１３は、実際に撮影された画像の例（２枚目）を示す図である。 図１４は、撮影が期待される中間画像と実際の中間画像とのズレを示す図である。 図１５は、ズレの補正の様子を示す図である。 図１６は、拡縮率の調整の様子を示す図である。 図１７は、シミュレーションによる画像合成の例を示す図である。 図１８は、シミュレーションによる画像合成の他の例を示す図である。 図１９は、出力画像の例を示す図である。 図２０は、シミュレーションにより合成した画像の例を示す図である。 図２１は、シミュレーションにより合成した画像の他の例を示す図である。 図２２は、シミュレーションにより合成した画像のさらに他の例を示す図である。 図２３は、一般被写体について合成した画像の例を示す図である。
　以下、添付図面を参照しつつ、本発明に係る画像処理装置、撮像装置、及び画像処理方法を実施するための形態について詳細に説明する。
　＜第１の実施形態＞
　＜撮像装置の全体構成＞
　図１は第１の実施形態に係る撮像装置１０（撮像装置、画像処理装置）の構成を示す図である。撮像装置１０は交換レンズ１００（撮影レンズ、撮像部）及び撮像装置本体２００（画像処理装置）により構成され、後述するズームレンズ１１０を含む撮影レンズにより被写体像（光学像）を撮像素子２１０に結像させる。交換レンズ１００と撮像装置本体２００とは、図示せぬマウントを介して装着及び取り外しすることができる。
　＜交換レンズの構成＞
　交換レンズ１００は、ズームレンズ１１０（ズームレンズ、撮影レンズ）と、フォーカスレンズ１２０（撮影レンズ）と、絞り１３０と、レンズ駆動部１４０とを備える。レンズ駆動部１４０は、画像処理装置２４０（図２のレンズ駆動制御部２４０Ｈ）からの指令に応じてズームレンズ１１０、フォーカスレンズ１２０を進退駆動してズーム（光学ズーム）調整、フォーカス調整を行う。ズーム調整及びフォーカス調整は、画像処理装置２４０からの指令に応じて行う他に、ユーザが行ったズーム操作、フォーカス操作（図示せぬズームリング、フォーカスリングの回動等）に応じて行ってもよい。また、レンズ駆動部１４０は画像処理装置２４０からの指令に応じて絞り１３０を制御し、露出を調整する。一方、ズームレンズ１１０及びフォーカスレンズ１２０の位置、絞り１３０の開放度等の情報が画像処理装置２４０に入力される。なお、交換レンズ１００は光軸Ｌを有する。
　＜撮像装置本体の構成＞
　撮像装置本体２００は、撮像素子２１０（撮像部）、ＡＦＥ２２０（ＡＦＥ：Analog Front End、撮像部）、Ａ／Ｄ変換器２３０（Ａ／Ｄ：Analog to Digital、撮像部）、及び画像処理装置２４０を備える。撮像素子２１０は、多数の受光素子がマトリクス状に配列された受光面を備える。そしてズームレンズ１１０、フォーカスレンズ１２０、及び絞り１３０を透過した被写体光が撮像素子２１０の受光面上に結像され、各受光素子によって電気信号に変換される。撮像素子２１０の受光面上にはＲ（赤），Ｇ（緑），またはＢ（青）のカラーフィルタが設けられており、各色の信号に基づいて被写体のカラー画像を取得することができる。なお、撮像素子２１０としては、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）、ＣＣＤ（Charge-Coupled Device）等の様々な光電変換素子を用いることができる。ＡＦＥ２２０は撮像素子２１０から出力されるアナログ画像信号のノイズ除去、増幅等を行い、Ａ／Ｄ変換器２３０は、取り込んだアナログ画像信号を階調幅があるデジタル画像信号に変換する。
　＜画像処理装置の構成＞
　図２は、画像処理装置２４０（画像処理装置）の機能構成を示す図である。画像処理装置２４０は、第１画像取得部２４０Ａ（第１画像取得部）、ズーム設定部２４０Ｂ（ズーム設定部）、第２画像取得部２４０Ｃ（第２画像取得部）、中間画像取得部２４０Ｄ（中間画像取得部）、画像処理部２４０Ｅ（画像処理部）、情報表示部２４０Ｆ（情報表示部）、表示制御部２４０Ｇ（表示制御部）、レンズ駆動制御部２４０Ｈ（レンズ駆動制御部）、及び画像合成部２４０Ｉ（画像合成部）を備え、Ａ／Ｄ変換器２３０から入力されたデジタル画像信号に基づいて合成画像の生成等の処理を行う。画像処理装置２４０による処理の詳細は後述する。
　画像処理装置２４０の機能は、各種のプロセッサ（processor）を用いて実現できる。各種のプロセッサには、例えばソフトウェア（プログラム）を実行して各種の機能を実現する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）が含まれる。また、上述した各種のプロセッサには、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの、製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）も含まれる。さらに、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども、上述した各種のプロセッサに含まれる。
　各部の機能は１つのプロセッサにより実現されてもよいし、同種または異種の複数のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ、またはＣＰＵとＧＰＵの組み合わせ）で実現されてもよい。また、複数の機能を１つのプロセッサで実現してもよい。複数の機能を１つのプロセッサで構成する例としては、第１に、画像処理装置本体、サーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能として実現する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、システム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウェア的な構造として、上述した各種のプロセッサを１つ以上用いて構成される。さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
　上述したプロセッサあるいは電気回路がソフトウェア（プログラム）を実行する際は、実行するソフトウェアのプロセッサ（コンピュータ）読み取り可能なコードをＲＯＭ（Read Only Memory）等の非一時的記録媒体に記憶しておき、プロセッサがそのソフトウェアを参照する。非一時的記録媒体に記憶しておくソフトウェアは、画像の入力、ズーム処理、合成処理等を実行するためのプログラムを含む。ＲＯＭではなく各種光磁気記録装置、半導体メモリ等の非一時的記録媒体にコードを記録してもよい。ソフトウェアを用いた処理の際には例えばＲＡＭ（Random Access Memory）が一時的記憶領域として用いられ、また例えば不図示のＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）に記憶されたデータを参照することもできる。
　画像処理装置２４０は、上述の各部の他にＲＯＭ２４２（ROM：Read Only Memory、非一時的記録媒体）を備える。ＲＯＭ２４２には、画像の入力、ズーム処理、合成処理等に必要なプログラム（本発明に係る画像処理方法を実行するためのプログラムを含む）のコンピュータ読み取り可能なコードが記録される。
　＜操作部＞
　操作部２５０は図示せぬレリーズボタン、操作用ボタン（例えば十字ボタン、Quickボタン、ＯＫボタン等）、ダイヤル、スイッチ等を有し、ユーザは操作部２５０を介して撮影条件設定、撮影指示、合成画像生成指示、画像処理内容及び／または程度の設定等、各種の操作を行うことができる。なお、モニタ２７０をタッチパネルで構成して操作部２５０として使用してもよい。
　＜記憶部＞
　記憶部２６０は各種の光磁気記録媒体、半導体メモリ等の非一時的記録媒体及びその制御回路により構成され、撮影画像（第１画像、第２画像）、中間画像、合成画像等を記憶する。記録媒体は撮像装置本体２００に対し着脱できるタイプを用いることができる。
　＜モニタ（表示装置）＞
　モニタ２７０（表示装置）は例えば液晶表示パネルにより構成され、撮影画像（第１画像、第２画像）、中間画像、合成画像、撮影補助情報等を表示することができる。モニタ２７０は撮像装置本体２００の背面側、天面側等に配置することができる。
　＜画像処理の手順＞
　上述した構成の撮像装置１０における画像処理について説明する。図３、４は、第１の実施形態に係る画像処理の手順を示すフローチャートである。
　＜広角画像の取得＞
　ステップＳ１００では、画像処理装置２４０（第１画像取得部２４０Ａ）が広角画像（第１画像）を取得する（第１画像取得工程）。第１画像取得部２４０Ａはユーザが撮像装置１０で撮影した画像を取得してもよいし、あらかじめ記憶部２６０に記憶されている画像を取得してもよい。また、記録媒体あるいはネットワークを介して画像を取得してもよい。広角画像の例（広角画像Ｉ０）を図５に示す。
　＜望遠画像に対するズーム中心及びズーム範囲の設定＞
　画像処理装置２４０（ズーム設定部２４０Ｂ）は、取得した広角画像に対して、望遠画像（第２画像）の撮影画角（ズーム中心及びズーム範囲）を設定する（ステップＳ１１０：ズーム設定工程）。望遠画像の撮影画角としては、広角画像よりも狭い撮影画角を設定する。画像処理装置２４０は、以下の例のように、操作部２５０及びモニタ２７０を介したユーザの操作に基づいてこの設定を行うことができる。
　図６、７は広角画像に対してズーム中心を設定する様子を示す図である。図６の（ａ）部分に示すように、ズーム設定部２４０Ｂは、ズーム中心の設定を促すメッセージＭ１（図６の例では「中心を設定して下さい」）及びズーム中心を示す十字型のマークＣ１を広角画像Ｉ０に重ねて、モニタ２７０に表示する。ユーザは、操作部２５０の図示せぬボタン（例えば、十字ボタン）を操作することにより、図６の（ｂ）部分、（ｃ）部分に示すようにマークＣ１を所望の位置に移動させることができる。図６の例では、ズーム中心を一旦左方向に移動し、その後下方向に移動して（ｃ）部分に示す状態になっている。図６の（ｂ）部分、（ｃ）部分中の矢印は、元の広角画像の中心（図６の（ａ）部分の状態）からのマークＣ１の移動方向及び移動距離を示す。ここでは、図６の（ｃ）部分に示す位置でズーム中心が確定（図示せぬＯＫボタンの操作等で判断できる）したものとして以下説明する。
　図７の（ａ）部分に示すように、ズーム設定部２４０Ｂは、ズーム範囲の設定を促すメッセージＭ２（図７の例では「画角を設定して下さい」）及びズーム範囲を示す枠Ｆ１を広角画像Ｉ０に重ねて、モニタ２７０に表示する。枠Ｆ１は、上述した手順で設定したマークＣ１の位置を中心とする矩形とすることができる。ユーザは、操作部２５０の図示せぬボタン（例えば、図示せぬ上下ボタン）を操作することにより、図７の（ｂ）部分、（ｃ）部分に示すように枠Ｆ１を所望の大きさに変化させることができる。ここでは、図７の（ｃ）部分に示す位置でズーム中心が確定（図示せぬＯＫボタンの操作等で判断できる）したものとする。
　ズーム設定部２４０Ｂは、上述した操作により確定したズーム中心及びズーム範囲を、望遠画像（第２画像）のズーム中心及びズーム範囲として設定する（ステップＳ１１０）。
　＜フォーカス位置の設定＞
　画像処理部２４０Ｅは、望遠画像及び中間画像に対するフォーカス位置を設定する（ステップＳ１２０：フォーカス位置設定工程）。画像処理部２４０Ｅは、以下の例のように、操作部２５０及びモニタ２７０を介したユーザの操作に基づいてこの設定を行うことができる。なお、「フォーカス位置」とは、「ぼかし処理の基準となる画像（例えば、広角画像）と着目する画像とのボケ度合いの差」を意味する。具体的には、画像処理部２４０Ｅは、例えばフォーカス位置の設定を促すメッセージＭ３（図８の例では「フォーカス位置設定」）、及びフォーカス位置を示すメッセージＭ３Ａ，Ｍ３Ｂ，Ｍ３Ｃ（それぞれ「ボケ度合い：弱」、「ボケ度合い：強」、「ボケ度合いを広角画像に合わせる」に対応）をモニタ２７０に表示する。これに対してユーザは、操作部２５０の図示せぬボタン（例えば、図示せぬ上下ボタン）を操作することにより、図８の（ａ）部分、（ｂ）部分、（ｃ）部分に示すようにフォーカス位置を選択することができる。画像処理部２４０Ｅは、上述した操作により確定したフォーカス位置を、望遠画像及び中間画像のフォーカス位置として設定する（ステップＳ１２０）。
　＜撮影枚数設定＞
　第２画像取得部２４０Ｃ及び中間画像取得部２４０Ｄは、撮影枚数Ｎ（撮像装置１０で実際に撮影する枚数）を設定する（ステップＳ１３０：撮影枚数設定工程）。この設定は、以下の例のように操作部２５０及びモニタ２７０を介したユーザの操作に基づいて行うことができる。具体的には、第２画像取得部２４０Ｃ及び中間画像取得部２４０Ｄは、例えば撮影枚数の設定を促すメッセージＭ４（図９の例では「撮影枚数を設定して下さい」）、及び撮影枚数を示すメッセージＭ４Ａをモニタ２７０に表示する。これに対してユーザは、操作部２５０の図示せぬボタン、ダイヤル等を操作することにより、図９の（ａ）部分、（ｂ）部分、（ｃ）部分に示すように撮影枚数を選択することができる。第２画像取得部２４０Ｃ及び中間画像取得部２４０Ｄは、上述した操作により指定された数に基づいて撮影枚数Ｎを設定する（ステップＳ１３０）。撮影枚数Ｎ＝０の場合、撮影は行わず、電子ズームにより望遠画像及び中間画像を生成する。これに対し撮影枚数Ｎ≧１の場合は、Ｎ枚（０枚目から（Ｎ－１）枚目まで）の画像を実際に撮影して、最も画角が狭い画像を望遠画像とし、望遠画像を除く（Ｎ－１）枚の画像を中間画像とすることができる。
　＜撮影の様子＞
　第２画像取得部２４０Ｃ及び中間画像取得部２４０Ｄは、初期設定としてｉ（カウンタ）の値をゼロにリセット（ステップＳ１４０）し、ステップＳ１５０へ進み、撮影枚数Ｎが０であるか否か判断する。撮影枚数Ｎがゼロの場合はステップＳ１５０でＹＥＳとなってステップＳ２２０へ進み、第１画像から電子ズーム処理により第２画像及び中間画像が生成される。一方、撮影枚数Ｎがゼロでない場合（ステップＳ１５０でＮＯ）はステップＳ１６０へ進み、第２画像取得部２４０Ｃ及び中間画像取得部２４０Ｄは撮影ガイドをモニタ２７０に表示する。具体的には、例えば撮影を促すメッセージＭ５（図１０の例では「１枚目を撮影して下さい」）を表示する。第２画像取得部２４０Ｃ及び中間画像取得部２４０Ｄはさらに、現在の撮影方向、ズーム中心及びズーム範囲に対応した画像Ｉ１Ａ（ライブビュー画像、プレビュー画像等を使用することができる）、及び参考用画像Ｉ１（望遠画像、中間画像の撮影画角を示す情報）をモニタ２７０に表示する（図１０の（ａ）部分を参照）。図１０の（ａ）部分に示す例において、参考用画像Ｉ１は撮影が想定あるいは期待される画像であり、例えばズーム倍率（撮影画角）が異なる複数の画像により所望の効果（例えば、被写体の軌跡が連続的に、あるいはなめらかに変化する）を発揮させる場合の、１枚目の画像である。なお、ズーム倍率が異なる複数の画像を撮影する際は、それぞれの撮影の際に、それぞれのズーム倍率に合わせて設定した参考用画像（例えば、図１２における参考用画像Ｉ２）を表示することが好ましい。
　ユーザは、ズーム中心、ズーム範囲等を変化させて画像Ｉ１Ａを参考用画像Ｉ１に一致させることにより、意図した効果を奏するための中間画像、望遠画像を容易に撮影することができる。図１０の（ｂ）部分は、現在の撮影方向、ズーム中心及びズーム範囲に対応した画像が画像Ｉ１Ｂである状態を示している。この例では、ズーム中心及びズーム範囲が、ユーザの操作により画像Ｉ１Ａよりも参考用画像Ｉ１に近づいている。なお、第２画像取得部２４０Ｃ及び中間画像取得部２４０Ｄは、現在の画像（画像Ｉ１Ａ、Ｉ１Ｂ）と参考用画像Ｉ１とを比較してズーム中心、ズーム範囲等の相違を算出し、相違がしきい値より大きい場合に警告メッセージ（「望遠側にズームして下さい」、「右にパンして下さい」等）を出力（表示、音声等）してもよい。
　第２画像取得部２４０Ｃ及び中間画像取得部２４０Ｄは、撮影開始の指示入力がされたか否か判断する（ステップＳ１７０）。この判断は、例えば、ユーザによる図示せぬレリーズボタンの押し下げ操作の有無に応じて行うことができる。第２画像取得部２４０Ｃ及び中間画像取得部２４０Ｄは、撮影開始の指示入力がされるまで（ステップＳ１７０でＹＥＳになるまで）待機する。
　第２画像取得部２４０Ｃ、中間画像取得部２４０Ｄ及び画像処理部２４０Ｅは、撮影する画像のフォーカス位置を補正する（ステップＳ１８０）。ステップＳ１８０では、撮影する画像のボケ度合いをフォーカス制御により変更して、ぼかし処理の基準となる画像（例えば、広角画像）とのボケ度合いの差をステップＳ１２０で設定したフォーカス位置（図８参照）に合わせる（後述するステップＳ１９０では、ステップＳ１８０で補正したフォーカス位置に応じてボケた画像が撮影される）。フォーカス制御は、レンズ駆動制御部２４０Ｈ及びレンズ駆動部１４０がフォーカスレンズ１２０を光軸Ｌ（図１参照）の方向に進退駆動することにより行うことができる。このようなフォーカス制御（フォーカス位置の補正）により、例えば、「画像の軌跡を鮮明な線で表現する」、「画像の軌跡がズームに伴い次第にボケていく」等の効果を表現することができる。
　第２画像取得部２４０Ｃ、中間画像取得部２４０Ｄは、交換レンズ１００，撮像素子２１０等を介して望遠画像及び／または中間画像を撮影（取得）する（ステップＳ１９０：第２画像取得工程、中間画像取得工程）。図１１は、実際に撮影された画像（１枚目）の例である画像Ｉ１Ｒを示す図である。
　第２画像取得部２４０Ｃ、中間画像取得部２４０Ｄは、撮影した画像の数が撮影枚数Ｎ以上か否かを判断し（ステップＳ２１０）、判断結果がＹＥＳになるまでステップＳ１６０からＳ２００の処理を繰り返す。
　図１２は、２枚目の撮影の様子を示す図である。図１２の（ａ）部分は、上述した１枚目の撮影の場合と同様に、第２画像取得部２４０Ｃ及び中間画像取得部２４０Ｄが撮影を促すメッセージＭ６、現在のズーム中心及びズーム範囲に対応した画像Ｉ２Ａ（例えばライブビュー画像、プレビュー画像）、及び参考用画像Ｉ２（望遠画像、中間画像の撮影画角を示す情報）をモニタ２７０に表示する。ユーザは、ズーム中心及びズーム範囲を変化させて画像Ｉ２Ａを参考用画像Ｉ２に一致させることにより、意図した効果を奏するための中間画像を容易に撮影することができる。図１２の（ｂ）部分は、現在のズーム中心及びズーム範囲に対応した画像が画像Ｉ２Ｂである状態を示している。図１３は、実際に撮影された画像（２枚目）の例である画像Ｉ２Ｒを示す図である。
　＜電子ズームによる画像生成＞
　撮影者が得ようとする効果（例えば、「被写体の軌跡を滑らかに表現したい」）によっては、合成画像の生成において多くの画像を用いることが好ましい場合がある。しかしながら、実際の撮影を多数行うと手間、時間を要する。そこで第１の実施形態では、撮影した画像の数が所望の効果を得るのに必要な画像の数よりも少ない場合、中間画像取得部２４０Ｄはズーム中心及び／またはズーム範囲が異なる中間画像を電子ズームで生成することができる（ステップＳ２２０：中間画像取得工程）。例えば、中間画像取得部２４０Ｄは、広角画像（第１画像）のうちズーム中心及びズーム範囲に対応した部分を切り出すことにより、必要なズーム中心及びズーム範囲の中間画像を生成（取得）することができる。そして中間画像取得部２４０Ｄがこのような電子ズームを繰り返すことで、必要な数の画像を生成することができる。なお、中間画像取得部２４０Ｄは、広角画像をズームするのではなく撮影画角の広い中間画像のうちズーム中心及びズーム範囲に対応した部分を切り出すことにより、必要なズーム中心及びズーム範囲の中間画像を生成（取得）してもよい。
　このように、不足する数の中間画像を電子ズームで生成することにより、所望の効果を得るのに必要な数の画像を迅速かつ容易に取得することができる。また、動きがある被写体では多数の画像を撮影するのが困難な場合があるが、この場合も電子ズームを用いることで所望の効果を得るのに必要な数の画像を迅速かつ容易に取得することができる。なお、撮影枚数Ｎ＝０の場合、第２画像取得部２４０Ｃ及び中間画像取得部２４０Ｄは望遠画像及び中間画像を全て電子ズームにより生成する。
　＜各画像に対する画像処理＞
　画像処理部２４０Ｅは、第１画像、第２画像、中間画像に対し移動、拡大または縮小、回転、ボケ度合いの変更のうち少なくとも１つの処理を施す（ステップＳ２３０：画像処理工程）。この画像処理は、合成画像が所望の効果を奏するための処理である。画像処理部２４０Ｅは、操作部２５０を介したユーザの操作（例えば、「所望の効果」の内容、程度の指定）に応じて処理の内容、程度を設定することができる。例えば、画像の拡大または縮小を行う場合、バイリニア補間法、バイキュービック補間法等の技術を用いることができる。ただし、特に中心位置が広角画像の中心からずれて設定された場合、拡縮中心から遠い点ほど移動量が大きく画像合成時の不連続性が目立ちやすいため、拡縮中心から最も遠い点でも連続に見えるような拡縮率で処理する（後述）。また、ボケ度合いの変更（撮影後の画像処理による変更）を行う場合はガウシアンフィルタ等の技術を用いることができる。また、撮影が期待される画像と実際に撮影された画像がずれている場合は拡縮中心を補正してもよい（後述）。
　ステップＳ２３０の画像処理の際、画像処理部２４０Ｅは、処理内容及び程度の組合せをモニタ２７０に表示させ、ユーザが選択した組合せに応じた処理を行ってもよい。処理を施す画像は、奏する効果の内容及び程度に応じて広角画像（第１画像）、望遠画像（第２画像）、中間画像のうちから選択することができる。なお、移動、拡大または縮小、回転、ボケ度合いの変更の他に、画像の色彩及び／または明度を変更してもよい。
　＜画像処理工程における処理の例＞
　＜拡縮中心の補正＞
　第１の実施形態では、撮影ガイド（メッセージ及び参考用画像の表示等）により、撮影が期待される画像と実際に撮影された画像とを容易に一致させられるが、それでもなお、撮影が期待される画像と実際に撮影された画像とはずれる可能性がある。例えば、撮影が期待される画像が図１４の（ａ）部分に示す画像Ｉ３であり、実際に撮影された画像（中間画像または望遠画像）が図１４の（ｂ）部分に示す画像Ｉ３Ｒであったとすると、画像Ｉ３と画像Ｉ３Ｒとは撮影範囲がずれている。この場合、画像処理部２４０Ｅは画像Ｉ３，Ｉ３Ｒを重ね合わせて少しずつずらしながら相関性を演算し、ずらす方向及び量を調整して相関性が最も高くなるようにして、画像Ｉ３Ｒの拡縮中心（ズーム中心）を補正する（ステップＳ２３０：画像処理工程）。図１５は拡縮中心の補正の例を示す図である。図１５の（ａ）部分、（ｂ）部分、（ｃ）部分はそれぞれ「画像Ｉ３，Ｉ３Ｒをそのまま重ね合わせた状態」、「画像Ｉ３，Ｉ３Ｒをずらして重ね合わせた状態」、「画像Ｉ３，Ｉ３Ｒを（ｂ）部分の状態よりも大きくずらして重ね合わせた状態（相関性が最も高くなる状態の例）」を示す。
　ズーム設定部２４０Ｂ及び画像処理部２４０Ｅは、移動による拡縮中心の補正の他に、撮影が期待される画像と実際に撮影された画像との相対的な拡大または縮小、回転を行って画像どうしのズレを補正してもよい。拡大等の画像処理は、全ての画像を撮影した後に行うのではなく、撮影するごとに行ってもよい。なお、このような画像の移動、拡大または縮小、回転は、広角画像（第１画像）、中間画像、または望遠画像（第２画像）のアフィン変換により行うことができる。
　＜拡縮率の調整＞
　撮影者が意図する効果を付与するために画像を拡大または縮小（ズーム、画角の変更）をする場合、一定比率で拡大または縮小を行うと、拡縮中心（ズーム中心）から遠い点ほど移動量が大きく、合成画像において軌跡の不連続性が目立ちやすい。例えば、図１６の（ａ）部分は画像のズーム率を一定にして拡大した状態を示す図である。具体的には、ズーム範囲Ｚ１の１２５％をズーム範囲Ｚ２とし、以下同様にズーム範囲Ｚ２の１２５％をズーム範囲Ｚ３とし、ズーム範囲Ｚ３の１２５％をズーム範囲Ｚ４としている。これらのズーム範囲を重ね合わせると、拡縮中心から最も遠い右上の点のズーム範囲間の移動量は、移動量ΔＺ３（ズーム範囲Ｚ４、Ｚ３の間での移動量）＞移動量ΔＺ２（ズーム範囲Ｚ３、Ｚ２の間での移動量）＞移動量ΔＺ１（ズーム範囲Ｚ２、Ｚ１の間での移動量）となり、内側から外側へ向かうにつれて（すなわち、ズーム範囲Ｚ１からズーム範囲Ｚ４に向かうにつれて）間隔が広がる様子が目立つ。
　このような観点から、第１の実施形態では、ズーム設定部２４０Ｂ及び画像処理部２４０Ｅが拡縮率（ズーム倍率、撮影画角）を調整して、拡縮中心から最も遠い点（図１６の例ではズーム範囲の右上の点）でも連続に見える（一定の間隔で変化する）ようにする（ステップＳ２３０：画像処理工程）。例えば、図１６の（ｂ）部分に示すように、移動範囲ΔＺ４において右上の点の移動間隔を均等にする。このような画像処理は、ズーム設定部２４０Ｂ及び画像処理部２４０Ｅがズーム中心と広角画像の中心との距離に応じて中間画像の撮影画角を設定することにより行うことができる。具体的には、ズーム設定部２４０Ｂ及び画像処理部２４０Ｅがズーム範囲の外側（画角が広い状態）では拡縮率を緩やかに変化させることにより、上述した画像処理を実現できる（後述）。なお、このような処理を撮影の際（例えば、ステップＳ１１０、Ｓ１６０等）に行い、拡縮中心が調整された画像を撮影してもよい。
　＜拡縮率調整の処理＞
　上述した拡縮率調整の処理について詳述する。図１７に示すように、画角が広い方の画像の幅をＷ画素、高さをＨ画素とする。画角が狭い方の画像は、画角が広い方の画像において、幅を（Ｗ－ΔＷ）画素、高さを（Ｈ－ΔＨ）画素に相当する画角であるとする。ズーム設定部２４０Ｂ及び画像処理部２４０Ｅは、ＷとＨのうち小さくない方（図１７の例ではＷ＞Ｈなので、Ｗ）を基準に拡縮率を算出する。拡縮中心点と拡縮中心点から最も遠い点との距離が最大となるのは、拡縮中心点が画像の四隅のときであるから、この場合でも連続性が保たれるようにすればよい。この場合、拡大による幅が１画素より大きくなると不連続性が生じてしまうため、ズーム設定部２４０Ｂ及び画像処理部２４０Ｅは、拡大による幅が１画素ずつ大きくなるように、ΔＷ回のステップ回数で拡大処理を行う。すなわち各ステップ回数ｊ（ｊ＝１、２、…、ΔＷ）における拡大率Ｍ＿ｊはそれぞれ
　　　Ｍ＿１　＝　（Ｗ－ΔＷ＋１）　÷　（Ｗ－ΔＷ）
　　　Ｍ＿２　＝　（Ｗ－ΔＷ＋２）　÷　（Ｗ－ΔＷ＋１）
…
　　　Ｍ＿ΔＷ　＝　Ｗ　÷　（Ｗ－１）
とする。
　＜拡縮率調整の効果＞
　図１８は、上述した拡縮率調整の効果を説明するための図である。図１８の（ａ）部分は、図１６の（ａ）部分のように、軌跡が連続的に見えない画像の具体例である。例えば、鳥の羽部分の領域３０１に起因する不連続性が領域３０２に現れている。これに対して図１８の（ｂ）部分は、図１６の（ｂ）部分のように、上述した手法で拡大率を設定することにより軌跡が連続的に見えるようにした画像の具体例である。このように、第１の実施形態によれば、露光間ズーム画像において撮影者が意図する効果（この場合、被写体の軌跡を連続的に、なめらかに変化させる）を容易に得ることができる。
　＜加重平均による合成画像の生成＞
　画像合成部２４０Ｉは、ステップＳ２３０までの処理を行った画像（広角画像、望遠画像、または中間画像）を重み付け加算して合成画像を生成する（ステップＳ２４０：画像合成工程）。画像に対する重みは、ズーム開始、途中、及び終了における画像の強調度合い（ズーム開始から終了に向けてぼかしていく、あるいはその逆にズーム開始においてぼけていた状態をズーム終了に向けて鮮明にしていく、等）を考慮して設定することができる。このような重み付け加算により、露光間ズーム撮影の効果を奏する画像を生成することができる。
　＜合成画像の表示＞
　表示制御部２４０Ｇは、ステップＳ２４０で生成された合成画像をモニタ２７０に表示させる（ステップＳ２５０：画像表示工程）。合成画像を表示するだけでなく、記憶部２６０に記憶してもよい。また、画像合成部２４０Ｉが広角画像、中間画像、望遠画像を順次合成し、加算した画像が少ない状態から全ての画像を加算した状態までを、連続して動画像のように（あるいはアニメーションのように）表示することで、「被写体が飛び出してくる」、「吸い込まれてゆく」等の効果が強調される表示を行ってもよい。
　＜合成画像の例１＞
　図１９は合成画像の例（実際に撮影した画像をズーム、合成した画像）を示す図である。図１９に示す画像Ｉ４では、ズーム中心Ｉ４Ｃから被写体が放射状に流れており、被写体が飛び出してくるような印象（あるいは吸い込まれていくような印象）を与えることができる。
　＜合成画像の例２＞
　図２０は合成画像の他の例（シミュレーションによる合成画像）を示す図である。図２０の例では、図２０の（ａ）部分に示す元画像Ｉ５Ａ（広角画像）に対し拡大及びアンシャープ（Unsharp；強調処理）を施した４１枚の画像（中間画像４０枚、望遠画像１枚）を加重平均し、同図の（ｂ）部分に示す合成画像Ｉ５Ｂ（合成画像）を生成している。合成画像Ｉ５Ｂでは、元画像Ｉ５Ａにおける被写体Ｉ５Ｘが、鮮明な状態のままズーム（拡大）されていく効果が得られる。
　＜合成画像の例３＞
　図２１は合成画像の他の例（シミュレーションによる合成画像）を示す図である。図２１の例では、図２１の（ａ）部分に示す元画像Ｉ６Ａ（広角画像；図２０の（ａ）部分に示す元画像Ｉ５Ａと同じ）に対し、アフィン変換による拡大及びガウシアンフィルタによるボケ度合いの変更の処理を施した４１枚の画像（中間画像４０枚、望遠画像１枚）を加重平均し、同図の（ｂ）部分に示す合成画像Ｉ６Ｂ（合成画像）を生成している。合成画像Ｉ６Ｂでは、元画像Ｉ６Ａにおける被写体Ｉ６Ｘがズーム（拡大）にともないボケていく効果が得られる。
　＜合成画像の例４＞
　図２２は合成画像のさらに他の例（シミュレーションによる合成画像）を示す図である。図２２の例では、図２２の（ａ）部分に示す元画像Ｉ７Ａ（広角画像）に対しアフィン変換による拡大及び回転、ガウシアンフィルタによるボケ度合いの変更（ぼかし）の処理を施した４１枚の画像（中間画像４０枚、望遠画像１枚）を加重平均し、同図の（ｂ）部分に示す合成画像Ｉ７Ｂ（合成画像）を生成している。合成画像Ｉ７Ｂでは、元画像Ｉ７Ａにおける被写体Ｉ７Ｘがズーム（拡大）及び回転しながらボケていく効果が得られる。
　＜合成画像の例５＞
　図２３は合成画像のさらに他の例（実際の画像による合成画像）を示す図である。図２３の例では、図２３の（ａ）部分に示す元画像Ｉ８Ａ（広角画像）に対しアフィン変換による拡大、及びガウシアンフィルタによるボケ度合いの変更（ぼかし）の処理を施した４１枚の画像（中間画像が４０枚、望遠画像が１枚）を加重平均し、同図の（ｂ）部分に示す合成画像Ｉ８Ｂ（合成画像）を生成している。合成画像Ｉ８Ｂでは、元画像Ｉ８Ａにおける被写体Ｉ８Ｘがズーム（拡大）しながらボケていく効果が得られる。
　＜第１の実施形態の効果＞
　以上説明したように、第１の実施形態によれば、撮影画角が異なる第１画像、第２画像、中間画像を重み付け加算するので、露光間ズーム撮影の効果を得ることができる。また、合成画像の生成において移動、拡大、回転、ボケ度合いの変更のうち少なくとも１つの処理を施すので、複雑で難易度の高い操作を行うことなくユーザが求める効果を容易に得ることができる。
　＜その他＞
　以上で本発明の実施形態に関して説明してきたが、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。例えば、第１の実施形態における撮像装置は、デジタルカメラ、スマートフォン、タブレット端末等により実現することができる。また、撮像装置１０のように撮像部を設けるのではなく、別途撮像した画像を記録媒体、ネットワーク等を介して取得しコンピュータで処理する態様を採用してもよい。
１０　　　撮像装置
１００　　交換レンズ
１１０　　ズームレンズ
１２０　　フォーカスレンズ
１３０　　絞り
１４０　　レンズ駆動部
２００　　撮像装置本体
２１０　　撮像素子
２２０　　ＡＦＥ
２３０　　Ａ／Ｄ変換器
２４０　　画像処理装置
２４０Ａ　第１画像取得部
２４０Ｂ　ズーム設定部
２４０Ｃ　第２画像取得部
２４０Ｄ　中間画像取得部
２４０Ｅ　画像処理部
２４０Ｆ　情報表示部
２４０Ｇ　表示制御部
２４０Ｈ　レンズ駆動制御部
２４０Ｉ　画像合成部
２４２　　ＲＯＭ
２５０　　操作部
２６０　　記憶部
２７０　　モニタ
３０１　　領域
３０２　　領域
Ｃ１　　　マーク
Ｆ１　　　枠
Ｉ０　　　広角画像
Ｉ１　　　参考用画像
Ｉ１Ａ　　画像
Ｉ１Ｂ　　画像
Ｉ１Ｒ　　画像
Ｉ２　　　参考用画像
Ｉ２Ａ　　画像
Ｉ２Ｂ　　画像
Ｉ２Ｒ　　画像
Ｉ３　　　画像
Ｉ３Ｒ　　画像
Ｉ４　　　画像
Ｉ４Ｃ　　ズーム中心
Ｉ５Ａ　　元画像
Ｉ５Ｂ　　合成画像
Ｉ５Ｘ　　被写体
Ｉ６Ａ　　元画像
Ｉ６Ｂ　　合成画像
Ｉ６Ｘ　　被写体
Ｉ７Ａ　　元画像
Ｉ７Ｂ　　合成画像
Ｉ７Ｘ　　被写体
Ｉ８Ａ　　元画像
Ｉ８Ｂ　　合成画像
Ｉ８Ｘ　　被写体
Ｌ　　　　光軸
Ｍ１　　　メッセージ
Ｍ２　　　メッセージ
Ｍ３　　　メッセージ
Ｍ３Ａ　　メッセージ
Ｍ４　　　メッセージ
Ｍ４Ａ　　メッセージ
Ｍ５　　　メッセージ
Ｍ６　　　メッセージ
Ｎ　　　　撮影枚数
Ｓ１００～Ｓ２５０　画像処理方法の各ステップ
Ｚ１　　　ズーム範囲
Ｚ２　　　ズーム範囲
Ｚ３　　　ズーム範囲
Ｚ４　　　ズーム範囲
ΔＺ１　　移動量
ΔＺ２　　移動量
ΔＺ３　　移動量
ΔＺ４　　移動範囲

Claims (12)

  1. 　第１画像を取得する第１画像取得部と、
    　前記第１画像に対してズーム中心及びズーム範囲を設定するズーム設定部と、
    　前記ズーム中心及び前記ズーム範囲に対応した第２画像を取得する第２画像取得部と、
    　前記第１画像よりも撮影画角が狭く前記第２画像よりも撮影画角が広い中間画像を、指定された数だけ取得する中間画像取得部と、
    　前記第１画像、前記第２画像、または前記中間画像に対し、移動、拡大または縮小、回転、ボケ度合いの変更のうち少なくとも１つの処理を施す画像処理部と、
    　前記処理を施した前記第１画像、前記第２画像、または前記中間画像を重み付け加算して合成画像を生成する画像合成部と、
    　を備える画像処理装置。
  2. 　前記第２画像取得部は、前記第１画像のうち前記ズーム中心及び前記ズーム範囲に対応した部分を切り出すことにより前記第２画像を取得する請求項１に記載の画像処理装置。
  3. 　前記中間画像取得部は撮影画角が異なる複数の画像を前記指定された数の前記中間画像として取得し、前記画像処理部は前記複数の画像のそれぞれに対して前記処理を施す請求項１または２に記載の画像処理装置。
  4. 　前記中間画像の前記撮影画角を示す情報を表示装置に表示させる情報表示部をさらに備え、
    　前記中間画像取得部は前記情報に対応して撮影された画像を前記中間画像として取得する請求項１から３のいずれか１項に記載の画像処理装置。
  5. 　前記ズーム設定部は、前記情報により示される前記ズーム中心と、前記情報に対応して撮影された前記画像の中心とのずれに応じて前記ズーム中心を移動させる請求項４に記載の画像処理装置。
  6. 　前記画像処理部は前記中間画像及び／または前記第２画像をアフィン変換により移動、拡大または縮小、回転する請求項１から５のいずれか１項に記載の画像処理装置。
  7. 　前記ズーム設定部はユーザの指示入力に基づいて前記ズーム中心及び前記ズーム範囲を設定する請求項１から６のいずれか１項に記載の画像処理装置。
  8. 　前記画像処理部はユーザの指示入力に基づいて前記ボケ度合いの変更を行う請求項１から７のいずれか１項に記載の画像処理装置。
  9. 　前記ズーム設定部は前記ズーム中心と前記第１画像の中心との距離に応じて前記中間画像の前記撮影画角を設定する請求項１から８のいずれか１項に記載の画像処理装置。
  10. 　前記合成画像を表示装置に表示させる表示制御部を備える請求項１から９のいずれか１項に記載の画像処理装置。
  11. 　ズームレンズを含む撮影レンズにより被写体像を撮像する撮像部と、
    　請求項１から１０のいずれか１項に記載の画像処理装置と、を備える撮像装置であって、
    　前記ズーム設定部は前記ズーム中心及び前記ズーム範囲に応じて前記ズームレンズを制御し、
    　前記中間画像取得部は前記撮像部により前記ズーム中心及び前記ズーム範囲に対応した前記中間画像を取得する撮像装置。
  12. 　第１画像を取得する第１画像取得工程と、
    　前記第１画像に対してズーム中心及びズーム範囲を設定するズーム設定工程と、
    　前記ズーム中心及び前記ズーム範囲に対応した第２画像を取得する第２画像取得工程と、
    　前記第１画像よりも撮影画角が狭く前記第２画像よりも撮影画角が広い中間画像を、指定された数だけ取得する中間画像取得工程と、
    　前記第１画像、前記第２画像、または前記中間画像に対し、移動、拡大または縮小、回転、ボケ度合いの変更のうち少なくとも１つの処理を施す画像処理工程と、
    　前記処理を施した前記第１画像、前記第２画像、または前記中間画像を重み付け加算して１つの画像を生成する画像合成工程と、
    　を有する画像処理方法。
PCT/JP2019/009476 2018-03-16 2019-03-08 画像処理装置、撮像装置、及び画像処理方法 WO2019176804A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020506482A JP7028958B2 (ja) 2018-03-16 2019-03-08 画像処理装置、撮像装置、及び画像処理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018049904 2018-03-16
JP2018-049904 2018-03-16

Publications (1)

Publication Number Publication Date
WO2019176804A1 true WO2019176804A1 (ja) 2019-09-19

Family

ID=67908268

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/009476 WO2019176804A1 (ja) 2018-03-16 2019-03-08 画像処理装置、撮像装置、及び画像処理方法

Country Status (2)

Country Link
JP (1) JP7028958B2 (ja)
WO (1) WO2019176804A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112823507A (zh) * 2020-03-27 2021-05-18 深圳市大疆创新科技有限公司 拍摄方法、装置、设备及计算机可读存储介质
CN113891018A (zh) * 2021-11-23 2022-01-04 维沃移动通信有限公司 拍摄方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004126842A (ja) * 2002-10-01 2004-04-22 Fujitsu Ten Ltd 画像処理装置
JP2011095501A (ja) * 2009-10-29 2011-05-12 Canon Inc 撮像装置
JP2014239382A (ja) * 2013-06-10 2014-12-18 オリンパス株式会社 画像処理装置、撮像装置、画像処理方法、及び画像処理プログラム
JP2015119299A (ja) * 2013-12-18 2015-06-25 オリンパス株式会社 撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004126842A (ja) * 2002-10-01 2004-04-22 Fujitsu Ten Ltd 画像処理装置
JP2011095501A (ja) * 2009-10-29 2011-05-12 Canon Inc 撮像装置
JP2014239382A (ja) * 2013-06-10 2014-12-18 オリンパス株式会社 画像処理装置、撮像装置、画像処理方法、及び画像処理プログラム
JP2015119299A (ja) * 2013-12-18 2015-06-25 オリンパス株式会社 撮像装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112823507A (zh) * 2020-03-27 2021-05-18 深圳市大疆创新科技有限公司 拍摄方法、装置、设备及计算机可读存储介质
CN113891018A (zh) * 2021-11-23 2022-01-04 维沃移动通信有限公司 拍摄方法、装置及电子设备

Also Published As

Publication number Publication date
JPWO2019176804A1 (ja) 2021-03-25
JP7028958B2 (ja) 2022-03-02

Similar Documents

Publication Publication Date Title
JP6404941B2 (ja) 動きぼけを有する画像を取得するための方法および装置
JP2009054130A (ja) 画像処理装置、画像処理方法およびデジタルスチルカメラ
JP2009212899A (ja) 撮像装置
JP2009303196A (ja) 撮影装置およびプログラム
WO2015001835A1 (ja) 撮像装置
JP2010021753A (ja) 画像処理装置、画像処理方法およびデジタルスチルカメラ
JP7422843B2 (ja) 画像処理装置およびその制御方法ならびにプログラム
JP6537231B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2007086269A (ja) カメラ装置およびカメラ装置のズームレンズ光学系の焦点距離調節方法
JP5326758B2 (ja) カメラ、画像処理装置、および画像処理プログラム
WO2019176804A1 (ja) 画像処理装置、撮像装置、及び画像処理方法
JP6541501B2 (ja) 画像処理装置、撮像装置、及び画像処理方法
JP2015204470A (ja) 撮像装置およびその制御方法ならびにプログラム
JP6748847B2 (ja) 撮像装置
JP2008054115A (ja) 撮像装置及び撮像方法
JP2017143504A5 (ja)
JP2009047734A (ja) 撮像装置及び画像処理プログラム
JP2007214620A (ja) 画像処理装置、画像処理方法、およびプログラム
CN110896443A (zh) 一种用于双摄像头切换的区域值预设方法
JP7015906B2 (ja) 撮像装置、撮像方法、及びカメラシステム
JP7389558B2 (ja) 情報処理装置およびその制御方法ならびにプログラム
JP6212717B2 (ja) 撮像装置
TW201722137A (zh) 產生包含物體移動軌跡的相片的方法及相關攝影裝置
JP2016208118A (ja) 画像処理装置、画像処理方法及びプログラム
JP2017063340A (ja) 像ブレ補正装置、撮像装置および制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19767549

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020506482

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19767549

Country of ref document: EP

Kind code of ref document: A1