WO2017130522A1 - 画像処理装置、撮像装置、画像処理方法、及びプログラム - Google Patents

画像処理装置、撮像装置、画像処理方法、及びプログラム Download PDF

Info

Publication number
WO2017130522A1
WO2017130522A1 PCT/JP2016/083651 JP2016083651W WO2017130522A1 WO 2017130522 A1 WO2017130522 A1 WO 2017130522A1 JP 2016083651 W JP2016083651 W JP 2016083651W WO 2017130522 A1 WO2017130522 A1 WO 2017130522A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
imaging data
subject
data
image processing
Prior art date
Application number
PCT/JP2016/083651
Other languages
English (en)
French (fr)
Inventor
片山　達嗣
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Publication of WO2017130522A1 publication Critical patent/WO2017130522A1/ja
Priority to US16/040,722 priority Critical patent/US10694093B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/676—Bracketing for image capture at varying focusing conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array

Definitions

  • the present invention relates to an image processing device, an imaging device, an image processing method, and a program.
  • Patent Document 1 a technique for generating an image focused on an arbitrary subject after shooting in an imaging apparatus such as a digital camera has been proposed (see Patent Document 1).
  • the imaging apparatus of Patent Document 1 separates and records light incident from various directions by forming a light beam that has passed through different pupil regions of the imaging optical system on each pixel of the imaging element via a microlens array. Generated video output data. Thereafter, the imaging device generates a moving image focused on a specific subject from the moving image recording data.
  • the focus control suitable for obtaining high-quality images differs between still images and moving images.
  • a still image accurately focusing on the subject leads to an improvement in image quality.
  • moving images continuity in the time direction affects the image quality. Therefore, when the subject moves at a high speed, suppressing the tracking speed and gradually focusing on the subject leads to an improvement in image quality.
  • Patent Document 1 discloses generating a moving image, but does not consider generating a still image from each frame of moving image recording data. Until now, no technique has been proposed for performing focusing control according to the use of moving image output data after shooting.
  • the present invention has been made in view of such a situation, and provides a technique that makes it possible to execute focusing control in accordance with the use of an image when generating an image from captured data.
  • an acquisition unit that acquires a plurality of imaging data continuously generated by an imaging unit, and a target position that determines a target position in an image of each imaging data for each of the plurality of imaging data
  • a determining unit that a selecting unit that selects the first focusing mode or the second focusing mode; a focal position determining unit that determines a focal position in the depth direction at the target position for each of the plurality of imaging data;
  • Generating means for generating, from the imaging data, an image that is in focus at the determined focal position and blurred at another position for each of the plurality of imaging data, and the focal position determination means includes the selection When the first focusing mode is selected by the means, the focus position of the subject at the target position is determined as the focal position, and the selection means When the second focusing mode is selected, the focus position of each of the plurality of imaging data is a position at which the subject is focused at the target position at a speed equal to or lower than a threshold in the order of generation of the plurality of imaging
  • an image processing method executed by an image processing apparatus, wherein an acquisition step of acquiring a plurality of imaging data continuously generated by an imaging unit, and each of the plurality of imaging data A target position determining step for determining a target position in the image of the imaging data, a selection step for selecting the first focusing mode or the second focusing mode, and the depth at the target position for each of the plurality of imaging data. A focal position determination step for determining a focal position in a direction, and a generation step for generating an image that is in focus at the determined focal position and blurred at another position from the imaging data for each of the plurality of imaging data.
  • the focal position determination step when the first focusing mode is selected in the selection step, the subject at the target position is focused.
  • the focus position of each of the plurality of imaging data is a speed equal to or lower than a threshold in the order of generation of the plurality of imaging data.
  • the image processing method is characterized in that the focal position is determined so as to follow the position where the subject is focused at the target position.
  • FIG. 1 is a block diagram of an imaging apparatus 100.
  • 5 is a flowchart showing a reproduction process executed by the imaging apparatus 100.
  • FIG. 6 is a schematic diagram of thumbnail images displayed on a display unit 107.
  • FIG. 6 is a diagram showing a subject selection screen 501.
  • FIG. 4 is a flowchart showing details of still image reproduction processing (S305 in FIG. 3).
  • FIG. 4 is a flowchart showing details of a moving image reproduction process (S306 in FIG. 3).
  • FIG. 6 is a schematic diagram of a screen displayed on the display unit 107 during shooting.
  • each embodiment will be described based on an imaging apparatus including a configuration of an image processing apparatus that executes a refocus process during reproduction.
  • the image processing apparatus and the imaging apparatus may be separated.
  • the image processing apparatus acquires imaging data and the like from the imaging apparatus, and performs various image processing such as refocus processing based on the acquired imaging data and the like.
  • the imaging apparatus captures an aperture with pan focus and generates RAW image data as imaging data.
  • the imaging apparatus captures the subject distance at that position (the position in the depth direction that focuses on the subject, which may be a phase difference or a defocus amount) and the target focal distance ( The image is blurred based on the difference from the focal position. Specifically, image processing is performed to blur the image so that the area corresponding to the target focal position is in focus and the other areas corresponding to positions in the depth direction are blurred according to the depth.
  • the effect of the refocus processing on the target in-focus distance can be obtained in a pseudo manner.
  • the method for realizing the refocus processing is not limited to this, and the imaging data generated by the imaging apparatus is not limited to RAW image data obtained from a normal single-lens imaging element.
  • the imaging apparatus uses the imaging system of Patent Document 1 or an imaging system using a multi-lens imaging device to separate and record light incident from various directions, and has data with light intensity information and angle information. (Light field data) may be generated as imaging data.
  • the refocus processing may be performed by rearranging each pixel data so as to correspond to a desired in-focus distance based on the obtained light field data.
  • FIG. 1 is a block diagram of an imaging apparatus 100 according to the first embodiment.
  • an imaging optical system 101 is configured to be able to control a lens in accordance with operations such as zooming and focusing.
  • the image sensor 102 is configured by a CMOS or the like.
  • the image sensor 102 is configured to acquire a phase difference signal for AF (autofocus) in units of pixels by dividing and capturing signals of each pixel on the imaging surface. If the phase difference signal output from the image sensor 102 is used, it is possible to acquire distance information of the subject to be photographed.
  • the distance information generation unit 111 calculates subject distance information based on the phase difference signal output from the image sensor 102 and writes it in the memory 105.
  • the image processing unit 103 generates digital data by A / D converting the image signal output from the image sensor 102, and generates RAW image data by performing predetermined processing on the digital data.
  • the RAW image data is temporarily stored in the memory 105.
  • the image processing unit 103 performs a development process for display in order to display an image being captured on the display unit 107 such as a liquid crystal panel. Any known technique can be used for generating and developing RAW image data.
  • the image processing unit 103 performs a refocus process when reproducing RAW image data (details will be described later).
  • the memory 105 is configured by a DRAM or the like, and holds recording data generated by the recording processing unit 104, a program for controlling the imaging apparatus 100, resource data such as characters and icons displayed on the display unit 107, and the like.
  • the recording processing unit 104 reads out RAW image data and subject distance information held in the memory 105, converts them into a predetermined recording format, and writes them into the recording medium 108.
  • the display processing unit 106 performs processing for displaying the video, icons, characters, and the like being captured held in the memory 105 on the display unit 107.
  • the display unit 107 includes a liquid crystal panel or the like.
  • the recording medium 108 is a nonvolatile semiconductor memory such as an SD memory card.
  • the system control unit 110 includes a CPU and the like, and controls the entire imaging apparatus 100.
  • a ROM 109 read-only memory holds control programs, character fonts, icon resource data, and the like.
  • the bus 112 is a bus for connecting each unit of the imaging apparatus 100 to exchange data. By transmitting a control signal from the system control unit 110 to each unit of the imaging apparatus 100 via the bus 112, the entire imaging apparatus 100 can be controlled.
  • the operation unit 113 includes buttons, a dial, and the like, and is used for operation instructions such as recording start and recording stop, and various setting instructions. In addition, the operation unit 113 includes a touch panel mounted on the liquid crystal panel of the display unit 107.
  • the system control unit 110 detects that a mode setting dial (not shown) of the operation unit 113 is set to the recording mode, the system control unit 110 shifts to the recording mode control.
  • the imaging apparatus 100 displays the subject image being shot on the display unit 107 so that the user can check the shooting situation.
  • the image processing unit 103 performs predetermined development processing on the data generated by the image sensor 102 from the subject image incident via the imaging optical system 101 and outputs the data to the memory 105.
  • the display processing unit 106 converts the data in the memory 105 and displays it on the display unit 107.
  • the image to be recorded on the recording medium 108 is RAW image data.
  • the image processing unit 103 generates RAW image data by performing predetermined processing on the data output from the image sensor 102 and temporarily stores it in the memory 105. Thereafter, the recording processing unit 104 converts the RAW image data into a predetermined recording format and records it on the recording medium 108.
  • the user does not need to distinguish between a moving image and a still image at the time of shooting.
  • the imaging apparatus 100 receives a recording start instruction from the user via the operation unit 113, the imaging apparatus 100 continuously generates and records RAW image data at a frame rate of 60 fps, for example.
  • the system control unit 110 performs focusing control so as not to depend on the type of image (moving image or still image). For example, the system control unit 110 reduces the aperture of the imaging optical system 101 to a predetermined setting value so that the focus becomes pan focus, and further acquires RAW image data while controlling the imaging element 102 and the image processing unit 103. .
  • imaging may be performed in a pan-focus state by appropriately adjusting the aperture according to the subject.
  • the user selects a still image reproduction mode (first focusing mode) or a moving image reproduction mode (second focusing mode).
  • the still image reproduction mode is a reproduction mode for reproducing RAW image data as a still image
  • the moving image reproduction mode is a reproduction mode for reproducing RAW image data as a moving image.
  • the imaging device 100 performs development processing and refocus processing on the RAW image data according to the selected playback mode, and generates a playback image.
  • the imaging apparatus 100 acquires distance information (details will be described later) of each subject of the RAW image data to be recorded and records it together with the RAW image data.
  • FIG. 2A is a schematic diagram showing the arrangement of the imaging device 100 and the subjects 210 to 212.
  • the distances from the imaging apparatus 100 to the subjects 210 to 212 are distances L1 to L3, respectively.
  • the image pickup device 102 of the image pickup apparatus 100 is arranged in units of pixels by dividing the light beam from the exit pupil region of the image pickup optical system 101 by the signal of each pixel on the image pickup surface and taking it in by a plurality of photoelectric conversion elements.
  • the phase difference signal can be acquired.
  • the distance information generation unit 111 generates distance information to the subject being photographed with a predetermined resolution based on the phase difference signal acquired from the image sensor 102. Note that any known technique can be used for generating the distance information by detecting the imaging surface phase difference.
  • FIG. 2B is a schematic diagram of a distance map 215 that represents distance information acquired as a two-dimensional image information when photographing is performed with the arrangement of FIG. 2A.
  • the distance map 215 represents the numerical value indicating the distance with the shading of the image, and the darker the density, the deeper the subject (the position farther from the imaging device 100).
  • the distance data 220 to 222 is a density representing the distance to the subjects 210 to 212 in FIG. 2A.
  • the density level 230 indicates the relationship between the density of the distance map 215 and the distance to the subject.
  • the format of the distance information is not limited to the distance map 215, and any format that indicates at least the distance from the imaging apparatus 100 to each subject in the image can be used.
  • the distance in this state is known.
  • the map 215 may be stored.
  • the defocus map converted into the defocus amount based on the conversion coefficient (K value) based on the light transfer characteristic of the imaging optical system 101 may be stored as the distance map 215.
  • a distance map of a subject distance obtained by converting the above-described defocus amount into a subject distance based on information such as a lens position of the imaging optical system 101 is handled as a distance map 215.
  • the resolution of the distance information is not limited to that shown in FIG. 2B.
  • the distance information only needs to indicate subject distances (or phase differences, defocus amounts, etc.) at a plurality of positions of the captured image, and the range covered by the distance information at each position is appropriately determined according to the resolution.
  • the distance map 215 generated by the distance information generation unit 111 is temporarily stored in a predetermined area of the memory 105. Then, the recording processing unit 104 records the distance map 215 held in the memory 105 together with the RAW image data held in the memory 105 under the control of the system control unit 110 on the recording medium 108.
  • the RAW image data and the distance map 215 are generated based on output signals at the same timing of the image sensor 102. Therefore, when the imaging apparatus 100 generates a plurality of RAW image data, the same number of distance maps 215 as the RAW image data are generated.
  • the imaging apparatus 100 when the imaging apparatus 100 generates light field data as imaging data, phase difference information can be acquired from the light field data. Therefore, the imaging apparatus 100 does not need to generate distance information at the time of shooting.
  • the system control unit 110 starts a recording operation when detecting the pressing of a recording button (not shown) of the operation unit 113 in the recording mode.
  • the system control unit 110 When the recording operation starts, the system control unit 110 generates a file of a predetermined format, sets header information and the like, and then records the file on the recording medium 108.
  • the user does not need to distinguish between a moving image and a still image at the time of shooting.
  • the imaging apparatus 100 sequentially generates RAW image data and a distance map 215 at a frame rate of 60 fps and temporarily stores them in the memory 105, and the recording processing unit 104 performs RAW image data and distance map at a predetermined timing. 215 are recorded on the recording medium 108. If there is meta information or the like to be added to the recording frame, the recording processing unit 104 records it on the recording medium 108 at the same time.
  • the system control unit 110 detects again that the recording button (not shown) of the operation unit 113 is pressed, the system control unit 110 displays the RAW image data and the distance map 215 corresponding to the image signal output from the image sensor 102 at that time. Recording is performed on the recording medium 108. Thereafter, the system control unit 110 stops the recording operation.
  • the system control unit 110 selects an image file to be played in accordance with a user instruction. For this purpose, the system control unit 110 displays a list of image files recorded on the recording medium 108 on the display unit 107 as thumbnail images. Here, generation of a thumbnail image will be described.
  • the system control unit 110 reads the image file recorded on the recording medium 108.
  • the system control unit 110 holds the RAW image data at the head of a series of RAW image data in the read image file in the memory 105.
  • the image processing unit 103 develops the RAW image data, and further writes a thumbnail image reduced to a predetermined size in the memory 105. Thereafter, the display processing unit 106 displays the thumbnail images held in the memory 105 on the display unit 107.
  • FIG. 4 is a schematic diagram of thumbnail images displayed on the display unit 107.
  • a display screen 401 is displayed by a liquid crystal panel to which a touch panel is attached.
  • thumbnail images 402 to 407 are displayed.
  • the user selects an image to be reproduced from the thumbnail images displayed on the display screen 401.
  • the user selects the thumbnail image 405 by touching the touch panel.
  • the operation unit 113 receives a signal from the touch panel, converts this signal into coordinate information on the display screen 401, and outputs it to the system control unit 110.
  • the system control unit 110 detects the touched thumbnail image based on the coordinate information, and specifies an image file corresponding to the thumbnail image. At this time, the system control unit 110 may highlight the selected thumbnail image on the display screen 401.
  • the system control unit 110 selects a playback mode according to a user instruction.
  • the user touches and selects either the still image reproduction button 410 or the moving image reproduction button 411 displayed on the display screen 401 in FIG.
  • the system control unit 110 detects which one of the still image reproduction button 410 and the moving image reproduction button 411 is touched based on the coordinates touched by the user, and determines the reproduction mode.
  • the description will be made assuming that the still image playback mode or the moving image playback mode is selected as the playback mode, but the selectable playback mode is not limited to this. Any configuration in which the playback mode can be selected from two or more playback modes and the focusing control is different depending on the selected playback mode can be included in the present embodiment.
  • FIG. 5A is a schematic diagram of a display screen for the user to select a subject to be focused.
  • the system control unit 110 reads out RAW image data at a predetermined frame interval from the image file to be reproduced selected in S301. Then, the system control unit 110 develops and generates a thumbnail image in the same procedure as in S301 and displays the thumbnail image on the display unit 107.
  • thumbnail images 510 to 513 generated from frames read out from the image file at intervals of 60 frames, that is, at intervals of 1 second are arranged.
  • the user can check other thumbnail images by touching the left / right button 506 on the touch panel to scroll the screen left and right. .
  • the user selects the subject to be focused by touching the subject in the thumbnail image arranged on the subject selection screen 501.
  • the subject 580 on the thumbnail image 510 is selected.
  • the user can select a subject for each frame by repeating the same operation as described above while scrolling the screen.
  • the system control unit 110 stores the position information of the selected subject in the memory 105 in association with the frame number.
  • the position information and the frame number held here are also referred to as “refocus data” below.
  • the description will be made assuming that the position of the subject selected by the user is used as a focus target position in the refocus processing, but the present embodiment is not limited to this.
  • the imaging apparatus 100 can determine the position of the focus target position in the refocus processing based on an arbitrary reference.
  • the user can select a frame to be reproduced from the image file.
  • the user presses the frame selection button 502 in FIG. 5A.
  • the system control unit 110 displays a frame selection screen 503 shown in FIG. 5B.
  • thumbnail images corresponding to the frames in the image file to be reproduced are displayed at intervals of 1 second.
  • thumbnail images 520 to 539 are displayed.
  • the user can touch the up / down button 505 to scroll the screen up and down to display other thumbnail images.
  • the user touches and selects a frame to be reproduced on the frame selection screen 503.
  • thumbnail images 528 to 533 are selected.
  • a frame in a range corresponding to the thumbnail images 528 to 533 is selected as a reproduction target.
  • the system control unit 110 stores information indicating the selected frame in the memory 105.
  • the user can transition to the subject selection screen 501 in FIG. 5A by pressing the subject selection button 504 on the frame selection screen 503.
  • thumbnail images are displayed at 60 frame intervals (1 second intervals), but the display intervals of thumbnail images can be arbitrarily changed.
  • step S304 the system control unit 110 determines whether the still image reproduction mode is selected in step S302. If the still image playback mode is selected, the system control unit 110 advances the process to S305, and if not, the system control unit 110 advances the process to S306. Details of S305 and S306 will be described later.
  • the system control unit 110 determines whether or not to end the reproduction mode. When the playback mode ends (for example, when the user gives an instruction to end the playback mode using the operation unit 113), the system control unit 110 ends the processing of this flowchart. Otherwise, the system control unit 110 returns the process to S301.
  • step S ⁇ b> 601 the system control unit 110 reads RAW image data corresponding to the current processing target frame from the playback target image file recorded on the recording medium 108, and stores it in the memory 105.
  • the first processing target frame is the first frame of the image file (the first frame of the selected range when a range is selected on the frame selection screen 503 in FIG. 5B).
  • the system control unit 110 sets development parameters corresponding to still image reproduction in the image processing unit 103 and instructs the image processing unit 103 to perform development processing.
  • the system control unit 110 stores still image data obtained by the development processing in the memory 105.
  • step S ⁇ b> 602 the system control unit 110 acquires refocus data from the memory 105.
  • step S603 the system control unit 110 determines whether there is refocus data corresponding to the current processing target frame. As described in S303, the refocus data includes position information and a frame number. Therefore, the determination in S603 is performed based on a comparison between the frame number of the refocus data and the current processing target frame number. If there is refocus data corresponding to the current processing target frame, the system control unit 110 advances the process to step S604. If there is no refocus data corresponding to the current processing target frame, the system control unit 110 advances the process to step S605.
  • step S ⁇ b> 604 the system control unit 110 extracts subject image data (subject data) in the position information included in the refocus data from the still image data generated in step S ⁇ b> 601 and stores it in the memory 105. This subject data is used for subject tracking processing in S605.
  • step S605 the system control unit 110 performs subject tracking processing. Specifically, the system control unit 110 acquires subject data stored in the memory 105 in S604. Then, the system control unit 110 detects the position of the subject by searching for a subject image corresponding to the subject data in the processing target frame image by matching processing or edge detection. Further, the system control unit 110 updates the subject data in the memory 105 with the detected subject image data. As a result, the refocus processing based on the subject can be performed even for frames in which no corresponding refocus data exists (imaging data other than the imaging data in which the refocus data exists).
  • the subject tracking method is not limited to the above, and any known technique can be used.
  • the system control unit 110 may fail to detect the position of the subject, such as when the subject to be focused out of frame. In this case, the system control unit 110 detects the position of the subject using subject data older than the latest subject data stored in the memory 105 (that is, subject data of a frame before the immediately preceding frame). . In order to enable such detection processing to be retried, the system control unit 110 deletes old subject data when storing subject data in the memory 105 in step S604 or updating subject data in step S605. Leave without. Further, the imaging apparatus 100 may be configured to delete subject data older than a predetermined number of frames.
  • FIG. 7 is a conceptual diagram of still image refocus processing.
  • the imaging apparatus 100 performs still image refocus processing based on the recorded RAW image data and a distance map corresponding to the RAW image data.
  • the system control unit 110 reads a distance map corresponding to the frame number to be processed from the recording medium 108 and stores it in the memory 105. The determination of the in-focus distance is performed using a distance map stored in the memory 105.
  • the shading level of each region represents the distance.
  • An image 701 in FIG. 7 represents an image corresponding to the distance map 700.
  • a subject area 702 indicates the position of the subject to be focused. This position corresponds to the position information included in the refocus data or the position detected by the tracking process in S605.
  • the image processing unit 103 acquires distance data corresponding to the coordinates of the subject area 702 from the distance map 700. In the distance map 700 of FIG. 7, since the distance data corresponding to the subject area 702 corresponds to the area “A”, the image processing unit 103 acquires the distance data of the area “A”.
  • the image processing unit 103 calculates the difference “dk” from the distance data of each region of the distance map 700 by using the acquired distance data as “k”. Then, the image processing unit 103 uses the value n calculated by multiplying the difference “dk” by a predetermined coefficient to generate a kernel of the coefficient p with a size of n ⁇ n. Then, the image processing unit 103 performs a convolution operation with the still image generated in S601 using the kernel generated for each region of the distance map 700, and blurs the image. As a result, a refocus image in which the amount of blurring of the image changes according to the difference from the distance data of the subject region 702 can be obtained. Note that the refocus processing is not limited to the above-described processing, and any known technique can be used.
  • the subject selected by the user is focused and a refocus image blurred according to the distance difference from the subject in the depth direction is generated.
  • the generated refocus image is stored in the memory 105.
  • the system control unit 110 displays the refocused image held in the memory 105 on the display unit 107 as a reproduction image.
  • the reproduction image is displayed for each sheet.
  • the reproduced image transitions to the next image.
  • the reproduced image can be reduced and displayed on the display unit 107 for each of a plurality of images.
  • the system control unit 110 determines whether or not the last frame of the frames to be played has been reached. When the final frame is reached, the system control unit 110 returns the processing to the flowchart of FIG. If the final frame has not been reached, the system control unit 110 returns the process to S601 and performs the same process using the next frame as the frame to be processed.
  • focused refocus images are sequentially generated and displayed in units of frames while tracking the subject of the frame held in the refocus data.
  • step S ⁇ b> 801 the system control unit 110 reads RAW image data corresponding to the current processing target frame from the playback target image file recorded on the recording medium 108, and stores it in the memory 105.
  • the first processing target frame is the first frame of the image file (the first frame of the selected range when a range is selected on the frame selection screen 503 in FIG. 5B).
  • the system control unit 110 sets development parameters corresponding to moving image reproduction in the image processing unit 103 and instructs the image processing unit 103 to perform development processing.
  • the system control unit 110 stores the moving image data obtained by the development processing in the memory 105.
  • step S806 the system control unit 110 performs moving image refocus processing.
  • the upper part of FIG. 9 schematically shows the variation of the focus distance
  • the middle part of FIG. 9 schematically shows the frame to be reproduced.
  • Frames 920 to 928 are arranged in the order of generation and are played back at a frame rate of 60 fps.
  • the lower part of FIG. 9 schematically shows a refocus image when the frames 920 and 925 are displayed on the display unit 107.
  • the method for determining the focus distance is different from that in the still image reproduction process. Since the continuity of images between frames affects the image quality in a moving image, the imaging apparatus 100 limits the fluctuation speed of the focus distance to a threshold value or less.
  • the system control unit 110 reads a distance map corresponding to the frame 921 from the recording medium 108 and stores it in the memory 105.
  • the system control unit 110 detects the distance 911b of the subject 933 in the frame 921 based on the distance map.
  • the system control unit 110 determines the focus distance as the distance 911a so that the focus distance follows the subject 933 at a speed equal to or less than the threshold. Then, the system control unit 110 generates a refocus image so as to focus on the distance 911a.
  • a specific generation method is the same as S607 in FIG.
  • the subject distance is the distance 912b to 914b, but as a result of limiting the speed to the threshold value or less, a refocus image having the distance 912a to 914a as the in-focus distance is generated.
  • the frames 925 to 928 since the difference between the subject distance of the frame to be processed and the focus distance of the immediately preceding frame is small, a refocus image with the distances 915 to 918 matching the subject distance as the focus distance is generated. The Accordingly, the refocus image 931 is focused on the subject 933.
  • the refocus processing described above generates a refocus image that follows the subject selected by the user over a plurality of frames at a speed equal to or less than a threshold.
  • the generated refocus image is stored in the memory 105.
  • the imaging apparatus 100 may be configured so that the user can determine the threshold value. For example, the imaging apparatus 100 displays a threshold value determination screen on the display unit 107, and the user instructs a desired threshold value on the threshold value determination screen. The system control unit 110 determines a threshold according to a user instruction on the threshold determination screen.
  • the system control unit 110 displays the refocus image held in the memory 105 on the display unit 107 as a reproduction image.
  • the playback image automatically transitions to the next image according to the playback frame rate (for example, 60 fps). Therefore, the system control unit 110 automatically advances the processing to S608 after displaying the reproduction image, and displays the reproduction image one after another according to the reproduction frame rate.
  • the imaging device 100 performs a refocus process and generates a reproduced image when reproducing the imaging data.
  • the imaging apparatus 100 determines the focus distance for the refocus process according to the selected playback mode. Thereby, it is possible to execute the focusing control according to the application of the image.
  • FIG. 10 is a schematic diagram of a screen displayed on the display unit 107 during shooting.
  • An image 1001 is an image acquired by the imaging device 100 via the imaging element 102 during shooting.
  • the user can select a subject to be focused by a touch operation during shooting. In the example of FIG. 10, it is assumed that the user touches the subject 1002.
  • the operation unit 113 receives a signal from the touch panel, converts this signal into coordinates on the display screen, and outputs the signal to the system control unit 110.
  • the system control unit 110 records the position information indicating the coordinates and the current frame number on the recording medium 108 as refocus data.
  • the system control unit 110 tracks the subject, detects the position of the subject, and records the refocus data on the recording medium 108.
  • the system control unit 110 may generate the refocus data only for the frame at the timing when the user touches without tracking the subject.
  • the refocus data is recorded, for example, in the header portion of the image file.
  • Reproduction processing is the same as that of the first embodiment except S303 in FIG.
  • the system control unit 110 detects that the refocus data is included in the header portion of the image file to be reproduced. In response to this detection, the system control unit 110 displays a message for confirming whether to use the refocus data of the image file on the display unit 107. The user selects whether to use the refocus data of the image file via the operation unit 113. When the user uses the refocus data of the image file, the system control unit 110 performs the processes after S304 using the refocus data of the image file.
  • the imaging apparatus 100 performs the refocus processing based on the difference between the subject distance and the focusing distance at each position of the captured image.
  • the imaging apparatus 100 according to the present embodiment performs refocus processing using the lens design data of the imaging optical system 101.
  • the imaging apparatus 100 uses the image processing unit 103 to calculate the blur amount of a subject located at a distance other than the in-focus distance based on the lens design data during the refocus processing, and refocus the image. Is generated. Any known technique can be used as the technique for calculating the blur amount from the lens design data.
  • the imaging apparatus 100 determines the threshold value of the fluctuation speed of the focus distance in the moving image reproduction process (see FIGS. 8 and 9) based on the lens design data.
  • the imaging apparatus 100 generates the refocus data used at the time of reproduction according to the user's subject selection at the time of shooting. This makes it possible to generate a refocus image reflecting the situation at the time of shooting.
  • the imaging apparatus 100 since the imaging apparatus 100 performs the refocus processing using the lens design data, it is possible to obtain an image quality closer to optical focus control.
  • the present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
  • a circuit for example, ASIC
  • DESCRIPTION OF SYMBOLS 100 ... Imaging device, 101 ... Imaging optical system, 102 ... Image sensor, 103 ... Image processing part, 104 ... Recording processing part, 105 ... Memory, 106 ... Display processing part, 107 ... Display part, 108 ... Recording medium, 109 ... ROM, 110 ... system control unit, 111 ... distance information generation unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

撮像手段により連続的に生成された複数の撮像データを取得する取得手段と、前記複数の撮像データそれぞれについて各撮像データの画像内の対象位置を決定する対象位置決定手段と、第１の合焦モード又は第２の合焦モードを選択する選択手段と、前記複数の撮像データそれぞれについて、前記対象位置における奥行き方向の焦点位置を決定する焦点位置決定手段と、前記複数の撮像データそれぞれについて、前記決定された焦点位置でピントが合い、他の位置でぼけている画像を前記撮像データから生成する生成手段と、を備え、前記焦点位置決定手段は、前記選択手段により前記第１の合焦モードが選択された場合、前記対象位置における被写体の合焦する位置を前記焦点位置として決定し、前記選択手段により前記第２の合焦モードが選択された場合、前記複数の撮像データそれぞれの焦点位置が、前記複数の撮像データの生成順において閾値以下の速度で、前記対象位置における被写体の合焦する位置に追従するように前記焦点位置の決定を行うことを特徴とする画像処理装置を提供する。

Description

画像処理装置、撮像装置、画像処理方法、及びプログラム
　本発明は、画像処理装置、撮像装置、画像処理方法、及びプログラムに関する。
　近年、デジタルカメラ等の撮像装置において、撮影後に任意の被写体に合焦した画像を生成する技術が提案されている（特許文献１参照）。特許文献１の撮像装置は、マイクロレンズアレイを介して撮像素子の各画素に撮像光学系の異なる瞳領域を通過した光束を結像させることにより、様々な方向から入射した光を分離して記録した動画出力データを生成する。その後、撮像装置は、動画記録データから、特定の被写体に合焦した動画を生成する。
特開２０１３－１４５３１４号公報
　静止画と動画とでは、高画質な画像を得るのに適した合焦制御が異なる。静止画の場合、被写体に正確に合焦させることが、画質の向上につながる。他方、動画の場合、時間方向の連続性が画質に影響を与える。そのため、被写体が高速に移動した場合、追従速度を抑制して徐々に被写体に合焦させることが、画質の向上につながる。
　しかしながら、特許文献１は、動画を生成することは開示しているが、動画記録データの各フレームから静止画を生成することは考慮していない。動画出力データの用途に応じた合焦制御を撮影後に行う技術はこれまで提案されていなかった。
　本発明はこのような状況に鑑みてなされたものであり、撮像データから画像を生成する際に、画像の用途に応じた合焦制御を実行することを可能にする技術を提供する。
　本発明の第１の態様は、撮像手段により連続的に生成された複数の撮像データを取得する取得手段と、前記複数の撮像データそれぞれについて各撮像データの画像内の対象位置を決定する対象位置決定手段と、第１の合焦モード又は第２の合焦モードを選択する選択手段と、前記複数の撮像データそれぞれについて、前記対象位置における奥行き方向の焦点位置を決定する焦点位置決定手段と、前記複数の撮像データそれぞれについて、前記決定された焦点位置でピントが合い、他の位置でぼけている画像を前記撮像データから生成する生成手段と、を備え、前記焦点位置決定手段は、前記選択手段により前記第１の合焦モードが選択された場合、前記対象位置における被写体の合焦する位置を前記焦点位置として決定し、前記選択手段により前記第２の合焦モードが選択された場合、前記複数の撮像データそれぞれの焦点位置が、前記複数の撮像データの生成順において閾値以下の速度で、前記対象位置における被写体の合焦する位置に追従するように前記焦点位置の決定を行うことを特徴とする画像処理装置を提供する。
　本発明の第２の態様は、画像処理装置が実行する画像処理方法であって、撮像手段により連続的に生成された複数の撮像データを取得する取得工程と、前記複数の撮像データそれぞれについて各撮像データの画像内の対象位置を決定する対象位置決定工程と、第１の合焦モード又は第２の合焦モードを選択する選択工程と、前記複数の撮像データそれぞれについて、前記対象位置における奥行き方向の焦点位置を決定する焦点位置決定工程と、前記複数の撮像データそれぞれについて、前記決定された焦点位置でピントが合い、他の位置でぼけている画像を前記撮像データから生成する生成工程と、を備え、前記焦点位置決定工程では、前記選択工程により前記第１の合焦モードが選択された場合、前記対象位置における被写体の合焦する位置を前記焦点位置として決定し、前記選択工程により前記第２の合焦モードが選択された場合、前記複数の撮像データそれぞれの焦点位置が、前記複数の撮像データの生成順において閾値以下の速度で、前記対象位置における被写体の合焦する位置に追従するように前記焦点位置の決定を行うことを特徴とする画像処理方法を提供する。
　本発明によれば、撮像データから画像を生成する際に、画像の用途に応じた合焦制御を実行することが可能となる。
　本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。
　添付図面は明細書に含まれ、その一部を構成し、本発明の実施の形態を示し、その記述と共に本発明の原理を説明するために用いられる。
撮像装置１００のブロック図。 被写体の距離情報について説明する図。 被写体の距離情報について説明する図。 撮像装置１００が実行する再生処理を示すフローチャート。 表示部１０７に表示されるサムネイル画像の模式図。 被写体選択画面５０１を示す図。 フレーム選択画面５０３を示す図。 静止画再生処理（図３のＳ３０５）の詳細を示すフローチャート。 静止画リフォーカス処理の概念図。 動画再生処理（図３のＳ３０６）の詳細を示すフローチャート。 動画リフォーカス処理の概念図。 撮影時に表示部１０７に表示される画面の概略図。
　以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。
　なお、以下では、再生時にリフォーカス処理を実行する画像処理装置の構成を含んだ撮像装置に基づいて、各実施形態の説明を行う。しかしながら、画像処理装置と撮像装置とは分離していてもよい。この場合、画像処理装置は、撮像装置から撮像データなどを取得し、取得した撮像データなどに基づいてリフォーカス処理などの各種画像処理を行う。
　また、以下の各実施形態では、再生時のリフォーカス処理を可能にするために、撮像装置は絞りをパンフォーカスで撮影を行い、撮像データとしてＲＡＷ画像データを生成するものとする。撮像装置は、パンフォーカスの撮像画像の各位置に対して、その位置の被写体距離（被写体に合焦する奥行き方向の位置であり、位相差やデフォーカス量でもよい）と目標の合焦距離（焦点位置）との差に基づいて画像にぼかし処理を行う。具体的には、目標の焦点位置に対応する領域ではピントが合った合焦状態で、その他の奥行き方向の位置に対応する領域は奥行きに応じてぼけているように画像をぼかす画像処理を行うことにより、目標の合焦距離に対するリフォーカス処理の効果を擬似的に得ることができる。このとき、予め被写界深度にあたるピントのある奥行き方向の範囲を設定できるようにしておいてもよい。また、リフォーカス処理の実現方法はこれに限定されず、撮像装置が生成する撮像データは通常の一眼の撮像素子から得られるＲＡＷ画像データに限定されない。例えば、撮像装置は、特許文献１の撮像系や多眼の撮像素子を用いた撮像系などによって、様々な方向から入射した光を分離して記録した、光線の強度情報と角度情報を持つデータ（ライトフィールドデータ）を撮像データとして生成するものでもよい。このとき、得られるライトフィールドデータに基づいて所望の合焦距離に対応するように各画素データを並び替えるなどしてリフォーカス処理を行ってもよい。
　［第１の実施形態］
　図１は、第１の実施形態に係る撮像装置１００のブロック図である。図１において、撮像光学系１０１は、ズーム、フォーカス等の操作に応じてレンズ制御できるように構成されている。撮像素子１０２は、ＣＭＯＳ等により構成される。撮像素子１０２は、撮像面の各画素の信号を分割して取り込むことにより画素単位でＡＦ（オートフォーカス）用の位相差信号を取得できるように構成されている。撮像素子１０２から出力される位相差信号を用いれば、撮影する被写体の距離情報を取得することができる。距離情報生成部１１１は、撮像素子１０２から出力される位相差信号をもとに、被写体の距離情報を算出して、メモリ１０５に書き込む。
　画像処理部１０３は、撮像素子１０２から出力される画像信号をＡ／Ｄ変換することによりデジタルデータを生成し、このデジタルデータに対して所定の処理を施すことによりＲＡＷ画像データを生成する。ＲＡＷ画像データは、メモリ１０５に一時的に保持される。また、記録モード時においては、画像処理部１０３は、撮影中の映像を液晶パネル等の表示部１０７に表示するために、表示用の現像処理を行う。ＲＡＷ画像データの生成及び現像処理には、任意の既知の技術を利用可能である。また、画像処理部１０３は、ＲＡＷ画像データの再生時にリフォーカス処理を行う（詳細は後述）。
　メモリ１０５は、ＤＲＡＭ等により構成され、記録処理部１０４で生成される記録データ、撮像装置１００を制御するプログラム、及び、表示部１０７に表示する文字やアイコン等のリソースデータ等を保持する。
　記録処理部１０４は、メモリ１０５に保持されているＲＡＷ画像データ及び被写体の距離情報を読み出して所定の記録フォーマットに変換し、記録媒体１０８に書きこむ。表示処理部１０６は、メモリ１０５に保持されている撮影中の映像、アイコン、及び文字などを表示部１０７に表示する処理を行う。表示部１０７は、液晶パネル等から構成される。記録媒体１０８は、ＳＤメモリカード等の不揮発性半導体メモリである。
　システム制御部１１０は、ＣＰＵ等から構成され、撮像装置１００全体を制御する。ＲＯＭ１０９（リードオンリーメモリ）は、制御プログラム、文字フォント、アイコンリソースデータ等を保持する。バス１１２は、撮像装置１００の各部を接続してデータ交換を行うためのバスである。システム制御部１１０からの制御信号をバス１１２を介して撮像装置１００の各部に伝達することで、撮像装置１００全体を制御することができる。操作部１１３は、ボタン及びダイヤル等を含み、記録開始及び記録停止等の動作指示や、各種設定指示のために用いられる。また、表示部１０７の液晶パネル上に装着されているタッチパネルも操作部１１３に含まれるものとする。
　ここで、本実施形態に係る撮像装置１００の記録動作について説明する。システム制御部１１０は、操作部１１３の不図示のモード設定ダイヤルが記録モードに設定されたことを検出すると、記録モードの制御に移行する。記録モードにおいては、撮像装置１００は、ユーザが撮影状況を確認できるようにするために、撮影中の被写体像を表示部１０７に表示する。そのために、画像処理部１０３は、撮像光学系１０１を介して入射した被写体像から撮像素子１０２が生成したデータに対して、所定の現像処理を行い、メモリ１０５に出力する。表示処理部１０６は、メモリ１０５のデータを変換して表示部１０７に表示する。また、本実施形態では、記録媒体１０８に記録する画像はＲＡＷ画像データであるものとする。そこで、画像処理部１０３は、撮像素子１０２から出力されるデータに対して所定の処理を施すことによりＲＡＷ画像データを生成し、メモリ１０５に一時的に格納する。その後、記録処理部１０４は、ＲＡＷ画像データを所定の記録フォーマットに変換して記録媒体１０８に記録する。
　また、本実施形態では、ユーザは、撮影時には動画と静止画とを区別する必要が無い。撮像装置１００は、操作部１１３を介してユーザから記録開始指示を受信すると、例えば６０ｆｐｓのフレームレートでＲＡＷ画像データを連続的に生成して記録する。撮影中、システム制御部１１０は、画像の種類（動画又は静止画）に依存しないように合焦制御を行う。例えば、システム制御部１１０は、フォーカスがパンフォーカスとなるように撮像光学系１０１の絞りを所定の設定値に絞り、更に、撮像素子１０２及び画像処理部１０３を制御しながらＲＡＷ画像データを取得する。なお、被写体に応じて適宜絞りを調節してパンフォーカス状態で撮像してもよい。ＲＡＷ画像データの再生時に、ユーザは、静止画再生モード（第１の合焦モード）又は動画再生モード（第２の合焦モード）を選択する。静止画再生モードは、ＲＡＷ画像データを静止画として再生する再生モードであり、動画再生モードは、ＲＡＷ画像データを動画として再生する再生モードである。撮像装置１００は、ＲＡＷ画像データに対して、選択された再生モードに応じた現像処理及びリフォーカス処理を行い、再生画像を生成する。再生時のリフォーカス処理を可能にするために、撮像装置１００は、記録するＲＡＷ画像データの各被写体の距離情報（詳細は後述）を取得し、ＲＡＷ画像データと共に記録する。
　次に、図２Ａ及び図２Ｂを参照して、被写体の距離情報について説明する。図２Ａは、撮像装置１００及び被写体２１０～２１２の配置を示す概略図である。撮像装置１００から被写体２１０～２１２までの距離は、各々距離Ｌ１～Ｌ３である。前述の通り、撮像装置１００の撮像素子１０２は、撮像面の各画素の信号を撮像光学系１０１の射出瞳領域からの光束を分割して複数の光電変換素子で取り込むことにより、画素単位で位相差信号を取得できるように構成されている。距離情報生成部１１１は、撮像素子１０２から取得した位相差信号をもとに、撮影している被写体までの距離情報を所定の分解能で生成する。なお、撮像面位相差検出による距離情報の生成については、任意の既知の技術を用いることができる。
　図２Ｂは、図２Ａの配置で撮影を行った場合に取得される距離情報を２次元の画像情報として表した距離マップ２１５の模式図である。距離マップ２１５は、距離を示す数値を画像の濃淡で表しており、濃度が濃いほど被写体が奥（撮像装置１００から遠い位置）にあることを示している。距離データ２２０～２２２は、図２Ａの被写体２１０～２１２までの距離を表す濃度である。濃度レベル２３０は、距離マップ２１５の濃度と被写体までの距離との関係を示すものである。
　なお、距離情報の形式は距離マップ２１５に限られるものではなく、撮像装置１００からの画像内の各被写体までの距離を少なくとも相対的に示す任意の形式を用いることが可能である。例えば、撮像素子１０２から取得した位相差信号に基づき、位相差（光電変換素子からの像信号間の像ずれ）マップを求めた段階で領域毎の距離の相対関係はわかるため、この状態で距離マップ２１５として記憶しておいてもよい。また、位相差マップを撮像光学系１０１の光伝達特性に基づく変換係数（Ｋ値）に基づき、デフォーカス量に換算したデフォーカスマップを距離マップ２１５として記憶しておいてもよい。本実施形態では、前述したデフォーカス量をさらに撮像光学系１０１のレンズ位置などの情報に基づいて被写体距離に換算した被写体距離の距離マップを距離マップ２１５として扱う。また、距離情報の分解能も、図２Ｂに示されるものに限定されない。距離情報は、撮像画像の複数の位置における被写体距離（あるいは位相差、デフォーカス量など）を示していればよく、分解能に応じて、各位置における距離情報がカバーする範囲が適宜決定される。
　距離情報生成部１１１が生成した距離マップ２１５は、メモリ１０５の所定の領域に一時的に保持される。そして、記録処理部１０４は、システム制御部１１０の制御に従い、メモリ１０５に保持されている距離マップ２１５を、メモリ１０５に保持されているＲＡＷ画像データと共に、記録媒体１０８に記録する。ＲＡＷ画像データと距離マップ２１５とは、撮像素子１０２の同じタイミングの出力信号を基に生成される。従って、撮像装置１００が複数のＲＡＷ画像データを生成する場合、距離マップ２１５も、ＲＡＷ画像データと同じ数だけ生成される。
　なお、撮像装置１００が撮像データとしてライトフィールドデータを生成する場合は、ライトフィールドデータから位相差情報を取得可能である。そのため、撮像装置１００は、撮影時に距離情報を生成する必要は無い。
　本実施形態では、システム制御部１１０は、記録モードにおいて操作部１１３の記録ボタン（不図示）の押下を検知すると、記録動作を開始する。記録動作が開始すると、システム制御部１１０は、所定のフォーマットのファイルを生成して、ヘッダ情報等を設定した後に、記録媒体１０８に記録する。前述の通り、本実施形態では、ユーザは、撮影時には動画と静止画とを区別する必要が無い。記録中は、撮像装置１００は、フレームレート６０ｆｐｓで逐次ＲＡＷ画像データと距離マップ２１５とを生成して一時的にメモリ１０５に格納し、記録処理部１０４が所定のタイミングでＲＡＷ画像データと距離マップ２１５とを記録媒体１０８に記録する。記録フレームに付加すべきメタ情報等があれば、記録処理部１０４は、同時に記録媒体１０８に記録する。
　ここで、システム制御部１１０は、操作部１１３の記録ボタン（不図示）の押下を再度検知すると、その時点での撮像素子１０２から出力される画像信号に対応したＲＡＷ画像データ及び距離マップ２１５を記録媒体１０８に記録する。その後、システム制御部１１０は、記録動作を停止する。
　次に、図３のフローチャートを参照して、撮像装置１００が実行する再生処理について説明する。本フローチャートの各ステップの処理は、特に断らない限り、システム制御部１１０が制御プログラムを実行して撮像装置１００の各部を制御することにより実現される。システム制御部１１０が操作部１１３を介してユーザから再生指示を受信すると、本フローチャートの処理が開始する。
　Ｓ３０１で、システム制御部１１０は、ユーザ指示に従い、再生対象の画像ファイルを選択する。そのために、システム制御部１１０は、表示部１０７に、記録媒体１０８に記録されている画像ファイルの一覧をサムネイル画像として表示する。ここで、サムネイル画像の生成について説明する。システム制御部１１０は、記録媒体１０８に記録されている画像ファイルを読み出す。システム制御部１１０は、読み出した画像ファイル内の一連のＲＡＷ画像データの先頭のＲＡＷ画像データをメモリ１０５に保持する。次に、画像処理部１０３は、ＲＡＷ画像データを現像処理し、更に、所定のサイズに縮小したサムネイル画像をメモリ１０５に書き出す。その後、表示処理部１０６は、メモリ１０５に保持されているサムネイル画像を表示部１０７に表示する。
　図４は、表示部１０７に表示されるサムネイル画像の模式図である。図４において、表示画面４０１は、タッチパネルを貼付した液晶パネルにより表示される。表示画面４０１には、サムネイル画像４０２～４０７が表示されている。
　ユーザは、表示画面４０１に表示されたサムネイル画像の中から、再生対象の画像を選択する。図４の例では、ユーザは、タッチパネルをタッチすることにより、サムネイル画像４０５を選択している。操作部１１３は、タッチパネルからの信号を受け取り、この信号を表示画面４０１上の座標情報に変換して、システム制御部１１０に出力する。システム制御部１１０は、座標情報をもとに、タッチされているサムネイル画像を検出して、そのサムネイル画像に対応する画像ファイルを特定する。この時、システム制御部１１０は、表示画面４０１において、選択されたサムネイル画像を強調表示してもよい。
　次に、Ｓ３０２で、システム制御部１１０は、ユーザ指示に従い、再生モードを選択する。ユーザは、図４の表示画面４０１に表示される静止画再生ボタン４１０及び動画再生ボタン４１１のいずれかをタッチして選択する。システム制御部１１０は、ユーザがタッチした座標をもとに、静止画再生ボタン４１０及び動画再生ボタン４１１のいずれがタッチされたかを検出し、再生モードを決定する。なお、本実施形態では、再生モードとして静止画再生モード又は動画再生モードが選択されるものとして説明を行うが、選択可能な再生モードはこれに限定されない。２以上の再生モードから再生モードを選択可能であり、選択された再生モードに応じて合焦制御が異なるあらゆる構成が、本実施形態に含まれ得る。
　Ｓ３０３で、システム制御部１１０は、ユーザ指示に従い、合焦対象とする被写体を選択する。図５Ａは、ユーザが合焦対象の被写体を選択するための表示画面の模式図である。システム制御部１１０は、Ｓ３０１において選択した再生対象の画像ファイルから所定のフレーム間隔でＲＡＷ画像データを読み出す。そして、システム制御部１１０は、Ｓ３０１と同様の手順で現像及びサムネイル画像の生成を行い、表示部１０７に表示する。図５Ａの被写体選択画面５０１には、画像ファイルから６０フレーム間隔、即ち１秒間隔で読み出したフレームから生成したサムネイル画像５１０～５１３が配置されている。被写体選択画面５０１の中に全てのサムネイル画像が収まらない場合には、ユーザは、タッチパネル上で左右ボタン５０６をタッチすることにより、画面を左右にスクロースして他のサムネイル画像を確認することができる。ユーザは、被写体選択画面５０１に配置されているサムネイル画像内の被写体をタッチすることで、合焦対象の被写体を選択する。図５Ａの例では、サムネイル画像５１０上の被写体５８０が選択されている。ユーザは、画面をスクロールしながら上記と同様の操作を繰り返すことで、フレーム毎に被写体を選択することができる。システム制御部１１０は、選択された被写体の位置情報を、フレーム番号に関連付けてメモリ１０５に保持する。ここで保持される位置情報及びフレーム番号を、以下では「リフォーカスデータ」とも呼ぶ。
　なお、本実施形態では、ユーザが選択した被写体の位置がリフォーカス処理における合焦の対象位置として用いられるものとして説明を行うが、本実施形態はこれに限定されない。撮像装置１００は、リフォーカス処理における合焦の対象位置の位置決定を、任意の基準で行うことができる。
　また、Ｓ３０３において、ユーザは、画像ファイルの中で再生対象とするフレームを選択することができる。ユーザは、図５Ａのフレーム選択ボタン５０２を押下する。システム制御部１１０は、この押下を検出すると、図５Ｂに示すフレーム選択画面５０３を表示する。フレーム選択画面５０３には、再生対象の画像ファイル内のフレームに対応するサムネイル画像が１秒間隔で表示される。ここでは、サムネイル画像５２０～５３９が表示されている。フレーム選択画面５０３の中に全てのサムネイル画像が収まらない場合には、ユーザは、上下ボタン５０５をタッチすることにより、画面を上下にスクロースして他のサムネイル画像を表示させることができる。ユーザは、フレーム選択画面５０３において、再生対象とするフレームをタッチして選択する。図５Ｂの例では、サムネイル画像５２８～５３３が選択されている。この場合、サムネイル画像５２８～５３３に対応する範囲のフレームが再生対象として選択される。システム制御部１１０は、選択したフレームを示す情報をメモリ１０５に格納する。また、ユーザは、フレーム選択画面５０３の被写体選択ボタン５０４を押下することで、図５Ａの被写体選択画面５０１に遷移することができる。
　なお、フレーム選択画面５０３における選択が行われない場合、画像ファイル内の全てのフレームが再生対象となる。また、図５Ａ及び図５Ｂの例では、６０フレーム間隔（１秒間隔）でサムネイル画像が表示されているが、サムネイル画像の表示間隔は任意に変更することが可能である。
　ユーザが被写体選択画面５０１の再生ボタン５０７をタッチすると、システム制御部１１０は処理をＳ３０４に進める。Ｓ３０４で、システム制御部１１０は、Ｓ３０２において静止画再生モードが選択されたか否かを判定する。静止画再生モードが選択された場合、システム制御部１１０は処理をＳ３０５に進め、そうでない場合、システム制御部１１０は処理をＳ３０６に進める。Ｓ３０５及びＳ３０６の詳細については後述する。
　Ｓ３０７で、システム制御部１１０は、再生モードを終了するか否かを判定する。再生モードを終了する場合（例えば、ユーザが操作部１１３により再生モードの終了指示を行った場合）、システム制御部１１０は本フローチャートの処理を終了する。そうでない場合、システム制御部１１０は処理をＳ３０１に戻す。
　図６を参照して、Ｓ３０５の静止画再生処理について説明する。Ｓ６０１で、システム制御部１１０は、記録媒体１０８に記録されている再生対象の画像ファイルから、現在の処理対象のフレームに対応するＲＡＷ画像データを読み出し、メモリ１０５に格納する。最初の処理対象のフレームは、画像ファイルの先頭フレーム（図５Ｂのフレーム選択画面５０３において範囲の選択が行われた場合、選択範囲の先頭フレーム）である。また、システム制御部１１０は、画像処理部１０３に、静止画再生に対応した現像パラメータを設定し、画像処理部１０３に現像処理を指示する。システム制御部１１０は、現像処理により得られた静止画データをメモリ１０５に格納する。
　Ｓ６０２で、システム制御部１１０は、メモリ１０５からリフォーカスデータを取得する。Ｓ６０３で、システム制御部１１０は、現在の処理対象のフレームに対応するリフォーカスデータが存在するか否かを判定する。Ｓ３０３において説明した通り、リフォーカスデータは位置情報及びフレーム番号を含む。そのため、Ｓ６０３の判定は、リフォーカスデータのフレーム番号と現在の処理対象のフレーム番号との比較に基づいて行われる。現在の処理対象のフレームに対応するリフォーカスデータが存在する場合、システム制御部１１０は処理をＳ６０４に進める。現在の処理対象のフレームに対応するリフォーカスデータが存在しない場合、システム制御部１１０は処理をＳ６０５に進める。
　Ｓ６０４で、システム制御部１１０は、Ｓ６０１において生成された静止画データから、リフォーカスデータに含まれる位置情報における被写体の画像データ（被写体データ）を抽出し、メモリ１０５に格納する。この被写体データは、Ｓ６０５における被写体の追尾処理のために用いられる。
　Ｓ６０５で、システム制御部１１０は、被写体の追尾処理を行う。具体的には、システム制御部１１０は、Ｓ６０４においてメモリ１０５に格納された被写体データを取得する。そして、システム制御部１１０は、処理対象のフレーム画像において被写体データに対応する被写体の画像をマッチング処理やエッジ検出等により探索することにより、被写体の位置を検出する。また、システム制御部１１０は、検出した被写体の画像データにより、メモリ１０５内の被写体データを更新する。これにより、対応するリフォーカスデータが存在しないフレーム（リフォーカスデータが存在する撮像データ以外の撮像データ）についても、被写体を基準としたリフォーカス処理が可能になる。なお、被写体の追尾方法は上記に限られるものではなく、任意の既知の技術を利用可能である。
　なお、合焦対象の被写体がフレームアウトした場合など、システム制御部１１０が被写体の位置の検出に失敗する場合がある。この場合、システム制御部１１０は、メモリ１０５に格納された最新の被写体データよりも古い被写体データ（即ち、直前のフレームよりも前のフレームの被写体データ）を用いて、被写体の位置の検出を行う。このような検出処理の再試行を可能にするために、システム制御部１１０は、Ｓ６０４において被写体データをメモリ１０５に格納したり、Ｓ６０５において被写体データを更新したりする際に、古い被写体データを削除せずに残す。また、所定のフレーム数よりも古い被写体データは削除するように撮像装置１００を構成してもよい。
　Ｓ６０６で、システム制御部１１０は、静止画リフォーカス処理を行う。図７は、静止画リフォーカス処理の概念図である。撮像装置１００は、記録されているＲＡＷ画像データと、ＲＡＷ画像データに対応した距離マップをもとに、静止画リフォーカス処理を行う。システム制御部１１０は、記録媒体１０８から処理対象のフレーム番号に対応する距離マップを読み出し、メモリ１０５に格納する。合焦距離の距離決定は、メモリ１０５に格納された距離マップを用いて行われる。
　図７の距離マップ７００は、図２Ｂの濃度レベル２３０に示すように、各領域の濃淡レベルが距離を表している。図７の画像７０１は、距離マップ７００に対応する画像を表している。被写体領域７０２は、合焦対象の被写体の位置を示す。この位置は、リフォーカスデータに含まれる位置情報、又はＳ６０５の追尾処理によって検出された位置に対応する。画像処理部１０３は、被写体領域７０２の座標に対応する距離データを距離マップ７００から取得する。図７の距離マップ７００では、被写体領域７０２に対応する距離データは領域「Ａ」に対応するので、画像処理部１０３は、領域「Ａ」の距離データを取得する。
　次に、画像処理部１０３は、取得した距離データを「ｋ」として、距離マップ７００の各領域の距離データとの差「ｄｋ」を算出する。そして、画像処理部１０３は、差「ｄｋ」に所定の係数を乗算して算出した値ｎを用いて、ｎ×ｎのサイズで係数ｐのカーネルを生成する。そして、画像処理部１０３は、距離マップ７００の各領域に対して生成したカーネルを用いて、Ｓ６０１で生成された静止画とコンボリューション演算を行い、画像をぼかす。これにより、被写体領域７０２の距離データとの差に応じて画像のぼかし量が変化したリフォーカス画像を得ることができる。なお、リフォーカス処理は上述の処理に限られるものではなく、任意の既知の技術を利用可能である。
　上記のリフォーカス処理により、ユーザが選択した被写体に合焦し、奥行き方向における被写体との距離差に応じてぼかされたリフォーカス画像が生成される。生成されたリフォーカス画像は、メモリ１０５に格納される。
　Ｓ６０７で、システム制御部１１０は、メモリ１０５に保持されたリフォーカス画像を、再生画像として表示部１０７に表示する。再生画像の表示は、１枚毎に行われる。ユーザが送りボタン（不図示）を押下したり、タッチパネルのスライド操作を行ったりすることにより、再生画像が次の画像に遷移する。また別の表示方法として、再生画像を縮小して複数枚毎に表示部１０７に表示することも可能である。
　Ｓ６０８で、システム制御部１１０は、再生対象のフレームのうちの最終フレームに到達したか否かを判定する。最終フレームに到達した場合、システム制御部１１０は処理を図３のフローチャートに戻す。最終フレームに到達していない場合、システム制御部１１０は処理をＳ６０１に戻し、次のフレームを処理対象のフレームとして同様の処理を行う。
　以上のように、静止画再生処理においては、リフォーカスデータに保持されているフレームの被写体を追尾しながら合焦したリフォーカス画像がフレーム単位で逐次生成、表示される。
　次に、図８を参照して、図３のＳ３０６の動画再生処理について説明する。図８において、図６と同一又は同様の処理が行われるステップには図６と同一の符号を付し、その説明を省略する。Ｓ８０１で、システム制御部１１０は、記録媒体１０８に記録されている再生対象の画像ファイルから、現在の処理対象のフレームに対応するＲＡＷ画像データを読み出し、メモリ１０５に格納する。最初の処理対象のフレームは、画像ファイルの先頭フレーム（図５Ｂのフレーム選択画面５０３において範囲の選択が行われた場合、選択範囲の先頭フレーム）である。また、システム制御部１１０は、画像処理部１０３に、動画再生に対応した現像パラメータを設定し、画像処理部１０３に現像処理を指示する。システム制御部１１０は、現像処理により得られた動画データをメモリ１０５に格納する。
　Ｓ８０６で、システム制御部１１０は、動画リフォーカス処理を行う。図９を参照して、動画リフォーカス処理について説明する。図９の上段は、合焦距離の変動を模式的に示し、図９の中段は、再生対象のフレームを模式的に示す。フレーム９２０～９２８は、生成順に並んでおり、６０ｆｐｓのフレームレートで再生される。図９の下段は、フレーム９２０及び９２５を表示部１０７に表示したときのリフォーカス画像を模式的に示す。動画再生処理においては、静止画再生処理と比較して、合焦距離の決定方法が異なる。動画ではフレーム間の画像の連続性が画質に影響を与えるため、撮像装置１００は、合焦距離の変動速度を閾値以下に制限する。
　現在、フレーム９２１が処理対象であるものとする。直前のフレーム９２０の合焦距離は距離９１０であり、この時、リフォーカス画像９３０において被写体９３２に合焦しているものとする。また、フレーム９２１では、被写体９３３が合焦対象として選択されているものとする。システム制御部１１０は、記録媒体１０８から、フレーム９２１に対応する距離マップを読み出し、メモリ１０５に格納する。システム制御部１１０は、距離マップに基づき、フレーム９２１における被写体９３３の距離９１１ｂを検出する。ここで、仮にフレーム９２１の合焦距離を距離９１１ｂとした場合、距離９１０からの変化量が大きく、動画が不自然になる。そこで、システム制御部１１０は、閾値以下の速度で合焦距離が被写体９３３に追従するように、合焦距離を距離９１１ａに決定する。そして、システム制御部１１０は、距離９１１ａに合焦するように、リフォーカス画像を生成する。具体的な生成方法は、図６のＳ６０７と同様である。
　フレーム９２２～９２４についても、被写体距離は距離９１２ｂ～９１４ｂであるが、速度を閾値以下に制限した結果、距離９１２ａ～９１４ａを合焦距離とするリフォーカス画像が生成される。フレーム９２５～９２８については、処理対象のフレームの被写体距離と直前のフレームの合焦距離との差が小さいため、被写体距離と一致する距離９１５～９１８を合焦距離とするリフォーカス画像が生成される。従って、リフォーカス画像９３１においては、被写体９３３に合焦している。
　上記のリフォーカス処理により、複数のフレームに亘って合焦距離がユーザが選択した被写体に閾値以下の速度で追従するリフォーカス画像が生成される。生成されたリフォーカス画像は、メモリ１０５に格納される。
　なお、ユーザが閾値を決定可能なように撮像装置１００を構成してもよい。例えば、撮像装置１００は、表示部１０７に閾値決定画面を表示し、ユーザは、閾値決定画面において所望の閾値を指示する。システム制御部１１０は、閾値決定画面におけるユーザ指示に従い、閾値を決定する。
　Ｓ８０７で、システム制御部１１０は、メモリ１０５に保持されたリフォーカス画像を、再生画像として表示部１０７に表示する。静止画再生処理の場合（Ｓ６０７）と異なり、再生画像は、再生フレームレート（例えば６０ｆｐｓ）に従って自動的に次の画像に遷移する。従って、システム制御部１１０は、再生画像の表示後、自動的に処理をＳ６０８に進め、再生フレームレートに従って次々と再生画像を表示する。
　以上説明したように、第１の実施形態によれば、撮像装置１００は、撮像データの再生時に、リフォーカス処理を行って再生画像を生成する。撮像装置１００は、選択された再生モードに応じて、リフォーカス処理の合焦距離を決定する。これにより、画像の用途に応じた合焦制御を実行することが可能となる。
　［第２の実施形態］
　第１の実施形態では、再生時にリフォーカスデータを生成する構成について説明した（図３のＳ３０３参照）。これに対し、第２の実施形態では、撮影時にリフォーカスデータを生成する構成について説明する。本実施形態において、撮像装置１００の基本的な構成は第１の実施形態と同様である（図１参照）。以下、主に第１の実施形態と異なる点について説明する。
　図１０は、撮影時に表示部１０７に表示される画面の概略図である。画像１００１は、撮像装置１００が撮影中に撮像素子１０２を介して取得した画像である。ユーザは、撮影中に合焦対象の被写体をタッチ操作で選択することが可能である。図１０の例では、ユーザは、被写体１００２にタッチしたものとする。ユーザが被写体をタッチすると、操作部１１３は、タッチパネルからの信号を受け取り、この信号を表示画面上の座標に変換してシステム制御部１１０に出力する。システム制御部１１０は、この座標を示す位置情報と、現在のフレーム番号とを、リフォーカスデータとして記録媒体１０８に記録する。次のフレーム以降については、システム制御部１１０は、被写体の追尾を行って被写体の位置を検出し、リフォーカスデータを記録媒体１０８に記録する。或いは、システム制御部１１０は、被写体の追尾を行わず、ユーザがタッチを行ったタイミングのフレームについてのみリフォーカスデータを生成してもよい。リフォーカスデータは、例えば、画像ファイルのヘッダ部に記録される。
　再生処理は、図３のＳ３０３を除き、第１の実施形態と同様である。第２の実施形態では、Ｓ３０３において、システム制御部１１０は、再生対象の画像ファイルのヘッダ部にリフォーカスデータが含まれることを検出する。この検出に応じて、システム制御部１１０は、表示部１０７に、画像ファイルのリフォーカスデータを使用するか否かを確認するメッセージを表示する。ユーザは、操作部１１３を介して、画像ファイルのリフォーカスデータを使用するか否かを選択する。ユーザが画像ファイルのリフォーカスデータを使用する場合、システム制御部１１０は、画像ファイルのリフォーカスデータを使用してＳ３０４以降の処理を行う。
　ところで、第１の実施形態においては、撮像装置１００は、撮像画像の各位置の被写体距離と合焦距離との差に基づいてリフォーカス処理を行うものとした。しかしながら、本実施形態の撮像装置１００は、この差に加えて、撮像光学系１０１のレンズの設計データを用いてリフォーカス処理を行う。撮像装置１００は、リフォーカス処理の際に、画像処理部１０３を用いて、合焦距離以外の距離に位置する被写体のぼけ量を、レンズの設計データをもとに算出して、リフォーカス画像を生成する。なお、レンズの設計データからぼけ量を算出する技術は、任意の既知の技術を使用可能である。
　また、第２の実施形態では、撮像装置１００は、動画再生処理（図８及び図９参照）における合焦距離の変動速度の閾値を、レンズの設計データに基づいて決定する。
　以上説明したように、第２の実施形態によれば、撮像装置１００は、再生時に用いるリフォーカスデータを、撮影時におけるユーザの被写体選択に応じて生成する。これにより、撮影時の状況を反映したリフォーカス画像を生成することが可能となる。また、本実施形態では、撮像装置１００はレンズの設計データを用いてリフォーカス処理を行うため、光学的なフォーカス制御により近い画質を得ることができる。
　［その他の実施形態］
　本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。
　本願は、２０１６年１月２９日提出の日本国特許出願特願２０１６－０１６１６９を基礎として優先権を主張するものであり、その記載内容の全てを、ここに援用する。
　１００…撮像装置、１０１…撮像光学系、１０２…撮像素子、１０３…画像処理部、１０４…記録処理部、１０５…メモリ、１０６…表示処理部、１０７…表示部、１０８…記録媒体、１０９…ＲＯＭ、１１０…システム制御部、１１１…距離情報生成部

Claims (11)

  1. 　撮像手段により連続的に生成された複数の撮像データを取得する取得手段と、
    　前記複数の撮像データそれぞれについて各撮像データの画像内の対象位置を決定する対象位置決定手段と、
    　第１の合焦モード又は第２の合焦モードを選択する選択手段と、
    　前記複数の撮像データそれぞれについて、前記対象位置における奥行き方向の焦点位置を決定する焦点位置決定手段と、
    　前記複数の撮像データそれぞれについて、前記決定された焦点位置でピントが合い、他の位置でぼけている画像を前記撮像データから生成する生成手段と、
    　を備え、
    　前記焦点位置決定手段は、
    　　前記選択手段により前記第１の合焦モードが選択された場合、前記対象位置における被写体の合焦する位置を前記焦点位置として決定し、
    　　前記選択手段により前記第２の合焦モードが選択された場合、前記複数の撮像データそれぞれの焦点位置が、前記複数の撮像データの生成順において閾値以下の速度で、前記対象位置における被写体の合焦する位置に追従するように前記焦点位置の決定を行う
    　ことを特徴とする画像処理装置。
  2. 　前記取得手段は、前記複数の撮像データそれぞれについて、前記画像内の複数の位置における奥行き方向の位置を示す距離情報を更に取得する
    　ことを特徴とする請求項１に記載の画像処理装置。
  3. 　前記複数の撮像データそれぞれは、パンフォーカスの撮像画像を示すデータであり、
    　前記生成手段は、前記撮像画像の前記複数の位置それぞれについて、前記位置における距離情報と前記決定された焦点位置との差に基づいて前記撮像画像をぼかす画像処理を行うことにより、前記決定された焦点位置でピントが合い、他の位置でぼけている画像を生成する
    　ことを特徴とする請求項２に記載の画像処理装置。
  4. 　前記対象位置決定手段は、前記複数の撮像データのうちの１以上の撮像データそれぞれについて、ユーザ指示に従って前記対象位置を決定する
    　ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
  5. 　前記取得手段は、前記複数の撮像データのうちの１以上の撮像データそれぞれについて、特定の位置を示す位置情報を更に取得し、
    　前記対象位置決定手段は、前記１以上の撮像データそれぞれについて、前記位置情報が示す位置を前記対象位置として決定する
    　ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
  6. 　前記対象位置決定手段は、前記１以上の撮像データ以外の撮像データについては、前記複数の撮像データの生成順において直前の撮像データの前記対象位置の被写体に対応する位置を検出し、当該検出した位置を当該撮像データの前記対象位置として決定する
    　ことを特徴とする請求項４又は５に記載の画像処理装置。
  7. 　前記対象位置決定手段は、前記直前の撮像データの前記対象位置の被写体に対応する位置の前記検出に失敗した場合、前記直前の撮像データよりも前の撮像データの前記対象位置の被写体に対応する位置を検出する
    　ことを特徴とする請求項６に記載の画像処理装置。
  8. 　ユーザ指示に従って前記閾値を決定する閾値決定手段を更に備える
    　ことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
  9. 　請求項１乃至８のいずれか１項に記載の画像処理装置と、
    　前記撮像手段と、
    　を備えることを特徴とする撮像装置。
  10. 　画像処理装置が実行する画像処理方法であって、
    　撮像手段により連続的に生成された複数の撮像データを取得する取得工程と、
    　前記複数の撮像データそれぞれについて各撮像データの画像内の対象位置を決定する対象位置決定工程と、
    　第１の合焦モード又は第２の合焦モードを選択する選択工程と、
    　前記複数の撮像データそれぞれについて、前記対象位置における奥行き方向の焦点位置を決定する焦点位置決定工程と、
    　前記複数の撮像データそれぞれについて、前記決定された焦点位置でピントが合い、他の位置でぼけている画像を前記撮像データから生成する生成工程と、
    　を備え、
    　前記焦点位置決定工程では、
    　　前記選択工程により前記第１の合焦モードが選択された場合、前記対象位置における被写体の合焦する位置を前記焦点位置として決定し、
    　　前記選択工程により前記第２の合焦モードが選択された場合、前記複数の撮像データそれぞれの焦点位置が、前記複数の撮像データの生成順において閾値以下の速度で、前記対象位置における被写体の合焦する位置に追従するように前記焦点位置の決定を行う
    　ことを特徴とする画像処理方法。
  11. 　コンピュータを、請求項１乃至８のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
PCT/JP2016/083651 2016-01-29 2016-11-14 画像処理装置、撮像装置、画像処理方法、及びプログラム WO2017130522A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/040,722 US10694093B2 (en) 2016-01-29 2018-07-20 Image processing apparatus, image capturing apparatus, image processing method, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016016169A JP6700813B2 (ja) 2016-01-29 2016-01-29 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP2016-016169 2016-01-29

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/040,722 Continuation US10694093B2 (en) 2016-01-29 2018-07-20 Image processing apparatus, image capturing apparatus, image processing method, and storage medium

Publications (1)

Publication Number Publication Date
WO2017130522A1 true WO2017130522A1 (ja) 2017-08-03

Family

ID=59397734

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/083651 WO2017130522A1 (ja) 2016-01-29 2016-11-14 画像処理装置、撮像装置、画像処理方法、及びプログラム

Country Status (3)

Country Link
US (1) US10694093B2 (ja)
JP (1) JP6700813B2 (ja)
WO (1) WO2017130522A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6818586B2 (ja) * 2017-02-21 2021-01-20 キヤノン株式会社 通信装置およびその制御方法、プログラム並びに記憶媒体
US11763538B2 (en) 2018-08-31 2023-09-19 Canon Kabushiki Kaisha Image processing apparatus and electronic apparatus
JP2020091445A (ja) * 2018-12-07 2020-06-11 キヤノン株式会社 画像処理装置およびその制御方法
CN109842760A (zh) * 2019-01-23 2019-06-04 罗超 一种模拟人眼视物的影像拍摄与回放方法
US11756221B2 (en) * 2021-01-28 2023-09-12 Qualcomm Incorporated Image fusion for scenes with objects at multiple depths

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014010672A1 (ja) * 2012-07-12 2014-01-16 オリンパス株式会社 撮像装置及びプログラム
JP2015023552A (ja) * 2013-07-23 2015-02-02 キヤノン株式会社 画像再生装置、画像再生方法、プログラム、及び記憶媒体
JP2015208001A (ja) * 2014-04-17 2015-11-19 ▲ホア▼▲ウェイ▼技術有限公司 リフォーカスを実現するための方法および電子装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8559705B2 (en) * 2006-12-01 2013-10-15 Lytro, Inc. Interactive refocusing of electronic images
WO2010065344A1 (en) * 2008-11-25 2010-06-10 Refocus Imaging, Inc. System of and method for video refocusing
JP5299529B2 (ja) * 2011-03-29 2013-09-25 株式会社ニコン 撮像装置
JP5898501B2 (ja) 2012-01-13 2016-04-06 キヤノン株式会社 画像処理装置、撮像装置、制御方法、プログラム及び記録媒体
US8995785B2 (en) * 2012-02-28 2015-03-31 Lytro, Inc. Light-field processing and analysis, camera control, and user interfaces and interaction on light-field capture devices
JP2013254432A (ja) * 2012-06-08 2013-12-19 Canon Inc 画像処理装置及び画像処理方法
JP6216169B2 (ja) * 2012-09-26 2017-10-18 キヤノン株式会社 情報処理装置、情報処理方法
WO2014142923A1 (en) * 2013-03-14 2014-09-18 Hollister Incorporated Catheter assembly with deployable collection container
KR102257620B1 (ko) * 2014-03-20 2021-05-28 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
US20160309091A1 (en) * 2015-04-16 2016-10-20 Canon Kabushiki Kaisha Display apparatus, display control method, and image capturing apparatus
GB2539198B (en) * 2015-06-08 2019-09-25 Imagination Tech Ltd Motion estimation using collocated blocks
JP6546474B2 (ja) * 2015-07-31 2019-07-17 キヤノン株式会社 撮像装置およびその制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014010672A1 (ja) * 2012-07-12 2014-01-16 オリンパス株式会社 撮像装置及びプログラム
JP2015023552A (ja) * 2013-07-23 2015-02-02 キヤノン株式会社 画像再生装置、画像再生方法、プログラム、及び記憶媒体
JP2015208001A (ja) * 2014-04-17 2015-11-19 ▲ホア▼▲ウェイ▼技術有限公司 リフォーカスを実現するための方法および電子装置

Also Published As

Publication number Publication date
JP2017135660A (ja) 2017-08-03
US10694093B2 (en) 2020-06-23
US20180332214A1 (en) 2018-11-15
JP6700813B2 (ja) 2020-05-27

Similar Documents

Publication Publication Date Title
US10200590B2 (en) Image pickup apparatus and method of controlling the same
JP6271990B2 (ja) 画像処理装置、画像処理方法
JP6663193B2 (ja) 撮像装置およびその制御方法
US10694093B2 (en) Image processing apparatus, image capturing apparatus, image processing method, and storage medium
US10904425B2 (en) Image processing apparatus, control method therefor, and storage medium for evaluating a focusing state of image data
JP6518452B2 (ja) 撮像装置及び撮像方法
JP5322995B2 (ja) 撮像装置及びその制御方法
JP6323022B2 (ja) 画像処理装置
JP6525809B2 (ja) 焦点検出装置及びその制御方法
JP2007104248A (ja) 電子カメラおよびプログラム
JP6056551B2 (ja) 画像処理プログラムおよびデジタルカメラ
JP5409483B2 (ja) 撮像装置
JP2015175982A (ja) 画像処理装置、画像処理方法およびプログラム
JP4925168B2 (ja) 撮像方法および装置
JP2013121173A (ja) 撮像装置
JP6645711B2 (ja) 画像処理装置、画像処理方法、プログラム
JP2015198340A (ja) 画像処理装置およびその制御方法、並びにプログラム
JP2016100868A (ja) 画像処理装置、画像処理方法およびプログラム、並びに撮像装置
US11317016B2 (en) Image processing device, control method thereof, imaging device, and recording medium
JP7421008B2 (ja) 撮像装置、撮像方法、及びプログラム
JP6833772B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP2011030027A (ja) 動画像再生装置及び撮像装置並びにそれらの制御方法、プログラム
JP2017215500A (ja) 画像処理装置、撮像装置、画像処理システム、画像処理装置の制御方法及びプログラム
JP6630173B2 (ja) 撮像装置、撮像制御方法、及びプログラム
JP2015175905A (ja) 画像処理装置、画像処理方法およびプログラム、並びに撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16888107

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16888107

Country of ref document: EP

Kind code of ref document: A1