WO2015141487A1 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

画像処理装置、画像処理方法、およびプログラム Download PDF

Info

Publication number
WO2015141487A1
WO2015141487A1 PCT/JP2015/056595 JP2015056595W WO2015141487A1 WO 2015141487 A1 WO2015141487 A1 WO 2015141487A1 JP 2015056595 W JP2015056595 W JP 2015056595W WO 2015141487 A1 WO2015141487 A1 WO 2015141487A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
mask
long
images
Prior art date
Application number
PCT/JP2015/056595
Other languages
English (en)
French (fr)
Inventor
友己 小野
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201580012678.4A priority Critical patent/CN106165389B/zh
Priority to US15/124,411 priority patent/US10567671B2/en
Priority to JP2016508656A priority patent/JP6624048B2/ja
Priority to EP15764144.0A priority patent/EP3091731A4/en
Publication of WO2015141487A1 publication Critical patent/WO2015141487A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G06T5/75—Unsharp masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces

Definitions

  • the present disclosure relates to an image processing device, an image processing method, and a program, and more particularly, to an image processing device, an image processing method, and a program that can perform slow shutter photography easily.
  • Patent Document 1 there has been a method of obtaining a pseudo slow shutter effect by continuously capturing images with short exposure times and combining them.
  • this method cannot capture the movement of the subject when the shutter is closed, resulting in an unnatural composite image.
  • the present disclosure has been made in view of such a situation, and can easily perform slow shutter photography.
  • An image processing apparatus includes a mask generation unit that generates a compositing mask based on information in a specific direction related to a long-time exposure image among a plurality of images that are continuously captured and having different exposure times. And an image composition unit that composes the plurality of images using the composition mask generated by the mask generation unit.
  • the image processing apparatus generates a compositing mask based on information in a specific direction related to a long-time exposure image among a plurality of images that are continuously captured and having different exposure times.
  • the plurality of images are combined using the generated combining mask.
  • a program includes a mask generation unit that generates a compositing mask based on information in a specific direction regarding a long-time exposure image among a plurality of images that are continuously shot and have different exposure times, and the mask generation
  • the computer is caused to function as an image synthesis unit that synthesizes the plurality of images using the synthesis mask generated by the unit.
  • a compositing mask is generated based on information in a specific direction related to a long-time exposure image among a plurality of images that are continuously shot and have different exposure times.
  • the plurality of images are combined using the generated combining mask.
  • slow shutter photography can be performed.
  • it is possible to easily perform slow shutter photography.
  • a plurality of images having different exposure times (hereinafter, the image having the longest exposure time among the images is referred to as a long-time exposure image and the other images are referred to as short-time exposure images) are captured for a long time.
  • the subject is detected from the exposure image, a compositing mask is created, and based on the compositing mask, the area that is to be expressed by the slow shutter is composed using the long exposure image and the other background areas are composed using the short exposure image.
  • the long-exposure image an image having an exposure time longer than that of the image having the shortest exposure time among images used for composition can be used.
  • FIG. 1 is a block diagram illustrating an embodiment of an imaging apparatus to which an image processing apparatus of the present technology is applied.
  • Each unit shown in FIG. 1 may be configured by a circuit.
  • An imaging apparatus 11 shown in FIG. 1 is an imaging system, such as an optical system 21 such as a lens, a driving unit 22 thereof, an imaging device 23, an AFE (Analog Front End) unit 24, a development processing unit 25, a resolution conversion unit 26, The codec unit 27, the alignment unit 28, the mask generation unit 29, and the image composition processing unit 30 are configured.
  • the imaging device 11 includes a bus 31, a RAM (Random Access Memory) 32, a CPU (Central Processing Unit) 33, a GPU (Graphics Processing Unit) 34, various sensors 35, and a removable recording medium that can be mounted.
  • 41 includes a drive 36 for image recording and reading, and a display 37.
  • the AFE unit 24 to the image composition processing unit 30 and the RAM 32 to the display 37 are connected to each other via the bus 31.
  • the AFE unit 24, the development processing unit 25, the resolution conversion unit 26, and the codec unit 27 are composed of a digital signal processing LSI (Large Scale Integration) capable of continuously capturing at least two images. Further, in the example of FIG. 1, an example in which the photographing system and the processing system are combined is described, but they may be separated.
  • LSI Large Scale Integration
  • the light imaged by the optical system 21 is collected on the image sensor 23 and output to the AFE unit 24 as an image signal.
  • the AFE unit 24 is composed of semiconductor chips such as amplifiers, A / D converters, and filters.
  • the AFE unit 24 adjusts the image signal from the image sensor 23, converts it into digital data, and supplies it to the development processing unit 25.
  • the development processing unit 25 performs signal processing such as demosaicing on the image data from the AFE unit 24.
  • the development processing unit 25 supplies the image data after the signal processing to the alignment unit 28 during the slow shutter function. In a case other than the slow shutter function, the development processing unit 25 supplies the image data after the signal processing to the resolution conversion unit 26.
  • the resolution conversion unit 26 performs resolution conversion of the image data from the development processing unit 25 or the image composition processing unit 30, and then supplies it to the codec unit 27.
  • the codec unit 27 performs an encoding process to record the image data from the resolution conversion unit 26, and supplies the encoded data after the encoding process to, for example, the drive 36.
  • the codec unit 27 also decodes the encoded data read from the drive 36 and supplies the decoded image data to the alignment unit 28.
  • the alignment unit 28 aligns a plurality of images from the development processing unit 25 or the codec unit 27, and supplies the image data after the alignment to the mask generation unit 29 and the image composition processing unit 30.
  • the mask generation unit 29 generates a synthesis mask using a long-second (long-time) exposure image among a plurality of images that have been aligned by the alignment unit 28, and the generated synthesis mask is converted into an image. This is supplied to the synthesis processing unit 30.
  • the image composition processing unit 30 synthesizes the image data after alignment from the alignment unit 28 using the composition mask from the mask generation unit 29 to generate a slow shutter image.
  • the generated slow shutter image is supplied to the resolution conversion unit 26, for example.
  • the generated slow shutter image may be supplied to the codec unit 27 and the drive 36.
  • RAM 32 temporarily stores programs and data.
  • the CPU 33 performs a predetermined process by loading a program stored in the removable recording medium 41 or a storage unit (not shown) into the RAM 32 via the bus 31 and executing the program.
  • photographing processing, image processing, display processing of UI, and the like by controlling the lens driving unit 22 and the optical system 21 are performed.
  • the GPU 34 performs calculation processing necessary for displaying 3D graphics.
  • the various sensors 35 are constituted by, for example, a distance measuring sensor or a brightness sensor necessary for the camera function.
  • the drive 36 records the encoded data from the codec unit 27 on the removable recording medium 41, reads the encoded data from the removable recording medium 41, and supplies it to the codec unit 27.
  • the removable recording medium 41 is composed of a magnetic disk, an optical disk, a magneto-optical disk, a semiconductor memory, or the like.
  • the display 37 is composed of an LCD (Liquid Crystal Display) or the like, and displays data and images from each part.
  • LCD Liquid Crystal Display
  • FIG. 2 shows a functional configuration example of the imaging apparatus. In the example of FIG. 2, a minimum configuration example is shown.
  • the imaging device 11 is configured to include an alignment unit 28, a mask generation unit 29, and an image composition processing unit 30.
  • the alignment unit 28 receives the long exposure image 51 and the short exposure image 52 that have been subjected to signal processing by the development processing unit 25.
  • this imaging apparatus 11 since it is assumed that the camera is not fixed with a tripod, it is necessary to align the positions of the captured images.
  • the short-time exposure image 52 may be a plurality of images or a single image. In the case of a plurality of images, for example, a better image can be used by changing the exposure amount. In the case of a night view, noise can be reduced by superimposing short-time exposure images.
  • Alignment unit 28 aligns these input images.
  • an alignment method there are a method using block matching, a method of calculating a homography matrix by feature point detection, and the like.
  • the alignment unit 28 supplies the image composition processing unit 30 with the long-time exposure image 51 and the short-time exposure image 52 after alignment.
  • the alignment unit 28 also supplies the long-time exposure image 51 after alignment to the mask generation unit 29.
  • the mask generation unit 29 generates a mask (hereinafter referred to as “compositing mask”) 53 that is used when the long-time exposure image 51 and the short-time exposure image 52 are combined using the long-time exposure image 51 after alignment. To do.
  • the mask generation unit 29 supplies the generated composition mask 53 to the image composition processing unit 30.
  • the compositing mask 53 a subject area to be photographed with a slow shutter and other areas are shown.
  • the image composition processing unit 30 synthesizes the long-time exposure image 51 and the short-time exposure image 52 after alignment based on the composition mask 53 supplied from the mask generation unit 29 to obtain an output image 54.
  • the long exposure image 51 and the short exposure image 52 are ⁇ -blended.
  • the boundary can be made inconspicuous by gently changing the blend ratio in the vicinity of the boundary of the composition mask 53.
  • FIG. 3 is a block diagram illustrating a configuration example of the mask generation unit.
  • the mask generation unit 29 is configured to include an image gradient extraction unit 71, an initial label map generation unit 72, a foreground extraction unit 73, and a label map update unit 74.
  • the image gradient extraction unit 71 receives the aligned long exposure image 61 as an input image.
  • the image gradient extraction unit 71 extracts an image gradient component in the subject movement direction indicating the direction of movement of the subject when the subject moving at the time of shooting matches from the long-time exposure image.
  • the long exposure image 61 tends to be blurred due to camera shake, camera shake, or the like. For this reason, even if there is a gradient in the same direction as the subject in a region other than the subject, the intensity is weakened, so that the subject region can be easily extracted.
  • Non-Patent Document 1 As a gradient extraction method, a difference between adjacent pixels may be obtained, or “Navneet Dslal etal.,” Histogras of Oriented Gradients forHuman Detection ”, Proc. CVPR, pp.886-893,2005” (hereinafter, As in Non-Patent Document 1, it may be calculated as a gradient histogram for each local region.
  • the image gradient extraction unit 71 supplies the gradient extraction result 62 of the extracted image to the initial label map generation unit 72.
  • the initial label map generator 72 generates an initial label map 63 based on the gradient extraction result 62 from the image gradient extractor 71.
  • the initial label map generation unit 72 assigns a specific direction gradient strength of each pixel or each local region to a background determination region if it is less than a preset threshold value, and assigns it to a subject-side undetermined region if it is greater than or equal to the threshold value. As a result, an initial label map 63 is generated.
  • the initial label map generation unit 72 supplies the long-time exposure image 61 and the generated initial label map 63 to the foreground extraction unit 73.
  • the foreground extraction unit 73 extracts the foreground from the long-time exposure image 61 based on the label map 63 from the initial label map generation unit 72 or the label map update unit 74, and generates a composition mask 53.
  • the foreground extraction unit 73 repeats the foreground extraction a specified number of times in order to improve the subject detection accuracy of the compositing mask 53 generated by the foreground extraction based on the initial label map 63. If the specified number is not reached, the foreground extraction unit 73 supplies the long-time exposure image 61 and the generated composition mask 53 to the label map update unit 74. When the specified number of times is satisfied, the foreground extraction unit 73 outputs the composition mask 53 to the image composition processing unit 30.
  • the label map update unit 74 updates the label map 63 using the composition mask 53 and the long exposure image 61.
  • the label map update unit 74 supplies the updated label map 63 to the foreground extraction unit 73.
  • a foreground extraction algorithm is applied in order to specify a subject area in units of pixels.
  • Foreground extraction algorithms include “Carsten Rother et al.”, “GrabCut-Interactive Foreground Extraction using Iterated Graph Cuts,” Trans. ACM GRAPH, pp.309-314, 2004. ”(hereinafter referred to as Non-Patent Document 2) and , “Yuri Boykov, et al.,” “Fast Approximate Energy Minimization via Graph Cuts,” Trans. PAMI, 1999. “(hereinafter referred to as Non-Patent Document 3).
  • the label map 63 shown in FIG. 4 is necessary. Normally, the user may create and give separately, but in the present technology, the initial label map generation unit 72 and the label map update unit 74 generate the label map 63 only from the subject movement direction of the long-time exposure image 61. Updated.
  • a background determination area ie, a background-side undetermined area, a subject-side undetermined area, and a subject area are assigned based on the long-time exposure image and the subject movement direction.
  • FIG. 5 is a block diagram illustrating a configuration example of the initial label map generation unit.
  • the initial label map generation unit 72 is configured to include a label determination processing unit 81.
  • the label determination processing unit 81 assigns a label using the long-time exposure image 61 and the subject movement direction. That is, as shown in FIG. 6, if the subject motion direction gradient strength of each pixel or each local area is less than a predetermined threshold value ⁇ , the label determination processing unit 81 assigns it to the label of the background determination area and sets the threshold value. If it is greater than or equal to ⁇ , it is assigned to the label of the subject-side undetermined area. In the initial label map generation unit 72, the label map 63 is generated as described above.
  • FIG. 7 is a block diagram illustrating a configuration example of the label map update unit.
  • the label map update unit 74 is configured to include a foreground representative color determination processing unit 91, an update region setting processing unit 92, and a label determination processing unit 93.
  • the foreground representative color determination processing unit 91 uses the long-time exposure image 61 and the composition mask 53 to calculate a color histogram in the foreground area of the composition mask 53 and determines a representative color.
  • the foreground representative color determination processing unit 91 supplies the long-time exposure image 61, the composition mask 53, and the representative color to the update region setting processing unit 92.
  • the representative color may be a color component having the highest frequency, or a color component having a certain frequency or more may be used as shown in FIG.
  • hue histogram in the foreground area of the compositing mask 53 is shown.
  • hue is used, but luminance may be used or other specific channels may be used.
  • the update area setting processing unit 92 sets an update area for the label map 63. That is, as shown in FIG. 9, the update area setting processing unit 92 sets, as an update area, an area that is enlarged in the vertical and horizontal directions at a rate that specifies the circumscribed rectangle of the foreground area.
  • the update area setting processing unit 92 supplies the long-time exposure image 61, the composition mask 53, the representative color, and the update area to the label determination processing unit 93.
  • the label determination processing unit 93 updates the label map 63 of the long-time exposure image 61 based on the composition mask 53, the representative color, and the update area.
  • the CPU 33 of the imaging device 11 sets a subject movement direction (that is, a specific direction) during exposure. For example, when shooting a waterfall flowing from the top to the bottom of the screen, the vertical direction is set as the subject movement direction.
  • the subject movement direction may be automatically set by image analysis or the like without being operated by the user. For example, as a result of image analysis, the direction of the image gradient component having the largest area in the image is set as the subject movement direction.
  • step S22 based on the user's operation, the CPU 33 performs exposure settings such as the exposure time, aperture, and ISO of the long exposure image and the short exposure image. These setting values may be set by operating by the user, or may be set automatically from the detection values.
  • step S23 the CPU 33 performs continuous shooting based on a user operation such as releasing the shutter.
  • the light imaged by the optical system 21 is collected on the image sensor 23 and is output to the AFE unit 24 as an image signal.
  • the AFE unit 24 adjusts the image signal from the image sensor 23, converts it into digital data, and supplies it to the development processing unit 25.
  • step S24 the development processing unit 25 performs camera signal processing such as demosaic processing on the image data from the AFE unit 24, and supplies the image data after the camera signal processing to the alignment unit 28.
  • camera signal processing such as demosaic processing
  • step S25 the alignment unit 28 performs alignment between the plurality of images from the development processing unit 25, and supplies the image data after alignment to the mask generation unit 29 and the image composition processing unit 30.
  • step S26 the mask generation unit 29 performs mask generation processing using the long-time exposure image after alignment. Details of the mask generation processing will be described later with reference to FIG. By the mask generation process, a composition mask 53 is generated and supplied to the image composition processing unit 30.
  • step S27 the image composition processing unit 30 performs image composition processing using the composition mask 53, the long exposure image and the short exposure image, and generates a slow shutter image.
  • the generated slow shutter image is supplied to the resolution conversion unit 26.
  • step S28 the resolution conversion unit 26, the codec unit 27, and the drive 36 perform media recording. That is, the resolution of the slow shutter image is converted by the resolution conversion unit 26, encoded by the codec unit 27, and the encoded data is supplied to the drive 36.
  • the drive 36 records the encoded data on the removable recording medium 41.
  • the subject movement direction is selected in step S21.
  • the timing at which the subject movement direction is selected is any time in steps S21 to S25 as long as it is before mask generation. Also good.
  • step S51 the image gradient extraction unit 71 extracts the subject movement direction image gradient from the long-time exposure image 61.
  • the image gradient extraction unit 71 supplies the gradient extraction result 62 of the extracted image to the initial label map generation unit 72.
  • the initial label map generator 72 generates an initial label map 63 based on the gradient extraction result 62 from the image gradient extractor 71. That is, as shown in FIG. 6, the initial label map generation unit 72 assigns a specific direction gradient strength of each pixel or each local region to a background determination region if it is less than a preset threshold value, and if it is greater than or equal to the threshold value. For example, it is assigned to the subject-side undetermined area, and as a result, the initial label map 63 is generated. The initial label map generation unit 72 supplies the long-time exposure image 61 and the generated initial label map 63 to the foreground extraction unit 73.
  • step S53 the foreground extraction unit 73 extracts the foreground from the long-time exposure image 61 based on the label map from the initial label map generation unit 72 or the label map update unit 74, and generates a composition mask 53.
  • step S54 the foreground extraction unit 73 determines whether or not the foreground has been extracted a specified number of times. If it is determined that the foreground has not been extracted the specified number of times, the long-exposure image 61 and the generated compositing mask 53 are labeled. This is supplied to the update unit 74. Thereafter, the processing proceeds to step S55.
  • step S55 the label map update unit 74 updates the label map 63 using the composition mask 53 and the long exposure image 61. Details of the label map update processing will be described later with reference to FIG.
  • the label map is updated by the label map update process, and the updated label map 63 is supplied to the foreground extraction unit 73, and the process returns to step S53.
  • step S54 If it is determined in step S54 that the foreground has been extracted a specified number of times, the process proceeds to step S56.
  • step S ⁇ b> 56 the foreground extraction unit 73 outputs the composition mask 53 to the image composition processing unit 30.
  • step S71 the foreground representative color determination processing unit 91 uses the long-time exposure image 61 and the composition mask 53 to calculate a color histogram in the foreground area of the composition mask 53 and determines a representative color.
  • the foreground representative color determination processing unit 91 supplies the long-time exposure image 61, the composition mask 53, and the representative color to the update region setting processing unit 92.
  • step S72 the update area setting processing unit 92 sets the update area of the label map 63 as described above with reference to FIG.
  • the update area setting processing unit 92 supplies the long-time exposure image 61, the composition mask 53, the representative color, and the update area to the label determination processing unit 93.
  • steps S74 to S81 are processes performed in units of pixels by the label determination processing unit 93.
  • step S74 the label determination processing unit 93 inputs the pixel (x, y) of the long exposure image 61.
  • the label determination processing unit 93 determines whether or not the input pixel (x, y) is within the update region. If it is determined in step S74 that the input pixel (x, y) is outside the update region, the process proceeds to step S75.
  • step S75 the label determination processing unit 93 sets the input pixel (x, y) as the background determination area. Thereafter, the process proceeds to step S81.
  • step S74 If it is determined in step S74 that the input pixel (x, y) is within the update region, the process proceeds to step S76.
  • step S76 the label determination processing unit 93 determines whether or not the input pixel (x, y) is a representative color. If it is determined in step S76 that the input pixel (x, y) is not a representative color, the process proceeds to step S77. In step S77, the label determination processing unit 93 sets the input pixel (x, y) as the background-side undetermined area. Thereafter, the process proceeds to step S81.
  • step S76 If it is determined in step S76 that the input pixel (x, y) is the representative color, the process proceeds to step S78.
  • step S ⁇ b> 78 the label determination processing unit 93 determines whether or not the input pixel (x, y) is the foreground in the compositing mask 53.
  • step S78 If it is determined in step S78 that the input pixel (x, y) is not the foreground in the compositing mask 53, the process proceeds to step S79.
  • step S79 the label determination processing unit 93 sets the input pixel (x, y) as a subject-side undetermined area. Thereafter, the process proceeds to step S81.
  • step S78 If it is determined in step S78 that the input pixel (x, y) is the foreground in the compositing mask 53, the process proceeds to step S80.
  • step S80 the label determination processing unit 93 sets the input pixel (x, y) as a subject-side undetermined area. Thereafter, the process proceeds to step S81.
  • step S81 the label determination processing unit 93 determines whether or not the processing has been completed for all the pixels. If it is determined in step S81 that the process has not ended, the process returns to step S73, and the subsequent processes are repeated. If it is determined in step S81 that the process has ended, the label map update process ends, and the process returns to step S55 in FIG.
  • FIGS. 13A to 13C are diagrams illustrating examples of a UI for selecting a subject movement direction. Note that one image (preferably, a long-time exposure image) of a plurality of images taken with different exposure times may be displayed on the screens A to C in FIG. This is because when selecting a specific direction such as a subject movement direction, it is easier to select while viewing a long-time exposure image.
  • step S21 in FIG. 10 when the subject movement direction is selected, as shown in FIG. 13A, if the display is capable of touch panel operation, the user moves his / her finger in the direction in which the subject is moving. You may make it select by operation, such as sliding.
  • some direction candidates may be displayed (presented) to allow the user to select a desired one.
  • four directions are presented.
  • the CPU 33 may use detection values, scene analysis, or the like, such as determining from the gradient direction of the pixels in the frame.
  • FIG. 14 is a diagram illustrating an example of an image obtained by the present technology.
  • the moving direction of the subject is set to the vertical direction, and the number of foreground extractions is set to 2.
  • the waterfall represents the flow of water as intended by the slow shutter.
  • the image gives an overall blurred impression due to the effects of camera shake.
  • the short-exposure image 52 taken continuously, a person is clearly shown at the left end, but the waterfall flow is also stopped.
  • the image gradient extraction unit 71 extracts an image gradient component in the subject movement direction from the long-time exposure image 51 and obtains a gradient extraction result 62 for the long-time exposure image 51.
  • the gradient extraction result 62 for example, the direction and magnitude of the gradient are indicated by arrows.
  • the initial label map 63 is obtained by performing threshold determination on the vertical gradient from the gradient extraction result 62 by the initial label map generation unit 72. By extracting the foreground from the initial label map 63, a synthesis mask 53 is obtained.
  • the label map 63 is updated by using the compositing mask 53 and the long exposure image 51 to generate a label map 63 ′.
  • a foreground is extracted to obtain a compositing mask 53 ′.
  • an output image 54 of slow shutter photography can be obtained.
  • the background region is stationary and an image in which only the waterfall flows can be obtained. Furthermore, in the long-exposure image 51, the person moved during the exposure and had a blurred impression.
  • the short-exposure image 52 by replacing the image other than the subject in the flow with the short-exposure image 52, It is possible to flow only the subject that you want to shoot and to shoot other moving objects. This makes it possible to take pictures with difficult compositions, such as taking a commemorative picture with a moving or moving subject.
  • this technique can be applied when shooting an object moving in a specific direction, such as a car or an amusement park merry-go-round, with a slow shutter.
  • reproduction processing by the imaging device 11 will be described with reference to the flowchart of FIG.
  • the imaging device 11 it is assumed that a long exposure image and a short exposure image are continuously exposed and recorded on the removable recording medium 41 or the like.
  • step S91 the CPU 33 of the imaging device 11 controls the drive 36 and reads the images (the long exposure image 51 and the short exposure image 52) recorded on the removable recording medium 41. Make it.
  • the drive 36 reads the encoded data from the removable recording medium 41 and supplies it to the codec unit 27.
  • the codec unit 27 also decodes the encoded data read from the drive 36 and supplies the decoded image data to the alignment unit 28.
  • step S92 the alignment unit 28 performs alignment between the plurality of images from the codec unit 27, and supplies the image data after the alignment to the mask generation unit 29 and the image composition processing unit 30.
  • step S93 the CPU 33 sets the subject movement direction during exposure. For example, when shooting a waterfall flowing from the top to the bottom of the screen, the vertical direction is set as the subject movement direction.
  • step S94 the mask generation unit 29 performs a mask generation process using the long-time exposure image after alignment.
  • the details of this mask generation processing are the same as the processing described above with reference to FIG.
  • a composition mask 53 is generated and supplied to the image composition processing unit 30.
  • step S95 the image composition processing unit 30 performs image composition processing using the composition mask 53, the long exposure image and the short exposure image, and generates a slow shutter image.
  • the generated slow shutter image is supplied to the resolution conversion unit 26.
  • step S96 the resolution conversion unit 26, the codec unit 27, and the drive 36 perform media recording. That is, the resolution of the slow shutter image is converted by the resolution conversion unit 26, encoded by the codec unit 27, and the encoded data is supplied to the drive 36.
  • the drive 36 records the encoded data on the medium 41.
  • the processing according to the present technology can be performed during reproduction.
  • FIG. 16 illustrates a functional configuration example of the imaging apparatus.
  • the imaging device 11 of FIG. 16 is the same as the imaging device 11 of FIG. 2 in that the imaging device 11 of FIG. 16 includes a positioning unit 28, a mask generation unit 29, and an image composition processing unit 30.
  • the imaging apparatus 11 in FIG. 16 is different from the imaging apparatus 11 in FIG. 2 in that an image reduction processing unit 111 is added to the front stage of the mask generation unit 29.
  • the alignment unit 28 supplies the image composition processing unit 30 with the long-time exposure image 51 and the short-time exposure image 52 after alignment. Further, the alignment unit 28 supplies the long-time exposure image 51 after alignment to the image reduction processing unit 111.
  • the image reduction processing unit 111 reduces the long-time exposure image 51 after alignment, and supplies the reduced long-time exposure image 51 to the mask generation unit 29.
  • the mask generation unit 29 generates the composition mask 53 using the long-time exposure image 51 reduced after the alignment.
  • steps S111 to S115 and S117 to S119 in FIG. 17 are basically the same as steps S21 to S28 in FIG.
  • step S115 the alignment unit 28 supplies the long-exposure image 51 after alignment to the image reduction processing unit 111.
  • step S116 the image reduction processing unit 111 reduces the long-time exposure image 51 after alignment, and supplies the reduced long-time exposure image 51 to the mask generation unit 29.
  • step S117 the mask generation unit 29 performs a mask generation process using the long-time exposure image 51 reduced after the alignment.
  • the series of processes described above can be executed by hardware or software.
  • a program constituting the software is installed in the computer.
  • the computer includes, for example, a general-purpose personal computer capable of executing various functions by installing various programs by installing a computer incorporated in dedicated hardware.
  • FIG. 18 shows an example of the hardware configuration of a computer that executes the above-described series of processing by a program. That is, in the example of FIG. 18, a configuration example in the case where the imaging system and the processing system are independent is shown.
  • an input unit 211 an output unit 212, a CPU (Central Processing Unit) 213, a GPU (Graphics Processing Unit) 802, a communication unit 215, and a RAM (Random Access Memory) 216 are connected to each other via a bus 217. Yes.
  • a CPU Central Processing Unit
  • a GPU Graphics Processing Unit
  • a communication unit 215, and a RAM Random Access Memory
  • a storage unit 218 and a drive 219 are connected to the bus 217.
  • the input unit 211 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 212 includes a display, a speaker, and the like.
  • the GPU 213 performs calculation processing necessary for displaying 3D graphics.
  • the communication unit 215 includes a network interface.
  • the storage unit 218 includes a hard disk, a nonvolatile memory, and the like.
  • the drive 219 drives a removable recording medium 220 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 213 loads the program stored in the storage unit 218 to the RAM 216 via the bus 217 and executes the program, thereby performing the above-described series of processing. .
  • the storage unit 218 stores an alignment program 221, a mask generation program 222, an image generation program 223, a UI (User Interface) program 224, and a camera communication program 225.
  • an alignment program 221 a mask generation program 222
  • UI User Interface
  • the alignment program 221 performs basically the same processing as the alignment unit 28 in FIG.
  • the mask creation program 222 performs basically the same processing as the mask generation unit 29 in FIG.
  • the image generation program 223 performs basically the same processing as the image composition processing unit 30 in FIG.
  • the UI program 224 controls display related to the UI.
  • the camera communication program 225 communicates with an imaging system device (not shown).
  • the program executed by the computer can be provided by being recorded in a removable recording medium 220 as a package medium, for example.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 218 via the bus 217 by mounting the removable recording medium 220 in the drive 219. Further, the program can be received by the communication unit 215 via a wired or wireless transmission medium and installed in the storage unit 218. In addition, the program can be installed in advance in a ROM (not shown) or the storage unit 218.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • the present technology is applied not only to an image processing device but also to an imaging device, a server, and the like.
  • steps describing the series of processes described above are not limited to the processes performed in time series according to the described order, but are not necessarily performed in time series, either in parallel or individually.
  • the process to be executed is also included.
  • the present technology can take a configuration of cloud computing in which one function is shared by a plurality of devices via a network and is jointly processed.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be combined into a single device (or processing unit).
  • a configuration other than that described above may be added to the configuration of each device (or each processing unit).
  • a part of the configuration of a certain device (or processing unit) may be included in the configuration of another device (or other processing unit). . That is, the present technology is not limited to the above-described embodiment, and various modifications can be made without departing from the gist of the present technology.
  • this technique can also take the following structures.
  • a mask generation unit that generates a compositing mask based on information in a specific direction related to a long-time exposure image among a plurality of images that are continuously captured and having different exposure times;
  • An image processing apparatus comprising: an image composition unit configured to compose the plurality of images using the composition mask generated by the mask generation unit.
  • the mask generation unit generates a label map generation unit that generates an initial label map of the composition mask based on a gradient intensity in a specific direction of the long-time exposure image;
  • the image processing apparatus according to (1) or (2), further including: a foreground extracting unit that extracts a foreground based on the initial label map generated by the label map generation and generates the composition mask.
  • the mask generation unit A label map update unit that updates the initial label map based on at least one of a representative color and an update region in the foreground of the composition mask;
  • the image processing apparatus according to (3), wherein the foreground extraction unit extracts a foreground based on the label map updated by the label map update unit, and generates the synthesis mask.
  • the image processing apparatus according to any one of (1) to (4), further including a display control unit that controls display of a UI (User Interface) for setting a specific direction of the long-time exposure image.
  • a display control unit controls display of a UI (User Interface) for setting a specific direction of the long-time exposure image.
  • the image processing apparatus according to (5), wherein one image of the plurality of images is displayed on the display screen.
  • the display control unit controls display of a UI for setting a specific direction of the long-exposure image according to an instruction of a subject movement direction in the plurality of images by a user.
  • the display control unit controls display of a UI for setting a specific direction of the long-exposure image according to selection by the user from subject movement direction candidates in the plurality of images.
  • An image processing apparatus according to 1.
  • the display control unit controls display of a UI for setting a specific direction of the long-time exposure image by displaying an area for detecting a subject movement direction in the plurality of images.
  • the image processing apparatus according to 5).
  • An alignment unit that aligns the plurality of images is further provided, The mask generation unit generates a synthesis mask based on gradient information of the long-time exposure image aligned by the alignment unit, The image synthesizing unit synthesizes a plurality of images aligned by the alignment unit using the synthesis mask generated by the mask generating unit.
  • the method according to any one of (1) to (10), Image processing device.
  • 11 imaging device 21 optical system, 22 drive unit, 23 image sensor, 24 AFE unit, 25 development processing unit, 26 resolution conversion unit, 27 codec unit, 28 alignment unit, 29 mask generation unit, 30 image composition processing unit, 31 bus, 32 RAM, 33 CPU, 34 GPU, 35 various sensors, 36 drive, 37 display, 41 removable recording medium, 51 long exposure image, 52 short exposure image, 53 composition mask, 54 output image, 61 length Time exposure image, 62 gradient extraction result, 63 label map, 71 image gradient extraction unit, 72 initial label map generation unit, 73 foreground extraction unit, 74 label map update unit, 81 label judgment processing unit, 91 foreground representative color determination , 92 update region setting processing unit, 93 the label determination processing unit, 111 image reduction process unit, 201 computer, 221 positioning program 222 mask generation program, 223 an image generating program, 224 UI program 225 camera communication program

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Exposure Control For Cameras (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

　本開示は、簡単にスローシャッタ撮影を行うことができるようにする画像処理装置、画像処理方法、およびプログラムに関する。 画像勾配抽出部は、入力画像のうち長時間露光画像から、被写体動き方向の画像勾配成分を抽出する。初期ラベルマップ生成部は、画像勾配抽出部からの勾配抽出結果に基づいて、初期ラベルマップを生成する。前景抽出部は、初期ラベルマップ生成部またはラベルマップ更新部からのラベルマップを基に、入力画像から前景を抽出して、合成用マスクを生成する。本開示は、例えば、画像処理機能を有する撮像装置に適用することができる。

Description

画像処理装置、画像処理方法、およびプログラム
　本開示は、画像処理装置、画像処理方法、およびプログラムに関し、特に、簡単にスローシャッタ撮影を行うことができるようにした画像処理装置、画像処理方法、およびプログラムに関する。
　シャッタスピードを遅くすることで光の軌跡や水の流れ、物体の動きを記録するスローシャッタ撮影を行うことができるが、露光中のぶれを防ぐため、カメラなどの撮像装置を三脚などで固定する必要があった。しかしながら、三脚の運搬・設置の負担や構図の制約など、ユーザは手間のかかる撮影をしなければならなかった。
　そこで、例えば、特許文献１に提案されているように、露光時間の短い画像を連続で撮影して、それらを合成することで疑似的にスローシャッタ効果を得る方法があった。しかしながら、この方法は、シャッタを閉じている際の被写体の動きをとらえられないため、合成画像が不自然になってしまっていた。
特開２０１２－８３８４８号公報
　以上のように、簡単にスローシャッタ撮影を行う方法が確立されておらず、昨今においては、そのような方法が早急に求められていた。
　本開示は、このような状況に鑑みてなされたものであり、簡単にスローシャッタ撮影を行うことができるものである。
　本開示の一側面の画像処理装置は、連続撮影された露光時間の異なる複数の画像のうちの長時間露光画像に関する特定方向の情報に基づいて、合成用マスクを生成するマスク生成部と、前記マスク生成部により生成された合成用マスクを用いて、前記複数の画像を合成する画像合成部とを備える。
　本開示の一側面の画像処理方法は、画像処理装置が、連続撮影された露光時間の異なる複数の画像のうちの長時間露光画像に関する特定方向の情報に基づいて、合成用マスクを生成し、生成された合成用マスクを用いて、前記複数の画像を合成する。
　本開示の一側面のプログラムは、連続撮影された露光時間の異なる複数の画像のうちの長時間露光画像に関する特定方向の情報に基づいて、合成用マスクを生成するマスク生成部と、前記マスク生成部により生成された合成用マスクを用いて、前記複数の画像を合成する画像合成部として、コンピュータを機能させる。
　本開示の一側面においては、連続撮影された露光時間の異なる複数の画像のうちの長時間露光画像に関する特定方向の情報に基づいて、合成用マスクが生成される。そして、生成された合成用マスクを用いて、前記複数の画像が合成される。
　本開示によれば、スローシャッタ撮影を行うことができる。特に、本開示によれば、簡単にスローシャッタ撮影を行うことができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術を適用した撮像装置の構成例を示すブロック図である。 撮像装置の機能構成例を示すブロック図である。 マスク生成部の構成例を示すブロック図である。 ラベルマップについて説明する図である。 初期ラベルマップ生成部の構成例を示すブロック図である。 ラベルの判定について説明する図である。 ラベルマップ更新部の構成例を示すブロック図である。 色相ヒストグラムを示す図である。 更新領域の設定方法を説明する図である。 スローシャッタモードの場合の撮影処理を説明するフローチャートである。 マスク生成処理を説明するフローチャートである。 ラベルマップ更新処理を説明するフローチャートである。 被写体動き方向を選択するためのUIの例を示す図である。 本技術により得られる画像の一例について説明する図である。 再生処理を説明するフローチャートである。 撮像装置の他の機能構成例を示すブロック図である。 スローシャッタモードの場合の撮影処理を説明するフローチャートである。 コンピュータの構成例を示すブロック図である。
　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
０．概要
１．第１の実施の形態（撮像装置）
２．第２の実施の形態（コンピュータ）
＜０．概要＞
 （本技術の概要）
　三脚などの固定手段がない状況下におけるスローシャッタ撮影は、カメラの本体のぶれに起因する背景や被写体以外の動体のぶれによる影響を受けやすい。このぶれは、画像全体に等しく影響するが、人の目からは、スローシャッタで撮影したい光の軌跡や水の流れ、物体の動きなどの被写体（以下、単に被写体と称する）よりも本来静止しているはずの背景や人物などの領域ほど影響を大きく感じやすい。
　そこで、本技術においては、露光時間の異なる複数枚の画像（以下、画像のうち、最も露光時間の長い画像を長時間露光画像、それ以外を短時間露光画像とする）を撮影し、長時間露光画像から被写体を検出し、合成用マスクを作成し、合成用マスクに基づき、スローシャッタで表現したい領域は長時間露光画像を、それ以外の背景領域を短時間露光画像を使って合成される。なお、長時間露光画像としては、合成用に用いる画像のうち、最も露光時間の短い画像の露光時間よりも露光時間の長い画像を用いることもできる。
　これによりユーザは三脚などの固定手段がない状況下においてカメラ本体のぶれを抑制したスローシャッタ撮影を行うことができる。すなわち、高品質のスローシャッタ撮影による画像（以下、スローシャッタ画像とも称する）を得ることができる。
　以下、上述した本技術について詳細に説明する。
＜１．第１の実施の形態＞
　（本技術を適用する撮像装置の構成例）
　図１は、本技術の画像処理装置を適用する撮像装置の一実施の形態を示すブロック図である。なお、図１に示される各部は、回路で構成されてもよい。
　図１に示される撮像装置１１は、撮影系である、レンズなどの光学系２１、その駆動部２２、撮像素子２３、AFE(Analog Front End)部２４、現像処理部２５、解像度変換部２６、コーデック部２７、位置合わせ部２８、マスク生成部２９、画像合成処理部３０により構成されている。撮像装置１１には、さらに、撮像装置１１は、バス３１、RAM(Random Access Memory)３２、CPU(Central Processing Unit)３３、GPU(Graphics Processing Unit)３４、各種センサ３５、装着可能なリムーバブル記録媒体４１が挿入されている画像記録、読み出し用のドライブ３６、ディスプレイ３７により構成されている。
　なお、AFE部２４乃至画像合成処理部３０、およびRAM３２乃至ディスプレイ３７は、バス３１を介して相互に接続されている。
　また、AFE部２４、現像処理部２５、解像度変換部２６、およびコーデック部２７は、少なくとも２枚以上の画像を連続撮影することが可能なデジタル信号処理LSI(Large Scale Integration)からなる。また、図１の例においては、撮影系と処理系が一つになった例を記載されているが、別々になっていてもよい。
　光学系２１より撮像された光は、撮像素子２３上に集結されて、画像信号として、AFE部２４に出力される。
　AFE部２４は、アンプやA/Dコンバータ、フィルタなどの半導体チップで構成される。AFE部２４は、撮像素子２３からの画像信号を調整して、デジタルデータに変換し、現像処理部２５に供給する。
　現像処理部２５は、AFE部２４からの画像データに、デモザイクなどの信号処理を行う。現像処理部２５は、スローシャッタ機能時には、信号処理後の画像データを、位置合わせ部２８に供給する。現像処理部２５は、スローシャッタ機能以外の場合、信号処理後の画像データを、解像度変換部２６に供給する。
　解像度変換部２６は、現像処理部２５または画像合成処理部３０からの画像データの解像度変換を行い、その後、コーデック部２７に供給する。
　コーデック部２７は、解像度変換部２６からの画像データを記録するため、符号化処理し、符号化処理後の符号化データを、例えば、ドライブ３６に供給する。コーデック部２７は、また、ドライブ３６から読み出された符号化データをデコードし、デコードした結果の画像データを位置合わせ部２８に供給する。
　位置合わせ部２８は、現像処理部２５またはコーデック部２７からの複数の画像の位置合わせを行い、位置合わせ後の画像データを、マスク生成部２９および画像合成処理部３０に供給する。
　マスク生成部２９は、位置合わせ部２８により位置合わせが行われた複数の画像のうち、長秒(長時間)露光画像を用いて、合成用マスクを生成し、生成した合成用マスクを、画像合成処理部３０に供給する。
　画像合成処理部３０は、マスク生成部２９からの合成用マスクを用いて、位置合わせ部２８からの位置合わせ後の画像データを合成することで、スローシャッタ画像を生成する。生成したスローシャッタ画像は、例えば、解像度変換部２６に供給される。生成したスローシャッタ画像は、コーデック部２７やドライブ３６に供給されてもよい。
　RAM３２は、プログラムやデータを一時的に記憶する。CPU３３は、例えば、リムーバブル記録媒体４１または図示せぬ記憶部に記憶されているプログラムを、バス３１を介して、RAM３２にロードして実行することにより、所定の処理を行う。CPU３３においては、例えば、レンズ駆動部２２や光学系２１を制御しての撮影処理や画像処理、UIなどの表示処理などが行われる。
　GPU３４は、3Dグラフィックスの表示に必要な計算処理を行う。各種センサ３５は、例えば、カメラ機能に必要な測距センサや明度センサなどで構成される。
　ドライブ３６は、コーデック部２７からの符号化データをリムーバブル記録媒体４１に記録したり、リムーバブル記録媒体４１からの符号化データを読み出し、コーデック部２７に供給する。リムーバブル記録媒体４１は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどよりなる。
　ディスプレイ３７は、LCD(Liquid Crystal Display)などで構成され、各部からのデータや画像を表示する。
　（撮像装置の機能構成例）
　図２は、撮像装置の機能構成例を示している。なお、図２の例においては、最小構成例が示されている。
　図２に示されるように、撮像装置１１は、位置合わせ部２８、マスク生成部２９および画像合成処理部３０を含むように構成されている。
　位置合わせ部２８には、現像処理部２５により信号処理が行われた長時間露光画像５１および短時間露光画像５２が入力される。この撮像装置１１においては、三脚で固定されていない状況も想定されているので、撮影した画像間で位置合わせをする必要がある。
　なお、短時間露光画像５２は、複数枚であってもよいし、１枚であってもよい。複数枚の場合、例えば、露光量を変えて撮ることで、よりよいものを使用できる。また、夜景の場合、短時間露光画像を重ねることで、ノイズを減らすことができる。
　位置合わせ部２８は、入力されたこれらの画像の位置合わせを行う。位置合わせの方法としては、ブロックマッチングを用いた手法や特徴点検出でホモグラフィ行列を算出する手法などがある。
　位置合わせ部２８は、位置合わせ後の長時間露光画像５１と短時間露光画像５２とを、画像合成処理部３０に供給する。また、位置合わせ部２８は、位置合わせ後の長時間露光画像５１をマスク生成部２９に供給する。
　マスク生成部２９は、位置合わせ後の長時間露光画像５１を用いて、長時間露光画像５１と短時間露光画像５２とを合成する際に用いるマスク（以下、合成用マスクと称する）５３を生成する。マスク生成部２９は、生成した合成用マスク５３を画像合成処理部３０に供給する。合成用マスク５３においては、スローシャッタで撮影したい被写体領域とそれ以外の領域が示されている。
　画像合成処理部３０は、マスク生成部２９から供給された合成用マスク５３に基づいて、位置合わせ後の長時間露光画像５１と短時間露光画像５２とを合成し、出力画像５４を得る。例えば、長時間露光画像５１と短時間露光画像５２とは、αブレンディングされる。このとき、合成用マスク５３境界付近でのブレンド率をなだらかに変化させることで境界を目立たなくさせることができる。
　（マスク生成部の構成例）
　図３は、マスク生成部の構成例を示すブロック図である。
　マスク生成部２９は、画像勾配抽出部７１、初期ラベルマップ生成部７２、前景抽出部７３、およびラベルマップ更新部７４を含むように構成されている。
　画像勾配抽出部７１には、入力画像として、位置合わせされた長時間露光画像６１が入力される。画像勾配抽出部７１は、長時間露光画像から、撮影時動いている被写体が合った場合、その被写体の動きの方向を示す被写体動き方向の画像勾配成分を抽出する。長時間露光画像６１は、カメラぶれ、手ぶれなどによりぼけた画像になる傾向がある。そのため、被写体以外の領域に被写体と同方向の勾配が存在しても、その強度は弱まるので、被写体領域を抽出しやすい。
　なお、勾配抽出の手法としては、隣接画素の差分を求めてもよいし、”Navneet Dslal etal.,”Histogras of Oriented Gradients forHuman Detection”,Proc. CVPR,pp.886-893,2005”（以下、非特許文献１と称する）のように、局所領域毎の勾配ヒストグラムとして算出してもよい。
　画像勾配抽出部７１は、抽出した画像の勾配抽出結果６２を、初期ラベルマップ生成部７２に供給する。
　初期ラベルマップ生成部７２は、画像勾配抽出部７１からの勾配抽出結果６２に基づいて、初期ラベルマップ６３を生成する。初期ラベルマップ生成部７２は、各画素あるいは各局所領域の特定方向勾配強度が予め設定された閾値未満であれは、背景確定領域に割り当て、閾値以上であれば、被写体側未定領域に割り当て、その結果、初期のラベルマップ６３を生成する。初期ラベルマップ生成部７２は、長時間露光画像６１と生成した初期ラベルマップ６３とを前景抽出部７３に供給する。
　前景抽出部７３は、初期ラベルマップ生成部７２またはラベルマップ更新部７４からのラベルマップ６３を基に、長時間露光画像６１から前景を抽出して、合成用マスク５３を生成する。また、前景抽出部７３は、初期ラベルマップ６３に基づき前景抽出で生成された合成用マスク５３の被写体検出精度を向上するために、指定回数だけ前景抽出を繰り返す。指定回数に満たない場合、前景抽出部７３は、長時間露光画像６１と生成した合成用マスク５３とをラベルマップ更新部７４に供給する。指定回数を満たした場合、前景抽出部７３は、合成用マスク５３を画像合成処理部３０に出力する。
　ラベルマップ更新部７４は、合成用マスク５３と長時間露光画像６１とを用いて、ラベルマップ６３を更新する。ラベルマップ更新部７４は、更新したラベルマップ６３を前景抽出部７３に供給する。
　なお、前景抽出部７３においては、画素単位で被写体領域を特定するために、前景抽出アルゴリズムが適用される。前景抽出アルゴリズムには、” Carsten Rother et al., “GrabCut - Interactive Foreground Extraction using Iterated Graph Cuts,” Trans. ACM GRAPH, pp.309-314, 2004.” （以下、非特許文献２と称する）や、” Yuri Boykov, et al., “Fast Approximate Energy Minimization via Graph Cuts,” Trans. PAMI, 1999.” （以下、非特許文献３と称する）などがあげられる。
　前景を抽出するためには、図４に示されるラベルマップ６３が必要である。通常はユーザが別途作成して与えることもあるが、本技術においては、初期ラベルマップ生成部７２およびラベルマップ更新部７４において、長時間露光画像６１の被写体動き方向のみからラベルマップ６３が生成、更新される。
　本技術においては、図４に示されるように、長時間露光画像と被写体動き方向から、背景確定領域、背景側未定領域、被写体側未定領域、被写体領域の４種類のラベルが割り当てられる。
　（初期ラベルマップ生成部の構成例）
　図５は、初期ラベルマップ生成部の構成例を示すブロック図である。
　図５の例において、初期ラベルマップ生成部７２は、ラベル判定処理部８１を含むように構成される。
　ラベル判定処理部８１は、長時間露光画像６１と被写体動き方向とを用いて、ラベルを割り当てる。すなわち、ラベル判定処理部８１は、図６に示されるように、各画素あるいは各局所領域の被写体動き方向勾配強度が予め指定された閾値θ未満であれば、背景確定領域のラベルに割り当て、閾値θ以上であれば、被写体側未定領域のラベルに割り当てる。初期ラベルマップ生成部７２においては、そのようにして、ラベルマップ６３が生成される。
　（ラベルマップ更新部の構成例）
　図７は、ラベルマップ更新部の構成例を示すブロック図である。
　図７の例において、ラベルマップ更新部７４は、前景内代表色決定処理部９１、更新領域設定処理部９２、およびラベル判定処理部９３を含むように構成される。
　前景内代表色決定処理部９１は、長時間露光画像６１と合成用マスク５３と用い、合成用マスク５３の前景領域内の色ヒストグラムを算出し、代表色を決定する。前景内代表色決定処理部９１は、長時間露光画像６１、合成用マスク５３、および代表色を更新領域設定処理部９２に供給する。代表色は最も頻出頻度が高い色成分でもよいし、図８に示されるように、一定以上の頻度を持つ色成分を使ってもよい。
　図８の例においては、合成用マスク５３の前景領域内の色相ヒストグラムが示されている。なお、図８の場合、色相が用いられているが、輝度を用いてもよいし、その他特定チャネルを用いてもよい。
　更新領域設定処理部９２は、ラベルマップ６３の更新領域を設定する。すなわち、更新領域設定処理部９２は、図９に示されるように、前景領域の外接矩形を指定した割合で、縦方向、横方向拡大した領域を更新領域として設定する。更新領域設定処理部９２は、長時間露光画像６１、合成用マスク５３、代表色、および更新領域をラベル判定処理部９３に供給する。
　ラベル判定処理部９３は、合成用マスク５３、代表色、および更新領域に基づいて、長時間露光画像６１のラベルマップ６３を更新する。
　（撮影処理の例）
　次に、図１０のフローチャートを参照して、撮像装置１１のスローシャッタモードの場合の撮影処理を説明する。例えば、撮像装置１１において、本技術の方法がスローシャッタモードとして設定されており、いま、ユーザによりそのモードが選択されているものとする。
　例えば、ユーザの操作に基づき、ステップＳ２１において、撮像装置１１のCPU３３は、露光中の被写体動き方向（すなわち、特定方向）を設定する。例えば、画面上から下に向かって流れる滝を撮影する場合、垂直方向が被写体動き方向として設定される。なお、被写体動き方向は、ユーザが操作することなく、画像解析などにより自動的に設定されてもよい。例えば、画像解析の結果、画像内で最も大きい領域を持つ画像勾配成分の方向が、被写体動き方向として設定される。
　次に、ステップＳ２２において、ユーザの操作に基づき、CPU３３は、長時間露光画像および短時間露光画像の露出時間、絞り、ISO、などの露出設定を行う。これらの設定値は、ユーザが操作して設定してもよいし、検波値から自動で設定するようにしてもよい。
　ステップＳ２３において、シャッタを切るなどのユーザの操作に基づき、CPU３３は、連続撮影を行う。これにより、光学系２１より撮像された光は、撮像素子２３上に集結されて、画像信号として、AFE部２４に出力される。AFE部２４は、撮像素子２３からの画像信号を調整して、デジタルデータに変換し、現像処理部２５に供給する。
　ステップＳ２４において、現像処理部２５は、AFE部２４からの画像データに、デモザイクなどのカメラ信号処理を行い、カメラ信号処理後の画像データを、位置合わせ部２８に供給する。
　ステップＳ２５において、位置合わせ部２８は、現像処理部２５からの複数の画像間の位置合わせを行い、位置合わせ後の画像データを、マスク生成部２９および画像合成処理部３０に供給する。
　ステップＳ２６において、マスク生成部２９は、位置合わせ後の長時間露光画像を用いて、マスク生成処理を行う。このマスク生成処理の詳細は、図１１を参照して後述する。マスク生成処理により、合成用マスク５３が生成され、画像合成処理部３０に供給される。
　画像合成処理部３０は、ステップＳ２７において、合成用マスク５３と、長時間露光画像および短時間露光画像を用いて、画像合成処理を行い、スローシャッタ画像を生成する。生成したスローシャッタ画像は、解像度変換部２６に供給される。
　ステップＳ２８において、解像度変換部２６、コーデック部２７、およびドライブ３６は、メディア記録を行う。すなわち、スローシャッタ画像は、解像度変換部２６により解像度変換され、コーデック部２７により符号化されて、符号化データがドライブ３６に供給される。ドライブ３６は、その符号化データをリムーバブル記録媒体４１に記録する。
　なお、図１０の例においては、ステップＳ２１において被写体動き方向が選択されたが、被写体動き方向が選択されるタイミングは、マスク生成を行う前であれば、ステップＳ２１乃至Ｓ２５のどのタイミングであってもよい。
　（マスク生成処理の例）
　次に、図１１のフローチャートを参照して、マスク生成処理について説明する。
　ステップＳ５１において、画像勾配抽出部７１は、長時間露光画像６１から、被写体動き方向画像勾配を抽出する。画像勾配抽出部７１は、抽出した画像の勾配抽出結果６２を、初期ラベルマップ生成部７２に供給する。
　ステップＳ５２において、初期ラベルマップ生成部７２は、画像勾配抽出部７１からの勾配抽出結果６２に基づいて、初期ラベルマップ６３を生成する。すなわち、初期ラベルマップ生成部７２は、図６に示されるように、各画素あるいは各局所領域の特定方向勾配強度が予め設定された閾値未満であれは、背景確定領域に割り当て、閾値以上であれば、被写体側未定領域に割り当て、その結果、初期のラベルマップ６３を生成する。初期ラベルマップ生成部７２は、長時間露光画像６１と生成した初期ラベルマップ６３とを前景抽出部７３に供給する。
　ステップＳ５３において、前景抽出部７３は、初期ラベルマップ生成部７２またはラベルマップ更新部７４からのラベルマップを基に、長時間露光画像６１から前景を抽出して、合成用マスク５３を生成する。
　ステップＳ５４において、前景抽出部７３は、指定回数前景抽出したか否かを判定し、指定回数前景抽出していないと判定した場合、長時間露光画像６１と生成した合成用マスク５３とをラベルマップ更新部７４に供給する。その後、処理は、ステップＳ５５に進む。
　ステップＳ５５において、ラベルマップ更新部７４は、合成用マスク５３と長時間露光画像６１とを用いて、ラベルマップ６３を更新する。このラベルマップ更新処理の詳細は、図１２を参照して後述する。ラベルマップ更新処理により、ラベルマップが更新され、更新されたラベルマップ６３は、前景抽出部７３に供給され、処理は、ステップＳ５３に戻る。
　ステップＳ５４において、指定回数前景抽出したと判定された場合、処理は、ステップＳ５６に進む。ステップＳ５６において、前景抽出部７３は、合成用マスク５３を画像合成処理部３０に出力する。
　（ラベルマップ更新処理の例）
　次に、図１２のフローチャートを参照して、ラベルマップ更新処理について説明する。
　ステップＳ７１において、前景内代表色決定処理部９１は、長時間露光画像６１と合成用マスク５３と用い、合成用マスク５３の前景領域内の色ヒストグラムを算出し、代表色を決定する。前景内代表色決定処理部９１は、長時間露光画像６１、合成用マスク５３、および代表色を更新領域設定処理部９２に供給する。
　ステップＳ７２において、更新領域設定処理部９２は、図９を参照して上述したように、ラベルマップ６３の更新領域を設定する。更新領域設定処理部９２は、長時間露光画像６１、合成用マスク５３、代表色、および更新領域をラベル判定処理部９３に供給する。
　なお、次のステップＳ７４乃至Ｓ８１は、ラベル判定処理部９３により画素単位で行われる処理である。
　ステップＳ７４において、ラベル判定処理部９３は、長時間露光画像６１の画素(x,y)を入力する。ステップＳ７４において、ラベル判定処理部９３は、入力した画素(x,y)が更新領域内か否かを判定する。ステップＳ７４において、入力した画素(x,y)が更新領域外であると判定された場合、処理は、ステップＳ７５に進む。ステップＳ７５において、ラベル判定処理部９３は、入力した画素(x,y)を、背景確定領域とする。その後、処理は、ステップＳ８１に進む。
　ステップＳ７４において、入力した画素(x,y)が更新領域内であると判定された場合、処理は、ステップＳ７６に進む。ステップＳ７６において、ラベル判定処理部９３は、入力した画素(x,y)が代表色であるか否かを判定する。ステップＳ７６において、入力した画素(x,y)が代表色ではないと判定された場合、処理は、ステップＳ７７に進む。ステップＳ７７において、ラベル判定処理部９３は、入力した画素(x,y)を、背景側未定領域とする。その後、処理は、ステップＳ８１に進む。
　ステップＳ７６において、入力した画素(x,y)が代表色であると判定された場合、処理は、ステップＳ７８に進む。ステップＳ７８において、ラベル判定処理部９３は、入力した画素(x,y)は、合成用マスク５３において前景であるか否かを判定する。
　ステップＳ７８において、入力した画素(x,y)が合成用マスク５３において前景ではないと判定された場合、処理は、ステップＳ７９に進む。ステップＳ７９において、ラベル判定処理部９３は、入力した画素(x,y)を、被写体側未定領域とする。その後、処理は、ステップＳ８１に進む。
　ステップＳ７８において、入力した画素(x,y)が合成用マスク５３において前景であると判定された場合、処理は、ステップＳ８０に進む。ステップＳ８０において、ラベル判定処理部９３は、入力した画素(x,y)を、被写体側未定領域とする。その後、処理は、ステップＳ８１に進む。
　ステップＳ８１において、ラベル判定処理部９３は、すべての画素について終了したか否かを判定する。ステップＳ８１において終了していないと判定された場合、処理は、ステップＳ７３に戻り、以降の処理を繰り返す。ステップＳ８１において終了したと判定された場合、ラベルマップ更新処理は終了し、処理は、図１１のステップＳ５５に戻る。
　（被写体動き方向の選択UI）
　図１３のＡ乃至図１３のＣは、被写体動き方向を選択するためのUIの例を示す図である。なお、図１３のＡ乃至図１３のＣの画面には、露光時間を変えて撮影した複数枚の画像のうちの１つの画像（好ましくは、長時間露光画像）が表示されてもよい。被写体動き方向などの特定方向を選択する場合、長時間露光画像を見ながら選んだほうが簡単に選ぶことができるからである。
　図１０のステップＳ２１において上述したように、被写体動き方向を選択する場合、図１３のＡに示されるように、タッチパネル操作が可能なディスプレイであれば、ユーザが被写体が動いている方向に指をスライドさせるといった操作で選択するようにしてもよい。
　また、図１３のＢに示されるように、いくつかの方向候補を表示（提示）させて、ユーザに所望のものを選択させるようにしてもよい。図１３のＢの例においては、４つの方向が提示されている。
　さらに、図１３のＣに示されるように、枠を設定し、ユーザが操作することに応じて、枠内に撮りたい流れ(被写体)の画が入るように枠または画像を移動させた後、CPU３３が、枠内の画素の勾配方向から判別するなど、検波値やシーン解析などを用いてもよい。
　以上のようにすることで、本技術においては、次のような効果があげられる。
　（画像の一例）
　図１４は、本技術により得られる画像の一例について説明する図である。
　ここでは、２枚の画像（長時間露光画像５１および短時間露光画像５２）を用いて説明する。なお、撮像装置１１において、被写体の動き方向は、垂直方向に、前景抽出回数は２回に設定されている。
　長時間露光画像５１において、滝はスローシャッタの狙い通り水の流れが表現されている。が、手ぶれの影響により全体的にぼけた印象を与える画像になっている。一方、連続撮影した短時間露光画像５２は、左端に人物も明確に写っているが、滝の流れも止まって写っている。
　画像勾配抽出部７１は、長時間露光画像５１から、被写体動き方向の画像勾配成分を抽出し、長時間露光画像５１に対する勾配抽出結果６２を得る。勾配抽出結果６２においては、例えば、勾配の方向と大きさが矢印により示されている。
　勾配抽出結果６２から垂直方向の勾配に対して、初期ラベルマップ生成部７２により閾値判定が行われることで、初期ラベルマップ６３が得られる。この初期ラベルマップ６３に対して、前景が抽出されることで、合成用マスク５３が得られる。
　さらにこの合成用マスク５３と長時間露光画像５１とを用いてラベルマップ６３が更新されて、ラベルマップ６３´が生成される。それに対して、さらに、前景が抽出されることで、合成用マスク５３´が得られる。
　以上のような本技術により生成された合成用マスク５３´を用いて、長時間露光画像５１と短時間露光画像５２とを合成することで、スローシャッタ撮影の出力画像５４を得ることができる。
　出力画像５４においては、長時間露光画像５１から生成された合成用マスク５３´を用いることで、背景領域は静止し、滝だけ流れている画像を得ることができる。さらに、長時間露光画像５１においては露光中に人物が動いてしまい、ぶれた印象があったが、本技術によれば、流れの被写体以外の画像を、短時間露光画像５２に置き換えることで、流して撮影したい被写体だけを流し、それ以外の動体は静止させることが可能である。これにより、たとえば、流れや動きのある被写体と記念撮影するなど、困難であった構図での撮影が可能になる。
　その他、例えば、車や遊園地のメリーゴーランドなど、特定方向に動く物体をスローシャッタで撮影する際に本技術を適用することができる。
　なお、上記説明においては、撮像装置１１による撮影処理の例を説明したが、本技術の処理は、長時間露光画像と短時間露光画像とが連続露光されて記録されているものを再生する際にも行うことが可能である。
　（再生処理の例）
　次に、図１５のフローチャートを参照して、撮像装置１１による再生処理について説明する。例えば、撮像装置１１においては、長時間露光画像と短時間露光画像とが連続露光されてリムーバブル記録媒体４１などに記録されているものとする。
　例えば、ユーザの操作に基づき、ステップＳ９１において、撮像装置１１のCPU３３は、ドライブ３６を制御し、リムーバブル記録媒体４１に記録されている画像（長時間露光画像５１および短時間露光画像５２）を読み込ませる。ドライブ３６は、リムーバブル記録媒体４１からの符号化データを読み出し、コーデック部２７に供給する。コーデック部２７は、また、ドライブ３６から読み出された符号化データをデコードし、デコードした結果の画像データを位置合わせ部２８に供給する。
　ステップＳ９２において、位置合わせ部２８は、コーデック部２７からの複数の画像間の位置合わせを行い、位置合わせ後の画像データを、マスク生成部２９および画像合成処理部３０に供給する。
　例えば、ユーザの操作に基づき、ステップＳ９３において、CPU３３は、露光中の被写体動き方向を設定する。例えば、画面上から下に向かって流れる滝を撮影する場合、垂直方向が被写体動き方向として設定される。
　ステップＳ９４において、マスク生成部２９は、位置合わせ後の長時間露光画像を用いて、マスク生成処理を行う。このマスク生成処理の詳細は、図１１を参照して上述された処理と同様であるので、その説明は省略される。このマスク生成処理により、合成用マスク５３が生成され、画像合成処理部３０に供給される。
　画像合成処理部３０は、ステップＳ９５において、合成用マスク５３と、長時間露光画像および短時間露光画像を用いて、画像合成処理を行い、スローシャッタ画像を生成する。生成したスローシャッタ画像は、解像度変換部２６に供給される。
　ステップＳ９６において、解像度変換部２６、コーデック部２７、およびドライブ３６は、メディア記録を行う。すなわち、スローシャッタ画像は、解像度変換部２６により解像度変換され、コーデック部２７により符号化されて、符号化データがドライブ３６に供給される。ドライブ３６は、その符号化データをメディア４１に記録する。
　以上のように、予め連続撮影された長時間露光画像と短時間露光画像とが記録されている場合、本技術による処理を再生時に行うことも可能である。
　（撮像装置の他の機能構成例）
　図１６は、撮像装置の機能構成例を示している。
　図１６の撮像装置１１は、位置合わせ部２８、マスク生成部２９および画像合成処理部３０を含むように構成されている点は、図２の撮像装置１１と共通している。図１６の撮像装置１１は、マスク生成部２９の前段に、画像縮小処理部１１１が追加された点が、図２の撮像装置１１と異なっている。
　位置合わせ部２８は、位置合わせ後の長時間露光画像５１と短時間露光画像５２とを、画像合成処理部３０に供給する。また、位置合わせ部２８は、位置合わせ後の長時間露光画像５１を画像縮小処理部１１１に供給する。
　画像縮小処理部１１１は、位置合わせ後の長時間露光画像５１を縮小し、縮小した長時間露光画像５１をマスク生成部２９に供給する。
　マスク生成部２９は、位置合わせ後に縮小された長時間露光画像５１を用いて、合成用マスク５３を生成する。
　（撮影処理の例）
　次に、図１７のフローチャートを参照して、撮像装置１１のスローシャッタモードの場合の撮影処理を説明する。なお、図１７のステップＳ１１１乃至Ｓ１１５、およびＳ１１７乃至Ｓ１１９は、図１０のステップＳ２１乃至Ｓ２８と基本的に同様な処理を行うので、その説明は繰り返しになるので省略する。
　ステップＳ１１５の後、位置合わせ部２８は、位置合わせ後の長時間露光画像５１を画像縮小処理部１１１に供給する。
　ステップＳ１１６において、画像縮小処理部１１１は、位置合わせ後の長時間露光画像５１を縮小し、縮小した長時間露光画像５１をマスク生成部２９に供給する。
　ステップＳ１１７において、マスク生成部２９は、位置合わせ後縮小された長時間露光画像５１を用いて、マスク生成処理を行う。
　以上のように、マスク生成には、縮小画像を用いるように構成することで、処理の高速化を図ることができる。
　上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
＜２．第２の実施の形態＞
　（コンピュータの構成例）
　図１８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示している。すなわち、図１８の例においては、撮像系と処理系とが独立している場合の構成例が示されている。
　コンピュータ２０１において、入力部２１１、出力部２１２、CPU（Central Processing Unit）２１３、GPU(Graphics Processing Unit)８０２、通信部２１５、RAM（Random Access Memory）２１６、は、バス２１７により相互に接続されている。
　バス２１７には、さらに、記憶部２１８およびドライブ２１９が接続されている。
　入力部２１１は、キーボード、マウス、マイクロホンなどよりなる。出力部２１２は、ディスプレイ、スピーカなどよりなる。GPU２１３は、3Dグラフィックスの表示に必要な計算処理を行う。通信部２１５は、ネットワークインタフェースなどよりなる。記憶部２１８は、ハードディスクや不揮発性のメモリなどよりなる。ドライブ２１９は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体２２０を駆動する。
　以上のように構成されるコンピュータでは、CPU２１３が、例えば、記憶部２１８に記憶されているプログラムを、バス２１７を介して、RAM２１６にロードして実行することにより、上述した一連の処理が行われる。
　例えば、記憶部２１８には、位置合わせプログラム２２１、マスク生成プログラム２２２、画像生成プログラム２２３、UI(User Interface)プログラム２２４、カメラ通信プログラム２２５が記憶されている。
　位置合わせプログラム２２１は、図１の位置合わせ部２８と基本的に同様の処理を行う。マスク作成プログラム２２２は、図１のマスク生成部２９と基本的に同様の処理を行う。画像生成プログラム２２３は、図１の画像合成処理部３０と基本的に同様の処理を行う。UIプログラム２２４は、UIに関する表示の制御を行う。カメラ通信プログラム２２５は、図示せぬ撮像系の装置と通信を行う。
　コンピュータ（CPU２１３）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体２２０に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブル記録媒体２２０をドライブ２１９に装着することにより、バス２１７を介して、記憶部２１８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２１５で受信し、記憶部２１８にインストールすることができる。その他、プログラムは、図示せぬROMや記憶部２１８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　以上のように、本技術は、画像処理装置のみに限らず、撮像装置、サーバなどにも適用される。
　なお、本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
　例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、本開示における実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有するであれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例また修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　なお、本技術は以下のような構成も取ることができる。
　（１）　連続撮影された露光時間の異なる複数の画像のうちの長時間露光画像に関する特定方向の情報に基づいて、合成用マスクを生成するマスク生成部と、
　前記マスク生成部により生成された合成用マスクを用いて、前記複数の画像を合成する画像合成部と
　を備える画像処理装置。
　（２）　前記長時間露光画像に関する特定方向の情報は前記長時間露光画像における被写体動き方向に基づいて設定される
　前記（１）に記載の画像処理装置。
　（３）　前記マスク生成部は、前記長時間露光画像の特定方向の勾配強度に基づいて、前記合成用マスクの初期ラベルマップを生成するラベルマップ生成部と、
　前記ラベルマップ生成により生成された初期ラベルマップに基づいて、前景を抽出して、前記合成用マスクを生成する前景抽出部と
　を有する
　前記（１）または（２）に記載の画像処理装置。
　（４）　前記マスク生成部は、
　前記合成用マスクの前景における代表色および更新領域のうちの少なくとも１つに基づいて、前記初期ラベルマップを更新するラベルマップ更新部を
　さらに有し、
　前記前景抽出部は、前記ラベルマップ更新部により更新されたラベルマップに基づいて、前景を抽出して、前記合成用マスクを生成する
　前記（３）に記載の画像処理装置。
　（５）　前記長時間露光画像の特定方向を設定するためのUI(User Interface)の表示を制御する表示制御部を
　さらに備える前記（１）乃至（４）のいずれかに記載の画像処理装置。
　（６）前記表示の画面には、前記複数の画像のうちの１つの画像が表示される
　前記（５）に記載の画像処理装置。
　（７）前記１つの画像は、長時間露光画像である
　前記（６）に記載の画像処理装置。
　（８）　前記表示制御部は、ユーザによる前記複数の画像における被写体動き方向の指示により、前記長時間露光画像の特定方向を設定するためのUIの表示を制御する
　前記（５）に記載の画像処理装置。
　（９）　前記表示制御部は、ユーザによる前記複数の画像における被写体動き方向候補の中からの選択により、前記長時間露光画像の特定方向を設定するためのUIの表示を制御する
　前記（５）に記載の画像処理装置。
　（１０）　前記表示制御部は、前記複数の画像における被写体動き方向を検出するための領域を表示させることで、前記長時間露光画像の特定方向を設定するためのUIの表示を制御する
　前記（５）に記載の画像処理装置。
　（１１）　前記複数の画像を位置合わせする位置合わせ部を
　さらに備え、
　前記マスク生成部は、前記位置合わせ部により位置合わせされた長時間露光画像の勾配情報に基づいて、合成用マスクを生成し、
　前記画像合成部は、前記マスク生成部により生成された合成用マスクを用いて、前記位置合わせ部により位置合わせされた複数の画像を合成する
　前記（１）乃至（１０）のいずれかに記載の画像処理装置。
　（１２）　画像処理装置が、
　連続撮影された露光時間の異なる複数の画像のうちの長時間露光画像に関する特定方向の情報に基づいて、合成用マスクを生成し、
　生成された合成用マスクを用いて、前記複数の画像を合成する
　画像処理方法。
　（１３）　連続撮影された露光時間の異なる複数の画像のうちの長時間露光画像に関する特定方向の情報に基づいて、合成用マスクを生成するマスク生成部と、
　前記マスク生成部により生成された合成用マスクを用いて、前記複数の画像を合成する画像合成部と
　して、コンピュータを機能させるためのプログラム。
　　１１　撮像装置，　２１　光学系，　２２　駆動部，　２３　撮像素子，　２４　AFE部，　２５　現像処理部，　２６　解像度変換部，　２７　コーデック部，　２８　位置合わせ部，　２９　マスク生成部，　３０　画像合成処理部，　３１　バス，　３２　RAM，　３３　CPU，　３４　GPU，　３５　各種センサ，　３６　ドライブ，　３７　ディスプレイ，　４１　リムーバブル記録媒体，　５１　長時間露光画像，　５２　短時間露光画像，　５３　合成用マスク，　５４　出力画像，　６１　長時間露光画像，　６２　勾配抽出結果，　６３　ラベルマップ，　７１　画像勾配抽出部，　７２　初期ラベルマップ生成部，　７３　前景抽出部，　７４　ラベルマップ更新部，　８１　ラベル判定処理部，　９１　前景内代表色決定部，　９２　更新領域設定処理部，　９３　ラベル判定処理部，　１１１　画像縮小処理部，　２０１　コンピュータ，　２２１　位置合わせプログラム，　２２２　マスク生成プログラム，　２２３　画像生成プログラム，　２２４　UIプログラム，　２２５　カメラ通信プログラム

Claims (13)

  1. 　連続撮影された露光時間の異なる複数の画像のうちの長時間露光画像に関する特定方向の情報に基づいて、合成用マスクを生成するマスク生成部と、
    　前記マスク生成部により生成された合成用マスクを用いて、前記複数の画像を合成する画像合成部と
    　を備える画像処理装置。
  2. 　前記長時間露光画像に関する特定方向の情報は前記長時間露光画像における被写体動き方向に基づいて設定される
    　請求項１に記載の画像処理装置。
  3. 　前記マスク生成部は、
    　前記長時間露光画像の特定方向の勾配強度に基づいて、前記合成用マスクの初期ラベルマップを生成するラベルマップ生成部と、
    　前記ラベルマップ生成により生成された初期ラベルマップに基づいて、前景を抽出して、前記合成用マスクを生成する前景抽出部と
    　を有する請求項１に記載の画像処理装置。
  4. 　前記マスク生成部は、
    　前記合成用マスクの前景における代表色および更新領域のうちの少なくとも１つに基づいて、前記初期ラベルマップを更新するラベルマップ更新部を
    　さらに有し、
    　前記前景抽出部は、前記ラベルマップ更新部により更新されたラベルマップに基づいて、前景を抽出して、前記合成用マスクを生成する
    　請求項３に記載の画像処理装置。
  5. 　前記長時間露光画像の特定方向を設定するためのUI(User Interface)の表示を制御する表示制御部を
    　さらに備える請求項３に記載の画像処理装置。
  6. 　前記表示の画面には、前記複数の画像のうちの１つの画像が表示される
    　請求項５に記載の画像処理装置。
  7. 　前記１つの画像は、長時間露光画像である
    　請求項６に記載の画像処理装置。
  8. 　前記表示制御部は、ユーザによる前記複数の画像における被写体動き方向の指示により、前記長時間露光画像の特定方向を設定するためのUIの表示を制御する
    　請求項５に記載の画像処理装置。
  9. 　前記表示制御部は、ユーザによる前記複数の画像における被写体動き方向候補の中からの選択により、前記長時間露光画像の特定方向を設定するためのUIの表示を制御する
    　請求項５に記載の画像処理装置。
  10. 　前記表示制御部は、前記複数の画像における被写体動き方向を検出するための領域を表示させることで、前記長時間露光画像の特定方向を設定するためのUIの表示を制御する
    　請求項４に記載の画像処理装置。
  11. 　前記複数の画像を位置合わせする位置合わせ部を
    　さらに備え、
    　前記マスク生成部は、前記位置合わせ部により位置合わせされた長時間露光画像の勾配情報に基づいて、合成用マスクを生成し、
    　前記画像合成部は、前記マスク生成部により生成された合成用マスクを用いて、前記位置合わせ部により位置合わせされた複数の画像を合成する
    　請求項１に記載の画像処理装置。
  12. 　画像処理装置が、
    　連続撮影された露光時間の異なる複数の画像のうちの長時間露光画像に関する特定方向の情報に基づいて、合成用マスクを生成し、
    　生成された合成用マスクを用いて、前記複数の画像を合成する
    　画像処理方法。
  13. 　連続撮影された露光時間の異なる複数の画像のうちの長時間露光画像に関する特定方向の情報に基づいて、合成用マスクを生成するマスク生成部と、
    　前記マスク生成部により生成された合成用マスクを用いて、前記複数の画像を合成する画像合成部と
    　して、コンピュータを機能させるためのプログラム。
PCT/JP2015/056595 2014-03-18 2015-03-06 画像処理装置、画像処理方法、およびプログラム WO2015141487A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201580012678.4A CN106165389B (zh) 2014-03-18 2015-03-06 图像处理装置、图像处理方法以及程序
US15/124,411 US10567671B2 (en) 2014-03-18 2015-03-06 Image processing apparatus and image processing method
JP2016508656A JP6624048B2 (ja) 2014-03-18 2015-03-06 画像処理装置、画像処理方法、およびプログラム
EP15764144.0A EP3091731A4 (en) 2014-03-18 2015-03-06 Image processing device, image processing method and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-054627 2014-03-18
JP2014054627 2014-03-18

Publications (1)

Publication Number Publication Date
WO2015141487A1 true WO2015141487A1 (ja) 2015-09-24

Family

ID=54144460

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/056595 WO2015141487A1 (ja) 2014-03-18 2015-03-06 画像処理装置、画像処理方法、およびプログラム

Country Status (5)

Country Link
US (1) US10567671B2 (ja)
EP (1) EP3091731A4 (ja)
JP (1) JP6624048B2 (ja)
CN (1) CN106165389B (ja)
WO (1) WO2015141487A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017126304A (ja) * 2016-01-15 2017-07-20 富士ゼロックス株式会社 画像処理装置、画像処理方法、画像処理システムおよびプログラム
CN108141543A (zh) * 2016-08-17 2018-06-08 谷歌有限责任公司 基于预测环境因素的相机设置调整和采用这种相机设置调整的跟踪系统
JP2018093460A (ja) * 2016-12-06 2018-06-14 ミン・ジョウ ダイナミックフォトの撮影方法及び装置
JP2020144691A (ja) * 2019-03-07 2020-09-10 株式会社Ｓｃｒｅｅｎホールディングス 代表色決定方法、検査装置、検査方法およびプログラム
US10841375B2 (en) 2013-11-01 2020-11-17 Hewlett Packard Enterprise Development Lp Protocol agnostic storage access in a software defined network topology

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108573467A (zh) * 2017-03-09 2018-09-25 南昌黑鲨科技有限公司 基于图像的轨迹合成方法、装置及终端
US11095829B2 (en) * 2019-06-11 2021-08-17 Samsung Electronics Co., Ltd. Apparatus and method for high dynamic range (HDR) image creation of dynamic scenes using graph cut-based labeling
CN113630545B (zh) * 2020-05-07 2023-03-24 华为技术有限公司 一种拍摄方法及设备
KR20220067034A (ko) * 2020-11-17 2022-05-24 삼성전자주식회사 슬로우 셔터를 제공하기 위한 방법, 장치 및 저장 매체

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10243288A (ja) * 1997-02-28 1998-09-11 Canon Inc 撮像方法及び撮像装置
JP2000050173A (ja) * 1998-07-24 2000-02-18 Olympus Optical Co Ltd 撮像装置および撮像プログラムを記録した記録媒体
JP2010136239A (ja) * 2008-12-08 2010-06-17 Fujifilm Corp 撮影装置および撮影装置の制御方法並びにプログラム
JP2011114823A (ja) * 2009-11-30 2011-06-09 Sanyo Electric Co Ltd 画像処理装置及び撮像装置
WO2013094212A1 (ja) * 2011-12-22 2013-06-27 パナソニック株式会社 露光制御装置、撮像装置、画像表示装置及び露光制御方法
JP2013243780A (ja) * 2013-08-27 2013-12-05 Morpho Inc 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6693962B1 (en) * 1999-02-01 2004-02-17 Thomson Licensing S.A. Process to extract regions of homogeneous texture in a digital picture
US7262794B2 (en) * 2001-08-20 2007-08-28 Photographic Art Research Laboratory Method of making digital photograph and digital photograph made by that method
US7409104B2 (en) * 2002-07-18 2008-08-05 .Sightic Vista Ltd Enhanced wide dynamic range in imaging
JP3747230B2 (ja) * 2002-11-15 2006-02-22 独立行政法人理化学研究所 動画解析システム
US7643066B2 (en) * 2004-02-19 2010-01-05 Robert Bosch Gmbh Method and apparatus for producing frame accurate position data in a PTZ dome camera with open loop control
US9210312B2 (en) * 2004-06-02 2015-12-08 Bosch Security Systems, Inc. Virtual mask for use in autotracking video camera images
US7391907B1 (en) * 2004-10-01 2008-06-24 Objectvideo, Inc. Spurious object detection in a video surveillance system
US8018999B2 (en) * 2005-12-05 2011-09-13 Arcsoft, Inc. Algorithm description on non-motion blur image generation project
JP2007166198A (ja) * 2005-12-13 2007-06-28 National Univ Corp Shizuoka Univ フレームレート変換方法および装置
JP2007166539A (ja) * 2005-12-16 2007-06-28 Canon Inc 撮像装置、撮像方法、プログラムおよび記憶媒体
JP2007336394A (ja) * 2006-06-16 2007-12-27 Samsung Techwin Co Ltd 撮像装置及び画像合成方法
US7800825B2 (en) * 2006-12-04 2010-09-21 3M Innovative Properties Company User interface including composite images that float
US8459807B2 (en) * 2007-07-11 2013-06-11 3M Innovative Properties Company Sheeting with composite image that floats
JP4661922B2 (ja) * 2008-09-03 2011-03-30 ソニー株式会社 画像処理装置、撮像装置、固体撮像素子、画像処理方法およびプログラム
JP5214476B2 (ja) * 2009-01-15 2013-06-19 富士フイルム株式会社 撮像装置及び画像処理方法並びにプログラム
JP5146335B2 (ja) * 2009-01-22 2013-02-20 ソニー株式会社 画像処理装置および方法、並びにプログラム
US8228400B2 (en) * 2009-04-17 2012-07-24 Sony Corporation Generation of simulated long exposure images in response to multiple short exposures
JP5719297B2 (ja) * 2010-03-19 2015-05-13 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 特徴量算出装置、特徴量算出方法及びプログラム
JP2012083848A (ja) 2010-10-07 2012-04-26 Olympus Corp 画像処理装置、画像処理方法、撮像装置、および画像処理プログラム
US8810663B2 (en) * 2011-01-27 2014-08-19 Aptina Imaging Corporation Methods for motion correction for high-dynamic-range imaging systems
CN102214355B (zh) * 2011-05-20 2013-04-03 西安工程大学 一种服装展示素材的抠图方法
SE1150505A1 (sv) 2011-05-31 2012-12-01 Mobile Imaging In Sweden Ab Metod och anordning för tagning av bilder
KR101699919B1 (ko) * 2011-07-28 2017-01-26 삼성전자주식회사 다중 노출 퓨전 기반에서 고스트 흐림을 제거한 ｈｄｒ 영상 생성 장치 및 방법
US9338349B2 (en) * 2013-04-15 2016-05-10 Qualcomm Incorporated Generation of ghost-free high dynamic range images
CN103456010B (zh) * 2013-09-02 2016-03-30 电子科技大学 一种基于特征点定位的人脸卡通画生成方法
CN105100579B (zh) * 2014-05-09 2018-12-07 华为技术有限公司 一种图像数据的采集处理方法及相关装置
GB2536904B (en) * 2015-03-30 2017-12-27 Imagination Tech Ltd Image filtering based on image gradients
US9865062B2 (en) * 2016-02-12 2018-01-09 Qualcomm Incorporated Systems and methods for determining a region in an image

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10243288A (ja) * 1997-02-28 1998-09-11 Canon Inc 撮像方法及び撮像装置
JP2000050173A (ja) * 1998-07-24 2000-02-18 Olympus Optical Co Ltd 撮像装置および撮像プログラムを記録した記録媒体
JP2010136239A (ja) * 2008-12-08 2010-06-17 Fujifilm Corp 撮影装置および撮影装置の制御方法並びにプログラム
JP2011114823A (ja) * 2009-11-30 2011-06-09 Sanyo Electric Co Ltd 画像処理装置及び撮像装置
WO2013094212A1 (ja) * 2011-12-22 2013-06-27 パナソニック株式会社 露光制御装置、撮像装置、画像表示装置及び露光制御方法
JP2013243780A (ja) * 2013-08-27 2013-12-05 Morpho Inc 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3091731A4 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10841375B2 (en) 2013-11-01 2020-11-17 Hewlett Packard Enterprise Development Lp Protocol agnostic storage access in a software defined network topology
JP2017126304A (ja) * 2016-01-15 2017-07-20 富士ゼロックス株式会社 画像処理装置、画像処理方法、画像処理システムおよびプログラム
CN108141543A (zh) * 2016-08-17 2018-06-08 谷歌有限责任公司 基于预测环境因素的相机设置调整和采用这种相机设置调整的跟踪系统
US10506172B2 (en) 2016-08-17 2019-12-10 Google Llc Camera setting adjustment based on predicted environmental factors and tracking systems employing the same
CN108141543B (zh) * 2016-08-17 2020-09-29 谷歌有限责任公司 用于跟踪实体的系统、方法和介质
JP2018093460A (ja) * 2016-12-06 2018-06-14 ミン・ジョウ ダイナミックフォトの撮影方法及び装置
JP2020144691A (ja) * 2019-03-07 2020-09-10 株式会社Ｓｃｒｅｅｎホールディングス 代表色決定方法、検査装置、検査方法およびプログラム

Also Published As

Publication number Publication date
CN106165389B (zh) 2020-02-14
EP3091731A1 (en) 2016-11-09
JPWO2015141487A1 (ja) 2017-04-06
EP3091731A4 (en) 2017-08-30
US20170019608A1 (en) 2017-01-19
JP6624048B2 (ja) 2019-12-25
CN106165389A (zh) 2016-11-23
US10567671B2 (en) 2020-02-18

Similar Documents

Publication Publication Date Title
WO2015141487A1 (ja) 画像処理装置、画像処理方法、およびプログラム
KR101670282B1 (ko) 전경-배경 제약 조건 전파를 기초로 하는 비디오 매팅
CN102893595B (zh) 图像处理装置和方法以及程序
US10528820B2 (en) Colour look-up table for background segmentation of sport video
CN105323425A (zh) 融合图像系统中的场景运动校正
US10264230B2 (en) Kinetic object removal from camera preview image
JP2011188277A (ja) 画像処理装置、画像処理方法およびプログラム
KR20150108774A (ko) 비디오 시퀀스를 프로세싱하는 방법, 대응하는 디바이스, 컴퓨터 프로그램 및 비일시적 컴퓨터 판독가능 매체
US11610461B2 (en) Video compression stream
US9437026B2 (en) Image creating device, image creating method and recording medium
KR20190030870A (ko) 가상 크로마키 배경을 이용하여 영상을 합성하는 장치, 방법 및 컴퓨터 프로그램
US11818466B2 (en) Notifying apparatus, image capturing apparatus, notifying method, image capturing method, and storage medium
WO2002067200A1 (en) Image processing device
JP4608791B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
US20150350547A1 (en) Scene Stability Detection
JP2019047336A (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP2011172192A (ja) 画像処理装置及びプログラム
JP4150949B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP6450107B2 (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
JP6396932B2 (ja) 画像合成装置、画像合成装置の動作方法およびコンピュータプログラム
JP5566196B2 (ja) 画像処理装置及びその制御方法
JP2009296224A (ja) 撮像手段及びプログラム
JP2011151454A (ja) 画像処理装置、撮像機器及び画像処理方法
JP2012109899A (ja) 画像処理装置
JP2007048122A (ja) 画像処理装置及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15764144

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2015764144

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015764144

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2016508656

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15124411

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE