WO2019239715A1 - 撮像装置、撮像方法、及びプログラム - Google Patents

撮像装置、撮像方法、及びプログラム Download PDF

Info

Publication number
WO2019239715A1
WO2019239715A1 PCT/JP2019/016505 JP2019016505W WO2019239715A1 WO 2019239715 A1 WO2019239715 A1 WO 2019239715A1 JP 2019016505 W JP2019016505 W JP 2019016505W WO 2019239715 A1 WO2019239715 A1 WO 2019239715A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
imaging
unit
distance
region
Prior art date
Application number
PCT/JP2019/016505
Other languages
English (en)
French (fr)
Inventor
内田　亮宏
田中　康一
入江　公祐
慎也 藤原
伸一郎 藤木
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2020525299A priority Critical patent/JP6851551B2/ja
Publication of WO2019239715A1 publication Critical patent/WO2019239715A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation

Definitions

  • the present disclosure relates to an imaging apparatus, an imaging method, and a program.
  • Patent Document 1 a technique for comparing distances from a predetermined viewpoint of a subject of an electronic component image and a live-action video for each pixel and synthesizing the electronic component image and the real-action video based on the comparison result.
  • an original image having distance information related to the distance in the depth direction of the image at each of a plurality of positions on the image and a replacement image that replaces a part of the original image are acquired, and a part of the acquired original image is extracted
  • a technique for synthesizing the extracted image and the replacement image is disclosed (see Patent Document 3).
  • a technique in which a main subject is extracted from an image obtained by imaging, and the extracted main subject and a background of another image are combined.
  • a chroma key technique is known in which imaging is performed using equipment in which a background area of an image has a specific color (for example, green or blue).
  • the background area is specified from the distance information obtained at the time of imaging, and the image for synthesis with the background area unified to a specific color can be simplified. It is desirable that it can be generated.
  • the techniques described in Patent Documents 1 to 3 do not consider unifying the background area of an image with a specific color.
  • the present disclosure has been made in view of the above circumstances, and provides an imaging apparatus, an imaging method, and a program capable of easily generating an image for synthesis without limiting the imaging location. With the goal.
  • an imaging apparatus has an imaging unit that acquires an image by imaging, and a distance threshold value for separating a main subject region and a background region in the image acquired by imaging by the imaging unit.
  • An image processing unit that performs image processing for converting the background area of the image into a specific color, and a storage control unit that performs control for storing the image that has undergone image processing in the storage unit.
  • the imaging apparatus may further include a display control unit that performs control to display a live view image whose distance threshold is visually recognizable on the display unit before an instruction to start image recording is input.
  • the display control unit may perform control to further display information for setting the distance threshold on the display unit.
  • the generation unit generates a distance map for the live view image
  • the image processing unit performs image processing for converting the background region of the live view image into a specific color
  • the display control unit May control to display the live view image that has undergone image processing on the display unit.
  • the storage control unit may perform control to further store the image before the image processing is performed in the storage unit.
  • the determination unit uses the distance map generated by each of the plurality of imaging devices to use the main subject region and the background region of the image. And may be separated.
  • the determination unit has the main subject region in the distance map generated by the own device, and the main subject region whose periphery is the background region, the distance generated by another imaging device.
  • the main subject region whose periphery is the background region may be determined as the background region.
  • the determination unit uses a distance map generated by another imaging device for a background region in the distance map generated by the device itself and the background region in which the periphery of the region is the main subject region.
  • the background area whose periphery is the main subject area may be determined as the main subject area.
  • the generation unit generates a distance map for each frame image of the moving image acquired by imaging by the imaging unit, and the storage control unit stores the moving image that has undergone image processing in the storage unit. You may perform control to memorize.
  • the imaging apparatus further includes a detection unit that detects a direction and amount of movement of the own device from a change in a distance map between frames in the moving image, and the storage control unit further undergoes image processing. You may perform control which memorize
  • an imaging method of the present disclosure is an imaging method executed by an imaging device including an imaging unit that acquires an image by imaging, and includes an image in an image acquired by imaging by the imaging unit.
  • a distance threshold for separating the main subject area and the background area is set, a distance map in the image is generated from the distance information obtained when the image is captured, and an area where the distance in the distance map exceeds the distance threshold is determined. It is determined as a background region, image processing for converting the background region of the image into a specific color is performed, and control for storing the image subjected to the image processing in the storage unit is performed.
  • a program causes a computer that controls an imaging apparatus including an imaging unit to acquire an image by imaging to a main subject area in the image acquired by imaging by the imaging unit.
  • Set a distance threshold to separate the background area generate a distance map in the image from the distance information obtained when capturing the image, and determine that the distance in the distance map exceeds the distance threshold as the background area of the image.
  • image processing for converting the background area of the image into a specific color is performed, and processing for performing control for storing the image that has undergone image processing in the storage unit is executed.
  • FIG. 10 is a block diagram illustrating an example of a functional configuration of a control unit included in the imaging device according to the first to fifth embodiments.
  • the imaging apparatus 10 includes a control unit 20, an imaging unit 24, a display unit 25 such as a liquid crystal display, an input unit 26, and a communication I / F (InterFace) 27.
  • the control unit 20 includes a CPU (Central Processing Unit) 21, a memory 22 as a temporary storage area, and a nonvolatile storage unit 23 such as a flash memory.
  • the CPU 21, the memory 22, the storage unit 23, the imaging unit 24, the display unit 25, the input unit 26, and the communication I / F 27 are connected to the bus 28.
  • the control unit 20 is an example of a computer that controls the imaging apparatus 10.
  • An example of the imaging device 10 is a digital camera.
  • An imaging program 30 is stored in the storage unit 23 as a storage medium.
  • the CPU 21 reads the imaging program 30 from the storage unit 23, expands it in the memory 22, and executes the expanded imaging program 30.
  • the imaging unit 24 includes an imaging element such as a CCD (Charge Coupled Device) image sensor and an imaging lens, and acquires an image by imaging.
  • the imaging unit 24 according to the present embodiment is capable of AF control capable of measuring a distance to a peripheral part within an angle of view such as an image plane phase difference AF (AutoFocus).
  • the input unit 26 includes a dial, a release button, a cross key, a touch panel integrated with the display unit 25, and the like.
  • the communication I / F 27 is used when the imaging device 10 communicates with an external device.
  • the control unit 20 includes a setting unit 40, a display control unit 42, a generation unit 44, a determination unit 46, an image processing unit 48, and a storage control unit 50.
  • the CPU 21 executes the imaging program 30, the CPU 21 functions as a setting unit 40, a display control unit 42, a generation unit 44, a determination unit 46, an image processing unit 48, and a storage control unit 50.
  • the setting unit 40 receives a distance threshold value for separating a main subject region and a background region in an image acquired by imaging by the imaging unit 24, and sets the received distance threshold value.
  • the setting unit 40 also receives an input of an instruction to start image recording.
  • the display control unit 42 performs control to display the live view image on the display unit 25 before the setting unit 40 receives an input of an instruction to start recording an image.
  • the display control unit 42 performs control to display information for setting the distance threshold on the display unit 25 so as to be superimposed on the live view image.
  • the live view image may be referred to as a through image.
  • the generation unit 44 captures an image of each frame of the moving image acquired by imaging by the imaging unit 24 when the imaging unit 24 captures an image.
  • a distance map in the image is generated from the obtained distance information.
  • the generation unit 44 generates a distance map including distance information obtained for each AF area in the image by the image plane phase difference AF.
  • a method for generating a distance map by the image plane phase difference AF for example, a method disclosed in Japanese Patent Application Laid-Open No. 2014-52505 can be given.
  • the generation unit 44 may generate a distance map by, for example, the technique disclosed in Japanese Patent Application Laid-Open No. 2006-279546.
  • the determination unit 46 determines an area where the distance in the distance map generated by the generation unit 44 exceeds the distance threshold set by the setting unit 40 as the background area of the image. In addition, the determination unit 46 determines an area where the distance in the distance map generated by the generation unit 44 is equal to or less than the distance threshold set by the setting unit 40 as the main subject area of the image.
  • the image processing unit 48 performs image processing for converting an area determined as a background area by the determination unit 46 in an image acquired by imaging by the imaging unit 24 into a specific color (for example, green).
  • the storage control unit 50 performs control to store an image that has undergone image processing by the image processing unit 48 in the storage unit 23.
  • the imaging process shown in FIG. 3 is executed.
  • the imaging process illustrated in FIG. 3 is executed, for example, when the power switch of the imaging apparatus 10 is turned on. It is assumed that a moving image is captured at a frame rate set in advance by the imaging unit 24 while the imaging process illustrated in FIG. 3 is being performed.
  • step S ⁇ b> 10 of FIG. 3 the display control unit 42 starts control to display the live view image on the display unit 25. Specifically, the display control unit 42 displays the live view image on the display unit 25 by performing control to display an image acquired by imaging by the imaging unit 24 on the display unit 25 at a preset frame rate. Control. Further, the display control unit 42 performs control to display information for setting the distance threshold on the display unit 25 so as to be superimposed on the live view image.
  • the display control unit 42 displays a scale that can specify a distance within a predetermined range as information for setting a distance threshold, superimposed on the live view image. Control to be displayed on the unit 25 is performed. In the present embodiment, in order to make the distance threshold visible, a number representing the distance is also displayed on the scale. The user designates a distance threshold on the scale displayed on the display unit 25. In the example of FIG. 4, a case where 5 m is designated as the distance threshold is shown. Further, as shown in FIG. 4, in the present embodiment, a case where a person is a main subject and a person other than a person is used as a background will be described.
  • step S12 the setting unit 40 receives a distance threshold corresponding to the designated position on the scale displayed on the display unit 25, and sets the received distance threshold.
  • step S14 the setting unit 40 determines whether or not an input of an instruction to start image recording has been accepted. If this determination is negative, the process returns to step S12. If the determination is affirmative, the process proceeds to step S16.
  • step S16 the generation unit 44 generates a distance map in the image from the distance information obtained when the imaging unit 24 captures an image.
  • a distance map including distance information corresponding to each AF area in the image shown in FIG. 5 is generated as an example.
  • the AF area is an area having a size including a plurality of pixels.
  • step S18 the determination unit 46 determines an area where the distance in the distance map generated by the process of step S16 exceeds the distance threshold set by the process of step S12 as the background area of the image. In addition, the determination unit 46 determines an area where the distance in the distance map generated by the process of step S16 is equal to or smaller than the distance threshold set by the process of step S12 as the main subject area of the image.
  • step S ⁇ b> 20 the determination unit 46 performs image processing for detecting the contour of the boundary area with the main subject area among the areas determined as the background area in the process of step S ⁇ b> 18, thereby providing the background area in units of pixels. Is identified.
  • image processing for detecting the contour for example, a known method such as a method of obtaining a gradient by first-order differentiation of the luminance of the image can be applied.
  • step S ⁇ b> 22 the image processing unit 48 performs image processing for converting the region specified as the background region by the processing in step S ⁇ b> 20 in the image acquired by imaging by the imaging unit 24 into a specific color.
  • the storage control unit 50 performs control to store the image that has undergone the image processing in step S ⁇ b> 22 in the storage unit 23.
  • step S ⁇ b> 26 the setting unit 40 determines whether an instruction to end image recording is received via the input unit 26. If this determination is negative, the process returns to step S16. If the determination is affirmative, the imaging process ends. That is, the processing from step S16 to step S24 is executed for each frame image of the moving image acquired by the imaging unit 24 according to a preset frame rate.
  • an area where the distance in the distance map exceeds the distance threshold is determined as the background area of the image, and image processing for converting the background area of the image into a specific color is performed. Therefore, an image for synthesis can be easily generated without limiting the imaging location.
  • control unit 20 First, a functional configuration of the control unit 20 according to the present embodiment will be described with reference to FIG. Here, only functional units having functions different from those of the first embodiment will be described.
  • the generation unit 44 generates a distance map in the image from the distance information obtained when the imaging unit 24 captures the image.
  • the determination unit 46 determines an area where the distance in the distance map generated by the generation unit 44 exceeds the distance threshold set by the setting unit 40 as a background area.
  • the determination unit 46 determines that the region in which the distance in the distance map generated by the generation unit 44 is equal to or less than the distance threshold set by the setting unit 40 is the main subject region.
  • the image processing unit 48 performs image processing for converting the area determined as the background area by the determination unit 46 in the image acquired by the imaging by the imaging unit 24 into a specific color.
  • the display control unit 42 performs control to display on the display unit 25 a live view image that has undergone image processing by the image processing unit 48.
  • the imaging device 10 When the CPU 21 executes the imaging program 30, the imaging process shown in FIG. 7 is executed.
  • the imaging process illustrated in FIG. 7 is executed, for example, when the power switch of the imaging apparatus 10 is turned on. Note that while the imaging process illustrated in FIG. 7 is being performed, it is assumed that a moving image is being captured by the imaging unit 24 at a preset frame rate.
  • steps in FIG. 7 that execute the same processing as in FIG. 3 are denoted by the same step numbers and description thereof is omitted.
  • step S30 the generation unit 44 determines whether or not the setting for converting the background region into a specific color in the live view image is made. If this determination is affirmative, the process proceeds to step S32.
  • step S32 the generation unit 44 generates a distance map in the image from the distance information obtained when the imaging unit 24 captures an image, as in step S16.
  • step S34 the determination unit 46 determines, as in step S18, an area in which the distance in the distance map generated by the process of step S32 exceeds the distance threshold set by the process of step S12 as a background area. In addition, the determination unit 46 determines an area where the distance in the distance map generated by the process of step S32 is equal to or less than the distance threshold set by the process of step S12 as the main subject area.
  • step S36 as in step S20, the determination unit 46 performs image processing for detecting the outline of the boundary region with the main subject region among the regions determined as the background region by the processing in step S34.
  • the background area is specified in pixel units.
  • step S38 as in step S22, the image processing unit 48 performs image processing for converting the region specified as the background region into the specific color by the processing in step S36 in the image acquired by imaging by the imaging unit 24. .
  • step S40 the display control unit 42 performs control to display the image that has undergone the image processing in step S38 on the display unit 25 as a live view image. Further, the display control unit 42 performs control to display information for setting the distance threshold on the display unit 25 so as to be superimposed on the live view image.
  • step S30 determines whether the determination in step S30 is negative.
  • step S42 the display control unit 42 performs control to display an image acquired by imaging by the imaging unit 24 on the display unit 25 as a live view image.
  • step S42 ends, the process proceeds to step S14.
  • FIG. 8 when the user operates the input unit 26, a normal live view image in which the background area is not converted to a specific color and the background area to a specific color are displayed.
  • the live view image converted can be switched.
  • the user can visually recognize the distance threshold value before starting the image recording by checking the specific color region of the live view image in which the background region is converted into the specific color.
  • a distance threshold can be set.
  • a third embodiment of the disclosed technology will be described. Note that the hardware configuration of the imaging apparatus 10 is the same as that of the first embodiment, and thus the description thereof is omitted. In the imaging apparatus 10 according to the present embodiment, it is possible to set whether or not to record an image before the background area is converted into a specific color.
  • control unit 20 First, a functional configuration of the control unit 20 according to the present embodiment will be described with reference to FIG. Here, only functional units having functions different from those in the first embodiment and the second embodiment will be described.
  • the storage control unit 50 performs control to store an image that has undergone image processing by the image processing unit 48 in the storage unit 23. Further, the storage control unit 50 controls to store the original image before the image processing by the image processing unit 48 in the storage unit 23 when the setting is also made to record the image before the background area is converted into the specific color. I do.
  • the imaging device 10 When the CPU 21 executes the imaging program 30, the imaging process shown in FIG. 9 is executed.
  • the imaging process illustrated in FIG. 9 is executed, for example, when the power switch of the imaging apparatus 10 is turned on. Note that while the imaging process illustrated in FIG. 9 is being performed, it is assumed that a moving image is captured by the imaging unit 24 at a preset frame rate.
  • steps in FIG. 9 that execute the same processing as in FIG. 7 are denoted by the same step numbers and description thereof is omitted.
  • step S50 the storage control unit 50 determines whether or not the setting for recording the image before the background region is converted into the specific color is also made. If this determination is affirmative, the process proceeds to step S52. If the determination is negative, the process proceeds to step S16.
  • step S ⁇ b> 52 the storage control unit 50 performs control to store the image acquired by the imaging by the imaging unit 24 in the storage unit 23.
  • step S52 ends, the process proceeds to step S16. That is, the processing from step S50 to step S24 is executed for each frame image of the moving image acquired by the imaging unit 24 according to a preset frame rate.
  • FIG. 10 A fourth embodiment of the disclosed technique will be described. Note that the hardware configuration of the imaging apparatus 10 is the same as that of the first embodiment, and thus the description thereof is omitted.
  • FIG. 10 As shown in FIG. 10 as an example, a case where an image is picked up by a plurality of (two in the example of FIG. 10) imaging devices 10 will be described.
  • the two image pickup devices 10 When the two image pickup devices 10 are described separately, the description will be made by adding an alphabet at the end of the reference numerals as in the image pickup devices 10A and 10B.
  • control unit 20 First, a functional configuration of the control unit 20 according to the present embodiment will be described with reference to FIG. Here, only functional units having functions different from those in the first to third embodiments will be described.
  • the determination unit 46 separates the main subject region and the background region of the image acquired by the imaging by the imaging unit 24 of the own device using the distance map generated by each imaging device 10 including the own device.
  • an image acquired by imaging by the imaging unit 24 of the own device is referred to as a “first image”
  • a distance map generated by the generation unit 44 of the own device is referred to as a “first distance map”.
  • an image acquired by imaging by the imaging unit 24 of another imaging apparatus 10 is referred to as a “second image”
  • a distance map generated by the generation unit 44 of the other imaging apparatus 10 is referred to as “second distance”. It is called “Map”.
  • the determination unit 46 performs pattern matching using the first image and the second image, and associates the AF areas of the imaging devices 10.
  • FIG. 11 as an example, corresponding regions of the distance map generated by each imaging device 10 are associated.
  • the shaded area in FIG. 11 represents a main subject area, that is, an area whose distance corresponding to that area in the distance map is equal to or smaller than the distance threshold.
  • a region not shaded with diagonal lines in FIG. 11 represents a background region, that is, a region where the distance corresponding to that region in the distance map exceeds the distance threshold.
  • Each region is considered to be a determination error.
  • the determination unit 46 performs the determination as described below after determining the region by comparing the first distance map and the distance threshold as in the first embodiment. The judgment result is corrected.
  • the determination unit 46 corresponds to the main subject area A in the second distance map that is the main subject area in the first distance map to which the association has been performed and the periphery of the area is the background area. Is a background area, the main subject area A is determined to be a background area. Further, in this case, the determination unit 46 determines the corresponding region in the second distance map for the background region B that is the background region in the first distance map to which the association is performed and the periphery of the region is the main subject region. If it is the main subject area, the background area B is determined to be the main subject area.
  • the imaging process shown in FIG. 12 is executed.
  • the imaging process illustrated in FIG. 12 is executed, for example, when the power switch of the imaging apparatus 10 is turned on. It is assumed that a moving image is being captured at a frame rate set in advance by the imaging unit 24 while the imaging process illustrated in FIG. 12 is being performed.
  • steps in FIG. 12 that execute the same processing as in FIG. 9 are assigned the same step numbers and description thereof is omitted.
  • this embodiment demonstrates the case where the imaging process shown in FIG. 12 is performed by each imaging device 10, it is not limited to this.
  • one main imaging device 10 among the plurality of imaging devices 10 may be determined, and the imaging processing illustrated in FIG. 12 may be performed by one main imaging device 10.
  • the imaging apparatus 10 other than the main imaging apparatus 10 may be configured to execute the processes from step S10 to step S18 in the imaging process illustrated in FIG.
  • step S ⁇ b> 60 the determination unit 46 determines whether or not each region of the second image, the second distance map, and the second distance map is a main subject region or a background region from another imaging device 10. And acquired via the communication I / F 27.
  • the determination unit 46 of the imaging device 10A executes the process of step S60
  • the determination unit 46 of the imaging device 10A acquires the second image acquired by imaging by the imaging unit 24 of the imaging device 10B.
  • the determination unit 46 of the imaging device 10A acquires the second distance map generated by the imaging device 10B executing the process of step S16.
  • the determination unit 46 of the imaging device 10A acquires the determination result generated by the imaging device 10B executing the process of step S18.
  • step S62 the determination unit 46 performs pattern matching using the first image acquired by imaging by the imaging unit 24 of the own device and the second image acquired by the process of step S60.
  • the AF area is associated.
  • step S64 the determination unit 46 corrects the determination result by the process of step S18 using the second distance map and the determination result acquired by the process of step S60. Specifically, the determination unit 46 determines the second distance with respect to the main subject area A that is the main subject area in the first distance map that has been associated by the process of step S62 and whose periphery is the background area. If the corresponding area in the map is the background area, the main subject area A is determined to be the background area. In addition, the determination unit 46 determines the background region B, which is the background region in the first distance map to which the association has been performed and the periphery of the region is the main subject region, and the corresponding region in the second distance map is the main subject region. Is determined to be the main subject area.
  • step S64 When the process of step S64 ends, the process proceeds to step S20.
  • the process after step S20 is performed using the determination result after correction by the process of step S64.
  • the determination accuracy of the background region can be improved. it can.
  • the control unit 20 includes a setting unit 40, a display control unit 42, a generation unit 44, a determination unit 46, an image processing unit 48, a storage control unit 50, and a detection unit 52.
  • the CPU 21 executes the imaging program 30, the CPU 21 functions as a setting unit 40, a display control unit 42, a generation unit 44, a determination unit 46, an image processing unit 48, a storage control unit 50, and a detection unit 52.
  • the detection unit 52 detects the direction and amount of movement of the own device from the change in the distance map between frames in the moving image acquired by the imaging by the imaging unit 24.
  • the storage control unit 50 controls the storage unit 23 to store the moving direction and the moving amount of the device detected by the detection unit 52 in association with the moving image that has undergone the image processing by the image processing unit 48.
  • the imaging apparatus 10 executes the imaging program 30, the imaging process shown in FIG. 14 is executed.
  • the imaging process illustrated in FIG. 14 is executed, for example, when the power switch of the imaging apparatus 10 is turned on. It is assumed that a moving image is being captured at a frame rate set in advance by the imaging unit 24 while the imaging process illustrated in FIG. 14 is being performed. Further, steps in FIG. 14 that execute the same processing as in FIG. 9 are denoted by the same step numbers and description thereof is omitted.
  • step S70 the process proceeds to step S70.
  • step S ⁇ b> 70 the detection unit 52 moves its own device from the change between the distance map corresponding to the image of the previous frame acquired by the imaging by the imaging unit 24 and the distance map corresponding to the image of the current frame. Detect direction and amount moved.
  • step S70 ends, the processes of step S20 and step S22 are performed, and the process proceeds to step S24A.
  • step S24A the storage control unit 50 stores the image that has undergone the image processing of step S22 and the direction and amount of movement of the device detected by the processing of step S70 in association with the image. The control stored in 23 is performed.
  • the direction and amount of movement of the imaging device 10 are stored in association with the moving image. Therefore, by composing an image in accordance with the direction and amount of movement of the imaging apparatus 10, it is possible to reduce the time and effort required for the composition.
  • a color that is not used in the main subject area may be selected as the specific color.
  • the background area when the live view image is displayed on the display unit 25, the background area may be displayed in a blinking manner instead of converting the background area into a specific color. May be displayed in a striped pattern.
  • the said 5th Embodiment demonstrated the case where the direction and the amount which moved the imaging device 10 were detected from the change of the distance map between the frames in a moving image, it is not limited to this.
  • the moving direction and the moving amount of the imaging apparatus 10 may be detected from the change in luminance distribution or color distribution of the background region between frames in the moving image.
  • the setting unit 40 may derive a distance threshold value from an image acquired by imaging by the imaging unit 24 and set the derived distance threshold value.
  • the setting unit 40 creates a distance histogram based on the distance map data, and derives the distance threshold based on the histogram shape.
  • the setting unit 40 derives a distance value that divides a mountain of a distance histogram into two as a distance threshold value.
  • the display control unit 42 may not perform control for superimposing information for the user to set the distance threshold on the live view image and displaying the information on the display unit 25.
  • various processors other than the CPU may execute various processes executed by the CPU executing software (programs) in the above embodiments.
  • a processor in this case, in order to execute specific processing such as PLD (Programmable Logic Device) and ASIC (Application Specific Integrated Circuit) whose circuit configuration can be changed after manufacturing FPGA (Field-Programmable Gate Array) or the like.
  • a dedicated electric circuit which is a processor having a circuit configuration designed exclusively, is exemplified.
  • the above-described various processes may be executed by one of these various processors, or a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs and CPUs and FPGAs). Etc.).
  • the hardware structure of these various processors is more specifically an electric circuit in which circuit elements such as semiconductor elements are combined.
  • the imaging program 30 may be provided in a form recorded on a recording medium such as a CD-ROM (Compact Disk Read Only Memory), a DVD-ROM (Digital Versatile Disk Read Only Memory), and a USB (Universal Serial Bus) memory. Good.
  • the imaging program 30 may be downloaded from an external device via a network.
  • An imaging device for acquiring an image by imaging A processor; With The processor is Setting a distance threshold for separating a main subject region and a background region in an image acquired by imaging by the imaging device; Generate a distance map in the image from the distance information obtained when capturing the image, Determining an area where the distance in the distance map exceeds the distance threshold as a background area of the image; Performing image processing to convert the background region of the image into a specific color; An imaging apparatus that stores an image that has undergone the image processing.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

撮像場所が限定されることなく、簡易に合成用の画像を生成することができる撮像装置、撮像方法、及びプログラムを得る。撮像装置の制御部（２０）は、撮像部による撮像により取得された画像内の主要被写体領域と背景領域とを切り分けるための距離閾値を設定する設定部（４０）と、画像を撮像する際に得られる距離情報から画像内の距離マップを生成する生成部（４４）と、距離マップにおける距離が距離閾値を超える領域を画像の背景領域と判定する判定部（４６）と、画像の背景領域を特定の色に変換する画像処理を行う画像処理部（４８）と、画像処理を経た画像を記憶部に記憶する制御を行う記憶制御部（５０）と、を備える。

Description

撮像装置、撮像方法、及びプログラム

　本開示は、撮像装置、撮像方法、及びプログラムに関する。

　従来、電子部品画像及び実写映像の被写体の所定の視点からの距離同士を画素毎に比較し、比較結果に基づいて電子部品画像と実写映像とを合成する技術が開示されている（特許文献１参照）。

　また、所定の被写体が撮像されている動画像から被写体が映されている領域を含むように生成された被写体動画像に対して、被写体毎に個別に、被写体動画像に対して行われた操作内容に応じた画像処理を行う技術が開示されている（特許文献２参照）。この技術では、画像処理が施された被写体動画像と、他の動画像とを合成する。

　また、画像上の複数の位置それぞれに画像の奥行き方向の距離に係る距離情報を有する原画像と、原画像の一部と入れ替わる入替用画像とを取得し、取得した原画像の一部を抽出した抽出画像と、入替用画像とを合成する技術が開示されている（特許文献３参照）。

特開平５－２４４６３０号公報 再公表特許第２０１６／１５２６３３号 特開２０１２－２５２６４８号公報

　ところで、撮像により得られた画像から主要被写体を抽出し、抽出した主要被写体と別の画像の背景とを合成する技術が知られている。この技術として、例えば、画像の背景領域が特定の色（例えば、緑又は青等）となる設備を用いて撮像を行うクロマキー技術が知られている。

　クロマキー技術では、画像の背景領域を特定の色に統一するために、背景領域が特定の色となる設備が用いられる結果、屋内のスタジオ等において撮像を行う必要がある等、撮像場所が限定されてしまう。一方、屋外において画像を撮像した場合は、撮像により得られた画像の背景領域をユーザが手作業により指定する等、手間がかかってしまい、簡易に合成用の画像を生成することができない。

　一般的に行われている画像の合成の手間を低減するために、撮像の際に得られる距離情報から背景領域を特定し、背景領域が特定の色に統一された合成用の画像を簡易に生成できることが望ましい。しかしながら、特許文献１～３に記載の技術では、画像の背景領域を特定の色に統一することについては考慮されていない。

　本開示は、以上の事情を鑑みて成されたものであり、撮像場所が限定されることなく、簡易に合成用の画像を生成することができる撮像装置、撮像方法、及びプログラムを提供することを目的とする。

　上記目的を達成するために、本開示の撮像装置は、撮像により画像を取得する撮像部と、撮像部による撮像により取得された画像内の主要被写体領域と背景領域とを切り分けるための距離閾値を設定する設定部と、画像を撮像する際に得られる距離情報から画像内の距離マップを生成する生成部と、距離マップにおける距離が距離閾値を超える領域を画像の背景領域と判定する判定部と、画像の背景領域を特定の色に変換する画像処理を行う画像処理部と、画像処理を経た画像を記憶部に記憶する制御を行う記憶制御部と、を備えている。

　なお、本開示の撮像装置は、画像の記録開始の指示が入力される前に距離閾値が視認可能なライブビュー画像を表示部に表示する制御を行う表示制御部を更に備えてもよい。

　また、本開示の撮像装置は、表示制御部が、距離閾値を設定するための情報を表示部に更に表示する制御を行ってもよい。

　また、本開示の撮像装置は、生成部が、ライブビュー画像について、距離マップを生成し、画像処理部は、ライブビュー画像の背景領域を特定の色に変換する画像処理を行い、表示制御部は、画像処理を経たライブビュー画像を表示部に表示する制御を行ってもよい。

　また、本開示の撮像装置は、記憶制御部が、画像処理が行われる前の画像を記憶部に更に記憶する制御を行ってもよい。

　また、本開示の撮像装置は、自装置を含む複数の撮像装置により撮像を行う場合、判定部が、複数の撮像装置の各々により生成された距離マップを用いて画像の主要被写体領域と背景領域とを切り分けてもよい。

　また、本開示の撮像装置は、判定部が、自装置が生成した距離マップにおける主要被写体領域であって当該領域の周辺が背景領域である主要被写体領域について、他の撮像装置により生成された距離マップにおける対応する領域が背景領域である場合、周辺が背景領域である主要被写体領域を背景領域と判定してもよい。

　また、本開示の撮像装置は、判定部が、自装置が生成した距離マップにおける背景領域であって当該領域の周辺が主要被写体領域である背景領域について、他の撮像装置により生成された距離マップにおける対応する領域が主要被写体領域である場合、周辺が主要被写体領域である背景領域を主要被写体領域と判定してもよい。

　また、本開示の撮像装置は、生成部が、撮像部による撮像により取得された動画像の各フレームの画像について距離マップを生成し、記憶制御部が、画像処理を経た動画像を記憶部に記憶する制御を行ってもよい。

　また、本開示の撮像装置は、動画像におけるフレーム間の距離マップの変化から自装置が動いた方向及び動いた量を検出する検出部を更に備え、記憶制御部が、更に、画像処理を経た動画像に対応付けて自装置が動いた方向及び動いた量を記憶部に記憶する制御を行ってもよい。

　一方、上記目的を達成するために、本開示の撮像方法は、撮像により画像を取得する撮像部を備えた撮像装置が実行する撮像方法であって、撮像部による撮像により取得された画像内の主要被写体領域と背景領域とを切り分けるための距離閾値を設定し、画像を撮像する際に得られる距離情報から画像内の距離マップを生成し、距離マップにおける距離が距離閾値を超える領域を画像の背景領域と判定し、画像の背景領域を特定の色に変換する画像処理を行い、画像処理を経た画像を記憶部に記憶する制御を行う。

　また、上記目的を達成するために、本開示のプログラムは、撮像により画像を取得する撮像部を備えた撮像装置を制御するコンピュータに、撮像部による撮像により取得された画像内の主要被写体領域と背景領域とを切り分けるための距離閾値を設定し、画像を撮像する際に得られる距離情報から画像内の距離マップを生成し、距離マップにおける距離が距離閾値を超える領域を画像の背景領域と判定し、画像の背景領域を特定の色に変換する画像処理を行い、画像処理を経た画像を記憶部に記憶する制御を行う処理を実行させる。

　本開示によれば、撮像場所が限定されることなく、簡易に合成用の画像を生成することができる。

各実施形態に係る撮像装置のハードウェア構成の一例を示すブロック図である。 第１実施形態～第５実施形態に係る撮像装置が備える制御部の機能的な構成の一例を示すブロック図である。 第１実施形態に係る撮像処理の一例を示すフローチャートである。 各実施形態に係るライブビュー画像の一例を示す図である。 各実施形態に係るＡＦエリアを説明するための図である。 各実施形態に係る背景領域が特定の色に変換された画像の一例を示す図である。 第２実施形態に係る撮像処理の一例を示すフローチャートである。 第２実施形態に係る背景領域が特定の色に変換されたライブビュー画像の一例を示す図である。 第３実施形態に係る撮像処理の一例を示すフローチャートである。 第４実施形態に係る複数の撮像装置の一例を示す概略平面図である。 第４実施形態に複数の撮像装置の各々による領域の判定結果の一例を示す図である。 第４実施形態に係る撮像処理の一例を示すフローチャートである。 第５実施形態に係る撮像装置が備える制御部の機能的な構成の一例を示すブロック図である。 第５実施形態に係る撮像処理の一例を示すフローチャートである。

　以下、図面を参照して、本開示の技術を実施するための形態例を詳細に説明する。

　［第１実施形態］

　まず、図１を参照して、本実施形態に係る撮像装置１０の構成を説明する。図１に示すように、撮像装置１０は、制御部２０、撮像部２４、液晶ディスプレイ等の表示部２５、入力部２６、及び通信Ｉ／Ｆ（InterFace）２７を備えている。また、制御部２０は、ＣＰＵ（Central Processing Unit）２１、一時記憶領域としてのメモリ２２、及びフラッシュメモリ等の不揮発性の記憶部２３を備えている。ＣＰＵ２１、メモリ２２、記憶部２３、撮像部２４、表示部２５、入力部２６、及び通信Ｉ／Ｆ２７は、バス２８に接続される。制御部２０が、撮像装置１０を制御するコンピュータの一例である。撮像装置１０の例としては、デジタルカメラが挙げられる。

　記憶媒体としての記憶部２３には、撮像プログラム３０が記憶される。ＣＰＵ２１は、記憶部２３から撮像プログラム３０を読み出してからメモリ２２に展開し、展開した撮像プログラム３０を実行する。

　撮像部２４は、ＣＣＤ（Charge Coupled Device）イメージセンサ等の撮像素子及び撮像レンズを含み、撮像により画像を取得する。また、本実施形態に係る撮像部２４は、像面位相差ＡＦ（AutoFocus）等の画角内の周縁部まで測距可能なＡＦ制御が可能とされている。入力部２６は、ダイヤル、レリーズボタン、十字キー、及び表示部２５と一体化されたタッチパネル等を含む。通信Ｉ／Ｆ２７は、撮像装置１０が外部装置と通信を行う場合に用いられる。

　次に、図２を参照して、本実施形態に係る制御部２０の機能的な構成について説明する。図２に示すように、制御部２０は、設定部４０、表示制御部４２、生成部４４、判定部４６、画像処理部４８、及び記憶制御部５０を含む。ＣＰＵ２１が撮像プログラム３０を実行することにより、設定部４０、表示制御部４２、生成部４４、判定部４６、画像処理部４８、及び記憶制御部５０として機能する。

　設定部４０は、撮像部２４による撮像により取得された画像内の主要被写体領域と背景領域とを切り分けるための距離閾値を受け付け、受け付けた距離閾値を設定する。また、設定部４０は、画像の記録開始の指示の入力を受け付ける。表示制御部４２は、設定部４０により画像の記録開始の指示の入力が受け付けられる前に、ライブビュー画像を表示部２５に表示する制御を行う。本実施形態では、表示制御部４２は、距離閾値を設定するための情報を、ライブビュー画像に重畳させて表示部２５に表示する制御を行う。ライブビュー画像は、スルー画像と称されることもある。

　生成部４４は、設定部４０により画像の記録開始の指示の入力が受け付けられると、撮像部２４による撮像により取得された動画像の各フレームの画像について、撮像部２４が画像を撮像する際に得られた距離情報から画像内の距離マップを生成する。本実施形態では、生成部４４は、像面位相差ＡＦにより画像内の各ＡＦエリアについて得られた距離情報を含む距離マップを生成する。像面位相差ＡＦにより距離マップを生成する手法としては、例えば、特開２０１４－５２５０５号公報の手法が挙げられる。なお、生成部４４は、例えば、特開２００６－２７９５４６号公報の手法により距離マップを生成してもよい。

　判定部４６は、生成部４４により生成された距離マップにおける距離が、設定部４０により設定された距離閾値を超える領域を画像の背景領域と判定する。また、判定部４６は、生成部４４により生成された距離マップにおける距離が、設定部４０により設定された距離閾値以下の領域を画像の主要被写体領域と判定する。

　画像処理部４８は、撮像部２４による撮像により取得された画像における判定部４６により背景領域と判定された領域を特定の色（例えば、緑色等）に変換する画像処理を行う。記憶制御部５０は、画像処理部４８による画像処理を経た画像を記憶部２３に記憶する制御を行う。

　次に、図３を参照して、本実施形態に係る撮像装置１０の作用を説明する。ＣＰＵ２１が撮像プログラム３０を実行することによって、図３に示す撮像処理が実行される。図３に示す撮像処理は、例えば、撮像装置１０の電源スイッチがオン状態とされた場合に実行される。なお、図３に示す撮像処理が実行されている間は、撮像部２４により予め設定されたフレームレートで動画像が撮像されているものとする。

　図３のステップＳ１０で、表示制御部４２は、ライブビュー画像を表示部２５に表示する制御を開始する。具体的には、表示制御部４２は、予め設定されたフレームレートで撮像部２４による撮像により取得された画像を表示部２５に表示する制御を行うことによって、ライブビュー画像を表示部２５に表示する制御を行う。更に、表示制御部４２は、距離閾値を設定するための情報を、ライブビュー画像に重畳させて表示部２５に表示する制御を行う。

　本実施形態では、一例として図４に示すように、表示制御部４２は、距離閾値を設定するための情報として、所定の範囲の距離を指定可能な目盛りを、ライブビュー画像に重畳させて表示部２５に表示する制御を行う。また、本実施形態では、距離閾値を視認可能にするために、距離を表す数字も目盛りに表示される。ユーザは、表示部２５に表示された目盛り上で距離閾値を指定する。なお、図４の例では、距離閾値として５ｍが指定された場合を示している。また、図４に示すように、本実施形態では、人を主要被写体とし、人以外を背景とする場合について説明する。

　ステップＳ１２で、設定部４０は、表示部２５に表示された目盛り上の指定された位置に対応する距離閾値を受け付け、受け付けた距離閾値を設定する。ステップＳ１４で、設定部４０は、画像の記録開始の指示の入力が受け付けられたか否かを判定する。この判定が否定判定となった場合は、処理はステップＳ１２に戻り、肯定判定となった場合は、処理はステップＳ１６に移行する。

　ステップＳ１６で、生成部４４は、前述したように、撮像部２４が画像を撮像する際に得られた距離情報から画像内の距離マップを生成する。本ステップＳ１６の処理により、一例として図５に示される画像内の各ＡＦエリアに対応する距離情報を含む距離マップが生成される。本実施形態では、ＡＦエリアは複数の画素を含むサイズの領域とされている。

　ステップＳ１８で、判定部４６は、ステップＳ１６の処理により生成された距離マップにおける距離が、ステップＳ１２の処理により設定された距離閾値を超える領域を画像の背景領域と判定する。また、判定部４６は、ステップＳ１６の処理により生成された距離マップにおける距離が、ステップＳ１２の処理により設定された距離閾値以下の領域を画像の主要被写体領域と判定する。

　ステップＳ２０で、判定部４６は、ステップＳ１８の処理により背景領域と判定された領域のうち、主要被写体領域との境界の領域について、輪郭を検出する画像処理を行うことによって、画素単位で背景領域を特定する。なお、この輪郭を検出する画像処理としては、例えば、画像の輝度を１次微分することによって勾配を求める手法等の公知の手法を適用することができる。

　ステップＳ２２で、画像処理部４８は、撮像部２４による撮像により取得された画像におけるステップＳ２０の処理により背景領域と特定された領域を特定の色に変換する画像処理を行う。本ステップＳ２２の処理により、一例として図６に示すように、人以外の領域が背景領域として特定の色に変換される。ステップＳ２４で、記憶制御部５０は、ステップＳ２２の処理による画像処理を経た画像を記憶部２３に記憶する制御を行う。

　ステップＳ２６で、設定部４０は、入力部２６を介して画像の記録を終了する指示が受け付けられたか否かを判定する。この判定が否定判定となった場合は、処理はステップＳ１６に戻り、肯定判定となった場合は、撮像処理が終了する。すなわち、ステップＳ１６からステップＳ２４までの処理が、予め設定されたフレームレートに従って、撮像部２４による撮像により取得された動画像の各フレームの画像について実行される。

　以上説明したように、本実施形態によれば、距離マップにおける距離が距離閾値を超える領域を画像の背景領域と判定し、画像の背景領域を特定の色に変換する画像処理を行っている。従って、撮像場所が限定されることなく、簡易に合成用の画像を生成することができる。

　［第２実施形態］

　開示の技術の第２実施形態を説明する。なお、撮像装置１０のハードウェア構成は、第１実施形態と同様であるため、説明を省略する。また、本実施形態に係る撮像装置１０では、ライブビュー画像において背景領域を特定の色に変換するか否かを設定することが可能とされている。

　まず、図２を参照して、本実施形態に係る制御部２０の機能的な構成について説明する。なお、ここでは、第１実施形態と異なる機能を有する機能部についてのみ説明する。

　生成部４４は、ライブビュー画像についても同様に、撮像部２４が画像を撮像する際に得られた距離情報から画像内の距離マップを生成する。判定部４６は、ライブビュー画像についても同様に、生成部４４により生成された距離マップにおける距離が、設定部４０により設定された距離閾値を超える領域を背景領域と判定する。また、判定部４６は、ライブビュー画像についても同様に、生成部４４により生成された距離マップにおける距離が、設定部４０により設定された距離閾値以下の領域を主要被写体領域と判定する。

　画像処理部４８は、ライブビュー画像についても同様に、撮像部２４による撮像により取得された画像における判定部４６により背景領域と判定された領域を特定の色に変換する画像処理を行う。表示制御部４２は、画像処理部４８による画像処理を経たライブビュー画像を表示部２５に表示する制御を行う。

　次に、図７を参照して、本実施形態に係る撮像装置１０の作用を説明する。ＣＰＵ２１が撮像プログラム３０を実行することによって、図７に示す撮像処理が実行される。図７に示す撮像処理は、例えば、撮像装置１０の電源スイッチがオン状態とされた場合に実行される。なお、図７に示す撮像処理が実行されている間は、撮像部２４により予め設定されたフレームレートで動画像が撮像されているものとする。また、図７における図３と同一の処理を実行するステップについては、同一のステップ番号を付して説明を省略する。

　図７のステップＳ１２の処理が終了すると、処理はステップＳ３０に移行する。ステップＳ３０で、生成部４４は、ライブビュー画像において背景領域を特定の色に変換する設定がされているか否かを判定する。この判定が肯定判定となった場合は、処理はステップＳ３２に移行する。ステップＳ３２で、生成部４４は、ステップＳ１６と同様に、撮像部２４が画像を撮像する際に得られた距離情報から画像内の距離マップを生成する。

　ステップＳ３４で、判定部４６は、ステップＳ１８と同様に、ステップＳ３２の処理により生成された距離マップにおける距離が、ステップＳ１２の処理により設定された距離閾値を超える領域を背景領域と判定する。また、判定部４６は、ステップＳ３２の処理により生成された距離マップにおける距離が、ステップＳ１２の処理により設定された距離閾値以下の領域を主要被写体領域と判定する。

　ステップＳ３６で、判定部４６は、ステップＳ２０と同様に、ステップＳ３４の処理により背景領域と判定された領域のうち、主要被写体領域との境界の領域について、輪郭を検出する画像処理を行うことによって、画素単位で背景領域を特定する。

　ステップＳ３８で、画像処理部４８は、ステップＳ２２と同様に、撮像部２４による撮像により取得された画像におけるステップＳ３６の処理により背景領域と特定された領域を特定の色に変換する画像処理を行う。ステップＳ４０で、表示制御部４２は、ステップＳ３８による画像処理を経た画像を、ライブビュー画像として表示部２５に表示する制御を行う。更に、表示制御部４２は、距離閾値を設定するための情報を、ライブビュー画像に重畳させて表示部２５に表示する制御を行う。ステップＳ４０の処理が終了すると、処理はステップＳ１４に移行する。

　一方、ステップＳ３０の判定が否定判定となった場合、処理はステップＳ４２に移行する。ステップＳ４２で、表示制御部４２は、撮像部２４による撮像により取得された画像を、ライブビュー画像として表示部２５に表示する制御を行う。ステップＳ４２の処理が終了すると、処理はステップＳ１４に移行する。

　以上の処理により、一例として図８に示すように、ユーザが入力部２６を操作することにより、背景領域が特定の色に変換されていない通常のライブビュー画像と、背景領域が特定の色に変換されたライブビュー画像とを切り替えることができる。

　また、ユーザは、背景領域が特定の色に変換されたライブビュー画像の特定の色の領域を確認することによって、画像の記録を開始する前に距離閾値を視認することができる結果、適切な距離閾値を設定することができる。

　［第３実施形態］

　開示の技術の第３実施形態を説明する。なお、撮像装置１０のハードウェア構成は、第１実施形態と同様であるため、説明を省略する。また、本実施形態に係る撮像装置１０では、背景領域を特定の色に変換する前の画像も記録するか否かを設定することが可能とされている。

　まず、図２を参照して、本実施形態に係る制御部２０の機能的な構成について説明する。なお、ここでは、第１実施形態及び第２実施形態と異なる機能を有する機能部についてのみ説明する。

　記憶制御部５０は、画像処理部４８による画像処理を経た画像を記憶部２３に記憶する制御を行う。更に、記憶制御部５０は、背景領域を特定の色に変換する前の画像も記録する設定がされている場合、画像処理部４８による画像処理前のオリジナルの画像も記憶部２３に記憶する制御を行う。

　次に、図９を参照して、本実施形態に係る撮像装置１０の作用を説明する。ＣＰＵ２１が撮像プログラム３０を実行することによって、図９に示す撮像処理が実行される。図９に示す撮像処理は、例えば、撮像装置１０の電源スイッチがオン状態とされた場合に実行される。なお、図９に示す撮像処理が実行されている間は、撮像部２４により予め設定されたフレームレートで動画像が撮像されているものとする。また、図９における図７と同一の処理を実行するステップについては、同一のステップ番号を付して説明を省略する。

　図９のステップＳ１４の判定が肯定判定となった場合、処理はステップＳ５０に移行する。ステップＳ５０で、記憶制御部５０は、背景領域を特定の色に変換する前の画像も記録する設定がされているか否かを判定する。この判定が肯定判定となった場合は、処理はステップＳ５２に移行し、否定判定となった場合は、処理はステップＳ１６に移行する。

　ステップＳ５２で、記憶制御部５０は、撮像部２４による撮像により取得された画像を記憶部２３に記憶する制御を行う。ステップＳ５２の処理が終了すると、処理はステップＳ１６に移行する。すなわち、ステップＳ５０からステップＳ２４までの処理が、予め設定されたフレームレートに従って、撮像部２４による撮像により取得された動画像の各フレームの画像について実行される。

　以上説明したように、本実施形態によれば、特定の色に変換された背景領域が実際の背景領域と異なる場合でも、オリジナルの画像を用いることによって動画全体が使用できなくなってしまうことを防止することができる。

　［第４実施形態］

　開示の技術の第４実施形態を説明する。なお、撮像装置１０のハードウェア構成は、第１実施形態と同様であるため、説明を省略する。本実施形態では、一例として図１０に示すように、複数台（図１０の例では２台）の撮像装置１０により画像を撮像する場合について説明する。なお、２台の撮像装置１０を区別して説明する場合は、撮像装置１０Ａ、及び１０Ｂのように、符号の末尾にアルファベットを付して説明する。

　まず、図２を参照して、本実施形態に係る制御部２０の機能的な構成について説明する。なお、ここでは、第１実施形態～第３実施形態と異なる機能を有する機能部についてのみ説明する。

　判定部４６は、自装置を含む各撮像装置１０により生成された距離マップを用いて、自装置の撮像部２４による撮像により取得された画像の主要被写体領域と背景領域とを切り分ける。なお、以下では、自装置の撮像部２４による撮像により取得された画像を「第１画像」といい、自装置の生成部４４により生成された距離マップを「第１距離マップ」という。また、以下では、他の撮像装置１０の撮像部２４による撮像により取得された画像を「第２画像」といい、他の撮像装置１０の生成部４４により生成された距離マップを「第２距離マップ」という。

　具体的には、判定部４６は、第１画像及び第２画像を用いてパターンマッチングを行い、各撮像装置１０のＡＦエリアの対応付けを行う。この対応付けにより、一例として図１１に示すように、各撮像装置１０により生成された距離マップの対応する領域が対応付けられる。なお、図１１における斜線で網掛けされた領域は主要被写体領域、すなわち、距離マップのその領域に対応する距離が距離閾値以下の領域を表す。また、図１１における斜線で網掛けされていない領域は背景領域、すなわち、距離マップのその領域に対応する距離が距離閾値を超える領域を表す。

　図１１に示すように、距離マップにおける主要被写体領域であって当該領域の周辺が背景領域である主要被写体領域Ａ、及び背景領域であって当該領域の周辺が主要被写体領域である背景領域Ｂの各領域は、判定誤りであると考えられる。

　そこで、本実施形態では、判定部４６は、第１実施形態と同様に第１距離マップと距離閾値との比較による領域の判定を行った後、更に、以下に示すように判定を行うことによって判定結果を補正する。すなわち、この場合、判定部４６は、対応付けが行われた第１距離マップにおける主要被写体領域であって当該領域の周辺が背景領域である主要被写体領域Ａについて、第２距離マップにおける対応する領域が背景領域である場合、その主要被写体領域Ａを背景領域であると判定する。また、この場合、判定部４６は、対応付けが行われた第１距離マップにおける背景領域であって当該領域の周辺が主要被写体領域である背景領域Ｂについて、第２距離マップにおける対応する領域が主要被写体領域である場合、その背景領域Ｂを主要被写体領域であると判定する。

　次に、図１２を参照して、本実施形態に係る撮像装置１０の作用を説明する。ＣＰＵ２１が撮像プログラム３０を実行することによって、図１２に示す撮像処理が実行される。図１２に示す撮像処理は、例えば、撮像装置１０の電源スイッチがオン状態とされた場合に実行される。なお、図１２に示す撮像処理が実行されている間は、撮像部２４により予め設定されたフレームレートで動画像が撮像されているものとする。また、図１２における図９と同一の処理を実行するステップについては、同一のステップ番号を付して説明を省略する。

　また、本実施形態では、図１２に示す撮像処理が各撮像装置１０によって実行される場合について説明するが、これに限定されない。例えば、複数の撮像装置１０のうち、主となる１台の撮像装置１０を決めて、主となる１台の撮像装置１０によって図１２に示す撮像処理が実行される形態としてもよい。この場合、主となる１台の撮像装置１０以外の撮像装置１０は、図１２に示す撮像処理におけるステップＳ１０からステップＳ１８までの処理を実行する形態が例示される。

　図１２のステップＳ１８の処理が終了すると、処理はステップＳ６０に移行する。ステップＳ６０で、判定部４６は、他の撮像装置１０から、第２画像、第２距離マップ、及び第２距離マップの各領域が主要被写体領域であるか又は背景領域であるかの判定結果を、通信Ｉ／Ｆ２７を介して取得する。例えば、本ステップＳ６０の処理を撮像装置１０Ａの判定部４６が実行する場合、撮像装置１０Ａの判定部４６は、撮像装置１０Ｂの撮像部２４による撮像により取得された第２画像を取得する。また、この場合、撮像装置１０Ａの判定部４６は、撮像装置１０ＢがステップＳ１６の処理を実行することによって生成された第２距離マップを取得する。また、この場合、撮像装置１０Ａの判定部４６は、撮像装置１０ＢがステップＳ１８の処理を実行することによって生成された判定結果を取得する。

　ステップＳ６２で、判定部４６は、自装置の撮像部２４による撮像により取得された第１画像、及びステップＳ６０の処理により取得された第２画像を用いてパターンマッチングを行い、各撮像装置１０のＡＦエリアの対応付けを行う。

　ステップＳ６４で、判定部４６は、前述したように、ステップＳ６０の処理により取得された第２距離マップ及び判定結果を用いて、ステップＳ１８の処理による判定結果を補正する。具体的には、判定部４６は、ステップＳ６２の処理により対応付けが行われた第１距離マップにおける主要被写体領域であって当該領域の周辺が背景領域である主要被写体領域Ａについて、第２距離マップにおける対応する領域が背景領域である場合、その主要被写体領域Ａを背景領域であると判定する。また、判定部４６は、対応付けが行われた第１距離マップにおける背景領域であって当該領域の周辺が主要被写体領域である背景領域Ｂについて、第２距離マップにおける対応する領域が主要被写体領域である場合、その背景領域Ｂを主要被写体領域であると判定する。

　ステップＳ６４の処理が終了すると、処理はステップＳ２０に移行する。ステップＳ２０以降の処理は、ステップＳ６４の処理による補正後の判定結果を用いて行われる。

　以上説明したように、本実施形態によれば、複数の撮像装置１０が生成した距離マップを用いて、主要被写体領域と背景領域とを切り分けているため、背景領域の判定精度を向上させることができる。

　［第５実施形態］

　開示の技術の第５実施形態を説明する。なお、撮像装置１０のハードウェア構成は、第１実施形態と同様であるため、説明を省略する。

　まず、図１３を参照して、本実施形態に係る制御部２０の機能的な構成について説明する。なお、ここでは、第１実施形態～第４実施形態と異なる機能を有する機能部についてのみ説明する。図１３に示すように、制御部２０は、設定部４０、表示制御部４２、生成部４４、判定部４６、画像処理部４８、記憶制御部５０、及び検出部５２を含む。ＣＰＵ２１が撮像プログラム３０を実行することにより、設定部４０、表示制御部４２、生成部４４、判定部４６、画像処理部４８、記憶制御部５０、及び検出部５２として機能する。

　検出部５２は、撮像部２４による撮像により取得された動画像におけるフレーム間の距離マップの変化から自装置が動いた方向及び動いた量を検出する。記憶制御部５０は、画像処理部４８による画像処理を経た動画像に対応付けて、検出部５２により検出された自装置が動いた方向及び動いた量を記憶部２３に記憶する制御を行う。

　次に、図１４を参照して、本実施形態に係る撮像装置１０の作用を説明する。ＣＰＵ２１が撮像プログラム３０を実行することによって、図１４に示す撮像処理が実行される。図１４に示す撮像処理は、例えば、撮像装置１０の電源スイッチがオン状態とされた場合に実行される。なお、図１４に示す撮像処理が実行されている間は、撮像部２４により予め設定されたフレームレートで動画像が撮像されているものとする。また、図１４における図９と同一の処理を実行するステップについては、同一のステップ番号を付して説明を省略する。

　図１４のステップＳ１８が終了すると、処理はステップＳ７０に移行する。ステップＳ７０で、検出部５２は、撮像部２４による撮像により取得された１つ前のフレームの画像に対応する距離マップと今回のフレームの画像に対応する距離マップとの変化から自装置が動いた方向及び動いた量を検出する。ステップＳ７０が終了すると、ステップＳ２０及びステップＳ２２の処理が行われ、処理はステップＳ２４Ａに移行する。

　ステップＳ２４Ａで、記憶制御部５０は、ステップＳ２２の処理による画像処理を経た画像と、その画像に対応付けて、ステップＳ７０の処理により検出された自装置が動いた方向及び動いた量を記憶部２３に記憶する制御を行う。

　以上説明したように、本実施形態によれば、撮像装置１０が動いた方向及び動いた量を動画像に対応付けて記憶している。従って、この撮像装置１０が動いた方向及び動いた量に合わせて画像を合成することによって、合成にかかる手間を低減することができる。

　なお、上記各実施形態において、画像処理部４８が画像の背景領域を特定の色に変換する場合に、主要被写体領域で使用されていない色を特定の色として選択する形態としてもよい。

　また、上記第２実施形態において、ライブビュー画像を表示部２５に表示する際に、背景領域を特定の色に変換するのではなく、背景領域を点滅させて表示してもよいし、背景領域を縞模様によって表示してもよい。

　また、上記第５実施形態では、動画像におけるフレーム間の距離マップの変化から撮像装置１０が動いた方向及び動いた量を検出する場合について説明したが、これに限定されない。例えば、動画像におけるフレーム間の背景領域の輝度分布又は色分布の変化から撮像装置１０が動いた方向及び動いた量を検出する形態としてもよい。

　また、上記各実施形態では、ユーザが入力した距離閾値を受け付ける場合について説明したが、これに限定されない。例えば、設定部４０が、撮像部２４による撮像により取得された画像から距離閾値を導出し、導出した距離閾値を設定する形態としてもよい。この場合、設定部４０が、距離マップのデータに基づいて距離のヒストグラムを作成し、ヒストグラムの形状に基づいて距離閾値を導出する形態が例示される。具体的には、例えば、設定部４０は、距離のヒストグラムの山を２分割する距離の値を、距離閾値として導出する。この形態例では、表示制御部４２は、ユーザが距離閾値を設定するための情報を、ライブビュー画像に重畳させて表示部２５に表示する制御を行わなくてもよい。

　また、上記各実施形態でＣＰＵがソフトウェア（プログラム）を実行することにより実行した各種処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Field-Programmable Gate Array）等の製造後に回路構成を変更可能なＰＬＤ（Programmable Logic Device）、及びＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、上記各種処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

　また、上記各実施形態では、撮像プログラム３０が記憶部２３に予め記憶（インストール）されている態様を説明したが、これに限定されない。撮像プログラム３０は、ＣＤ－ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disk Read Only Memory）、及びＵＳＢ（Universal Serial Bus）メモリ等の記録媒体に記録された形態で提供されてもよい。また、撮像プログラム３０は、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

　上記記載から、以下の付記項１に記載の撮像装置を把握することができる。

　［付記項１］

　撮像により画像を取得する撮像装置と、

　プロセッサと、

　を備え、

　前記プロセッサは、

　　前記撮像装置による撮像により取得された画像内の主要被写体領域と背景領域とを切り分けるための距離閾値を設定し、

　　前記画像を撮像する際に得られる距離情報から前記画像内の距離マップを生成し、

　　前記距離マップにおける距離が前記距離閾値を超える領域を前記画像の背景領域と判定し、

　　前記画像の前記背景領域を特定の色に変換する画像処理を行い、

　　前記画像処理を経た画像を記憶する撮像装置。

１０、１０Ａ、１０Ｂ　撮像装置

２０　制御部

２１　ＣＰＵ

２２　メモリ

２３　記憶部

２４　撮像部

２５　表示部

２６　入力部

２７　通信Ｉ／Ｆ

２８　バス

３０　撮像プログラム

４０　設定部

４２　表示制御部

４４　生成部

４６　判定部

４８　画像処理部

５０　記憶制御部

５２　検出部

Ａ　主要被写体領域

Ｂ　背景領域

Claims (12)


  1. 　撮像により画像を取得する撮像部と、

    　前記撮像部による撮像により取得された画像内の主要被写体領域と背景領域とを切り分けるための距離閾値を設定する設定部と、

    　前記画像を撮像する際に得られる距離情報から前記画像内の距離マップを生成する生成部と、

    　前記距離マップにおける距離が前記距離閾値を超える領域を前記画像の背景領域と判定する判定部と、

    　前記画像の前記背景領域を特定の色に変換する画像処理を行う画像処理部と、

    　前記画像処理を経た画像を記憶部に記憶する制御を行う記憶制御部と、

    　を備えた撮像装置。

  2. 　画像の記録開始の指示が入力される前に前記距離閾値が視認可能なライブビュー画像を表示部に表示する制御を行う表示制御部

    　を更に備えた請求項１に記載の撮像装置。

  3. 　前記表示制御部は、前記距離閾値を設定するための情報を前記表示部に更に表示する制御を行う

    　請求項２に記載の撮像装置。

  4. 　前記生成部は、前記ライブビュー画像について、前記距離マップを生成し、

    　前記画像処理部は、前記ライブビュー画像の前記背景領域を特定の色に変換する画像処理を行い、

    　前記表示制御部は、前記画像処理を経たライブビュー画像を前記表示部に表示する制御を行う

    　請求項２又は請求項３に記載の撮像装置。

  5. 　前記記憶制御部は、前記画像処理が行われる前の画像を前記記憶部に更に記憶する制御を行う

    　請求項１から請求項４の何れか１項に記載の撮像装置。

  6. 　自装置を含む複数の撮像装置により撮像を行う場合、前記判定部は、前記複数の撮像装置の各々により生成された距離マップを用いて前記画像の前記主要被写体領域と前記背景領域とを切り分ける

    　請求項１から請求項５の何れか１項に記載の撮像装置。

  7. 　前記判定部は、自装置が生成した距離マップにおける主要被写体領域であって当該領域の周辺が背景領域である主要被写体領域について、他の撮像装置により生成された距離マップにおける対応する領域が背景領域である場合、前記周辺が背景領域である主要被写体領域を背景領域と判定する

    　請求項６に記載の撮像装置。

  8. 　前記判定部は、自装置が生成した距離マップにおける背景領域であって当該領域の周辺が主要被写体領域である背景領域について、他の撮像装置により生成された距離マップにおける対応する領域が主要被写体領域である場合、前記周辺が主要被写体領域である背景領域を主要被写体領域と判定する

    　請求項６又は請求項７に記載の撮像装置。

  9. 　前記生成部は、前記撮像部による撮像により取得された動画像の各フレームの画像について前記距離マップを生成し、

    　前記記憶制御部は、前記画像処理を経た動画像を前記記憶部に記憶する制御を行う

    　請求項１から請求項８の何れか１項に記載の撮像装置。

  10. 　前記動画像におけるフレーム間の前記距離マップの変化から自装置が動いた方向及び動いた量を検出する検出部を更に備え、

    　前記記憶制御部は、更に、前記画像処理を経た動画像に対応付けて前記動いた方向及び動いた量を前記記憶部に記憶する制御を行う

    　請求項９に記載の撮像装置。

  11. 　撮像により画像を取得する撮像部を備えた撮像装置が実行する撮像方法であって、

    　前記撮像部による撮像により取得された画像内の主要被写体領域と背景領域とを切り分けるための距離閾値を設定し、

    　前記画像を撮像する際に得られる距離情報から前記画像内の距離マップを生成し、

    　前記距離マップにおける距離が前記距離閾値を超える領域を前記画像の背景領域と判定し、

    　前記画像の前記背景領域を特定の色に変換する画像処理を行い、

    　前記画像処理を経た画像を記憶部に記憶する制御を行う

    　撮像方法。

  12. 　撮像により画像を取得する撮像部を備えた撮像装置を制御するコンピュータに、

    　前記撮像部による撮像により取得された画像内の主要被写体領域と背景領域とを切り分けるための距離閾値を設定し、

    　前記画像を撮像する際に得られる距離情報から前記画像内の距離マップを生成し、

    　前記距離マップにおける距離が前記距離閾値を超える領域を前記画像の背景領域と判定し、

    　前記画像の前記背景領域を特定の色に変換する画像処理を行い、

    　前記画像処理を経た画像を記憶部に記憶する制御を行う

    　処理を実行させるためのプログラム。
PCT/JP2019/016505 2018-06-11 2019-04-17 撮像装置、撮像方法、及びプログラム WO2019239715A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020525299A JP6851551B2 (ja) 2018-06-11 2019-04-17 撮像装置、撮像方法、及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018111461 2018-06-11
JP2018-111461 2018-06-11

Publications (1)

Publication Number Publication Date
WO2019239715A1 true WO2019239715A1 (ja) 2019-12-19

Family

ID=68842097

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/016505 WO2019239715A1 (ja) 2018-06-11 2019-04-17 撮像装置、撮像方法、及びプログラム

Country Status (2)

Country Link
JP (1) JP6851551B2 (ja)
WO (1) WO2019239715A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022011712A (ja) * 2020-06-30 2022-01-17 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド シーン認識装置、撮像装置、シーン認識方法、及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001352440A (ja) * 2000-06-07 2001-12-21 Olympus Optical Co Ltd 画像処理装置
JP2011048627A (ja) * 2009-08-27 2011-03-10 Kddi Corp マスク画像を抽出する方法及びプログラム並びにボクセルデータを構築する方法及びプログラム
JP2017054337A (ja) * 2015-09-10 2017-03-16 ソニー株式会社 画像処理装置および方法
JP2017103564A (ja) * 2015-11-30 2017-06-08 キヤノン株式会社 制御装置、制御方法、およびプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5865078B2 (ja) * 2011-12-28 2016-02-17 キヤノン株式会社 画像処理装置および画像処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001352440A (ja) * 2000-06-07 2001-12-21 Olympus Optical Co Ltd 画像処理装置
JP2011048627A (ja) * 2009-08-27 2011-03-10 Kddi Corp マスク画像を抽出する方法及びプログラム並びにボクセルデータを構築する方法及びプログラム
JP2017054337A (ja) * 2015-09-10 2017-03-16 ソニー株式会社 画像処理装置および方法
JP2017103564A (ja) * 2015-11-30 2017-06-08 キヤノン株式会社 制御装置、制御方法、およびプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022011712A (ja) * 2020-06-30 2022-01-17 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド シーン認識装置、撮像装置、シーン認識方法、及びプログラム
JP7043707B2 (ja) 2020-06-30 2022-03-30 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド シーン認識装置、撮像装置、シーン認識方法、及びプログラム

Also Published As

Publication number Publication date
JP6851551B2 (ja) 2021-03-31
JPWO2019239715A1 (ja) 2021-04-22

Similar Documents

Publication Publication Date Title
JP4715527B2 (ja) 撮影装置、撮影画像の画像処理方法及びプログラム
US9538085B2 (en) Method of providing panoramic image and imaging device thereof
JP5331128B2 (ja) 撮像装置
US8441554B2 (en) Image capturing apparatus capable of extracting subject region from captured image
JP4732303B2 (ja) 撮像装置
US8878910B2 (en) Stereoscopic image partial area enlargement and compound-eye imaging apparatus and recording medium
US20100246968A1 (en) Image capturing apparatus, image processing method and recording medium
KR101599885B1 (ko) 디지털 촬영 장치 및 촬영 방법
WO2019239715A1 (ja) 撮像装置、撮像方法、及びプログラム
WO2018066027A1 (ja) 画像処理装置、撮像システム、画像処理方法および画像処理プログラム
JP5267279B2 (ja) 画像合成装置及びプログラム
JP6780749B2 (ja) 撮像装置、画像処理装置、撮像方法及びプログラム
JP2010016693A (ja) 電子カメラ
JP5131399B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2011234229A (ja) 撮像装置
JP5493839B2 (ja) 撮像装置、画像合成方法及びプログラム
JP4799483B2 (ja) 情報処理装置、情報処理方法、プログラムおよび記録媒体
WO2022113866A1 (ja) 検出装置、撮像装置、検出方法、及びプログラム
JP2011239055A (ja) 撮像装置および撮像方法
JP6598624B2 (ja) 撮像装置および制御方法
JP2017184007A (ja) 画像処理装置、撮像装置、制御方法およびプログラム
JP6097597B2 (ja) 画像処理装置及びその制御方法
JP5565227B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5555076B2 (ja) 撮像装置、画像処理装置及び画像処理方法
JP6150558B2 (ja) 追尾処理装置およびその制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19818501

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020525299

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19818501

Country of ref document: EP

Kind code of ref document: A1