WO2006095860A1 - 背景置換装置、背景置換プログラム、および背景置換方法 - Google Patents

背景置換装置、背景置換プログラム、および背景置換方法 Download PDF

Info

Publication number
WO2006095860A1
WO2006095860A1 PCT/JP2006/304764 JP2006304764W WO2006095860A1 WO 2006095860 A1 WO2006095860 A1 WO 2006095860A1 JP 2006304764 W JP2006304764 W JP 2006304764W WO 2006095860 A1 WO2006095860 A1 WO 2006095860A1
Authority
WO
WIPO (PCT)
Prior art keywords
background
color
subject
unit
image
Prior art date
Application number
PCT/JP2006/304764
Other languages
English (en)
French (fr)
Inventor
Toshihiko Kaku
Original Assignee
Fuji Photo Film Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co., Ltd. filed Critical Fuji Photo Film Co., Ltd.
Priority to EP06715534.1A priority Critical patent/EP1858255B1/en
Priority to JP2006527199A priority patent/JP4642764B2/ja
Priority to US10/589,251 priority patent/US7835571B2/en
Publication of WO2006095860A1 publication Critical patent/WO2006095860A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/74—Circuits for processing colour signals for obtaining special effects
    • H04N9/75—Chroma key
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/21—Disc-shaped record carriers characterised in that the disc is of read-only, rewritable, or recordable type
    • G11B2220/213—Read-only discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2545—CDs

Definitions

  • the present invention relates to a background replacement device that creates a background replacement image by replacing a background in a captured image with another background, a background replacement program that causes a computer to operate as the background replacement device, and a
  • the present invention relates to a background replacement method for creating a background replacement image by replacing a background with another background.
  • a background panel painted in blue or the like is placed behind the subject to perform shooting, and a captured image obtained by the shooting is used.
  • the same color part as the color of the background panel and the different color part are distinguished as the background area and subject area in the photographed image, respectively, and the part distinguished in the background area in the photographed image is replaced with the desired background.
  • Patent Document 1 JP 2000-224410 (Page 3-10, Fig. 3)
  • Patent Document 2 Japanese Patent Laid-Open No. 10-210340 (page 2-3, Fig. 1)
  • the present invention provides a background replacement device capable of creating a background replacement image in which a background in a captured image is naturally replaced with a desired background, and background replacement that causes a computer to operate as the background replacement device It is an object of the present invention to provide a program and a background replacement method capable of creating a background replacement image in which a background in a photographed image is naturally replaced with a desired background.
  • a first background replacement device of the present invention that achieves the above object is an image acquisition unit that acquires a plurality of captured images obtained by capturing a common subject under each of a plurality of shooting conditions.
  • An area discriminating unit that discriminates a subject area, a background area, and a boundary area in the captured image based on the captured image acquired by the image acquisition unit;
  • a background replacement unit that replaces the background in the captured image acquired by the image acquisition unit with another background is provided.
  • the subject area, the background area, and the boundary area in the captured image are distinguished, and the mixing ratio of the subject color and the background color in the boundary area is determined. Determined. Then, when the background in the captured image is replaced with another background, for example, a process of mixing the subject color and the color of the other background with the above mixing ratio is performed on the boundary area. . As a result, an image is created that allows the viewer to recognize the state in which the background after replacement is visible over part of the subject. That is, according to the background replacement device of the present invention, it is possible to create a background replacement image in which a background in a captured image is naturally replaced with a desired background.
  • the region distinguishing unit may determine whether the subject region and the background region in the photographed image are based on a predetermined difference between the subject and the background in the photographing condition.” And the boundary area ”are preferred.
  • the area discriminating unit determines the area on the subject side in the photographed image based on a predetermined difference between the subject and the background in the photographing condition. A region on the background side is discriminated and at least one of the region on the subject side and the region on the background side is reduced and treated as the subject region and the background region !, the subject region and the background The area between the areas is treated as the boundary area,
  • the region distinguishing unit discriminates the region on the subject side and the region on the background side in the photographed image based on a predetermined difference between the subject and the background under the photographing conditions, and reduces the region on the subject side. And the area excluding the subject area in the area on the subject side before reduction is treated as the boundary area.
  • the region distinguishing unit discriminates the region on the subject side and the region on the background side in the photographed image based on a predetermined difference between the subject and the background under the photographing conditions, and reduces the region on the background side.
  • the region excluding the background region in the background side region before the reduction is treated as the boundary region.
  • the shape is also preferred.
  • the background replacement device after the subject-side region and the background-side region are discriminated in the photographed image based on the above differences, those regions are discriminated. If one of them is reduced, one of them can be seen near the boundary between the subject and the background in the captured image. An appropriate boundary region that is included in the boundary region is set. This surely suppresses the unnaturalness as described above.
  • the first background replacement device of the present invention is as follows: "The region distinguishing unit is based on one of the captured images acquired by the image acquiring unit, and the subject in the captured image is The area, the background area, and the border area,
  • the background replacement unit replaces, in the captured image acquired by the image acquisition unit, a background in a captured image that is different from the captured image used by the region discriminating unit to distinguish the region. It may be in the form of t.
  • a background replacement device for example, there is a large difference between the subject and the background in one captured image, such as a backlight image captured by backlight.
  • a captured image and a subject that is common to the captured image are acquired under a shooting condition that the subject is clearly captured.
  • the subject, subject area, and background area in the former captured image are acquired.
  • the first background replacement device of the present invention is as follows. "The mixing ratio determination unit estimates the mixing ratio of the subject color and the background color and the subject color in the boundary region in the captured image. Is what
  • the background replacement unit replaces the background in the photographed image with another background using the subject color and the mixing ratio estimated by the mixing ratio determining unit. .
  • the mixing ratio of the subject color and the background color in the boundary region in the photographed image corresponds to the degree of appearance of the background when the background is seen over a part of the subject.
  • the background replacement device since the subject color is estimated together with the mixing ratio, a proper mixed color in a state where the background is replaced is appropriately obtained, and a natural background replacement image is created.
  • each color in the object region is used as a candidate for the object color.
  • the form is more preferred, the form.
  • the subject color candidate it is close to the subject color and includes a color with high probability! /. Each color is used. Thus, the subject color is estimated with high accuracy.
  • the "the mixture ratio determination unit determines the subject color and the mixture ratio for each location in the boundary region".
  • the subject color is linearly aligned with the background color and the color of the portion in the predetermined color space.
  • Preferred form is the form.
  • a mixed color obtained by mixing two colors is linear with the two colors that are the basis of the mixed color in a color space such as R (red) G (green) B (blue) color space, etc. It is thought that it is lined up.
  • the background color and the color of each part which is a mixed color of the background color and the subject color, are arranged in a straight line with the two colors as known colors. Since the subject color is estimated using a color as a candidate, the subject color is estimated with high accuracy.
  • the mixing ratio determination unit determines the subject for each location in the boundary region.
  • each color in the subject area is used as the subject color candidate, and among the candidates, the predetermined color space is estimated.
  • the candidate closest to the color of the part that is linearly aligned with the background color and the color of the part is estimated as the subject color.
  • the color of each part is a color obtained by mixing the subject color and the background color, it is expected that the color of the part and the subject color have a certain degree of similarity. Is done.
  • the background replacement device since the candidate closest to the color of the part is estimated as the subject color, the subject color is estimated with high accuracy.
  • the mixture ratio determining unit determines the subject color and the mixture ratio for each location in the boundary region.
  • the mixing ratio is estimated based on the ratio of the background color, the color of the part, and the mutual distance of the subject color in a predetermined color space. T is also the preferred form.
  • the background replacement device According to this preferred embodiment of the background replacement device, a value obtained by simple calculation such as a ratio of the background color in the predetermined color space, the color of each part, and the mutual distance of the subject color. Therefore, the mixing ratio can be easily estimated.
  • the background replacement device in the form of estimating the subject color and the mixing ratio, "when the background replacement unit replaces the background in the captured image with another background, It is also preferable that the background is replaced by mixing the color and the subject color estimated by the mixing ratio determining unit at the mixing ratio estimated by the mixing ratio determining unit. '' It is a good form.
  • the color of the portion of the captured image where the background is visible over the subject is a mixed color in which the background color and the subject color are mixed.
  • the mixing ratio of the mixed colors reflects the appearance of the background seen through the subject.
  • the color of the other background and the subject color are mixed at the mixing ratio, so that the background appearance over the subject is the image after the background replacement. It is easily reproduced.
  • the correction of the region distinguished by the region distinguishing unit is executed in response to an operation, and the background replacement based on the modified region is performed.
  • An image correction unit that is executed by the background replacement unit and corrects the background replacement image is also preferred.
  • the background replacement image once created is, for example, unnatural such that a part of the edge of the subject is replaced with another background together with the background. Even if it is an image, correction of the region distinguished by the region distinguishing unit is executed, and for example, the image portion including both the background and subject elements as described above is removed from the background region, etc. By executing such special image portion processing, an unnatural background replacement image can be corrected to a natural background replacement image.
  • the background replacement device in the form of "the region distinguishing unit in the captured image based on a predetermined difference between the subject and the background in the imaging condition"
  • the subject-side area and the background-side area are discriminated, and the subject-side area and the background-side area are reduced by a predetermined reduction amount and treated as the subject area and the background area,
  • the image correcting unit may correct the subject region and Z or the background region by changing the reduction amount in the region distinguishing unit upon receiving an operation.
  • the region distinguishing unit distinguishes the subject region from the background region based on a distinguishing criterion based on a predetermined difference between the subject and the background under the shooting conditions.
  • the image correcting unit By changing the distinction criteria in response to an operation, The body area and Z or the background area are corrected.
  • the subject area and the Z or the background area are not directly corrected, and the component such as the reduction amount and the discrimination criterion are intuitively divided by humans.
  • the subject area and Z or the background area can be easily corrected.
  • a second background replacement device of the present invention that achieves the above object includes an image acquisition unit that acquires a plurality of photographed images obtained by photographing a common subject under each of a plurality of photographing conditions;
  • a region distinguishing unit Based on the captured image acquired by the image acquisition unit, a region distinguishing unit that distinguishes the background region in the captured image from other regions;
  • a mixed state estimation unit for estimating a subject color and a background color mixing ratio in other regions other than the background region in the photographed image, and the subject color;
  • a background replacement unit that replaces the background in the captured image acquired by the image acquisition unit with another background using the subject color and the mixing ratio estimated by the mixing state estimation unit; .
  • the subject color and the background in the other areas other than the background area in the captured image are distinguished.
  • the mixing ratio with the scenery and the subject color are estimated.
  • the above-mentioned mixing ratio corresponds to the degree of visibility of the background when the background is visible over a part of the subject.
  • the background replacement device of the present invention the subject color is estimated together with the mixture ratio, so that a proper mixed color in the state where the background is replaced is appropriately obtained, and a natural background replacement image is created. That is, according to the background replacement device of the present invention, it is possible to create a background replacement image in which a background in a captured image is naturally replaced with a desired background.
  • the mixed state estimation unit estimates the object color
  • an estimation is performed using each color in the captured image as a candidate for the object color.
  • U is the form.
  • the subject color candidate is the subject.
  • the mixed state estimation unit estimates the subject color and the mixing ratio for each location in the other area except the background area. Therefore, in estimating the subject color, the subject color is estimated on the premise that the subject color is linearly aligned with the background color and the color of the portion in the predetermined color space. Also preferred is the form.
  • a mixed color obtained by mixing two colors is linear with the two colors that are the basis of the mixed color in a color space such as R (red) G (green) B (blue) color space, etc. It is thought that it is lined up.
  • the background color and the color of each part which is a mixed color of the background color and the subject color, are arranged in a straight line with the two colors as known colors. Since the subject color is estimated using a color as a candidate, the subject color is estimated with high accuracy.
  • the mixed state estimation unit estimates the subject color and the mixing ratio for each portion in the other area excluding the background area.
  • each color in the region other than the background region is used as the subject color candidate, and among the candidates, the background color and its location within the predetermined color space are used.
  • the most distant candidate is estimated as the subject color in line with the color of the line. ”
  • the form is also preferred.
  • the mixed state estimation unit estimates the subject color and the mixing ratio for each location in the other area except the background area.
  • the mixing ratio the above-mentioned background in a predetermined color space It is estimated based on the ratio of the scenery, the color of the part, and the distance between the subject colors.
  • the mixing ratio can be easily estimated.
  • the background replacement unit replaces the background in the captured image with another background, the color of the other background and the mixed state estimation unit The background color is replaced by mixing the subject color estimated in step 1 with the mixing ratio estimated by the mixing state estimation unit.
  • the color of the portion of the photographed image where the background is visible over the subject is a mixed color in which the background color and the subject color are mixed.
  • the mixing ratio of the mixed colors reflects the appearance of the background seen through the subject.
  • the color of the other background and the subject color are mixed at the mixing ratio, so that the background appearance over the subject is the image after the background replacement. It is easily reproduced.
  • the region distinguishing unit determines a background region in a photographed image from another region based on a brightness ratio between the plurality of photographed images.
  • the form is also preferred, and the form is also preferred.
  • the background region in the captured image is distinguished from the other regions based on the brightness ratio among the plurality of captured images.
  • this distinction method for example, if multiple captured images with different background brightness are obtained, even if the difference in brightness between the background and the subject in a single captured image is ineffective. As a result, the brightness ratio between the multiple shot images differs between the background area and other areas. Both can be distinguished well.
  • a storage unit is provided for storing the object color and the mixing ratio estimated by the mixed state estimation unit
  • the background replacement unit replaces the background in the captured image acquired by the image acquisition unit using the subject color and the mixture ratio stored in the storage unit with another background.
  • Form is also preferred U, form.
  • the object color and the mixing ratio can be calculated. Save time and effort.
  • the subject color based on the image of the other area in which the color is replaced with the object color estimated by the mixed state estimation unit A first parameter determination unit for determining a correction parameter used for color correction for
  • a first color correction unit that performs color correction on the subject color estimated by the mixed state estimation unit using the correction parameter determined by the first parameter determination unit;
  • the background replacement unit replaces the background in the captured image acquired by the image acquisition unit with another background using the subject color subjected to color correction by the first color correction unit and the mixing ratio.
  • T the form
  • a second parameter determination unit for determining a correction parameter used for color correction for the subject color
  • a second color correction unit that performs color correction on the subject color estimated by the mixed state estimation unit using the correction parameter determined by the second parameter determination unit;
  • the background replacement unit replaces the background in the captured image acquired by the image acquisition unit with another background using the subject color subjected to color correction by the second color correction unit and the mixing ratio.
  • T the form
  • a third parameter determination unit that determines a correction parameter used for color correction for the subject color as a parameter according to the operation;
  • a third color correction unit that performs color correction on the subject color estimated by the mixed state estimation unit using the correction parameter determined by the third parameter determination unit;
  • the background replacement unit replaces the background in the captured image acquired by the image acquisition unit with another background using the subject color subjected to color correction by the third color correction unit and the mixing ratio.
  • the form is preferred, U is the form.
  • color correction is performed on the subject color estimated by the mixed state estimation unit even in the case of V and deviation. Therefore, according to these three preferred forms, for example, a setup is used as the color correction, so that the setup of the subject color by the mixed state estimation unit and the background color for replacement are not affected. It is possible to obtain a high-quality image with the background replaced.
  • the correction parameters used for the setup may be determined based on the image of the other area in which the color is replaced with the subject color as in the first of the above three types. It may be determined based on the photographed image as in the second form. It may be determined according to the user's operation as in the third form.
  • a fourth parameter determination unit that determines a correction parameter used for color correction for the subject color as a parameter according to the other background
  • a fourth color correction unit that performs color correction on the subject color estimated by the mixed state estimation unit using the correction parameter determined by the fourth parameter determination unit; e,
  • the background replacement unit replaces the background in the captured image acquired by the image acquisition unit with the other background using the subject color and the mixture ratio subjected to color correction by the fourth color correction unit. It's also preferred.
  • the background replacement device it is possible to execute the setup without affecting the subject color estimation and the replacement background color by the mixed state estimation unit, and the background is replaced.
  • a setup such as correcting the subject color to an orange color according to the evening scene is performed. By doing so, an image in which the background is more naturally replaced can be obtained.
  • the background replacement unit uses, as the other background, a background to which relationship information representing a relative relationship in the image of the subject and the background is added.
  • the background in the captured image is replaced and the relative relationship between the subject and the background in the replaced image is replaced with the same relative relationship represented by the related information. I prefer the form.
  • the background replacement is performed so that the position and size of the object in the replaced image have a natural position and size with respect to the other background. Therefore, an image in which the background is more naturally replaced can be obtained.
  • the third background replacement device of the present invention that achieves the above object obtains a plurality of photographed images obtained by photographing a common subject under each of a plurality of photographing conditions having different background colors.
  • a region distinguishing unit Based on the captured image acquired by the image acquisition unit, a region distinguishing unit that distinguishes the background region in the captured image from other regions;
  • a mixed state estimation unit that estimates the subject color and the background color in other regions other than the background region in the photographed image, and the subject color;
  • the image acquisition unit using the subject color and the mixing ratio estimated by the mixed state estimation unit And a background replacement unit that replaces the background in the captured image acquired in step 1 with another background.
  • the mixture ratio between the subject color and the background color and the subject color in the other regions except for the background region in each captured image are estimated.
  • the above-described mixing ratio corresponds to the degree of visibility of the background when the background is visible over a part of the subject.
  • the background replacement device of the present invention since the subject color is estimated together with the mixing ratio, a proper mixed color in a state where the background is replaced is appropriately obtained, and a natural background replacement image is created. .
  • the subject color and the mixing ratio are estimated based on a plurality of captured images having different background colors.
  • the subject color is common among the plurality of photographed images.
  • the background replacement apparatus of the present invention for example, one subject color is first estimated based on a plurality of estimation materials such as a plurality of captured images, and then the mixture ratio is estimated from the estimated subject color. It is possible to estimate the subject color and the mixture ratio using a unique and accurate estimation method. That is, according to the background replacement device of the present invention, it is possible to create a background replacement image in which a background in a captured image is naturally replaced with a desired background.
  • the mixed state estimation unit assumes that the mixed state of the subject color and the background color is the same even under different background colors.
  • the body shape and the mixing ratio are estimated.
  • the form is preferably the form.
  • the mixing ratio is common among the plurality of photographed images.
  • the mixed state estimation unit estimates the subject color and the mixing ratio for each portion in the other region excluding the background region.
  • the background color and the color of the location in each of a plurality of captured images obtained under a plurality of shooting conditions with different background colors are within a predetermined color space.
  • the form of “determining each straight line connected by“ and estimating the color corresponding to the intersection of these straight lines as the subject color ” is an example of a typical form of the background replacement device of the present invention.
  • the subject color can be obtained mathematically and uniquely, and the mixing ratio can be easily obtained from the subject color.
  • the image acquisition unit acquires a plurality of photographed images obtained by photographing under a plurality of photographing conditions having different background hues.
  • the form that is preferred is the form.
  • the subject color and the mixing ratio are accurately estimated.
  • the region discriminating unit discriminates a subject region and a boundary region in other regions except for the background region in the photographed image
  • the mixed state estimating unit estimates the subject color and the mixing ratio in the boundary region.
  • the range to be subjected to the estimation process as described above is limited in the captured image, so that the estimation process is efficiently performed.
  • the region distinguishing unit converts the background region in the captured image acquired by the image acquiring unit from other regions to the plurality of captured images. It is also preferable to distinguish between them based on the amount of color change between them.
  • the region distinguishing unit distinguishes the background region in the captured image acquired by the image acquiring unit from other regions based on the difference in brightness between the background and the subject”. preferable.
  • the region distinguishing unit can be easily realized by any of these forms of the background replacement device. Further, in the former form in which the regions are distinguished based on the color change amount, the regions can be distinguished using the same photographed image as that used for estimating the subject color and the mixing ratio. Therefore, the number of captured images required for the entire background replacement process as described above can be saved. Also, in the latter form, where the areas are distinguished based on the difference in brightness, the brightness of the background and the brightness of the subject are different from each other. Although a photographed image obtained by photographing the subject under the photographing conditions is required, the above-mentioned region can be distinguished based only on the photographed image, so that the simplicity of region distinction itself is reduced. Figured.
  • the first background replacement program of the present invention that achieves the above object is incorporated in a computer, and on the computer,
  • An image acquisition unit for acquiring a plurality of captured images obtained by shooting a common subject under each of a plurality of shooting conditions
  • An area discriminating unit that discriminates a subject area, a background area, and a boundary area in the captured image based on the captured image acquired by the image acquisition unit;
  • a background replacement unit that replaces the background in the captured image acquired by the image acquisition unit with another background is constructed.
  • the second background replacement program of the present invention that achieves the above object is incorporated in a computer, and on the computer,
  • An image acquisition unit for acquiring a plurality of captured images obtained by shooting a common subject under each of a plurality of shooting conditions
  • An image acquisition unit for acquiring a plurality of captured images obtained by shooting a common subject under each of a plurality of shooting conditions
  • a region distinguishing unit Based on the captured image acquired by the image acquisition unit, a region distinguishing unit that distinguishes the background region in the captured image from other regions;
  • a mixed state estimation unit for estimating a subject color and a background color mixing ratio in other regions other than the background region in the photographed image, and the subject color;
  • a background replacement unit that replaces the background in the captured image acquired by the image acquisition unit with another background using the subject color and the mixing ratio estimated by the mixed state estimation unit is constructed. .
  • a third background replacement program of the present invention that achieves the above object is incorporated in a computer, and on the computer, An image acquisition unit for acquiring a plurality of photographed images obtained by photographing a common subject under each of a plurality of photographing conditions having different background colors;
  • a region distinguishing unit Based on the captured image acquired by the image acquisition unit, a region distinguishing unit that distinguishes the background region in the captured image from other regions;
  • a mixed state estimation unit that estimates the subject color and the background color in other regions other than the background region in the photographed image, and the subject color;
  • a background replacement unit that replaces the background in the captured image acquired by the image acquisition unit with another background using the subject color and the mixing ratio estimated by the mixed state estimation unit is constructed. .
  • the background replacement device capable of creating the background replacement image in which the background in the captured image is naturally replaced with the desired background is easy. Can be realized.
  • the first background replacement method of the present invention that achieves the above object is an image capture that acquires a plurality of photographed images obtained by photographing a common subject under a plurality of photographing conditions. Acquisition process,
  • an area distinguishing process for distinguishing a subject area, a background area, and a boundary area in the captured image
  • the second background replacement method of the present invention that achieves the above-described object is an image capture that acquires a plurality of captured images obtained by capturing a common subject under each of a plurality of capturing conditions. Acquisition process,
  • an area discrimination process for distinguishing the background area in the captured image from other areas
  • a mixed state estimation process for estimating the subject color and the background color in the other areas except for the background area in the captured image, and the subject color
  • a background replacement process for replacing the background in the captured image acquired in the image acquisition process with another background using the subject color and the mixing ratio estimated in the mixed state estimation process is .
  • the third background replacement method of the present invention that achieves the above object provides a plurality of shootings obtained by shooting a common subject under each of a plurality of shooting conditions having different background colors.
  • an area discrimination process for distinguishing the background area in the captured image from other areas
  • a mixing ratio estimation process for estimating the subject color and the background color in the other regions other than the background region in the photographed image, and the subject color;
  • a background replacement process for replacing the background in the captured image acquired in the image acquisition process with another background using the subject color and the mixing ratio estimated in the mixed state estimation process is .
  • the above-described background replacement program of the present invention and the background replacement method of the present invention have the power to show only the basic form here. This is merely for the purpose of avoiding duplication.
  • the replacement program and the background replacement method include various forms corresponding to the above-described forms of the background replacement device.
  • a background replacement image in which a background in a captured image is naturally replaced with a desired background can be created.
  • FIG. 1 is a diagram showing an imaging system to which an embodiment of a background replacement device of the present invention is applied.
  • FIG. 2 One embodiment of the background replacement method of the present invention executed in the imaging system of FIG. 1 is suitable. It is a flowchart which shows the flow of used work.
  • FIG. 3 is a hardware configuration diagram of the personal computer shown in FIG. 1.
  • ⁇ 4 It is a conceptual diagram showing an embodiment of a background replacement program of the present invention.
  • FIG. 5 is a function representing functions when the background replacement program shown in FIG. 4 is installed in the personal computer shown in FIGS. 1 and 3, and this personal computer operates as an embodiment of the background replacement apparatus according to the present invention. It is a block diagram.
  • FIG. 6 is a diagram showing details of the image correction unit shown by one block in FIG. 5.
  • FIG. 7 is a schematic diagram illustrating an example of a follow-light photographed image in which trapezoidal distortion has occurred.
  • FIG. 8 is a schematic diagram showing a state in which the trapezoidal distortion is corrected in the continuous light image of FIG.
  • FIG. 9 is a schematic diagram showing an effective image created based on a follow-light photographed image corrected for trapezoidal distortion shown in FIG.
  • FIG. 10 is a schematic diagram showing a corrected backlight image that has been subjected to image correction processing by the image correction unit in FIG. 6.
  • FIG. 11 is a diagram showing an example of a corrected continuous-light image.
  • ⁇ 12 A diagram showing an example of a corrected backlight image.
  • FIG. 13 is an enlarged view of area A1 in FIG.
  • FIG. 14 is an enlarged view of area A2 in FIG.
  • FIG. 15 is a diagram showing details of a replacement processing unit shown by one block in FIG.
  • FIG. 16 is a diagram showing details of the mask creation unit shown by one block in FIG.
  • FIG. 17 is a diagram showing various examples of histograms for the brightness of each pixel constituting a corrected backlight image.
  • FIG. 18 is a diagram showing an example of a histogram different from the example shown in FIG.
  • FIG. 19 is a diagram showing an area set as an initial subject mask and an area set as an initial background mask in the enlarged view of the backlight image shown in FIG.
  • FIG. 20 shows the initial subject mask and the initial background mask shown in FIG.
  • FIG. 21 is a diagram showing how the initial subject mask and the initial background mask shown in FIG. 20 are each reduced in a direction away from the boundary region.
  • FIG. 23 is a diagram showing the finally completed subject mask and background mask superimposed on the entire corrected follow-light image shown in FIG. 11.
  • FIG. 24 is a diagram showing a mask creation unit different from the mask creation unit 731 of the present embodiment.
  • ⁇ 25 It is a diagram showing a state where the corrected backlight image is divided.
  • FIG. 26 is a diagram showing an example of a histogram created for each of the three small regions Arl, Ar2, Ar3 shown in FIG.
  • FIG. 27 is a diagram showing details of a color estimation unit shown by one block in FIG.
  • FIG. 28 is a diagram showing details of a background color estimation unit shown by one block in FIG. 27.
  • the search range is set around that pixel.
  • FIG. 30 is a diagram showing an example of a region used for estimating a background color for a certain pixel.
  • FIG. 31 is a diagram showing details of a subject color estimation unit shown by one block in FIG. 27.
  • FIG. 32 is a diagram showing how a search range is set around a pixel when estimating the subject color of the pixel.
  • FIG. 33 is a diagram showing an example of a region used for estimating a subject color for a certain pixel.
  • FIG. 34 is a diagram showing a search method when searching for a subject color for a certain pixel in a boundary area in a corrected continuous light image.
  • FIG. 35 is a diagram showing a state in which a composite color is obtained for a certain pixel in a boundary area in a corrected continuous light image.
  • ⁇ 36 A diagram showing an example of a background replacement image.
  • FIG. 37 is a diagram showing details of the image correction unit 760 shown by one block in FIG.
  • FIG. 38 is a diagram showing an image correction unit different from the image correction unit shown in FIG. 37.
  • FIG. 39 is a schematic diagram showing a state where an object color and a composition ratio ex are estimated from pixels near an area defined by the subject mask Ml ′!
  • FIG. 40 is a schematic diagram showing a state of setting a search range using an attractive outline.
  • FIG. 41 When a subject color is estimated for a pixel in an area defined by a non-background mask in a corrected continuous light image, the search range is set around that pixel.
  • FIG. 42 is a diagram showing an example of an area used for estimating a subject color for a certain pixel.
  • FIG. 43 is a diagram showing a search method when searching for a subject color for a certain pixel in an area defined by a non-background mask in a corrected continuous light image.
  • FIG. 44 is a diagram showing a replacement processing unit different from the replacement processing unit 730 shown in FIG. 15, which has been devised to efficiently deal with a plurality of replacement backgrounds.
  • FIG. 45 is a diagram showing a replacement processing unit different from the replacement processing unit 730 shown in FIG. 15, including a color correction unit that performs color correction processing on an estimated subject color.
  • FIG. 46 is a diagram showing an imaging system to which a second embodiment of the background replacement device of the present invention is applied.
  • FIG. 47 is a flowchart showing a work flow to which the second embodiment of the background replacement method of the present invention executed in the imaging system of FIG. 46 is applied.
  • FIG. 48 is a conceptual diagram showing a second embodiment of the background replacement program of the present invention.
  • FIG. 49 is a functional block representing functions when the background replacement program shown in FIG. 48 is installed in the personal computer shown in FIG. 46 and this personal computer operates as the second embodiment of the background replacement apparatus according to the present invention.
  • FIG. 49 is a functional block representing functions when the background replacement program shown in FIG. 48 is installed in the personal computer shown in FIG. 46 and this personal computer operates as the second embodiment of the background replacement apparatus according to the present invention.
  • FIG. 50 is a diagram showing details of a replacement processing unit shown by one block in FIG. 49.
  • FIG. 51 is a diagram showing details of a color estimation unit shown by one block in FIG. 50.
  • FIG. 52 is a diagram showing a method for estimating the subject color that is the source of the color of each pixel in the boundary area, which is common between two corrected follow-light photographed images with different background colors.
  • FIG. 1 is a diagram showing an imaging system to which the first embodiment of the background replacement device of the present invention is applied.
  • the photographing system 1 shown in Fig. 1 distinguishes between a photographing studio 10 for photographing a subject and obtaining a photographed image, and a subject and background in the photographed image, and a desired background in the photographed image.
  • a personal computer 20 that operates as a first embodiment of the background replacement device of the present invention that generates a background replacement image by replacing the background, a printer 30, and a sano O are provided.
  • the photography studio 10 includes a digital camera 11, a flash light emitting device 12, an EL (electroluminescence) panel 130, and a power source 14 for the EL panel.
  • the digital camera 11 has a continuous shooting function. When the photographer presses the shirt button once, the digital camera 11 automatically photographs the subject P twice in a short time. Shooting image obtained by each shooting is temporarily stored in the memory in the digital camera 11. In the shooting system 1, the digital camera 11 is connected to the personal computer 20, and the two shootings are completed. At that time, the photographed image obtained by the two photographings is immediately sent to the personal computer 20. The digital camera 11 is also connected to a flash light emitting device 12, and the digital camera 11 captures a flash instruction signal for instructing the flash light emitting device 12 to emit a flash to the flash light emitting device 12. Send every time.
  • the flash light emitting device 12 receives a flash instruction signal from the digital camera 11 and emits a flash toward the subject P.
  • the flash light emitting device 12 needs to be charged every time it emits light, and once it emits light, it takes time until the next light can be emitted.
  • the above flash instruction signal is sent every time the flash is taken.
  • the flash light emitting device 12 emits a flash only during the first shot and the second shot. In some cases, the flash light emitting device 12 remains off because charging is not in time.
  • the flash light emitted from the flash light emitting device 12 is light having a high luminance of about 2000 cdZm 2 .
  • the EL panel 130 has a transparent surface 131a on which the subject P is placed and a surface 131b behind the subject P. It consists of a clear casing 131 and a distributed EL element 132 housed in the casing 131.
  • the power source 14 is a power source that applies a driving voltage to the distributed EL element 132.
  • four markers 131c indicating the range of the surface 131b are arranged at the four corners of the surface 131b behind the subject P of the housing 131. These four markers 131c appear in the photographed image together with the subject P at the time of photographing, and are used for correcting the trapezoidal distortion for the photographed image.
  • the dispersion type EL element 132 is formed by sandwiching a phosphor powder in a binder having a high dielectric constant and sandwiched between two sheet-shaped electrodes having a flexible plastic substrate. Sheet-like surface-emitting light source. The distributed EL element 132 emits light when an AC voltage is applied from the power source 14 between the two electrodes.
  • This dispersive EL element 132 is a very thin and light light source having a thickness of several hundreds / zm to lmm, and can be easily installed in a place where there is no room for thickness, such as the inside of the casing 131. I can do it.
  • the dispersive EL element 132 has a slight heat generation at the time of light emission of about 2 ° C, the light emission starting force has a fast response speed to reach the maximum luminance, and the light emission life is almost constant, so that it is planned. It has various performance advantages such as easy replacement, local light emission, resistance to shock and vibration, and low power consumption of 50 WZm 2 (when AC power with a frequency of 50 Hz is applied).
  • the distributed EL element 132 can be manufactured by a simple manufacturing process, so that the manufacturing cost is low! There is also an economic advantage.
  • a general dispersion-type EL element can adjust the emission color to various colors including white by further mixing a plurality of phosphor powders having different emission colors at the time of manufacture.
  • the phosphor powder for color adjustment is not mixed.
  • this dispersed EL element 132 has an emission wavelength of 400 ⁇ ! It will have two or more emission peaks between ⁇ 53 Onm.
  • This light is a light of a color between the blue power and green inherent in the dispersive EL element, and the dispersive EL element 132 in the present embodiment is a blue-green light composed of the above two or more emission peaks. Emits light.
  • blue-green is a complementary color of the skin color of a person
  • the shooting system 1 of this embodiment when shooting a person as a subject, the subject and background in the shot image are highly accurate. A photographed image with a blue-green background can be obtained.
  • phosphor powder for the above color adjustment Although there is a tendency to reduce the luminance of the emitted color at the end, the dispersion type EL element 132 in this embodiment emits light with the original luminance of the dispersion type EL element because such phosphor powder is not mixed. Become.
  • the power supply 14 can adjust the AC voltage applied to the distributed EL element 132 between 50 Hz to 10 kHz with respect to the frequency and between 40 V to 300 V with respect to the magnitude.
  • the luminance of light emitted from the distributed EL element 132 is substantially proportional to the magnitude of the applied AC voltage.
  • the AC voltage is any one of the frequency of 1.2 kHz to l.5 kHz and the magnitude of any of 130 V to 200 V in the power supply 14. It is adjusted to the size, so that the distributed light emission of the EL element 132 luminance force 500cdZm 2 ⁇ 600cdZm of 2! /, is adjusted to the brightness of Zureka!, Ru.
  • photographing with the digital camera 11 is performed in a state where the EL panel 130 is always lit. Further, as described above, the first shooting is performed with the flash light emitting device 12 emitting a flash, and the second shooting is performed with the flash light emitting device 12 turned off. Furthermore, in this photography studio 10, the brightness of the flash emitted by the flash light emitting device 12 is considerably higher than the brightness when the EL panel 130 is lit. As a result, in the first shooting, flashlight with a brightness higher than the brightness of the EL panel 130. Digital camera 11 Side force illuminates the subject P. An image is acquired.
  • the image of the subject P is the shadow side
  • a backlit photographed image in which the image of the background panel 130 is biased and biased to the highlight side is acquired.
  • the personal computer 20 operates as the first embodiment of the background replacement device of the present invention.
  • the personal computer 20 performs an image correction process including correction for the trapezoidal distortion on the two captured images passed from the digital camera 11, and further, based on the corrected captured image.
  • the background replacement process is performed. The image correction process and the background replacement process will be described later.
  • This personal computer 20 has a flexible disk (hereinafter referred to as FD) because of its external configuration. Or a CD-ROM loading slot, and the main unit 210 that has an access function to the FD or CD-ROM loaded in the loading slot, on the display screen 220a according to instructions from the main unit 210 By specifying an arbitrary position on the display screen 220a, the image display device 220 for displaying an image on the keyboard, the keyboard 230 for inputting various information corresponding to key operations to the main unit 210, and the display screen 220a are displayed at that position.
  • FD flexible disk
  • a mouse 240 for inputting an instruction according to an icon or the like, and a small-sized storage medium used for storing a photographed image by a digital camera or the like, and a media drive 250 for accessing the small-sized storage medium are provided. .
  • the printer 30 prints an image sent from the personal computer 20, and the photographing system 1 plays a role of printing a background replacement image created by the personal computer 20 through the background replacement process. .
  • the server 40 stores a plurality of types of backgrounds used in the background replacement process executed by the personal computer 20.
  • the background in Sano 0 is presented to the customer by being displayed on the display screen 220a.
  • the photographing system 1 also displays a background provided via some input storage medium such as the CD-ROM or the small storage medium. Presented to customer through screen 220a. The customer selects a desired background from the backgrounds displayed on the display screen 220a.
  • FIG. 2 is a flowchart showing a work flow to which the embodiment of the background replacement method of the present invention, which is executed in the imaging system of FIG. 1, is applied.
  • the operation shown in the flowchart of FIG. 2 is performed on the premise that the subject P, the digital camera 11, and the flash light emitting device 12 are respectively arranged at appropriate positions in the photographing studio 10.
  • step S101 a voltage is applied from the power supply 14 to the distributed EL element 132, and the EL panel 130 is turned on (step S101).
  • the subject P is shot twice in succession.
  • the flash light emitting device 12 emits a flash with a higher brightness than the illumination of the EL panel 130 in response to an instruction signal transmitted from the digital camera 11, and the subject P is shot in a light-illuminated state by this flash light.
  • Step S102 the second shooting is performed in a state where the flash light emitting device 12 is turned off, that is, in a backlight state by illumination of only the EL panel 130 (step S103).
  • the two photographed images, the follow-light photographed image and the backlight photographed image obtained by the processes of step S102 and step S103, are temporarily stored in the memory in the digital camera 11.
  • steps S101 to S103 described above is a photographing process performed manually by a photo studio clerk or the like performed in the photographing studio 10.
  • step S104 force also has processing power to reach step S110. This corresponds to the first embodiment of the background replacement method of the present invention. To do.
  • step S103 By the process of step S103, the second shooting is performed, and when the captured image obtained by the shooting is stored in the memory in the digital camera 11, the second shooting is performed. Two captured images temporarily stored in the memory are immediately transferred to the personal computer 20. Further, in response to an operation on the personal computer 20, the background desired by the customer is read out from the server 40 or some input storage medium power. (Step S104). Captured image and background acquisition processing power executed in step S104 corresponds to an example of an image acquisition process in the background replacement method of the present invention.
  • a background replacement process described later which creates a background replacement image based on the corrected photographed image, is executed (step S106).
  • the background replacement process executed in step S104 each example of the region distinction process and the background replacement process in the background replacement method of the present invention is executed.
  • step S 106 the image data representing the background replacement image created in the background replacement process (step S 106) is first transferred to the image display device 220 (step S 107), and the image display device In 220, the background replacement image is displayed on the display screen 220a based on the transferred image data (step S108).
  • step S a message is displayed to the operator of the personal computer 20 asking whether the background replacement image currently displayed! Needs to be corrected (step S). 109). If it indicates that it is necessary to correct the response to this message (Yes in step S109), the background replacement image is subjected to image correction described later (step S110).
  • step S110 the operator notifies the background replacement image on the display screen 220a that no correction is necessary! (No determination in step S110) ) Is repeated.
  • a natural background replacement image is finally created by this process. Then, it is transferred to at least one of the image data power printer 30 representing the finally created background replacement image and the output storage medium desired by the customer (step Sl l l). Subsequently, when the image data is transferred to the printer 30, the background replacement image is printed based on the image data in the printer 30 (step S112).
  • Step S104 to Step S111 including one embodiment of the background replacement method of the present invention is processing executed in the personal computer 20, and hereinafter, the personal computer 20 that executes these processing, The explanation will focus on the details of these processes.
  • FIG. 3 is a hardware configuration diagram of the personal computer shown in FIG.
  • the CPU 211 that executes various programs and the program stored in the hard disk device 213 are read out and expanded for execution on the CPU 211 inside the main unit 210.
  • the output interface 217 is connected to the printer 30 and outputs a background replacement image, etc., and these various elements, as well as the image display device 220, keyboard 230, mouse 240, and Media drives 250 that access the small storage media 530 are connected to each other via a bus 260.
  • the CD-ROM 510 described above stores an embodiment of the background replacement program of the present invention for operating the personal computer 20 as an embodiment of the background replacement device of the present invention. .
  • the program stored in the CD-ROM 510 is uploaded to the personal computer 20 and written to the hard disk device 213. Thereby, the personal computer 20 operates as a background replacement device.
  • FIG. 4 is a conceptual diagram showing an embodiment of the background replacement program of the present invention.
  • the CD-ROM 510 shown in FIG. 4 stores a background replacement program 600, which is an embodiment of the background replacement program of the present invention.
  • the background replacement program 600 includes an image acquisition unit 610, an image correction unit 620, a replacement processing unit 630, an image data transfer unit 640, an image display unit 650, and an image correction unit 660.
  • FIG. 5 shows functions when the background replacement program shown in FIG. 4 is installed in the personal computer shown in FIGS. 1 and 3, and this personal computer operates as an embodiment of the background replacement device of the present invention.
  • FIG. FIG. 5 also shows the photographing studio 10, which includes the digital camera 11, the flash light emitting device 12, and the EL panel 130, the printer 30, and the Sano 0, which are also shown in FIG. [0119]
  • the background replacement device 700 shown in Fig. 5 obtains a front-light image and a back-light image captured by the digital camera 11 of the photographing studio 10 under the normal light and the backlight.
  • a background replacement process is performed in which a subject and a background in a backlight image are distinguished based on a backlight image and the background is replaced with a desired background.
  • an image acquisition unit 710, an image correction unit 720, a replacement processing unit 730, an image data transfer unit 740, an image display unit 750, and an image correction unit 760 are provided.
  • the image acquisition unit 710 first receives two captured images taken by the digital camera 11 and delivered from the digital camera 11. Further, the image acquisition unit 710 reads a background desired by the customer from Sano 0 or from an input storage medium 540 such as a CD-ROM or a small storage medium.
  • the CPU 211 of the personal computer 20 substantially includes the input interface 216, the FD drive 214, the CD-ROM drive 215, and the media drive 250 in accordance with the image acquisition unit 610 of the background replacement program 600. Configured by controlling.
  • This image acquisition unit 710 corresponds to an example of an image acquisition unit in the background replacement device of the present invention.
  • the image acquisition unit 710 executes an example of an image acquisition process in the background replacement method of the present invention.
  • the image correction unit 720 performs an image correction process including correction for trapezoidal distortion on the two captured images received by the image acquisition unit 710.
  • the personal computer 20 The CPU 211 is configured to operate according to the image correction unit 620 of the background replacement program 600. Details of the image correction unit 720 will be described later with reference to the accompanying drawings together with details of the image correction processing.
  • the replacement processing unit 730 performs a background replacement process to create a background replacement image based on the two photographed images that have undergone the image correction process in the image correction unit 720.
  • the CPU 211 of the personal computer 20 is configured to operate according to the replacement processing unit 630 of the background replacement program 600. Details of the image correction unit 720 will be described later with reference to the accompanying drawings together with details of the background replacement process.
  • This replacement processing unit 730 corresponds to an example in which both a region distinguishing unit and a background replacement unit in the background replacement device of the present invention are used.
  • the image data transfer unit 740 transmits the image data representing the background replacement image created by the replacement processing unit 730 to at least one of the printer 30 and the output storage medium 550 desired by the customer and the background.
  • the image is transferred to the image display unit 750 of the replacement device 700.
  • This image data transfer unit 740 is substantially the same as the CPU 211 of the personal computer 20 according to the image data transfer unit 640 of the background replacement program 600, the output interface 217, the FD drive 214, the CD-ROM drive 215, and the media. Configured by controlling the drive 250.
  • the image display unit 750 displays the background replacement image based on the image data transferred from the image data transfer unit 740 on the display screen 220a, and is substantially the CPU 211 of the personal computer 20. Is configured by controlling the image display device 220 in accordance with the image display unit 650 of the background replacement program 600.
  • the image correction unit 760 performs the image correction described later on the background replacement image displayed on the display screen 220a in the image display unit 750 in response to the operation of the operator of the background replacement device 700.
  • the CPU 211 of the personal computer 20 operates according to the image correction unit 660 of the background replacement program 600. Details of the image correction unit 760 will be described later with reference to another drawing.
  • the image correction unit 760 corresponds to an example of an image correction unit in the background replacement device of the present invention.
  • FIG. 6 is a diagram showing details of the image correction unit shown by one block in FIG.
  • the elements shown in FIG. 5 are referred to by using the reference numerals in the figure without particular reference to the figure numbers.
  • the image correction unit 720 shown in FIG. 6 includes an image including the correction of the trapezoidal distortion in the follow-up photographed image and the backlight photographed image received by the image obtaining unit 710.
  • the correction processing is executed, and includes a marker detection unit 721, a trapezoidal correction processing unit 722, an effective image cutout unit 723, and a color correction unit 724.
  • FIG. 7 is a schematic diagram showing an example of a follow-light photographed image in which trapezoidal distortion has occurred.
  • FIG. 7 schematically shows a captured image in which a trapezoidal distortion is generated in which the width of the image becomes narrower toward the bottom.
  • the marker detection unit 721 detects the four markers 131c shown in the captured image. Originally, when these four markers 13 lb are connected, a rectangle should be formed. However, in the example of FIG. 7, when four markers 13 lb are connected, a trapezoid is formed due to trapezoidal distortion.
  • the trapezoidal correction processing unit 722 corrects the trapezoidal distortion by appropriately deforming the entire captured image so that the figure formed by connecting the four markers 131c detected by the marker detection unit 721 becomes an original rectangle. To do.
  • FIG. 8 is a schematic diagram showing a state in which the trapezoidal distortion in the follow light image of FIG. 7 is corrected.
  • the photographed image to be used for the background replacement process is desirably only the light emitting surface of the EL panel 130 in terms of ease of distinguishing between the subject and the background.
  • the photographed image to be used for the background replacement process is desirably only the light emitting surface of the EL panel 130 in terms of ease of distinguishing between the subject and the background.
  • the effective image creation unit 723 creates an effective image in which the images outside the effective range E1 determined by the four markers 131c are deleted from the captured image that has undergone the correction processing by the trapezoidal correction processing unit 722.
  • FIG. 9 is a schematic diagram showing an effective image created on the basis of the follow-light photographed image corrected for trapezoidal distortion shown in FIG.
  • the effective image creation unit 723 creates an effective image in which the background of the subject P is only the light emitting surface of the EL panel 130, as shown in FIG.
  • the effective image is subjected to a color correction process such as red-eye correction for a person's eyes or correction of the hue of the entire image.
  • the image correction processing performed by the image correction unit 720 has been described above with reference to the backlight image captured in Figs. 7 to 9.
  • backlight imaging captured together with the backlight captured image is described.
  • the image is also subjected to exactly the same processing as the image correction processing applied to the follow light photographed image.
  • the subject appears to be blacked out, so the processing in the color correction unit 724 is excluded for this backlight photographed image.
  • FIG. 10 is a schematic diagram showing a corrected backlight image that has been subjected to image correction processing by the image correction unit in FIG.
  • the corrected backlight image is an image in which the area of the subject P is biased toward the shadow and the area where the EL panel 130 is reflected as the background is biased toward the highlight. Yes.
  • the light emitting surface of the EL panel 130 is the actual emission color.
  • the backlight image shown in FIG. 10 appears in blue-green, which is the actual emission color of the EL panel 130.
  • the replacement processing unit 730 in FIG. 5 first distinguishes the corrected backlight image from the subject P and the background, and applies the distinction to the corrected backlight image as it is.
  • the replacement processing unit 730 creates a background replacement image by replacing the background in the follow-up photographed image with the background desired by the customer.
  • the details of the replacement processing unit 730 will be described by focusing on the background replacement processing that leads to the creation of the background replacement image from the distinction between the subject and the background in the corrected backlight image.
  • FIG. 11 is a diagram illustrating an example of a corrected follow-light photographed image
  • FIG. 12 is a diagram illustrating an example of a corrected backlight photographed image.
  • FIG. 11 a human subject P 'is shown.
  • the photographed image shown in FIG. 12 was taken with backlighting, the subject P 'area is biased toward the shadow side, and the area where the EL panel 130 is reflected as the background is biased toward the highlight side. It is becoming.
  • the situation around the boundary between the subject P ′ and the background is shown in another figure for area A1 in FIG. 11 and area A2 in FIG. 12 corresponding to area A1 in FIG.
  • FIG. 13 is an enlarged view of area A1 in FIG. 11, and FIG. 14 is an enlarged view of area A2 in FIG.
  • FIG. 13 and FIG. 14 show a state where the background EL panel 130 is visible over the hair of the subject P ′.
  • a portion where the background is visible over a part of the subject is often possible to see a portion where the background is visible over a part of the subject. Such a portion, as shown in the examples of FIGS. It exists around the boundary.
  • FIG. 13 and FIG. 14 are shown in an ideal state where details are shown up to one hair of a person for convenience of explanation.
  • the pixels constituting the image are larger than a minute subject such as a single hair due to the resolution limitation. Therefore, for example, the image of the portion of the background EL panel 130 that can be seen over the hair shown in FIGS. 13 and 14 is composed of the fine color of the subject, the hair, and the background color that appears behind it. Thus, the pixels having the combined color are assembled. For this reason, it is not possible to simply distinguish between the subject and the background.
  • the replacement processing unit 730 in FIG. 5 first replaces the background of the corrected follow-light image as shown in FIG. 11 with the background desired by the customer, for example. Distinguishes the optical image from the subject area, the background area, and the boundary area between these two areas. The The replacement processing unit 730 leaves the subject area in the corrected follow-light photographed image as it is, and replaces the background area with another background desired by the customer.
  • the replacement processing unit 730 distinguishes the boundary region.
  • the replacement processing unit 730 assumes that the color of each pixel is based on the premise that all the pixels in the boundary region in the corrected continuous light image have the composite color as described above. Estimate the subject color and background color that were the basis of the composition of the image, and further estimate the composition ratio of the two. However, the actual boundary region includes pixels having only the background color and pixels having only the subject color in addition to the pixel having the composite color.
  • the replacement processing unit 730 when the pixel to be processed is a pixel having only the background color, a composition ratio in which the ratio of the subject color to the color of the pixel is “0” is estimated, and the pixel to be processed However, if the pixel has only the subject color, the composition ratio is estimated such that the ratio of the subject color to the pixel color is “1”.
  • the replacement processing unit 730 calculates the color of each pixel in the boundary region from the estimated object color and the other background color desired by the customer from the estimated composition ratio. Replace with the synthesized color that is synthesized with. In this process, the color of the pixel having only the background color in the boundary area is replaced with the other background color described above, and the color of the pixel having only the subject color is maintained as it is. The color of the pixel where the background is visible is replaced with the above composite color. As a result of this processing, even if the boundary area includes a portion where the background is visible over a part of the subject, another background desired by the above customer is found over the part of the subject. When it is seen, a natural background replacement image is created.
  • FIG. 15 is a diagram showing details of the replacement processing unit shown by one block in FIG. In the following description, the elements shown in FIG. 5 are referred to by using the reference numerals in FIG.
  • This replacement processing unit 730 executes the background replacement process described above, and creates a mask.
  • the mask creation unit 731 corresponds to an example of a region discrimination unit in the background replacement device of the present invention
  • the combination of the color estimation unit 732 and the background replacement image creation unit 733 is the background replacement device of the present invention.
  • an example of the region distinguishing process in the background replacement method of the present invention is executed by the mask creation unit 731, and the background in the background replacement method of the present invention is obtained by combining the color estimation unit 732 and the background replacement image creation unit 733.
  • An example of a replacement process is performed.
  • the mask creating unit 731 has only a subject mask that defines a range in which only the subject color pixels exist and the background color pixels in the backlight image. Create a background mask that defines the area to be scanned.
  • these two masks are within the range defined by the respective masks, for example, as shown in FIG. Created with a gap.
  • the color estimation unit 732 applies the subject mask and the background mask created by the mask creation unit 731 to the corrected follow-up photographed image. A gap opened between two masks, that is, a boundary region is recognized. Based on the premise that the color of all pixels in this boundary area is a mixed color of the subject color and the background color, the subject color and the background color that make up each pixel color are estimated. In addition, the ratio of both is estimated.
  • the background replacement image creation unit 733 first leaves the area defined by the subject mask as it is in the corrected follow-light photographed image as described above, and uses the area defined by the background mask as the customer. Replace with another desired background. Next, for each pixel in the boundary region, the background color desired by the customer and the subject color estimated by the color estimation unit 732 are combined at the combination ratio estimated by the color estimation unit 732. Find the composite color and replace the color of each pixel with the composite color. As a result, a background replacement image is created in which the background of the corrected follow light image is naturally replaced with another background desired by the customer.
  • Image data power representing background replacement image created in this way Image data transfer in Fig. 5
  • the data is transferred from the unit 740 to each output device or output storage medium 550 (see FIG. 5).
  • FIG. 16 is a diagram showing details of the mask creation unit shown by one block in FIG.
  • the mask creation unit 731 includes a histogram creation unit 73 la, a threshold calculation unit 731b, a background mask setting unit 731c, a subject mask setting unit 73 ld, a background mask reduction unit 73 le, and a subject mask reduction unit 73 If. I have.
  • the histogram creation unit 73 la creates a histogram of the brightness of each pixel constituting the corrected backlight image.
  • FIG. 17 is a diagram showing various examples of histograms regarding the brightness of each pixel constituting the corrected backlight image.
  • Part (a) of Fig. 17 shows that the luminance of each pixel composing the backlight image is divided into a number of luminance ranges, and how many pixels are distributed in each luminance range by frequency.
  • a luminance histogram HI is shown.
  • the horizontal axis HI-1 represents the luminance
  • the vertical axis HI-2 represents the frequency.
  • the above-described direct-light photographed image and backlight-photographed image are coordinates in the RGB color space that define colors with three colors of R (red), G (green), and B (blue). That is, the color of each pixel is represented by the R value, G value, and B value in the R GB color space.
  • the R value, G value, and B value that represent the color of each pixel reflect the brightness of that pixel, so a histogram of the brightness of each pixel that makes up the backlight image is displayed in these R values. , G value, and B value.
  • Part (b) of Fig. 17 shows that the R value of each pixel composing the backlight image is distributed to a large range of R values, and how many pixels are allocated to each range by frequency.
  • the R value histogram H2 is shown, and in part (c) of Fig. 17, the G value of each pixel constituting the backlight image is distributed into a number of ranges of the G value.
  • a G-value histogram H3 showing the frequency with which the pixels have been distributed is shown, and the B value in Fig. 17 shows the B value of each pixel that composes the back-lit image.
  • B-value histogram showing how many pixels were allocated to each range by frequency Ram H4 is shown.
  • the R value is taken on the horizontal axis H2 -1
  • the G value is put on the horizontal axis H3-1
  • the B value histogram H4 shown in part (d) of Fig. 17 the B value is taken on the horizontal axis H4-1.
  • the vertical axis H2-2, H3-2, H4-2 of these three histograms shows the frequency.
  • the background of the subject appears in blue-green, which is the emission color of the EL panel 130. Therefore, the brightness of each pixel of the backlight image is the R value and the G value. , And B values are best reflected in G values. 16 is configured to create a G-value histogram H 3 shown in part (c) of FIG. 17 among the four histograms shown in FIG. RU
  • the threshold calculation unit 731b shown in FIG. 16 calculates the following two thresholds based on the two peaks Pkl and Pk2 in the G value histogram created by the histogram creation unit 73la. As shown in part (c) of FIG. 17, from the shadow side peak Pkl, the first threshold value Sri that is the upper limit of the G value at which the frequency is equal to or higher than the predetermined frequency is calculated at this peak Pk1. In addition, from the peak Pk2 on the highlight side, a second threshold value Sr2 that is the lower limit of the G value at which the frequency is equal to or higher than the predetermined frequency at the peak Pk2 is calculated.
  • the subject mask setting unit 731c shown in FIG. 16 selects a region having a pixel force where the G value is equal to or less than the first threshold Sri among the plurality of pixels constituting the corrected backlight image.
  • the initial mask is set, and the background mask setting unit 731d sets, as the initial background mask, an area composed of pixels whose G value is equal to or greater than the second threshold value Sr2.
  • two types of masks are set based on the two peaks Pkl and Pk2 in the G value histogram H3 created by the histogram creation unit 73la.
  • the shooting studio is illuminated with steady illumination, the backlit image is bright overall, and the two steepnesses in the G-value histogram May not be obtained.
  • FIG. 18 is a diagram showing an example of a histogram different from the example shown in FIG.
  • the histogram H5 shown in Fig. 18 is created as follows, using both the above-mentioned corrected backlight image and the corrected backlight image. It is what is done. First, the ratio of the luminance between the pixels in each set is calculated for all the sets of pixels in the positions corresponding to each other between these two captured images. Then, the ratio of luminance calculated for each group is distributed to a number of ranges, and the histogram H5 is created by showing how many groups are allocated for each range by frequency. In this ratio histogram H5, the horizontal axis H5-1 represents the luminance ratio, and the vertical axis H5-2 represents the frequency. The ratio of the luminance between the pixels forming each set corresponds to an example of the “ratio of brightness between a plurality of captured images” according to the present invention.
  • the brightness of the flash by the flash light emitting device is Ls
  • the brightness that is constantly present in the shooting studio is Lt
  • the brightness of the illumination is Lt
  • the photographed image on the subject or EL panel If the reflectance at the position corresponding to each pixel in the inside is Ri, and the brightness of the light emitted by the EL panel is Le, it is calculated based on the front-lit and back-lit images obtained in this studio.
  • the luminance ratio is expressed by the following equation.
  • the luminance ratio is as follows.
  • the luminance ratio in the subject area does not depend on the position in the subject area, but is a constant value determined based on the specifications of each device in the shooting studio.
  • Ri is the force that becomes the reflectivity of the EL panel. Since the reflectivity is almost constant on the EL panel, the ratio of the luminance in the background area is It can be seen that, regardless of the position in the background area, the constant value is determined based on the specifications of each device in the shooting studio.
  • the initial subject mask and the initial background mask are set based on the two peaks Pkl and Pk2 in the G value histogram H3 shown in part (c) of FIG.
  • FIG. 19 is a diagram showing an area set as the initial subject mask and an area set as the initial background mask in the enlarged view of the backlight image shown in FIG.
  • the hatched portion on the right side in Fig. 19 is the portion where the hair of subject P 'is gathered so that the background cannot be seen in the enlarged view of Fig. 14, and is reflected largely biased to the shadow side by backlighting. Yes, the G value of the pixel in that part is below the first threshold Sri. As a result, the hatched portion on the right side in FIG. 18 is set as the initial subject mask Ml by the subject mask setting unit 731c. [0192]
  • the hatched portion on the left side in Fig. 19 is a portion that is largely biased toward the highlight side, where only the background EL panel 130 is shown in the enlarged view of Fig. 14, and the G value of the pixel in that portion is shown. Is above the second threshold Sr2. As a result, the hatched portion on the left side in FIG. 19 is set to the initial background mask M2 by the background mask setting unit 73 Id.
  • the part that does not belong to either the left or right hatched part is the part where the background is visible over the hair, and the G value of that part exceeds the first threshold value Sri. Is below the second threshold value Sr2.
  • the part that does not belong to either the right or left part in FIG. 19 is left between the initial subject mask Ml and the initial background mask M2, and is left as a boundary region M3 outside both masks. .
  • FIG. 20 is a diagram showing the initial subject mask and the initial background mask shown in FIG. 19, and FIG. 21 shows the corrected subject light image shown in FIG. 11 with the initial subject mask and the initial background mask.
  • FIG. 21 shows the corrected subject light image shown in FIG. 11 with the initial subject mask and the initial background mask.
  • the initial subject mask Ml and the initial background mask M2 are quite close to each other, and the boundary area M3 is very narrow.
  • the position and contour of the subject in the image are substantially the same as the position and contour of the subject in the corrected forward light image.
  • the shooting timing is slightly shifted, the position and outline of the subject may be slightly shifted between the two shot images.
  • the boundary area M3 is narrow, the part where the background is visible through the part of the subject as shown in FIG. May not be completely contained in one of the two masks.
  • the old background remains in the part where the background is visible through part of the subject. There is a possibility that the problem may occur that all the parts are replaced with a new background and a part of the subject is lost.
  • the initial subject mask M1 is reduced in the direction away from the boundary region M3 by the subject mask reduction unit 731e shown in FIG.
  • the subject mask reduction unit 731e shown in FIG.
  • the boundary region M3 is widened, and a portion where the background can be seen through the part of the subject is included more in the boundary region M3.
  • FIG. 22 is a diagram showing how the initial subject mask and the initial background mask shown in FIG. 20 are reduced in the direction away from the boundary region force.
  • the initial subject mask Ml is reduced by moving the contour L1 of the initial subject mask Ml by a predetermined number of pixels in the direction away from the boundary region M3.
  • the initial background mask M2 is reduced by moving the outline L2 of the background mask M2 by a predetermined number of pixels in a direction away from the boundary region M3.
  • 5 pixels are employed as the movement amount of the contours of the two masks.
  • FIG. 23 is a diagram showing the finally completed subject mask and background mask superimposed on the entire corrected follow-light image shown in FIG.
  • the final boundary region M3 ′ includes a considerable portion where the background can be seen through a part of the subject.
  • the region defined by the final completed background mask M2 ′ corresponds to an example of the “background region in the photographed image” referred to in the present invention, and is finally completed as described above.
  • a region obtained by combining the region defined by the subject mask Ml ′ and the above-described final boundary region M3 ′ corresponds to an example of “another region excluding the background region in the photographed image” according to the present invention.
  • the EL panel 130 is located close to the foot of the subject P in the captured image. Will appear darker than above, and the corrected backlight used to create the mask. In some cases, the brightness of the captured image becomes uneven in the height direction. In such a case, peaks corresponding to the background region of the histogram shown in FIG. 17 are dispersed, and it may be difficult to create an accurate background mask.
  • a mask creation unit different from the mask creation unit 731 of the present embodiment, which will be described below, can cope with such a situation.
  • FIG. 24 is a diagram showing a mask creation unit different from the mask creation unit 731 of the present embodiment.
  • the other mask creation unit 731 includes an image division unit 731a, a histogram creation unit 731b, a threshold value calculation unit 731c ', a subject mask setting unit 731d', a background mask setting unit 731e ', and a subject mask reduction.
  • the image dividing unit 731a divides the corrected backlight image as described above.
  • Fig. 25 is a diagram showing a state where the corrected backlight image is divided.
  • FIG. 25 shows a state where the corrected backlight image is divided into three in the height direction. As described above, the uneven brightness in the corrected backlight image appears in the height direction of the image. Therefore, the brightness is relatively uniform inside each of the three small areas Arl, Ar2, Ar3 obtained by the division in the height direction.
  • the histogram creation unit 731b shown in Fig. 24 creates a histogram for each of the three small regions Arl, Ar2, Ar3.
  • FIG. 26 is a diagram showing an example of a histogram created for each of the three small regions Arl, Ar2, Ar3 shown in FIG.
  • Part (a) in Fig. 26 shows a histogram H6 of G values corresponding to the uppermost small area Arl in Fig. 25, and Part (b) shows the middle small area Ar2 in Fig. 25. A histogram H7 of G values corresponding to is shown. Part (c) shows a histogram H8 of G values corresponding to the lowermost area Ar3 in FIG. As shown in FIG. 26, in the histograms created for each of the three small areas Arl, Ar2, and Ar3, the peak corresponding to the background area appears with a sharpness that can be distinguished on the highlight side.
  • the threshold calculation unit 731c ′ shown in FIG. 24 uses the threshold and background region for distinguishing the subject region from other regions as described above for each of the three histograms shown in FIG. Calculate the threshold to distinguish the area from other area forces.
  • each of the subject mask setting unit 731d 'and the background mask setting unit 731e' uses the threshold value calculated by the threshold calculation unit 731c 'for each of the three small regions Arl, Ar2, Ar3 as described above.
  • the initial subject mask and initial background mask are set.
  • Each of the subject mask reduction unit 73 If ′ and the background mask reduction unit 73 lg ′ reduces the initial subject mask and the initial background mask set for each of the three small areas Arl, Ar2, and Ar3, respectively. Create a subject mask and a background mask.
  • the subject mask composition unit 73 lh composes the subject masks created for each of the three small areas Arl, Ar2, Ar3, and completes the final subject mask corresponding to the entire backlight image.
  • the background mask composition unit 731i also composes the background mask created for each of the three small areas Arl, Ar2, Ar3, and completes the final background mask corresponding to the entire backlight image. .
  • a corrected backlight image is divided into small areas with relatively uniform brightness, and a subject mask and a background mask are created for each small area. After that, the respective masks are combined to complete the final subject mask and the background mask.
  • Such a process makes it possible to create an accurate mask even if the brightness of the corrected backlight image used for mask creation is uneven in the height direction.
  • the force shown in the example in which the number of divisions is three is not limited to three. good.
  • FIG. 27 is a diagram showing details of the color estimation unit indicated by one block in FIG.
  • the color estimation unit 732 includes a background color estimation unit 732a, a subject color estimation unit 732b, and a synthesis ratio estimation unit 732c.
  • FIG. 28 is a diagram showing details of the background color estimation unit shown by one block in FIG.
  • the background color estimation unit 732a performs the above-described final processing in the corrected continuous light image. For each pixel in the boundary region, the background color constituting the color of the pixel is estimated.
  • the search range setting unit 732a-1, the background region confirmation unit 732a-2, and the background color calculation unit 732a-3 It has.
  • the background color estimation unit 732a places the pixel in the vicinity of the pixel to some extent from the pixels in the region defined by the background mask. A plurality of pixels are searched, and an average color of the searched pixels is obtained as a background color for the pixels.
  • Search range setting section 732a-1 sets a square search range centered on a pixel whose background color is estimated as follows.
  • FIG. 29 is a diagram illustrating a state in which a search range is set around a pixel when a background color is estimated for the pixel.
  • the search range setting unit 732a-1 In setting the search range for a certain pixel G in the boundary region, the search range setting unit 732a-1 first gradually starts from a predetermined square initial range T1 centered on the pixel G. Extend the search range. Then, the search range setting unit 732a-1 stops the expansion when the pixel of the region defined by the background mask M2 ′ exceeds the predetermined number and is included in the search range, and the search range T1 ′ at that time Is set as the search range for background color estimation.
  • the background region confirmation unit 732a-2 shown in Fig. 24 uses V for the pixel G as a region to be used for estimating the background color. Check the following areas:
  • FIG. 30 is a diagram showing an example of a region used for estimating a background color for a certain pixel.
  • the area used for estimating the background color for pixel G is an area defined by the background mask in the corrected follow light image, and the search range. A region B1 within the search range T1 ′ set by the setting unit 732a-1 is confirmed.
  • the background color calculation unit 732a-3 shown in Fig. 28 calculates the average of a plurality of pixels in the region B1. Color That is, the average value of each of the R value, G value, and B value of a plurality of pixels is calculated. The color represented by the calculation result is adopted as the background color for the pixel G.
  • the background color estimation unit 732a described above executes the above processing until the setting power of the search range reaches the calculation of the average color for all pixels in the boundary region in the corrected continuous-light image. .
  • FIG. 31 is a diagram showing details of the subject color estimation unit shown by one block in FIG.
  • the subject color estimation unit 732b estimates the subject color that constitutes the color of each pixel in the final boundary area in the corrected follow light image. And a search range setting unit 732b-1, a subject region confirmation unit 732b-2, a pixel color confirmation unit 732b-3, and a subject color search unit 732b-4.
  • the subject color estimation unit 732b estimates the subject color for a certain pixel in the boundary region
  • the subject color estimation unit 732b is located near the pixel to some extent from the pixels in the region defined by the subject mask. A plurality of pixels are searched, and a subject color for the pixel is searched for from among the searched pixels by a search method described later.
  • the search range setting unit 732b-1 sets a square search range centered on a pixel whose subject color is estimated as follows.
  • Fig. 32 is a diagram showing how a search range is set around a pixel when the subject color is estimated for the pixel.
  • the search range setting unit 732b-1 In setting the search range for a certain pixel G in the boundary region, the search range setting unit 732b-1 first starts from a predetermined square initial range T2 centered on the pixel G and gradually increases. Extend the search range. Then, the search range setting unit 732b-1 stops the expansion when the pixels in the region defined by the subject mask Ml ′ exceed the predetermined number and are included in the search range, and the search range T2 at that time Set 'as the search range for subject color estimation.
  • FIG. 33 is a diagram showing an example of a region used for estimating the subject color for a certain pixel.
  • the area used for estimating the subject color for pixel G is the area defined by the subject mask in the corrected follow light image, and the search range setting. A region B2 within the search range T2 ′ set by the part 732b-1 is confirmed.
  • the subject color search unit 732b-4 shown in FIG. 31 searches for the subject color for the pixel G from the colors of the plurality of pixels in the region B2 by the following search method. To do.
  • FIG. 34 is a diagram showing a search method when searching for a subject color for a certain pixel in a boundary region in a corrected follow light image.
  • FIG. 34 shows the background color C1 estimated by the background color estimation unit 732a in FIG. 27 and the pixel color confirmation unit 732b in FIG. 27 for a certain pixel in the boundary area in the corrected continuous light image.
  • the line CL1 that connects the color C2 of the pixel confirmed in —3 in the RGB color space is shown.
  • the color of the pixels in the boundary region in the corrected continuous light image is a composite in which the background is seen through a part of the subject at the time of shooting, and the background color and the subject color are combined. It may be a color. If the color of the pixel for which the subject color is to be searched for is a composite color, the color C2 of the pixel that is the composite color and the background color C1 that is the origin of the color C2 The subject color is arranged on a straight line in the RGB color space.
  • the subject color search unit 732b-4 shown in FIG. 31 first searches for the color C3 arranged on the extended line of the straight line CL1 from the colors of the plurality of pixels in the region B2.
  • the subject color estimation unit 732b described above executes the processing until the search range setting power and the subject color search described above for all the pixels in the boundary region in the corrected continuous light image. .
  • the composition ratio estimation unit 732c converts the background color C 1 estimated by the background color estimation unit 732a and the subject color C4 estimated by the subject color estimation unit 732b into RGB colors.
  • the ratio of the length of the line connecting the background color C1 and the color C2 of the pixel to the length of the line connected in space is combined with the color C2 of the pixel using the background color C1 and the subject color C4. Calculate as the combined ratio oc.
  • the composition ratio estimation unit 732c performs the calculation of the composition ratio ⁇ for all the pixels in the boundary region in the corrected follow light image.
  • the background replacement image creation unit 733 first leaves the area defined by the subject mask in the corrected follow-light photographed image as it is and defines it by the background mask. Replace the area with another background desired by the customer.
  • the background replacement image creation unit 733 uses the color estimation unit 732 to calculate the background color desired by the customer and the subject color estimated by the color estimation unit 732.
  • a composite color is obtained by combining with the estimated composite ratio.
  • Fig. 35 is a diagram showing a state in which a composite color is obtained for a certain pixel in a boundary region in a corrected follow light photographic image.
  • FIG. 35 shows a straight line CL1 shown in FIG. 34 that connects the estimated background color C1, the color C2 of the pixel, and the estimated subject color C4 in the RGB color space.
  • the pixel color C2 is a point that divides a straight line connecting the background color C1 and the subject color C4 at a composition ratio oc: (1 composition ratio ⁇ ). Therefore, the background replacement image creation unit 733 is shown in FIG. As shown, a point that divides a straight line CL2 connecting another background color C5 and the estimated subject color C4 with a composition ratio a: (1 composition ratio ex) is adopted as the composition color C6.
  • the background replacement image creation unit 733 assigns the colors of all the pixels to each pixel. V. By replacing the composite color obtained as described above, a background replacement image in which the background of the corrected follow light image is replaced with another background desired by the customer is completed.
  • the boundary area in the corrected continuous light image is occupied only by the subject other than the portion where the background is visible over a part of the subject. Parts that are occupied by the background or only occupied by the background.
  • the color of the pixel in the portion occupied only by the subject is the color of the subject itself, and even if the background is replaced with another background, the color of that pixel needs to be maintained. Also, the color of the pixel that is occupied only by the background is the color of the background itself, and when the background is replaced with another background, the color of that pixel must be completely replaced with that other background color. There is.
  • the pixel for which the background color, the subject color, or the composition ratio is to be estimated is a pixel of a portion occupied only by the subject, such as the region B2 shown in FIG.
  • the color of most pixels in the area used for estimating the subject color is the same as the color of the subject itself as the color of the pixel to be estimated.
  • the composition ratio a is almost “1”
  • the composition color is obtained based on the composition ratio a, and therefore the color of the pixel.
  • the color of the subject itself is maintained.
  • the color of the pixel is the background color estimated for the pixel.
  • the composition ratio ⁇ is almost “0”, and when the background is replaced, the color of that pixel is completely changed to another background color based on this composition ratio a. Will be replaced.
  • the composition ratio ⁇ when the background color, the subject color, or the pixel for which the composition ratio is to be estimated is a pixel where the background is visible over a part of the object, the composition ratio ⁇ The force will have a value between “0” and “1”, and when the background is replaced, the subject color and another background color Composition is performed to create a background replacement image.
  • FIG. 36 is a diagram showing an example of the background replacement image.
  • FIG. 36 is an enlarged view of the same part as area A1 in FIG. 11 in the background replacement image created by replacing the background of the corrected follow light image shown in FIG. 11 with another background. An enlarged view is shown.
  • the background replacement image created by the background replacement image creation unit 733 is an image in which the color of the pixel in the boundary region is replaced with the above-described composite color. As shown in Fig. 36, it is recognized that another substituted background TB is transparent through the hair of the subject P '.
  • the initial subject mask Ml and the initial background mask M2 created based on the corrected backlight image are the subject mask reduction unit 73 le shown in FIG.
  • the subject mask Ml ′ and the background mask M2 ′ are completed by reducing the distance from the boundary region by 5 pixels by the If mask reduction unit 73 If.
  • the background and part of the subject can be seen through the subject image due to misalignment of the subject's position and contour that may occur between the corrected continuous-light image and the corrected backlight image. This avoids the problem that the part where the is visible is out of the boundary region force.
  • an image correcting unit 760 (see FIG. 5) is provided to correct such an unnatural part in the background replacement image and finally obtain a natural background replacement image.
  • FIG. 37 is a diagram showing details of the image correction unit 760 shown by one block in FIG. In the following description, the elements shown in FIG. 1 and FIG. Reference by sign.
  • FIG. 37 in addition to the image correcting unit 760, the subject mask reducing unit 731e and the background mask reducing unit 73 If shown in FIG. 16 are also shown.
  • the image correction unit 760 shown in Fig. 37 corrects the unnatural part as described above in the background replacement image displayed on the display screen 220a, and includes a correction reception unit 761 and a correction value input unit.
  • the display screen 220a displays a message asking whether or not the background replacement image needs to be corrected together with the background replacement image.
  • the correction reception unit 761 It accepts instructions from that operator.
  • the correction value input unit 762 causes the display screen 220a to display an input screen for inputting the following correction value.
  • a new reduction amount instead of the reduction amount of 5 pixels for each mask in the subject mask reduction unit 731e and the background mask reduction unit 731f also shown in FIG. 16 is treated as the correction value.
  • This reduction amount is set to a value of 5 pixels or more.
  • the keyboard 230 and the mouse 240 are input by operating the reduction amount force operator. Then, the correction value input unit 762 passes the input reduction amount to the subject mask reduction unit 731e and the background mask reduction unit 731f.
  • Each of the subject mask reduction unit 731e and the background mask reduction unit 731f reduces the initial subject mask Ml and the initial background mask M2 by the reduction amount passed from the correction value input unit 762 instead of 5 pixels. This creates a new subject mask and background mask that are narrower than when the reduction amount is 5 pixels. As a result, the boundary area expands, and the portion where the background is visible through a part of the subject is included in the boundary area more than when the reduction amount is 5 pixels.
  • the replacement instruction unit 763 instructs each part of the replacement processing unit 730 to perform background replacement processing using the new subject mask and background mask.
  • the new background replacement image created by this replacement processing is displayed on the display screen 220a.
  • the above-described image correction by the image correction unit 760 is repeated until the above-described unnatural portion is not recognized in the background replacement image displayed on the display screen 220a.
  • the brightness differs greatly between the background and the subject in the image.
  • the background and the subject in the corrected backlight image are distinguished. For this reason, when the background of this corrected forward-light image is replaced with another background, a part of the subject is accidentally replaced with the background, or the old background appears in the background replacement image.
  • the background replacement image in which the background is naturally replaced with the desired background can be created by suppressing problems such as the remaining image.
  • the boundary region between the subject region and the background region in the corrected continuous light photographed image is recognized, and when the background is replaced, Is replaced with a composite color in which another background color to be replaced and the subject color are appropriately combined.
  • a background replacement image in which the background is more naturally replaced is created by modifying the background replacement image in which the background is replaced with a desired background. can do.
  • the image correction unit that handles the reduction amount for the initial subject mask and the initial background mask as the correction amount for the background replacement image.
  • the power described with reference to 760 The present invention is not limited to this.
  • the image correction unit of the present invention may be as follows, for example.
  • FIG. 38 is a diagram showing an image correction unit different from the image correction unit shown in FIG.
  • the image correction unit 810 shown in FIG. 38 includes a correction value input unit 811 as follows.
  • the initial subject mask and the initial background mask are set based on the two threshold values Sri and Sr2 calculated from the G-value histogram H3 that has been corrected for the backlight photographing image force. . That is, among the plurality of pixels constituting the corrected backlight image, an area having a pixel force where the G value is equal to or smaller than the first threshold value Sri is set as the initial subject mask, and the G value is set to the second threshold value Sr2. The region with the above pixel power is set as the initial background mask.
  • two new threshold values replacing the two threshold values Sri and Sr2 calculated from the G value histogram H3 are treated as correction values, and the initial subject mask is set.
  • a threshold value that is equal to or less than the first threshold value Sri is set
  • a threshold value that is equal to or greater than the second threshold value Sr2 is set.
  • the two threshold values handled as the correction values in the image correction unit 810 correspond to an example of the “discrimination criterion” in the present invention.
  • the correction value input unit 811 displays on the display screen
  • these two threshold values are input by the operation of the keyboard 230 and the mouse 240 by the operator.
  • the correction value input unit 762 passes the two input thresholds to the subject mask setting unit 731c and the background mask setting unit 731d, which are also shown in FIG.
  • the subject mask and initial background mask are set.
  • the final two masks are also new, and in the boundary area between them, the part where the background is visible through the part of the subject is transparent, using the original two initial masks. It will be included more than when it was.
  • the subject color and the composition ratio a are determined for a certain pixel in the boundary area.
  • the search range set at the time of estimation is a range centered on the pixel, and a range including a predetermined number of pixels in the region defined by the subject mask Ml ′. Therefore, the search range becomes wider as the position of the region force pixel defined by the subject mask Ml ′ increases.
  • a search range setting method different from the present embodiment in which such an expansion of the search range is suppressed will be described.
  • the subject color and the composition ratio OC are estimated from pixels in the boundary region that are close to the region defined by the subject mask Ml '.
  • Fig. 39 is a schematic diagram showing a state in which estimation of the subject color and the composition ratio a is executed from pixels close to the region defined by the subject mask Ml '.
  • the search range is set using the apparent contour (dotted line L3 'in the figure) that has advanced into the boundary region.
  • FIG. 40 is a schematic diagram showing how the search range is set using the apparent contour.
  • the pixel G that estimates the subject color and the composition ratio ex is the center, and the subject side is closer to the apparent contour (dotted line L3 'in the figure).
  • the range in which the area includes more than a predetermined number of pixels is set as the search range T2 ".
  • the search range T2 the subject color is estimated in the area B2 'closer to the subject than the apparent contour. Executed. For this estimation, the subject color already estimated for the pixels closer to the subject than the apparent contour is used as a candidate for estimation.
  • a subject mask that defines the area occupied by the subject in the captured image
  • a background mask that defines the area occupied by the background.
  • the background replacement device of the present invention for example, creates only the background mask as described below, and performs background replacement in a corrected follow light image using only this background mask. There may be.
  • a region excluding the region defined by the background mask is defined based on the corrected follow light image.
  • a non-background mask is created.
  • the area defined by the non-background mask is a combination of the area defined by the subject mask and the boundary area.
  • the background color, the subject color, and the combination ratio of both are estimated.
  • the background color here is estimated by the same method as the estimation method performed by the background color estimation unit 732a shown in FIG. 27, and redundant description of the background color estimation is omitted. In the following, the description will be given mainly focusing on the subject color estimation method.
  • Fig. 41 shows how a search range is set around a pixel in a corrected follow light image when a subject color is estimated for a pixel in an area defined by a non-background mask.
  • FIG. 41 the region obtained by combining the region defined by the subject mask Ml ′ force S and the boundary region M3 shown in FIG. 22 is given as an example of the region defined by the non-background mask M4.
  • the area defined by the non-background mask M4 corresponds to an example of “an area other than the background area in the photographed image” according to the present invention.
  • FIG. 42 is a diagram showing an example of a region used for estimating the subject color for a certain pixel.
  • the area used for estimating the subject color for the pixel G is an area defined by a non-background mask in the corrected follow light image, and the above-mentioned A region B3 within the search range T3 ′ set as described above is confirmed.
  • the region B3 used for estimating the subject color for the pixel G is confirmed, the color of the pixel G is first confirmed, and then, a plurality of pixels in the region B3 are described.
  • the subject color for the pixel G is searched from among the colors by the following search method.
  • FIG. 43 is a diagram showing a search method when searching for a subject color for a certain pixel in a region defined by a non-background mask in a corrected follow light image.
  • Figure 43 shows a straight line CL3 that connects the estimated background color C7 and the color C8 of the pixel in the RGB color space for a pixel in the boundary area of the corrected continuous-light image. Has been.
  • the boundary region as described above is included in the region defined by the non-background mask in the corrected follow light image.
  • This boundary area may include a part where the background is visible over a part of the subject, and the color of the pixel in such a part is a composite color that combines the background color and the subject color. It has become. If the color of the pixel for which the subject color is being searched for is such a composite color, the color C8 of the pixel that is the composite color and the background color C7 that is the origin of the color C8 And subject color are the same in the RGB color space.
  • the color C9 arranged on the extended line of the straight line CL3 is searched from among the colors of the plurality of pixels in the region B3. If there are multiple such colors C9, One of the colors C9 is used as the subject color.
  • the region defined by the non-background mask includes pixels having colors other than the subject color, such as pixels having the above-described composite color and pixels having only the background. For this reason, among the plurality of colors C9 described above, it is highly likely that the subject color is the source of the color C8 of the pixel together with the color power background color C7 farthest from the pixel color C8.
  • the background color C7 estimated by the background color estimation unit 732a and the subject color C10 estimated by the subject color estimation unit 732b are obtained.
  • the ratio of the length of the line connecting the background color C7 and the color C8 of the pixel to the length of the line connecting the R GB color space is the pixel color C8 between the background color C7 and the subject color C10.
  • the processing up to the calculation of the search range setting force composition ratio described above is defined by the non-background mask in the corrected backlight image. This is executed for all pixels in the region to be processed.
  • the area defined by the background mask in the corrected follow-light image is another background desired by the customer. Is replaced by Next, for all pixels in the area defined by the non-background mask in the corrected continuous light image, the composite color is obtained by the method described with reference to FIG. 31 above, and the non-background mask is used. The color of all pixels in the defined area is replaced with the composite color, and the background replacement image is completed.
  • the composition ratio ⁇ is almost “1”, and the background is replaced even when the background is replaced. The color of the subject itself in the pixel is maintained.
  • the composition ratio a is almost “0”, and when the background is replaced, the color of the pixel is Completely replaced with another background color.
  • the background replacement using only the background mask described with reference to FIGS. 41 to 43 is the same as the imaging system 1 described with reference to FIGS. 1 to 36 above. In addition, it is possible to create a background replacement image in which the background in the captured image is naturally replaced with the desired background.
  • the subject color can be estimated in substantially the same manner.
  • the area B2 shown in FIG. 33 used for estimating the subject color is narrower than the area B3 shown in FIG. 40 used in the latter method! Therefore, depending on the situation of the captured image, the former method may not find a candidate for the subject color such as the color C 3 arranged on the extension line of the straight line CL1 shown in FIG.
  • the object color is estimated by background replacement using both the subject mask and the background mask.
  • the subject color candidate has the power to see, the background color is estimated.
  • An estimation method can be considered when the subject color is estimated by background replacement using only the mask, and the candidate color candidate is searched from the region B3 shown in FIG. 40, which is wider than the region B2 shown in FIG.
  • the subject color and the composition ratio oc are estimated by each of the above two methods, only the composition ratio a obtained by V or the difference method is close to "0" or "1". In such a case, the accuracy of the estimation by that method is likely to be lower than the accuracy of the estimation by the other method for some reason. Therefore, the subject color and the composition ratio ⁇ are estimated by each of the above two methods, and the combined force of one of the two composition ratios is less than the predetermined first threshold value close to “0”. Thus, if the power is close to “1” and is equal to or greater than a predetermined second threshold value, a method of adopting a subject color corresponding to another composition ratio OC may be considered.
  • the average color of the two types of subject colors estimated by each of these two types of methods is used as the subject color. It is possible to adopt this method.
  • the background replacement device of the present invention has, for example, a plurality of replacement backgrounds desired by the customer. It is also possible to use the following configuration that can efficiently deal with such a plurality of replacement backgrounds.
  • FIG. 44 is a diagram showing a replacement processing unit different from the replacement processing unit 730 shown in FIG. 15, in which a device capable of efficiently dealing with a plurality of replacement backgrounds is provided.
  • components equivalent to those in FIG. 15 are assigned the same reference numerals as in FIG. 15, and duplicate descriptions are omitted.
  • Another replacement processing unit 730 ′ shown in FIG. 44 has a configuration in which a storage unit 734 for storing the estimated subject color and the composition ratio ex is added to the replacement processing unit 730 shown in FIG. It has become.
  • the storage unit 734 corresponds to an example of the storage unit in the present invention.
  • a background mask and a subject mask are created in the mask creation unit 731 for the photographed image, and the subject color and the composition ratio ⁇ are obtained in the color estimation unit 732.
  • the background replacement image creation unit 733 ′ uses the background mask, the subject mask, the subject color, and the composition ratio stored in the storage unit 734 for the background replacement image.
  • the color correction unit 724 that performs the color correction processing on the color of the effective image created based on the follow light photographed image in the image correction unit 720 has been described.
  • the present invention is not limited to this.
  • the background replacement device of the present invention may be a replacement processing unit that performs color correction processing on the estimated subject color, as will be described below, instead of such effective image colors. ,.
  • FIG. 45 is a diagram showing a replacement processing unit different from the replacement processing unit 730 shown in FIG. 15, which includes a color correction unit that performs color correction processing on the estimated subject color.
  • the same components as those in FIG. 15 are denoted by the same reference numerals as those in FIG.
  • Another replacement processing unit 730 "shown in FIG. 45 includes, in addition to the replacement processing unit 730 shown in FIG. 15, a parameter determination unit 735 that determines correction parameters used for color correction for the object color, and a meter.
  • a color correction unit 736 that performs color correction on the subject color using the correction parameters determined by the determination unit 735 is added, where the parameter determination unit 735 in FIG. This corresponds to an example in which the first parameter determination unit, the second parameter determination unit, the third parameter determination unit, and the fourth parameter determination unit are combined in the present invention, and the color correction shown in FIG.
  • the unit 736 corresponds to an example of the first color correction unit, the second color correction unit, the third color correction unit, and the fourth color correction unit according to the present invention.
  • the color correction unit 736 determines the subject area. Color and white balance for the color within the defined area and the estimated subject color
  • a correction parameter (setup parameter) force parameter determining unit 735 used for the setup is determined.
  • the parameter determination unit 735 shown in FIG. 45 has a function for determining the setup parameter based on the effective image generated based on the follow light image by the effective image generation unit 723, and the color A function that determines the setup parameter based on a part other than the background in the image in which the color in the boundary region is replaced with the subject color estimated by the estimation unit 732, and a function that determines the setup parameter as a parameter corresponding to the operation. And a function for determining the setup parameters based on the background for replacement. Which of these four types of functions is used to determine the setup parameter is determined by the operator's operation via the operation screen (not shown). Then, the setup force using the setup parameter determined by the parameter determination unit 735 is applied to the color within the region defined by the subject region and the estimated subject color.
  • the white balance power at the time of shooting with the digital camera 11 1 may be affected by the light blue color of the EL panel 130. .
  • the face of a person appears more pale than it actually is.
  • the color correction unit 736 shown in FIG. 45 it is possible to correct the color of the person's face or the like and to correct the color.
  • the replacement background stored in the server 40 has a relative positional relationship between the subject and the background in the image and the background in the image.
  • the relative size of the subject and the relation information indicating the relative relation are given.
  • the background replacement image creation unit 733 "in FIG. 45 creates the relative background relationship between the subject and the background in the background replacement image when creating the background replacement image using the replacement background desired by the customer.
  • the background replacement image is created so that the relative relationship is the same as the relative relationship given to the replacement background desired by the customer, such as the position of the subject in the background replacement image, It is possible to obtain a background replacement image in which the naturalness of the appearance is enhanced with the natural size and position relative to the background.
  • the second embodiment differs from the first embodiment in the configuration of the shooting studio in the shooting system, the shooting process performed in the shooting studio, and the background replacement process performed in the personal computer. ing.
  • the second embodiment will be described by focusing on the differences from the first embodiment, and other points that are the same as the first embodiment will be denoted by the same reference numerals in the drawings and redundant description will be given. Omitted.
  • Fig. 46 is a diagram showing an imaging system to which the second embodiment of the background replacement device of the present invention is applied.
  • the shooting system 1001 shown in Fig. 1 distinguishes between a shooting studio 1010 for shooting a subject and obtaining a shot image, and the subject and background in the shot image, and setting the background in the shot image as a desired background.
  • a personal computer 20 that operates as a second embodiment of the background replacement device of the present invention to create a background replacement image by replacing, a printer 30, and a server 40 are provided.
  • the photography studio 1010 includes a digital camera 1011, a flash light emitting device 12, an EL (electroluminescence) panel 1130, and a power source 14 for the EL panel.
  • the digital camera 1011 has a continuous shooting function. When the photographer presses the shirt button once, the digital camera 1011 automatically shoots the subject P three times in a short time. Shooting obtained by each shooting The power that shadow images are temporarily stored in the memory of the digital camera 1011 In the shooting system 1001, the digital camera 1011 is connected to the personal computer 20, and when the three shots are completed, The captured image obtained by shooting is immediately sent to the personal computer 20.
  • a panel lighting control circuit 11a and a flash control circuit l ib described later are attached to the digital camera 1011.
  • the digital camera 1011 is connected to the power source 14 via the panel lighting control circuit 11a. Connected to the flash light emitting device 12 via the flash control circuit l ib.
  • the digital camera 1011 first sends a panel lighting instruction signal to the power source 14 for the EL panel 1130 to instruct the EL panel 1130 to light up.
  • a flash instruction signal for instructing the flash light emitting device 12 to emit a flash light is transmitted to the flash light emitting device 12.
  • the panel lighting control circuit 11a blocks the panel lighting instruction signal that is sent every time the digital camera 1011 performs the above-described continuous shooting at the time of the first shooting, and at the time of the second and third shooting. Let it pass.
  • the flash control circuit l ib passes the flash instruction signal during the first and second shooting, and shuts off during the third shooting.
  • the panel lighting instruction signal is first input to the power supply 14, Subsequently, a flash instruction signal is input to the flash light emitting device 12, and only a panel lighting instruction signal is input to the power source 14 at the time of the third photographing.
  • the flash light emitting device 12 receives a flash instruction signal from the digital camera 1011, and emits a flash to the subject P. As described above, a flash instruction signal is input to the flash light emitting device 12 only during the first and second shootings in the digital camera 1011. As a result, the flash light emitting device 12 emits a flash only during the first and second shooting, and remains off during the third shooting.
  • the EL panel 1130 includes a housing 131 in which a placement surface 131a on which the subject P is placed and a surface 131b behind the subject P are transparent, and a distributed EL element 1132 housed in the housing 131.
  • the power source 14 is a power source that applies a driving voltage to the distributed EL element 1132.
  • the power supply 14 is connected to the digital camera 1011 during continuous shooting. Panel lighting instruction signal is input during the 3rd and 3rd shooting. As a result, the power supply 14 turns on the EL panel 1130 during the second shooting. In addition, when a panel lighting instruction signal is input during the third shooting, the power supply 14 keeps the EL panel 1130 that is already lit on.
  • a general dispersion-type EL element can be adjusted to various colors including white by further mixing a plurality of phosphor powders having different emission colors at the time of manufacture.
  • the emission color is adjusted by the red phosphor powder.
  • the color of the EL panel 1130 is light red when the light is turned off, and becomes blue adjusted to the blue-green color that is the light emission color of the distributed EL element when light is emitted.
  • shooting with the digital camera 1011 is performed with the EL panel 1130 turned off and the flash light emitting device 12 emitting flash as described above.
  • the second shooting is performed with the EL panel 1130 lit and the flash light emitting device 12 emitting a flash
  • the third shooting is performed with the EL panel 1130 lit and the flash light emitting device 12 turned off.
  • the brightness of the flash emitted by the flash light emitting device 12 is considerably higher than the brightness when the EL panel 1130 is turned on.
  • the subject P force S is taken in a bright light with a high-intensity flash and the digital camera 1011 side force also illuminates the subject P.
  • a captured image is acquired.
  • the EL panel 1130 emits light red when it is turned off and emits blue light when it is turned on.
  • the follow-up photographed image corresponding to the first shot appears in a light red background
  • the follow-up shot image taken in the second shot appears in a blue background.
  • These two follow light images having different background colors are examples of “a plurality of photographed images obtained by photographing a common subject under each of a plurality of photographing conditions having different background colors” according to the present invention. It corresponds to.
  • the image of the subject P is biased to the shadow side and the image on the background panel 130 is on the no-light side and the illuminating side by shooting in the backlit state where only the light from the EL panel 1130 illuminates the subject P from behind.
  • a backlit photographed image is obtained.
  • three continuous shots including two follow-up shot images with different background colors and one backlight shot image are obtained by continuous shooting by the digital camera 1011.
  • FIG. 47 is a flowchart showing the work flow to which the second embodiment of the background replacement method of the present invention is applied, which is executed in the imaging system of FIG.
  • the work shown in the flowchart of FIG. 47 is that the subject P, the digital camera 1011, and the flash light emitting device 12 are arranged at appropriate positions in the shooting studio 1010, and the EL panel 1130 is turned off. It is done as a premise.
  • the flash light emitting device 12 emits a flash in response to a flash instruction signal transmitted from the digital camera 1011, and the subject P is shot in a forward-lighted state by this flash (step S201).
  • the EL panel 1130 remains off, and the color is light and red!
  • the EL panel 1130 is turned on in response to the panel lighting signal transmitted from the digital camera 1011 (step 3202).
  • the flash light emitting device 12 emits a flash in response to the flash instruction signal transmitted from the digital camera 1011, and the subject P is photographed in the following light state by the flash (step S203).
  • the EL panel 1130 emits blue light.
  • the subsequent third shooting is performed in a state where the flash light emitting device 12 is turned off, that is, in a backlight state by illumination of only the EL panel 1130 (step S204).
  • the three captured images which are the two captured images with different background colors obtained by the processing of step S202 and step S203, and the captured image with backlight are temporarily stored in the memory in the digital camera 1 011. Stored.
  • step S205 the processing power from step S205 to step S207 corresponds to the second embodiment of the background replacement method of the present invention.
  • the third shooting is performed by the processing in step S204, and when the captured image obtained by the shooting is stored in the memory in the digital camera 1011, the third shooting is performed. Three captured images temporarily stored in the memory are immediately passed to the personal computer 20. Further, in response to an operation on the personal computer 20, the background desired by the customer is read out from the server 40 or some input storage medium power (step S205). Captured image and background acquisition processing power executed in step S205 corresponds to an example of an image acquisition process in the background replacement method of the present invention.
  • a background replacement process which will be described later, is performed to create a background replacement image based on the corrected photographed image (step S207).
  • the background replacement process executed in step S207 each example of the region distinction process, the mixed state estimation process, and the background replacement process in the background replacement method of the present invention is executed.
  • the image data representing the background replacement image created in the above background replacement processing is first transferred to the image display device 220, and further for the printer 30 and the output desired by the customer. It is transferred to at least one of the storage media (step S208). Subsequently, in the image display device 220, the background replacement image is displayed on the display screen 220a based on the transferred image data (step S209), and further, when the image data is transferred to the printer 30. In the printer 30, a background replacement image is printed based on the image data (step S210).
  • step S205 to step S209 including the second embodiment of the background replacement method of the present invention is processing executed in the personal computer 20.
  • FIG. 48 is a conceptual diagram showing the second embodiment of the background replacement program of the present invention.
  • the CD-ROM 1510 shown in FIG. 48 is a second embodiment of the background replacement program of the present invention.
  • a background replacement program 1600 is stored.
  • the background replacement program 1600 includes an image acquisition unit 610, an image correction unit 620, a replacement processing unit 1630, an image data transfer unit 640, and an image display unit 650.
  • FIG. 49 shows a case where the background replacement program shown in FIG. 48 is installed in the personal computer shown in FIGS. 46 and 3, and this personal computer operates as the second embodiment of the background replacement device referred to in the present invention. It is a functional block diagram showing the function of.
  • FIG. 49 also shows a shooting studio 1010 including the digital camera 1011, the flash light emitting device 12, and the EL panel 1130, the printer 30, and the server 40, which are also shown in FIG.
  • the background replacement device 1700 shown in Fig. 49 has two background light images captured by the digital camera 1011 of the shooting studio 1010 under the background light, which are different from each other. And the backlit photographed image taken under the subject, and based on the backlit photographed image of these three photographed images, the subject in the predetermined one of the two backlight photographed images The background replacement process is executed to distinguish the background and replace the background with a desired background.
  • the image acquisition unit 710, the image correction unit 720, the replacement processing unit 1730, the image data transfer unit 740, and the image display Part 750 is provided.
  • the follow-up shot image obtained at the time of the first shooting in continuous shooting that is, the back-lit shot image with a light background color is shown.
  • the description will be made on the assumption that the scene replacement process is executed.
  • the present invention is not limited to this.
  • the following light photographing image obtained at the time of the second photographing in the continuous shooting that is, the blue light background photographing.
  • the image may be subject to background replacement processing.
  • the replacement processing unit 1730 performs a background replacement process to create a background replacement image based on the three captured images that have undergone the image correction process in the image correction unit 720.
  • the CPU 211 of the personal computer 20 is configured to operate according to the replacement processing unit 1630 of the background replacement program 1600. Details of the image correction unit 1720 will be described later with reference to the accompanying drawings together with details of the background replacement process. This place
  • the replacement processing unit 1730 corresponds to an example in which the region distinguishing unit, the mixed state estimating unit, and the background replacing unit in the background replacement device of the present invention are combined.
  • the replacement processing unit 1730 provides a background for the corrected follow-up shot image corresponding to the first shot, out of the two corrected follow-up shot images having different background colors. Replace with the background you want. In that case, the replacement processing unit 1730 first distinguishes between the two corrected follow light captured images into a subject area, a background area, and a boundary area sandwiched between these two areas. Then, the replacement processing unit 1730 leaves the subject area as it is for the corrected follow-light photographed image corresponding to the first photographing, and replaces the background area with another background desired by the customer.
  • the replacement processing unit 1730 is based on the assumption that all the pixels in the boundary region in the corrected continuous-light image have the composite color as described above. Using two corrected follow-light images, the subject color that is the source of the color of each pixel that is common between these two corrected follow-light images (corresponding to an example of the subject color in the present invention) ) And the composition ratio of the subject color and each background color (corresponding to an example of the mixing ratio in the present invention).
  • the replacement processing unit 1730 determines the color of each pixel in the boundary area, the estimated subject color, and the customer for the corrected follow-light photographed image corresponding to the first photographing. Another desired background color is replaced with a synthesized color synthesized at the estimated synthesis ratio.
  • FIG. 50 is a diagram showing details of the replacement processing unit shown by one block in FIG. In the following description, the elements shown in FIG. 49 are referred to by using the reference numerals in FIG.
  • the replacement processing unit 1730 executes the background replacement process described above, and includes a mask creation unit 731, a color estimation unit 1732, and a background replacement image creation unit 733.
  • the mask creation unit 731, the color estimation unit 1732, and the background replacement image creation unit 733 correspond to examples of the region distinction unit, the mixed state estimation unit, and the background replacement unit according to the present invention, respectively.
  • the mask creation unit 731 executes an example of the region discrimination process in the background replacement method of the present invention
  • the color estimation unit 1732 executes an example of the mixed state estimation process in the background replacement method of the present invention.
  • the replacement image creating unit 733 executes an example of the background replacement process in the background replacement method of the present invention.
  • the mask creating unit 731 includes only a subject mask that defines a range in which only the subject color pixels exist and the background color pixels in the backlight image. Create a background mask that defines the area to be scanned.
  • these two masks are within the range defined by the respective masks, for example, as shown in FIG. Created with a gap.
  • the color estimation unit 1732 applies the subject mask and the background mask created by the mask creation unit 731 to two corrected follow-light photographed images having different backgrounds.
  • a gap that is, a boundary area opened between these two masks is recognized.
  • the colors of all the pixels in this boundary area are mixed colors of the subject color and the background color, and the mixed state is the same under different background colors, the above two corrections are made.
  • the background replacement image creation unit 733 first leaves the region defined by the subject mask in the corrected backlight image corresponding to the first shooting described above, and defines it with the background mask. Replace the area with another background desired by the customer. Next, for each pixel in the boundary region, the background color desired by the customer and the subject color estimated by the color estimation unit 1732 are combined at the combination ratio estimated by the color estimation unit 1732. Find the composite color and replace the color of each pixel with the composite color. As a result, a background replacement image is created in which the background of the corrected follow light image is naturally replaced with another background desired by the customer.
  • Image data power representing the background replacement image created in this way The data is transferred from the sending unit 740 to each output device and output storage medium 550 (see FIG. 49).
  • the mask creating unit 731 creates the subject mask Ml 'and the background mask M2' based on the difference in brightness between the background and the subject.
  • the subject area, the background area, and the boundary area in the captured image are distinguished.
  • the area discriminating section of the present invention is not limited to this form, and may have the following form.
  • Another example described below is to distinguish a subject area, a background area, and a boundary area in a captured image based on the amount of color change between a plurality of captured images.
  • the basic configuration in this other example is the same as the configuration of the mask creating unit 731 shown in FIG. However, unlike the case where the histogram creation unit 731a in FIG. 16 creates a histogram of the brightness of each pixel constituting the corrected backlight image, in this alternative example, the above two Based on the corrected continuous light image, the following histogram is created for the amount of color change between these two images.
  • one of the two corrected follow-light images is the first image and the other is the second image.
  • the hue variation amount force of each pixel constituting the first captured image with respect to the pixel at the corresponding position in the second captured image is used as a value representing the above-described color variation amount.
  • the histogram created in this example distributes the amount of hue change in each pixel that composes the first captured image into a number of ranges, and how many pixels are allocated to each range by frequency. It is the histogram of the hue change shown.
  • This hue change histogram is obtained, for example, by replacing the horizontal axis H 1-1 of the luminance histogram HI shown in Part (a) of FIG. 17 with a hue change amount. In the hue change histogram, two peaks appear in the part where the hue change is small and the part where the hue change is large.
  • the peak of the portion with a large amount of hue change corresponds to the background region in the first image, and the hue is The amount of change is small
  • the missing peak corresponds to the subject area in the first captured image.
  • the subject example, background region, and boundary region in the photographed image can also be distinguished from the other examples described above.
  • processing is complicated because two photographed images are used for mask creation.
  • the above-described corrected backlight image required for mask creation in the mask creation unit 731 becomes unnecessary. That is, in this other example, the photographing process of step S204 in the flowchart of FIG. 47 is not necessary, and there is an advantage that the number of times of photographing can be reduced compared to the example of the process shown in this flowchart.
  • FIG. 51 is a diagram showing details of the color estimation unit indicated by one block in FIG.
  • the color estimation unit 1732 includes a background color estimation unit 732a, a subject color estimation unit 1732b, and a composition ratio estimation unit 1732c.
  • the background color estimation in the background color estimation unit 732a is executed for each of the two corrected follow-light photographed images having different background colors.
  • FIG. 52 is a diagram illustrating a method for estimating the subject color that is the source of the color of each pixel in the boundary area, which is common between two corrected follow light images having different background colors. .
  • FIG. 52 first shows a pixel in the boundary region in the corrected follow light image corresponding to the first image, of the two corrected follow light images shown in FIG.
  • a straight line CL1 that connects the first background color C1 estimated by the background color estimation unit 732a and the pixel color (first pixel color) C2 in the RGB color space is shown.
  • the second color estimated by the background color estimation unit 732a in FIG. 51 for the pixel in the position corresponding to the above-described pixel in the corrected follow-light photographed image corresponding to the second photographing is shown.
  • a straight line CL2 is shown that connects the background color C3 and the color of the pixel (second pixel color) C4 in the RGB color space.
  • the color of the pixels in the boundary region may be a composite color in which the background is seen through a part of the subject at the time of shooting and the background color and the subject color are combined. . If a pixel color is such a composite color, the pixel color, the background color that is the source of the pixel color, and the subject color are aligned on a straight line in the RGB color space. At this time, since the two corrected follow light images are different from each other in background color and are common images, the subject included in the pixel at the position corresponding to each other between the two is the same. The color is a common color. For this reason, the two straight lines CL1 and CL2 shown in FIG. 52 for each of the two pixels at the positions corresponding to each other intersect with the common subject color C5 included in these pixels. Will be.
  • the subject color estimation unit 1732b shown in FIG. 51 has the above boundary region out of a pixel pair composed of two pixels at positions corresponding to each other in the two corrected follow light captured images. For all of the pixel pairs, the intersection of two straight lines CL1 and CL2 as shown in FIG. 52 is obtained as the subject color C5 for each pixel pair. Therefore, in the second embodiment, the subject color C5 is arbitrarily determined, and the search as performed in the first embodiment is unnecessary.
  • This composite ratio estimator 1732c corresponds to the above first shooting, as shown in FIG.
  • the ratio of the length of the line segment connecting the first background color C1 and the first pixel color C2 to the first pixel color C2 is composed of the first background color C1 and the subject color C5. Calculate as the composite ratio oc.
  • the second background color C3 and the subject color C5 are compared with the length of the line segment connecting in the RGB color space.
  • the ratio of the length of the line segment connecting the background color C3 and the second pixel color C4 to the second pixel color C4 by combining the second background color C3 and the subject color C5. Can be calculated as
  • the mixed state of the background color and subject color in the two corrected front-lit shot images is almost the same, and the above two composite ratios a and a 'are also considered to be almost equal.
  • a corrected front-light photographed image corresponding to the first photographing is adopted as a photographed image in which the background is directly replaced. Therefore, the above calculation is performed for the first time. It is executed only for corrected front-lit images corresponding to shooting.
  • the composition ratio estimation unit 1732c performs such calculation of the composition ratio ⁇ for all the pixel pairs in the boundary region in the above-described two corrected follow-light photographed images.
  • a natural background replacement image is created in the same manner as in the first embodiment by using the subject color and the composition ratio estimated as described above.
  • the region discriminating unit in the background replacement device of the present invention the R value representing the color of each pixel as a histogram of the brightness of each pixel constituting the corrected backlight image.
  • the force which illustrated the mask creation part 731 which produces the histogram about G value of a G value and a saddle value This invention is not restricted to this.
  • the region discriminating unit of the present invention may create a histogram for the R value, or may create a histogram for the saddle value, or V, It may be a thing to make all histograms!
  • the region discriminating unit in the background replacement device of the present invention based on the corrected backlit photographed image and the other photographed image, the background region in the photographed image is changed to another.
  • the mask creation unit 731 that creates a mask that also distinguishes the region force is illustrated, the present invention is not limited to this. It is not limited to this.
  • the area discriminating unit of the present invention may be, for example, a device that creates a mask that distinguishes the background area in a captured image from other area forces based on two captured images having different background brightness and color. good. In such a case, for example, by creating a mask that distinguishes between the two captured images where the brightness and color change are relatively large, the other regions have different background power. A force-sensitive mask is created.
  • a certain pixel in the boundary region is first estimated as the subject color constituting the color of the pixel, and then the RGB color is determined.
  • the present invention is not limited to this.
  • the mixing ratio determination unit of the present invention determines the composition ratio for a certain pixel in the boundary area, for example, according to the positional relationship between the pixel and the object area, that is, the object color becomes farther away from the object area.
  • the composition ratio may be determined by a method such as reducing the content ratio.
  • an example of the image correction unit in the background replacement apparatus of the present invention is not particularly referred to the input screen on which the correction value is input by the operator.
  • the screen may be, for example, an input screen in which the operator inputs a numerical value for the keyboard force, or a correction value setting bar is provided, for example! The operator operates the setting bar with the mouse. If you input the correction value by driving the V, it may be the input screen of V, U-shaped, etc.
  • the image correction unit in the background replacement device of the present invention an image correction unit that executes only image correction by correction on the object region and the background region has been described as an example.
  • the present invention is not limited to this, and the image correction unit of the present invention, for example, corrects the color of each part of the created background replacement image in addition to the above-described region correction. Also good.
  • the two image correction units 760 and 810 that correct the background replacement image by narrowing the subject mask and the background mask are used.
  • the present invention is not limited to this.
  • Background of the present invention The image correction unit in the replacement device extends the subject mask and the background mask.
  • the background replacement image may be corrected by narrowing the boundary region.
  • Such a correction is effective for an unnatural background replacement image in which the background color after replacement is mixed up to the part where the background is not transparent!
  • Such an unnatural background replacement image may occur when the background after replacement has a strong color such as a high saturation color.
  • the flash light emitting device 12 emits a flash during the first photographing and the flash light emitting device during the second photographing.
  • the photographing system 1 in which the normal light photographing and the backlight photographing are continuously performed in this order because 12 is turned off, the present invention is not limited to this, and the photographing system of the present invention is not limited thereto. For example, it may be possible to perform continuous shooting and backlight shooting continuously in the reverse order of this order!
  • an instruction signal for instructing the flash light emitting device to emit a flash which is transmitted from the digital camera to the flash light emitting device at each photographing.
  • a blocking circuit that shuts off during the first shooting and passes through during the second shooting is installed on the instruction signal transmission line connecting the digital camera and the flash light emitting device in the above embodiment. Is done.
  • a photographing system for photographing a plurality of photographed images it takes time to charge after one light emission until the next light can be emitted.
  • the above imaging system is, for example, an imaging system equipped with a high-speed flash light-emitting device that can be charged in a very short time and can emit a flash twice when shooting is performed twice in succession. It may be.
  • such an imaging system also requires a blocking circuit as described above that blocks unnecessary instruction signals.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Studio Circuits (AREA)
  • Studio Devices (AREA)

Abstract

　撮影画像における背景が所望の背景に自然に置換された背景置換画像を作成することができる背景置換装置、背景置換プログラム、および背景置換方法を提供する。複数の撮影条件それぞれの下で共通の被写体が撮影されて得られた複数の撮影画像を取得する画像取得部７１０と、画像取得部７１０で取得された撮影画像に基づいて、撮影画像中の背景領域を他の領域から区別し、撮影画像中の背景領域を除く他の領域における、被写体色と背景色との混合比、およびその被写体色を推定し、推定された被写体色と混合比とを用いて、画像取得部７１０で取得された撮影画像中の背景を別の背景と置換する置換処理部７３０とを備えた。

Description

明 細 書
背景置換装置、背景置換プログラム、および背景置換方法
技術分野
[0001] 本発明は、撮影画像中の背景を別の背景に置換して背景置換画像を作成する背 景置換装置、コンピュータをその背景置換装置として動作させる背景置換プログラム 、および、撮影画像中の背景を別の背景に置換して背景置換画像を作成する背景 置換方法に関する。
背景技術
[0002] 従来、写真館等では、背景幕を使った撮影が行なわれて 、る。しかし、このような撮 影は、十分に背景を作り出すために大きな背景幕が使われ、広い撮影スペースを必 要とする。また、背景幕の交換等にも手間がかかり、結果的に撮影コストが高くなる。
[0003] そこで、もっと手軽に撮影を楽しむことができるように、従来のような大きな背景幕や 広い撮影スペースが不要な、小型の撮影システムの開発が望まれている。このような 小型の撮影システムでは、上記のような背景幕の替りに、何らかの仮の背景の前で 撮影が行なわれることとなるため、撮影で得られた撮影画像に対して、撮影画像中の 背景を、顧客が所望する背景と差替えるという背景置換処理を適用することが考えら れる。
[0004] このような背景置換処理に関する技術の一例として、例えば、青色等に塗られた背 景パネル等を被写体の背後に配置して撮影を行な ヽ、その撮影で得られた撮影画 像において、背景パネルの色と同色の部分と、異なる色の部分とを、それぞれ撮影 画像中の背景領域と被写体領域として区別し、撮影画像中の背景領域に区別され た部分を所望の背景に置換するクロマキ一処理と呼ばれる処理が知られている。
[0005] このクロマキ一処理では、撮影画像中の背景パネル上に被写体の影が写っている と、この影が、被写体領域と背景領域との区別を妨げてしまうことがある。そこで、クロ マキ一処理の対象となる撮影画像を撮影する際には、背景として、面発光する背景 パネルを用い、背景パネル上の被写体の影が、この背景パネルが発する光で打ち消 された状態で撮影を行なうという技術が提案されている (例えば、特許文献 1参照。 ) 。また、この特許文献 1では、クロマキ一処理において、被写体領域として区別された 部分と所望の背景とを合成する際には、被写体領域として区別された部分の色調を 、その所望の背景の色調に応じた色調に調整することで、その所望の背景の中に被 写体が自然に溶け込んで見える合成画像を作成すると！/ヽぅ処理も提案されて！ヽる。
[0006] また、例えば、屋外等といった、被写体の背後が開けた場所で、被写体に向けた照 明を点灯した状態と、その照明を消灯した状態との 2つの照明条件それぞれの下で 撮影を行なって 2つの撮影画像を取得し、これら 2つの撮影画像において、互いに輝 度が異なっている部分と輝度が同等な部分とを、それぞれ撮影画像中の被写体領域 と背景領域として区別し、撮影画像中の背景領域に区別された部分を所望の背景に 置換するという技術も知られている（例えば、特許文献 2参照。 )0
特許文献 1 :特開 2000— 224410号公報 (第 3— 10頁、図 3)
特許文献 2：特開平 10— 210340号公報 (第 2— 3頁、図 1)
[0007] ところで、例えば、人物を被写体として撮影が行なわれる場合、女性の髪ゃスカー フ等を通して背景が見えて 、る状況で撮影が行なわれることがしばしばある。このた め、撮影画像には、被写体の一部越しに背景が見えているものがしばしば見られる。 ここで、このような撮影画像について、上記の特許文献 1や特許文献 2や一般的なク ロマキー処理によって背景が置換されると、例えば、被写体の縁の一部が背景ととも に別の背景に置換されている画像や、被写体の一部越しに置換前の古い背景が見 える画像等と 、つた不自然な背景置換画像がしばしば作成されてしまうことが知られ ている。
[0008] 本発明は、上記事情に鑑み、撮影画像における背景が所望の背景に自然に置換 された背景置換画像を作成することができる背景置換装置、コンピュータをその背景 置換装置として動作させる背景置換プログラム、および、撮影画像における背景が所 望の背景に自然に置換された背景置換画像を作成することができる背景置換方法を 提供することを目的とする。
発明の開示
[0009] 上記目的を達成する本発明の第 1の背景置換装置は、複数の撮影条件それぞれ の下で共通の被写体が撮影されて得られた複数の撮影画像を取得する画像取得部 と、
上記画像取得部で取得された撮影画像に基づ ヽて、撮影画像中の被写体領域と 背景領域と境界領域とを区別する領域区別部と、
上記境界領域における被写体色と背景色との混合比を決定する混合比決定部と、 上記領域区別部によって区別された 3つの領域と上記混合比決定部で決定された 混合比とに基づいて上記画像取得部で取得された撮影画像中の背景を別の背景と 置換する背景置換部とを備えたことを特徴とする。
[0010] 被写体の一部越しに背景が見えて 、ると!/、う状態が写って 、る撮影画像では、多く の場合、そのような状態が写っている画像部分は、被写体の色と、その背後に見える 背景の色とが混合された混合色を有する画素が集まって構成されている。そのため、 撮影画像中の背景領域を別の背景の画像に置換しただけでは、上記のような画像 部分に背景の色が残ってしまう。上述したクロマキ一処理等によって背景が置換され た画像が観賞者に不自然に見えるのはこのためである。
[0011] 本発明の第 1の背景置換装置によれば、撮影画像中の被写体領域と背景領域と境 界領域とが区別され、さらに、境界領域における被写体色と背景色との混合比が決 定される。そして、撮影画像中の背景が別の背景と置換されるに当たっては、上記境 界領域について、例えば、被写体色とその別の背景の色とを上記の混合比で混合す る処理等が行われる。この結果、被写体の一部越しに置換後の背景が見えている状 態を観賞者に認識させる画像が作成される。つまり、本発明の背景置換装置によれ ば、撮影画像における背景が所望の背景に自然に置換された背景置換画像を作成 することができる。
[0012] また、本発明の第 1の背景置換装置において、「上記領域区別部が、上記撮影条 件における被写体と背景との所定の相違点に基づいて、撮影画像中の被写体領域 と背景領域と境界領域とを区別するものである」 、う形態は好ま ヽ形態である。
[0013] 例えば被写体を逆光で撮影するという撮影条件においては、被写体と背景との間 に、明るさという顕著な相違点が存在する。上記の好ましい形態の背景置換装置によ れば、このような相違点に基づいて、撮影画像中の被写体領域と背景領域と境界領 域とが容易に区別される。 [0014] また、本発明の第 1の背景置換装置において、「前記領域区別部が、前記撮影条 件における被写体と背景との所定の相違点に基づいて、撮影画像中で被写体側の 領域と背景側の領域とを判別し、それら被写体側の領域および背景側の領域それぞ れを、少なくとも一方については縮小して前記被写体領域および前記背景領域とし て扱!、、該被写体領域と該背景領域との間の領域を前記境界領域として扱うもので ある」という形態や、
「上記領域区別部が、上記撮影条件における被写体と背景との所定の相違点に基 づいて、撮影画像中で被写体側の領域と背景側の領域とを判別し、上記被写体側 の領域を縮小して上記被写体領域として扱 ヽ、縮小前の被写体側の領域におけるそ の被写体領域を除く領域にっ 、ては上記境界領域として扱うものである」 、う形態 や、
「上記領域区別部が、上記撮影条件における被写体と背景との所定の相違点に基 づいて、撮影画像中で被写体側の領域と背景側の領域とを判別し、上記背景側の 領域を縮小して上記背景領域として扱 、、縮小前の背景側の領域におけるその背景 領域を除く領域にっ 、ては上記境界領域として扱うものである」 t 、う形態も好ま 、 形態である。
[0015] これらの好ましい形態の背景置換装置によれば、上記のような相違点に基づいて、 撮影画像中で被写体側の領域と背景側の領域とがー且判別された後に、それらの 領域の両方あるは一方が縮小されることにより、撮影画像中の被写体と背景との境界 付近で見られることがある、被写体の一部越しに背景が見えている状態が写った部 分が、確実に上記境界領域に含まれるような適切な境界領域が設定される。これによ り、上述したような不自然さが確実に抑制される。
[0016] また、本発明の第 1の背景置換装置は、「上記領域区別部が、上記画像取得部で 取得された撮影画像のうちの 1つの撮影画像に基づ ヽて撮影画像中の被写体領域 と背景領域と境界領域とを区別するものであり、
上記背景置換部は、上記画像取得部で取得された撮影画像のうち、上記領域区 別部が領域の区別に用いた撮影画像とは別の撮影画像中の背景を別の背景と置換 するものである」 t ヽぅ形態であっても良 、。 [0017] このような形態の背景置換装置の典型的な例としては、例えば、逆光で撮影された 逆光撮影画像等といった、 1つの撮影画像中で被写体と背景との間に大きな相違点 が存在する撮影画像と、その撮影画像と共通の被写体が、被写体がきれいに写ると いう撮影条件の下で撮影画像とを取得し、まず、前者の撮影画像中の被写体と被写 体領域と背景領域と境界領域とを上記の大きな相違点に基づいて区別し、その区別 を後者の撮影画像に適用するという装置が挙げられる。
[0018] また、本発明の第 1の背景置換装置は、「上記混合比決定部が、撮影画像中の上 記境界領域における、被写体色と背景色との混合比、および該被写体色を推定する ものであり、
上記背景置換部が、上記混合比決定部で推定された被写体色と混合比とを用い て撮影画像中の背景を別の背景と置換するものである」 t 、う形態も好ま 、形態で ある。
[0019] 撮影画像中の上記境界領域における、被写体色と背景色との混合比は、被写体の 一部越しに背景が見えている状態における、背景の見え方の程度に相当する。上記 の好ましい形態の背景置換装置によれば、混合比とともに被写体色が推定されるの で、背景が置換された状態におけるそれらしい混合色が適切に求められ、自然な背 景置換画像が作成される。
[0020] また、この好まし 、形態の背景置換装置にぉ 、て、「上記混合比決定部が、上記被 写体色を推定するに当たり、その被写体色の候補として上記被写体領域中の各色を 用いて推定するものである」 t 、う形態はさらに好ま 、形態である。
[0021] このさらに好ま 、形態の背景置換装置によれば、上記被写体色の候補として、被 写体色に近 、色を高 、確率で含んで!/、ると考えられる上記被写体領域中の各色が 用いられる。これにより、高い確度で上記被写体色が推定される。
[0022] また、上記の被写体色と混合比を推定するという形態の背景置換装置においては 、「上記混合比決定部が、上記境界領域中の各箇所について、上記被写体色およ び上記混合比を推定するものであって、その被写体色を推定するに当たり、所定色 空間内でその被写体色が上記背景色およびその箇所の色と直線的に並ぶという前 提で推定するものである」 t 、う形態が好ま 、形態である。 [0023] 2つの色が混合された混合色は、例えば R (レッド) G (グリーン) B (ブルー）色空間 等といった色空間内で、その混合色の元となった 2つの色と直線的に並ぶと考えられ る。上記の好ましい形態の背景置換装置によれば、上記背景色、およびその背景色 と上記被写体色との混合色である上記各箇所の色を既知の色として、それら 2つの 色と直線的に並ぶ色を候補として上記被写体色が推定されるので、その被写体色が 高い確度で推定される。
[0024] また、上記の被写体色と混合比を推定すると!/、う形態の背景置換装置にお!、ては 、「上記混合比決定部が、上記境界領域中の各箇所について、上記被写体色およ び上記混合比を推定するものであって、その被写体色を推定するに当たり、その被 写体色の候補として上記被写体領域中の各色を用い、その候補のうち、所定色空間 内で上記背景色およびその箇所の色と直線的に並んでその箇所の色に最も近い候 補を被写体色と推定するものである」 、う形態も好ま 、。
[0025] 上記各箇所の色は、上記被写体色と上記背景色とが混合された色であるので、そ の箇所の色と被写体色とはある程度の類似性を有して 、ることが予想される。上記の 好ましい形態の背景置換装置によれば、その箇所の色に最も近い候補が被写体色 と推定されるので、その被写体色が高い確度で推定される。
[0026] また、上記の被写体色と混合比を推定するという形態の背景置換装置においては 、「上記混合比決定部が、上記境界領域中の各箇所について、上記被写体色およ び上記混合比を推定するものであって、上記混合比を推定するに当たり、所定色空 間における、上記背景色、その箇所の色、および上記被写体色の相互距離の比に 基づ 、て推定するものである」 t 、う形態も好ま 、形態である。
[0027] この好ましい形態の背景置換装置によれば、上記所定色空間上での上記背景色、 上記各箇所の色、および上記被写体色の相互距離の比という、単純な計算で得られ る値に基づ 、て上記混合比が容易に推定される。
[0028] また、上記の被写体色と混合比を推定するという形態の背景置換装置においては 、「上記背景置換部が、撮影画像中の背景を別の背景と置換するに当たり、その別 の背景の色と、上記混合比決定部で推定された被写体色とを、その混合比決定部で 推定された混合比で混合することによって背景を置換するものである」という形態も好 ましい形態である。
[0029] 撮影画像中の、被写体越しに背景が見えている状態が写っている部分の色は、多 くの場合、上記背景の色と上記被写体色とが混合された混合色であるが、その混合 色の混合比には、被写体越しに見えている背景の見え具合が反映されている。この 好ましい形態の背景置換装置によれば、上記別の背景の色と、上記被写体色とが、 上記混合比で混合されるので、被写体越しの背景の見え具合が、背景置換後の画 像で容易に再現される。
[0030] また、上記の本発明の第 1の背景置換装置において、「前記領域区別部によって 区別された領域の修正を、操作を受けて実行し、修正された領域に基づいた背景置 換を前記背景置換部に実行させて前記背景置換画像を修正する画像修正部とを備 えた」と!、う形態も好ま 、形態である。
[0031] この好ま ヽ形態の背景置換装置によれば、一旦作成された背景置換画像が、例 えば、被写体の縁の一部が背景とともに別の背景に置換されている等といった不自 然な画像であったとしても、上記領域区別部によって区別された領域の修正を実行 して、例えば、上記のような、背景および被写体双方の要素が含まれている画像部分 を背景領域等から外し、そのような特殊な画像部分用の処理を実行することによって 、不自然な背景置換画像を自然な背景置換画像に修正することができる。
[0032] また、この画像修正部を備えたと!、う形態の背景置換装置は、「上記領域区別部が 、上記撮影条件における被写体と背景との所定の相違点に基づいて、撮影画像中 で被写体側の領域と背景側の領域とを判別し、それら被写体側の領域および背景側 の領域それぞれを所定の縮小量だけ縮小して上記被写体領域および上記背景領域 として扱うものであり、
上記画像修正部が、上記領域区別部における上記縮小量を、操作を受けて変更 することにより、上記被写体領域および Z又は上記背景領域を修正するものである」 という形態であっても良ぐあるいは、
「上記領域区別部が、上記撮影条件における被写体と背景との所定の相違点に基 づいた区別基準によって、上記被写体領域と上記背景領域とを区別するものであり、 上記画像修正部が、上記区別基準を、操作を受けて変更することにより、上記被写 体領域および Z又は上記背景領域を修正するものである」 、う形態であっても良 、
[0033] これらの形態の背景置換装置によれば、上記被写体領域および Z又は上記背景 領域が直接に修正されるのではなぐ上記縮小量や上記区別基準といった、人間に とって直感的に分力りやすいパラメータが変更されることにより、上記被写体領域およ び Z又は上記背景領域が容易に修正される。
[0034] 上記目的を達成する本発明の第 2の背景置換装置は、複数の撮影条件それぞれ の下で共通の被写体が撮影されて得られた複数の撮影画像を取得する画像取得部 と、
上記画像取得部で取得された撮影画像に基づ!ヽて、撮影画像中の背景領域を他 の領域から区別する領域区別部と、
撮影画像中の上記背景領域を除く他の領域における、被写体色と背景色との混合 比、およびその被写体色を推定する混合状態推定部と、
上記混合状態推定部で推定された被写体色と混合比とを用いて上記画像取得部 で取得された撮影画像中の背景を別の背景と置換する背景置換部とを備えたことを 特徴とする。
[0035] 本発明の第 2の背景置換装置によれば、撮影画像中の背景領域が他の領域から 区別された後、その撮影画像中の背景領域を除く他の領域における、被写体色と背 景色との混合比、およびその被写体色とが推定される。ここで、上記の混合比は、被 写体の一部越しに背景が見えているという状態における、背景の見え方の程度に相 当する。本発明の背景置換装置によれば、混合比とともに被写体色が推定されるの で、背景が置換された状態におけるそれらしい混合色が適切に求められ、自然な背 景置換画像が作成される。つまり、本発明の背景置換装置によれば、撮影画像にお ける背景が所望の背景に自然に置換された背景置換画像を作成することができる。
[0036] ここで、本発明の第 2の背景置換装置において、「上記混合状態推定部が、上記被 写体色を推定するに当たり、その被写体色の候補として撮影画像中の各色を用いて 推定するものである」 t 、う形態は好ま U、形態である。
[0037] この好ま 、形態の背景置換装置によれば、上記被写体色の候補として、被写体 色に近 ヽ色を高確率で含んで!/ヽると考えられる撮影画像中の各色が用いられる。こ れにより、高い確度で上記被写体色が推定される。
[0038] また、本発明の第 2の背景置換装置において、「上記混合状態推定部が、上記背 景領域を除く他の領域中の各箇所について、上記被写体色および上記混合比を推 定するものであって、その被写体色を推定するに当たり、所定色空間内でその被写 体色が上記背景色およびその箇所の色と直線的に並ぶという前提で推定するもので ある」 t 、う形態も好ま 、形態である。
[0039] 2つの色が混合された混合色は、例えば R (レッド) G (グリーン) B (ブルー）色空間 等といった色空間内で、その混合色の元となった 2つの色と直線的に並ぶと考えられ る。上記の好ましい形態の背景置換装置によれば、上記背景色、およびその背景色 と上記被写体色との混合色である上記各箇所の色を既知の色として、それら 2つの 色と直線的に並ぶ色を候補として上記被写体色が推定されるので、その被写体色が 高い確度で推定される。
[0040] また、本発明の第 2の背景置換装置において、「上記混合状態推定部が、上記背 景領域を除く他の領域中の各箇所について、上記被写体色および上記混合比を推 定するものであって、その被写体色を推定するに当たり、その被写体色の候補として 上記背景領域を除く他の領域中の各色を用い、その候補のうち、所定色空間内で上 記背景色およびその箇所の色と直線的に並んでその箇所の色力 最も遠い候補を 被写体色と推定するものである」 、う形態も好ま 、形態である。
[0041] 上記背景領域を除く他の領域内には、上記被写体色に近い色が高確率で含まれ ていると考えられる力 その被写体色と上記各箇所の色との間の、他の混合比で混 合された紛らわ Uヽ色も高確率で含まれて!/ヽると考えられる。上記の好ま 、形態の 背景置換装置によれば、上記背景領域を除く他の領域中でその箇所の色力 最も 遠い候補が被写体色と推定されるので、上記のような紛らわしい色等が回避されて、 被写体色が高 ヽ確度で推定される。
[0042] また、本発明の第 2の背景置換装置において、「上記混合状態推定部が、上記背 景領域を除く他の領域中の各箇所について、上記被写体色および上記混合比を推 定するものであって、その混合比を推定するに当たり、所定色空間における、上記背 景色、その箇所の色、および上記被写体色の相互距離の比に基づいて推定するも のである」 t 、う形態も好ま U、。
[0043] この好ましい形態の背景置換装置によれば、上記所定色空間上での上記背景色、 上記各箇所の色、および上記被写体色の相互距離の比という、単純な計算で得られ る値に基づ 、て上記混合比が容易に推定される。
[0044] また、本発明の第 2の背景置換装置において、「上記背景置換部が、撮影画像中 の背景を別の背景と置換するに当たり、その別の背景の色と、上記混合状態推定部 で推定された被写体色とを、その混合状態推定部で推定された混合比で混合するこ とによって背景を置換するものである」 t 、う形態も好ま U、形態である。
[0045] 撮影画像中の、被写体越しに背景が見えている状態が写っている部分の色は、多 くの場合、上記背景の色と上記被写体色とが混合された混合色であるが、その混合 色の混合比には、被写体越しに見えている背景の見え具合が反映されている。この 好ましい形態の背景置換装置によれば、上記別の背景の色と、上記被写体色とが、 上記混合比で混合されるので、被写体越しの背景の見え具合が、背景置換後の画 像で容易に再現される。
[0046] また、本発明の背景置換装置において、「上記領域区別部が、上記複数の撮影画 像の相互間における明るさの比率に基いて、撮影画像中の背景領域を他の領域か ら区別するものである」 t 、う形態も好ま 、形態である。
[0047] 撮影画像中の背景領域を他の領域から区別する 1つの方法として、例えば、その 撮影画像中での背景と被写体との明るさの違いに基いて区別するという方法が考え られる。しかし、撮影画像が、例えば明るい照明の下で撮影されたものあった場合、 背景と被写体との間で明るさに余り違いが無ぐそのような方法による背景領域と他 の領域との区別が困難となってしまうことがある。上記の好ましい形態の背景置換装 置によれば、撮影画像中の背景領域と他の領域との区別が、上記複数の撮影画像 の相互間における明るさの比率に基いて行なわれる。この区別方法によれば、例え ば背景の明るさが互いに異なる複数の撮影画像を得ておけば、たとえ 1枚の撮影画 像において背景と被写体との間で明るさに違いが無力つたとしても、背景領域と他の 領域とでは、複数の撮影画像の相互間における明るさの比率が異なることとなるので 、両者を良好に区別することができる。
[0048] また、本発明の背景置換装置にお!ヽて、「上記混合状態推定部で推定された被写 体色と混合比とを記憶する記憶部を備え、
上記背景置換部が、上記記憶部が記憶して 、る被写体色と混合比とを用いて上記 画像取得部で取得された撮影画像中の背景を別の背景と置換するものである」 、う 形態も好ま U、形態である。
[0049] この好ましい形態の背景置換装置によれば、例えば、一旦背景を置換した後に、そ の置換した背景をさらに別の背景に置換する等といった場合に、被写体色と混合比 との計算に対する手間を省くことができる。
[0050] また、本発明の背景置換装置にお!ヽて、「上記混合状態推定部で推定された被写 体色に色が置き換えられた上記他の領域の画像に基いて、その被写体色に対する 色補正に使われる補正パラメータを決定する第 1のパラメータ決定部と、
上記第 1のパラメータ決定部によって決定された補正パラメータを使って、上記混 合状態推定部で推定された被写体色に対して色補正を施す第 1の色補正部とを備 え、
上記背景置換部は、上記第 1の色補正部によって色補正が施された被写体色と上 記混合比とを用いて上記画像取得部で取得された撮影画像中の背景を別の背景と 置換するものである」 t 、う形態や、
「上記画像取得部で取得された撮影画像に基!、て、上記被写体色に対する色補正 に使われる補正パラメータを決定する第 2のパラメータ決定部と、
上記第 2のパラメータ決定部によって決定された補正パラメータを使って、上記混 合状態推定部で推定された被写体色に対して色補正を施す第 2の色補正部とを備 え、
上記背景置換部は、上記第 2の色補正部によって色補正が施された被写体色と上 記混合比とを用いて上記画像取得部で取得された撮影画像中の背景を別の背景と 置換するものである」 t 、う形態や、
「上記被写体色に対する色補正に使われる補正パラメータを、操作に応じたパラメ ータに決定する第 3のパラメータ決定部と、 上記第 3のパラメータ決定部によって決定された補正パラメータを使って、上記混 合状態推定部で推定された被写体色に対して色補正を施す第 3の色補正部とを備 え、
上記背景置換部は、上記第 3の色補正部によって色補正が施された被写体色と上 記混合比とを用いて上記画像取得部で取得された撮影画像中の背景を別の背景と 置換するものである」 t 、う形態は好ま U、形態である。
[0051] 撮影画像の色合いやホワイトバランスを、一般的に観賞者が好ましいと感じる色合 V、やホワイトバランスに補正する!、わゆるセットアップと呼ばれる色補正が知られて!/ヽ る。一見、このようなセットアップ済みの撮影画像について背景の置換を行なえば、 背景が置換された高画質の画像が得られるように思われる。しかし、セットアップ済み の撮影画像を用いると、例えば画像中の階調が変更されている等といった理由から、 上記混合状態推定部における被写体色の推定が不正確なものとなり、自然な背景の 置換が実行できなくなる恐れがある。また、背景置換後の画像に対してセットアップが 施されると、置換用の背景の色まで変わってしまう。上記の 3種類の好ましい形態で は、 V、ずれの形態でも上記混合状態推定部で推定された被写体色に対して色補正 が施される。従って、これら 3種類の好ましい形態によれば、この色補正として例えば セットアップを採用することで、上記混合状態推定部による被写体色の推定や置換 用の背景の色に影響を与えることなぐセットアップを実行することができ、背景が置 換された高画質の画像を得ることができる。ここで、セットアップに用いる補正パラメ一 タは、上記の 3種類のうちの 1番目の形態のように上記被写体色に色が置き換えられ た上記他の領域の画像に基いて決定しても良ぐ 2番目の形態のように上記撮影画 像に基いて決定しても良ぐ 3番目の形態のようにユーザの操作に応じて決定しても 良い。
[0052] また、本発明の背景置換装置において、「上記被写体色に対する色補正に使われ る補正パラメータを、上記別の背景に応じたパラメータに決定する第 4のパラメータ決 定部と、
上記第 4のパラメータ決定部によって決定された補正パラメータを使って、上記混 合状態推定部で推定された被写体色に対して色補正を施す第 4の色補正部とを備 え、
上記背景置換部は、上記第 4の色補正部によって色補正が施された被写体色と混 合比とを用いて上記画像取得部で取得された撮影画像中の背景を上記別の背景と 置換するものである」 t 、う形態も好ま 、形態である。
[0053] この好ましい形態の背景置換装置によれば、上記混合状態推定部による被写体色 の推定や置換用の背景の色に影響を与えることなぐセットアップを実行することがで き、背景が置換された高画質の画像を得ることができることに加えて、例えば、上記 別の背景として夕景を用いる場合に、その夕景に応じて、上記被写体色をオレンジ 色が力つた色に補正する等といったセットアップを行なうことによって、背景が一層自 然に置換された画像を得ることができる。
[0054] また、本発明の背景置換装置において、「上記背景置換部は、上記別の背景として 、被写体と背景との画像中における相対関係を表わす関係情報が付与された背景を 用いて、上記撮影画像中の背景を置換するとともに、置換後の画像中で被写体と背 景との相対関係が、その関連情報が表わす相対関係と同じ相対関係となるように置 換するものである」 t 、う形態も好ま 、。
[0055] この好ま 、形態の背景置換装置によれば、例えば置換後の画像中における被写 体の位置や大きさが上記別の背景に対して自然な位置や大きさとなるように背景の 置換を行なうことができるので、背景が一層自然に置換された画像を得ることができ る。
[0056] 上記目的を達成する本発明の第 3の背景置換装置は、背景の色が互いに異なる複 数の撮影条件それぞれの下で共通の被写体が撮影されて得られた複数の撮影画像 を取得する画像取得部と、
上記画像取得部で取得された撮影画像に基づ!ヽて、撮影画像中の背景領域を他 の領域から区別する領域区別部と、
上記複数の撮影画像に基づいて、撮影画像中の上記背景領域を除く他の領域に おける、被写体色と背景色との混合比、およびその被写体色を推定する混合状態推 定部と、
上記混合状態推定部で推定された被写体色と混合比とを用いて上記画像取得部 で取得された撮影画像中の背景を別の背景と置換する背景置換部とを備えたことを 特徴とする。
[0057] 本発明の第 3の背景置換装置によれば、各撮影画像中の上記背景領域を除く他 の領域における、被写体色と背景色との混合比、およびその被写体色が推定される 。ここで、上記の混合比は、被写体の一部越しに背景が見えているという状態におけ る、背景の見え方の程度に相当する。本発明の背景置換装置によれば、混合比とと もに被写体色が推定されるので、背景が置換された状態におけるそれらしい混合色 が適切に求められ、自然な背景置換画像が作成される。また、本発明の背景置換装 置によれば、背景色が互いに異なる複数の撮影画像に基づいて、被写体色と混合 比とが推定される。ここで、これら複数の撮影画像は共通の被写体が撮影されて得ら れたものであるため、これら複数の撮影画像の相互間では被写体色は共通である。 これにより、本発明の背景置換装置によれば、例えば、まず複数の撮影画像という複 数の推定材料に基づいて 1つの被写体色を推定し、そして、推定された被写体色か ら混合比を推定する等と!ヽつた、一意的かつ正確な推定方法を用いた被写体色と混 合比との推定が可能となる。つまり、本発明の背景置換装置によれば、撮影画像に おける背景が所望の背景に自然に置換された背景置換画像を作成することができる
[0058] また、本発明の第 3の背景置換装置において「上記混合状態推定部が、被写体色 と背景色との混合状態が、異なる背景色の下でも同じであるという前提で、上記被写 体色と上記混合比とを推定するものである」 、う形態は好ま 、形態である。
[0059] このような好ましい形態の背景置換装置によれば、例えば上記混合比が上記複数 の撮影画像の相互間で共通であると考えることができるので、その混合比についても 、複数の撮影画像と 、う複数の推定材料に基づ 、て 1つの混合比を推定する等と!ヽ つた、一意的かつ正確な推定方法による推定が可能となる。
[0060] また、本発明の第 3の背景置換装置において「上記混合状態推定部が、上記背景 領域を除く他の領域中の各箇所について、上記被写体色および上記混合比を推定 するものであって、背景の色が互いに異なる複数の撮影条件それぞれの下で得られ た複数の撮影画像それぞれにおける上記背景色とその箇所の色を所定の色空間内 で結ぶ各直線を求め、それらの直線の交点に相当する色を上記被写体色と推定す るものである」という形態は、本発明の背景置換装置の典型的な形態の一例である。
[0061] このような形態の背景置換装置によれば、被写体色を数学的に一意に求め、その 被写体色から混合比を容易に求めることができる。
[0062] また、本発明の第 3の背景置換装置において「上記画像取得部が、背景の色相が 互いに異なる複数の撮影条件それぞれの下で撮影されて得られた複数の撮影画像 を取得するものである」 t 、う形態は好ま 、形態である。
[0063] このような形態の背景置換装置によれば、上記被写体色と混合比とが精度良く推 定される。
[0064] また、本発明の第 3の背景置換装置において「上記領域区別部が、撮影画像中の 上記背景領域を除く他の領域中の被写体領域と境界領域とを区別するものであり、 上記混合状態推定部が、上記境界領域中で、上記被写体色と上記混合比とを推 定するものである」 t 、う形態も好ま 、形態である。
[0065] この好ま ヽ形態の背景置換装置によれば、撮影画像中で、上記のような推定処 理の対象となる範囲が限定されるので、推定処理が効率的に行なわれることとなる。
[0066] また、本発明の第 3の背景置換装置において「上記領域区別部が、上記画像取得 部で取得された撮影画像中の背景領域を他の領域から、上記複数の撮影画像の相 互間における色の変化量に基づいて区別するものである」という形態も好ましぐまた
「上記領域区別部が、上記画像取得部で取得された撮影画像中の背景領域を他 の領域から、上記背景と上記被写体との明るさの差に基づいて区別するものである」 という形態も好ましい。
[0067] これらいずれの形態の背景置換装置によっても上記領域区別部を容易に実現する ことができる。また、色の変化量に基づいて領域の区別を行なうという前者の形態で は、上記被写体色と上記混合比との推定に用いる撮影画像と同じ撮影画像を用いて 領域の区別を行なうことができるので、上記のような背景置換処理全体で必要とされ る撮影画像の数を節約することができる。また、明るさの差に基づいて領域の区別を 行なうという後者の形態では、背景の明るさと被写体の明るさとが互いに異なるという 撮影条件の下で上記被写体が撮影されて得られた撮影画像が必要となるが、その 撮影画像のみに基づいて上記の領域の区別を行なうことができるので、領域の区別 自体の単純ィ匕が図られる。
[0068] また、上記目的を達成する本発明の第 1の背景置換プログラムは、コンピュータに 組み込まれ、そのコンピュータ上で、
複数の撮影条件それぞれの下で共通の被写体が撮影されて得られた複数の撮影 画像を取得する画像取得部と、
上記画像取得部で取得された撮影画像に基づ ヽて、撮影画像中の被写体領域と 背景領域と境界領域とを区別する領域区別部と、
上記境界領域における被写体色と背景色との混合比を決定する混合比決定部と、 上記領域区別部によって区別された 3つの領域と上記混合比決定部で決定された 混合比とに基づいて上記画像取得部で取得された撮影画像中の背景を別の背景と 置換する背景置換部とを構築することを特徴とする。
[0069] また、上記目的を達成する本発明の第 2の背景置換プログラムは、コンピュータに 組み込まれ、そのコンピュータ上で、
複数の撮影条件それぞれの下で共通の被写体が撮影されて得られた複数の撮影 画像を取得する画像取得部と、
複数の撮影条件それぞれの下で共通の被写体が撮影されて得られた複数の撮影 画像を取得する画像取得部と、
上記画像取得部で取得された撮影画像に基づ!ヽて、撮影画像中の背景領域を他 の領域から区別する領域区別部と、
撮影画像中の上記背景領域を除く他の領域における、被写体色と背景色との混合 比、およびその被写体色を推定する混合状態推定部と、
上記混合状態推定部で推定された被写体色と混合比とを用いて上記画像取得部 で取得された撮影画像中の背景を別の背景と置換する背景置換部とを構築すること を特徴とする。
[0070] また、上記目的を達成する本発明の第 3の背景置換プログラムは、コンピュータに 組み込まれ、そのコンピュータ上で、 背景の色が互いに異なる複数の撮影条件それぞれの下で共通の被写体が撮影さ れて得られた複数の撮影画像を取得する画像取得部と、
上記画像取得部で取得された撮影画像に基づ!ヽて、撮影画像中の背景領域を他 の領域から区別する領域区別部と、
上記複数の撮影画像に基づいて、撮影画像中の上記背景領域を除く他の領域に おける、被写体色と背景色との混合比、およびその被写体色を推定する混合状態推 定部と、
上記混合状態推定部で推定された被写体色と混合比とを用いて上記画像取得部 で取得された撮影画像中の背景を別の背景と置換する背景置換部とを構築すること を特徴とする。
[0071] 本発明の第 1〜第 3の背景置換プログラムによれば、上述した、撮影画像における 背景が所望の背景に自然に置換された背景置換画像を作成することができる背景 置換装置を容易に実現することができる。
[0072] また、上記目的を達成する本発明の第 1の背景置換方法は、複数の撮影条件それ ぞれの下で共通の被写体が撮影されて得られた複数の撮影画像を取得する画像取 得過程と、
前記画像取得過程で取得された撮影画像に基づ!ヽて、撮影画像中の被写体領域 と背景領域と境界領域とを区別する領域区別過程と、
前記境界領域における被写体色と背景色との混合比を決定する混合比決定過程 と、
前記領域区別部によって区別された 3つの領域と前記混合比決定部で決定された 混合比とに基づいて前記画像取得部で取得された撮影画像中の背景を別の背景と 置換する背景置換過程とを備えたことを特徴とする。
[0073] また、上記目的を達成する本発明の第 2の背景置換方法は、複数の撮影条件それ ぞれの下で共通の被写体が撮影されて得られた複数の撮影画像を取得する画像取 得過程と、
上記画像取得過程で取得された撮影画像に基づ!ヽて、撮影画像中の背景領域を 他の領域から区別する領域区別過程と、 撮影画像中の上記背景領域を除く他の領域における、被写体色と背景色との混合 比、およびその被写体色を推定する混合状態推定過程と、
上記混合状態推定過程で推定された被写体色と混合比とを用いて上記画像取得 過程で取得された撮影画像中の背景を別の背景と置換する背景置換過程とを備え たことを特徴とする。
[0074] また、上記目的を達成する本発明の第 3の背景置換方法は、背景の色が互いに異 なる複数の撮影条件それぞれの下で共通の被写体が撮影されて得られた複数の撮 影画像を取得する画像取得過程と、
上記画像取得過程で取得された撮影画像に基づ!ヽて、撮影画像中の背景領域を 他の領域から区別する領域区別過程と、
上記複数の撮影画像に基づいて、撮影画像中の上記背景領域を除く他の領域に おける、被写体色と背景色との混合比、およびその被写体色を推定する混合状態推 定過程と、
上記混合状態推定過程で推定された被写体色と混合比とを用いて上記画像取得 過程で取得された撮影画像中の背景を別の背景と置換する背景置換過程とを備え たことを特徴とする。
[0075] 本発明の第 1〜第 3の背景置換方法によれば、撮影画像における背景が所望の背 景に自然に置換された背景置換画像を容易に作成することができる。
[0076] なお、上記の本発明の背景置換プログラムおよび本発明の背景置換方法について は、ここではその基本形態のみを示すのにとどめる力 これは単に重複を避けるため であり、本発明にいう背景置換プログラムおよび背景置換方法には、前述した背景置 換装置の各形態に対応する各種の形態が含まれる。
[0077] 以上、説明したように、本発明によれば、撮影画像における背景が所望の背景に自 然に置換された背景置換画像を作成することができる。
図面の簡単な説明
[0078] [図 1]本発明の背景置換装置の一実施形態が適用された撮影システムを示す図であ る。
[図 2]図 1の撮影システムで実行される、本発明の背景置換方法の一実施形態が適 用された作業の流れを示すフローチャートである。
[図 3]図 1に示すパーソナルコンピュータのハードウェア構成図である。
圆 4]本発明の背景置換プログラムの一実施形態を示す概念図である。
[図 5]図 4に示す背景置換プログラムが図 1および図 3に示すパーソナルコンピュータ にインストールされ、このパーソナルコンピュータが本発明に 、う背景置換装置の一 実施形態として動作するときの機能を表わす機能ブロック図である。
[図 6]図 5に 1つのブロックで示す画像補正部の詳細を示す図である。
圆 7]台形歪みが生じた順光撮影画像の一例を示す模式図である。
圆 8]図 7の順光撮影画像における台形歪みが補正された状態を示す模式図である
[図 9]図 8に示す、台形歪みが補正された順光撮影画像に基づいて作成された有効 画像を示す模式図である。
[図 10]図 6の画像補正部によって画像補正処理が施された、補正済みの逆光撮影画 像を示す模式図である。
圆 11]補正済みの順光撮影画像の一例を示す図である。
圆 12]補正済みの逆光撮影画像の一例を示す図である。
[図 13]図 11中のエリア A1の拡大図である。
[図 14]図 12中のエリア A2の拡大図である。
[図 15]図 5に 1つのブロックで示す置換処理部の詳細を示す図である。
[図 16]図 15に 1つのブロックで示すマスク作成部の詳細を示す図である。
[図 17]補正済みの逆光撮影画像を構成する各画素の明るさについてのヒストグラム の様々な例を示す図である。
[図 18]図 17に示す例とは異なるヒストグラムの例を示す図である。
[図 19]図 14に示す逆光撮影画像の拡大図において、初期被写体マスクに設定され た領域と初期背景マスクに設定された領域を示す図である。
圆 20]図 19に示す初期被写体マスクと初期背景マスクとを示す図である。
圆 21]初期被写体マスクと初期背景マスクとを、図 11に示す補正済みの順光撮影画 像全体に重ねて示した図である。 圆 22]図 20に示す初期被写体マスクと初期背景マスクとが、それぞれ境界領域から 離れる方向に縮小される様子を示す図である。
[図 23]最終的に完成された被写体マスクと背景マスクとを、図 11に示す補正済みの 順光撮影画像全体に重ねて示した図である。
[図 24]本実施形態のマスク作成部 731とは別のマスク作成部を示す図である。
圆 25]補正済みの逆光撮影画像が分割された様子を示す図である。
[図 26]図 25に示す 3つの小領域 Arl , Ar2, Ar3それぞれについて作成されるヒスト グラムの一例を示す図である。
[図 27]図 15に 1つのブロックで示す色推定部の詳細を示す図である。
[図 28]図 27に 1つのブロックで示す背景色推定部の詳細を示す図である。
圆 29]ある画素について背景色を推定する際に、その画素を中心に探索範囲が設 定される様子を示す図である。
[図 30]ある画素につ 、て背景色を推定するために用いられる領域の一例を示す図で ある。
[図 31]図 27に 1つのブロックで示す被写体色推定部の詳細を示す図である。
圆 32]ある画素について被写体色を推定する際に、その画素を中心に探索範囲が 設定される様子を示す図である。
[図 33]ある画素につ 、て被写体色を推定するために用いられる領域の一例を示す図 である。
[図 34]補正済みの順光撮影画像における境界領域内のある画素について被写体色 を探索する際の探索方法を示す図である。
[図 35]補正済みの順光撮影画像における境界領域内のある画素について合成色が 求められる様子を示す図である。
圆 36]背景置換画像の一例を示す図である。
[図 37]図 5に 1つのブロックで示す画像修正部 760の詳細を示す図である。
[図 38]図 37に示した画像修正部とは別の画像修正部を示す図である。
[図 39]被写体マスク Ml 'で定義される領域に近!、画素から、被写体色や合成比 ex の推定が実行される様子を示す模式図である。 [図 40]見力け上の輪郭を使った探索範囲の設定の様子を示す模式図である。
[図 41]補正済みの順光撮影画像にぉ 、て、非背景マスクで定義される領域内のある 画素について被写体色を推定する際に、その画素を中心に探索範囲が設定される 様子を示す図である。
[図 42]ある画素につ 、て被写体色を推定するために用いられる領域の一例を示す図 である。
[図 43]補正済みの順光撮影画像における、非背景マスクで定義される領域内のある 画素について被写体色を探索する際の探索方法を示す図である。
[図 44]複数の置換用の背景に効率的に対処できる工夫が施された、図 15に示す置 換処理部 730とは別の置換処理部を示す図である。
[図 45]推定された被写体色に対して色補正処理を施す色補正部を備えた、図 15に 示す置換処理部 730とは別の置換処理部を示す図である。
[図 46]本発明の背景置換装置の第 2実施形態が適用された撮影システムを示す図 である。
[図 47]図 46の撮影システムで実行される、本発明の背景置換方法の第 2実施形態が 適用された作業の流れを示すフローチャートである。
[図 48]本発明の背景置換プログラムの第 2実施形態を示す概念図である。
[図 49]図 48に示す背景置換プログラムが図 46に示すパーソナルコンピュータにイン ストールされ、このパーソナルコンピュータが本発明に 、う背景置換装置の第 2実施 形態として動作するときの機能を表わす機能ブロック図である。
[図 50]図 49に 1つのブロックで示す置換処理部の詳細を示す図である。
[図 51]図 50に 1つのブロックで示す色推定部の詳細を示す図である。
[図 52]互いに背景色が異なる 2つの補正済みの順光撮影画像の間で共通な、境界 領域内の各画素の色の元となった被写体色の推定方法を示す図である。
発明を実施するための最良の形態
[0079] 以下図面を参照して本発明の実施の形態を説明する。
[0080] 図 1は、本発明の背景置換装置の第 1実施形態が適用された撮影システムを示す 図である。 [0081] この図 1に示す撮影システム 1は、被写体を撮影して撮影画像を取得する撮影スタ ジォ 10と、その撮影画像における被写体と背景とを区別して、撮影画像中の背景を 所望の背景に置換して背景置換画像を作成する、本発明の背景置換装置の第 1実 施形態として動作するパーソナルコンピュータ 20と、プリンタ 30と、サーノ Oとを備 えている。また、撮影スタジオ 10は、デジタルカメラ 11と、閃光発光装置 12と、 EL ( エレクトロルミネセンス）パネル 130と、この ELパネル用の電源 14を備えている。
[0082] デジタルカメラ 11は、連写機能を有しており、撮影者がシャツタボタンを 1回押すと、 短時間の間に自動で被写体 Pを 2回撮影する。 1回毎の撮影によって得られた撮影 画像はデジタルカメラ 11内のメモリに一時的に保管される力 撮影システム 1では、 デジタルカメラ 11がパーソナルコンピュータ 20に接続されており、 2回の撮影が終了 した時点で、この 2回の撮影で得られた撮影画像は、このパーソナルコンピュータ 20 に直ちに送られる。また、デジタルカメラ 11は閃光発光装置 12にも接続されており、 デジタルカメラ 11は、閃光発光装置 12に対して閃光を発するように指示する閃光指 示信号を、その閃光発光装置 12に撮影の度に発信する。
[0083] ここで、本実施形態では、撮影スタジオ 10について省スペース化が図られており、 デジタルカメラ 11は被写体を近距離力も若干見下ろし気味に撮影することとなる。そ の結果、デジタルカメラ 11で撮影される撮影画像には、画像の幅が、下に向かうほど 狭まる、いわゆる台形歪みが生じている可能性が高い。本実施形態では、この台形 歪みは、パーソナルコンピュータ 20において補正される。
[0084] 閃光発光装置 12は、デジタルカメラ 11から閃光指示信号を受けて被写体 Pに向か つて閃光を発する。ここで、この閃光発光装置 12は、 1回発光する度に充電される必 要があり、 1回発光すると、次に発光できるようになるまで時間がかかる。デジタルカメ ラ 11からは、上記の 2回の撮影の際、撮影の度に上記の閃光指示信号が発信される 力 閃光発光装置 12は 1回目の撮影の時だけ閃光を発し、 2回目の撮影時には、充 電が間に合わないために、閃光発光装置 12は消灯したままでいることとなる。また、 この閃光発光装置 12が発する閃光は、発光の輝度がおよそ 2000cdZm2という高輝 度の光である。
[0085] ELパネル 130は、被写体 Pが載る載置面 131aと被写体 Pの背後の面 131bとが透 明な筐体 131、および、その筐体 131内に収納された分散型 EL素子 132からなる。 また、電源 14は、この分散型 EL素子 132に駆動電圧を印加する電源である。また、 筐体 131の、被写体 Pの背後の面 131bの四隅にはこの面 131bの範囲を示す 4つの マーカ 131cが配置されている。これら 4つのマーカ 131cは、撮影の際に被写体 Pと ともに撮影画像に写り、その撮影画像に対する、上記の台形歪みの補正等に利用さ れるものである。
[0086] 分散型 EL素子 132は、蛍光体粉末が高誘電率のバインダー中に分散されたもの 力 可撓性のプラスチックを基板とした 2枚のシート形状の電極の間に挟み込まれて 構成されたシート状の面発光光源である。この分散型 EL素子 132は、それら 2枚の 電極間に、電源 14から交流電圧が印加されることにより発光する。
[0087] この分散型 EL素子 132は、厚みが数百/ z m〜lmmという非常に薄くて軽い光源 であり、筐体 131の内部のように、厚みに余裕のない場所に容易に設置することがで きる。この他、分散型 EL素子 132には、発光時の発熱が 2°C程度と軽微である、発光 開始力 最高輝度に達するまでの応答速度が速い、発光の寿命がほぼ一定しており 計画的な交換が可能、局所発光が可能、衝撃や振動に強い、消費電力が 50WZm 2 (周波数が 50Hzの交流電力印加時）と小さい等、性能面での様々な利点がある。さ らに、分散型 EL素子 132には、簡単な製造工程で製造することができるため製造コ ストが安!、と!、う経済面での利点もある。
[0088] また、一般的な分散型 EL素子は、製造時に発光色の異なる複数の蛍光体粉末を さらに混合することで発光色を白色を含む様々な色に調整することが可能であるが、 本実施形態における分散型 EL素子 132では、このような色調整のための蛍光体粉 末は未混合である。この結果、この分散型 EL素子 132は、発光波長が 400ηπ！〜 53 Onmの間に 2つ以上の発光ピークを有することとなる。この光は、分散型 EL素子本 来の、青力も緑の間の色の光であり、本実施形態における分散型 EL素子 132は、上 記の 2つ以上の発光ピークからなる青緑色の光を発光する。ここで、青緑色は、人物 の肌の色の補色であるため、本実施形態の撮影システム 1によれば、人物を被写体 として撮影した際等に、撮影画像中の被写体と背景とを高い確度で区別することがで きる、背景が青緑色の撮影画像が得られる。また、上記の色調整のための蛍光体粉 末は発光色の輝度を低下させる傾向があるが、本実施形態における分散型 EL素子 132は、このような蛍光体粉末が未混合であるので分散型 EL素子本来の輝度で発 光することとなる。
[0089] 電源 14は、分散型 EL素子 132に印加する交流電圧を、周波数について 50Hz〜 10kHzの間、大きさについて 40V〜300Vの間で調整することができる。分散型 EL 素子 132の発光の輝度は、印加される交流電圧の大きさにほぼ比例する。本実施形 態の撮影スタジオ 10では、電源 14において、交流電圧が、周波数については 1. 2k Hz〜l. 5kHzのうちのいずれかの周波数、大きさについては 130V〜200Vのうち のいずれかの大きさに調整されており、その結果、分散型 EL素子 132の発光の輝度 力 500cdZm2〜600cdZm2のうちの!/、ずれかの輝度に調整されて!、る。
[0090] ここで、本実施形態の撮影スタジオ 10では、デジタルカメラ 11による撮影は、 ELパ ネル 130が常時点灯した状態で行なわれる。また、上述したように、 1回目の撮影は 閃光発光装置 12が閃光を発した状態で行なわれ、 2回目の撮影は閃光発光装置 12 が消えた状態で行なわれる。さらに、この撮影スタジオ 10では、閃光発光装置 12が 発する閃光の輝度は、 ELパネル 130が点灯したときの輝度よりもかなり高い。この結 果、 1回目の撮影では、 ELパネル 130の輝度よりも高い輝度の閃光力 デジタルカメ ラ 11側力も被写体 Pを照らすという順光状態での撮影による、被写体 Pがきれいに写 つた順光撮影画像が取得される。また、この 1回目の撮影に連続して行なわれる2回 目の撮影では、 ELパネル 130からの光のみが被写体 Pを後方から照らすという逆光 状態での撮影による、被写体 Pの像がシャドウ側に偏り、背景パネル 130の像がハイ ライト側に偏った逆光撮影画像が取得される。
[0091] パーソナルコンピュータ 20は、上述したように本発明の背景置換装置の第 1実施形 態として動作するものである。このパーソナルコンピュータ 20は、デジタルカメラ 11か ら渡された上記の 2つの撮影画像に対して、上記の台形歪みについての補正を含む 画像補正処理を施し、さらに、この補正済みの撮影画像に基づいて背景置換画像を 作成すると ヽぅ背景置換処理を行なう。この画像補正処理と背景置換処理とにつ ヽ ては後述する。
[0092] このパーソナルコンピュータ 20は、外観構成上、フレキシブルディスク（以降、 FDと 呼ぶ）や CD— ROMの装填口を有し、その装填口に装填された FDや CD— ROM へのアクセス機能を有する本体装置 210、その本体装置 210からの指示に応じて表 示画面 220a上に画像を表示する画像表示装置 220、本体装置 210にキー操作に 応じた各種の情報を入力するキーボード 230、表示画面 220a上の任意の位置を指 定することにより、その位置に表示された、例えばアイコン等に応じた指示を入力する マウス 240、および、デジタルカメラ等で撮影画像の記憶に用いられる小型記憶メデ ィァが装填され、その小型記憶メディアをアクセスするメディアドライブ 250を備えて ヽ る。
[0093] プリンタ 30は、パーソナルコンピュータ 20から送られてくる画像をプリントするもので あり、撮影システム 1では、パーソナルコンピュータ 20が背景置換処理によって作成 した背景置換画像をプリントする役割を担って ヽる。
[0094] サーバ 40には、パーソナルコンピュータ 20で実行される背景置換処理で使用され る複数種類の背景が格納されている。このサーノ 0内の背景は、表示画面 220a上 に表示されることによって顧客に提示される。また、この撮影システム 1では、サーバ 4 0内に格納されている背景以外にも、上記の CD—ROMや上記の小型記憶メディア 等といった何らかの入力用記憶媒体を介して提供される背景も、表示画面 220aを通 じて顧客に提示される。顧客は、表示画面 220a上に表示されたそれらの背景の中か ら所望の背景を選ぶ。
[0095] 次に、この図 1に示す撮影システム 1で実行される、本発明の背景置換方法の一実 施形態が適用された作業の流れについて説明する。尚、以下の説明では、図 1に示 す要素については特に図番を断らずに図 1中の符号を使って参照する。
[0096] 図 2は、図 1の撮影システムで実行される、本発明の背景置換方法の一実施形態が 適用された作業の流れを示すフローチャートである。
[0097] この図 2のフローチャートが示す作業は、撮影スタジオ 10において、被写体 P、デジ タルカメラ 11、および閃光発光装置 12がそれぞれ適当な位置に配置されていること を前提として行なわれる。
[0098] まず、電源 14から分散型 EL素子 132に電圧が印加され、 ELパネル 130が点灯す る (ステップ S101)。次に、撮影者が、ピントや露光の調節等を行なった後にデジタ ルカメラ 11のシャツタボタンを押すと、被写体 Pに対する撮影が 2回連続して行なわ れる。まず 1回目の撮影では、デジタルカメラ 11から発信される指示信号に応じて閃 光発光装置 12が ELパネル 130の照明よりも高輝度の閃光を発し、この閃光による順 光状態で被写体 Pが撮影される (ステップ S102)。続いて、 2回目の撮影が、閃光発 光装置 12が消灯した状態、即ち、 ELパネル 130のみの照明による逆光状態で行な われる（ステップ S103)。ステップ S 102およびステップ S 103の処理でそれぞれ得ら れた、順光撮影画像と逆光撮影画像との 2つの撮影画像は、デジタルカメラ 11内の メモリに一時的に保管される。
[0099] 以上に説明したステップ S101〜ステップ S103の処理は、撮影スタジオ 10におい て行なわれる、写真館の店員等と 、つた人手による撮影処理である。
[0100] 次に、このフローチャートにおけるステップ S104以降の処理について説明するが、 この以下に説明する処理のうち、ステップ S104力もステップ S110に至る処理力 本 発明の背景置換方法の第 1実施形態に相当する。
[0101] ステップ S 103の処理によって、 2回目の撮影が行なわれ、その撮影で得られた撮 影画像の、デジタルカメラ 11内のメモリへの保管が終了すると、 2回の撮影で得られ 、そのメモリに一時的に保管された 2つの撮影画像が直ちにパーソナルコンピュータ 20に渡される。また、パーソナルコンピュータ 20に対する操作を受けて、顧客が所望 する背景がサーバ 40あるいは何らかの入力用記憶媒体力も読み出される。（ステツ プ S104)。このステップ S104で実行される撮影画像および背景の取得処理力 本 発明の背景置換方法における画像取得過程の一例に相当する。
[0102] 続いて、 2つの撮影画像に、上記の台形歪みについての補正を含む後述の画像補 正処理が施される。（ステップ S 105)。
[0103] さらに、この補正済みの撮影画像に基づいて背景置換画像を作成するという後述 の背景置換処理が実行される (ステップ S106)。ここで、このステップ S 104で実行さ れる背景置換処理において、本発明の背景置換方法における領域区別過程と、背 景置換過程との各一例が実行される。
[0104] 次に、上記の背景置換処理 (ステップ S 106)で作成された背景置換画像を表わす 画像データが、まず画像表示装置 220に転送され (ステップ S 107)、画像表示装置 220において、上記の背景置換画像が、転送されてきた画像データに基づいて表示 画面 220a上に表示される（ステップ S 108)。また、この表示画面 220a上には、パー ソナルコンピュータ 20のオペレータに、現在表示されて!、る背景置換画像にっ 、て 修正の必要があるか否かを問うメッセージが表示される（ステップ S 109)。このメッセ ージに対する回答力 修正が必要である旨を示すものであった場合 (ステップ S109 における Yes判定）には、この背景置換画像に後述の画像修正が施される (ステップ S110)。
[0105] 以上に説明したステップ S107からステップ S110に至る処理は、オペレータが、表 示画面 220a上の背景置換画像にっ 、て修正が必要で無!、旨を伝える (ステップ S1 09における No判定)まで繰り返される。本実施形態では、この処理により、最終的に 自然な背景置換画像が作成される。そして、この最終的に作成された背景置換画像 を表わす画像データ力 プリンタ 30と、顧客が希望する出力用記憶媒体とのうちの少 なくとも 1つに転送される (ステップ Sl l l)。続いて、画像データがプリンタ 30に転送 された場合には、プリンタ 30において、その画像データに基づいて背景置換画像が プリントされる（ステップ S 112)。
[0106] ここで、以上のステップ S104からステップ S110に至る本発明の背景置換方法の 一実施形態の各処理の詳細については、本発明の背景置換装置の一実施形態の 各部の作用と併せて説明する。
[0107] 本発明の背景置換方法の一実施形態を含むステップ S104〜ステップ S111の処 理は、パーソナルコンピュータ 20において実行される処理であり、以下では、これら の処理を実行するパーソナルコンピュータ 20と、それらの処理の詳細に注目して説 明する。
[0108] まず、このパーソナルコンピュータ 20の内部構成について説明する。
[0109] 図 3は、図 1に示すパーソナルコンピュータのハードウェア構成図である。
[0110] この図 3に示すように、本体装置 210の内部には、各種プログラムを実行する CPU 211、ハードディスク装置 213に格納されたプログラムが読み出され CPU211での実 行のために展開される主メモリ 212、各種プログラムやデータ等が保存されたハード ディスク装置 213、 FD520が装填され、その装填された FD520をアクセスする FDド ライブ 214、 CD— ROM510をアクセスする CD— ROMドライブ 215、図 1のサーバ 40やデジタルカメラ 11と接続され、これらの機器から置換用の背景や撮影画像等を 受け取る入力インタフェース 216、および、図 1のプリンタ 30と接続され、背景置換画 像等を出力する出力インタフェース 217が内蔵されており、これらの各種要素と、さら に図 1にも示す画像表示装置 220、キーボード 230、マウス 240、および、小型記憶 メディア 530をアクセスするメディアドライブ 250は、バス 260を介して相互に接続され ている。
[0111] ここで、上記の CD—ROM510は、パーソナルコンピュータ 20を、本発明の背景置 換装置の一実施形態として動作させるための、本発明の背景置換プログラムの一実 施形態が記憶される。
[0112] そして、その CD— ROM510が CD— ROMドライブ 215に装填されると、その CD —ROM510に記憶されたプログラムがこのパーソナルコンピュータ 20にアップロード されてハードディスク装置 213に書き込まれる。これにより、パーソナルコンピュータ 2 0は背景置換装置として動作する。
[0113] 次に、本発明の背景置換プログラムの一実施形態について説明する。
[0114] 図 4は、本発明の背景置換プログラムの一実施形態を示す概念図である。
[0115] 図 4に示す CD—ROM510は、本発明の背景置換プログラムの一実施形態である 背景置換プログラム 600が記憶されたものである。
[0116] この背景置換プログラム 600は、画像取得部 610、画像補正部 620、置換処理部 6 30、画像データ転送部 640、画像表示部 650、画像修正部 660で構成されている。
[0117] この背景置換プログラム 600の各部の詳細については、本発明の背景置換装置の 一実施形態の各部の作用と併せて説明する。尚、以下の説明では、図 1、図 3、およ び図 4に示す要素については特に図番を断らずに各図中の符号を使って参照する。
[0118] 図 5は、図 4に示す背景置換プログラムが図 1および図 3に示すパーソナルコンビュ ータにインストールされ、このパーソナルコンピュータが本発明の背景置換装置の一 実施形態として動作するときの機能を表わす機能ブロック図である。また、この図 5に は、図 1にも示す、デジタルカメラ 11、閃光発光装置 12、および ELパネル 130からな る撮影スタジオ 10と、プリンタ 30と、サーノ 0も示されている。 [0119] この図 5に示す背景置換装置 700は、上述したように、撮影スタジオ 10のデジタル カメラ 11によって順光および逆光それぞれの下で撮影された順光撮影画像と逆光撮 影画像とを取得して、これらの 2つの撮影画像のうち、逆光撮影画像に基づいて、順 光撮影画像における被写体と背景とを区別して、その背景を所望の背景に置換する という背景置換処理を実行するものであり、画像取得部 710、画像補正部 720、置換 処理部 730、画像データ転送部 740、画像表示部 750、および画像修正部 760を備 えている。
[0120] 画像取得部 710は、まず、デジタルカメラ 11で撮影され、そのデジタルカメラ 11か ら渡される 2つの撮影画像を受け取る。また、この画像取得部 710は、顧客が所望す る背景を、サーノ 0から、あるいは、 CD— ROMや小型記憶メディア等といった入力 用記憶媒体 540から読み出す。この画像取得部 710は、実質的には、パーソナルコ ンピュータ 20の CPU211が、背景置換プログラム 600の画像取得部 610に従って、 入力インタフェース 216、 FDドライブ 214、 CD— ROMドライブ 215、およびメディア ドライブ 250を制御することによって構成される。この画像取得部 710が、本発明の 背景置換装置における画像取得部の一例に相当する。また、この画像取得部 710に よって、本発明の背景置換方法における画像取得過程の一例が実行される。
[0121] 画像補正部 720は、画像取得部 710で受け取られた 2つの撮影画像に、台形歪み についての補正を含む後述の画像補正処理を施すものであり、実質的には、パーソ ナルコンピュータ 20の CPU211が、背景置換プログラム 600の画像補正部 620に従 つて動作することによって構成される。この画像補正部 720の詳細については、画像 補正処理の詳細とともに別図を参照して後述する。
[0122] 置換処理部 730は、画像補正部 720での画像補正処理を経た 2つの撮影画像に 基づいて背景置換画像を作成するという後述の背景置換処理を行なうものであり、実 質的には、パーソナルコンピュータ 20の CPU211が、背景置換プログラム 600の置 換処理部 630に従って動作することによって構成される。この画像補正部 720の詳 細については、背景置換処理の詳細とともに別図を参照して後述する。この置換処 理部 730が、本発明の背景置換装置における領域区別部と背景置換部とを兼ねた 一例に相当する。 [0123] 画像データ転送部 740は、置換処理部 730で作成された背景置換画像を表わす 画像データを、プリンタ 30および顧客が希望する出力用記憶媒体 550のうちの少な くとも一方と、この背景置換装置 700の画像表示部 750とに転送する。この画像デー タ転送部 740は、実質的には、パーソナルコンピュータ 20の CPU211が、背景置換 プログラム 600の画像データ転送部 640に従って、出力インタフェース 217、 FDドラ イブ 214、 CD— ROMドライブ 215、およびメディアドライブ 250を制御することによつ て構成される。
[0124] 画像表示部 750は、画像データ転送部 740から転送されてくる画像データに基づ く背景置換画像を、表示画面 220aに表示するものであり、実質的には、パーソナル コンピュータ 20の CPU211が、背景置換プログラム 600の画像表示部 650に従って 画像表示装置 220を制御することによって構成される。
[0125] 画像修正部 760は、画像表示部 750において表示画面 220aに表示された背景置 換画像に対して、この背景置換装置 700のオペレータ力もの操作を受けて後述の画 像修正を施すものであり、実質的には、パーソナルコンピュータ 20の CPU211が、 背景置換プログラム 600の画像修正部 660に従って動作することによって構成される 。この画像修正部 760の詳細については別図を参照して後述する。この画像修正部 760が、本発明の背景置換装置における画像修正部の一例に相当する。
[0126] また、上記の画像データ転送部 740からプリンタ 30に、最終的に完成された背景 置換画像を表わす画像データが出力された場合には、プリンタ 30において、この画 像データに基づく背景置換画像がプリントされ、上記の画像データ転送部 740から 何らかの出力用記憶媒体 550に背景置換画像を表わす画像データが出力された場 合には、この画像データがその出力用記憶媒体 550に書き込まれる。そして、背景 置換画像がプリントされたプリント紙と、背景置換画像を表わす画像データが書き込 まれた出力用記憶媒体 550との両方、あるいは一方力 顧客の希望に応じて提供さ れる。
[0127] 次に、図 5において、それぞれ 1つのブロックで示されている画像補正部 720およ び置換処理部 730の詳細について以下に説明する。
[0128] 先ず、画像補正部 720について説明する。 [0129] 図 6は、図 5に 1つのブロックで示す画像補正部の詳細を示す図である。尚、以下の 説明では、図 5に示す要素については特に図番を断らずに図中の符号を使って参 照する。
[0130] この図 6に示す画像補正部 720は、上述したように、画像取得部 710で受け取られ た順光撮影画像と逆光撮影画像とに、台形歪みにつ!、ての補正を含む画像補正処 理を実行するものであり、マーカ検出部 721、台形補正処理部 722、有効画像切出 部 723、および色補正部 724を備えている。
[0131] 以下では、この画像補正部 720の各要素の作用について、上記の台形歪みが生じ た順光撮影画像を例として参照しながら説明する。
[0132] 図 7は、台形歪みが生じた順光撮影画像の一例を示す模式図である。
[0133] この図 7には、画像の幅が、下に向力うほど狭まる台形歪みが生じた撮影画像が模 式的に示されている。
[0134] まず、マーカ検出部 721が、撮影画像に写っている 4つのマーカ 131cを検出する 。本来、これら 4つのマーカ 13 lbを結ぶと長方形が形成されるはずであるが、図 7の 例では台形歪みのために、 4つのマーカ 13 lbを結ぶと台形になってしまう。
[0135] 台形補正処理部 722は、マーカ検出部 721が検出した 4つのマーカ 131cを結ん でできる図形が本来の長方形となるように、撮影画像全体に適当な変形を施すことで 台形歪みを補正する。
[0136] 図 8は、図 7の順光撮影画像における台形歪みが補正された状態を示す模式図で ある。
[0137] 背景置換処理に供する撮影画像としては、被写体と背景との区別の容易さ等の点 から、背景が ELパネル 130における発光面のみであることが望ましい。しかしながら 、本実施形態では、撮影スタジオ 10について省スペース化が図られていることから、 ELパネル 130の大きさに限界があり、撮影画像には、図 7や図 8に示すように、 ELパ ネル 130の発光面以外の不要な部分が背景として写ってしまう。
[0138] 有効画像作成部 723は、台形補正処理部 722による補正処理を経た撮影画像か ら、 4つのマーカ 131cで決まる有効範囲 E1の外側の画像が削除された有効画像を 作成する。 [0139] 図 9は、図 8に示す、台形歪みが補正された順光撮影画像に基づいて作成された 有効画像を示す模式図である。
[0140] 有効画像作成部 723によって、この図 9に示すような、被写体 Pの背景が、 ELパネ ル 130の発光面のみである有効画像が作成されると、次に、色補正部 724が、この 有効画像に対して、例えば人物の目についての赤目補正や、画像全体の色合いを 好ま 、色合いに補正する等と!、つた色補正処理を施す。
[0141] 以上、図 7〜図 9の順光撮影画像を参照して、画像補正部 720で行なわれる画像 補正処理について説明したが、本実施形態では、順光撮影画像とともに撮影された 逆光撮影画像にも、順光撮影画像に施された画像補正処理と全く同じ処理が施され る。ただし、この逆光撮影画像では、被写体は黒くつぶれて写ることとなるので、上記 の色補正部 724での処理は、この逆光撮影画像に対しては除外される。
[0142] 図 10は、図 6の画像補正部によって画像補正処理が施された、補正済みの逆光撮 影画像を示す模式図である。
[0143] この図 10に示すように、補正済みの逆光撮影画像は、被写体 Pの領域がシャドウ側 に偏り、背景として ELパネル 130が写っている領域がハイライト側に偏った画像とな つている。ここで、上記の図 7〜図 9の順光撮影画像では、 ELパネル 130の発光の 輝度が閃光発光装置 12が発する閃光の輝度よりも低いため、 ELパネル 130の発光 面は実際の発光色よりも白っぽく写るのに対し、この図 10に示す逆光撮影画像では 、 ELパネル 130の実際の発光色である青緑色に写る。
[0144] このように、図 10に示す補正済みの逆光撮影画像では、被写体 Pの領域と、背景 領域とでは、明るさが大きく異なるので両者を容易に区別することができる。また、補 正済みの逆光撮影画像では、画像中の被写体 Pの位置や輪郭は、補正済みの順光 撮影画像における被写体の位置や輪郭とほぼ同じになる。そこで、本実施形態では 、図 5の置換処理部 730において、まず、補正済みの逆光撮影画像について被写体 Pと背景との区別を行ない、その区別を補正済みの順光撮影画像にそのまま適用す ることで、この順光撮影画像における被写体 Pと背景とを区別する。そして、この置換 処理部 730では、順光撮影画像における背景を、顧客が所望する背景と置換して背 景置換画像を作成する。 [0145] 次に、この置換処理部 730の詳細について、補正済みの逆光撮影画像における被 写体と背景との区別から、背景置換画像の作成に至る背景置換処理に注目して説 明する。
[0146] ここで、以下の説明では、上記の補正済みの順光撮影画像および補正済みの逆光 撮影画像それぞれの一例として、次の画像を参照する。
[0147] 図 11は、補正済みの順光撮影画像の一例を示す図であり、図 12は、補正済みの 逆光撮影画像の一例を示す図である。
[0148] これら図 11および図 12には、人物の被写体 P'が写っている。ただし、図 12に示す 撮影画像は、逆光で撮影されたものであるために、被写体 P'の領域がシャドウ側に 偏り、背景として ELパネル 130が写っている領域がハイライト側に偏った画像となつ ている。ここで、被写体 P'と背景との境界周辺の様子を、図 11中のエリア A1と、この 図 11中のエリア A1に対応する図 12中のエリア A2とについて別図に示す。
[0149] 図 13は、図 11中のエリア A1の拡大図であり、図 14は、図 12中のエリア A2の拡大 図である。
[0150] これら図 13および図 14には、被写体 P'の頭髪越しに背景の ELパネル 130が見え ている様子が示されている。一般に、撮影画像中には、被写体の一部越しに背景が 見えている部分がしばしば見られる力 このような部分は、図 11〜図 14の例に示す ように、撮影画像中の被写体と背景との境界周辺に存在する。
[0151] ここで、図 13および図 14は、説明の便宜上、人物の頭髪の一本に至るまで詳細に 見える理想的な状態で示されている。しかし、実際の撮影画像では、解像度の制約 により、画像を構成する画素が一本の頭髪等といった微細な被写体よりも大きくなる。 そのため、例えば、図 13および図 14に示す、頭髪越しに背景の ELパネル 130が見 えている部分の画像等は、頭髪という微細な被写体の色と、その背後に見える背景 の色とが合成された合成色を有する画素が集まって構成されることとなる。そのため、 このような部分では、被写体と背景との単純な区別は不可能となっている。
[0152] 図 5の置換処理部 730は、例えば図 11に示すような、補正済みの順光撮影画像の 背景を、顧客が所望する背景に置換する際には、まず、この補正済みの順光撮影画 像を、被写体領域と、背景領域と、これら 2つの領域に挟まれた境界領域とに区別す る。置換処理部 730は、この補正済みの順光撮影画像における被写体領域につい てはそのまま残し、背景領域を、顧客が所望する別の背景と置換する。
[0153] このとき、図 13に示すように被写体の一部越しに背景が見えていている部分、即ち 、微細な被写体色と背景色とが合成された合成色を有する画素によって構成される 部分は、上記のように被写体と背景とに単純に区別することが不可能であることから、 置換処理部 730によって上記の境界領域に区別される。
[0154] 置換処理部 730は、補正済みの順光撮影画像における上記の境界領域内の全て の画素が、上記のような合成色を有しているという前提のもとに、各画素の色の合成 の元となった被写体色と、背景色とを推定し、さらに両者の合成比を推定する。ただ し、実際の境界領域には、合成色を有する画素の他にも、背景色のみを有する画素 や、被写体色のみを有する画素も含まれる。置換処理部 730では、処理対象の画素 力 背景色のみを有する画素である場合には、その画素の色に占める被写体色の割 合が「0」となる合成比が推定され、処理対象の画素が、被写体色のみを有する画素 である場合には、その画素の色に占める被写体色の割合が「1」となる合成比が推定 される。
[0155] そして、置換処理部 730は、上記の境界領域内の各画素の色を、推定された被写 体色と、上記の顧客が所望する別の背景色とが、推定された合成比で合成されてな る合成色に置き換える。この処理では、境界領域中の、背景色のみを有する画素の 色は上記の別の背景色に置換され、被写体色のみを有する画素の色はそのまま維 持され、さらに、被写体の一部越しに背景が見えていている部分の画素の色は上記 の合成色に置換される。この処理の結果、境界領域中に、被写体の一部越しに背景 が見えていている部分が含まれていたとしても、その被写体の一部越しに、上記の顧 客が所望する別の背景が見えて 、ると 、う自然な背景置換画像が作成される。
[0156] 以下、この置換処理部 730の詳細について説明する。
[0157] 図 15は、図 5に 1つのブロックで示す置換処理部の詳細を示す図である。尚、以下 の説明でも、図 5に示す要素については特に図番を断らずに図 5中の符号を使って 参照する。
[0158] この置換処理部 730は、上述した背景置換処理を実行するものであり、マスク作成 部 731、色推定部 732、および背景置換画像作成部 733を備えている。ここで、マス ク作成部 731が本発明の背景置換装置における領域区別部の一例に相当し、色推 定部 732と背景置換画像作成部 733とを合わせたものが、本発明の背景置換装置 における背景置換部の一例に相当する。また、マスク作成部 731によって、本発明の 背景置換方法における領域区別過程の一例が実行され、色推定部 732と背景置換 画像作成部 733とを合わせたものによって、本発明の背景置換方法における背景置 換過程の一例が実行される。
[0159] まず、これら各構成要素の概要について説明する。
[0160] マスク作成部 731は、上記の補正済みの逆光撮影画像において、この逆光撮影画 像中で、被写体色の画素のみが存在する範囲を定義する被写体マスクと、背景色の 画素のみが存在する範囲を定義する背景マスクとを作成する。ここで、これら 2つのマ スクは、それぞれのマスクが定義する範囲内に、例えば図 14に示すような、被写体越 しに背景が見えて 、る部分の画素が含まれな 、ように、互いに隙間を開けて作成さ れる。
[0161] 色推定部 732は、マスク作成部 731が作成した被写体マスクと背景マスクとを、上 記の補正済みの順光撮影画像に適用して、まず、この順光撮影画像において、これ ら 2つのマスク間に開いた隙間、即ち、境界領域を認識する。そして、この境界領域 内の全ての画素の色が被写体色と背景色との混合色であるという前提のもとに、各 画素の色を構成している被写体色と、背景色とを推定し、さらに両者の合成比を推定 する。
[0162] 背景置換画像作成部 733は、まず、上記の補正済みの順光撮影画像において、 被写体マスクで定義される領域にっ 、てはそのまま残し、背景マスクで定義される領 域を、顧客が所望する別の背景と置換する。次に、境界領域内の各画素について、 顧客が所望する背景の色と、上記の色推定部 732で推定された被写体色とを、色推 定部 732で推定された合成比で合成して合成色を求め、各画素の色をその合成色 に置換する。これにより、上記の補正済みの順光撮影画像の背景が、顧客が所望す る別の背景に自然に置換された背景置換画像が作成される。
[0163] このように作成された背景置換画像を表わす画像データ力 図 5の画像データ転送 部 740から、各出力デバイスや出力用記憶媒体 550 (図 5参照）に転送される。
[0164] 次に、置換処理部 730の各構成要素の詳細について説明する。
[0165] まず、マスク作成部 731の詳細について説明する。
[0166] 図 16は、図 15に 1つのブロックで示すマスク作成部の詳細を示す図である。
[0167] このマスク作成部 731は、ヒストグラム作成部 73 la、閾値計算部 731b、背景マスク 設定部 731c、被写体マスク設定部 73 ld、背景マスク縮小部 73 le、および被写体マ スク縮小部 73 Ifを備えている。
[0168] ヒストグラム作成部 73 laは、上記の補正済みの逆光撮影画像を構成する各画素の 明るさについてのヒストグラムを作成する。
[0169] 図 17は、補正済みの逆光撮影画像を構成する各画素の明るさについてのヒストグ ラムの様々な例を示す図である。
[0170] この図 17のパート（a)には、逆光撮影画像を構成する各画素の輝度を、多数の輝 度範囲に振り分け、各輝度範囲についてどれだけの画素が振り分けられた力を頻度 で示した輝度ヒストグラム HIが示されており、この輝度ヒストグラム HIでは、横軸 HI —1に輝度がとられ、縦軸 HI— 2に頻度がとられて 、る。
[0171] ここで、本実施形態では上記の順光撮影画像および逆光撮影画像は、 R (レッド）、 G (グリーン）、 B (ブルー）の 3色で色を定義する RGB色空間上の座標、即ち、この R GB色空間における R値、 G値、および B値で各画素の色が表わされている。各画素 の色を表わす R値、 G値、および B値それぞれには、その画素の明るさが反映されて いるので、逆光撮影画像を構成する各画素の明るさについてのヒストグラムを、これら R値、 G値、および B値のうちのいずれかを用いて作成することもできる。
[0172] 図 17のパート (b)には、逆光撮影画像を構成する各画素の R値を、 R値の多数の 範囲に振り分け、各範囲についてどれだけの画素が振り分けられた力を頻度で示し た R値ヒストグラム H2が示されており、図 17のパート（c)には、逆光撮影画像を構成 する各画素の G値を、 G値の多数の範囲に振り分け、各範囲についてどれだけの画 素が振り分けられたかを頻度で示した G値ヒストグラム H3が示されており、図 17のパ 一 Hd)には、逆光撮影画像を構成する各画素の B値を、 B値の多数の範囲に振り分 け、各範囲にっ 、てどれだけの画素が振り分けられたかを頻度で示した B値ヒストグ ラム H4が示されている。図 17のパート（b)に示す R値ヒストグラム H2では、横軸 H2 —1に R値がとられ、図 17のパート（c)に示す G値ヒストグラム H3では、横軸 H3— 1 に G値がとられ、図 17のパート（d)に示す B値ヒストグラム H4では、横軸 H4— 1に B 値がとられている。また、これら 3つのヒストグラムの縦軸 H2— 2, H3— 2, H4— 2に は、頻度がとられている。
[0173] 本実施形態では、逆光撮影画像では、被写体の背景が、 ELパネル 130の発光色 である青緑色に写ることから、この逆光撮影画像の各画素の明るさは、 R値、 G値、お よび B値のうち、 G値に最も良く反映される。そこで、図 16のヒストグラム作成部 731a は、図 17に示す 4つのヒストグラムのうち、図 17のパート（c)に示す G値ヒストグラム H 3を作成するように構成されて！、る。
[0174] ここで、この G値ヒストグラム H3には、他の 3つのヒストグラムと同様に、シャドウ側と、 ハイライト側とに 2つのピーク Pkl, Pk2が現れる。シャドウ側のピーク Pklは、補正済 みの逆光撮影画像における被写体領域の画素が振り分けられて現れるものであり、 ノ、イライト側のピーク Pk2は、この逆光撮影画像における背景領域の画素が振り分け られて現れるちのである。
[0175] 図 16に示す閾値計算部 731bは、このヒストグラム作成部 73 laが作成した G値ヒス トグラムにおける 2つのピーク Pkl, Pk2それぞれに基づいて、次の 2つの閾値を計 算する。図 17のパート（c)に示すようにシャドウ側のピーク Pklからは、このピーク Pk 1において、頻度が所定頻度以上となる G値の上限である第 1の閾値 Sriが計算され る。また、ハイライト側のピーク Pk2からは、このピーク Pk2において、頻度が所定頻 度以上となる G値の下限である第 2の閾値 Sr2が計算される。
[0176] そして、図 16に示す被写体マスク設定部 731cは、上記の補正済みの逆光撮影画 像を構成する複数の画素のうち、 G値が第 1の閾値 Sri以下となる画素力 なる領域 を初期被写体マスクに設定し、背景マスク設定部 731dは、 G値が第 2の閾値 Sr2以 上となる画素からなる領域を初期背景マスクに設定する。
[0177] このように、本実施形態では、ヒストグラム作成部 73 laが作成した G値ヒストグラム H 3における 2つのピーク Pkl, Pk2それぞれに基づいて 2種類のマスクが設定される。 ここで、これら 2種類のマスクが正確に設定されるには、上記の 2つのピークそれぞれ がなるベく急峻であることが望ましい。ところが、本実施形態とは異なり、撮影スタジオ 内が定常的な照明で照らされている等といった状態では、逆光撮影画像が全体的に 明る 、画像となってしま 、、 G値ヒストグラムにおける 2つの急峻なピークが得られなく なる可能性がある。
[0178] 以下、このような明るい撮影スタジオに対しても 2つの急峻なピークが得られる、本 実施形態において作成されるヒストグラムとは別のヒストグラムについて説明する。
[0179] 図 18は、図 17に示す例とは異なるヒストグラムの例を示す図である。
[0180] この図 18に示すヒストグラム H5は、図 17に示す例とは異なり、上記の補正済みの 順光撮影画像と補正済みの逆光撮影画像との双方が使われて、以下のように作成さ れるものである。まず、これら 2つの撮影画像の間で互いに対応する位置にある画素 の組全てについて、各組をなす画素相互間の輝度の比率が算出される。そして、各 組について算出された輝度の比率力 多数の範囲に振り分けられ、各範囲について どれだけの組が振り分けられたかが頻度で示されることでヒストグラム H5が作成され る。この比率のヒストグラム H5では、横軸 H5—1に輝度の比率がとられ、縦軸 H5— 2 に頻度がとられている。この各組をなす画素相互間の輝度の比率力 本発明にいう「 複数の撮影画像の相互間における明るさの比率」の一例に相当する。
[0181] ここで、撮影スタジオにおける、閃光発光装置による閃光の輝度を Ls、撮影スタジ ォ内に定常的に存在して 、る明る 、照明の輝度を Lt、被写体上あるいは ELパネル 上の撮影画像中の各画素に相当する位置の反射率を Ri、 ELパネルによる発光光の 輝度を Leとすると、この撮影スタジオでの撮影で得られた順光撮影画像と逆光撮影 画像とに基いて算出される上記の輝度の比率は以下の式で表わされる。
[0182] 撮影画像中の被写体領域に相当する画素にっ 、ての輝度の比率を N 1とすると、 その輝度の比率は次のようになる。
[0183] Nl = (RiX Lt) / (RiX (Ls + Lt) ) =Lt/ (Ls + Lt)…… (1)
この（1)式から、被写体領域内の輝度の比率は、被写体領域内の位置に寄らず、 撮影スタジオ内の各装置の仕様に基いて決まる一定値になることがわかる。
[0184] また、撮影画像中の背景領域に相当する画素についての輝度の比率を N2とすると 、その輝度の比率は次のようになる。 [0185] N2= (RiX Lt + Le) / (RiX (Ls + Lt) +Le)…… (2)
この（2)式において、 Riは、 ELパネルにおける反射率となる力 ELパネル上では 反射率は位置に寄らずほぼ一定となるので、この（2)式から、背景領域内の輝度の 比率も、背景領域内の位置によらず、撮影スタジオ内の各装置の仕様に基いて決ま る一定値になることがわかる。
[0186] ただし、被写体領域内の輝度の比率と背景領域内の輝度の比率との間には、 EL パネルによる発光光の輝度 (Le)に起因する差がある。その結果、この比率のヒストグ ラム H5には、図 18に示すように、被写体領域と背景領域とのそれぞれに対応する 2 つの急峻なピーク Pk3, Pk4が現れることとなる。ここで、順光撮影画像と逆光撮影画 像との相互間では、被写体領域における輝度の違いが、背景領域における輝度の 違いよりも大きくなるので、図 18に示すヒストグラム H5では、低比率側のピーク Pk3 が背景領域に対応し、高比率側のピーク Pk4が被写体領域に対応する。
[0187] このように、図 18に示すヒストグラム H5では、撮影スタジオ内に定常的に明るい照 明が存在していたとしても、 2つの急峻なピークが必ず現れる。また、その定常的な照 明の輝度が変わったとしても、各ピークの位置が変わるだけで急峻さは変化しな 、こ とが上記の（1)式と（2)式と力もわかる。
[0188] 以上で、この輝度の比率のヒストグラムについての説明を終了し、図 17に至る本実 施形態の撮影システム 1につ 、ての説明に戻る。
[0189] 上述したように、本実施形態では、図 17のパート (c)に示す G値ヒストグラム H3に おける 2つのピーク Pkl, Pk2それぞれに基づいて初期被写体マスクと初期背景マス クとが設定される。
[0190] 図 19は、図 14に示す逆光撮影画像の拡大図において、初期被写体マスクに設定 された領域と初期背景マスクに設定された領域を示す図である。
[0191] この図 19における右側のハッチング部分は、図 14の拡大図において被写体 P'の 頭髪が、背景が見えないほどに集まっていて、逆光撮影によってシャドウ側に大きく 偏って写っている部分であり、その部分の画素の G値が上記の第 1の閾値 Sriを下 回っている。その結果、この図 18における右側のハッチング部分は、被写体マスク設 定部 731cによって初期被写体マスク Mlに設定される。 [0192] また、図 19における左側のハッチング部分は、図 14の拡大図において背景の EL パネル 130のみが写っている、ハイライト側に大きく偏った部分であり、その部分の画 素の G値は上記の第 2の閾値 Sr2を上回っている。その結果、この図 19における左 側のハッチング部分は、背景マスク設定部 73 Idによって初期背景マスク M2に設定 される。
[0193] 一方、図 19において左右いずれのハッチング部分にも属していない部分は、頭髪 越しに背景が見えている部分であり、その部分の G値は、上記の第 1の閾値 Sriを上 回り、上記の第 2の閾値 Sr2を下回る。その結果、この図 19において左右いずれの ノ、ツチング部分にも属していない部分は、初期被写体マスク Mlと初期背景マスク M 2との間にあって、両方のマスクの外側となる境界領域 M3として残される。
[0194] 図 20は、図 19に示す初期被写体マスクと初期背景マスクとを示す図であり、図 21 は、初期被写体マスクと初期背景マスクとを、図 11に示す補正済みの順光撮影画像 全体に重ねて示した図である。
[0195] 図 20および図 21に示すように、初期被写体マスク Mlと初期背景マスク M2とはか なり接近しており、境界領域 M3が非常に狭くなつている。ここで、上述したように、補 正済みの逆光撮影画像では、画像中の被写体の位置や輪郭は、補正済みの順光 撮影画像における被写体の位置や輪郭とほぼ同じになる。しかし、撮影のタイミング が若干ずれているため、 2つの撮影画像の間で、被写体の位置や輪郭が若干ずれる 可能性もある。そのような場合には、境界領域 M3が狭いと、補正済みの順光撮影画 像において、図 13に示すような、被写体の一部を透力して背景が見えている部分が 境界領域 M3に完全には含まれず、 2つのマスクのいずれか一方に含まれてしまう恐 れが生じる。このような初期被写体マスク Mlと、初期背景マスク M2とに基づいて、背 景の置換が行なわれると、被写体の一部を透力して背景が見えている部分に、古い 背景が残ってしまったり、あるいは、そのような部分が全て新しい背景に置換されて、 被写体の一部が欠けてしまったりするという問題が発生してしまう恐れがある。
[0196] このような問題を回避するために、本実施形態では、図 16に示す被写体マスク縮 小部 731 eによって初期被写体マスク M 1を境界領域 M3から離れる方向に縮小し、 背景マスク縮小部 731fによって初期背景マスク M2を境界領域 M3から離れる方向 に縮小する。これにより、境界領域 M3が広げられ、被写体の一部を透力して背景が 見えている部分が境界領域 M3により多く含まれるようになる。
[0197] 図 22は、図 20に示す初期被写体マスクと初期背景マスクとが、それぞれ境界領域 力 離れる方向に縮小される様子を示す図である。
[0198] この図 22に示すように、初期被写体マスク Mlの輪郭 L1が所定数の画素分だけ、 境界領域 M3から離れる方向に移動されることによって初期被写体マスク Mlが縮小 され、同様に、初期背景マスク M2の輪郭 L2が所定数の画素分だけ、境界領域 M3 力 離れる方向に移動されることによって初期背景マスク M2が縮小される。ここで、 本実施形態では、 2つのマスクの輪郭の移動量として 5画素が採用されている。この ようなマスクの縮小を経て、最終的な被写体マスク Ml 'および背景マスク M2'が完 成される。
[0199] 図 23は、最終的に完成された被写体マスクと背景マスクとを、図 11に示す補正済 みの順光撮影画像全体に重ねて示した図である。
[0200] 最終的に完成された被写体マスク Ml 'と背景マスク M2'との間、即ち、最終的な 境界領域 M3'は、図 21に示す境界領域 M3に比べて 10画素分広くなつており、図 2 3に示すように、この最終的な境界領域 M3'に、被写体の一部を透力して背景が見 えている部分がかなり含まれることとなる。ここで、上記の最終的に完成された背景マ スク M2'で定義される領域が、本発明にいう「撮影画像中の背景領域」の一例に相 当し、上記の最終的に完成された被写体マスク Ml 'で定義される領域と上記の最終 的な境界領域 M3'とを合わせた領域が本発明にいう「撮影画像中の上記背景領域 を除く他の領域」の一例に相当する。
[0201] 以上で、図 15の置換処理部 730が備えるマスク作成部 731についての説明を終了 し、次に、この置換処理部 730が備える色推定部 732の詳細について説明する前に 、本実施形態のマスク作成部 731とは別の、本実施形態とは異なる方法で背景マス クと被写体マスクを作成するマスク作成部について説明する。
[0202] 例えば、図 1に示す撮影スタジオ 10では、 ELパネル 130とデジタルカメラ 11との相 対的な位置関係によっては、撮影画像中において、 ELパネル 130が、被写体 Pの足 元に近い下方では上方よりも暗く写ってしまい、マスクの作成に使う補正済みの逆光 撮影画像において明るさが高さ方向に不均一になってしまう場合がある。そのような 場合には、図 17に示したヒストグラムの背景領域に対応するピークが分散されてしま い、正確な背景マスクの作成が困難となってしまうことがある。以下に説明する、本実 施形態のマスク作成部 731とは別のマスク作成部は、このような事態に対処できるも のである。
[0203] 図 24は、本実施形態のマスク作成部 731とは別のマスク作成部を示す図である。
[0204] この別のマスク作成部 731，は、画像分割部 731a，、ヒストグラム作成部 731b，、閾 値計算部 731c'、被写体マスク設定部 731d'、背景マスク設定部 731e'、被写体マ スク縮小部 731f'、背景マスク縮小部 731g'、被写体マスク合成部 731h'、および 背景マスク合成部 731i，を備えている。
[0205] 画像分割部 731a'は、上記の補正済みの逆光撮影画像を次のように分割する。
[0206] 図 25は、補正済みの逆光撮影画像が分割された様子を示す図である。
[0207] この図 25には、補正済みの逆光撮影画像が高さ方向に 3分割された状態が示され ている。上述したように、補正済みの逆光撮影画像における明るさの不均一は、画像 の高さ方向に現れる。従って、高さ方向の分割で得られる 3つの小領域 Arl, Ar2, Ar3それぞれの内部では、比較的、明るさが均一になっている。
[0208] 図 24に示すヒストグラム作成部 731b，は、このような 3つの小領域 Arl, Ar2, Ar3 それぞれにつ!ヽてヒストグラムの作成を行なう。
[0209] 図 26は、図 25に示す 3つの小領域 Arl, Ar2, Ar3それぞれについて作成される ヒストグラムの一例を示す図である。
[0210] 図 26のパート（a)には、図 25における最上段の小領域 Arlに対応する G値のヒスト グラム H6が示され、パート（b)には、図 25における中段の小領域 Ar2に対応する G 値のヒストグラム H7が示され、パート（c)には、図 25における最下段の小領域 Ar3に 対応する G値のヒストグラム H8が示されている。この図 26に示すように、 3つの小領 域 Arl, Ar2, Ar3それぞれについて作成されるヒストグラムでは、背景領域に対応 するピークが、ハイライト側に判別可能な急峻さで現れる。
[0211] 図 24に示す閾値計算部 731c'は、これら図 26に示す 3つのヒストグラムそれぞれ について、上述したような、被写体領域を他の領域から区別するための閾値と背景領 域を他の領域力 区別するための閾値とを計算する。
[0212] さらに、被写体マスク設定部 731d'および背景マスク設置部 731e'それぞれは、 3 つの小領域 Arl, Ar2, Ar3それぞれについて、閾値計算部 731c'で算出された閾 値を用いて上述したような初期被写体マスクおよび初期背景マスクの設定を行なう。 また、被写体マスク縮小部 73 If'および背景マスク縮小部 73 lg'それぞれは、 3つの 小領域 Arl, Ar2, Ar3それぞれについて設定された初期被写体マスクおよび初期 背景マスクを縮小して、上述したような被写体マスクおよび背景マスクを作成する。
[0213] 被写体マスク合成部 73 lh'は、 3つの小領域 Arl, Ar2, Ar3それぞれについて作 成された被写体マスクを合成して、逆光撮影画像全体に対応する最終的な被写体マ スクを完成する。同様に、背景マスク合成部 731i'も、 3つの小領域 Arl, Ar2, Ar3 それぞれにつ ヽて作成された背景マスクを合成して、逆光撮影画像全体に対応する 最終的な背景マスクを完成する。
[0214] 以上に説明した別のマスク作成部 731 'によれば、補正済みの逆光撮影画像を比 較的明るさが均一な小領域に分割し、各小領域について被写体マスクと背景マスク を作成した後に各マスクを合成して最終的な被写体マスクと背景マスクを完成する。 このような処理により、マスクの作成に使う補正済みの逆光撮影画像において明るさ が高さ方向に不均一になっていたとしても、正確なマスクの作成が可能となる。尚、こ こでは、補正済みの逆光撮影画像を小領域に分割するときの分割数の例として、分 割数が 3つである例を示した力 この分割数は 3つ以外であっても良い。
[0215] 以上で別のマスク作成部 731，の説明を終了し、再度、図 15の置換処理部 730に っ 、ての説明に戻り、この置換処理部 730が備える色推定部 732の詳細にっ 、て説 明する。
[0216] 図 27は、図 15に 1つのブロックで示す色推定部の詳細を示す図である。
[0217] この色推定部 732は、背景色推定部 732a、被写体色推定部 732b、および合成比 推定部 732cを備えている。
[0218] まず、背景色推定部 732aについて説明する。
[0219] 図 28は、図 27に 1つのブロックで示す背景色推定部の詳細を示す図である。
[0220] この背景色推定部 732aは、補正済みの順光撮影画像における、上記の最終的な 境界領域内の各画素について、その画素の色を構成している背景色を推定するもの であり、探索範囲設定部 732a— 1、背景領域確認部 732a— 2、および背景色計算 部 732a— 3を備えている。
[0221] この背景色推定部 732aは、境界領域内のある画素について背景色を推定する際 には、背景マスクで定義される領域内の画素の中から、ある程度その画素の近くに位 置する複数の画素を探索し、探索された複数の画素の色の平均色を、その画素につ いての背景色として求める。
[0222] 探索範囲設定部 732a— 1は、背景色を推定する画素を中心とした正方形状の探 索範囲を次のように設定する。
[0223] 図 29は、ある画素について背景色を推定する際に、その画素を中心に探索範囲が 設定される様子を示す図である。
[0224] 境界領域内のある画素 Gについて探索範囲を設定するに当たり、探索範囲設定部 732a— 1は、まず、この画素 Gを中心とした正方形状の所定の初期範囲 T1から出発 して徐々に探索範囲を拡張する。そして、探索範囲設定部 732a— 1は、背景マスク M2'で定義される領域の画素が、所定数を超えて探索範囲に含まれるようになった ところで拡張を止め、そのときの探索範囲 T1 'を、背景色推定のための探索範囲とし て設定する。
[0225] 探索範囲が設定されると、図 24に示す背景領域確認部 732a— 2が、画素 Gにつ V、て背景色を推定するために用いる領域として、補正済みの順光撮影画像における 次の領域を確認する。
[0226] 図 30は、ある画素について背景色を推定するために用いられる領域の一例を示す 図である。
[0227] この図 30に示すように、画素 Gについて背景色を推定するために用いられる領域と して、補正済みの順光撮影画像において、背景マスクで定義される領域であり、かつ 探索範囲設定部 732a— 1によって設定された探索範囲 T1 '内となる領域 B1が確認 される。
[0228] このように、画素 Gについて背景色を推定するために用いられる領域 B1が確認され ると、図 28に示す背景色計算部 732a— 3が、この領域 B1内の複数の画素の平均色 、即ち、複数の画素の R値、 G値、および B値それぞれの平均値を計算する。そして、 その計算結果が表わす色を、その画素 Gについての背景色として採用する。
[0229] 以上に説明した背景色推定部 732aは、上記の探索範囲の設定力も平均色の計算 に至るまでの処理を、補正済みの順光撮影画像における境界領域内の全ての画素 について実行する。
[0230] 次に、図 27に示す被写体色推定部 732bについて説明する。
[0231] 図 31は、図 27に 1つのブロックで示す被写体色推定部の詳細を示す図である。
[0232] この被写体色推定部 732bは、補正済みの順光撮影画像における、上記の最終的 な境界領域内の各画素について、その画素の色を構成している被写体色を推定す るものであり、探索範囲設定部 732b— 1、被写体領域確認部 732b— 2、画素色確 認部 732b— 3、および被写体色探索部 732b— 4を備えて 、る。
[0233] この被写体色推定部 732bは、境界領域内のある画素について被写体色を推定す る際には、被写体マスクで定義される領域内の画素の中から、ある程度その画素の 近くに位置する複数の画素を探索し、探索された複数の画素の色の中から、後述の 探索方法によって、その画素についての被写体色を探索する。
[0234] 探索範囲設定部 732b— 1は、被写体色を推定する画素を中心とした正方形状の 探索範囲を次のように設定する。
[0235] 図 32は、ある画素について被写体色を推定する際に、その画素を中心に探索範囲 が設定される様子を示す図である。
[0236] 境界領域内のある画素 Gについて探索範囲を設定するに当たり、探索範囲設定部 732b— 1は、まず、この画素 Gを中心とした正方形状の所定の初期範囲 T2から出発 して徐々に探索範囲を拡張する。そして、探索範囲設定部 732b— 1は、被写体マス ク Ml 'で定義される領域の画素が、所定数を超えて探索範囲に含まれるようになつ たところで拡張を止め、そのときの探索範囲 T2'を、被写体色推定のための探索範 囲として設定する。
[0237] 探索範囲が設定されると、図 31に示す被写体領域確認部 732b— 2が、画素 Gに っ 、て被写体色を推定するために用いる領域として、補正済みの順光撮影画像に おける次の領域を確認する。 [0238] 図 33は、ある画素について被写体色を推定するために用いられる領域の一例を示 す図である。
[0239] この図 33に示すように、画素 Gについて被写体色を推定するために用いられる領 域として、補正済みの順光撮影画像において、被写体マスクで定義される領域であり 、かつ探索範囲設定部 732b— 1によって設定された探索範囲 T2'内となる領域 B2 が確認される。
[0240] このように、画素 Gについて被写体色を推定するために用いられる領域 B2が確認 されると、まず、図 31に示す画素色確認部 732b— 3が、その画素 Gの色を確認し、 次に、図 31に示す被写体色探索部 732b— 4が、上記の領域 B2内の複数の画素の 色の中から、以下のような探索方法によって、その画素 Gについての被写体色を探 索する。
[0241] 図 34は、補正済みの順光撮影画像における境界領域内のある画素について被写 体色を探索する際の探索方法を示す図である。
[0242] 図 34には、補正済みの順光撮影画像における境界領域内のある画素について、 図 27の背景色推定部 732aで推定された背景色 C1と、図 27の画素色確認部 732b
—3で確認されたその画素の色 C2とを、 RGB色空間上で結ぶ直線 CL1が示されて いる。
[0243] 上述したように、補正済みの順光撮影画像における境界領域内の画素の色は、撮 影時に被写体の一部越しに背景が見えて、背景色と被写体色とが合成された合成 色となっている可能性がある。仮に、今、被写体色を探索しょうとしている画素の色が このような合成色となっている場合には、合成色である画素の色 C2と、その色 C2の 元となった背景色 C1と被写体色とは RGB色空間上の直線上に並ぶ。
[0244] そこで、図 31に示す被写体色探索部 732b— 4は、まず、上記の領域 B2内の複数 の画素の色の中から、上記の直線 CL1の延長線上に並ぶ色 C3を探索する。
[0245] このような色 C3が複数存在する場合には、この直線 CL1の延長線上で、画素の色 C2に最も近い色力 背景色 C1とともにその画素の色 C2の元となった可能性が最も 高い。そこで、被写体色探索部 732b— 4は、上記の直線 CL1の延長線上に並ぶ色 C3が複数存在する場合には、これらの色 C3の中から、画素の色 C2に最も近い色を 、この画素についての被写体色 C4として採用する。
[0246] 以上に説明した被写体色推定部 732bは、上記の探索範囲の設定力も被写体色の 探索に至るまでの処理を、補正済みの順光撮影画像における境界領域内の全ての 画素について実行する。
[0247] 以上で、図 27に示す被写体色推定部 732bについての説明を終了し、次に、この 図 27に示す合成比推定部 732cについて説明する。尚、この合成比推定部 732cに ついての説明では上記の図 34を参照する。
[0248] この合成比推定部 732cは、図 34に示すように、背景色推定部 732aで推定された 背景色 C 1と、被写体色推定部 732bで推定された被写体色 C4とを、 RGB色空間上 で結ぶ線分の長さに対する、背景色 C1と、その画素の色 C2とを結ぶ線分の長さの 割合を、背景色 C 1と被写体色 C4とで画素の色 C2を合成するときの合成比 ocとして 算出する。また、この合成比推定部 732cは、このような合成比 αの算出を、補正済 みの順光撮影画像における境界領域内の全ての画素について実行する。
[0249] 以上で、図 15の置換処理部 730が備える色推定部 732の詳細についての説明を 終了し、次に、この置換処理部 730が備える背景置換画像作成部 733の詳細につ いて説明する。
[0250] この背景置換画像作成部 733は、上述したように、まず、上記の補正済みの順光撮 影画像において、被写体マスクで定義される領域についてはそのまま残し、背景マス クで定義される領域を、顧客が所望する別の背景と置換する。
[0251] そして、この背景置換画像作成部 733は、境界領域内の各画素については、顧客 が所望する背景の色と、色推定部 732で推定された被写体色とを、色推定部 732で 推定された合成比で合成して合成色を求める。
[0252] 図 35は、補正済みの順光撮影画像における境界領域内のある画素について合成 色が求められる様子を示す図である。
[0253] この図 35には、 RGB色空間上で、推定された背景色 C1と、その画素の色 C2と、 推定された被写体色 C4とを結ぶ、図 34にも示した直線 CL1が示されている。ここで 、画素の色 C2は、背景色 C1と被写体色 C4とを結ぶ直線を、合成比 oc： ( 1 合成比 α )で分割する点であるといえる。そこで、背景置換画像作成部 733は、この図 31に 示すように、別の背景色 C5と、推定された被写体色 C4とを結ぶ直線 CL2を、合成比 a： ( 1 合成比 ex )で分割する点を合成色 C6として採用する。
[0254] この図 35を参照して説明した方法で、境界領域内の全ての画素について合成色 が求められると、背景置換画像作成部 733は、この全ての画素の色を、各画素につ V、て求められた合成色〖こ置換することにより、補正済みの順光撮影画像の背景が、 顧客が所望する別の背景に置換された背景置換画像を完成させる。
[0255] ここで、補正済みの順光撮影画像における境界領域内には、図 23等からもわかる ように、被写体の一部越しに背景が見えている部分以外にも、被写体のみで占めら れた部分や、背景のみで占められた部分も含まれる。被写体のみで占められた部分 の画素の色は被写体そのものの色であり、背景が別の背景に置換されたとしても、そ の画素の色は維持される必要がある。また、背景のみで占められた部分の画素の色 は背景そのものの色であり、背景が別の背景に置換されたときには、その画素の色 は、その別の背景色に完全に置換される必要がある。
[0256] 本実施形態では、背景色や被写体色や合成比の推定対象の画素が、被写体のみ で占められた部分の画素であった場合には、図 33に示す領域 B2のような、その画 素につ 、て被写体色を推定するために用いられる領域内のほとんどの画素の色が、 推定対象の画素の色と同じ被写体そのものの色となる。その結果、このような画素に ついては、合成比 aがほぼ「1」となり、背景が置換される際には、この合成比 aに基 づいて合成色が求められるので、その画素の色である被写体そのものの色が維持さ れる。
[0257] 一方、背景色や被写体色や合成比の推定対象の画素が、背景のみで占められた 部分の画素であった場合には、その画素の色が、その画素について推定される背景 色と同じ背景そのものの色となる。その結果、このような画素については、合成比 α がほぼ「0」となり、背景が置換される際には、この合成比 aに基づいて、その画素の 色は、別の背景色に完全に置換されることとなる。
[0258] 結局、本実施形態では、背景色や被写体色や合成比の推定対象の画素が、被写 体の一部越しに背景が見えている部分の画素であった場合に、合成比 α力「0」と「1 」との間の値を持つこととなり、背景が置換される際に、被写体色と、別の背景色との 合成が行なわれて背景置換画像が作成される。
[0259] 図 36は、背景置換画像の一例を示す図である。
[0260] この図 36には、図 11に示す補正済みの順光撮影画像の背景を別の背景に置換し て作成された背景置換画像における、図 11中のエリア A1と同じ部分が拡大された 拡大図が示されている。
[0261] 背景置換画像作成部 733で作成される背景置換画像は、境界領域内の画素の色 が上記の合成色に置換された画像であり、この背景置換画像から、観賞者は、この 図 36に示すような、被写体 P'の頭髪越しに、置換された別の背景 TBが透けている 状態を認識することとなる。
[0262] ここで、繰返しになる力 本実施形態では、補正済みの逆光撮影画像に基づ 、て 作成された初期被写体マスク Mlおよび初期背景マスク M2が、図 16に示す被写体 マスク縮小部 73 leおよび背景マスク縮小部 73 Ifによって 5画素分だけ境界領域か ら離れるように縮小されて、被写体マスク Ml 'と、背景マスク M2'とが完成される。こ れにより、補正済みの順光撮影画像と補正済みの逆光撮影画像との間に生じる可能 性のある被写体の位置や輪郭のずれによって、撮影画像中で被写体の一部を透か して背景が見えている部分が、上記の境界領域力 外れてしまうという不具合の回避 が図られている。し力しながら、撮影時の被写体の状況によっては、 5画素分の縮小 では被写体の位置や輪郭のずれを補 、きれな 、場合がある。そのような場合には、 結局、表示画面 220a (図 1参照）に表示された背景置換画像中の、被写体の一部を 透力して背景が見えている部分において、古い背景が残ってしまったり、あるいは、 そのような部分が全て新しい背景に置換されて、被写体の一部が欠けてしまったり等 、つた問題が発生してしまう。
[0263] 本実施形態では、背景置換画像中のこのような不自然な部分を修正して、最終的 に自然な背景置換画像を得るために、画像修正部 760 (図 5参照）が備えられている
[0264] 以下、この画像修正部 760の詳細について説明する。
[0265] 図 37は、図 5に 1つのブロックで示す画像修正部 760の詳細を示す図である。尚、 以下の説明では、図 1および図 5に示す要素については特に図番を断らずに図中の 符号を使って参照する。
[0266] この図 37には、画像修正部 760の他に、図 16にも示した被写体マスク縮小部 731 eおよび背景マスク縮小部 73 Ifも示されている。
[0267] 図 37に示す画像修正部 760は、表示画面 220aに表示された背景置換画像中の 上記のような不自然な部分を修正するものであり、修正受付部 761と、修正値入力部
762と、再置換指示部 763とを備えている。
[0268] 上述したように、表示画面 220aには、背景置換画像とともに、その背景置換画像に ついて修正の必要がある力否かを問うメッセージが表示される。このとき、この背景置 換画像中に上記のような不自然な部分を見たオペレータ力 キーボード 230やマウ ス 240を操作して、修正が必要である旨を指示すると、修正受付部 761が、そのオペ レータからの指示を受け付ける。
[0269] 修正受付部 761が、修正指示を受け付けると、修正値入力部 762が、次のような修 正値を入力するための入力画面を表示画面 220aに表示させる。
[0270] 即ち、本実施形態では、図 16にも示す被写体マスク縮小部 731eおよび背景マスク 縮小部 731fにおける各マスクに対する 5画素分の縮小量に替わる新たな縮小量が 上記の修正値として扱われ、この縮小量が上記の 5画素以上の値に設定されるように なっている。
[0271] 修正値入力部 762が表示させた修正値の入力画面では、この縮小量力 オペレー タによるキーボード 230やマウス 240を操作によって入力される。そして、修正値入力 部 762は、入力された縮小量を被写体マスク縮小部 731eおよび背景マスク縮小部 7 31fに渡す。被写体マスク縮小部 731eおよび背景マスク縮小部 731fそれぞれは、 5 画素に替えて、修正値入力部 762から渡された縮小量で上記の初期被写体マスク Mlおよび初期背景マスク M2を縮小し直す。これにより、縮小量が 5画素であつたと きよりも広さが狭い新たな被写体マスクおよび背景マスクが作られる。この結果、上記 の境界領域が広がり、被写体の一部を透かして背景が見えている部分が、縮小量が 5画素であったときよりも多く境界領域に含まれることとなる。
[0272] そして、再置換指示部 763が、上記の新たな被写体マスクおよび背景マスクを用い た、背景の再置換処理を、上述した置換処理部 730の各部に指示する。 [0273] この再置換処理によって作成された新たな背景置換画像は表示画面 220aに表示 される。そして、以上、説明した画像修正部 760による画像修正は、表示画面 220a に表示される背景置換画像中に、上記のような不自然な部分が認められなくなるまで 繰り返される。
[0274] 以上、図 1〜図 37を参照して説明したように、本実施形態の撮影システム 1によれ ば、まず、画像中の背景と被写体とで明るさが大きく異なり、背景と被写体とを互いに 誤認することなく区別できる補正済みの逆光撮影画像に基づ 、て、補正済みの順光 撮影画像における背景と被写体とが区別される。このため、この補正済みの順光撮 影画像の背景が別の背景に置換されるときに、被写体の一部が誤って背景に置換さ れてしまったり、背景置換画像の中に、古い背景が残ってしまったりする等といった 不具合が抑制されて、背景が所望の背景に自然に置換された背景置換画像を作成 することができる。
[0275] また、本実施形態の撮影システム 1によれば、補正済みの順光撮影画像における、 被写体領域と背景領域との境界領域が認識され、背景を置換する際には、この境界 領域内の画素の色が、置換される別の背景色と被写体色とが適切に合成された合成 色に置換される。これにより、例えば、被写体の一部越しに背景が見えている部分が あつたとしても、背景を置換すると、この被写体の一部越しに別の背景が見えている t ヽつた自然な背景置換画像を作成することができる。
[0276] さらに、本実施形態の撮影システム 1によれば、背景が所望の背景に置換された背 景置換画像に修正を施すことにより、背景が、より自然に置換された背景置換画像を 作成することができる。
[0277] 尚、上記では、本発明の背景置換装置における画像修正部の一例として、上記の 初期被写体マスクおよび初期背景マスクについての縮小量を、背景置換画像に対 する修正量として扱う画像修正部 760を挙げて説明した力 本発明はこれに限るもの ではない。本発明の画像修正部は、例えば、次のようなものであっても良い。
[0278] 図 38は、図 37に示した画像修正部とは別の画像修正部を示す図である。
[0279] 尚、以下では、図 37に示した画像修正部 760との相違点に注目して説明を行ない 、図 38では、図 37と同等な構成要素については図 37と同じ符号を付し、重複説明 を省略する。また、以下の説明では、図 17のパート（c)に示す G値ヒストグラム H3を 適宜に参照する。
[0280] この図 38に示す画像修正部 810は、上記の画像修正部 760とは異なり、次のよう な修正値入力部 811を備えて 、る。
[0281] 上記の初期被写体マスクおよび初期背景マスクは、上述したように、補正済みの逆 光撮影画像力 作成された G値ヒストグラム H3から計算される 2つの閾値 Sri, Sr2 に基づいて設定される。即ち、補正済みの逆光撮影画像を構成する複数の画素のう ち、 G値が第 1の閾値 Sri以下となる画素力 なる領域が初期被写体マスクに設定さ れ、 G値が第 2の閾値 Sr2以上となる画素力 なる領域が初期背景マスクに設定され る。
[0282] ここで、この図 38に示す画像修正部 810では、上記の G値ヒストグラム H3から計算 される 2つの閾値 Sri, Sr2に替わる新たな 2つの閾値が修正値として扱われ、初期 被写体マスク用の修正値としては、第 1の閾値 Sri以下の値となる閾値が設定され、 初期背景マスク用の修正値としては、第 2の閾値 Sr2以上の値となる閾値が設定され るようになっている。ここで、この画像修正部 810において修正値として扱われる 2つ の閾値が、本発明にいう「区別基準」の一例に相当する。
[0283] 修正値入力部 811が表示画面に表示させる入力画面では、これら 2つの閾値が、 オペレータによるキーボード 230やマウス 240の操作によって入力される。そして、修 正値入力部 762は、入力された 2つの閾値を、それぞれ、図 16にも示す被写体マス ク設定部 731cと背景マスク設定部 731dとに渡す。これにより、上記の第 1の閾値 Sr 1および第 2の閾値 Sr2を用いて設定される初期被写体マスクおよび初期背景マスク と比べて、形や位置が、境界領域が広がるように異なった新たな初期被写体マスクお よび初期背景マスクが設定される。この結果、最終的な 2つのマスクも新たなものとな り、両者間の境界領域には、被写体の一部を透力して背景が見えている部分が、元 の 2つの初期マスクを用いたときよりも多く含まれることとなる。
[0284] つまり、この図 38に示す画像修正部 810によっても、上記の縮小量を修正値として 扱う画像修正部 760と同等な効果を得ることができる。
[0285] ここで、本実施形態では、境界領域内のある画素にっ 、て被写体色や合成比 aを 推定する際に設定される探索範囲は、その画素を中心とした範囲であって、被写体 マスク Ml 'で定義される領域の画素が所定数を超えて含まれる範囲である。このた め、探索範囲は、被写体マスク Ml 'で定義される領域力 画素の位置が離れるに従 つて広くなる。以下、このような探索範囲の拡大が抑えられた、本実施形態とは別の、 探索範囲の設定方法につ!、て説明する。
[0286] まず、この別の設定方法では、境界領域内の、被写体マスク Ml 'で定義される領 域に近い画素から、被写体色や合成比 OCの推定が実行される。
[0287] 図 39は、被写体マスク Ml 'で定義される領域に近い画素から、被写体色や合成比 aの推定が実行される様子を示す模式図である。
[0288] この図 39に示すように、この別の設定方法では、被写体マスク Ml 'の輪郭 L3の側 力 被写体色や合成比 αの推定が実行される。ここで、この別の設定方法では、被 写体色が推定された画素を、被写体マスク Ml 'で定義される領域内の画素と同等で あるとみなす。その結果、境界領域内に、被写体マスク Ml 'の輪郭 L3と同等な見か け上の輪郭（図中の点線 L3 ' )が形成される。そして、この見かけ上の輪郭は、推定 が進む度に、この図 39に示すように、境界領域内に進出することとなる。
[0289] この別の設定方法では、この境界領域内に進出した見かけ上の輪郭（図中の点線 L3 ' )を使って、探索範囲の設定が行なわれる。
[0290] 図 40は、見かけ上の輪郭を使った探索範囲の設定の様子を示す模式図である。
[0291] この図 40に示すように、この別の設定方法では、被写体色や合成比 exを推定する 画素 Gを中心とし、見かけ上の輪郭（図中の点線 L3 ' )よりも被写体側の領域に画素 が所定数を超えて含まれる範囲が探索範囲 T2"として設定される。そして、探索範囲 T2"における、見かけ上の輪郭よりも被写体側の領域 B2 'において、被写体色の推 定が実行される。この推定には、見かけ上の輪郭よりも被写体側にある画素について 既に推定された被写体色が推定の候補として使われる。
[0292] このように、推定が進む毎に境界領域内に進出する見かけ上の輪郭よりも被写体 側の領域 B2 'を推定に利用することで、被写体マスク Ml 'の輪郭 L3から離れた位置 の画素についても探索範囲の拡大が抑えられることとなる。
[0293] 尚、上記では、本発明にいう背景置換装置の一実施形態として、補正済みの逆光 撮影画像中で被写体が占めて 、る範囲を定義する被写体マスクと、背景が占めてい る範囲を定義する背景マスクとの 2つのマスクを作成し、これら 2つのマスクを用いて、 補正済みの順光撮影画像における背景の置換を行なう背景置換装置 700を例示し たが、本発明はこれに限るものではない。本発明の背景置換装置は、例えば、以下 に説明するように、上記の背景マスクのみを作成し、この背景マスクのみを用いて、 補正済みの順光撮影画像における背景の置換を行なうもの等であっても良い。
[0294] 以下に、背景マスクのみを用いた背景置換の方法の一例について説明する。尚、 ここでの背景マスクは、図 15に示すマスク作成部 731が行なう背景マスクの作成と同 じ方法で作成されたものであるとして、背景マスクの作成にっ 、ては重複説明を省略 する。
[0295] この背景マスクのみを用いた背景置換では、まず、この背景マスクに基づいて、補 正済みの順光撮影画像にぉ ヽて、背景マスクで定義される領域を除 ヽた領域を定義 する非背景マスクが作成される。この非背景マスクが定義する領域は、上記の被写体 マスクが定義する領域と、境界領域とを合わせた領域になる。そして、この非背景マ スクが定義する領域内の全ての画素について、背景色と、被写体色と、両者の合成 比の推定が行なわれる。尚、ここでの背景色は、図 27に示す背景色推定部 732aが 行なう推定方法と同じ方法によって推定されるものであるとして、背景色の推定につ いては重複説明を省略する。以下では、主に、被写体色の推定方法に注目して説明 する。
[0296] 図 41は、補正済みの順光撮影画像において、非背景マスクで定義される領域内の ある画素について被写体色を推定する際に、その画素を中心に探索範囲が設定さ れる様子を示す図である。ここで、この図 41では、図 22に示す被写体マスク Ml '力 S 定義する領域と、境界領域 M3とを合わせた領域が、上記の非背景マスク M4が定義 する領域の一例として挙げられている。また、この非背景マスク M4が定義する領域 は、本発明にいう「撮影画像中の上記背景領域を除く他の領域」の一例に相当する。
[0297] 非背景マスク M4が定義する領域内のある画素 Gについて探索範囲を設定するに 当たっては、まず、この画素 Gを中心とした正方形状の所定の初期範囲 T3から出発 して徐々に探索範囲が拡張される。そして、補正済みの順光撮影画像において非背 景マスク M4で定義される領域の画素力 所定数を超えて探索範囲に含まれるように なったところで拡張が止められ、そのときの探索範囲 T3'が、被写体色推定のための 探索範囲として設定される。
[0298] 探索範囲が設定されると、画素 Gについて被写体色を推定するために用いる領域 として、補正済みの順光撮影画像における次の領域が確認される。
[0299] 図 42は、ある画素について被写体色を推定するために用いられる領域の一例を示 す図である。
[0300] この図 42に示すように、画素 Gについて被写体色を推定するために用いられる領 域として、補正済みの順光撮影画像において、非背景マスクで定義される領域であり 、かつ上記のように設定された探索範囲 T3'内となる領域 B3が確認される。
[0301] このように、画素 Gについて被写体色を推定するために用いられる領域 B3が確認 されると、まず、その画素 Gの色が確認され、次に、上記の領域 B3内の複数の画素 の色の中から、以下のような探索方法によって、その画素 Gについての被写体色が 探索される。
[0302] 図 43は、補正済みの順光撮影画像における、非背景マスクで定義される領域内の ある画素について被写体色を探索する際の探索方法を示す図である。
[0303] 図 43には、補正済みの順光撮影画像における境界領域内のある画素について、 推定された背景色 C7と、その画素の色 C8とを、 RGB色空間上で結ぶ直線 CL3が 示されている。
[0304] ここで、補正済みの順光撮影画像における非背景マスクで定義される領域には、上 述したような境界領域が含まれている。そして、この境界領域には被写体の一部越し に背景が見えている部分が含まれている可能性があり、そのような部分の画素の色 は、背景色と被写体色とを合成した合成色となっている。仮に、今、被写体色を探索 しょうとしている画素の色がこのような合成色となっている場合には、合成色である画 素の色 C8と、その色 C8の元となった背景色 C7と被写体色とは RGB色空間上の直 称上に业ふ。
[0305] そこで、まず、上記の領域 B3内の複数の画素の色の中から、上記の直線 CL3の延 長線上に並ぶ色 C9を探索する。このような色 C9が複数存在する場合、これら複数の 色 C9のうちの 1つの色が被写体色として採用される。
[0306] ここで、非背景マスクで定義される領域内には、上記の合成色を有する画素や、背 景色のみを有する画素等といった、被写体色以外の色を有する画素が含まれる。こ のため、上記の複数の色 C9のうちでは、画素の色 C8から最も遠い色力 背景色 C7 とともにその画素の色 C8の元となった被写体色である可能性が高い。
[0307] そこで、この非背景マスクで定義される領域内の画素の色の中から被写体色を探 索する方法では、上記の直線 CL3の延長線上に複数の色 C9が並んだ場合には、こ れらの色 C9の中から、画素の色 C7に最も遠い色を、この画素についての被写体色 C10として採用する。
[0308] このように被写体色が推定されると、この図 37に示すように、背景色推定部 732aで 推定された背景色 C7と、被写体色推定部 732bで推定された被写体色 C10とを、 R GB色空間上で結ぶ線分の長さに対する、背景色 C7と、その画素の色 C8とを結ぶ 線分の長さの割合を、背景色 C7と被写体色 C10とで画素の色 C8を合成するときの 合成比 αとして算出する。
[0309] そして、背景マスクのみを用いた背景置換では、以上に説明した探索範囲の設定 力 合成比の算出に至るまでの処理が、補正済みの順光撮影画像における、非背 景マスクで定義される領域内の全ての画素について実行される。
[0310] 以上説明した、背景色と被写体色と合成比との推定が終了すると、まず、補正済み の順光撮影画像における、背景マスクで定義される領域が、顧客が所望する別の背 景に置換される。次に、補正済みの順光撮影画像における、非背景マスクで定義さ れる領域内の全ての画素について、上記の図 31を参照して説明した方法で合成色 が求められ、この非背景マスクで定義される領域内の全ての画素の色が合成色に置 換されて、背景置換画像が完成される。
[0311] ここで、この非背景マスクで定義される領域内の、被写体のみで占められた部分の 画素については、合成比 αがほぼ「1」となり、背景が置換される際にも、その画素に おける被写体そのものの色が維持される。また、非背景マスクで定義される領域内の 、背景のみで占められた部分の画素については、合成比 aがほぼ「0」となり、背景が 置換される際には、その画素の色が、別の背景色に完全に置換される。 [0312] 以上、図 41〜図 43を参照して説明した、背景マスクのみを用いた背景置換によつ ても、上記の図 1〜図 36を参照して説明した、撮影システム 1と同様に、撮影画像に おける背景が所望の背景に自然に置換された背景置換画像を作成することができる
[0313] また、例えば、上述した被写体マスクと背景マスクとの両方を用いた背景置換では、 被写体マスクで定義される領域内に ELパネル 130の発光色の写り込みが存在して いるような場合、背景置換の際に、その ELパネル 130の発光色の写り込みがそのま ま残されてしまう可能性がある。しかし、上記の背景マスクのみを用いた背景置換に よれば、このような場合であっても、完全な背景色の領域以外の領域が全てが推定 対象となるので、そのような写り込みの色が除去された正確な被写体色が推定される
[0314] また、ここまで、被写体マスクと背景マスクとの両方を用いた背景置換と、背景マスク のみを用いた背景置換との 、ずれか一方の方法で背景置換を実行する実施形態に っ 、て説明したが、本発明はこれに限るものではな!/、。
[0315] 被写体マスクと背景マスクとの両方を用いた背景置換と背景マスクのみを用いた背 景置換とでは、ほぼ同様に被写体色を推定することができる。しかし、前者の方法に ぉ 、て被写体色の推定に用いられる図 33に示す領域 B2は、後者の方法にお!、て 被写体色の推定に用いられる図 40に示す領域 B3よりも範囲が狭いため、撮影画像 の状況によっては、前者の方法では、図 34に示す直線 CL1の延長線上に並ぶ色 C 3等と 、つた被写体色の候補が見つからな 、場合がある。
[0316] そこで、まず、被写体マスクと背景マスクとの両方を用いた背景置換によって被写 体色の推定を行ない、その方法では、被写体色の候補が見つ力もな力つた場合には 、背景マスクのみを用いた背景置換によって被写体色の推定を行ない、図 33に示す 領域 B2よりも範囲が広い、図 40に示す領域 B3をから被写体色の候補を探すといつ た推定方法が考えられる。
[0317] また、上記の 2種類の方法それぞれによる被写体色の推定の精度はほぼ同等であ る力 撮影画像の状況によっては、いずれか一方の方法が若干高精度となる場合が ある。そこで、例えば、これら 2種類の方法を次のように組み合わせて、推定精度を高 めるということが考えられる。
[0318] 例えば、上記の 2種類の方法それぞれで被写体色と合成比 ocとを推定した場合、 V、ずれか一方の方法で得られた合成比 aのみが「0」や「 1」に近 、等と 、つた場合、 何らかの理由で、その方法による推定の精度力 Sもう一方の方法による推定の精度より も低くなつている可能性が高い。そこで、上記の 2種類の方法それぞれで被写体色と 合成比 αとを推定し、 2つの合成比ひのうちの 1つの合成比ひのみ力 「0」に近い所 定の第 1閾値以下となって 、る力 ある 、は「1」に近 、所定の第 2閾値以上となって いる場合には、もう 1つの合成比 OCに対応する被写体色を採用するという方法が考え られる。
[0319] また、上記の 2種類の方法の間の平均的な精度での推定結果を得るために、これら 2種類の方法それぞれで推定された 2種類の被写体色の平均的な色を被写体色とし て採用するという方法も考えられる。
[0320] 以上に説明した 3通りの推定方法によれば、いずれの方法によっても、被写体マス クと背景マスクとの両方を用いた背景置換と背景マスクのみを用いた背景置換との何 れか一方のみで被写体色を推定する場合に比べて推定精度を高めることができる。
[0321] 尚、ここまで、顧客が所望する置換用の背景力^つであることを前提として説明した 力 本発明の背景置換装置は、例えば、顧客が所望する置換用の背景が複数あつ て、このような複数の置換用の背景に効率的に対処できる次のような構成のものであ つても良い。
[0322] 図 44は、複数の置換用の背景に効率的に対処できる工夫が施された、図 15に示 す置換処理部 730とは別の置換処理部を示す図である。尚、この図 44では、図 15 の構成要素と同等な構成要素については図 15と同じ符号を付し重複説明を省略す る。
[0323] この図 44に示す別の置換処理部 730 'は、図 15に示す置換処理部 730に、推定さ れた被写体色と合成比 exとを記憶する記憶部 734が追加された構成となっている。こ の記憶部 734が、本発明に 、う記憶部の一例に相当する。
[0324] この別の置換処理部 730 'では、撮影画像について、マスク作成部 731において背 景マスクと被写体マスクが作成され、色推定部 732において被写体色と合成比 αと が推定されると、それら背景マスク、被写体マスク、被写体色、および合成比 OCが記 憶部 734に記憶される。そして、この別の置換処理部 730'では、背景置換画像作成 部 733 'は、この記憶部 734に記憶された背景マスク、被写体マスク、被写体色、およ び合成比ひを使って背景置換画像を作成する。
[0325] この図 44に示す別の置換処理部 730'では、一度、背景マスク、被写体マスク、被 写体色、および合成比 ocが求められると、後は、置換用の背景が複数あっても、それ らの背景マスク、被写体マスク、被写体色、および合成比 OCが、全ての置換用の背景 に適用される。これにより、例えば、背景置換の度に背景マスク、被写体マスク、被写 体色、および合成比 αを求める等といった手間が省かれて、効率的に背景置換を作 成することができる。
[0326] また、上記では、図 6に示すように、画像補正部 720中で、順光撮影画像に基いて 作成された有効画像の色に色補正処理を施す色補正部 724について説明したが、 本発明はこれに限るものではない。本発明の背景置換装置は、このような有効画像 の色ではなぐ以下に説明するように、置換処理部にあって、推定された被写体色に 対して色補正処理を施すものであっても良 、。
[0327] 図 45は、推定された被写体色に対して色補正処理を施す色補正部を備えた、図 1 5に示す置換処理部 730とは別の置換処理部を示す図である。尚、この図 43では、 図 15の構成要素と同等な構成要素については図 15と同じ符号を付し重複説明を省 略する。
[0328] この図 45に示す別の置換処理部 730"は、図 15に示す置換処理部 730に、被写 体色に対する色補正に使われる補正パラメータを決定するパラメータ決定部 735と、 ノ メータ決定部 735によって決定された補正パラメータを使って、被写体色に対し て色補正を施す色補正部 736とが追加された構成となっている。ここで、この図 43の ノ ラメータ決定部 735が、本発明に 、う第 1のパラメータ決定部と第 2のパラメータ決 定部と第 3のパラメータ決定部と第 4のパラメータ決定部とを兼ねた一例に相当し、こ の図 45の色補正部 736が、本発明にいう第 1の色補正部と第 2の色補正部と第 3の 色補正部と第 4の色補正部とを兼ねた一例に相当する。
[0329] この別の置換処理部 730"では、色補正部 736において、上記の被写体領域で定 義される領域内の色と、推定された被写体色とに対して、色合いやホワイトバランスを
、一般的に観賞者が好ま 、と感じる色合!、やホワイトバランスに補正する!、わゆる セットアップと呼ばれる色補正が実行される。そして、そのセットアップに使われる補 正パラメータ（セットアップパラメータ）力 ノ ラメータ決定部 735において決定される。
[0330] ここで、この図 45に示すパラメータ決定部 735は、有効画像作成部 723において 順光撮影画像に基 ヽて作成された有効画像に基!ヽてセットアップパラメータを決定 する機能と、色推定部 732において推定された被写体色に境界領域内の色が置き 換えられた画像中の背景以外の部分に基いてセットアップパラメータを決定する機能 と、セットアップパラメータを操作に応じたパラメータに決定する機能と、置換用の背 景に基いてセットアップパラメータを決定する機能とを有している。そして、これら 4種 類の機能のうちいずれの機能を使ってセットアップパラメータを決定するかは、不図 示の操作画面を介したオペレータの操作によって決定される。そして、このパラメータ 決定部 735において決定されたセットアップパラメータを使ったセットアップ力 上記 のように、被写体領域で定義される領域内の色と、推定された被写体色とに対して施 される。
[0331] 例えば、図 1に示す撮影スタジオ 10では、撮影の状況によっては、デジタルカメラ 1 1における撮影時のホワイトバランス力 ELパネル 130の発光色である青緑色に影響 を受けてしまう場合がある。そのような場合には、例えば人物の顔等が実際以上に青 白く写ってしまう。しかし、上記の図 45に示す色補正部 736におけるセットアップによ れば、この人物の顔等の色を好ま 、色に補正することができる。
[0332] また、図 6に示す色補正部 724のように、順光撮影画像に基!、て作成された有効画 像の色に色補正処理を施すと、撮影画像の状況によっては、例えば撮影画像中の 階調が変更されている等といった理由から、被写体色の推定が不正確なものとなつ てしまう場合がある。また、背景置換後の画像に対してセットアップが施されると、置 換用の背景の色まで変わってしまい顧客が所望した背景とは色合いが異なる背景の 画像ができてしまう恐れがある。図 44に示すパラメータ決定部 735および色補正部 7 36によるセットアップによれば、セットアップは、被写体色の推定の後、かつ背景の置 換の前に実行されるので、被写体色の推定や置換用の背景の色に影響を与えること なぐセットアップを実行することができ、背景が置換された高画質の画像を得ること ができる。
[0333] また、この図 45に示す例では、サーバ 40内に格納されている置換用の背景には、 被写体と背景との画像中における相対的な位置関係や、画像中における背景に対 する被写体の相対的な大きさ等と 、つた相対関係を表わす関係情報が付与されて ヽ る。そして、この図 45の背景置換画像作成部 733"は、顧客が所望した置換用の背 景を使った背景置換画像を作成する際には、その背景置換画像中で被写体と背景 との相対関係が、顧客が所望した置換用の背景に付与されている相対関係と同じ相 対関係となるようにその背景置換画像を作成する。このような処理により、例えば背景 置換画像中の被写体の位置や大きさが背景に対して自然な位置や大きさとなった、 見た目の自然さが高められた背景置換画像を得ることができる。
[0334] 次に、本発明の第 2実施形態について説明する。
[0335] この第 2実施形態は、上記の第 1実施形態とは、撮影システムのうちの撮影スタジオ の構成と、その撮影スタジオにおいて行われる撮影処理と、パーソナルコンピュータ で行われる背景置換処理が異なっている。以下では、第 2実施形態における、第 1実 施形態との相違点に注目して説明し、その他の、第 1実施形態と同等な点について は、図面に同一符号を付して重複説明を省略する。
[0336] 図 46は、本発明の背景置換装置の第 2実施形態が適用された撮影システムを示 す図である。
[0337] この図 1に示す撮影システム 1001は、被写体を撮影して撮影画像を取得する撮影 スタジオ 1010と、その撮影画像における被写体と背景とを区別して、撮影画像中の 背景を所望の背景に置換して背景置換画像を作成する、本発明の背景置換装置の 第 2実施形態として動作するパーソナルコンピュータ 20と、プリンタ 30と、サーバ 40と を備えている。また、撮影スタジオ 1010は、デジタルカメラ 1011と、閃光発光装置 1 2と、 EL (エレクトロルミネセンス）パネル 1130と、この ELパネル用の電源 14を備えて いる。
[0338] デジタルカメラ 1011は、連写機能を有しており、撮影者がシャツタボタンを 1回押す と、短時間の間に自動で被写体 Pを 3回撮影する。 1回毎の撮影によって得られた撮 影画像はデジタルカメラ 1011内のメモリに一時的に保管される力 撮影システム 10 01では、デジタルカメラ 1011がパーソナルコンピュータ 20に接続されており、 3回の 撮影が終了した時点で、この 3回の撮影で得られた撮影画像は、このパーソナルコン ピュータ 20に直ちに送られる。
[0339] また、このデジタルカメラ 1011には、後述のパネル点灯制御回路 11aと閃光制御 回路 l ibとが取り付けられており、デジタルカメラ 1011は、パネル点灯制御回路 11a を介して上記の電源 14に接続され、また、閃光制御回路 l ibを介して閃光発光装置 12に接続されている。このデジタルカメラ 1011は、上記の連写の際には、撮影の度 に、まず、 ELパネル 1130用の電源 14に対して ELパネル 1130を点灯させるように 指示するパネル点灯指示信号をこの電源 14に向けて発信し、続いて、閃光発光装 置 12に対して閃光を発するように指示する閃光指示信号をこの閃光発光装置 12に 向けて発信する。ここで、パネル点灯制御回路 11aは、デジタルカメラ 1011が上記 の連写の際に撮影の度に発信するパネル点灯指示信号を、 1回目の撮影時には遮 断し、 2回目と 3回目の撮影時には通過させる。また、閃光制御回路 l ibは、上記の 閃光指示信号を、 1回目と 2回目の撮影時には通過させ、 3回目の撮影時には遮断 する。この結果、連写の際、 1回目の撮影時には、閃光発光装置 12への閃光指示信 号の入力のみが行なわれ、 2回目の撮影時には、まず、電源 14にパネル点灯指示 信号が入力され、続いて閃光発光装置 12に閃光指示信号が入力され、さらに、 3回 目の撮影時には、電源 14へのパネル点灯指示信号の入力のみが行なわれる。
[0340] 閃光発光装置 12は、デジタルカメラ 1011から閃光指示信号を受けて被写体 Pに 向力つて閃光を発する。上述したように、この閃光発光装置 12には、デジタルカメラ 1 011における連写の際の 1回目と 2回目の撮影時にのみ閃光指示信号が入力される 。これにより、閃光発光装置 12は 1回目と 2回目の撮影時にのみ閃光を発し、 3回目 の撮影時には消灯したままで 、ることとなる。
[0341] ELパネル 1130は、被写体 Pが載る載置面 131aと被写体 Pの背後の面 131bとが 透明な筐体 131、および、その筐体 131内に収納された分散型 EL素子 1132からな る。また、電源 14は、この分散型 EL素子 1132に駆動電圧を印加する電源である。さ らに、上述したように、この電源 14には、デジタルカメラ 1011における連写の際の 2 回目と 3回目の撮影時にパネル点灯指示信号が入力される。この結果、電源 14は 2 回目の撮影時に ELパネル 1130を点灯させる。また、 3回目の撮影時にパネル点灯 指示信号が入力されたときには、電源 14は、既に点灯状態にある ELパネル 1130を 点灯させたままにする。
[0342] 一般的な分散型 EL素子は、製造時に発光色の異なる複数の蛍光体粉末をさらに 混合することで発光色を白色を含む様々な色に調整することが可能であるが、本実 施形態における分散型 EL素子 1132は、赤色の蛍光体粉末によって発光色が調整 されている。このため、 ELパネル 1130の色は、消灯時には薄い赤色となり、発光時 には、分散型 EL素子の発光色である青緑色が調整された青色となる。
[0343] ここで、本実施形態の撮影スタジオ 1010では、デジタルカメラ 1011による撮影は、 上述したように、 1回目の撮影は ELパネル 1130が消灯し閃光発光装置 12が閃光を 発した状態で行なわれ、 2回目の撮影は ELパネル 1130が点灯し閃光発光装置 12 が閃光を発した状態で行なわれ、 3回目の撮影は ELパネル 1130が点灯し閃光発光 装置 12が消えた状態で行なわれる。さらに、この撮影スタジオ 1010では、閃光発光 装置 12が発する閃光の輝度は、 ELパネル 1130が点灯したときの輝度よりもかなり 高い。この結果、 1回目の撮影だけでなく 2回目の撮影でも、高い輝度の閃光が、デ ジタルカメラ 1011側力も被写体 Pを照らすという順光状態での撮影による、被写体 P 力 Sきれいに写った順光撮影画像が取得される。また、上述したように、 ELパネル 113 0は、消灯状態では薄い赤色であり、点灯状態では青色に発光する。この結果、 1回 目の撮影に対応する順光撮影画像は背景が薄い赤色に写り、 2回目の撮影での順 光撮影画像は背景が青色に写ることとなる。これら背景色が互いに異なる 2つの順光 撮影画像が、本発明にいう「背景の色が互いに異なる複数の撮影条件それぞれの下 で共通の被写体が撮影されて得られた複数の撮影画像」の一例に相当する。また、 3 回目の撮影では、 ELパネル 1130からの光のみが被写体 Pを後方から照らすという 逆光状態での撮影による、被写体 Pの像がシャドウ側に偏り、背景パネル 130の像が ノ、イライト側に偏った逆光撮影画像が取得される。このように、本実施形態では、デジ タルカメラ 1011による連写によって、背景色が互いに異なる 2つの順光撮影画像と、 1つの逆光撮影画像との 3つの撮影画像が得られる。 [0344] 次に、この図 46に示す撮影システム 1001で実行される、本発明の背景置換方法 の第 2実施形態が適用された作業の流れについて説明する。尚、以下の説明では、 図 46に示す要素については特に図番を断らずに図 46中の符号を使って参照する。
[0345] 図 47は、図 46の撮影システムで実行される、本発明の背景置換方法の第 2実施形 態が適用された作業の流れを示すフローチャートである。
[0346] この図 47のフローチャートが示す作業は、撮影スタジオ 1010において、被写体 P、 デジタルカメラ 1011、および閃光発光装置 12がそれぞれ適当な位置に配置され、 さらに ELパネル 1130が消灯されていることを前提として行なわれる。
[0347] 撮影者が、ピントや露光の調節等を行なった後にデジタルカメラ 1011のシャツタボ タンを押すと、被写体 Pに対する撮影が以下に説明するように 3回連続して行なわれ る。
[0348] まず 1回目の撮影では、デジタルカメラ 1011から発信される閃光指示信号に応じ て閃光発光装置 12が閃光を発し、この閃光による順光状態で被写体 Pが撮影される (ステップ S201)。この 1回目の撮影時には、 ELパネル 1130は消灯したままであり、 その色は薄 、赤色となって!/、る。
[0349] 2回目の撮影では、まず、デジタルカメラ 1011から発信されるパネル点灯信号に応 じて ELパネル 1130が点灯する（ステップ3202)。次に、デジタルカメラ 1011から発 信される閃光指示信号に応じて閃光発光装置 12が閃光を発し、この閃光による順光 状態で被写体 Pが撮影される (ステップ S203)。この 2回目の撮影時には、 ELパネル 1130は青色に発光して 、る。
[0350] 続く 3回目の撮影は、閃光発光装置 12が消灯した状態、即ち、 ELパネル 1130の みの照明による逆光状態で行なわれる (ステップ S204)。
[0351] ステップ S202およびステップ S203の処理でそれぞれ得られた、背景色が互いに 異なる 2つの順光撮影画像と逆光撮影画像との 3つの撮影画像は、デジタルカメラ 1 011内のメモリに一時的に保管される。
[0352] 次に、このフローチャートにおけるステップ S205以降の処理について説明するが、 この以下に説明する処理のうち、ステップ S205からステップ S207に至る処理力 本 発明の背景置換方法の第 2実施形態に相当する。 [0353] ステップ S204の処理によって、 3回目の撮影が行なわれ、その撮影で得られた撮 影画像の、デジタルカメラ 1011内のメモリへの保管が終了すると、 3回の撮影で得ら れ、そのメモリに一時的に保管された 3つの撮影画像が直ちにパーソナルコンビユー タ 20に渡される。また、パーソナルコンピュータ 20に対する操作を受けて、顧客が所 望する背景がサーバ 40あるいは何らかの入力用記憶媒体力も読み出される (ステツ プ S205)。このステップ S205で実行される撮影画像および背景の取得処理力 本 発明の背景置換方法における画像取得過程の一例に相当する。
[0354] 続、て、 3つの撮影画像に、上記の台形歪みにつ!、ての補正を含む画像補正処理 が施される。（ステップ S206)。
[0355] さらに、この補正済みの撮影画像に基づいて背景置換画像を作成するという後述 の背景置換処理が実行される (ステップ S207)。ここで、このステップ S207で実行さ れる背景置換処理において、本発明の背景置換方法における領域区別過程と、混 合状態推定過程と、背景置換過程との各一例が実行される。
[0356] ここで、以上のステップ S205からステップ S207に至る本発明の背景置換方法の 第 2実施形態の各処理の詳細については、本発明の背景置換装置の第 2実施形態 の各部の作用と併せて説明する。
[0357] 次に、上記の背景置換処理 (ステップ S207)で作成された背景置換画像を表わす 画像データが、まず画像表示装置 220に転送され、さらに、プリンタ 30と、顧客が希 望する出力用記憶媒体とのうちの少なくとも 1つに転送される (ステップ S208)。続い て、画像表示装置 220において、背景置換画像が、転送されてきた画像データに基 づいて表示画面 220a上に表示され (ステップ S 209)、さらに、画像データがプリンタ 30に転送された場合には、プリンタ 30において、その画像データに基づいて背景置 換画像がプリントされる（ステップ S210)。
[0358] ここで、本発明の背景置換方法の第 2実施形態を含むステップ S205〜ステップ S2 09の処理は、パーソナルコンピュータ 20において実行される処理である。
[0359] 次に、本発明の背景置換プログラムの第 2実施形態について説明する。
[0360] 図 48は、本発明の背景置換プログラムの第 2実施形態を示す概念図である。
[0361] 図 48に示す CD— ROM1510は、本発明の背景置換プログラムの第 2実施形態で ある背景置換プログラム 1600が記憶されたものである。
[0362] この背景置換プログラム 1600は、画像取得部 610、画像補正部 620、置換処理部 1630、画像データ転送部 640、および画像表示部 650で構成されている。
[0363] この背景置換プログラム 1600の各部の詳細については、本発明の背景置換装置 の第 2実施形態の各部の作用と併せて説明する。尚、以下の説明では、図 46および 図 48に示す要素については特に図番を断らずに各図中の符号を使って参照する。
[0364] 図 49は、図 48に示す背景置換プログラムが図 46および図 3に示すパーソナルコン ピュータにインストールされ、このパーソナルコンピュータが本発明にいう背景置換装 置の第 2実施形態として動作するときの機能を表わす機能ブロック図である。また、こ の図 49には、図 46にも示す、デジタルカメラ 1011、閃光発光装置 12、および ELパ ネル 1130からなる撮影スタジオ 1010と、プリンタ 30と、サーバ 40も示されている。
[0365] この図 49に示す背景置換装置 1700は、上述したように、撮影スタジオ 1010のデ ジタルカメラ 1011によって順光の下で撮影された背景色が互いに異なる 2つの順光 撮影画像と、逆光の下で撮影された逆光撮影画像とを取得して、これらの 3つの撮影 画像のうち、逆光撮影画像に基づいて、 2つの順光撮影画像のうち所定の一方の順 光撮影画像における被写体と背景とを区別して、その背景を所望の背景に置換する という背景置換処理を実行するものであり、画像取得部 710、画像補正部 720、置換 処理部 1730、画像データ転送部 740、および画像表示部 750を備えている。
[0366] ここで、以下では、上記の 2つの順光撮影画像のうち、連写における 1回目の撮影 時に得られた順光撮影画像、即ち、背景色が薄い赤色の順光撮影画像について背 景置換処理を実行することを前提として説明するが、本発明はこれに限るものではな ぐ連写における 2回目の撮影時に得られた順光撮影画像、即ち、背景色が青色の 順光撮影画像にっ 、て背景置換処理を実行するものであっても良 、。
[0367] 置換処理部 1730は、画像補正部 720での画像補正処理を経た 3つの撮影画像に 基づいて背景置換画像を作成するという後述の背景置換処理を行なうものであり、実 質的には、パーソナルコンピュータ 20の CPU211が、背景置換プログラム 1600の 置換処理部 1630に従って動作することによって構成される。この画像補正部 1720 の詳細については、背景置換処理の詳細とともに別図を参照して後述する。この置 換処理部 1730が、本発明の背景置換装置における領域区別部と混合状態推定部 と背景置換部とを兼ねた一例に相当する。
[0368] 次に、図 49において 1つのブロックで示されている置換処理部 1730の詳細につい て以下に説明する。
[0369] 置換処理部 1730は、互いに背景色が異なる 2つの補正済みの順光撮影画像のう ち、 1回目の撮影に対応する補正済みの順光撮影画像について、背景を、顧客が所 望する背景に置換する。その際には、置換処理部 1730は、まず、 2つの補正済みの 順光撮影画像について、被写体領域と、背景領域と、これら 2つの領域に挟まれた境 界領域とに区別する。そして、置換処理部 1730は、 1回目の撮影に対応する補正済 みの順光撮影画像について、被写体領域についてはそのまま残し、背景領域を、顧 客が所望する別の背景と置換する。
[0370] 置換処理部 1730は、補正済みの順光撮影画像における上記の境界領域内の全 ての画素が、上記のような合成色を有しているという前提のもとに、上記の 2つの補正 済みの順光撮影画像を用いて、これら 2つの補正済みの順光撮影画像の間で共通 な、各画素の色の元となった被写体色 (本発明にいう被写体色の一例に相当）、およ び、その被写体色と各背景色との合成比 (本発明にいう混合比の一例に相当）を推 定する。
[0371] そして、置換処理部 1730は、 1回目の撮影に対応する補正済みの順光撮影画像 について、上記の境界領域内の各画素の色を、推定された被写体色と、上記の顧客 が所望する別の背景色とが、推定された合成比で合成されてなる合成色に置き換え る。
[0372] 図 50は、図 49に 1つのブロックで示す置換処理部の詳細を示す図である。尚、以 下の説明でも、図 49に示す要素については特に図番を断らずに図 49中の符号を使 つて参照する。
[0373] この置換処理部 1730は、上述した背景置換処理を実行するものであり、マスク作 成部 731、色推定部 1732、および背景置換画像作成部 733を備えている。ここで、 マスク作成部 731、色推定部 1732、および背景置換画像作成部 733が、それぞれ 本発明にいう領域区別部、混合状態推定部、および背景置換部の各一例に相当す る。また、マスク作成部 731によって、本発明の背景置換方法における領域区別過 程の一例が実行され、色推定部 1732によって、本発明の背景置換方法における混 合状態推定過程の一例が実行され、背景置換画像作成部 733によって、本発明の 背景置換方法における背景置換過程の一例が実行される。
[0374] まず、これら各構成要素の概要について説明する。
[0375] マスク作成部 731は、上記の補正済みの逆光撮影画像において、この逆光撮影画 像中で、被写体色の画素のみが存在する範囲を定義する被写体マスクと、背景色の 画素のみが存在する範囲を定義する背景マスクとを作成する。ここで、これら 2つのマ スクは、それぞれのマスクが定義する範囲内に、例えば図 14に示すような、被写体越 しに背景が見えて 、る部分の画素が含まれな 、ように、互いに隙間を開けて作成さ れる。
[0376] 色推定部 1732は、マスク作成部 731が作成した被写体マスクと背景マスクとを、互 いに背景の異なる 2つの補正済みの順光撮影画像に適用して、まず、これらの順光 撮影画像において、これら 2つのマスク間に開いた隙間、即ち、境界領域を認識する 。そして、この境界領域内の全ての画素の色が被写体色と背景色との混合色である とともに、異なる背景色の下でも混合状態が同じであるという前提のもとに、上記の 2 つの補正済みの順光撮影画像を用いて、これら 2つの補正済みの順光撮影画像の 間で共通な、各画素の色を構成している被写体色、および、その被写体色と各背景 色との合成比を推定する。
[0377] 背景置換画像作成部 733は、まず、上記の 1回目の撮影に対応する補正済みの順 光撮影画像において、被写体マスクで定義される領域についてはそのまま残し、背 景マスクで定義される領域を、顧客が所望する別の背景と置換する。次に、境界領域 内の各画素について、顧客が所望する背景の色と、上記の色推定部 1732で推定さ れた被写体色とを、色推定部 1732で推定された合成比で合成して合成色を求め、 各画素の色をその合成色に置換する。これにより、上記の補正済みの順光撮影画像 の背景が、顧客が所望する別の背景に自然に置換された背景置換画像が作成され る。
[0378] このように作成された背景置換画像を表わす画像データ力 図 49の画像データ転 送部 740から、各出力デバイスや出力用記憶媒体 550 (図 49参照）に転送される。
[0379] この第 2実施形態においても第 1実施形態と同様に、マスク作成部 731は、背景と 被写体との明るさの差に基づいて、被写体マスク Ml 'と背景マスク M2'とを作成する ことにより、撮影画像中の被写体領域と背景領域と境界領域とを区別するものである 。しかし、本発明の領域区別部はこの形態に限るものではなぐ次のような形態のもの であっても良い。
[0380] 以下、本発明の領域区別部の別例について説明する。
[0381] 以下に説明する別例は、複数の撮影画像の相互間における色の変化量に基づい て撮影画像中の被写体領域と背景領域と境界領域とを区別するというものである。こ の別例における基本的な構成は、図 16に示す上記のマスク作成部 731の構成と同 じである。ただし、図 16のヒストグラム作成部 731aが、補正済みの逆光撮影画像を構 成する各画素の明るさについてのヒストグラムを作成するものであつたのとは異なり、 この別例では、上記の 2つの補正済みの順光撮影画像に基づいて、これら 2つの撮 影画像の相互間における色の変化量についての次のようなヒストグラムが作成される
[0382] まず、この色の変化量についてのヒストグラムを作成するに当たって、この別例では 、 2つの補正済みの順光撮影画像のうちの一方を第 1撮影画像としてもう一方を第 2 撮影画像としたとき、第 1撮影画像を構成する各画素の、第 2撮影画像において対応 する位置の画素に対する色相の変化量力 上記の色の変化量を表わす値として採 用される。
[0383] この別例で作成されるヒストグラムは、第 1撮影画像を構成する各画素における色 相の変化量を、多数の範囲に振り分け、各範囲についてどれだけの画素が振り分け られたかを頻度で示した色相変化のヒストグラムである。この色相変化のヒストグラム は、例えば、図 17のパート（a)に示す輝度のヒストグラム HIの横軸 H 1—1を、色相の 変化量に置き換えたものとなる。この色相変化のヒストグラムには、色相の変化量が 少ない部分と、色相の変化量が多い部分とに 2つのピークが現れる。上述したように 2 つの補正済みの順光撮影画像の間の相違点は背景色のみであるので、色相の変化 量が多い部分のピークが、第 1撮影画像中の背景領域に対応し、色相の変化量が少 ない部分のピークが、第 1撮影画像中の被写体領域に対応する。
[0384] このような色相変化のヒストグラムが作成されると、上記の別例では、上記のマスク 作成部 731におけるマスク作成の手順と同様の手順によって、色相の変化量が少な V、部分のピークに基づ 、て上記の初期被写体マスクが設定され、色相の変化量が 多い部分のピークに基づいて上記の初期背景マスクが設定され、さらに、それぞれ の初期マスクが縮小されて、最終的に被写体マスクと背景マスクとが作成されて、こ れらのマスクによって撮影画像中の被写体領域と背景領域と境界領域とが区別され る。
[0385] 以上に説明した別例によっても、撮影画像中の被写体領域と背景領域と境界領域 とが区別されるが、この別例では、マスク作成に 2つの撮影画像を用いることから処理 の複雑さが若干増す半面、上記のマスク作成部 731におけるマスク作成で必要とさ れる上記の補正済みの逆光撮影画像不要となる。つまり、この別例では、図 47のフロ 一チャートにおけるステップ S204の撮影処理も不要となり、このフローチャートが示 す処理の例に比べて撮影回数が少なくて済むという利点が生じることとなる。
[0386] 以上で、この別例についての説明を終了し、次に、この置換処理部 1730が備える 色推定部 1732の詳細について説明する。
[0387] 図 51は、図 50に 1つのブロックで示す色推定部の詳細を示す図である。
[0388] この色推定部 1732は、背景色推定部 732a、被写体色推定部 1732b、および合 成比推定部 1732cを備えている。
[0389] 背景色推定部 732aについては第 1実施形態と同様であるので重複説明は省略す る。
[0390] 背景色推定部 732aにおける背景色の推定は、互いに背景色が異なる 2つの補正 済みの順光撮影画像それぞれについて実行される。
[0391] 次に、図 51に示す被写体色推定部 1732bについて説明する。
[0392] この被写体色推定部 1732bでは、互いに背景色が異なる 2つの補正済みの順光 撮影画像の間で共通な、境界領域内の各画素の色の元となった被写体色を、上記 の背景色推定部 732aで 2つの補正済みの順光撮影画像それぞれにおける境界領 域内の各画素につ 、て求められた背景色を用いて次のように推定する。 [0393] 図 52は、互いに背景色が異なる 2つの補正済みの順光撮影画像の間で共通な、 境界領域内の各画素の色の元となった被写体色の推定方法を示す図である。
[0394] 図 52には、まず、上記の 2つの補正済みの順光撮影画像のうち、 1回目の撮影に 対応する補正済みの順光撮影画像における境界領域内のある画素について、図 51 の背景色推定部 732aで推定された第 1の背景色 C1と、その画素の色 (第 1の画素 色） C2とを、 RGB色空間上で結ぶ直線 CL1が示されている。さらに、この図 52には 、 2回目の撮影に対応する補正済みの順光撮影画像において、上記の画素と対応 する位置にある画素について、図 51の背景色推定部 732aで推定された第 2の背景 色 C3と、その画素の色（第 2の画素色） C4とを、 RGB色空間上で結ぶ直線 CL2が示 されている。
[0395] 上述したように、境界領域内の画素の色は、撮影時に被写体の一部越しに背景が 見えて、背景色と被写体色とが合成された合成色となっている可能性がある。仮に、 ある画素色がこのような合成色となっている場合には、その画素色と、その画素色の 元となった背景色と被写体色とは RGB色空間上の直線上に並ぶ。このとき、上記の 2つの補正済みの順光撮影画像は、背景色が互いに異なって 、る他は共通な画像 であるため、両者の間で互 ヽに対応する位置にある画素に含まれる被写体色は共通 の色となる。このため、これら互いに対応する位置にある 2つの画素それぞれについ ての、図 52に示されている 2本の直線 CL1, CL2は、それらの画素に含まれる共通 な被写体色 C5にお 、て交差することとなる。
[0396] 図 51に示す被写体色推定部 1732bは、上記の 2つの補正済みの順光撮影画像 にお 、て互いに対応する位置にある 2つの画素からなる画素ペアのうち、上記の境 界領域内の全ての画素ペアについて、図 52に示すような 2本の直線 CL1, CL2の交 点を、各画素ペアについての被写体色 C5として求める。従って、第 2実施形態では、 被写体色 C5がー意に決定され、第 1実施形態で行われたような探索は不要である。
[0397] 以上で、図 51に示す被写体色推定部 1732bについての説明を終了し、次に、この 図 51に示す合成比推定部 1732cについて説明する。尚、この合成比推定部 1732c についての説明では上記の図 52を参照する。
[0398] この合成比推定部 1732cは、図 52に示すように、上記の 1回目の撮影に対応する 補正済みの順光撮影画像について、背景色推定部 732aで推定された第 1の背景 色 C 1と被写体色推定部 1732bで推定された被写体色 C5とを RGB色空間上で結ぶ 線分の長さに対する、第 1の背景色 C 1と第 1の画素色 C2とを結ぶ線分の長さの割合 を、第 1の背景色 C 1と被写体色 C5とで第 1の画素色 C2を合成するときの合成比 ocと して算出する。また、 2回目の撮影に対応する補正済みの順光撮影画像についても 、同様に、第 2の背景色 C3と被写体色 C5とを RGB色空間上で結ぶ線分の長さに対 する、第 2の背景色 C3と第 2の画素色 C4とを結ぶ線分の長さの割合を、第 2の背景 色 C3と被写体色 C5とで第 2の画素色 C4を合成するときの合成比 oc，として算出する とこができる。また、 1回目および 2回目の撮影が連写で行なわれることから、 2つの補 正済みの順光撮影画像における背景色と被写体色との混合状態はほぼ同じであり、 上記の 2つの合成比 a , a 'もほぼ等しいと考えられる。ただし、本実施形態では、直 接に背景が置換される撮影画像として 1回目の撮影に対応する補正済みの順光撮 影画像が採用されるので、上記のような算出は、この 1回目の撮影に対応する補正済 みの順光撮影画像にっ 、てのみ実行される。
[0399] 合成比推定部 1732cは、このような合成比 αの算出を、上記の 2つの補正済みの 順光撮影画像における境界領域内の全ての画素ペアについて実行する。
[0400] 第 2実施形態では、以上説明したように推定された被写体色と合成比が用いられる ことで、第 1実施形態と同様に自然な背景置換画像が作成される。
[0401] 尚、上記では、本発明の背景置換装置における領域区別部の一例として、補正済 みの逆光撮影画像を構成する各画素の明るさについてのヒストグラムとして、各画素 の色を表わす R値、 G値、および Β値のうちの G値についてのヒストグラムを作成する マスク作成部 731を例示した力 本発明はこれに限るものではない。本発明の領域 区別部は、 R値についてのヒストグラムを作成するものであっても良ぐあるいは、 Β値 についてのヒストグラムを作成するものであっても良ぐあるいは、各画素の輝度につ V、てのヒストグラムを作成するものであっても良!、。
[0402] また、上記では、本発明の背景置換装置における領域区別部の一例として、補正 済みの逆光撮影画像と 、う 1つの撮影画像に基づ 、て、撮影画像中の背景領域を 他の領域力も区別するマスクを作成するマスク作成部 731を例示したが、本発明はこ れに限るものではない。本発明の領域区別部は、例えば、背景の輝度や色が互いに 異なる 2つの撮影画像に基づいて、撮影画像中の背景領域を他の領域力 区別す るマスクを作成するもの等であっても良い。その場合には、例えば 2つの撮影画像の 間で輝度や色の変化量が相対的に大きな部分を他の領域力 区別するマスクを作 成することにより、撮影画像中の背景領域を他の領域力 区別するマスクが作成され る。
[0403] また、上記では、本発明に 、う混合比決定部の一例として、境界領域中のある画素 について、まず、その画素の色を構成する被写体色と推定し、次に、その RGB色空 間における、背景色、画素の色、および被写体色の相互距離の比を合成比と推定す る色推定部 732を例示した力 本発明はこれに限るものではない。本発明の混合比 決定部は、例えば、境界領域中のある画素について、その画素と被写体領域との位 置関係に応じて合成比を決定する、即ち、被写体領域から遠い画素ほど、被写体色 が含まれる割合を下げる等といった方法で合成比を決定するもの等であっても良い。
[0404] また、上記では、本発明の背景置換装置における画像修正部の一例にっ 、て、ォ ペレータによる上記の修正値の入力が行なわれる入力画面について特に言及しな かったが、この入力画面は、例えば、オペレータがキーボード力も数値を打込むとい う形態の入力画面であっても良ぐあるいは、例えば、修正値の設定バーが設けられ て!、て、オペレータがその設定バーをマウス操作により動力して修正値を入力すると V、う形態の入力画面等であっても良 、。
[0405] また、上記では、本発明の背景置換装置における画像修正部の一例として、被写 体領域と背景領域とに対する修正による画像修正のみを実行する画像修正部を例 示して説明したが、本発明はこれに限るものではなぐ本発明の画像修正部は、例え ば、上記のような領域の修正に加えて、作成された背景置換画像の各部の色につい ても修正するものであっても良 、。
[0406] また、上記では、本発明の背景置換装置における画像修正部の一例として、上記 の被写体マスクと背景マスクとを狭めることにより背景置換画像を修正する 2つの画 像修正部 760, 810を例示したが、本発明はこれに限るものではなぐ本発明の背景 置換装置における画像修正部は、上記の被写体マスクと背景マスクとを広げる、延ぃ ては境界領域を狭めることにより背景置換画像を修正するもの等であっても良い。こ のような修正は、本来は背景が透けていない部分まで、置換後の背景の色が混ざつ てしまって!/、るような不自然な背景置換画像に対して有効である。このような不自然 な背景置換画像は、置換後の背景が、高彩度の色等の強い色を有している場合に 生じる恐れがある。
[0407] また、上記では、本発明に ヽぅ複数の撮影画像を撮影する撮影システムの一実施 形態として、 1回目の撮影時に閃光発光装置 12が閃光を発し、 2回目の撮影時には 閃光発光装置 12が消灯していることにより、順光撮影と逆光撮影とをこの順序で連 続して行なうという撮影システム 1を挙げて説明したが、本発明はこれに限るものでは なぐ本発明の撮影システムは、例えば、順光撮影と逆光撮影とをこの順序とは逆の 順序で連続して行なうと 、うものであっても良!、。このような形態の撮影システムは、 例えば、上記の実施形態において、デジタルカメラから閃光発光装置に向けて 1回 の撮影の度に発信される、閃光発光装置に閃光を発するように指示する指示信号を 、 1回目の撮影時には遮断し、 2回目の撮影時には通過させる遮断回路等を、上記 の実施形態においてデジタルカメラと閃光発光装置とを繋ぐ上記の指示信号の伝送 ライン上に設置することにより構築される。
[0408] また、上記では、本発明に ヽぅ複数の撮影画像を撮影する撮影システムの一実施 形態として、 1回発光すると、次に発光できるようになるまで充電に時間がかかり、撮 影が 2回連続して行なわれるときには、 1回目の撮影時にのみ閃光を発するという閃 光発光装置 12を備えた撮影システム 1挙げて説明したが、本発明はこれに限るもの ではない。上記の撮影システムは、例えば、充電が極めて短時間で済み、撮影が 2 回連続して行なわれるときに、 2回とも閃光を発することができるような高速型の閃光 発光装置を備えた撮影システムであっても良い。ただし、このような撮影システムにも 、不要な指示信号を遮断する上記のような遮断回路等が必要となる。

Claims

請求の範囲
[1] 複数の撮影条件それぞれの下で共通の被写体が撮影されて得られた複数の撮影 画像を取得する画像取得部と、
前記画像取得部で取得された撮影画像に基づ ヽて、撮影画像中の被写体領域と 背景領域と境界領域とを区別する領域区別部と、
前記境界領域における被写体色と背景色との混合比を決定する混合比決定部と、 前記領域区別部によって区別された 3つの領域と前記混合比決定部で決定された 混合比とに基づいて前記画像取得部で取得された撮影画像中の背景を別の背景と 置換する背景置換部とを備えたことを特徴とする背景置換装置。
[2] 前記領域区別部が、前記撮影条件における被写体と背景との所定の相違点に基 づ 、て、撮影画像中の被写体領域と背景領域と境界領域とを区別するものであるこ とを特徴とする請求項 1記載の背景置換装置。
[3] 前記領域区別部が、前記撮影条件における被写体と背景との所定の相違点に基 づいて、撮影画像中で被写体側の領域と背景側の領域とを判別し、それら被写体側 の領域および背景側の領域それぞれを、少なくとも一方については縮小して前記被 写体領域および前記背景領域として扱!、、該被写体領域と該背景領域との間の領 域を前記境界領域として扱うものであることを特徴とする請求項 1記載の背景置換装 置。
[4] 前記領域区別部が、前記撮影条件における被写体と背景との所定の相違点に基 づいて、撮影画像中で被写体側の領域と背景側の領域とを判別し、前記被写体側 の領域を縮小して前記被写体領域として扱 、、縮小前の被写体側の領域における 該被写体領域を除く領域部分については前記境界領域の全部又は一部として扱うも のであることを特徴とする請求項 1記載の背景置換装置。
[5] 前記領域区別部が、前記撮影条件における被写体と背景との所定の相違点に基 づいて、撮影画像中で被写体側の領域と背景側の領域とを判別し、前記背景側の 領域を縮小して前記背景領域として扱 、、縮小前の背景側の領域における該背景 領域を除く領域部分については前記境界領域の全部又は一部として扱うものである ことを特徴とする請求項 1記載の背景置換装置。
[6] 前記領域区別部が、前記画像取得部で取得された撮影画像のうちの 1つの撮影画 像に基づいて撮影画像中の被写体領域と背景領域と境界領域とを区別するもので あり、
前記背景置換部は、前記画像取得部で取得された撮影画像のうち、前記領域区 別部が領域の区別に用いた撮影画像とは別の撮影画像中の背景を別の背景と置換 するものであることを特徴とする請求項 1記載の背景置換装置。
[7] 前記混合比決定部が、撮影画像中の前記境界領域における、被写体色と背景色と の混合比、および該被写体色を推定するものであり、
前記背景置換部が、前記混合比決定部で推定された被写体色と混合比とを用い て撮影画像中の背景を別の背景と置換するものであることを特徴とする請求項 1記載 の背景置換装置。
[8] 前記混合比決定部が、前記被写体色を推定するに当たり、該被写体色の候補とし て前記被写体領域中の各色を用いて推定するものであることを特徴とする請求項 7 記載の背景置換装置。
[9] 前記混合比決定部が、前記境界領域中の各箇所につ!、て、前記被写体色および 前記混合比を推定するものであって、該被写体色を推定するに当たり、所定色空間 内で該被写体色が前記背景色およびその箇所の色と直線的に並ぶという前提で推 定するものであることを特徴とする請求項 7記載の背景置換装置。
[10] 前記混合比決定部が、前記境界領域中の各箇所について、前記被写体色および 前記混合比を推定するものであって、該被写体色を推定するに当たり、該被写体色 の候補として前記被写体領域中の各色を用い、その候補のうち、所定色空間内で前 記背景色およびその箇所の色と直線的に並んでその箇所の色に最も近い候補を被 写体色と推定するものであることを特徴とする請求項 7記載の背景置換装置。
[11] 前記混合比決定部が、前記境界領域中の各箇所について、前記被写体色および 前記混合比を推定するものであって、前記混合比を推定するに当たり、所定色空間 における、前記背景色、その箇所の色、および前記被写体色の相互距離の比に基 づいて推定するものであることを特徴とする請求項 7記載の背景置換装置。
[12] 前記背景置換部が、撮影画像中の背景を別の背景と置換するに当たり、その別の 背景の色と、前記混合比決定部で推定された被写体色とを、該混合比決定部で推 定された混合比で混合することによって背景を置換するものであることを特徴とする 請求項 7記載の背景置換装置。
[13] 前記領域区別部によって区別された領域の修正を、操作を受けて実行し、修正さ れた領域に基づいた背景置換を前記背景置換部に実行させて前記背景置換画像 を修正する画像修正部とを備えたことを特徴とする請求項 1記載の背景置換装置。
[14] 前記領域区別部が、前記撮影条件における被写体と背景との所定の相違点に基 づいて、撮影画像中で被写体側の領域と背景側の領域とを判別し、それら被写体側 の領域および背景側の領域それぞれを所定の縮小量だけ縮小して前記被写体領域 および前記背景領域として扱うものであり、
前記画像修正部が、前記領域区別部における前記縮小量を、操作を受けて変更 することにより、前記被写体領域および Z又は前記背景領域を修正するものであるこ とを特徴とする請求項 13記載の背景置換装置。
[15] 前記領域区別部が、前記撮影条件における被写体と背景との所定の相違点に基 づいた区別基準によって、前記被写体領域と前記背景領域とを区別するものであり、 前記画像修正部が、前記区別基準を、操作を受けて変更することにより、前記被写 体領域および Z又は前記背景領域を修正するものであることを特徴とする請求項 13 記載の背景置換装置。
[16] 複数の撮影条件それぞれの下で共通の被写体が撮影されて得られた複数の撮影 画像を取得する画像取得部と、
前記画像取得部で取得された撮影画像に基づ!ヽて、撮影画像中の背景領域を他 の領域から区別する領域区別部と、
撮影画像中の前記背景領域を除く他の領域における、被写体色と背景色との混合 比、および該被写体色を推定する混合状態推定部と、
前記混合状態推定部で推定された被写体色と混合比とを用いて前記画像取得部 で取得された撮影画像中の背景を別の背景と置換する背景置換部とを備えたことを 特徴とする背景置換装置。
[17] 前記混合状態推定部が、前記被写体色を推定するに当たり、該被写体色の候補と して撮影画像中の各色を用 、て推定するものであることを特徴とする請求項 16記載 の背景置換装置。
[18] 前記混合状態推定部が、前記背景領域を除く他の領域中の各箇所について、前 記被写体色および前記混合比を推定するものであって、該被写体色を推定するに 当たり、所定色空間内で該被写体色が前記背景色およびその箇所の色と直線的に 並ぶという前提で推定するものであることを特徴とする請求項 16記載の背景置換装 置。
[19] 前記混合状態推定部が、前記背景領域を除く他の領域中の各箇所について、前 記被写体色および前記混合比を推定するものであって、該被写体色を推定するに 当たり、該被写体色の候補として前記背景領域を除く他の領域中の各色を用い、そ の候補のうち、所定色空間内で前記背景色およびその箇所の色と直線的に並んで その箇所の色力 最も遠い候補を被写体色と推定するものであることを特徴とする請 求項 16記載の背景置換装置。
[20] 前記混合状態推定部が、前記背景領域を除く他の領域中の各箇所について、前 記被写体色および前記混合比を推定するものであって、該混合比を推定するに当た り、所定色空間における、前記背景色、その箇所の色、および前記被写体色の相互 距離の比に基づいて推定するものであることを特徴とする請求項 16記載の背景置換 装置。
[21] 前記背景置換部が、撮影画像中の背景を別の背景と置換するに当たり、その別の 背景の色と、前記混合状態推定部で推定された被写体色とを、該混合状態推定部 で推定された混合比で混合することによって背景を置換するものであることを特徴と する請求項 16記載の背景置換装置。
[22] 前記領域区別部が、前記複数の撮影画像の相互間における明るさの比率に基い て、撮影画像中の背景領域を他の領域から区別するものであることを特徴とする請求 項 16記載の背景置換装置。
[23] 前記混合状態推定部で推定された被写体色と混合比とを記憶する記憶部を備え、 前記背景置換部が、前記記憶部が記憶して!/、る被写体色と混合比とを用いて前記 画像取得部で取得された撮影画像中の背景を別の背景と置換するものであることを 特徴とする請求項 16記載の背景置換装置。
[24] 前記混合状態推定部で推定された被写体色に色が置き換えられた前記他の領域 の画像に基 、て、該被写体色に対する色補正に使われる補正パラメータを決定する 第 1のパラメータ決定部と、
前記第 1のパラメータ決定部によって決定された補正パラメータを使って、前記混 合状態推定部で推定された被写体色に対して色補正を施す第 1の色補正部とを備 え、
前記背景置換部は、前記第 1の色補正部によって色補正が施された被写体色と前 記混合比とを用いて前記画像取得部で取得された撮影画像中の背景を別の背景と 置換するものであることを特徴とする請求項 16記載の背景置換装置。
[25] 前記画像取得部で取得された撮影画像に基!、て、前記被写体色に対する色補正 に使われる補正パラメータを決定する第 2のパラメータ決定部と、
前記第 2のパラメータ決定部によって決定された補正パラメータを使って、前記混 合状態推定部で推定された被写体色に対して色補正を施す第 2の色補正部とを備 え、
前記背景置換部は、前記第 2の色補正部によって色補正が施された被写体色と前 記混合比とを用いて前記画像取得部で取得された撮影画像中の背景を別の背景と 置換するものであることを特徴とする請求項 16記載の背景置換装置。
[26] 前記被写体色に対する色補正に使われる補正パラメータを、操作に応じたパラメ一 タに決定する第 3のパラメータ決定部と、
前記第 3のパラメータ決定部によって決定された補正パラメータを使って、前記混 合状態推定部で推定された被写体色に対して色補正を施す第 3の色補正部とを備 え、
前記背景置換部は、前記第 3の色補正部によって色補正が施された被写体色と前 記混合比とを用いて前記画像取得部で取得された撮影画像中の背景を別の背景と 置換するものであることを特徴とする請求項 16記載の背景置換装置。
[27] 前記被写体色に対する色補正に使われる補正パラメータを、前記別の背景に応じ たパラメータに決定する第 4のパラメータ決定部と、 前記第 4のパラメータ決定部によって決定された補正パラメータを使って、前記混 合状態推定部で推定された被写体色に対して色補正を施す第 4の色補正部とを備 え、
前記背景置換部は、前記第 4の色補正部によって色補正が施された被写体色と混 合比とを用いて前記画像取得部で取得された撮影画像中の背景を前記別の背景と 置換するものであることを特徴とする請求項 16記載の背景置換装置。
[28] 前記背景置換部は、前記別の背景として、被写体と背景との画像中における相対 関係を表わす関係情報が付与された背景を用いて、前記撮影画像中の背景を置換 するとともに、置換後の画像中で被写体と背景との相対関係が、該関連情報が表わ す相対関係と同じ相対関係となるように置換するものであることを特徴とする請求項 1 6記載の背景置換装置。
[29] 背景の色が互いに異なる複数の撮影条件それぞれの下で共通の被写体が撮影さ れて得られた複数の撮影画像を取得する画像取得部と、
前記画像取得部で取得された撮影画像に基づ!ヽて、撮影画像中の背景領域を他 の領域から区別する領域区別部と、
前記複数の撮影画像に基づ ヽて、撮影画像中の前記背景領域を除く他の領域に おける、被写体色と背景色との混合比、および該被写体色を推定する混合状態推定 部と、
前記混合状態推定部で推定された被写体色と混合比とを用いて前記画像取得部 で取得された撮影画像中の背景を別の背景と置換する背景置換部とを備えたことを 特徴とする背景置換装置。
[30] 前記混合状態推定部が、被写体色と背景色との混合状態が、異なる背景色の下で も同じであるという前提で、前記被写体色と前記混合比とを推定するものであることを 特徴とする請求項 29記載の背景置換装置。
[31] 前記混合状態推定部が、前記背景領域を除く他の領域中の各箇所について、前 記被写体色および前記混合比を推定するものであって、背景の色が互いに異なる複 数の撮影条件それぞれの下で得られた複数の撮影画像それぞれにおける前記背景 色とその箇所の色を所定の色空間内で結ぶ各直線を求め、それらの直線の交点に 相当する色を前記被写体色と推定するものであることを特徴とする請求項 29記載の 背景置換装置。
[32] 前記画像取得部が、背景の色相が互いに異なる複数の撮影条件それぞれの下で 撮影されて得られた複数の撮影画像を取得するものであることを特徴とする請求項 2 9記載の背景置換装置。
[33] 前記領域区別部が、撮影画像中の前記背景領域を除く他の領域中の被写体領域 と境界領域とを区別するものであり、
前記混合状態推定部が、前記境界領域中で、前記被写体色と前記混合比とを推 定するものであることを特徴とする請求項 29記載の背景置換装置。
[34] 前記領域区別部が、前記画像取得部で取得された撮影画像中の背景領域を他の 領域から、前記複数の撮影画像の相互間における色の変化量に基づいて区別する ものであることを特徴とする請求項 29記載の背景置換装置。
[35] 前記領域区別部が、前記画像取得部で取得された撮影画像中の背景領域を他の 領域から、前記背景と前記被写体との明るさの差に基づいて区別するものであること を特徴とする請求項 29記載の背景置換装置。
[36] コンピュータに組み込まれ、該コンピュータ上で、
複数の撮影条件それぞれの下で共通の被写体が撮影されて得られた複数の撮影 画像を取得する画像取得部と、
前記画像取得部で取得された撮影画像に基づ ヽて、撮影画像中の被写体領域と 背景領域と境界領域とを区別する領域区別部と、
前記境界領域における被写体色と背景色との混合比を決定する混合比決定部と、 前記領域区別部によって区別された 3つの領域と前記混合比決定部で決定された 混合比とに基づいて前記画像取得部で取得された撮影画像中の背景を別の背景と 置換する背景置換部とを構築することを特徴とする背景置換プログラム。
[37] コンピュータに組み込まれ、該コンピュータ上で、
複数の撮影条件それぞれの下で共通の被写体が撮影されて得られた複数の撮影 画像を取得する画像取得部と、
前記画像取得部で取得された撮影画像に基づ!ヽて、撮影画像中の背景領域を他 の領域から区別する領域区別部と、
撮影画像中の前記背景領域を除く他の領域における、被写体色と背景色との混合 比、および該被写体色を推定する混合状態推定部と、
前記混合状態推定部で推定された被写体色と混合比とを用いて前記画像取得部 で取得された撮影画像中の背景を別の背景と置換する背景置換部とを構築すること を特徴とする背景置換プログラム。
[38] コンピュータに組み込まれ、該コンピュータ上で、
背景の色が互いに異なる複数の撮影条件それぞれの下で共通の被写体が撮影さ れて得られた複数の撮影画像を取得する画像取得部と、
前記画像取得部で取得された撮影画像に基づ!ヽて、撮影画像中の背景領域を他 の領域から区別する領域区別部と、
前記複数の撮影画像に基づ ヽて、撮影画像中の前記背景領域を除く他の領域に おける、被写体色と背景色との混合比、および該被写体色を推定する混合状態推定 部と、
前記混合状態推定部で推定された被写体色と混合比とを用いて前記画像取得部 で取得された撮影画像中の背景を別の背景と置換する背景置換部とを構築すること を特徴とする背景置換プログラム。
[39] 複数の撮影条件それぞれの下で共通の被写体が撮影されて得られた複数の撮影 画像を取得する画像取得過程と、
前記画像取得過程で取得された撮影画像に基づ!ヽて、撮影画像中の被写体領域 と背景領域と境界領域とを区別する領域区別過程と、
前記境界領域における被写体色と背景色との混合比を決定する混合比決定過程 と、
前記領域区別部によって区別された 3つの領域と前記混合比決定部で決定された 混合比とに基づいて前記画像取得部で取得された撮影画像中の背景を別の背景と 置換する背景置換過程とを備えたことを特徴とする背景置換方法。
[40] 複数の撮影条件それぞれの下で共通の被写体が撮影されて得られた複数の撮影 画像を取得する画像取得過程と、 前記画像取得過程で取得された撮影画像に基づ!、て、撮影画像中の背景領域を 他の領域から区別する領域区別過程と、
撮影画像中の前記背景領域を除く他の領域における、被写体色と背景色との混合 比、および該被写体色を推定する混合状態推定過程と、
前記混合状態推定過程で推定された被写体色と混合比とを用いて前記画像取得 過程で取得された撮影画像中の背景を別の背景と置換する背景置換過程とを備え たことを特徴とする背景置換方法。
背景の色が互いに異なる複数の撮影条件それぞれの下で共通の被写体が撮影さ れて得られた複数の撮影画像を取得する画像取得過程と、
前記画像取得過程で取得された撮影画像に基づ!ヽて、撮影画像中の背景領域を 他の領域から区別する領域区別過程と、
前記複数の撮影画像に基づ ヽて、撮影画像中の前記背景領域を除く他の領域に おける、被写体色と背景色との混合比、および該被写体色を推定する混合状態推定 過程と、
前記混合状態推定過程で推定された被写体色と混合比とを用いて前記画像取得 過程で取得された撮影画像中の背景を別の背景と置換する背景置換過程とを備え たことを特徴とする背景置換方法。
PCT/JP2006/304764 2005-03-10 2006-03-10 背景置換装置、背景置換プログラム、および背景置換方法 WO2006095860A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP06715534.1A EP1858255B1 (en) 2005-03-10 2006-03-10 Background replacement device, background replacement program, and background replacement method
JP2006527199A JP4642764B2 (ja) 2005-03-10 2006-03-10 背景置換装置、背景置換プログラム、および背景置換方法
US10/589,251 US7835571B2 (en) 2005-03-10 2006-03-10 Background replacing apparatus, background replacing program, and background replacing method

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
JP2005-067933 2005-03-10
JP2005067933 2005-03-10
JP2005069783 2005-03-11
JP2005-069783 2005-03-11
JP2005071009 2005-03-14
JP2005-071009 2005-03-14
JP2005095173 2005-03-29
JP2005-095173 2005-03-29

Publications (1)

Publication Number Publication Date
WO2006095860A1 true WO2006095860A1 (ja) 2006-09-14

Family

ID=36953449

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/304764 WO2006095860A1 (ja) 2005-03-10 2006-03-10 背景置換装置、背景置換プログラム、および背景置換方法

Country Status (3)

Country Link
EP (1) EP1858255B1 (ja)
JP (1) JP4642764B2 (ja)
WO (1) WO2006095860A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010056991A (ja) * 2008-08-29 2010-03-11 Panasonic Corp クロマキー処理装置およびクロマキー処理方法
JP2012528506A (ja) * 2009-05-29 2012-11-12 デジタルオプティックス・コーポレイション・ヨーロッパ・リミテッド 背景から前景の頭頂部を分離するための方法および装置
US8605955B2 (en) 2009-06-29 2013-12-10 DigitalOptics Corporation Europe Limited Methods and apparatuses for half-face detection
US8971628B2 (en) 2010-07-26 2015-03-03 Fotonation Limited Face detection using division-generated haar-like features for illumination invariance

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7574016B2 (en) 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
US8055067B2 (en) 2007-01-18 2011-11-08 DigitalOptics Corporation Europe Limited Color segmentation
US7834894B2 (en) * 2007-04-03 2010-11-16 Lifetouch Inc. Method and apparatus for background replacement in still photographs
US9350924B2 (en) 2014-08-25 2016-05-24 John G. Posa Portable electronic devices with integrated image/video compositing

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0865705A (ja) * 1994-08-25 1996-03-08 Imagica:Kk ソフトクロマキー処理方法
JPH10257518A (ja) * 1997-03-07 1998-09-25 Fuji Photo Film Co Ltd 自動撮影装置および自動撮影方法
JP2000030040A (ja) * 1998-07-14 2000-01-28 Canon Inc 画像処理装置及びコンピュータ読み取り可能な記憶媒体
JP2000224410A (ja) * 1998-08-31 2000-08-11 Hitachi Software Eng Co Ltd 画像合成装置および画像合成方法
JP2003058873A (ja) * 2001-08-13 2003-02-28 Olympus Optical Co Ltd 形状抽出装置および方法、並びに画像切り出し装置および方法
JP2004282167A (ja) * 2003-03-12 2004-10-07 Nippon Telegr & Teleph Corp <Ntt> 画像処理装置及び方法並びにプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU6577194A (en) * 1993-04-29 1994-11-21 Scientific Generics Limited Background separation for still and moving images
JPH0946723A (ja) * 1995-07-28 1997-02-14 Nippon Hoso Kyokai <Nhk> はめ込み合成用映像撮影方法および装置
JPH10210340A (ja) * 1997-01-27 1998-08-07 Matsushita Electric Ind Co Ltd 画像撮像装置および画像合成装置
US5937104A (en) * 1997-09-19 1999-08-10 Eastman Kodak Company Combining a first digital image and a second background digital image using a key color control signal and a spatial control signal
US5986771A (en) * 1997-09-19 1999-11-16 Eastman Kodak Company Method for computing a control signal for combining digital images
US6134346A (en) * 1998-01-16 2000-10-17 Ultimatte Corp Method for removing from an image the background surrounding a selected object
DE69937298T2 (de) * 1998-06-22 2008-02-07 Fujifilm Corp. Bilderzeugungsgerät und verfahren
JP3241327B2 (ja) * 1998-08-22 2001-12-25 大聖電機有限会社 クロマキーシステム
US6667774B2 (en) * 2001-11-02 2003-12-23 Imatte, Inc. Method and apparatus for the automatic generation of subject to background transition area boundary lines and subject shadow retention

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0865705A (ja) * 1994-08-25 1996-03-08 Imagica:Kk ソフトクロマキー処理方法
JPH10257518A (ja) * 1997-03-07 1998-09-25 Fuji Photo Film Co Ltd 自動撮影装置および自動撮影方法
JP2000030040A (ja) * 1998-07-14 2000-01-28 Canon Inc 画像処理装置及びコンピュータ読み取り可能な記憶媒体
JP2000224410A (ja) * 1998-08-31 2000-08-11 Hitachi Software Eng Co Ltd 画像合成装置および画像合成方法
JP2003058873A (ja) * 2001-08-13 2003-02-28 Olympus Optical Co Ltd 形状抽出装置および方法、並びに画像切り出し装置および方法
JP2004282167A (ja) * 2003-03-12 2004-10-07 Nippon Telegr & Teleph Corp <Ntt> 画像処理装置及び方法並びにプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1858255A4 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010056991A (ja) * 2008-08-29 2010-03-11 Panasonic Corp クロマキー処理装置およびクロマキー処理方法
JP2012528506A (ja) * 2009-05-29 2012-11-12 デジタルオプティックス・コーポレイション・ヨーロッパ・リミテッド 背景から前景の頭頂部を分離するための方法および装置
US8633999B2 (en) 2009-05-29 2014-01-21 DigitalOptics Corporation Europe Limited Methods and apparatuses for foreground, top-of-the-head separation from background
US8605955B2 (en) 2009-06-29 2013-12-10 DigitalOptics Corporation Europe Limited Methods and apparatuses for half-face detection
US8971628B2 (en) 2010-07-26 2015-03-03 Fotonation Limited Face detection using division-generated haar-like features for illumination invariance
US8977056B2 (en) 2010-07-26 2015-03-10 Fotonation Limited Face detection using division-generated Haar-like features for illumination invariance

Also Published As

Publication number Publication date
EP1858255A1 (en) 2007-11-21
EP1858255B1 (en) 2013-12-25
JP4642764B2 (ja) 2011-03-02
JPWO2006095860A1 (ja) 2008-08-21
EP1858255A4 (en) 2010-01-13

Similar Documents

Publication Publication Date Title
JP4689662B2 (ja) 撮影システム
US7835571B2 (en) Background replacing apparatus, background replacing program, and background replacing method
WO2006095860A1 (ja) 背景置換装置、背景置換プログラム、および背景置換方法
US9264627B2 (en) Video photography system
JP5089405B2 (ja) 画像処理装置及び画像処理方法並びに撮像装置
JP6234191B2 (ja) マルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置
JP5088220B2 (ja) 画像生成装置、及びプログラム
US20020140693A1 (en) Output image adjustment method, apparatus and computer program product for graphics files
JP2001186323A (ja) 証明写真システム及び画像処理方法
JP2008527852A (ja) ディジタル・カメラの画像のホワイト・バランス補正
JPWO2006059573A1 (ja) 色彩調整装置及び方法
KR20070090224A (ko) 전자 색 이미지 채도 처리 방법
JP2003289549A (ja) 画像処理システム、撮像装置、及び撮像装置のパラメータ決定プログラム
US8167439B2 (en) Image forming device
JP4303696B2 (ja) 背景置換装置、背景置換プログラム、背景置換プログラム記憶媒体、および、背景置換方法
US20030190089A1 (en) Apparatus and method for synthesizing images
JPH11327012A (ja) 写真撮影システム
CN1646986A (zh) 实时应答打印定时系统和方法
JP4638260B2 (ja) 背景置換装置、背景置換プログラム、背景置換プログラム記憶媒体、および、背景置換方法
JP2005217618A (ja) 画像処理方法、画像処理装置及び画像処理プログラム
JP2006277303A (ja) 撮影システム
CN109064910A (zh) 一种显示系统及用于操作显示系统的方法
US9025873B2 (en) Image processing apparatus and control method therefor
JP5854333B2 (ja) 画像出力装置
CN118505739A (zh) 图像处理方法、装置和图像处理设备

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 10589251

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2006715534

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2006527199

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application
NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: RU

WWP Wipo information: published in national office

Ref document number: 2006715534

Country of ref document: EP