WO2021220804A1 - 情報処理装置、合成映像の生成方法およびプログラム - Google Patents

情報処理装置、合成映像の生成方法およびプログラム Download PDF

Info

Publication number
WO2021220804A1
WO2021220804A1 PCT/JP2021/015392 JP2021015392W WO2021220804A1 WO 2021220804 A1 WO2021220804 A1 WO 2021220804A1 JP 2021015392 W JP2021015392 W JP 2021015392W WO 2021220804 A1 WO2021220804 A1 WO 2021220804A1
Authority
WO
WIPO (PCT)
Prior art keywords
subject
effect
unit
area
moving image
Prior art date
Application number
PCT/JP2021/015392
Other languages
English (en)
French (fr)
Inventor
尚子 菅野
洋一 廣田
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to CN202180029874.8A priority Critical patent/CN115428436A/zh
Priority to US17/996,578 priority patent/US20230224428A1/en
Priority to JP2022517616A priority patent/JPWO2021220804A1/ja
Publication of WO2021220804A1 publication Critical patent/WO2021220804A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N5/2723—Insertion of virtual advertisement; Replacing advertisements physical present in the scene by virtual advertisement

Definitions

  • This disclosure relates to an information processing device, a synthetic video generation method, and a program.
  • chroma key compositing in which a part of an image having a specific color component is made transparent and another image is combined with the transparent part. Specifically, shooting is performed in a studio equipped with a green background screen, and an area other than green is determined to be the foreground (for example, a subject) and extracted.
  • Patent Document 1 proposes a technique for foreground extraction using infrared rays.
  • Patent Document 1 mentions that the extracted foreground and an arbitrary background can be combined, the image effect can be further enhanced by applying an effect to the extracted foreground in real time and combining it with the background. Is not mentioned.
  • the information processing apparatus of one form according to the present disclosure includes a first acquisition unit that acquires a moving image including a subject and a background, and a moving image acquired by the first acquisition unit.
  • a subject area extraction unit that extracts the area of the subject
  • a background drawing unit that draws background information in an area other than the area of the subject in the moving image acquired by the first acquisition unit, and the moving image.
  • the effect acting unit Based on the intensity of the effect acting on the area of the subject, which is determined according to the information related to the acquisition environment of the subject, the effect acting unit that applies the effect to the area of the subject and the effect action.
  • It is an information processing device including an information processing unit including a region of the subject on which an effect is applied and a video compositing unit that generates a composite image obtained by combining the background information drawn by the background drawing unit.
  • First Embodiment 1-1 Configuration of subject enhancement system 1-2. Hardware configuration of subject enhancement system 1-3. Functional configuration of the subject enhancement device 1-4. Explanation of subject area extraction process 1-5. Explanation of video effects 1-6. Calculation of effect intensity 1-7. Flow of processing performed by the subject enhancement device 1-8. Effect of the first embodiment 1-9. Modification example of the first embodiment 1-10. Effect of the modified example of the first embodiment 2.
  • Third Embodiment 3-1 Functional configuration of the subject enhancement device 3-2. Flow of processing performed by the subject enhancement device 3-3. Effect of third embodiment
  • FIG. 1 is a block diagram showing a schematic configuration of a subject enhancement system according to the first embodiment.
  • the subject enhancement system 10a includes an RGB camera 12, an IR camera 13, an IR light 14, a subject enhancement device 20a, and an LED panel 15.
  • the subject enhancement system 10a extracts the subject photographed by the RGB camera 12 from the background. Then, a video effect is applied to the extracted subject area to combine it with the original background or another background.
  • the area of the subject may mean the entire subject or a part of the subject.
  • the area excluding a part of the body of the subject may be the area of the subject.
  • the video effect is an example of the effect in the present disclosure.
  • the RGB camera 12 is a color camera that captures the subject 92 on the stage 90.
  • the RGB camera 12 has sensitivity in the visible light region.
  • the IR camera 13 is an infrared camera that captures a range substantially equal to that of the RGB camera 12 and has sensitivity in an infrared region (for example, a region having a wavelength of 800 to 900 nm) which is an invisible light region.
  • the IR camera 13 photographs the subject 92 on the stage 90.
  • the relative positional relationship between the RGB camera 12 and the IR camera 13 is calibrated and acquired in advance.
  • the IR light 14 is an infrared light that illuminates the shooting range of the IR camera 13.
  • the emission wavelength of the IR light 14 includes a large amount of light in a wavelength region in which the IR camera 13 has sensitivity.
  • the IR light 14 is, for example, an infrared LED (Light Emitting Diode) having an emission wavelength of about 800 to 900 nm.
  • the subject enhancing device 20a extracts the region of the subject 92 from the image taken by the RGB camera 12 and the image taken by the IR camera 13. Further, the subject enhancing device 20a applies a video effect to the extracted region of the subject 92. Further, the subject enhancing device 20a synthesizes the region of the subject 92 on which the video effect is applied and the region (background) other than the region of the subject 92 in the video captured by the RGB camera 12 to generate a composite video. ..
  • the background may be the region itself other than the subject 92 in the image captured by the RGB camera 12, or may be a region in which other information is applied.
  • the subject enhancing device 20a is an example of the information processing device in the present disclosure.
  • the LED panel 15 is a display panel in which a plurality of LEDs are arranged vertically and horizontally, which is installed at the back of the stage 90, that is, behind the subject 92.
  • the subject 93 to which the image effect is applied which is output by the subject enhancement device 20a, and the background information 94, which is applied to an area other than the area of the subject 92 in the image captured by the RGB camera 12, are displayed.
  • the synthesized composite image 95 is displayed.
  • the audience watching the stage 90 can view the performance of the subject 92 and the composite image 95 displayed on the LED panel 15 including the subject 93 on which the image effect is applied.
  • the surface of the LED panel 15 has a low reflectance, the reflection of the illumination light by the IR light 14 and the illumination light that illuminates the stage 90 is suppressed. As a result, the visibility of the composite image 95 displayed on the LED panel 15 can be improved. Then, the effect of the effect can be enhanced by allowing the audience to simultaneously view the subject 92 on the stage 90 and the composite image 95 displayed on the LED panel 15.
  • the subject enhancing device 20a may transmit the composite image 95 to a place other than the stage 90.
  • the composite video 95 can be viewed in real time at another location.
  • FIG. 2 is a hardware block diagram showing an example of the hardware configuration of the subject enhancement system.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the CPU 21 controls the overall operation of the subject emphasizing system 10a by expanding and executing the control program stored in the storage unit 24 and various data files stored in the ROM 22 on the RAM 23. That is, the subject enhancement system 10a has a general computer configuration operated by a control program.
  • the control program may be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting. Further, the subject enhancement system 10a may execute a series of processes by hardware.
  • the control program executed by the CPU 21 may be a program that is processed in chronological order according to the order described in the present disclosure, or may be a program that is processed in parallel or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
  • the storage unit 24 is composed of, for example, a flash memory, and stores a control program or the like executed by the CPU 21.
  • the input / output controller 25 connects the CPU 21 and various input / output devices to input / output information.
  • the functions of the RGB camera 12, the IR camera 13, the IR light 14, and the LED panel 15, which are the input / output devices connected to the input / output controller 25, are as described above.
  • the input / output controller 25 includes an input device such as a keyboard that the operator gives an operation instruction to the subject enhancement device 20a, a monitor device that monitors the state of the subject enhancement device 20a, and a subject enhancement device, if necessary.
  • a communication device that transmits the composite video 95 output by 20a to the outside may be connected.
  • FIG. 3 is a functional block diagram showing an example of the functional configuration of the subject enhancing device according to the first embodiment.
  • the CPU 21 of the subject enhancing device 20a realizes each functional unit shown in FIG. 3 by deploying a control program on the RAM 23 and operating the program.
  • the CPU 21 of the subject enhancement device 20a includes a visible light moving image acquisition unit 31, an infrared moving image acquisition unit 32, a subject area extraction unit 33, a shooting distance calculation unit 34, an effect intensity calculation unit 35, and an effect action unit.
  • 36, a background drawing unit 37, a video composition unit 38, and a display control unit 39 are realized as functional units.
  • the visible light moving image acquisition unit 31 acquires an RGB image (moving image) including the subject 92 and the background by acquiring the video signal taken by the RGB camera 12.
  • the visible light moving image acquisition unit 31 is an example of the first acquisition unit in the present disclosure.
  • the infrared moving image acquisition unit 32 acquires the video signal captured by the IR camera 13 at the timing when the IR light 14 is lit, in synchronization with the timing when the visible light moving image acquisition unit 31 acquires the moving image.
  • An IR image (moving image) including the subject 92 and the background is acquired.
  • the infrared moving image acquisition unit 32 is an example of the second acquisition unit in the present disclosure.
  • the subject area extraction unit 33 extracts the area of the subject 92 from the RGB video acquired by the visible light moving image acquisition unit 31.
  • the shooting distance calculation unit 34 calculates the shooting distance of the IR image acquired by the infrared moving image acquisition unit 32, that is, the distance from the IR camera 13 to the subject 92.
  • the shooting distance calculation unit 34 may calculate the distance from the RGB camera 12 to the subject 92.
  • the shooting distance is an example of the moving image acquisition environment in the present disclosure.
  • the effect intensity calculation unit 35 is extracted by the subject area extraction unit 33 in the RGB image acquired by the visible light moving image acquisition unit 31 according to the information related to the RGB image acquisition environment acquired by the visible light moving image acquisition unit 31.
  • the intensity of the video effect applied to the region of the subject 92 is calculated.
  • the effect action unit 36 applies a video effect to the area of the subject 92 extracted by the subject area extraction unit 33 based on the intensity calculated by the effect intensity calculation unit 35.
  • the background drawing unit 37 draws the background information 94 in an area other than the area of the subject 92 in the RGB image acquired by the visible light moving image acquisition unit 31.
  • the background information 94 may be a live-action image or a CG (Computer Graphics) image. Further, it may be an image instead of a video. Further, the plurality of background information 94 may be divided into areas such as a vertical half, a horizontal half, and an oblique half for drawing.
  • the video compositing unit 38 generates a composite video 95 in which the region of the subject 92 on which the video effect is applied by the effect acting unit 36 and the background information 94 drawn by the background drawing unit 37 are combined.
  • the display control unit 39 displays the composite video 95 generated by the video compositing unit 38 on the LED panel 15.
  • the display control unit 39 is an example of the video display unit in the present disclosure.
  • FIG. 4 is an external view showing an example of the installation state of the RGB camera, the IR camera, and the IR light.
  • FIG. 5 is a diagram showing a flow of a subject area extraction process performed by the subject area extraction unit.
  • FIG. 6 is a diagram showing an example of an image generated in the process of generating a composite video.
  • the RGB camera 12 and the IR camera 13 are installed at close positions, facing substantially the same direction. That is, the RGB camera 12 and the IR camera 13 shoot substantially the same range. Then, an IR light 14 is installed in the vicinity of the IR camera 13.
  • the IR light 14 is composed of, for example, a plurality of infrared LEDs, and illuminates the shooting range of the IR camera 13.
  • the IR light 14 is incorporated in the camera stand 11 on which the RGB camera 12 and the IR camera 13 are installed.
  • a plurality of cameras having the configuration shown in FIG. 4 may be installed so as to surround the subject 92 to acquire a so-called volumetric image. When the camera is installed so as to surround the subject 92, it is desirable that the cameras in the diagonal direction take pictures at different times. This is because the light of the IR light 14 in the diagonal direction becomes noise when the images are taken simultaneously by the cameras in the diagonal direction.
  • the RGB camera 12 and the IR camera 13 take pictures in a synchronized state.
  • the RGB video (moving image) captured by the RGB camera 12 is acquired by the visible light moving image acquisition unit 31 (image Ia in FIG. 6).
  • the IR image (moving image) taken by the IR camera 13 is acquired by the infrared moving image acquisition unit 32 (image Ib in FIG. 6). Since the processing described below is performed for each acquired image, it will be described as an image instead of a moving image.
  • the subject area extraction unit 33 extracts the area of the subject 92 from the RGB images acquired by the visible light moving image acquisition unit 31 according to the procedure shown in FIG. More specifically, the subject region extraction unit 33 extracts the region of the subject 92 from the IR image acquired by the infrared moving image acquisition unit 32, and in the RGB image acquired by the visible light moving image acquisition unit 31. An area corresponding to the area of the subject 92 is extracted.
  • the subject area extraction unit 33 is the difference between the IR image acquired by the infrared moving image acquisition unit 32 and the background image taken by the IR camera 13 with the IR light 14 turned on in the absence of the subject 92. (Background difference 33a) is calculated. Since the region of the subject 92 has a higher infrared reflectance than the background image, it is observed brightly in the IR image acquired by the infrared moving image acquisition unit 32. Therefore, the background subtraction 33a provides an IR image in which the region of the subject 92 is brightly emphasized.
  • the subject area extraction unit 33 performs threshold processing 33b on the IR image that has undergone background subtraction 33a.
  • the threshold value process 33b is a process of extracting only pixels having a pixel value brighter than a preset threshold value.
  • the threshold processing 33b extracts a region (mask) corresponding to the region of the subject 92.
  • the subject area extraction unit 33 performs noise removal 33c.
  • the noise removal 33c is performed, for example, by removing an isolated region having an area equal to or less than a predetermined threshold value.
  • the subject area extraction unit 33 performs the morphology process 33d.
  • the morphology process 33d is a process performed on a binary image, for example, a process of filling a hole generated in a region.
  • the image Ic shown in FIG. 6 is obtained by the morphology processing 33d.
  • the warping process 33e is a process of moving the position of a feature point designated in an image and transforming it into another image (homography conversion). Specifically, how the position and shape of the region of the subject 92 extracted from the IR image taken by the IR camera 13 using the calibration information acquired in advance is in the RGB image taken by the RGB camera 12. Predict whether it will be reflected in.
  • the image Id shown in FIG. 6 is obtained by the warping process 33e.
  • the subject area extraction unit 33 performs demosaic processing 33f on the RGB image captured by the RGB camera 12.
  • the demosaic process 33f is, for example, a process for correcting the brightness of an image.
  • the background drawing unit 37 draws the background information 94 in an area other than the area (mask) of the subject 92 determined by the warping process 33e (image Ie in FIG. 6).
  • the video compositing unit 38 synthesizes the background information 94 drawn by the background drawing unit 37 and the image of the RGB camera 12 subjected to the demosaic processing by the subject area extraction unit 33.
  • a visible light image taken by the RGB camera 12 that is, a composite image 95 in which the image of the subject 92 is combined is generated at a position corresponding to the region of the subject 92 in the background information 94 (image of FIG. 6). If).
  • the display control unit 39 displays the composite image 95 on the LED panel 15.
  • FIG. 7 is a diagram showing an example of an effect applied by the effect acting unit.
  • the subject enhancement device 20a applies various video effects to the extracted region of the subject 92. As a result, the image of the subject 93 on which the image effect is applied is generated.
  • the type of video effect does not matter, but an example thereof is shown in FIG.
  • the video effect E1 blurs the edge of the outer peripheral portion of the subject 92.
  • the video effect E1 has the effect of making the extraction error of the region of the subject 92 inconspicuous.
  • the video effect E2 outputs the silhouette of the subject 92.
  • the video effect E2 has the effect of making the shape of the subject 92 stand out.
  • the video effect E3 changes the color or brightness of the edge of the outer peripheral portion of the subject 92.
  • the video effect E3 has the effect of making the subject 92 stand out.
  • the video effect E4 displays moving particles on the outer periphery of the subject 92.
  • the video effect E4 has the effect of making the contour of the subject 92 stand out.
  • the video effect E5 propagates the contour of the subject 92 extracted in the previous frame to express the movement locus of the subject 92.
  • the video effect E5 has the effect of emphasizing the movement of the subject 92.
  • the types of video effects are not limited to those shown in FIG. 7.
  • an effect such as blurring the entire area of the subject 92 or changing the color of the area of the subject 92 may be applied.
  • FIG. 8 is a diagram illustrating how the magnitude of the deviation between the position of the subject observed by the RGB camera and the position of the subject observed by the IR camera changes according to the shooting distance.
  • the subject enhancing device 20a acquires the positional relationship between the RGB camera 12 and the IR camera 13 by performing calibration in advance.
  • the subject 92 is arranged at a predetermined position on the stage 90, the image of the subject 92 is acquired by the RGB camera 12 and the IR camera 13 at the same time, and the images of the subject 92 are acquired by the two cameras, respectively. This is done by analyzing the displacement of the position (parallax ⁇ ). Calibration estimates the camera's internal and external parameters. More specifically, in the calibration, the subject 92 was provided with a grid-patterned calibration board (calibration plate), and the position of each grid of the calibration board observed by the RGB camera 12 and the position of each grid observed by the IR camera 13 were observed. This is done by associating the positions of each grid on the calibration board.
  • the parallax ⁇ is different from the calibrated state. Therefore, the RGB image acquired from the RGB camera 12 and the IR image acquired from the IR camera 13 are accurately aligned. Can't be done.
  • the effect intensity calculation unit 35 sets the intensity of the video effect according to the distance (shooting distance) between the camera and the subject 92. Specifically, when the shooting distance is closer than the predetermined distance, that is, when the subject 92 is closer than the calibrated position (when the parallax ⁇ is larger than the calibrated position). ), A higher intensity image effect is applied to the intensity of the image effect applied when the subject 92 is in the calibrated position. As a result, the misalignment that occurs when the region of the subject 92 is extracted is made inconspicuous. It should be noted that increasing the intensity of the video effect means applying a stronger video effect, for example, greatly blurring the peripheral edge of the subject 92.
  • the shooting distance is farther than the predetermined distance, that is, when the subject 92 is farther than the calibrated position (when the parallax ⁇ is smaller than the calibrated position).
  • the image effect having the same or weaker intensity as the image effect applied when the subject 92 is in the calibrated position may be applied.
  • the distance (shooting distance) between the camera and the subject 92 is, for example, the size (height) of the region of the subject 92 extracted from the infrared image taken by the IR camera 13 by the shooting distance calculation unit 34. Calculate based on.
  • a distance measuring means such as a TOF (Time Of Flight) sensor may be installed in the vicinity of the RGB camera 12 or the IR camera 13, and the distance to the area of the subject 92 may be measured by the distance measuring means. ..
  • TOF Time Of Flight
  • FIG. 9 is a flowchart showing an example of the flow of processing performed by the subject enhancing device of the first embodiment.
  • the flowchart of FIG. 9 shows the flow of processing after performing calibration for acquiring the positional relationship between the RGB camera 12 and the IR camera 13.
  • the visible light moving image acquisition unit 31 and the infrared moving image acquisition unit 32 simultaneously acquire an RGB image and an IR image while the IR light 14 is lit (step S11).
  • the subject area extraction unit 33 extracts the area of the subject 92 from the IR image acquired by the infrared moving image acquisition unit 32 (step S12).
  • the shooting distance calculation unit 34 calculates the shooting distance from the IR camera 13 to the subject 92 (step S13).
  • the effect intensity calculation unit 35 calculates the intensity of the video effect based on the shooting distance calculated in step S13 (step S14).
  • the effect acting unit 36 applies a video effect to the region of the subject 92 to generate the region of the subject 93 on which the video effect is applied (step S15).
  • the background drawing unit 37 generates background information 94 and draws it (step S16).
  • the video compositing unit 38 generates a composite video 95 in which the background information 94 and the region of the subject 93 on which the video effect is applied are combined (step S17).
  • the display control unit 39 displays the composite image 95 on the LED panel 15 (step S18).
  • the visible light moving image acquisition unit 31 determines whether all the images have been processed (step S19). When it is determined that all the images have been processed (step S19: Yes), the subject enhancing device 20a ends the processing of FIG. On the other hand, if it is not determined that all the images have been processed (step S19: No), the process returns to step S11.
  • the visible light moving image acquisition unit 31 includes an RGB image (moving image) including the subject 92 and the background. Is acquired, and the subject area extraction unit 33 extracts the area of the subject 92 from the moving image acquired by the visible light moving image acquisition unit 31. Then, the background drawing unit 37 draws the background information 94 in an area other than the area of the subject 92 in the moving image acquired by the visible light moving image acquisition unit 31.
  • the effect action unit 36 is based on the intensity of the video effect applied to the region of the subject 92 determined by the effect intensity calculation unit 35 according to the distance from the camera to the subject 92 (information related to the moving image acquisition environment). Then, the video effect is applied to the area of the subject 92.
  • the video compositing unit 38 generates the composite video 95 by synthesizing the region of the subject 92 on which the effect acting unit 36 has applied the video effect and the background information 94 drawn by the background drawing unit 37.
  • the effect intensity calculation unit 35 determines the effect action unit 36 according to the shooting distance of the subject 92 calculated by the shooting distance calculation unit 34. The effect is applied to the area of the subject 92 based on the intensity of the effect.
  • the shooting distance calculated by the shooting distance calculation unit 34 is the shooting distance (predetermined distance) when the calibration is performed. ), The intensity of the image effect is increased so that the image effect is applied to the area of the subject 92.
  • the infrared moving image acquisition unit 32 (second acquisition unit) is synchronized with the visible light moving image acquisition unit 31 (first acquisition unit). Then, the intensity distribution (IR image) of the reflected light of the infrared light (invisible light) applied to the subject 92, which is taken from the RGB camera 12 at a predetermined relative position, is acquired. Then, the subject region extraction unit 33 transforms the region of the subject 92 extracted from the IR image acquired by the infrared moving image acquisition unit 32 into a shape and position expected to be acquired by the visible light moving image acquisition unit 31. The visible light moving image acquisition unit 31 extracts the region of the subject 92 by applying it to the actually acquired RGB image.
  • the region of the subject 92 can be accurately extracted by a simple process.
  • the invisible light is infrared light.
  • the area of the subject 92 can be accurately extracted by a simple process without being affected by the surrounding light environment.
  • the display control unit 39 displays the composite video 95 synthesized by the video compositing unit 38.
  • the area of the subject 93 on which the video effect is applied and the arbitrary background information 94 can be combined.
  • the display control unit 39 (image display unit) displays the composite image 95 behind the subject 92.
  • the viewer can view the subject 92 and the composite video 95 at the same time.
  • the effect acting unit 36 applies a video effect to the outer peripheral portion of the region of the subject 92.
  • the subject enhancement system 10b includes a subject enhancement device 20b instead of the subject enhancement device 20a in the subject enhancement system 10a described in the first embodiment.
  • FIG. 10 is a functional block diagram showing an example of the functional configuration of the subject enhancing device of the modified example of the first embodiment.
  • the subject enhancement device 20b includes a parallax prediction unit 40 instead of the shooting distance calculation unit 34 included in the subject enhancement device 20a.
  • the parallax prediction unit 40 predicts the maximum value of the deviation between the actual position of the subject 92 and the extraction result of the subject 92 based on the moving range of the subject 92.
  • the subject enhancing device 20a extracts the region of the subject 92 based on the positional relationship between the RGB camera 12 and the IR camera 13 acquired in advance by calibration. Calibration is performed using a pair of RGB images and IR images taken at the same time with the subject 92 stationary at a predetermined position on the stage 90. Therefore, as described in the first embodiment, if the subject 92 moves on the stage 90, the region of the subject 92 cannot be accurately extracted.
  • the moving range of the subject 92 is limited to the range of the stage 90, if the dimensions of the stage 90 are known in advance, the subject 92 observed by the RGB camera 12 and the subject 92 observed by the IR camera 13 can be moved. The range of parallax ⁇ can be estimated.
  • the effect intensity calculation unit 35 calculates the intensity of the video effect based on the maximum value of the parallax ⁇ of the subject 92 predicted by the parallax prediction unit 40.
  • the effect intensity calculation unit 35 is a video effect having an intensity corresponding to the maximum value of the parallax ⁇ predicted to occur when the subject 92 moves around on the stage 90 regardless of the position of the subject 92. To act.
  • the subject 92 when the subject 92 is at the position where the parallax ⁇ is the largest, the subject 92 is set to the stage 90 by applying a video effect that makes the positional deviation of the region of the subject 92 extracted by the subject enhancing device 20b inconspicuous. No matter where you are, the misalignment of the area of the subject 92 can be made inconspicuous.
  • step S13 the parallax prediction unit 40 is based on the information acquired by calibration and the dimensions of the stage 90. , Performs the process of calculating the maximum value of the parallax ⁇ . Then, in step S14, the effect intensity calculation unit 35 calculates the intensity of the video effect based on the maximum value of the parallax ⁇ .
  • step S14 the effect intensity calculation unit 35 calculates the intensity of the video effect based on the maximum value of the parallax ⁇ .
  • the flow of other processing is the same as in FIG. Further, these processes do not have to be performed for each image, and may be performed only once at the beginning.
  • the parallax prediction unit 40 predicts the effect action unit 36 based on the movement range of the subject 92.
  • An image effect corresponding to the maximum value of the parallax ⁇ (deviation) between the actual position of the subject 92 and the extraction result of the subject 92 is applied to the region of the subject 92.
  • the processing speed can be increased.
  • the subject enhancement system 10a described in the first embodiment includes two cameras (RGB camera 12 and IR camera 13), the mounting positions of the cameras are displaced, and it is necessary to perform calibration. ..
  • the subject enhancement system 10c (not shown) of the second embodiment includes an RGB-IR camera 16 (see FIG. 11) in which the RGB camera 12 and the IR camera 13 are combined into one camera.
  • the subject enhancement system 10c (not shown) of the second embodiment is based on the difference between the processing time of the IR image and the processing time of the RGB image, that is, the processing delay time, as another example of the moving image acquisition environment. It sets the intensity of the video effect.
  • the subject enhancement system 10c of the second embodiment includes an RGB-IR camera 16, an IR light 14, a subject enhancement device 20c, and an LED panel 15. That is, in FIG. 1, the RGB camera 12 and the IR camera 13 are integrated into the RGB-IR camera 16, and the subject enhancing device 20a is replaced with the subject enhancing device 20c.
  • FIG. 11 is a diagram illustrating a schematic structure of an RGB-IR camera.
  • FIG. 11 shows two structures of the RGB-IR camera 16.
  • the RGB-IR camera 16a is a camera provided with an image pickup device 17 capable of simultaneously detecting visible light and infrared light.
  • the image pickup device 17 has a structure in which an element having sensitivity to infrared light is incorporated in a part of a Bayer array image pickup device. That is, the image pickup device 17 includes a pixel R, a pixel G, and a pixel B for generating an RGB image, as well as a pixel IR having sensitivity to infrared light. Therefore, the RGB-IR camera 16a can acquire an RGB image and an IR image with one camera. Since there is no parallax between the acquired RGB image and the IR image, the RGB image and the IR image can be aligned without using the relative positional relationship of the cameras described in the first embodiment.
  • the RGB-IR camera 16b is obtained by splitting the optical path of incident light into two by a beam splitter 18 and arranging a visible light imaging element 19a and an infrared imaging element 19b at the tip of each optical path.
  • the beam splitter 18 has a structure in which two right-angle prisms are bonded together.
  • FIG. 12 is a functional block diagram showing an example of the functional configuration of the subject enhancing device according to the second embodiment. That is, the subject enhancing device 20c includes a moving image acquisition unit 41 in place of the visible light moving image acquisition unit 31 and the infrared moving image acquisition unit 32 with respect to the subject enhancing device 20a. Further, instead of the subject area extraction unit 33, the subject area extraction unit 42 is provided. Further, instead of the shooting distance calculation unit 34, a processing time measurement unit 43 is provided.
  • the moving image acquisition unit 41 acquires an RGB image (moving image) including the subject 92 and the background by acquiring the video signal taken by the RGB-IR camera 16. Further, the moving image acquisition unit 41 acquires an IR image (moving image) including the subject 92 and the background by acquiring the video signal taken by the RGB-IR camera 16 at the timing when the IR light 14 is turned on. ..
  • the moving image acquisition unit 41 is an example of the first acquisition unit and the second acquisition unit in the present disclosure.
  • the subject area extraction unit 42 extracts the area of the subject 92 from the RGB video acquired by the moving image acquisition unit 41.
  • the processing time measuring unit 43 measures the elapsed time since the moving image acquisition unit 41 (first acquisition unit) acquires the moving image.
  • FIG. 13 is a diagram showing the flow of the subject area extraction process performed by the subject area extraction unit of the second embodiment.
  • the RGB image and the IR image taken by the RGB-IR camera 16 are acquired by the moving image acquisition unit 41.
  • the subject area extraction unit 42 extracts the area of the subject 92 from the RGB images acquired by the moving image acquisition unit 41 according to the procedure shown in FIG. More specifically, the subject area extraction unit 42 extracts the area of the subject 92 from the IR image acquired by the moving image acquisition unit 41, and the area of the subject 92 in the RGB image acquired by the moving image acquisition unit 41. Extract the area corresponding to.
  • the subject area extraction unit 42 first determines the difference between the IR image acquired by the moving image acquisition unit 41 and the background image taken by the RGB-IR camera 16 with the IR light 14 turned on in the absence of the subject 92. (Background difference 42a) is calculated. Since the region of the subject 92 has a higher infrared reflectance than the background image, it is brightly observed in the IR image acquired by the moving image acquisition unit 41. Therefore, the background subtraction 42a provides an IR image in which the region of the subject 92 is brightly emphasized.
  • the subject area extraction unit 42 performs threshold processing 42b on the IR image with background subtraction 42a.
  • the threshold value processing 42b is a process of extracting only pixels having a pixel value brighter than a preset threshold value.
  • the threshold processing 42b extracts a region (mask) corresponding to the region of the subject 92.
  • the subject region extraction unit 42 performs noise removal 42c.
  • the noise removal 42c is performed, for example, by removing an isolated region having an area equal to or less than a predetermined threshold value.
  • the subject area extraction unit 42 performs the morphology processing 42d.
  • the morphology process 42d is a process performed on a binary image, for example, a process of filling a hole generated in a region.
  • the warping process 33e was performed in the first embodiment, but in the case of the present embodiment, the warping process is unnecessary because no parallax occurs between the RGB image and the IR image.
  • the subject area extraction unit 42 performs demosaic processing 42e on the RGB image captured by the RGB-IR camera 16.
  • the demosaic process 42e is, for example, a process for correcting the brightness of an image.
  • the background drawing unit 37 draws the background information 94 in an area other than the area (mask) of the subject 92 determined by the morphology processing 42d.
  • the video compositing unit 38 synthesizes the background information 94 drawn by the background drawing unit 37 and the RGB image subjected to the demosaic processing by the subject area extraction unit 42. As a result, a visible light image taken by the RGB-IR camera 16 at a position corresponding to the region of the subject 92 in the background information 94, that is, a composite image 95 in which the image of the subject 92 is combined is generated.
  • the subject enhancing device 20c of the present embodiment strongly sets the intensity of the image effect when the delay time of the time required for processing the IR image exceeds a predetermined time with respect to the time required for processing the RGB image. Makes the misalignment of the area inconspicuous. More specifically, the effect intensity calculation unit 35 determines whether or not the subject area extraction unit 42 has completed the extraction of the region of the subject 92 when the elapsed time measured by the processing time measurement unit 43 elapses for a predetermined time. The intensity of the video effect is calculated accordingly.
  • the processing time measuring unit 43 measures the elapsed time since the moving image acquisition unit 41 acquires the RGB image and the IR image, and when the elapsed time exceeds a predetermined time, a high-intensity video effect is obtained.
  • the predetermined time is set to a time during which the subject area extraction unit 42 can execute the process of extracting the area of the subject 92 in real time (video rate).
  • FIG. 14 is a flowchart showing an example of the flow of processing performed by the subject enhancing device of the second embodiment.
  • the moving image acquisition unit 41 acquires an RGB image and an IR image (step S21).
  • the subject area extraction unit 42 starts extracting the area of the subject 92 (step S22).
  • the processing time measuring unit 43 determines whether a predetermined time has elapsed from the acquisition of the image (step S23). When it is determined that a predetermined time has elapsed from the acquisition of the image (step S23: Yes), the process proceeds to step S24. On the other hand, if it is not determined that the predetermined time has elapsed from the acquisition of the image (step S23: No), the process proceeds to step S27.
  • step S24 the subject area extraction unit 42 determines whether or not the extraction of the area of the subject 92 is completed. When it is determined that the extraction of the region of the subject 92 is completed (step S24: Yes), the process proceeds to step S28. On the other hand, if it is not determined that the extraction of the region of the subject 92 is completed (step S24: No), the process proceeds to step S25.
  • step S23 the subject area extraction unit 42 determines whether or not the extraction of the area of the subject 92 is completed (step S27). When it is determined that the extraction of the region of the subject 92 is completed (step S27: Yes), the process proceeds to step S28. On the other hand, if it is not determined that the extraction of the region of the subject 92 is completed (step S27: No), the process returns to step S23.
  • step S25 determines whether or not the extraction of the area of the subject 92 has been completed.
  • step S25: Yes the process proceeds to step S26.
  • step S25: No the process proceeds to step S25.
  • step S24 If it is determined to be Yes in step S24 or step S27, the effect intensity calculation unit 35 sets the intensity of the video effect to a weak state (step S28). Then, the process proceeds to step S29.
  • step S25 the effect intensity calculation unit 35 sets the intensity of the video effect to a strong state (step S26). Then, the process proceeds to step S29.
  • step S29 the effect action unit 36 applies a preset video effect to the area of the subject 92 (step S29).
  • the background drawing unit 37 generates background information 94 and draws it (step S30).
  • the video compositing unit 38 generates a composite video 95 in which the background information 94 and the region of the subject 93 on which the video effect is applied are combined (step S31).
  • the display control unit 39 displays the composite image 95 on the LED panel 15 (step S32).
  • the moving image acquisition unit 41 determines whether all the images have been processed (step S33). When it is determined that all the images have been processed (step S33: Yes), the subject enhancing device 20c ends the processing of FIG. On the other hand, if it is not determined that all the images have been processed (step S33: No), the process returns to step S21.
  • the effect action unit 36 is the moving image acquisition unit 41 (first acquisition unit) measured by the processing time measurement unit 43. Based on the intensity of the video effect determined according to whether or not the subject area extraction unit 42 has completed the extraction of the area of the subject 92 when the elapsed time from the acquisition of the moving image has elapsed for a predetermined time. , The video effect is applied to the area of the subject 92.
  • the misalignment of the region of the subject 92 in the composite image 95 can be made inconspicuous.
  • the effect acting unit 36 receives the subject area extraction unit 42.
  • the intensity of the video effect is increased so that the video effect is applied to the region of the subject 92.
  • the displacement of the region of the subject 92 in the composite video 95 can be made inconspicuous by applying a strong video effect.
  • the subject enhancement system 10d includes a subject enhancement device 20d instead of the subject enhancement device 20c described in the second embodiment.
  • the subject enhancement system 10d controls the ON / OFF of the image effect by irradiating the stage 90 with a spotlight or launching fireworks on the stage 90 to suddenly change the light environment as a trigger. Is.
  • the subject enhancement system 10d can turn on / off the video effect without setting the ON / OFF time of the video effect in advance.
  • the subject enhancing device 20d causes a sudden change in the light environment when the number of pixels exceeding a predetermined brightness exceeds a predetermined value (). It is determined that a lot of infrared light has been emitted), and the action of the video effect is turned ON or OFF.
  • FIG. 15 is a functional block diagram showing an example of the functional configuration of the subject enhancing device of the modified example of the second embodiment.
  • the subject enhancement device 20d includes a trigger information detection unit 44 and an effect ON / OFF control unit 45 in addition to each functional component of the subject enhancement device 20c.
  • the trigger information detection unit 44 counts the number of pixels having a brightness equal to or higher than a predetermined value in the IR image acquired by the moving image acquisition unit 41 (second acquisition unit).
  • the effect ON / OFF control unit 45 determines whether or not to operate the video effect according to the number of pixels counted by the trigger information detection unit 44, that is, whether to output the RGB image acquired by the moving image acquisition unit 41 as it is or to output the video. It is switched whether to output the composite video 95 synthesized by the synthesis unit 38.
  • the effect ON / OFF control unit 45 is an example of the switching unit in the present disclosure.
  • FIG. 16 is a flowchart showing an example of the flow of processing performed by the subject emphasizing device of the modified example of the second embodiment.
  • the moving image acquisition unit 41 acquires an RGB image and an IR image (step S41).
  • the subject area extraction unit 42 extracts the area of the subject 92 (step S42).
  • the trigger information detection unit 44 determines whether the number of pixels having a predetermined brightness or more in the acquired IR image is a predetermined value or more (step S43). When it is determined that the number of pixels having a predetermined brightness or more in the IR image is equal to or more than a predetermined value (step S43: Yes), the process proceeds to step S44. On the other hand, if it is not determined that the number of pixels having a predetermined brightness or more in the IR image is not more than a predetermined value (step S43: No), the process proceeds to step S45.
  • step S43 If Yes is determined in step S43, the effect ON / OFF control unit 45 stops the action of the video effect (step S44). Then, the process proceeds to step S47.
  • step S43 the effect intensity calculation unit 35 sets the intensity of the video effect according to the delay time of the extraction process of the area of the subject 92 (step S45).
  • the effect action unit 36 acts on the video effect (step S46).
  • the background drawing unit 37 generates background information 94 and draws it (step S47).
  • the video compositing unit 38 generates a composite video 95 in which the background information 94 and the region of the subject 93 on which the video effect is applied are combined (step S48).
  • the display control unit 39 displays the composite image 95 on the LED panel 15 (step S49).
  • the moving image acquisition unit 41 determines whether all the images have been processed (step S50). When it is determined that all the images have been processed (step S50: Yes), the subject enhancing device 20d ends the processing of FIG. On the other hand, if it is not determined that all the images have been processed (step S50: No), the process returns to step S41.
  • the video effect may be turned on by using these as triggers. It is also possible to irradiate a spotlight with a projector capable of projecting pattern light and switch ON / OFF of the image effect only in the area where the pattern is irradiated.
  • the spotlight irradiation timing can also be determined according to the excitement of the live venue. That is, for example, the sound pressure may be measured by a sound level meter installed in a live venue, and the spotlight may be irradiated when the sound pressure reaches a predetermined value as a trigger. As a result, it is possible to control ON / OFF of the video effect by linking to the excitement of the live venue, so that the effect of the effect can be further enhanced.
  • the spotlight may be irradiated with the subject 92 performing a predetermined movement as a trigger. It is possible to detect that the subject 92 has performed a predetermined movement, for example, by a method (third embodiment) described later.
  • the effect ON / OFF control unit 45 is a moving image counted by the trigger information detection unit 44. Whether or not to apply the video effect is switched according to the number of pixels having a brightness equal to or higher than a predetermined value in the IR image acquired by the acquisition unit 41 (second acquisition unit).
  • the subject enhancement system 10e (not shown) of the third embodiment detects the movement of the extracted subject 92 and sets a region for synthesizing the background information 94 according to the detected movement.
  • the subject enhancement system 10e includes the subject enhancement device 20e instead of the subject enhancement device 20a in the subject enhancement system 10a described in the first embodiment.
  • FIG. 17 is a functional block diagram showing an example of the functional configuration of the subject enhancing device according to the third embodiment.
  • the subject enhancement device 20e has a functional configuration in which a motion detection unit 46 and a subject composition position setting unit 47 are added to the subject enhancement device 20a (see FIG. 3) described in the first embodiment.
  • the motion detection unit 46 detects the motion of the subject 92. Specifically, the motion detection unit 46 detects the magnitude and motion of the motion by, for example, detecting an optical flow (motion vector) for the area of the subject 92 extracted by the subject region extraction unit 33 at different times. Detect the direction.
  • an optical flow motion vector
  • the subject composition position setting unit 47 is a region of the subject 93 in which the effect acting unit 36 applies a video effect to the background information 94 drawn by the background drawing unit 37 based on the movement of the subject 92 detected by the motion detecting unit 46. Set the position to synthesize. Specifically, the subject composition position setting unit 47 sets the position of the subject 92 to be combined with the background information 94 based on the magnitude and direction of the movement of the subject 92 (to be exact, the subject on which the video effect is applied). 93 position) is set.
  • the subject composition position setting unit 47 is an example of the composition position setting unit in the present disclosure.
  • FIG. 18 is a flowchart showing an example of the flow of processing performed by the subject enhancing device of the third embodiment.
  • the flowchart of FIG. 18 shows the flow of processing after performing calibration for acquiring the positional relationship between the RGB camera 12 and the IR camera 13.
  • the visible light moving image acquisition unit 31 and the infrared moving image acquisition unit 32 simultaneously acquire an RGB image and an IR image while the IR light 14 is lit (step S51).
  • the subject area extraction unit 33 extracts the area of the subject 92 from the IR image acquired by the infrared moving image acquisition unit 32 (step S52).
  • the motion detection unit 46 detects the motion of the subject 92 (step S53).
  • the subject composition position setting unit 47 calculates an area for synthesizing the subject 92 with the background information 94, that is, a background composition area (step S54).
  • steps S55 to S61 are the same as the flow from step S13 to step S19 described in the first embodiment (see FIG. 9), the description thereof will be omitted.
  • the subject composition position setting unit 47 (combination position setting unit) is based on the movement of the subject 92 detected by the motion detection unit 46. Based on this, the background information 94 drawn by the background drawing unit 37 is set with an area in which the effect acting unit 36 synthesizes the region of the subject 93 on which the video effect is applied.
  • the position of the subject 92 to be combined with the background information 94 can be determined by a simple process.
  • the processing time required to detect the region of the subject 92 can be increased.
  • the present disclosure has been described above using some embodiments, these embodiments may be executed in any device.
  • the device may have the necessary functional blocks so that the necessary information can be obtained.
  • each step of one flowchart may be executed by one device, or may be shared and executed by a plurality of devices.
  • one device may execute the plurality of processes, or a plurality of devices may share and execute the plurality of processes.
  • a plurality of processes included in one step can be executed as processes of a plurality of steps.
  • the processes described as a plurality of steps can be collectively executed as one step.
  • a computer-executed program may allow the processing of the steps of writing the program to be executed in chronological order in the order described herein, in parallel, or in calls. It may be executed individually at a required timing such as when it is broken. That is, as long as there is no contradiction, the processing of each step may be executed in an order different from the above-mentioned order. Further, the processing of the step of writing the program may be executed in parallel with the processing of another program, or may be executed in combination with the processing of another program.
  • a plurality of technologies related to this technology can be independently implemented independently as long as there is no contradiction.
  • any plurality of the present techniques can be applied and implemented.
  • some or all of the techniques described in any of the embodiments may be combined with some or all of the techniques described in other embodiments. It is also possible to carry out a part or all of any of the above-mentioned techniques in combination with other techniques not described above.
  • the present disclosure can have the following structure.
  • the first acquisition unit that acquires the moving image including the subject and the background
  • a subject area extraction unit that extracts the subject area from the moving images acquired by the first acquisition unit
  • a subject area extraction unit that draws background information in an area other than the subject area in the moving image acquired by the first acquisition unit.
  • the effect acting unit Based on the intensity of the effect acting on the subject area, which is determined according to the information related to the moving image acquisition environment, the effect acting unit that causes the effect to act on the subject area.
  • a video compositing unit that generates a composite image in which the area of the subject on which the effect acting unit exerts an effect and the background information drawn by the background drawing unit are combined.
  • Information processing device equipped with.
  • the effect action part The effect is applied to the area of the subject based on the intensity of the effect determined according to the shooting distance of the subject.
  • (3) The effect action part When the shooting distance of the subject is closer than a predetermined distance, the intensity of the effect is increased to cause the effect to act on the area of the subject.
  • (4) The effect action part It was determined depending on whether or not the subject area extraction unit has completed the extraction of the subject area when the elapsed time from the acquisition of the moving image by the first acquisition unit has elapsed for a predetermined time. , The effect is applied to the area of the subject based on the intensity of the effect.
  • the information processing device according to any one of (1) to (3).
  • the effect action part When the elapsed time elapses and the subject area extraction unit has not completed the extraction of the subject area, the intensity of the effect is increased to apply the effect to the subject area.
  • the information processing device (4) above.
  • a second acquisition unit that acquires the intensity distribution of the reflected light of the invisible light irradiated to the subject, which is photographed at a predetermined relative position from the first acquisition unit, is further added.
  • the subject area extraction unit transforms the subject area extracted from the intensity distribution of the reflected light acquired by the second acquisition unit into a shape and position expected to be acquired by the first acquisition unit. Then, the area of the subject is extracted by applying it to the moving image actually acquired by the first acquisition unit.
  • the information processing device according to any one of (1) to (5) above.
  • the invisible light is infrared light,
  • a video display unit for displaying the composite video synthesized by the video compositing unit is further provided.
  • the information processing device according to any one of (1) to (7).
  • the image display unit displays the composite image behind the subject.
  • the information processing device according to (8) above.
  • the effect acting unit causes the effect to act on the outer peripheral portion of the area of the subject.
  • the information processing device according to any one of (1) to (9) above.
  • the effect action part The effect corresponding to the maximum value of the deviation between the actual position of the subject and the extraction result of the subject, which is predicted based on the movement range of the subject, is applied to the region of the subject.
  • the information processing device according to any one of (1) to (10).
  • a switching unit for switching whether or not to apply the effect is further provided according to the number of pixels having a brightness equal to or higher than a predetermined value in the intensity distribution of the reflected light acquired by the second acquisition unit.
  • the information processing device according to (6) or (7) above.
  • a composition position setting unit for setting an area for synthesizing the area of the subject on which the effect effect unit acts on the background information drawn by the background drawing unit based on the movement of the subject is further provided.
  • the information processing device according to any one of (1) to (12).
  • (14) The first acquisition step of acquiring a moving image including the subject and the background, A subject extraction step for extracting the area of the subject from the moving image acquired in the first acquisition step, and a subject extraction step.
  • a background drawing step for drawing background information in an area other than the subject area in the moving image acquired in the first acquisition step, Based on the intensity of the effect acting on the subject area, which is determined according to the information related to the moving image acquisition environment, the effect action step of applying the effect to the subject area and the effect action step.
  • a video compositing step for generating a composite image in which the area of the subject on which the effect action step is applied and the background information drawn in the background drawing step are combined.
  • a method of generating a composite video including.
  • the first acquisition unit that acquires the moving image including the subject and the background
  • a subject area extraction unit that extracts the subject area from the moving images acquired by the first acquisition unit
  • a subject area extraction unit that draws background information in an area other than the subject area in the moving image acquired by the first acquisition unit.
  • the effect acting unit Based on the intensity of the effect acting on the subject area, which is determined according to the information related to the moving image acquisition environment, the effect acting unit that causes the effect to act on the subject area.
  • a video compositing unit that generates a composite image in which the area of the subject on which the effect acting unit exerts an effect and the background information drawn by the background drawing unit are combined.
  • a program that works.
  • Disparity prediction unit 41 ... Video acquisition unit (first acquisition unit, second acquisition unit), 43 ... Processing time measurement unit, 44 ... Trigger information detection unit, 45 ... Effect ON / OFF control Unit (switching unit), 46 ... motion detection unit, 47 ... subject composition position setting unit (composite position setting unit), 90 ... stage, 92, 93 ... subject, 94 ... background information, 95 ... composite image, ⁇ ... parallax

Abstract

被写体強調装置（２０ａ）（情報処理装置）の可視光動画取得部（３１）（第１の取得部）は、被写体（９２）と背景とを含む動画を取得して、被写体領域抽出部（３３）が、動画の中から被写体（９２）の領域を抽出する。そして、背景描画部（３７）は、動画の中の被写体（９２）の領域以外の領域に、背景情報（９４）を描画する。エフェクト作用部（３６）は、エフェクト強度算出部（３５）が、カメラから被写体（９２）までの距離（動画の取得環境に係る情報）に応じて決定した、被写体（９２）の領域に対して作用させる映像エフェクトの強度に基づいて、被写体（９２）の領域に対して映像エフェクトを作用させる。映像合成部（３８）は、エフェクト作用部（３６）が映像エフェクトを作用させた被写体（９２）の領域と、背景描画部（３７）が描画した背景情報（９４）とを合成して合成映像（９５）を生成する。

Description

情報処理装置、合成映像の生成方法およびプログラム
　本開示は、情報処理装置、合成映像の生成方法およびプログラムに関する。
　従来、特定の色成分の映像の一部を透過状態にして、透過状態にした部分に別の映像を合成するクロマキー合成が知られている。具体的には、グリーンバックのスクリーンが設置されたスタジオで撮影を行い、緑以外の領域を前景（例えば被写体）と判断して抽出している。
　しかしながら、ライブ会場では、ステージ上にグリーンバックのスクリーンを設置するのが困難であった。また、ライブ会場では、演出のためのスポットライトや花火、レーザー光等によって光環境が激しく変化するため、前景を抽出するのが困難であった。
　このような課題に対して、例えば特許文献１では、赤外線を用いて前景抽出を行う技術を提案している。
特開２０００－２３０３８号公報
　しかしながら、特許文献１では、抽出した前景と、任意の背景とを合成できることには言及しているが、抽出した前景にリアルタイムでエフェクトをかけて背景と合成することによって、映像効果をより高めることには言及していない。
　本開示では、任意の背景下で抽出した前景に、リアルタイムでエフェクトをかけることができる情報処理装置、合成映像の生成方法およびプログラムを提案する。
　上記の課題を解決するために、本開示に係る一形態の情報処理装置は、被写体と背景とを含む動画を取得する第１の取得部と、前記第１の取得部が取得した動画の中から、前記被写体の領域を抽出する被写体領域抽出部と、前記第１の取得部が取得した動画の中の、前記被写体の領域以外の領域に、背景情報を描画する背景描画部と、前記動画の取得環境に係る情報に応じて決定された、前記被写体の領域に対して作用させるエフェクトの強度に基づいて、前記被写体の領域に対して、当該エフェクトを作用させるエフェクト作用部と、前記エフェクト作用部がエフェクトを作用させた前記被写体の領域と、前記背景描画部が描画した背景情報とを合成した合成映像を生成する映像合成部と、を備える情報処理装置である。
第１の実施形態の被写体強調システムの概略構成を示すブロック図である。 被写体強調システムのハードウエア構成の一例を示すハードウエアブロック図である。 第１の実施形態の被写体強調装置の機能構成の一例を示す機能ブロック図である。 ＲＧＢカメラとＩＲカメラとＩＲライトの設置状態の一例を示す外観図である。 被写体領域抽出部が行う被写体領域抽出処理の流れを示す図である。 合成映像を生成する過程で生成される画像の一例を示す図である。 エフェクト作用部が作用させるエフェクトの一例を示す図である。 ＲＧＢカメラで観測される被写体の位置とＩＲカメラで観測される被写体の位置とのずれの大きさが、撮影距離に応じて変化する様子を説明する図である。 第１の実施形態の被写体強調装置が行う処理の流れの一例を示すフローチャートである。 第１の実施形態の変形例の被写体強調装置の機能構成の一例を示す機能ブロック図である。 ＲＧＢ－ＩＲカメラの概略構造を説明する図である。 第２の実施形態の被写体強調装置の機能構成の一例を示す機能ブロック図である。 第２の実施形態の被写体領域抽出部が行う被写体領域抽出処理の流れを示す図である。 第２の実施形態の被写体強調装置が行う処理の流れの一例を示すフローチャートである。 第２の実施形態の変形例の被写体強調装置の機能構成の一例を示す機能ブロック図である。 第２の実施形態の変形例の被写体強調装置が行う処理の流れの一例を示すフローチャートである。 第３の実施形態の被写体強調装置の機能構成の一例を示す機能ブロック図である。 第３の実施形態の被写体強調装置が行う処理の流れの一例を示すフローチャートである。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　また、以下に示す項目順序に従って本開示を説明する。
　　１．第１の実施形態
　　　１－１．被写体強調システムの構成
　　　１－２．被写体強調システムのハードウエア構成
　　　１－３．被写体強調装置の機能構成
　　　１－４．被写体領域抽出処理の説明
　　　１－５．映像エフェクトの説明
　　　１－６．エフェクト強度の算出
　　　１－７．被写体強調装置が行う処理の流れ
　　　１－８．第１の実施形態の効果
　　　１－９．第１の実施形態の変形例
　　　１－１０．第１の実施形態の変形例の効果
　　２．第２の実施形態
　　　２－１．被写体強調装置の機能構成
　　　２－２．被写体領域抽出処理の説明
　　　２－３．エフェクト強度の算出
　　　２－４．被写体強調装置が行う処理の流れ
　　　２－５．第２の実施形態の効果
　　　２－６．第２の実施形態の変形例
　　　２－７．第２の実施形態の変形例の効果
　　３．第３の実施形態
　　　３－１．被写体強調装置の機能構成
　　　３－２．被写体強調装置が行う処理の流れ
　　　３－３．第３の実施形態の効果
（１．第１の実施形態）
［１－１．被写体強調システムの構成］
　まず、図１を用いて、本開示を適用した被写体強調システム１０ａの概要を説明する。図１は、第１の実施形態の被写体強調システムの概略構成を示すブロック図である。
　図１に示すように、被写体強調システム１０ａは、ＲＧＢカメラ１２と、ＩＲカメラ１３と、ＩＲライト１４と、被写体強調装置２０ａと、ＬＥＤパネル１５とを備える。
　被写体強調システム１０ａは、ＲＧＢカメラ１２が撮影した被写体を背景から抽出する。そして、抽出された被写体の領域に映像エフェクトを作用させて、元の背景または別の背景と合成する。なお、本開示において、被写体の領域とは、被写体全体を意味してもよいし、被写体の一部を意味してもよい。例えば、被写体の身体の一部（足先や頭髪等）を除いた領域を被写体の領域としてもよい。また、映像エフェクトは、本開示におけるエフェクトの一例である。
　ＲＧＢカメラ１２は、ステージ９０上の被写体９２を撮影するカラーカメラである。ＲＧＢカメラ１２は、可視光領域に感度を有する。
　ＩＲカメラ１３は、ＲＧＢカメラ１２と略等しい範囲を撮影する、不可視光領域である赤外領域（例えば、波長８００～９００ｎｍの領域）に感度を有する赤外線カメラである。ＩＲカメラ１３は、ステージ９０上の被写体９２を撮影する。なお、ＲＧＢカメラ１２とＩＲカメラ１３との相対位置関係は、予めキャリブレーションを行って取得しておく。
　ＩＲライト１４は、ＩＲカメラ１３の撮影範囲を照明する赤外線ライトである。なお、ＩＲライト１４の発光波長は、ＩＲカメラ１３が感度を有する波長領域の光を多く含む。ＩＲライト１４は、例えば、発光波長８００～９００ｎｍ程度の赤外ＬＥＤ（Light　Emitting　Diode）である。
　被写体強調装置２０ａは、ＲＧＢカメラ１２が撮影した映像と、ＩＲカメラ１３が撮影した映像とから、被写体９２の領域を抽出する。また、被写体強調装置２０ａは、抽出された被写体９２の領域に対して映像エフェクトを作用させる。更に、被写体強調装置２０ａは、映像エフェクトを作用させた被写体９２の領域と、ＲＧＢカメラ１２が撮影した映像の中の被写体９２の領域以外の領域（背景）とを合成して合成映像を生成する。ここで、背景は、ＲＧＢカメラ１２が撮影した映像における被写体９２以外の領域そのものであってもよいし、当該領域に別の情報を当て嵌めたものであってもよい。なお、被写体強調装置２０ａは、本開示における情報処理装置の一例である。
　ＬＥＤパネル１５は、ステージ９０の奥、即ち被写体９２の背後に設置された、複数のＬＥＤが縦横に整列した表示パネルである。ＬＥＤパネル１５には、被写体強調装置２０ａが出力した、映像エフェクトを作用させた被写体９３と、ＲＧＢカメラ１２が撮影した映像の中の被写体９２の領域以外の領域に当て嵌めた背景情報９４とが合成された合成映像９５が表示される。これによって、ステージ９０を見ている観客は、被写体９２のパフォーマンスと、ＬＥＤパネル１５に表示された、映像エフェクトが作用した被写体９３を含む合成映像９５とを視聴することができる。なお、ＬＥＤパネル１５の表面は、反射率が低く抑えられているため、前記したＩＲライト１４による照明光や、ステージ９０を照明する照明光の反射が抑制される。これによって、ＬＥＤパネル１５に表示された合成映像９５の視認性を高めることができる。そして、観客に、ステージ９０上の被写体９２と、ＬＥＤパネル１５に表示された合成映像９５とを同時に視聴させることによって、演出効果を高めることができる。
　なお、被写体強調装置２０ａは、合成映像９５を、ステージ９０とは別の場所に伝送してもよい。この場合、合成映像９５を、別の場所においてリアルタイムで視聴することができる。
［１－２．被写体強調システムのハードウエア構成］
　次に、図２を用いて、被写体強調システム１０ａのハードウエア構成を説明する。図２は、被写体強調システムのハードウエア構成の一例を示すハードウエアブロック図である。
　被写体強調システム１０ａは、ＣＰＵ（Central　Processing　Unit）２１と、ＲＯＭ（Read　Only　Memory）２２と、ＲＡＭ（Random　Access　Memory）２３と、記憶部２４と、入出力コントローラ２５とが内部バス２６で接続された構成を有する。
　ＣＰＵ２１は、記憶部２４に格納されている制御プログラムと、ＲＯＭ２２に格納されている、各種データファイルとをＲＡＭ２３上に展開して実行することによって、被写体強調システム１０ａの全体の動作を制御する。即ち、被写体強調システム１０ａは、制御プログラムによって動作する一般的なコンピュータの構成を有する。なお、制御プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供されてもよい。また、被写体強調システム１０ａは、一連の処理をハードウエアによって実行してもよい。なお、ＣＰＵ２１が実行する制御プログラムは、本開示で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
　記憶部２４は、例えばフラッシュメモリにより構成されて、ＣＰＵ２１が実行する制御プログラム等を記憶する。
　入出力コントローラ２５は、ＣＰＵ２１と各種入出力装置とを接続して、情報の入出力を行う。
　入出力コントローラ２５に接続される入出力装置であるＲＧＢカメラ１２、ＩＲカメラ１３、ＩＲライト１４、ＬＥＤパネル１５の機能は、前記した通りである。なお、入出力コントローラ２５には、必要に応じて、オペレータが被写体強調装置２０ａに対して操作指示を与えるキーボード等の入力装置と、被写体強調装置２０ａの状態をモニタするモニタ装置と、被写体強調装置２０ａが出力した合成映像９５を外部に送信する通信装置とが接続されてもよい。
［１－３．被写体強調装置の機能構成］
　次に、図３を用いて、被写体強調装置２０ａの機能構成を説明する。図３は、第１の実施形態の被写体強調装置の機能構成の一例を示す機能ブロック図である。被写体強調装置２０ａのＣＰＵ２１は、制御プログラムをＲＡＭ２３上に展開して動作させることによって、図３に示す各機能部を実現する。
　即ち、被写体強調装置２０ａのＣＰＵ２１は、可視光動画取得部３１と、赤外動画取得部３２と、被写体領域抽出部３３と、撮影距離算出部３４と、エフェクト強度算出部３５と、エフェクト作用部３６と、背景描画部３７と、映像合成部３８と、表示制御部３９とを機能部として実現する。
　可視光動画取得部３１は、ＲＧＢカメラ１２が撮影したビデオ信号を取得することによって、被写体９２と背景とを含むＲＧＢ映像（動画）を取得する。なお、可視光動画取得部３１は、本開示における第１の取得部の一例である。
　赤外動画取得部３２は、ＩＲライト１４が点灯しているタイミングで、可視光動画取得部３１が動画を取得するタイミングと同期して、ＩＲカメラ１３が撮影したビデオ信号を取得することによって、被写体９２と背景とを含むＩＲ映像（動画）を取得する。なお、赤外動画取得部３２は、本開示における第２の取得部の一例である。
　被写体領域抽出部３３は、可視光動画取得部３１が取得したＲＧＢ映像の中から、被写体９２の領域を抽出する。
　撮影距離算出部３４は、赤外動画取得部３２が取得したＩＲ映像の撮影距離、即ち、ＩＲカメラ１３から被写体９２までの距離を算出する。なお、撮影距離算出部３４は、ＲＧＢカメラ１２から被写体９２までの距離を算出してもよい。撮影距離は、本開示における動画の取得環境の一例である。
　エフェクト強度算出部３５は、可視光動画取得部３１が取得したＲＧＢ映像の取得環境に係る情報に応じて、可視光動画取得部３１が取得したＲＧＢ映像の中の、被写体領域抽出部３３が抽出した被写体９２の領域に対して作用させる映像エフェクトの強度を算出する。
　エフェクト作用部３６は、被写体領域抽出部３３が抽出した被写体９２の領域に対して、エフェクト強度算出部３５が算出した強度に基づいて、被写体９２の領域に対して、映像エフェクトを作用させる。
　背景描画部３７は、可視光動画取得部３１が取得したＲＧＢ映像の中の、被写体９２の領域以外の領域に、背景情報９４を描画する。背景情報９４は、実写映像であってもよいし、ＣＧ（Computer　Graphics）映像であってもよい。また、映像ではなく画像であってもよい。また、複数の背景情報９４を、縦半分、横半分、斜め半分等の領域に分けて描画してもよい。
　映像合成部３８は、エフェクト作用部３６が映像エフェクトを作用させた被写体９２の領域と、背景描画部３７が描画した背景情報９４とを合成した合成映像９５を生成する。
　表示制御部３９は、映像合成部３８が生成した合成映像９５を、ＬＥＤパネル１５に表示させる。なお、表示制御部３９は、本開示における映像表示部の一例である。
［１－４．被写体領域抽出処理の説明］
　次に、図４から図６を用いて、被写体領域抽出部３３が行う被写体領域抽出処理の内容を説明する。図４は、ＲＧＢカメラとＩＲカメラとＩＲライトの設置状態の一例を示す外観図である。図５は、被写体領域抽出部が行う被写体領域抽出処理の流れを示す図である。図６は、合成映像を生成する過程で生成される画像の一例を示す図である。
　ＲＧＢカメラ１２とＩＲカメラ１３とは近接した位置に、略同じ方向を向いて設置される。即ち、ＲＧＢカメラ１２とＩＲカメラ１３とは略同じ範囲を撮影する。そして、ＩＲカメラ１３の近傍には、ＩＲライト１４が設置される。ＩＲライト１４は、例えば複数の赤外ＬＥＤで構成されて、ＩＲカメラ１３の撮影範囲を照明する。図４の例では、ＩＲライト１４は、ＲＧＢカメラ１２とＩＲカメラ１３とを設置するカメラ台１１に組み込まれている。なお、図４の構成のカメラを、被写体９２を取り囲むように複数設置して、所謂ボリュメトリック映像を取得する構成としてもよい。なお、被写体９２を取り囲むようにカメラを設置した場合には、対角方向のカメラは時間をずらして撮影を行うのが望ましい。これは、対角方向のカメラで同時に撮影を行うと、対角方向のＩＲライト１４の光がノイズになるためである。
　図５に示すように、ＲＧＢカメラ１２とＩＲカメラ１３とは、同期した状態で撮影を行う。ＲＧＢカメラ１２が撮影したＲＧＢ映像（動画）は、可視光動画取得部３１によって取得される（図６の画像Ｉａ）。また、ＩＲカメラ１３が撮影したＩＲ映像（動画）は、赤外動画取得部３２によって取得される（図６の画像Ｉｂ）。なお、以下に説明する処理は、取得した画像単位で行われるため、動画の代わりに画像と記載して説明する。
　被写体領域抽出部３３は、図５に示した手順に沿って、可視光動画取得部３１が取得したＲＧＢ画像の中から、被写体９２の領域を抽出する。より具体的には、被写体領域抽出部３３は、赤外動画取得部３２が取得したＩＲ画像の中から、被写体９２の領域を抽出して、可視光動画取得部３１が取得したＲＧＢ画像における、被写体９２の領域に対応する領域を抽出する。
　被写体領域抽出部３３は、まず、赤外動画取得部３２が取得したＩＲ画像と、被写体９２が存在しない状態で、ＩＲライト１４を点灯させた状態でＩＲカメラ１３が撮影した背景画像との差分（背景差分３３ａ）を演算する。被写体９２の領域は、背景画像と比較して赤外線の反射率が高いため、赤外動画取得部３２が取得したＩＲ画像の中で明るく観測される。したがって、背景差分３３ａによって、ＩＲ画像において、被写体９２の領域が明るく強調された画像が得られる。
　次に、被写体領域抽出部３３は、背景差分３３ａを行ったＩＲ画像に対して、閾値処理３３ｂを行う。閾値処理３３ｂは、予め設定した閾値よりも明るい画素値を持つ画素のみを抽出する処理である。閾値処理３３ｂによって、被写体９２の領域に対応する領域（マスク）が抽出される。
　閾値処理３３ｂによって抽出された領域は、一般にノイズを含むため、被写体領域抽出部３３は、ノイズ除去３３ｃを行う。ノイズ除去３３ｃは、例えば、所定の閾値以下の面積の孤立領域を除去する等によって行われる。
　更に、被写体領域抽出部３３は、モフォロジー処理３３ｄを行う。モフォロジー処理３３ｄは、二値画像に対して行われる処理であって、例えば、領域の中に発生した、例えば穴を埋める処理である。モフォロジー処理３３ｄによって、図６に示す画像Ｉｃが得られる。
　次に、被写体領域抽出部３３は、ワーピング処理３３ｅを行う。ワーピング処理３３ｅは、画像内で指定した特徴点の位置を移動させて、別の画像に変形する（ホモグラフィー変換）処理である。具体的には、事前に取得したキャリブレーション情報を用いて、ＩＲカメラ１３で撮影したＩＲ画像から抽出した被写体９２の領域の位置と形状が、ＲＧＢカメラ１２で撮影したＲＧＢ画像の中でどのように写るかを予測する。ワーピング処理３３ｅによって、図６に示す画像Ｉｄが得られる。
　一方、被写体領域抽出部３３は、ＲＧＢカメラ１２が撮影したＲＧＢ画像に対して、デモザイク処理３３ｆを行う。デモザイク処理３３ｆは、例えば、画像の明るさを補正する処理である。
　次に、背景描画部３７は、ワーピング処理３３ｅによって決定した被写体９２の領域（マスク）以外の領域に、背景情報９４を描画する（図６の画像Ｉｅ）。
　そして、映像合成部３８は、背景描画部３７が描画した背景情報９４と、被写体領域抽出部３３がデモザイク処理を行ったＲＧＢカメラ１２の画像とを合成する。これによって、背景情報９４のうち、被写体９２の領域に対応する位置に、ＲＧＢカメラ１２が撮影した可視光画像、即ち被写体９２の画像が合成された合成映像９５が生成される（図６の画像Ｉｆ）。
　そして、表示制御部３９は、合成映像９５をＬＥＤパネル１５に表示させる。
［１－５．映像エフェクトの説明］
　次に、図７を用いて、エフェクト作用部３６が作用させる映像エフェクトについて説明する。図７は、エフェクト作用部が作用させるエフェクトの一例を示す図である。
　被写体強調装置２０ａは、抽出した被写体９２の領域に対して、様々な映像エフェクトを作用させる。これによって、映像エフェクトが作用した被写体９３の映像が生成される。映像エフェクトの種類は問わないが、その一例を図７に示す。
　映像エフェクトＥ１は、被写体９２の外周部のエッジをぼかすものである。映像エフェクトＥ１によって、被写体９２の領域の抽出誤差を目立たなくする効果が得られる。
　映像エフェクトＥ２は、被写体９２のシルエットを出力するものである。映像エフェクトＥ２によって、被写体９２の形状を際立たせる効果が得られる。
　映像エフェクトＥ３は、被写体９２の外周部のエッジの色または明るさを変更するものである。映像エフェクトＥ３によって、被写体９２を際立たせる効果が得られる。
　映像エフェクトＥ４は、被写体９２の外周部に、移動する粒子（パーティクル）を表示するものである。映像エフェクトＥ４によって、被写体９２の輪郭を際立たせる効果が得られる。
　映像エフェクトＥ５は、前のフレームで抽出された被写体９２の輪郭を伝搬させて、被写体９２の移動軌跡を表現するものである。映像エフェクトＥ５によって、被写体９２の動きを強調する効果が得られる。
　なお、映像エフェクトの種類は、図７に示すものに限定されない。例えば、被写体９２の領域全体をぼかしたり、被写体９２の領域の色を変更する等のエフェクトを作用させてもよい。
［１－６．エフェクト強度の算出］
　次に、図８を用いて、エフェクト強度算出部３５が行う映像エフェクトの強度の算出について説明する。図８は、ＲＧＢカメラで観測される被写体の位置とＩＲカメラで観測される被写体の位置とのずれの大きさが、撮影距離に応じて変化する様子を説明する図である。
　ＲＧＢカメラ１２とＩＲカメラ１３とは離れた位置に置いてあるため、それぞれのカメラで撮影した被写体９２の位置には視差εが発生する。そのため、被写体強調装置２０ａは、予めキャリブレーションを行うことによって、ＲＧＢカメラ１２とＩＲカメラ１３との位置関係を取得する。
　一般に、キャリブレーションは、被写体９２をステージ９０の所定の場所に配置した状態で、ＲＧＢカメラ１２とＩＲカメラ１３とで同時に被写体９２の画像を取得して、２台のカメラでそれぞれ取得した被写体９２の位置のずれ（視差ε）を分析することによって行う。キャリブレーションによって、カメラの内部パラメータと外部パラメータとが推定される。より具体的には、キャリブレーションは、被写体９２に格子模様のキャリブレーションボード（校正板）を持たせて、ＲＧＢカメラ１２で観測したキャリブレーションボードの各格子の位置と、ＩＲカメラ１３で観測したキャリブレーションボードの各格子の位置とを対応付けることによって行う。
　図８において、被写体９２が位置Ｐ０（カメラと被写体９２との距離Ｄ＝Ｄ０）にいる状態でキャリブレーションを行ったとする。そして、このときの視差εがε＝ε０であったとする。
　被写体９２がキャリブレーションを行った位置から移動すると、キャリブレーションを行った状態とは視差εが異なるため、ＲＧＢカメラ１２から取得したＲＧＢ画像とＩＲカメラ１３から取得したＩＲ画像との正確な位置合わせができなくなる。
　例えば、被写体９２が、キャリブレーションを行った位置からカメラに近づいて、位置Ｐ１まで移動したとする（カメラと被写体９２との距離Ｄ＝Ｄ１）。このとき、ＲＧＢカメラ１２とＩＲカメラ１３とで撮影した被写体９２の視差ε＝ε１は、キャリブレーションを行った位置Ｐ０における視差ε＝ε０と比べて大きくなる。即ち、ε１＞ε０となる。そのため、キャリブレーションで得た情報を用いても、被写体９２の領域を正確に抽出することができなくなる。
　一方、被写体９２が、キャリブレーションを行った位置からカメラに対して遠ざかる方向に動いて、位置Ｐ２まで移動したとする（カメラと被写体９２との距離Ｄ＝Ｄ２）。このとき、ＲＧＢカメラ１２とＩＲカメラ１３とで撮影した被写体９２の視差ε＝ε２は、キャリブレーションを行った位置Ｐ０における視差ε＝ε０と比べて小さくなる。即ち、ε２＜ε０となる。そのため、キャリブレーションで得た情報を用いても、被写体９２の領域を正確に抽出することができなくなる。
　エフェクト強度算出部３５は、カメラと被写体９２との距離（撮影距離）に応じて、映像エフェクトの強度を設定する。具体的には、撮影距離が所定距離よりも近い場合、即ち、被写体９２が、キャリブレーションを行った位置よりも近くにいる場合（キャリブレーションを行った位置よりも視差εが大きい位置にいる場合）には、被写体９２がキャリブレーションを行った位置にいる場合に作用させる映像エフェクトの強度に対して、より高い強度の映像エフェクトを作用させる。これによって、被写体９２の領域を抽出した際に発生する位置ずれを目立たなくする。なお、映像エフェクトの強度を上げるとは、例えば、被写体９２の周囲のエッジを大きくぼかす等の、より強い映像エフェクトを作用させることである。
　一方、撮影距離が所定距離よりも遠い場合、即ち、被写体９２が、キャリブレーションを行った位置よりも遠くにいる場合（キャリブレーションを行った位置よりも視差εが小さい位置にいる場合）には、被写体９２がキャリブレーションを行った位置にいる場合に作用させる映像エフェクトの強度と同じか、または弱い映像エフェクトを作用させればよい。
　ここで、カメラと被写体９２との距離（撮影距離）は、例えば、撮影距離算出部３４が、ＩＲカメラ１３が撮影した赤外画像の中から抽出した被写体９２の領域のサイズ（高さ）に基づいて算出する。なお、ＲＧＢカメラ１２またはＩＲカメラ１３の近傍に、例えばＴＯＦ（Time　Of　Flight）センサ等の測距手段を設置して、当該測距手段によって、被写体９２の領域までの距離を測定してもよい。
［１－７．被写体強調装置が行う処理の流れ］
　図９を用いて、被写体強調装置２０ａが行う処理の流れを説明する。図９は、第１の実施形態の被写体強調装置が行う処理の流れの一例を示すフローチャートである。なお、図９のフローチャートは、ＲＧＢカメラ１２とＩＲカメラ１３との位置関係を取得するキャリブレーションを実行した後の処理の流れを示す。
　可視光動画取得部３１と赤外動画取得部３２は、ＩＲライト１４が点灯した状態で、同時にＲＧＢ画像とＩＲ画像とを取得する（ステップＳ１１）。
　被写体領域抽出部３３は、赤外動画取得部３２が取得したＩＲ画像の中から、被写体９２の領域を抽出する（ステップＳ１２）。
　撮影距離算出部３４は、ＩＲカメラ１３から被写体９２までの撮影距離を算出する（ステップＳ１３）。
　エフェクト強度算出部３５は、ステップＳ１３で算出された撮影距離に基づいて映像エフェクトの強度を算出する（ステップＳ１４）。
　エフェクト作用部３６は、被写体９２の領域に対して、映像エフェクトを作用させて、映像エフェクトが作用した被写体９３の領域を生成する（ステップＳ１５）。
　背景描画部３７は、背景情報９４を生成して描画する（ステップＳ１６）。
　映像合成部３８は、背景情報９４と、映像エフェクトが作用した被写体９３の領域とが合成された合成映像９５を生成する（ステップＳ１７）。
　表示制御部３９は、合成映像９５をＬＥＤパネル１５に表示させる（ステップＳ１８）。
　可視光動画取得部３１は、全ての画像を処理したかを判定する（ステップＳ１９）。全ての画像を処理したと判定される（ステップＳ１９：Ｙｅｓ）と、被写体強調装置２０ａは、図９の処理を終了する。一方、全ての画像を処理したと判定されない（ステップＳ１９：Ｎｏ）と、ステップＳ１１に戻る。
［１－８．第１の実施形態の効果］
　以上説明したように、第１の実施形態の被写体強調装置２０ａ（情報処理装置）は、可視光動画取得部３１（第１の取得部）が、被写体９２と背景とを含むＲＧＢ映像（動画）を取得して、被写体領域抽出部３３が、可視光動画取得部３１が取得した動画の中から、被写体９２の領域を抽出する。そして、背景描画部３７が、可視光動画取得部３１が取得した動画の中の、被写体９２の領域以外の領域に、背景情報９４を描画する。エフェクト作用部３６は、エフェクト強度算出部３５が、カメラから被写体９２までの距離（動画の取得環境に係る情報）に応じて決定した、被写体９２の領域に対して作用させる映像エフェクトの強度に基づいて、被写体９２の領域に対して、映像エフェクトを作用させる。映像合成部３８は、エフェクト作用部３６が映像エフェクトを作用させた被写体９２の領域と、背景描画部３７が描画した背景情報９４とを合成して合成映像９５を生成する。
　これにより、任意の背景下で被写体９２の領域を抽出して、リアルタイムで映像エフェクトをかけることができる。また、被写体９２と背景情報９４との境界を自然に表現することができる。
　また、第１の実施形態の被写体強調装置２０ａ（情報処理装置）によると、エフェクト作用部３６は、撮影距離算出部３４が算出した被写体９２の撮影距離に応じて、エフェクト強度算出部３５が決定したエフェクトの強度に基づいて、被写体９２の領域に対してエフェクトを作用させる。
　これにより、被写体９２の領域の抽出に誤差が生じる可能性がある場合に、当該誤差が目立たない映像エフェクトを作用させることができる。
　また、第１の実施形態の被写体強調装置２０ａ（情報処理装置）によると、エフェクト作用部３６は、撮影距離算出部３４が算出した撮影距離が、キャリブレーションを行った際の撮影距離（所定距離）よりも近い場合に、映像エフェクトの強度を高くして、被写体９２の領域に対して映像エフェクトを作用させる。
　これにより、被写体９２の領域の抽出に誤差が生じる可能性がある場合に、当該誤差がより一層目立たない映像エフェクトを作用させることができる。
　また、第１の実施形態の被写体強調装置２０ａ（情報処理装置）によると、赤外動画取得部３２（第２の取得部）は、可視光動画取得部３１（第１の取得部）と同期して、ＲＧＢカメラ１２から所定の相対位置において撮影された、被写体９２に照射した赤外光（不可視光）の反射光の強度分布（ＩＲ画像）を取得する。そして、被写体領域抽出部３３が、赤外動画取得部３２が取得したＩＲ画像の中から抽出した被写体９２の領域を、可視光動画取得部３１が取得すると予想される形状と位置に変形して、可視光動画取得部３１が実際に取得したＲＧＢ画像に当て嵌めることによって、被写体９２の領域を抽出する。
　これにより、周囲の光環境が激しく変動する状態であっても、簡便な処理で、被写体９２の領域を正確に抽出することができる。
　また、第１の実施形態の被写体強調装置２０ａ（情報処理装置）によると、不可視光は赤外光である。
　これにより、周囲の光環境の影響を受けずに、簡便な処理で被写体９２の領域を正確に抽出することができる。
　また、第１の実施形態の被写体強調装置２０ａ（情報処理装置）によると、表示制御部３９（映像表示部）は、映像合成部３８が合成した合成映像９５を表示させる。
　これにより、映像エフェクトが作用した被写体９３の領域と、任意の背景情報９４とを合成することができる。
　また、第１の実施形態の被写体強調装置２０ａ（情報処理装置）によると、表示制御部３９（映像表示部）は、合成映像９５を被写体９２の背後に表示させる。
　これにより、視聴者は、被写体９２と、合成映像９５とを同時に視聴することができる。
　また、第１の実施形態の被写体強調装置２０ａ（情報処理装置）によると、エフェクト作用部３６は、被写体９２の領域の外周部に対して映像エフェクトを作用させる。
　これにより、被写体９２を効果的に強調することができる。
［１－９．第１の実施形態の変形例］
　次に、第１の実施形態の変形例である被写体強調システム１０ｂ（非図示）について説明する。被写体強調システム１０ｂは、第１の実施形態で説明した被写体強調システム１０ａにおいて、被写体強調装置２０ａの代わりに被写体強調装置２０ｂを備える。
　図１０は、第１の実施形態の変形例の被写体強調装置の機能構成の一例を示す機能ブロック図である。
　被写体強調装置２０ｂは、被写体強調装置２０ａが備える撮影距離算出部３４の代わりに、視差予測部４０を備える。視差予測部４０は、被写体９２の移動範囲に基づいて、当該被写体９２の実際の位置と被写体９２の抽出結果とのずれの最大値を予測する。
　第１の実施形態において、被写体強調装置２０ａは、キャリブレーションによって予め取得した、ＲＧＢカメラ１２とＩＲカメラ１３との位置関係に基づいて、被写体９２の領域を抽出した。キャリブレーションは、被写体９２がステージ９０の所定の位置で静止した状態で、同時に撮影したＲＧＢ画像とＩＲ画像のペアを用いて行う。そのため、第１の実施形態で説明したように、ステージ９０で被写体９２が移動してしまうと、被写体９２の領域が正確に抽出できなかった。
　しかしながら、被写体９２の移動範囲はステージ９０の範囲に限定されるため、ステージ９０の寸法が予め分かっていれば、ＲＧＢカメラ１２で観測される被写体９２と、ＩＲカメラ１３で観測される被写体９２の視差εの範囲を見積もることができる。
　第１の実施形態の変形例である被写体強調装置２０ｂにおいて、エフェクト強度算出部３５は、視差予測部４０が予測した被写体９２の視差εの最大値に基づいて、映像エフェクトの強度を算出する。
　より具体的には、エフェクト強度算出部３５は、被写体９２の位置によらずに、被写体９２がステージ９０上で動き回った際に発生すると予測される視差εの最大値に応じた強度の映像エフェクトを作用させる。
　即ち、被写体９２が、視差εが最も大きくなる位置にいる場合に、被写体強調装置２０ｂが抽出した被写体９２の領域の位置ずれが目立たないような映像エフェクトを作用させることによって、被写体９２がステージ９０のどこにいても、被写体９２の領域の位置ずれを目立たなくすることができる。
　被写体強調装置２０ｂが行う処理の流れの説明は省略するが、図９のフローチャートにおいて、ステップＳ１３の代わりに、視差予測部４０が、キャリブレーションによって取得した情報と、ステージ９０の寸法とに基づいて、視差εの最大値を算出する処理を行う。そして、ステップＳ１４において、エフェクト強度算出部３５は、視差εの最大値に基づいて、映像エフェクトの強度を算出する。その他の処理の流れは、図９と同じである。また、これらの処理は、画像毎に行う必要はなく、最初に１回だけ行えばよい。
［１－１０．第１の実施形態の変形例の効果］
　以上説明したように、第１の実施形態の変形例の被写体強調装置２０ｂ（情報処理装置）によると、エフェクト作用部３６は、視差予測部４０が、被写体９２の移動範囲に基づいて予測した、当該被写体９２の実際の位置と被写体９２の抽出結果との視差ε（ずれ）の最大値に応じた映像エフェクトを、被写体９２の領域に対して作用させる。
　これにより、被写体９２がステージ９０上で移動した場合であっても、被写体９２の領域の位置ずれを目立たなくすることができる。また、映像エフェクトの強度は、最初の画像を処理する際に１度だけ行えばよいため、処理の高速化を図ることができる。
（２．第２の実施形態）
　第１の実施形態で説明した被写体強調システム１０ａは、２台のカメラ（ＲＧＢカメラ１２とＩＲカメラ１３）を備えているため、カメラの設置位置にずれが生じ、キャリブレーションを行う必要があった。第２の実施形態の被写体強調システム１０ｃ（非図示）は、ＲＧＢカメラ１２とＩＲカメラ１３とを１台のカメラに纏めた、ＲＧＢ－ＩＲカメラ１６（図１１参照）を備えたものである。
　第２の実施形態の被写体強調システム１０ｃ（非図示）は、動画の取得環境の別の例として、ＩＲ画像の処理時間とＲＧＢ画像の処理時間との差、即ち処理の遅延時間に基づいて、映像エフェクトの強度を設定するものである。
［２－１．被写体強調装置の機能構成］
　第２の実施形態の被写体強調システム１０ｃは、ＲＧＢ－ＩＲカメラ１６と、ＩＲライト１４と、被写体強調装置２０ｃと、ＬＥＤパネル１５とを備える。即ち、図１において、ＲＧＢカメラ１２とＩＲカメラ１３とをＲＧＢ－ＩＲカメラ１６に纏めて、被写体強調装置２０ａを被写体強調装置２０ｃに置き換えた構成を備える。
　まず、図１１を用いて、ＲＧＢ－ＩＲカメラ１６の構造を説明する。図１１は、ＲＧＢ－ＩＲカメラの概略構造を説明する図である。
　図１１には、ＲＧＢ－ＩＲカメラ１６の２通りの構造を示す。ＲＧＢ－ＩＲカメラ１６ａは、可視光と赤外光を同時に検出できる撮像素子１７を備えたカメラである。撮像素子１７は、ベイヤー配列の撮像素子の一部に、赤外光に感度を有する素子を組み込んだ構造を有する。即ち、撮像素子１７は、ＲＧＢ画像を生成するための画素Ｒ、画素Ｇ、画素Ｂとともに、赤外光に感度を有する画素ＩＲを備えている。従って、ＲＧＢ－ＩＲカメラ１６ａは、一台のカメラで、ＲＧＢ画像とＩＲ画像とを取得することができる。そして、取得されたＲＧＢ画像とＩＲ画像には視差がないため、第１の実施形態で説明したカメラの相対位置関係を利用しないで、ＲＧＢ画像とＩＲ画像との位置合わせを行うことができる。
　ＲＧＢ－ＩＲカメラ１６ｂは、ビームスプリッタ１８によって入射光の光路を２つに分割して、それぞれの光路の先に、可視光撮像素子１９ａと赤外撮像素子１９ｂを配置したものである。ビームスプリッタ１８は、２つの直角プリズムを貼り合わせた構造を有する。
　次に、図１２を用いて、被写体強調装置２０ｃの機能構成を説明する。図１２は、第２の実施形態の被写体強調装置の機能構成の一例を示す機能ブロック図である。即ち、被写体強調装置２０ｃは、被写体強調装置２０ａに対して、可視光動画取得部３１と赤外動画取得部３２との代わりに動画取得部４１を備える。また、被写体領域抽出部３３の代わりに、被写体領域抽出部４２を備える。更に、撮影距離算出部３４の代わりに、処理時間計測部４３を備える。
　動画取得部４１は、ＲＧＢ－ＩＲカメラ１６が撮影したビデオ信号を取得することによって、被写体９２と背景とを含むＲＧＢ映像（動画）を取得する。また、動画取得部４１は、ＩＲライト１４が点灯しているタイミングで、ＲＧＢ－ＩＲカメラ１６が撮影したビデオ信号を取得することによって、被写体９２と背景とを含むＩＲ映像（動画）を取得する。なお、動画取得部４１は、本開示における第１の取得部および第２の取得部の一例である。
　被写体領域抽出部４２は、動画取得部４１が取得したＲＧＢ映像の中から、被写体９２の領域を抽出する。
　処理時間計測部４３は、動画取得部４１（第１の取得部）が動画を取得してからの経過時間を測定する。
［２－２．被写体領域抽出処理の説明］
　次に、図１３を用いて、被写体領域抽出部４２が行う被写体領域抽出処理の内容を説明する。図１３は、第２の実施形態の被写体領域抽出部が行う被写体領域抽出処理の流れを示す図である。
　ＲＧＢ－ＩＲカメラ１６が撮影したＲＧＢ画像とＩＲ画像は、動画取得部４１によって取得される。
　被写体領域抽出部４２は、図１３に示した手順に沿って、動画取得部４１が取得したＲＧＢ画像の中から、被写体９２の領域を抽出する。より具体的には、被写体領域抽出部４２は、動画取得部４１が取得したＩＲ画像の中から、被写体９２の領域を抽出して、動画取得部４１が取得したＲＧＢ画像における、被写体９２の領域に対応する領域を抽出する。
　被写体領域抽出部４２は、まず、動画取得部４１が取得したＩＲ画像と、被写体９２が存在しない状態で、ＩＲライト１４を点灯させた状態でＲＧＢ－ＩＲカメラ１６が撮影した背景画像との差分（背景差分４２ａ）を演算する。被写体９２の領域は、背景画像と比較して赤外線の反射率が高いため、動画取得部４１が取得したＩＲ画像の中で明るく観測される。したがって、背景差分４２ａによって、ＩＲ画像において、被写体９２の領域が明るく強調された画像が得られる。
　次に、被写体領域抽出部４２は、背景差分４２ａを行ったＩＲ画像に対して、閾値処理４２ｂを行う。閾値処理４２ｂは、予め設定した閾値よりも明るい画素値を持つ画素のみを抽出する処理である。閾値処理４２ｂによって、被写体９２の領域に対応する領域（マスク）が抽出される。
　閾値処理４２ｂによって抽出された領域は、一般にノイズを含むため、被写体領域抽出部４２は、ノイズ除去４２ｃを行う。ノイズ除去４２ｃは、例えば、所定の閾値以下の面積の孤立領域を除去する等によって行われる。
　更に、被写体領域抽出部４２は、モフォロジー処理４２ｄを行う。モフォロジー処理４２ｄは、二値画像に対して行われる処理であって、例えば、領域の中に発生した、例えば穴を埋める処理である。この後、第１の実施形態ではワーピング処理３３ｅを行ったが、本実施形態の場合、ＲＧＢ画像とＩＲ画像の間に視差が発生しないため、ワーピング処理は不要である。
　一方、被写体領域抽出部４２は、ＲＧＢ－ＩＲカメラ１６が撮影したＲＧＢ画像に対して、デモザイク処理４２ｅを行う。デモザイク処理４２ｅは、例えば、画像の明るさを補正する処理である。
　次に、背景描画部３７は、モフォロジー処理４２ｄによって決定した被写体９２の領域（マスク）以外の領域に、背景情報９４を描画する。
　そして、映像合成部３８は、背景描画部３７が描画した背景情報９４と、被写体領域抽出部４２がデモザイク処理を行ったＲＧＢ画像とを合成する。これによって、背景情報９４のうち、被写体９２の領域に対応する位置に、ＲＧＢ－ＩＲカメラ１６が撮影した可視光画像、即ち被写体９２の画像が合成された合成映像９５が生成される。
［２－３．エフェクト強度の算出］
　次に、被写体強調装置２０ｃが行う映像エフェクトの強度の算出について説明する。被写体領域抽出部４２が被写体９２の領域を抽出する際に、ＩＲ画像に対して行う処理は、ＲＧＢ画像に対して行う処理と比べて処理量が多い。したがって、ＲＧＢ画像に対する処理は、ＩＲ画像に対する処理に比べて、早く終了する。ＲＧＢ画像の処理に要する時間に対するＩＲ画像の処理に要する時間の遅延時間が、予め設定された所定時間以内であれば、リアルタイム（例えばビデオレート）で処理を継続することができる。しかし、ＩＲ画像の処理に要する時間が長くなると、リアルタイム処理を継続することができなくなって、ＩＲ画像から抽出した被写体９２の領域と、ＲＧＢ画像における実際の被写体９２の領域との差が発生する。
　本実施形態の被写体強調装置２０ｃは、ＲＧＢ画像の処理に要する時間に対するＩＲ画像の処理に要する時間の遅延時間が所定時間を超えた場合に、映像エフェクトの強度を強く設定することによって、被写体９２の領域の位置ずれを目立たなくする。より具体的には、エフェクト強度算出部３５は、処理時間計測部４３が測定した経過時間が所定時間経過した際に、被写体領域抽出部４２が被写体９２の領域の抽出を完了しているか否かに応じて、映像エフェクトの強度を算出する。
　即ち、処理時間計測部４３が、動画取得部４１がＲＧＢ画像とＩＲ画像とを取得してからの経過時間を計測して、経過時間が所定時間を超えた場合には、高い強度の映像エフェクトを作用させる。なお、所定時間は、被写体領域抽出部４２が被写体９２の領域を抽出する処理をリアルタイム（ビデオレート）で実行できる時間に設定される。
［２－４．被写体強調装置が行う処理の流れ］
　図１４を用いて、被写体強調装置２０ｃが行う処理の流れを説明する。図１４は、第２の実施形態の被写体強調装置が行う処理の流れの一例を示すフローチャートである。
　動画取得部４１は、ＲＧＢ画像とＩＲ画像を取得する（ステップＳ２１）。
　被写体領域抽出部４２は、被写体９２の領域の抽出を開始する（ステップＳ２２）。
　処理時間計測部４３は、画像の取得から所定時間が経過したかを判定する（ステップＳ２３）。画像の取得から所定時間が経過したと判定される（ステップＳ２３：Ｙｅｓ）とステップＳ２４に進む。一方、画像の取得から所定時間が経過したと判定されない（ステップＳ２３：Ｎｏ）とステップＳ２７に進む。
　ステップＳ２３においてＹｅｓと判定されると、被写体領域抽出部４２は、被写体９２の領域の抽出を完了したかを判定する（ステップＳ２４）。被写体９２の領域の抽出を完了したと判定される（ステップＳ２４：Ｙｅｓ）とステップＳ２８に進む。一方、被写体９２の領域の抽出を完了したと判定されない（ステップＳ２４：Ｎｏ）とステップＳ２５に進む。
　一方、ステップＳ２３においてＮｏと判定されると、被写体領域抽出部４２は、被写体９２の領域の抽出を完了したかを判定する（ステップＳ２７）。被写体９２の領域の抽出を完了したと判定される（ステップＳ２７：Ｙｅｓ）とステップＳ２８に進む。一方、被写体９２の領域の抽出を完了したと判定されない（ステップＳ２７：Ｎｏ）とステップＳ２３に戻る。
　ステップＳ２４に戻り、ステップＳ２４においてＮｏと判定されると、被写体領域抽出部４２は、被写体９２の領域の抽出を完了したかを判定する（ステップＳ２５）。被写体９２の領域の抽出を完了したと判定される（ステップＳ２５：Ｙｅｓ）とステップＳ２６に進む。一方、被写体９２の領域の抽出を完了したと判定されない（ステップＳ２５：Ｎｏ）とステップＳ２５を繰り返す。
　ステップＳ２４またはステップＳ２７においてＹｅｓと判定されると、エフェクト強度算出部３５は、映像エフェクトの強度を弱い状態に設定する（ステップＳ２８）。その後、ステップＳ２９に進む。
　また、ステップＳ２５においてＹｅｓと判定されると、エフェクト強度算出部３５は、映像エフェクトの強度を強い状態に設定する（ステップＳ２６）。その後、ステップＳ２９に進む。
　ステップＳ２６またはステップＳ２８に続いて、エフェクト作用部３６は、被写体９２の領域に対して、予め設定された映像エフェクトを作用させる（ステップＳ２９）。
　次に、背景描画部３７は、背景情報９４を生成して描画する（ステップＳ３０）。
　映像合成部３８は、背景情報９４と、映像エフェクトが作用した被写体９３の領域とが合成された合成映像９５を生成する（ステップＳ３１）。
　表示制御部３９は、合成映像９５をＬＥＤパネル１５に表示させる（ステップＳ３２）。
　動画取得部４１は、全ての画像を処理したかを判定する（ステップＳ３３）。全ての画像を処理したと判定される（ステップＳ３３：Ｙｅｓ）と、被写体強調装置２０ｃは、図１４の処理を終了する。一方、全ての画像を処理したと判定されない（ステップＳ３３：Ｎｏ）と、ステップＳ２１に戻る。
［２－５．第２の実施形態の効果］
　以上説明したように、第２の実施形態の被写体強調装置２０ｃ（情報処理装置）によると、エフェクト作用部３６は、処理時間計測部４３が測定した、動画取得部４１（第１の取得部）が動画を取得してからの経過時間が所定時間経過した際に、被写体領域抽出部４２が被写体９２の領域の抽出を完了しているか否かに応じて決定された映像エフェクトの強度に基づいて、被写体９２の領域に対して映像エフェクトを作用させる。
　これにより、被写体９２の領域の抽出処理に時間を要した場合であっても、合成映像９５における被写体９２の領域の位置ずれを目立たなくすることができる。
　また、第２の実施形態の被写体強調装置２０ｃ（情報処理装置）によると、エフェクト作用部３６は、処理時間計測部４３が測定した経過時間が所定時間経過した際に、被写体領域抽出部４２が被写体９２の領域の抽出を完了していない場合に、映像エフェクトの強度を高めて、被写体９２の領域に対して映像エフェクトを作用させる。
　これにより、被写体９２の領域の抽出処理に時間を要した場合に、強い映像エフェクトを作用させることによって、合成映像９５における被写体９２の領域の位置ずれを目立たなくすることができる。
［２－６．第２の実施形態の変形例］
　次に、第２の実施形態の変形例である被写体強調システム１０ｄ（非図示）について説明する。被写体強調システム１０ｄは、第２の実施形態で説明した被写体強調装置２０ｃの代わりに、被写体強調装置２０ｄを備える。
　被写体強調システム１０ｄは、ステージ９０にスポットライトを照射したり、ステージ９０上で花火を打ち上げたりすることよって、光環境を急激に変化させることをトリガとして、映像エフェクトのＯＮ／ＯＦＦを制御するものである。
　従来は、予め決められたタイムテーブルに基づいて映像エフェクトのＯＮ／ＯＦＦを制御していたため、事前の設定が面倒であった。それに対して、被写体強調システム１０ｄは、事前に映像エフェクトのＯＮ／ＯＦＦ時間を設定することなしに、映像エフェクトのＯＮ／ＯＦＦを行うことができるものである。
　具体的には、被写体強調装置２０ｄは、動画取得部４１が取得したＩＲ画像において、所定の明るさを超える画素の数が所定値を超えた場合に、急激な光環境の変化が起こった（多くの赤外光が照射された）と判断して、映像エフェクトの作用をＯＮまたはＯＦＦする。
　次に、図１５を用いて、被写体強調装置２０ｄの機能構成を説明する。図１５は、第２の実施形態の変形例の被写体強調装置の機能構成の一例を示す機能ブロック図である。
　被写体強調装置２０ｄは、被写体強調装置２０ｃの各機能構成要素に加えて、トリガ情報検出部４４とエフェクトＯＮ／ＯＦＦ制御部４５とを備える。トリガ情報検出部４４は、動画取得部４１（第２の取得部）が取得したＩＲ画像における所定値以上の明るさを有する画素数を計数する。
　エフェクトＯＮ／ＯＦＦ制御部４５は、トリガ情報検出部４４が計数した画素数に応じて、映像エフェクトを作用させるか否か、即ち、動画取得部４１が取得したＲＧＢ画像をそのまま出力するか、映像合成部３８が合成した合成映像９５を出力するかを切り替える。なお、エフェクトＯＮ／ＯＦＦ制御部４５は、本開示における切替部の一例である。
　次に、図１６を用いて、被写体強調装置２０ｄが行う処理の流れを説明する。図１６は、第２の実施形態の変形例の被写体強調装置が行う処理の流れの一例を示すフローチャートである。
　動画取得部４１は、ＲＧＢ画像とＩＲ画像を取得する（ステップＳ４１）。
　被写体領域抽出部４２は、被写体９２の領域を抽出する（ステップＳ４２）。
　トリガ情報検出部４４は、取得したＩＲ画像の中の所定の明るさ以上の画素数が所定値以上であるかを判定する（ステップＳ４３）。ＩＲ画像の中の所定の明るさ以上の画素数が所定値以上であると判定される（ステップＳ４３：Ｙｅｓ）とステップＳ４４に進む。一方、ＩＲ画像の中の所定の明るさ以上の画素数が所定値以上であると判定されない（ステップＳ４３：Ｎｏ）とステップＳ４５に進む。
　ステップＳ４３においてＹｅｓと判定されると、エフェクトＯＮ／ＯＦＦ制御部４５は、映像エフェクトの作用を停止させる（ステップＳ４４）。その後、ステップＳ４７に進む。
　一方、ステップＳ４３においてＮｏと判定されると、エフェクト強度算出部３５は、被写体９２の領域の抽出処理の遅延時間に応じた映像エフェクトの強度を設定する（ステップＳ４５）。
　そして、エフェクト作用部３６は、映像エフェクトを作用させる（ステップＳ４６）。
　次に、背景描画部３７は、背景情報９４を生成して描画する（ステップＳ４７）。
　映像合成部３８は、背景情報９４と、映像エフェクトが作用した被写体９３の領域とが合成された合成映像９５を生成する（ステップＳ４８）。
　表示制御部３９は、合成映像９５をＬＥＤパネル１５に表示させる（ステップＳ４９）。
　動画取得部４１は、全ての画像を処理したかを判定する（ステップＳ５０）。全ての画像を処理したと判定される（ステップＳ５０：Ｙｅｓ）と、被写体強調装置２０ｄは、図１６の処理を終了する。一方、全ての画像を処理したと判定されない（ステップＳ５０：Ｎｏ）と、ステップＳ４１に戻る。
　なお、ここでは、スポットライトの照射や花火の打ち上げをトリガとして映像エフェクトをＯＦＦにする例を説明したが、逆に、これらをトリガとして映像エフェクトをＯＮにしてもよい。また、パターン光を投影可能なプロジェクタによってスポットライトを照射して、パターンが照射された領域のみで映像エフェクトのＯＮ／ＯＦＦを切り替えることも可能である。
　なお、スポットライトの照射タイミングは、ライブ会場の盛り上がり状態に応じて決定することも可能である。即ち、例えばライブ会場に設置した騒音計で音圧を計測して、所定の音圧に達したことをトリガとしてスポットライトを照射してもよい。これによって、ライブ会場の盛り上がりにリンクして映像エフェクトのＯＮ／ＯＦＦを制御することができるため、演出効果をより一層高めることができる。
　更に、被写体９２が所定の動きを行ったことをトリガとしてスポットライトを照射してもよい。被写体９２が所定の動きを行ったことは、例えば後述する方法（第３の実施形態）によって検出することが可能である。
［２－７．第２の実施形態の変形例の効果］
　以上説明したように、第２の実施形態の変形例の被写体強調装置２０ｄ（情報処理装置）によると、エフェクトＯＮ／ＯＦＦ制御部４５（切替部）は、トリガ情報検出部４４が計数した、動画取得部４１（第２の取得部）が取得したＩＲ画像における所定値以上の明るさを有する画素数に応じて、映像エフェクトを作用させるか否かを切り替える。
　これにより、事前にエフェクトのＯＮ／ＯＦＦ制御を行う時間を設定することなく、映像エフェクトのＯＮ／ＯＦＦ制御を簡便かつ確実に行うことができる。
（３．第３の実施形態）
　第３の実施形態の被写体強調システム１０ｅ（非図示）は、抽出された被写体９２の動きを検出して、検出された動きに応じて、背景情報９４を合成する領域を設定するものである。
　被写体強調システム１０ｅは、第１の実施形態で説明した被写体強調システム１０ａにおいて、被写体強調装置２０ａの代わりに被写体強調装置２０ｅを備える。
［３－１．被写体強調装置の機能構成］
　まず、図１７を用いて、被写体強調装置２０ｅの機能構成を説明する。図１７は、第３の実施形態の被写体強調装置の機能構成の一例を示す機能ブロック図である。
　被写体強調装置２０ｅは、第１の実施形態で説明した被写体強調装置２０ａ（図３参照）に、動き検出部４６と、被写体合成位置設定部４７とを加えた機能構成を備える。
　動き検出部４６は、被写体９２の動きを検出する。具体的には、動き検出部４６は、被写体領域抽出部３３が異なる時刻にそれぞれ抽出した被写体９２の領域に対して、例えばオプティカルフロー（動きベクトル）を検出することによって、動きの大きさと動きの方向とを検出する。
　被写体合成位置設定部４７は、動き検出部４６が検出した被写体９２の動きに基づいて、背景描画部３７が描画した背景情報９４に、エフェクト作用部３６が映像エフェクトを作用させた被写体９３の領域を合成する位置を設定する。具体的には、被写体合成位置設定部４７は、被写体９２の動きの大きさと動きの方向とに基づいて、背景情報９４と合成する被写体９２の位置（正確には、映像エフェクトを作用させた被写体９３の位置）を設定する。なお、被写体合成位置設定部４７は、本開示における合成位置設定部の一例である。
［３－２．被写体強調装置が行う処理の流れ］
　次に、図１８を用いて、被写体強調装置２０ｅが行う処理の流れを説明する。図１８は、第３の実施形態の被写体強調装置が行う処理の流れの一例を示すフローチャートである。なお、図１８のフローチャートは、ＲＧＢカメラ１２とＩＲカメラ１３との位置関係を取得するキャリブレーションを実行した後の処理の流れを示す。
　可視光動画取得部３１と赤外動画取得部３２は、ＩＲライト１４が点灯した状態で、同時にＲＧＢ画像とＩＲ画像とを取得する（ステップＳ５１）。
　被写体領域抽出部３３は、赤外動画取得部３２が取得したＩＲ画像の中から、被写体９２の領域を抽出する（ステップＳ５２）。
　動き検出部４６は、被写体９２の動きを検出する（ステップＳ５３）。
　被写体合成位置設定部４７は、被写体９２を背景情報９４に合成する領域、即ち背景合成領域を算出する（ステップＳ５４）。
　なお、ステップＳ５５からステップＳ６１は、第１の実施形態で説明したステップＳ１３からステップＳ１９までの流れ（図９参照）と同じであるため、説明は省略する。
［３－３．第３の実施形態の効果］
　以上説明したように、第３の実施形態の被写体強調装置２０ｅ（情報処理装置）によると、被写体合成位置設定部４７（合成位置設定部）は、動き検出部４６が検出した被写体９２の動きに基づいて、背景描画部３７が描画した背景情報９４に、エフェクト作用部３６が映像エフェクトを作用させた被写体９３の領域を合成する領域を設定する。
　これにより、被写体９２の動きがある場合に、背景情報９４に合成する被写体９２の位置を簡便な処理で決定することができる。特に、被写体９２の領域の検出に要する処理時間の高速化を図ることができる。
　以上、本開示について、いくつかの実施形態を用いて説明したが、これらの実施形態は、任意の装置において実行されるようにしてもよい。その場合、その装置が、必要な機能ブロックを有し、必要な情報を得ることができるようにすればよい。
　また、例えば、１つのフローチャートの各ステップを、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。更に、１つのステップに複数の処理が含まれる場合、その複数の処理を１つの装置が実行するようにしてのよいし、複数の装置が分担して実行するようにしてもよい。換言すると、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
　また、例えば、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしてもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしてもよい。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。更に、プログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしてもよいし、他のプログラムの処理と組み合わせて実行されるようにしてもよい。
　また、例えば、本技術に関する複数の技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を適用して実施することもできる。例えば、いずれかの実施形態において説明した本技術の一部または全部を、他の実施形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
　なお、本明細書に記載された効果は、あくまで例示であって限定されるものではなく、他の効果があってもよい。また、本開示の実施形態は、上述した実施形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本開示は、以下のような構成もとることができる。
　（１）
　被写体と背景とを含む動画を取得する第１の取得部と、
　前記第１の取得部が取得した動画の中から、前記被写体の領域を抽出する被写体領域抽出部と、
　前記第１の取得部が取得した動画の中の、前記被写体の領域以外の領域に、背景情報を描画する背景描画部と、
　前記動画の取得環境に係る情報に応じて決定された、前記被写体の領域に対して作用させるエフェクトの強度に基づいて、前記被写体の領域に対して、当該エフェクトを作用させるエフェクト作用部と、
　前記エフェクト作用部がエフェクトを作用させた前記被写体の領域と、前記背景描画部が描画した背景情報とを合成した合成映像を生成する映像合成部と、
を備える情報処理装置。
　（２）
　前記エフェクト作用部は、
　前記被写体の撮影距離に応じて決定された前記エフェクトの強度に基づいて、前記被写体の領域に対して前記エフェクトを作用させる、
　前記（１）に記載の情報処理装置。
　（３）
　前記エフェクト作用部は、
　前記被写体の撮影距離が、所定距離よりも近い場合に、前記エフェクトの強度を高くして前記被写体の領域に対して前記エフェクトを作用させる、
　前記（２）に記載の情報処理装置。
　（４）
　前記エフェクト作用部は、
　前記第１の取得部が前記動画を取得してからの経過時間が所定時間経過した際に、前記被写体領域抽出部が前記被写体の領域の抽出を完了しているか否かに応じて決定された、前記エフェクトの強度に基づいて、前記被写体の領域に対して前記エフェクトを作用させる、
　前記（１）乃至（３）のいずれか１つに記載の情報処理装置。
　（５）
　前記エフェクト作用部は、
　前記経過時間が前記所定時間経過した際に、前記被写体領域抽出部が前記被写体の領域の抽出を完了していない場合に、前記エフェクトの強度を高めて、前記被写体の領域に対して前記エフェクトを作用させる、
　前記（４）に記載の情報処理装置。
　（６）
　前記第１の取得部と同期して、当該第１の取得部から所定の相対位置において撮影された、前記被写体に照射した不可視光の反射光の強度分布を取得する第２の取得部を更に備えて、
　前記被写体領域抽出部は、前記第２の取得部が取得した反射光の強度分布の中から抽出した前記被写体の領域を、前記第１の取得部が取得すると予想される形状と位置に変形して、前記第１の取得部が実際に取得した動画に当て嵌めることによって、前記被写体の領域を抽出する、
　前記（１）乃至（５）のいずれか１つに記載の情報処理装置。
　（７）
　前記不可視光は、赤外光である、
　前記（６）に記載の情報処理装置。
　（８）
　前記映像合成部が合成した前記合成映像を表示させる映像表示部を更に備える、
　前記（１）乃至（７）のいずれか１つに記載の情報処理装置。
　（９）
　前記映像表示部は、前記合成映像を、前記被写体の背後に表示させる、
　前記（８）に記載の情報処理装置。
　（１０）
　前記エフェクト作用部は、前記被写体の領域の外周部に対して前記エフェクトを作用させる、
　前記（１）乃至（９）のいずれか１つに記載の情報処理装置。
　（１１）
　前記エフェクト作用部は、
　前記被写体の移動範囲に基づいて予測された、当該被写体の実際の位置と前記被写体の抽出結果とのずれの最大値に応じた前記エフェクトを、前記被写体の領域に対して作用させる、
　前記（１）乃至（１０）のいずれか１つに記載の情報処理装置。
　（１２）
　前記第２の取得部が取得した反射光の強度分布における所定値以上の明るさを有する画素数に応じて、前記エフェクトを作用させるか否かを切り替える切替部を更に備える、
　前記（６）または（７）に記載の情報処理装置。
　（１３）
　前記被写体の動きに基づいて、前記背景描画部が描画した背景情報に、前記エフェクト作用部がエフェクトを作用させた前記被写体の領域を合成する領域を設定する合成位置設定部を更に備える、
　前記（１）乃至（１２）のいずれか１つに記載の情報処理装置。
　（１４）
　被写体と背景とを含む動画を取得する第１の取得ステップと、
　前記第１の取得ステップで取得した動画の中から、前記被写体の領域を抽出する被写体抽出ステップと、
　前記第１の取得ステップで取得した動画の中の、前記被写体の領域以外の領域に、背景情報を描画する背景描画ステップと、
　前記動画の取得環境に係る情報に応じて決定された、前記被写体の領域に対して作用させるエフェクトの強度に基づいて、前記被写体の領域に対して、当該エフェクトを作用させるエフェクト作用ステップと、
　前記エフェクト作用ステップがエフェクトを作用させた前記被写体の領域と、前記背景描画ステップで描画した背景情報とを合成した合成映像を生成する映像合成ステップと、
　を備える合成映像の生成方法。
　（１５）
　コンピュータを、
　被写体と背景とを含む動画を取得する第１の取得部と、
　前記第１の取得部が取得した動画の中から、前記被写体の領域を抽出する被写体領域抽出部と、
　前記第１の取得部が取得した動画の中の、前記被写体の領域以外の領域に、背景情報を描画する背景描画部と、
　前記動画の取得環境に係る情報に応じて決定された、前記被写体の領域に対して作用させるエフェクトの強度に基づいて、前記被写体の領域に対して、当該エフェクトを作用させるエフェクト作用部と、
　前記エフェクト作用部がエフェクトを作用させた前記被写体の領域と、前記背景描画部が描画した背景情報とを合成した合成映像を生成する映像合成部と、
　して機能させるプログラム。
　１０ａ，１０ｂ，１０ｃ，１０ｄ，１０ｅ…被写体強調システム、１２…ＲＧＢカメラ（カラーカメラ）、１３…ＩＲカメラ（赤外線カメラ）、１４…ＩＲライト（赤外線ライト）、１５…ＬＥＤパネル、１６…ＲＧＢ－ＩＲカメラ、２０ａ，２０ｂ，２０ｃ，２０ｄ，２０ｅ…被写体強調装置（情報処理装置）、３１…可視光動画取得部（第１の取得部）、３２…赤外動画取得部（第２の取得部）、３３，４２…被写体領域抽出部、３４…撮影距離算出部、３５…エフェクト強度算出部、３６…エフェクト作用部、３７…背景描画部、３８…映像合成部、３９…表示制御部（映像表示部）、４０…視差予測部、４１…動画取得部（第１の取得部，第２の取得部）、４３…処理時間計測部、４４…トリガ情報検出部、４５…エフェクトＯＮ／ＯＦＦ制御部（切替部）、４６…動き検出部、４７…被写体合成位置設定部（合成位置設定部）、９０…ステージ、９２，９３…被写体、９４…背景情報、９５…合成映像、ε…視差

Claims (15)

  1. 　被写体と背景とを含む動画を取得する第１の取得部と、
    　前記第１の取得部が取得した動画の中から、前記被写体の領域を抽出する被写体領域抽出部と、
    　前記第１の取得部が取得した動画の中の、前記被写体の領域以外の領域に、背景情報を描画する背景描画部と、
    　前記動画の取得環境に係る情報に応じて決定された、前記被写体の領域に対して作用させるエフェクトの強度に基づいて、前記被写体の領域に対して、当該エフェクトを作用させるエフェクト作用部と、
    　前記エフェクト作用部がエフェクトを作用させた前記被写体の領域と、前記背景描画部が描画した背景情報とを合成した合成映像を生成する映像合成部と、
    　を備える情報処理装置。
  2. 　前記エフェクト作用部は、
    　前記被写体の撮影距離に応じて決定された前記エフェクトの強度に基づいて、前記被写体の領域に対して前記エフェクトを作用させる、
    　請求項１に記載の情報処理装置。
  3. 　前記エフェクト作用部は、
    　前記被写体の撮影距離が、所定距離よりも近い場合に、前記エフェクトの強度を高くして前記被写体の領域に対して前記エフェクトを作用させる、
    　請求項２に記載の情報処理装置。
  4. 　前記エフェクト作用部は、
    　前記第１の取得部が前記動画を取得してからの経過時間が所定時間経過した際に、前記被写体領域抽出部が前記被写体の領域の抽出を完了しているか否かに応じて決定された、前記エフェクトの強度に基づいて、前記被写体の領域に対して前記エフェクトを作用させる、
    　請求項１に記載の情報処理装置。
  5. 　前記エフェクト作用部は、
    　前記経過時間が前記所定時間経過した際に、前記被写体領域抽出部が前記被写体の領域の抽出を完了していない場合に、前記エフェクトの強度を高めて、前記被写体の領域に対して前記エフェクトを作用させる、
    　請求項４に記載の情報処理装置。
  6. 　前記第１の取得部と同期して、当該第１の取得部から所定の相対位置において撮影された、前記被写体に照射した不可視光の反射光の強度分布を取得する第２の取得部を更に備えて、
    　前記被写体領域抽出部は、前記第２の取得部が取得した反射光の強度分布の中から抽出した前記被写体の領域を、前記第１の取得部が取得すると予想される形状と位置に変形して、前記第１の取得部が実際に取得した動画に当て嵌めることによって、前記被写体の領域を抽出する、
    　請求項１に記載の情報処理装置。
  7. 　前記不可視光は、赤外光である、
    　請求項６に記載の情報処理装置。
  8. 　前記映像合成部が合成した前記合成映像を表示させる映像表示部を更に備える、
    　請求項１に記載の情報処理装置。
  9. 　前記映像表示部は、前記合成映像を、前記被写体の背後に表示させる、
    　請求項８に記載の情報処理装置。
  10. 　前記エフェクト作用部は、前記被写体の領域の外周部に対して前記エフェクトを作用させる、
    　請求項１に記載の情報処理装置。
  11. 　前記エフェクト作用部は、
    　前記被写体の移動範囲に基づいて予測された、当該被写体の実際の位置と前記被写体の抽出結果とのずれの最大値に応じた前記エフェクトを、前記被写体の領域に対して作用させる、
    　請求項１に記載の情報処理装置。
  12. 　前記第２の取得部が取得した反射光の強度分布における所定値以上の明るさを有する画素数に応じて、前記エフェクトを作用させるか否かを切り替える切替部を更に備える、
    　請求項６に記載の情報処理装置。
  13. 　前記被写体の動きに基づいて、前記背景描画部が描画した背景情報に、前記エフェクト作用部がエフェクトを作用させた前記被写体の領域を合成する領域を設定する合成位置設定部を更に備える、
    　請求項１に記載の情報処理装置。
  14. 　被写体と背景とを含む動画を取得する第１の取得ステップと、
    　前記第１の取得ステップで取得した動画の中から、前記被写体の領域を抽出する被写体抽出ステップと、
    　前記第１の取得ステップで取得した動画の中の、前記被写体の領域以外の領域に、背景情報を描画する背景描画ステップと、
    　前記動画の取得環境に係る情報に応じて決定された、前記被写体の領域に対して作用させるエフェクトの強度に基づいて、前記被写体の領域に対して、当該エフェクトを作用させるエフェクト作用ステップと、
    　前記エフェクト作用ステップがエフェクトを作用させた前記被写体の領域と、前記背景描画ステップで描画した背景情報とを合成した合成映像を生成する映像合成ステップと、
    　を備える合成映像の生成方法。
  15. 　コンピュータを、
    　被写体と背景とを含む動画を取得する第１の取得部と、
    　前記第１の取得部が取得した動画の中から、前記被写体の領域を抽出する被写体領域抽出部と、
    　前記第１の取得部が取得した動画の中の、前記被写体の領域以外の領域に、背景情報を描画する背景描画部と、
    　前記動画の取得環境に係る情報に応じて決定された、前記被写体の領域に対して作用させるエフェクトの強度に基づいて、前記被写体の領域に対して、当該エフェクトを作用させるエフェクト作用部と、
    　前記エフェクト作用部がエフェクトを作用させた前記被写体の領域と、前記背景描画部が描画した背景情報とを合成した合成映像を生成する映像合成部と、
    　して機能させるプログラム。
PCT/JP2021/015392 2020-04-27 2021-04-14 情報処理装置、合成映像の生成方法およびプログラム WO2021220804A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202180029874.8A CN115428436A (zh) 2020-04-27 2021-04-14 信息处理装置、合成视频的生成方法和程序
US17/996,578 US20230224428A1 (en) 2020-04-27 2021-04-14 Information processing device, composite video generation method, and program
JP2022517616A JPWO2021220804A1 (ja) 2020-04-27 2021-04-14

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-078383 2020-04-27
JP2020078383 2020-04-27

Publications (1)

Publication Number Publication Date
WO2021220804A1 true WO2021220804A1 (ja) 2021-11-04

Family

ID=78373491

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/015392 WO2021220804A1 (ja) 2020-04-27 2021-04-14 情報処理装置、合成映像の生成方法およびプログラム

Country Status (4)

Country Link
US (1) US20230224428A1 (ja)
JP (1) JPWO2021220804A1 (ja)
CN (1) CN115428436A (ja)
WO (1) WO2021220804A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000023038A (ja) * 1998-06-30 2000-01-21 Toshiba Corp 画像抽出装置
JP2003111094A (ja) * 2001-10-01 2003-04-11 Megafusion Corp 合成撮影システム、合成画像生成法および画像合成装置
JP2015211338A (ja) * 2014-04-25 2015-11-24 オリンパス株式会社 画像処理装置、それを備える撮像装置、画像処理方法及び画像処理プログラム
WO2018096775A1 (ja) * 2016-11-28 2018-05-31 ソニー株式会社 画像処理装置、画像処理方法、プログラム
WO2019230225A1 (ja) * 2018-05-29 2019-12-05 ソニー株式会社 画像処理装置、画像処理方法、プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000023038A (ja) * 1998-06-30 2000-01-21 Toshiba Corp 画像抽出装置
JP2003111094A (ja) * 2001-10-01 2003-04-11 Megafusion Corp 合成撮影システム、合成画像生成法および画像合成装置
JP2015211338A (ja) * 2014-04-25 2015-11-24 オリンパス株式会社 画像処理装置、それを備える撮像装置、画像処理方法及び画像処理プログラム
WO2018096775A1 (ja) * 2016-11-28 2018-05-31 ソニー株式会社 画像処理装置、画像処理方法、プログラム
WO2019230225A1 (ja) * 2018-05-29 2019-12-05 ソニー株式会社 画像処理装置、画像処理方法、プログラム

Also Published As

Publication number Publication date
JPWO2021220804A1 (ja) 2021-11-04
CN115428436A (zh) 2022-12-02
US20230224428A1 (en) 2023-07-13

Similar Documents

Publication Publication Date Title
US20130222551A1 (en) Mapping detecting and tracking objects in an arbitrary outdoor scene using active vision
KR20150050450A (ko) 장면의 깊이 맵을 생성하기 위한 방법 및 장치
CN108648225B (zh) 目标图像获取系统与方法
CN108683902B (zh) 目标图像获取系统与方法
CN111982023B (zh) 图像捕捉装置组件、三维形状测量装置和运动检测装置
JP5860663B2 (ja) ステレオ撮像装置
WO2019047985A1 (zh) 图像处理方法和装置、电子装置和计算机可读存储介质
JP2006292385A (ja) 視覚情報処理システム及びその視覚情報処理方法
KR101583659B1 (ko) 3차원 형상 측정 장치
CA2923885A1 (en) Depth key compositing for video and holographic projection
KR101627634B1 (ko) 프로젝터 영상 보정 장치 및 방법
JP2004021388A (ja) 画像処理装置及びそれを備えた撮影システム
US20100039561A1 (en) System, method, computer-readable medium, and user interface for displaying light radiation
JP3740394B2 (ja) 高ダイナミックレンジ映像の生成方法とその装置、及びこの方法の実行プログラムとこの実行プログラムの記録媒体
JP2004200973A (ja) 簡易ステレオ画像入力装置、方法、プログラム、および記録媒体
JP2015046019A (ja) 画像処理装置、撮像装置、撮像システム、画像処理方法、プログラム、および、記憶媒体
CN113692734A (zh) 用于采集和投影图像的系统和方法，以及该系统的应用
KR101407818B1 (ko) 텍스쳐 영상과 깊이 영상을 추출하는 장치 및 방법
WO2021220804A1 (ja) 情報処理装置、合成映像の生成方法およびプログラム
JP6292968B2 (ja) 疑似ｈｄｒ画像推定装置及び方法
JP6827394B2 (ja) 撮像装置、撮像処理論理素子及び撮像素子
KR20050015737A (ko) 조명제어에 의한 사실적 영상합성 방법
JP4547213B2 (ja) 物体検出装置および方法
WO2023047643A1 (ja) 情報処理装置、映像処理方法、プログラム
JP6770442B2 (ja) 画像処理装置及びそのプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21797808

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022517616

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21797808

Country of ref document: EP

Kind code of ref document: A1