WO2024009745A1 - 情報処理装置、情報処理方法、および記録媒体 - Google Patents

情報処理装置、情報処理方法、および記録媒体 Download PDF

Info

Publication number
WO2024009745A1
WO2024009745A1 PCT/JP2023/022682 JP2023022682W WO2024009745A1 WO 2024009745 A1 WO2024009745 A1 WO 2024009745A1 JP 2023022682 W JP2023022682 W JP 2023022682W WO 2024009745 A1 WO2024009745 A1 WO 2024009745A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
display
camera
subject
information processing
Prior art date
Application number
PCT/JP2023/022682
Other languages
English (en)
French (fr)
Inventor
清登 染谷
宜之 高尾
巨成 高橋
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2024009745A1 publication Critical patent/WO2024009745A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Definitions

  • the present technology relates to an information processing device, an information processing method, and a recording medium, and in particular, an information processing device, an information processing method, and a recording medium that can suitably perform foreground and background separation while providing a natural shooting environment.
  • recording media e.g.
  • the 3D model is generated using, for example, a Visual Hull technique that cuts out the three-dimensional shape of the subject based on a plurality of captured images taken from different directions.
  • Patent Document 1 describes a foreground-background separation method that uses a captured image obtained by previously capturing only the background without a subject, and a captured image obtained by capturing a background with the subject present. It is described that the difference is taken.
  • Patent Document 2 describes that, as a method of foreground and background separation, a photographed image obtained by photographing a subject in a monochromatic background environment (for example, a green background or a blue background) is subjected to chromakey processing.
  • a monochromatic background environment for example, a green background or a blue background
  • the present technology has been developed in view of this situation, and is intended to enable foreground and background separation to be suitably performed while providing a natural photographic environment.
  • An information processing device provides a display image that includes a pattern image and a background image that is a background image of a subject and that corresponds to a viewpoint of a first camera that photographs the subject and a display.
  • a display control unit that displays the image on the display in synchronization with the shooting by the first camera; and the pattern image included in the captured image of the second camera that shoots the subject and the display in synchronization with the display on the display.
  • a separation unit that separates the region of the subject from the image taken by the second camera based on the following.
  • an information processing device includes a pattern image and a background image that is a background image of a subject and corresponds to a viewpoint of a first camera that photographs the subject and the display.
  • the pattern included in the captured image of a second camera that displays a display image on the display in synchronization with the shooting of the first camera, and shoots the subject and the display in synchronization with the display of the display. Based on the image, the region of the subject is separated from the image taken by the second camera.
  • a recording medium allows a computer to display a display image that includes a background image of a subject and a pattern image and a background image that corresponds to the viewpoint of a first camera that photographs the subject and the display. , based on the pattern image included in the captured image of the second camera, which displays the image on the display in synchronization with the shooting of the first camera, and shoots the subject and the display in synchronization with the display of the display. Then, a program is recorded for executing a process of separating the area of the subject from the image taken by the second camera.
  • a display image that is a background image of a subject and includes a background image and a pattern image that corresponds to a viewpoint of a first camera that photographs the subject and the display is a display image that is a background image of a subject
  • the second pattern image is displayed on the display in synchronization with the image taken by the camera, and includes the image of the subject and the display.
  • the area of the object is separated from the image taken by the camera.
  • FIG. 1 is a diagram illustrating a configuration example of a photographing system to which the present technology is applied.
  • FIG. 2 is a plan view showing an example of a situation when the imaging system performs imaging.
  • FIG. 3 is a diagram illustrating a state of photographing using a main camera.
  • FIG. 3 is a diagram showing an example of a photographed video taken by a main camera.
  • FIG. 2 is a diagram illustrating an overview of 3D model generation using images captured by a sub camera.
  • FIG. 3 is a diagram showing a first example of a display image input to an LED display and a captured image of a sub camera.
  • FIG. 3 is a diagram showing an example of a foreground mask image.
  • FIG. 3 is a diagram illustrating a display example of a display image including an RGB uniform pattern.
  • FIG. 7 is a diagram showing a second example of a display image input to an LED display and a captured image of a sub camera.
  • FIG. 2 is a block diagram showing an example of a functional configuration of an information processing device. 3 is a flowchart illustrating processing performed by the information processing device.
  • FIG. 6 is a diagram illustrating an example of a situation where the background color and the performer's clothing color are the same.
  • FIG. 2 is a block diagram illustrating an example of a functional configuration of an information processing device that displays a display image including an RGB mixed color pattern that takes into account the color of a performer's clothing.
  • FIG. 2 is a block diagram showing an example of the hardware configuration of a computer.
  • FIG. 1 is a diagram illustrating a configuration example of a photographing system to which the present technology is applied.
  • the photographing system shown in FIG. 1 includes a main camera 11, N sub-cameras 12-1 to 12-N (N>1), an LED display 13, and an information processing device 21.
  • the main camera 11, the sub cameras 12-1 to 12-N, and the LED display 13 are arranged in the same shooting space such as a shooting studio.
  • the main camera 11 (first camera) is a camera used, for example, in virtual production photography, and photographs a subject and its background under the control of the information processing device 21.
  • the sub-cameras 12-1 to 12-N are cameras used to generate virtual viewpoint images using, for example, volumetric capture technology, and are configured to capture the subject and its background under the control of the information processing device 21. Take a photo. Images shot by the sub cameras 12-1 to 12-N are used to generate a 3D model of the subject.
  • sub cameras 12-1 to 12-N when there is no need to distinguish between the sub cameras 12-1 to 12-N, they will be simply referred to as sub cameras 12.
  • the LED (Light Emitting Diode) display 13 displays an image of a virtual space created by, for example, CG (Computer Graphics) as a display image under the control of the information processing device 21 .
  • CG Computer Graphics
  • the information processing device 21 is composed of a computer or the like, and controls the shooting of a subject by the main camera 11, the shooting of a subject by the sub camera 12, and the display of a display image by the LED display 13. Further, the information processing device 21 performs foreground and background separation to separate the subject area and the background area of each of the plurality of captured images captured by the sub cameras 12-1 to 12-N.
  • FIG. 2 is a plan view showing an example of a situation when the imaging system performs imaging.
  • sub-cameras 12-1 to 12-6 are arranged in a ring shape at approximately equal intervals toward the center of the imaging space.
  • Sub-camera 12-1 and sub-camera 12-4, sub-camera 12-2 and sub-camera 12-5, and sub-camera 12-3 and sub-camera 12-6 are arranged to face each other.
  • the main camera 11 is arranged between the sub-camera 12-2 and the sub-camera 12-3, facing toward the center of the shooting space. Further, an LED display 13 is arranged between the sub-camera 12-5 and the sub-camera 12-6 with its front facing toward the center of the photographing space. Here, the LED display 13 is located so as to be included in the photographing range of the main camera 11 and sub cameras 12-2 and 12-3.
  • Photographing by the photographing system is performed in a situation where the performer A1 as the subject exists, for example, in the center of the photographing space, as shown in FIG.
  • the performer A1 is shown with at least a portion of the image displayed on the LED display 13 in the background.
  • the performer A1 may be seen against the background of other cameras within the shooting range, walls, ceiling, floor, etc. of the shooting space. become.
  • at least a portion of the displayed image displayed on the LED display 13 may be included in the captured images taken by the sub cameras 12-1, 12-4 to 12-6.
  • the images taken by the sub cameras 12-2 and 12-3 may also include other cameras within the shooting range, walls, ceiling, floor, etc. of the shooting space.
  • FIG. 3 is a diagram showing the state of photographing using the main camera 11.
  • performer A1 stands in front of a large wall-shaped LED display 13 and performs with the display image displayed on the LED display 13 as a background.
  • the display image displayed on the LED display 13 is an image including a background image simulating the scene where the performer A1 performs.
  • the background image that simulates the scene where the performer A1 performs may be, for example, a background image that is combined with a virtual viewpoint image that is generated using a volumetric capture technique.
  • the virtual production is realized by photographing the performer A1 who is the subject and the displayed image as the background using the main camera 11.
  • FIG. 4 is a diagram showing an example of a photographed image taken by the main camera 11.
  • the captured video captured by the main camera 11 appears as if the performer A1 were present in the virtual space reflected in the background video.
  • the photographer using the main camera 11 can shoot a shot image in the studio in which the space reflected in the background image is expanded in the background of the performer A1 by shooting using the shooting system. .
  • a display image including a background image corresponding to the viewpoint (position and orientation) of the main camera 11 is displayed on the LED display 13. If the main camera 11 can be moved, it is possible to change the background image displayed on the LED display 13 in accordance with the change in the viewpoint of the main camera 11. For example, the entire background image is displayed on the entire LED display 13, and a portion of the background image is superimposed on the entire background image in an area on the LED display 13 that is included in the shooting range of the main camera 11. displayed. For example, in the area on the LED display 13, an image of the portion that will become the background when photographed from the viewpoint of the main camera 11 toward the performer A1 in the virtual space reflected in the background image is cut out from the entire background image and displayed. be done.
  • the viewpoint of the main camera 11 is obtained, for example, by self-position estimation using a marker attached to the main camera 11 or an IMU (Inertial Measurement Unit) device.
  • IMU Inertial Measurement Unit
  • FIG. 5 is a diagram illustrating an overview of 3D model generation using images captured by the sub camera 12.
  • FIG. 5 shows an example in which three sub cameras 12 are used to photograph a performer A1 performing as a subject. As shown on the left side of FIG. 5, three sub-cameras 12-1 to 12-3 arranged to surround the performer A1 photograph the performer A1.
  • 3D modeling is performed, for example, by the information processing device 21 using images captured by a plurality of sub cameras 12 arranged at different positions, and a 3D model Mo1 of the performer A1 is generated as shown in the center of FIG.
  • the 3D model Mo1 is generated, for example, by a Visual Hull method that cuts out a three-dimensional shape using captured images of the performer A1 from different directions.
  • the data of the 3D model Mo1 of the performer A1 generated as described above is transmitted to the reproduction side device and reproduced. That is, the reproduction-side device renders the 3D model Mo1 based on the data, so that the virtual viewpoint video is displayed on the viewing device.
  • a display D1 and a head-mounted display D2 are shown as viewing devices used by the viewer.
  • Patent Document 1 describes a method that calculates the difference between a photographed image obtained by photographing only the background in advance without a subject and a photographed image obtained by photographing with the subject present. The method to be used is described. Further, Patent Document 2 describes a method of performing chromakey processing on a photographed image obtained by photographing a subject in a monochromatic background environment (for example, a green background or a blue background) as a method of foreground and background separation.
  • a monochromatic background environment for example, a green background or a blue background
  • a display image including a background image that is the background of the subject and a pattern image that is an image of a predetermined pattern that is easy to separate the foreground and background is displayed on the LED display 13, and the display image that is the background image of the subject and the LED display 13, foreground and background separation is performed on the image captured by the sub camera 12 based on a pattern image included in the image captured by the sub camera 12, which captures the image 13 in synchronization with the display on the LED display 13.
  • FIG. 6 is a diagram showing a first example of a display image input to the LED display 13 and an image captured by the sub camera 12.
  • FIG. 6 shows an example in which an RGB uniform pattern is displayed on the LED display 13 as a pattern image.
  • the RGB uniform pattern includes a plurality of complementary pattern images, which are sequentially displayed within a predetermined period of time, and are an example of an image that is imperceptible to the subject.
  • the RGB uniform pattern is an image in which a red uniform monochrome image, a green uniform monochrome image, and a blue uniform monochrome image are sequentially displayed as a plurality of complementary pattern images. Each monochromatic image becomes white through additive color mixing of the red, blue, and green components of the pixel values.
  • the pixel values (R,G,B) of a red monochrome image are (255,0,0)
  • the pixel values of a green monochrome image are (0,255,0)
  • the pixel values of a blue monochrome image When is (0,0,255), when each monochrome image is additively mixed, the pixel value becomes (255,255,255).
  • the LED display 13 displays, for example, a red monochrome image P1R, a green monochrome image P1G, a blue monochrome image P1B, and a frame image P1 of a background image as displayed images. are input and displayed in sequence.
  • the sub camera 12 displays the subject and the LED display 13. to photograph.
  • the white arrow #2 in FIG. 6 such shooting results in a frame image P11R in which a red monochrome image P1R is reflected as the background, a frame image P11G in which the green monochrome image P1G is reflected as the background, and a frame image P11G in which the background is a monochrome blue image.
  • a photographed video is acquired that is composed of a frame image P11B in which the image P1B is shown and a frame image P11 in which a frame image of the background video is shown as the background.
  • the information processing device 21 can easily generate a foreground mask image (separated foreground and background image) M1 as shown in FIG. 7 by performing chromakey processing or the like using at least one of the frame images P11R, P11G, and P11B. Can be done.
  • the foreground mask image M1 is an image in which the pixel value of the subject (foreground) area is 1 and the pixel value of the background area other than the subject is 0, and is used for foreground and background separation for frame images P11R, P11G, P11B, and P11. used.
  • the foreground mask image M1 is generated using frame images P11G and P11B excluding frame image P11R. It is not necessary that all of the frame images P11R, P11G, and P11B are used.
  • the captured image of the sub camera 12 includes other cameras within the shooting range of the sub camera 12 or the walls, ceiling, floor, etc. of the shooting space, chroma key processing and the captured image of the subject and the background are processed.
  • the foreground mask image may be generated by combining a process of taking a difference with a photographed video in which only the foreground image is displayed.
  • a foreground mask image is generated, for example, by taking the difference between the image taken in which the subject is shown and the image in which only the background is shown.
  • the filming is not done under a special environment such as a green screen, but in an environment where a background image that simulates the performance area is displayed on the LED display 13, so the performers can perform naturally. It becomes possible. Therefore, the imaging system of the present technology can easily generate a foreground mask image used for foreground and background separation while providing a natural imaging environment.
  • the red component, blue component, and green component of the pixel value are each lower than the maximum value, such as displaying a monochrome image of dark red, dark green, and dark blue.
  • the pixel values (R,G,B) of a dark red monochrome image are (128,0,0)
  • the pixel values of a dark green monochrome image are (0,128,0)
  • the pixel values of a dark blue monochrome image are (128,0,0).
  • the pixel value of may be (0,0,128).
  • the RGB uniform pattern will appear gray to the performer who is filming.
  • a dark monochromatic image By displaying a dark monochromatic image, it is possible to reduce whitening (black floating) in the background image caused by a uniform RGB pattern.
  • a dark monochromatic image it is assumed that the gain of the sub camera 12 is increased in order to improve the accuracy of foreground and background separation. If the gain of the sub camera 12 is increased, the amount of noise in the image captured by the sub camera 12 may increase. It is desirable that the
  • FIG. 8 is a diagram showing a display example of a display image including an RGB uniform pattern.
  • each monochrome image and the frame image of the background video may be displayed alternately.
  • a red monochrome image P1R, a background video frame image P1-1, a green monochrome image P1G, a background video frame image P1-2, a blue monochrome image P1B, and a background video frame image Display images are displayed on the LED display 13 in the order of P1-3.
  • the frame image of the background video may be displayed after each monochrome image is displayed in succession.
  • a red monochrome image P1R, a green monochrome image P1G, a blue monochrome image P1B, a background video frame image P1-1, a background video frame image P1-2, and a background video frame image Display images are displayed on the LED display 13 in the order of P1-3.
  • the display order of the red monochrome image P1R, the green monochrome image P1G, and the blue monochrome image P1B is arbitrary.
  • a method of displaying a frame image of a background video after consecutively displaying each monochrome image is a display method that is less likely to cause color breaks than a method of displaying each monochrome image and a frame image of a background video alternately.
  • FIG. 9 is a diagram showing a second example of a display image input to the LED display 13 and a captured image of the sub camera 12.
  • FIG. 9 shows an example in which an ISL (Imperceptible Structured Light) pattern is displayed on the LED display 13 as a pattern image.
  • the ISL pattern includes a plurality of complementary pattern images, which are sequentially displayed within a predetermined period of time, and are an example of an image that is imperceptible to the subject.
  • the ISL pattern is an image in which a pair of pattern images whose luminance change directions are reversed are sequentially displayed as a plurality of complementary pattern images.
  • a positive image and a negative image of a predetermined pattern image are superimposed on the frame image of the background video, respectively, and two of the positive frame (Pos Frame) and negative frame (Neg Frame) A frame is generated. These two frames are displayed on the LED display 13.
  • superimposing a positive image on a frame image of a background video means adding a pattern image to a frame image of a background video
  • superimposing a negative image on a frame image of a background video means This shows subtracting a pattern image from a frame image of a background video.
  • the sub camera 12 photographs a positive frame and a negative frame, respectively, in synchronization with the display on the LED display 13.
  • a positive image and a negative image of the pattern image are respectively shown in the frame image of the photographed video.
  • the information processing device 21 can extract a pattern image by finding the difference between two frame images, as shown by the minus mark in the lower part of FIG.
  • the information processing device 21 acquires the three-dimensional position of the pattern displayed on the LED display 13 and the two-dimensional coordinates on the photographed image corresponding to the pattern based on the pattern image extracted from the photographed image, and obtains, for example,
  • the viewpoint of the sub camera 12 can be estimated by obtaining 3D-2D corresponding points using a library such as OpenCV's solvePnP.
  • the information processing device 21 Based on the estimated self-position of the sub-camera 12, the information processing device 21 performs a simulation of the display image included in the captured image of the sub-camera 12, and generates a sim image showing the result of the simulation.
  • the information processing device 21 can generate a foreground mask image by calculating the difference between a frame image of an actually shot video in which a performer is shown and a sim image.
  • volumetric capture technology it is necessary to calibrate the positions and orientations of multiple cameras whose positions and orientations are fixed in advance, but the imaging system of this technology uses ISL patterns to calibrate sub-cameras. Since 12 external parameters (position and orientation) can be estimated, it is possible to perform shooting with a degree of freedom without fixing the sub camera 12 (while moving the sub camera 12).
  • the information processing device 21 can estimate the viewpoint of the main camera 11 based on the ISL pattern included in the video shot by the main camera 11. Therefore, there is no need to add a marker or an IMU device to the main camera 11.
  • FIG. 10 is a block diagram showing an example of the functional configuration of the information processing device 21. As shown in FIG.
  • the information processing device 21 includes a pattern generation section 31, a background signal generation section 32, a display signal generation section 33, a display control section 34, a synchronization section 35, an imaging control section 36, and a foreground/background separation section 37. Consisted of.
  • the display signal generation section 33 determines whether to display a background image, a pattern image, or a superimposed background image and pattern image on the LED display 13 at each timing, and generates a pattern signal from the pattern generation section. Based on the pattern signal supplied from 31 and the background signal supplied from background signal generation section 32, a display signal indicating a display image is generated. The display signal generation section 33 supplies the generated display signal to the display control section 34.
  • the synchronization section 35 generates a timing signal for synchronizing the frame rate of shooting by the main camera 11 and the sub camera 12 and the frame rate of the display video on the LED display 13, and synchronizes the frame rate of the shooting by the main camera 11 and the sub camera 12, and 36.
  • the frame rate of shooting by the main camera 11 and the sub camera 12 may be set to an integral multiple of the frame rate of the display by the LED display 13.
  • step S2 the background signal generation unit 32 generates a background signal.
  • step S4 the display control unit 34 causes the LED display 13 to display the display image indicated by the display signal in synchronization with the timing signal.
  • step S5 the photographing control unit 36 causes the main camera 11 and the sub camera 12 to perform photographing in synchronization with the timing signal, and acquires the photographed image of the sub camera 12.
  • step S6 the foreground and background separation unit 37 generates a foreground mask image based on the pattern image included in the image captured by the sub camera 12, and uses the foreground mask image to separate the foreground and background from the image captured by the sub camera 12. I do.
  • a display image including a background image and a pattern image that is not perceived by the performer is displayed on the LED display 13, and the performer and the LED display 13 are connected to the LED display 13 by the sub camera 12. Photographs are taken in sync.
  • the information processing device 21 displays the RGB uniform pattern on the LED display 13 by attenuating (darkening) the brightness of the background image in advance according to the brightness of the plurality of complementary pattern images. It is possible to reduce the black floating (whitening) of the background image caused by this. Therefore, the performer can perform in a shooting environment with more natural brightness.
  • the method of attenuating the brightness of the background image is an effective method when the background image is bright.
  • RGB mixed color pattern a video in which a plurality of monochromatic images of arbitrary colors are sequentially displayed.
  • the photographing system of the present technology may display a monochromatic image of any color on the LED display 13, so it may display an RGB mixed color pattern in which a monochromatic image of a color different from the color of the performer's clothing is displayed. It can be displayed on the LED display 13.
  • the photographer can specify an RGB color mixture pattern that displays a monochromatic image suitable for chromakey processing. If the performer's clothing is not known until just before the performance, or if the color of the clothing changes due to a change of costume during the performance, the information processing device 21 uses recognition processing to identify the approximate location of the performer in the captured video, and determines the area where the performer is visible. By extracting the color and pattern of the performer's clothing, the color of the monochrome image displayed in the RGB mixed color pattern can be dynamically changed according to the color and pattern of the performer's clothing.
  • FIG. 13 is a block diagram showing an example of the functional configuration of the information processing device 21 that displays a display image including an RGB color mixture pattern that takes into account the color of the performer's clothing.
  • the same components as those in FIG. 10 are given the same reference numerals. Duplicate explanations will be omitted as appropriate.
  • the information processing device 21 in FIG. 13 differs from the information processing device 21 in FIG. 10 in that it includes a performer recognition section 51 and a clothing color extraction section 52.
  • the performer recognition unit 51 obtains the image captured by the main camera 11 or the image captured by the sub camera 12 from the imaging control unit 36, and recognizes the general area in which the performer appears in the captured image.
  • the performer recognition section 51 supplies the recognition result to the clothing color extraction section 52.
  • the clothing color extraction unit 52 extracts a representative color of the general area where the performer appears in the photographed video recognized by the performer recognition unit 51, and uses the representative color as the color of the performer's clothing.
  • the clothing color extraction unit 52 supplies information indicating the color of the performer's clothing to the pattern generation unit 31.
  • the recognition results for the general area where the performer appears in the captured video may include recognition results that surround the person in a rectangle, or recognition results where part of the performer (for example, the tips of the hands or feet) is omitted from recognition. good. Even if the boundary between the performer and the background is not known exactly, if the general area in which the performer is reflected is known, the clothing color extraction unit 52 can obtain the approximate color of the performer's clothing through signal processing such as a histogram. .
  • the pattern generation unit 31 displays a monochrome image of a color corresponding to the information indicating the color of the performer's clothing supplied from the clothing color extraction unit 52, for example, a monochrome image of a color that matches the color of the performer's clothing. Generates an RGB mixed color pattern like this.
  • the photographing system of the present technology can perform foreground and background separation with high precision regardless of the color of the performer's clothing.
  • a red monochrome image, a green monochrome image, and a blue monochrome image are displayed.
  • an RGB uniform pattern RGB mixed color pattern
  • the series of processes described above can be executed by hardware or software.
  • a program constituting the software is installed from a program recording medium into a computer built into dedicated hardware or a general-purpose personal computer.
  • FIG. 14 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processes using a program.
  • the CPU 501, ROM 502, and RAM 503 are interconnected by a bus 504.
  • An input/output interface 505 is further connected to the bus 504.
  • an input section 506 consisting of a keyboard, a mouse, etc.
  • an output section 507 consisting of a display, speakers, etc.
  • a storage section 508 made up of a hard disk, a nonvolatile memory, etc.
  • a communication section 509 made up of a network interface, etc.
  • a drive 510 that drives a removable medium 511 .
  • the CPU 501 executes the series of processes described above by, for example, loading a program stored in the storage unit 508 into the RAM 503 via the input/output interface 505 and the bus 504 and executing it. will be held.
  • a system refers to a collection of multiple components (devices, modules (components), etc.), regardless of whether all the components are located in the same casing. Therefore, multiple devices housed in separate casings and connected via a network, and a single device with multiple modules housed in one casing are both systems. .
  • the present technology can take a cloud computing configuration in which one function is shared and jointly processed by multiple devices via a network.
  • An information processing device comprising: a separating section; (2) The information processing device according to (1), wherein the pattern images include a plurality of complementary pattern images that are displayed sequentially within a predetermined time and are imperceptible to the subject.
  • the information processing device wherein the display video is a video in which the pair of pattern images are superimposed on frame images of the background video and displayed sequentially.
  • the separating unit is configured to separate the displayed image included in the captured image of the second camera based on the viewpoint of the second camera estimated based on the pattern image included in the captured image of the second camera. (9) or (9) or (9) above, performing a simulation of 10) The information processing device according to item 10).
  • the display control unit causes the display to display the background image corresponding to the viewpoint of the first camera estimated based on the pattern image included in the captured image of the first camera.
  • the information processing device according to any one of (11).
  • the information processing device according to any one of (1) to (12), wherein the display control unit changes the background image according to a change in the viewpoint of the first camera.
  • the information processing device according to any one of (1) to (13), wherein the area of the subject in the image captured by the second camera is used to generate a 3D model of the subject.
  • the display is an LED display.
  • the information processing device according to any one of (1) to (15), wherein the first camera and the second camera are the same camera.
  • the information processing device according to any one of (1) to (15), wherein the first camera and the second camera are different cameras.
  • the information processing device A display image that is a background image of the subject and includes a background image and a pattern image that corresponds to the viewpoint of a first camera that captures the subject and the display is displayed in synchronization with the capturing of the subject and the display by the first camera. display it on the display, Separating the area of the subject from the captured image of the second camera based on the pattern image included in the captured image of a second camera that captures the subject and the display in synchronization with the display of the display.
  • Information processing method is a background image of the subject and includes a background image and a pattern image that corresponds to the viewpoint of a first camera that captures the subject and the display is displayed in synchronization with the capturing of the subject and the display by the first camera.
  • a display image that is a background image of the subject and includes a background image and a pattern image that corresponds to the viewpoint of a first camera that captures the subject and the display is displayed in synchronization with the capturing of the subject and the display by the first camera. display it on the display, Separating the area of the subject from the captured image of the second camera based on the pattern image included in the captured image of a second camera that captures the subject and the display in synchronization with the display of the display.
  • a recording medium that records a program for executing processing.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Abstract

本技術は、自然な撮影環境を提供しながら、前景背景分離を好適に行うことができるようにする情報処理装置、情報処理方法、および記録媒体に関する。 本技術の情報処理装置は、被写体の背景となる映像であって、被写体およびディスプレイを撮影する第１のカメラの視点に対応した背景映像とパターン映像とを含む表示映像を、第１のカメラの撮影と同期してディスプレイに表示させる表示制御部と、被写体およびディスプレイを、ディスプレイの表示と同期して撮影する第２のカメラの撮影映像に含まれるパターン映像に基づいて、第２のカメラの撮影映像から被写体の領域を分離する分離部とを備える。本技術は、例えば、３Ｄモデルの生成に用いられる映像を撮影するための撮影システムに適用することができる。

Description

情報処理装置、情報処理方法、および記録媒体
　本技術は、情報処理装置、情報処理方法、および記録媒体に関し、特に、自然な撮影環境を提供しながら、前景背景分離を好適に行うことができるようにした情報処理装置、情報処理方法、および記録媒体に関する。
　多視点で撮影された映像から被写体の３Ｄモデルを生成し、任意の視点位置に応じた３Ｄモデルの仮想視点映像を生成することで自由な視点の映像を提供する技術がある。このような技術は、ボリュメトリックキャプチャ技術などとも呼ばれている。
　３Ｄモデルは、例えば、異なる方向から撮影された複数の撮影映像に基づいて被写体の３次元形状の削り出しを行うVisual Hullの手法が用いられて生成される。
　３Ｄモデルの生成では、多視点で撮影された各撮影映像に対して前景背景分離を行う必要がある。前景背景分離では、各撮影映像内の被写体の領域と背景の領域が分離される。
　例えば、特許文献１には、前景背景分離の手法として、被写体がいない状態で背景だけを事前に撮影して得られた撮影映像と、被写体がいる状態で撮影して得られた撮影映像との差分をとることが記載されている。また、特許文献２には、前景背景分離の手法として、単色の背景環境(例えばグリーンバックやブルーバック)で被写体を撮影して得られた撮影映像をクロマキー処理することが記載されている。
特開２０１９－１２５２６９号公報 特開２０１４－７２６９７号公報
　特許文献１に記載の手法では、カメラを固定する必要があったり、被写体としての演者の服の色と背景が似ていると、高精度に前景背景分離ができなかったりすることがある。
　また、特許文献２に記載の手法では、単色の背景環境を複数用意し、演者の服の色と異なる色の背景環境で撮影を行えば、クロマキー処理により高精度に前景背景分離ができるが、演者は、単色の背景環境で演技することになるため、仮想視点映像に合成される背景を想像しながら演技をする必要がある。
　本技術はこのような状況に鑑みてなされたものであり、自然な撮影環境を提供しながら、前景背景分離を好適に行うことができるようにするものである。
　本技術の一側面の情報処理装置は、被写体の背景となる映像であって、前記被写体およびディスプレイを撮影する第１のカメラの視点に対応した背景映像とパターン映像とを含む表示映像を、前記第１のカメラの撮影と同期して前記ディスプレイに表示させる表示制御部と、前記被写体および前記ディスプレイを、前記ディスプレイの表示と同期して撮影する第２のカメラの撮影映像に含まれる前記パターン映像に基づいて、前記第２のカメラの撮影映像から前記被写体の領域を分離する分離部とを備える。
　本技術の一側面の情報処理方法は、情報処理装置が、被写体の背景となる映像であって、前記被写体およびディスプレイを撮影する第１のカメラの視点に対応した背景映像とパターン映像とを含む表示映像を、前記第１のカメラの撮影と同期して前記ディスプレイに表示させ、前記被写体および前記ディスプレイを、前記ディスプレイの表示と同期して撮影する第２のカメラの撮影映像に含まれる前記パターン映像に基づいて、前記第２のカメラの撮影映像から前記被写体の領域を分離する。
　本技術の一側面の記録媒体は、コンピュータに、被写体の背景となる映像であって、前記被写体およびディスプレイを撮影する第１のカメラの視点に対応した背景映像とパターン映像とを含む表示映像を、前記第１のカメラの撮影と同期して前記ディスプレイに表示させ、前記被写体および前記ディスプレイを、前記ディスプレイの表示と同期して撮影する第２のカメラの撮影映像に含まれる前記パターン映像に基づいて、前記第２のカメラの撮影映像から前記被写体の領域を分離する処理を実行させるためのプログラムを記録する。
　本技術の一側面においては、被写体の背景となる映像であって、前記被写体およびディスプレイを撮影する第１のカメラの視点に対応した背景映像とパターン映像とを含む表示映像が、前記第１のカメラの撮影と同期して前記ディスプレイに表示され、前記被写体および前記ディスプレイを、前記ディスプレイの表示と同期して撮影する第２のカメラの撮影映像に含まれる前記パターン映像に基づいて、前記第２のカメラの撮影映像から前記被写体の領域が分離される。
本技術を適用した撮影システムの構成例を示す図である。 撮影システムが撮影を行う時の状況の例を示す平面図である。 メインカメラを用いた撮影の様子を示す図である。 メインカメラにより撮影された撮影映像の例を示す図である。 サブカメラの撮影映像を用いた３Ｄモデル生成の概要を説明する図である。 LEDディスプレイに入力される表示映像と、サブカメラの撮影映像の第１の例を示す図である。 前景マスク画像の例を示す図である。 RGB一様パターンを含む表示映像の表示例を示す図である。 LEDディスプレイに入力される表示映像と、サブカメラの撮影映像の第２の例を示す図である。 情報処理装置の機能構成例を示すブロック図である。 情報処理装置が行う処理について説明するフローチャートである。 背景の色と演者の服装の色が同じである状況の例を示す図である。 演者の服装の色を考慮したRGB混色パターンを含む表示映像を表示させる情報処理装置の機能構成例を示すブロック図である。 コンピュータのハードウェアの構成例を示すブロック図である。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．撮影システムの概要
　２．情報処理装置の構成と動作
　３．変形例
＜１．撮影システムの概要＞
　図１は、本技術を適用した撮影システムの構成例を示す図である。
　図１の撮影システムは、メインカメラ１１、Ｎ台（Ｎ＞１）のサブカメラ１２－１乃至１２－Ｎ、LEDディスプレイ１３、および情報処理装置２１により構成される。メインカメラ１１、サブカメラ１２－１乃至１２－Ｎ、およびLEDディスプレイ１３は、撮影スタジオなどの同じ撮影空間に配置される。
　メインカメラ１１（第１のカメラ）は、例えばバーチャルプロダクションによる撮影に用いられるカメラであり、情報処理装置２１による制御に従って、被写体とその背景を撮影する。
　サブカメラ１２－１乃至１２－Ｎ（第２のカメラ）は、例えばボリュメトリックキャプチャ技術を利用した仮想視点映像の生成に用いられるカメラであり、情報処理装置２１による制御に従って、被写体とその背景を撮影する。サブカメラ１２－１乃至１２－Ｎの撮影映像は、被写体の３Ｄモデルを生成するのに用いられる。
　なお、以下では、サブカメラ１２－１乃至１２－Ｎをそれぞれ区別する必要がない場合、単にサブカメラ１２と称して説明する。
　LED(Light Emitting Diode)ディスプレイ１３は、情報処理装置２１による制御に従って、例えばCG(Computer Graphics)で作成された仮想空間の映像を表示映像として表示する。
　情報処理装置２１は、コンピュータなどにより構成され、メインカメラ１１による被写体の撮影、サブカメラ１２による被写体の撮影、およびLEDディスプレイ１３による表示映像の表示を制御する。また、情報処理装置２１は、サブカメラ１２－１乃至１２－Ｎにより撮影された複数の撮影映像それぞれの被写体の領域と背景の領域を分離する前景背景分離を行う。
　図２は、撮影システムが撮影を行う時の状況の例を示す平面図である。
　図２の例では、撮影空間の中央に向けて６台のサブカメラ１２－１乃至１２－６が略等間隔で環状に配置されている。サブカメラ１２－１とサブカメラ１２－４、サブカメラ１２－２とサブカメラ１２－５、およびサブカメラ１２－３とサブカメラ１２－６は、それぞれ対向した状態で配置されている。
　サブカメラ１２－２とサブカメラ１２－３の間には、撮影空間の中央に向けてメインカメラ１１が配置されている。また、サブカメラ１２－５とサブカメラ１２－６の間には、LEDディスプレイ１３が正面を撮影空間の中央に向けて配置されている。ここでは、LEDディスプレイ１３は、メインカメラ１１とサブカメラ１２－２，１２－３の撮影範囲に含まれるように位置する。
　撮影システムによる撮影は、図２に示すように、被写体としての演者Ａ１が例えば撮影空間の中央に存在する状況で行われる。
　メインカメラ１１とサブカメラ１２－２，１２－３によって撮影された撮影映像には、LEDディスプレイ１３に表示された表示映像の少なくとも一部を背景として演者Ａ１が映ることになる。サブカメラ１２－１，１２－４乃至１２－６によって撮影された撮影映像には、撮影範囲内に存在する他のカメラや、撮影空間の壁、天井、床などを背景として演者Ａ１が映ることになる。なお、サブカメラ１２－１，１２－４乃至１２－６によって撮影された撮影映像には、LEDディスプレイ１３に表示された表示映像の少なくとも一部が映っていてもよい。また、サブカメラ１２－２，１２－３によって撮影された撮影映像には、撮影範囲内に存在する他のカメラや、撮影空間の壁、天井、床なども映っていてもよい。
　図３は、メインカメラ１１を用いた撮影の様子を示す図である。
　図３に示すように、演者Ａ１は、ウォール状の大型のLEDディスプレイ１３の前方に立ち、LEDディスプレイ１３に表示される表示映像を背景として演技を行う。LEDディスプレイ１３に表示される表示映像は、演者Ａ１が演技する場を模した背景映像を含む映像となる。演者Ａ１が演技をする場を模した背景映像は、例えば、ボリュメトリックキャプチャ技術を利用して生成される仮想視点映像に合成される背景の映像であってもよい。
　バーチャルプロダクションは、被写体である演者Ａ１と背景としての表示映像を、メインカメラ１１で撮影することで実現される。
　図４は、メインカメラ１１により撮影された撮影映像の例を示す図である。
　図４に示すように、メインカメラ１１により撮影された撮像映像は、演者Ａ１が、背景映像に映る仮想空間にあたかも存在するかのような映像となる。このように、メインカメラ１１の撮影者は、撮影システムを用いて撮影を行うことにより、演者Ａ１の背景に、背景映像に映る空間が広がっているような撮影映像をスタジオで撮影することができる。
　なお、LEDディスプレイ１３には、例えば、メインカメラ１１の視点（位置姿勢）に対応した背景映像を含む表示映像が表示される。メインカメラ１１の移動が可能な場合、メインカメラ１１の視点の変化に応じて、LEDディスプレイ１３に表示される背景映像を変化させることが可能である。例えば、LEDディスプレイ１３の全体には、背景映像の全体が表示され、メインカメラ１１の撮影範囲に含まれるLEDディスプレイ１３上の領域には、背景映像の一部分が、背景映像全体に重畳されるようにして表示される。LEDディスプレイ１３上の当該領域には、例えば、背景映像に映る仮想空間で演者Ａ１に向かってメインカメラ１１の視点から撮影した場合に背景となる部分の映像が、背景映像全体から切り出されて表示される。
　メインカメラ１１の視点は、例えば、メインカメラ１１に付加されたマーカやIMU(Inertial Measurement Unit)デバイスを用いた自己位置推定により取得される。
　図５は、サブカメラ１２の撮影映像を用いた３Ｄモデル生成の概要を説明する図である。
　図５には、３台のサブカメラ１２を用いて、演技を行っている演者Ａ１を被写体としての撮影が行われている例が示されている。図５の左側に示すように、演者Ａ１を囲むように配置された３台のサブカメラ１２－１乃至１２－３は、演者Ａ１を撮影する。
　異なる位置に配置された複数のサブカメラ１２の撮影映像を用いて、３Ｄモデリングが例えば情報処理装置２１により行われ、図５の中央に示すように、演者Ａ１の３ＤモデルＭｏ１が生成される。３ＤモデルＭｏ１は、例えば、異なる方向から演者Ａ１が撮影された撮影映像を用いて３次元形状の切り出しを行うVisual Hullの手法により生成される。
　以上のようにして生成された演者Ａ１の３ＤモデルＭｏ１のデータが再生側の装置に伝送され、再生される。すなわち、再生側の装置において、３ＤモデルＭｏ１のレンダリングがデータに基づいて行われることにより、視聴デバイスに仮想視点映像が表示される。図５の右側には、視聴者が使用する視聴デバイスとして、ディスプレイＤ１やヘッドマウントディスプレイＤ２が示されている。
　ところで、３Ｄモデルの生成では、各撮影映像内の被写体の領域と背景の領域を分離し、被写体のみのデータを抽出する前景背景分離を行う必要がある。
　前景背景分離の手法として、特許文献１には、被写体がいない状態で背景だけを事前に撮影して得られた撮影映像と、被写体がいる状態で撮影して得られた撮影映像との差分をとる手法が記載されている。また、特許文献２には、前景背景分離の手法として、単色の背景環境(例えばグリーンバックやブルーバック)で被写体を撮影して得られた撮影映像をクロマキー処理する手法が記載されている。
　特許文献１に記載の手法では、カメラを固定する必要があったり、被写体としての演者の服の色と背景が似ていると、高精度に前景背景分離ができなかったりすることがある。
　また、特許文献２に記載の手法では、単色の背景環境を複数用意し、演者の服の色と異なる色の背景環境で撮影を行えば、クロマキー処理により高精度に前景背景分離ができるが、演者は、単色の背景環境で演技することになるため、撮影後に３Ｄモデルの映像に合成される背景を想像しながら演技をする必要がある。
　そこで、本技術の撮影システムでは、被写体の背景となる背景映像と、前景背景分離が容易な所定のパターンの映像であるパターン映像とを含む表示映像がLEDディスプレイ１３に表示され、被写体およびLEDディスプレイ１３を、LEDディスプレイ１３の表示と同期して撮影するサブカメラ１２の撮影映像に含まれるパターン映像に基づいて、サブカメラ１２の撮影映像に対する前景背景分離が行われる。
　図６は、LEDディスプレイ１３に入力される表示映像と、サブカメラ１２の撮影映像の第１の例を示す図である。
　図６には、RGB一様パターンがパターン映像としてLEDディスプレイ１３に表示される例が示されている。RGB一様パターンは、複数の相補的なパターン映像を含み、当該パターン映像が所定時間以内に順次表示され、被写体にとって知覚できない（Imperceptible）映像の一例である。RGB一様パターンは、複数の相補的なパターン映像として、赤色の一様な単色画像、緑色の一様な単色画像、および青色の一様な単色画像が順次表示される映像である。各単色画像は、画素値の赤色成分、青色成分、および緑色成分の加法混色により白色になる。例えば、赤色の単色画像の画素値(R,G,B)が(255,0,0)であり、緑色の単色画像の画素値が(0,255,0)であり、青色の単色画像の画素値が(0,0,255)である場合、各単色画像を加法混色すると、画素値は(255,255,255)となる。
　図６の白抜き矢印＃１で示すように、LEDディスプレイ１３には、表示映像として、例えば、赤色の単色画像Ｐ１Ｒ、緑色の単色画像Ｐ１Ｇ、青色の単色画像Ｐ１Ｂ、および背景映像のフレーム画像Ｐ１が順次入力されて表示される。
　LEDディスプレイ１３が、赤色の単色画像Ｐ１Ｒ、緑色の単色画像Ｐ１Ｇ、青色の単色画像Ｐ１Ｂ、および背景映像のフレーム画像Ｐ１を順次表示するのに同期して、サブカメラ１２は、被写体とLEDディスプレイ１３を撮影する。このような撮影によって、図６の白抜き矢印＃２で示すように、背景として赤色の単色画像Ｐ１Ｒが映るフレーム画像Ｐ１１Ｒ、背景として緑色の単色画像Ｐ１Ｇが映るフレーム画像Ｐ１１Ｇ、背景として青色の単色画像Ｐ１Ｂが映るフレーム画像Ｐ１１Ｂ、および、背景として背景映像のフレーム画像が映るフレーム画像Ｐ１１により構成される撮影映像が取得される。
　情報処理装置２１は、フレーム画像Ｐ１１Ｒ，Ｐ１１Ｇ，Ｐ１１Ｂの少なくともいずれかを用いてクロマキー処理などを行うことで、図７に示すような前景マスク画像（前景背景分離画像）Ｍ１を容易に生成することができる。前景マスク画像Ｍ１は、被写体（前景）の領域の画素値を１とし、被写体以外の背景の領域の画素値を０とした画像であり、フレーム画像Ｐ１１Ｒ，Ｐ１１Ｇ，Ｐ１１Ｂ，Ｐ１１に対する前景背景分離に用いられる。
　例えば、被写体としての演者の服装が赤色である場合、フレーム画像Ｐ１１Ｒを除いたフレーム画像Ｐ１１Ｇ，Ｐ１１Ｂが用いられて前景マスク画像Ｍ１が生成されるといったように、前景マスク画像Ｍ１の生成に３枚のフレーム画像Ｐ１１Ｒ，Ｐ１１Ｇ，Ｐ１１Ｂの全てが用いられる必要はない。
　なお、サブカメラ１２の撮影映像に、サブカメラ１２の撮影範囲内に存在する他のカメラや、撮影空間の壁、天井、床などが映る場合、クロマキー処理、および、被写体が映る撮影映像と背景だけが映る撮影映像との差分をとる処理が組み合わされて、前景マスク画像が生成されるようにしてもよい。また、サブカメラ１２の撮影映像にパターン映像が映らない場合、例えば、被写体が映る撮影映像と背景だけが映る撮影映像との差分をとる処理によって、前景マスク画像が生成される。
　画素値の赤色成分、青色成分、および緑色成分が加法混色により白色になる複数の単色画像がLEDディスプレイ１３に順次表示されるため、視覚の積分効果によって、撮影中の演者にとってはRGB一様パターンが白色に見えることになる。したがって、表示映像を見た演者には、背景映像が少し明るくなったように知覚され、RGB一様パターン自体は知覚されない。
　演者にとっては、グリーンバックのような特殊な環境下ではなく、演技する場を模した背景映像がLEDディスプレイ１３に表示された環境下で撮影が行われるため、演者は自然な演技をすることが可能となる。したがって、本技術の撮影システムは、自然な撮影環境を提供しながら、前景背景分離を行うのに用いられる前景マスク画像を容易に生成することが可能となる。
　なお、暗い赤色、暗い緑色、および暗い青色の単色画像が表示されるといったように、画素値の赤色成分、青色成分、および緑色成分それぞれが最大値よりも低い単色画像が表示されるようにしてもよい。例えば、暗い赤色の単色画像の画素値(R,G,B)は(128,0,0)であり、暗い緑色の単色画像の画素値は(0,128,0)であり、暗い青色の単色画像の画素値は(0,0,128)であってもよい。この場合、視覚の積分効果によって、撮影中の演者にとってはRGB一様パターンが灰色に見えることになる。暗い単色画像が表示されることで、RGB一様パターンによって生じる背景映像の白飛び（黒浮き）を低減させることができる。暗い単色画像が表示される場合、前景背景分離の精度を高めるため、サブカメラ１２のゲインを高くすることが想定される。サブカメラ１２のゲインを高くすると、サブカメラ１２の撮影映像内のノイズ量などが増加する可能性があるため、目的に応じて、単色画像それぞれの画素値の赤色成分、青色成分、および緑色成分が調整されることが望ましい。
　図８は、RGB一様パターンを含む表示映像の表示例を示す図である。
　図８のＡに示すように、各単色画像と背景映像のフレーム画像が交互に表示されるようにしてもよい。図８のＡの例では、赤色の単色画像Ｐ１Ｒ、背景映像のフレーム画像Ｐ１－１、緑色の単色画像Ｐ１Ｇ、背景映像のフレーム画像Ｐ１－２、青色の単色画像Ｐ１Ｂ、および背景映像のフレーム画像Ｐ１－３の順で表示映像がLEDディスプレイ１３に表示される。
　図８のＢに示すように、各単色画像が連続で表示された後に、背景映像のフレーム画像が表示されるようにしてもよい。図８のＢの例では、赤色の単色画像Ｐ１Ｒ、緑色の単色画像Ｐ１Ｇ、青色の単色画像Ｐ１Ｂ、背景映像のフレーム画像Ｐ１－１、背景映像のフレーム画像Ｐ１－２、および背景映像のフレーム画像Ｐ１－３の順で表示映像がLEDディスプレイ１３に表示される。
　なお、赤色の単色画像Ｐ１Ｒ、緑色の単色画像Ｐ１Ｇ、および青色の単色画像Ｐ１Ｂの表示順は任意である。
　各単色画像を連続で表示した後に、背景映像のフレーム画像を表示する方法は、各単色画像と背景映像のフレーム画像を交互に表示する方法に比べて、カラーブレイクが起こりにくい表示方法となる。
　LEDディスプレイにおいて明滅速度を高速にすることは、他の表示デバイス(LCD(Liquid Crystal Display)など)において明滅速度を高速にすることに比べて原理的に容易であるため、LEDディスプレイは、表示レート(Hz)を高速化しやすいデバイスといえる。表示レートが高速になるほど、カラーブレイクを低減させることが可能となるので、表示レートを高速化しやすいLEDディスプレイは、RGB一様パターンとの相性がよい。
　図９は、LEDディスプレイ１３に入力される表示映像と、サブカメラ１２の撮影映像の第２の例を示す図である。
　図９には、ISL(Imperceptible Structured Light)パターンがパターン映像としてLEDディスプレイ１３に表示される例が示されている。ISLパターンは、複数の相補的なパターン映像を含み、当該パターン映像が所定時間以内に順次表示され、被写体にとって知覚できない映像の一例である。ISLパターンは、複数の相補的なパターン映像として、輝度変化方向が互いに反転している１対のパターン画像が順次表示される映像である。
　図９に示すように、背景映像のフレーム画像に対して、所定のパターン画像(Structured Light)のポジ画像とネガ画像がそれぞれ重畳され、ポジフレーム（Pos Frame）とネガフレーム（Neg Frame）の２フレームが生成される。この２フレームがLEDディスプレイ１３に表示される。ここでは、背景映像のフレーム画像に対してポジ画像を重畳することは、背景映像のフレーム画像にパターン画像を加算することを示し、背景映像のフレーム画像に対してネガ画像を重畳することは、背景映像のフレーム画像からパターン画像を減算することを示す。パターン画像のポジ画像とネガ画像は、パターンの輝度変化方向が互いに反転しているので、LEDディスプレイ１３に２フレームが連続して表示されると、図９中段のプラスマークで示す視覚の積分効果によって、演者Ａ１はパターン画像を知覚することができない。したがって、表示映像を見た演者Ａ１には、背景映像だけが知覚される。
　これに対して、サブカメラ１２は、LEDディスプレイ１３の表示に同期して、ポジフレームとネガフレームをそれぞれ撮影する。撮影映像のフレーム画像には、パターン画像のポジ画像とネガ画像とがそれぞれ映る。情報処理装置２１は、図９下段のマイナスマークで示すように、２枚のフレーム画像の差分を求めることにより、パターン画像を抽出することができる。
　情報処理装置２１は、撮影映像から抽出したパターン画像に基づいて、LEDディスプレイ１３に表示されているパターンの３次元位置、および、当該パターンに対応する撮影映像上の２次元座標を取得し、例えばOpenCVのsolvePnPなどのライブラリを用いて3D-2D対応点をとることで、サブカメラ１２の視点を推定することができる。
　情報処理装置２１は、推定したサブカメラ１２の自己位置に基づいて、サブカメラ１２の撮影映像に含まれる表示映像のシミュレーションを行い、シミュレーションの結果を示すシム画像を生成する。情報処理装置２１は、演者が映っている実際の撮影映像のフレーム画像とシム画像の差分をとることで、前景マスク画像を生成することができる。
　ボリュメトリックキャプチャ技術では、一般的に、位置姿勢が固定された複数のカメラの位置姿勢などを事前にキャリブレーションしておく必要があるが、本技術の撮影システムは、ISLパターンを用いてサブカメラ１２の外部パラメータ（位置姿勢）を推定することができるため、サブカメラ１２を固定しない(サブカメラ１２を動かしながらの)自由度のある撮影を行うことが可能となる。
　また、一般的に、メインカメラ１１の視点に対応した表示映像をLEDディスプレイ１３に表示するために、メインカメラ１１に付加されたマーカやIMUデバイスを用いてメインカメラ１１の視点が取得されるが、情報処理装置２１は、メインカメラ１１の撮影映像に含まれるISLパターンに基づいてメインカメラ１１の視点を推定することができる。したがって、メインカメラ１１にマーカやIMUデバイスを付加する必要がなくなる。
＜２．情報処理装置の構成と動作＞
・情報処理装置の構成
　図１０は、情報処理装置２１の機能構成例を示すブロック図である。
　図１０に示すように、情報処理装置２１は、パターン生成部３１、背景信号生成部３２、表示信号生成部３３、表示制御部３４、同期部３５、撮影制御部３６、および前景背景分離部３７により構成される。
　パターン生成部３１は、前景背景分離が容易なパターン映像（例えば、RGB一様パターンやISLパターン）を示すパターン信号を生成し、表示信号生成部３３に供給する。
　背景信号生成部３２は、演者が演技する場を模した背景映像を示す背景信号を生成し、表示信号生成部３３に供給する。
　表示信号生成部３３は、各タイミングでLEDディスプレイ１３に、背景映像を表示させるか、パターン映像を表示させるか、または背景映像とパターン映像を重畳して表示させるかなどを決定し、パターン生成部３１から供給されたパターン信号と背景信号生成部３２から供給された背景信号に基づいて、表示映像を示す表示信号を生成する。表示信号生成部３３は、生成した表示信号を表示制御部３４に供給する。
　表示制御部３４は、表示信号生成部３３から供給された表示信号をLEDディスプレイ１３に供給し、同期部３５から供給されるタイミング信号に同期して表示映像をLEDディスプレイ１３に表示させる。
　同期部３５は、メインカメラ１１およびサブカメラ１２による撮影のフレームレートと、LEDディスプレイ１３による表示映像の表示のフレームレートとを同期させるためのタイミング信号を生成し、表示制御部３４と撮影制御部３６に供給する。メインカメラ１１およびサブカメラ１２による撮影のフレームレートは、LEDディスプレイ１３による表示のフレームレートの整数倍に設定されてもよい。
　撮影制御部３６は、同期部３５から供給されたタイミング信号に同期して、メインカメラ１１とサブカメラ１２に撮影を行わせる。撮影制御部３６は、サブカメラ１２から撮影映像を取得し、前景背景分離部３７に供給する。
　前景背景分離部３７は、撮影制御部３６から供給されたサブカメラ１２の撮影映像に含まれるパターン映像に基づいて、前景マスク画像を生成し、前景マスク画像を用いて、サブカメラ１２の撮影映像に対する前景背景分離を行う。
　情報処理装置２１は、複数のサブカメラ１２それぞれの撮影映像から抽出された被写体のみのデータを統合することで、被写体の３Ｄモデルを生成することができる。
・情報処理装置の動作
　次に、図１１のフローチャートを参照して、以上のような構成を有する情報処理装置２１が行う処理について説明する。
　ステップＳ１において、パターン生成部３１は、パターン信号を生成する。
　ステップＳ２において、背景信号生成部３２は、背景信号を生成する。
　ステップＳ３において、表示信号生成部３３は、パターン信号と背景信号に基づいて、表示信号を生成する。
　ステップＳ４において、表示制御部３４は、表示信号で示される表示映像を、タイミング信号に同期してLEDディスプレイ１３に表示させる。
　ステップＳ５において、撮影制御部３６は、タイミング信号に同期してメインカメラ１１とサブカメラ１２に撮影を行わせ、サブカメラ１２の撮影映像を取得する。
　ステップＳ６において、前景背景分離部３７は、サブカメラ１２の撮影映像に含まれるパターン映像に基づいて、前景マスク画像を生成し、前景マスク画像を用いて、サブカメラ１２の撮影映像に対する前景背景分離を行う。
　以上の処理により、本技術の撮影システムにおいては、背景映像と演者に知覚されないパターン映像とを含む表示映像がLEDディスプレイ１３に表示され、演者およびLEDディスプレイ１３が、サブカメラ１２によりLEDディスプレイ１３と同期して撮影される。
　本技術の撮影システムは、演技する場を模した背景映像がLEDディスプレイ１３に表示されるといったように演者にとって自然な撮影環境を提供しながら、撮影映像に含まれるパターン映像に基づいて、前景背景分離を行うのに用いられる前景マスク画像を容易に生成することが可能となる。
＜３．変形例＞
・背景映像の輝度を減衰させる例
　RGB一様パターンを単純にLEDディスプレイ１３に表示すると、視覚の積分効果によって、演者はRGB一様パターンを知覚することができないが、各単色画像が加法混色された白色の単色画像が背景映像に重畳されたように知覚するため、少し明るい背景映像を見ることになる。
　情報処理装置２１は、複数の相補的なパターン映像の輝度に応じて背景映像の輝度をあらかじめ減衰させて（暗くして）LEDディスプレイ１３に表示させることで、RGB一様パターンが表示されることによって生じる背景映像の黒浮き（白飛び）を低減させることが可能となる。したがって、演者は、より自然な明るさの撮影環境で演技を行うことができる。
　ただし、背景映像が元から暗い場合、背景映像を暗くすることは望ましくないので、背景映像の輝度を減衰させる方法は、背景映像が明るい場合に有効な方法となる。
・RGB混色パターンを表示する例
　以上においては、RGB一様パターンとして、赤色、緑色、および青色の単色画像が表示される例について説明したが、各単色画像は、それぞれの加法混色により白色になることで、演者にとっては少し明るい背景映像として知覚される。すなわち、赤色、緑色、および青色の単色画像を必ずしも表示する必要はなく、加法混色により白色になるような単色画像であれば、任意の色の単色画像を表示することも可能である。なお、白色の単色画像（画素値(255,255,255)）が背景映像のフレーム画像と交互に表示されてもよい。
　以下では、任意の色の複数の単色画像が順次表示される映像をRGB混色パターンと称して説明する。
　一般的に、図１２に示すように、グリーンバック環境で緑色の服装の演者が演技を行うといったように、背景の色と演者Ａ１の服装の色が同じである場合、前景背景分離が困難になる。この場合、演者Ａ１が異なる色の服装に着替えるか、撮影環境の色を変更する(ブルーバック環境に変更する)などの運用がなされている。
　本技術の撮影システムは、上述したようにLEDディスプレイ１３に任意の色の単色画像を表示してもよいため、演者の服装の色と異なる色の単色画像が表示されるようなRGB混色パターンをLEDディスプレイ１３に表示させることができる。
　演者の服装が事前にわかっている場合、クロマキー処理に適した色の単色画像が表示されるRGB混色パターンを、撮影者などが指定すればよい。演者の服装が直前までわからない場合や、演技の途中の衣装替えで服装の色が変わる場合、情報処理装置２１が、認識処理により撮影映像内の演者の大まかな位置を特定し、演者が映る領域から演者の服装の色や模様を抽出することで、RGB混色パターンで表示される単色画像の色を、演者の服装の色や模様に応じて動的に変更することができる。
　図１３は、演者の服装の色を考慮したRGB混色パターンを含む表示映像を表示させる情報処理装置２１の機能構成例を示すブロック図である。図１３において、図１０の構成と同じ構成には同一の符号を付してある。重複する説明については適宜省略する。
　図１３の情報処理装置２１は、演者認識部５１と服装色抽出部５２を有する点で、図１０の情報処理装置２１と異なる。
　演者認識部５１は、撮影制御部３６からメインカメラ１１の撮影映像またはサブカメラ１２の撮影映像を取得し、撮影映像内の演者が映る大まかな領域を認識する。演者認識部５１は、認識結果を服装色抽出部５２に供給する。
　服装色抽出部５２は、演者認識部５１により認識された撮影映像内の演者が映る大まかな領域の代表的な色を抽出し、代表的な色を演者の服装の色とする。服装色抽出部５２は、演者の服装の色を示す情報をパターン生成部３１に供給する。
　撮影映像内の演者が映る大まかな領域の認識結果は、人間を矩形で囲む認識結果や、演者の一部（例えば手や足の先）が認識から漏れているような認識結果であってもよい。演者と背景の境界が厳密にわからなくても、演者が映る大まかな領域がわかれば、服装色抽出部５２は、ヒストグラムなどの信号処理によって、演者の服装のおおよその色を取得することができる。
　パターン生成部３１は、服装色抽出部５２から供給された演者の服装の色を示す情報に応じた色の単色画像、例えば、演者の服装の色の捕食となる色の単色画像が表示されるようなRGB混色パターンを生成する。
　以上のように、本技術の撮影システムは、演者の服装の色に関わらず、前景背景分離を高精度に行うことが可能となる。
・その他
　以上においては、サブカメラ１２の撮影映像だけに対して前景背景分離を行う例（メインカメラ１１とサブカメラ１２が異なるカメラである例）について説明したが、メインカメラ１１が１台のサブカメラ１２として扱われ、メインカメラ１１の撮影映像に対しても前景背景分離が行われるようにしてもよい。言い換えると、メインカメラ１１とサブカメラ１２は、同一のカメラであってもよい。
　例えば、ISLパターンが背景映像のフレーム画像に重畳されたポジフレームとネガフレームが表示された後に、赤色の単色画像、緑色の単色画像、および青色の単色画像が表示されるといったように、ISLパターンとRGB一様パターン（RGB混色パターン）が組み合わされて表示されるようにしてもよい。
・コンピュータについて
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
　図１４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　CPU５０１，ROM５０２，RAM５０３は、バス５０４により相互に接続されている。
　バス５０４には、さらに、入出力インタフェース５０５が接続される。入出力インタフェース５０５には、キーボード、マウスなどよりなる入力部５０６、ディスプレイ、スピーカなどよりなる出力部５０７が接続される。また、入出力インタフェース５０５には、ハードディスクや不揮発性のメモリなどよりなる記憶部５０８、ネットワークインタフェースなどよりなる通信部５０９、リムーバブルメディア５１１を駆動するドライブ５１０が接続される。
　以上のように構成されるコンピュータでは、CPU５０１が、例えば、記憶部５０８に記憶されているプログラムを入出力インタフェース５０５及びバス５０４を介してRAM５０３にロードして実行することにより、上述した一連の処理が行われる。
　CPU５０１が実行するプログラムは、例えばリムーバブルメディア５１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部５０８にインストールされる。
　コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
・構成の組み合わせ例
　本技術は、以下のような構成をとることもできる。
（１）
　被写体の背景となる映像であって、前記被写体およびディスプレイを撮影する第１のカメラの視点に対応した背景映像とパターン映像とを含む表示映像を、前記第１のカメラの撮影と同期して前記ディスプレイに表示させる表示制御部と、
　前記被写体および前記ディスプレイを、前記ディスプレイの表示と同期して撮影する第２のカメラの撮影映像に含まれる前記パターン映像に基づいて、前記第２のカメラの撮影映像から前記被写体の領域を分離する分離部と
　を備える情報処理装置。
（２）
　前記パターン映像は、所定時間以内に順次表示され前記被写体にとって知覚できない複数の相補的なパターン映像を含む
　前記（１）に記載の情報処理装置。
（３）
　前記複数の相補的なパターン映像は、加法混色により白色を示す赤色画像、緑色画像、および青色画像を含む複数の単色画像を含む
　前記（２）に記載の情報処理装置。
（４）
　前記表示映像は、前記背景映像のフレーム画像と前記複数の単色画像が交互に表示される映像である
　前記（３）に記載の情報処理装置。
（５）
　前記表示映像は、前記複数の単色画像が連続で表示された後に前記背景映像のフレーム画像が表示される映像である
　前記（３）に記載の情報処理装置。
（６）
　前記表示制御部は、前記複数の相補的なパターン映像の輝度に応じて前記背景映像の輝度を減衰させて表示させる
　前記（３）乃至（５）のいずれかに記載の情報処理装置。
（７）
　前記表示制御部は、前記被写体の服装に応じて前記複数の単色画像の色を変更する
　前記（３）乃至（６）のいずれかに記載の情報処理装置。
（８）
　前記第１のカメラの撮影映像または前記第２のカメラの撮影映像から、前記被写体の服装の色を抽出する抽出部をさらに備え、
　前記表示制御部は、前記抽出部により抽出された前記被写体の色に応じて前記複数の単色画像の色を変更する
　前記（７）に記載の情報処理装置。
（９）
　前記複数の相補的なパターン映像は、輝度変化方向が互いに反転している１対のパターン画像を含む
　前記（２）乃至（８）のいずれかに記載の情報処理装置。
（１０）
　前記表示映像は、前記１対のパターン画像が前記背景映像のフレーム画像に重畳されて順次表示される映像である
　前記（９）に記載の情報処理装置。
（１１）
　前記分離部は、前記第２のカメラの撮影映像に含まれる前記パターン映像に基づいて推定された前記第２のカメラの視点に基づいて、前記第２のカメラの撮影映像に含まれる前記表示映像のシミュレーションを行い、前記シミュレーションの結果と前記第２のカメラの撮影映像のフレーム画像との差分に基づいて、前記第２のカメラの撮影映像から前記被写体の領域を分離する
　前記（９）または（１０）に記載の情報処理装置。
（１２）
　前記表示制御部は、前記第１のカメラの撮影映像に含まれる前記パターン映像に基づいて推定された前記第１のカメラの視点に対応した前記背景映像を前記ディスプレイに表示させる
　前記（９）乃至（１１）のいずれかに記載の情報処理装置。
（１３）
　前記表示制御部は、前記第１のカメラの視点の変化に応じて前記背景映像を変化させる
　前記（１）乃至（１２）のいずれかに記載の情報処理装置。
（１４）
　前記第２のカメラの撮影映像内の前記被写体の領域は、前記被写体の３Ｄモデルの生成に用いられる
　前記（１）乃至（１３）のいずれかに記載の情報処理装置。
（１５）
　前記ディスプレイは、LEDディスプレイである
　前記（１）乃至（１４）のいずれかに記載の情報処理装置。
（１６）
　前記第１のカメラと前記第２のカメラは、同一のカメラである
　前記（１）乃至（１５）のいずれかに記載の情報処理装置。
（１７）
　前記第１のカメラと前記第２のカメラは、異なるカメラである
　前記（１）乃至（１５）のいずれかに記載の情報処理装置。
（１８）
　情報処理装置が、
　被写体の背景となる映像であって、前記被写体およびディスプレイを撮影する第１のカメラの視点に対応した背景映像とパターン映像とを含む表示映像を、前記第１のカメラの撮影と同期して前記ディスプレイに表示させ、
　前記被写体および前記ディスプレイを、前記ディスプレイの表示と同期して撮影する第２のカメラの撮影映像に含まれる前記パターン映像に基づいて、前記第２のカメラの撮影映像から前記被写体の領域を分離する
　情報処理方法。
（１９）
　コンピュータに、
　被写体の背景となる映像であって、前記被写体およびディスプレイを撮影する第１のカメラの視点に対応した背景映像とパターン映像とを含む表示映像を、前記第１のカメラの撮影と同期して前記ディスプレイに表示させ、
　前記被写体および前記ディスプレイを、前記ディスプレイの表示と同期して撮影する第２のカメラの撮影映像に含まれる前記パターン映像に基づいて、前記第２のカメラの撮影映像から前記被写体の領域を分離する
　処理を実行させるためのプログラムを記録した記録媒体。
　１１　メインカメラ，　１２　サブカメラ，　１３　LEDディスプレイ，　２１　情報処理装置，　３１　パターン生成部，　３２　背景信号生成部，　３３　表示信号生成部，　３４　表示制御部３４，　３５　同期部，　３６　撮影制御部，　３７　前景背景分離部，　５１　演者認識部，　５２　服装色抽出部

Claims (19)

  1. 　被写体の背景となる映像であって、前記被写体およびディスプレイを撮影する第１のカメラの視点に対応した背景映像とパターン映像とを含む表示映像を、前記第１のカメラの撮影と同期して前記ディスプレイに表示させる表示制御部と、
    　前記被写体および前記ディスプレイを、前記ディスプレイの表示と同期して撮影する第２のカメラの撮影映像に含まれる前記パターン映像に基づいて、前記第２のカメラの撮影映像から前記被写体の領域を分離する分離部と
    　を備える情報処理装置。
  2. 　前記パターン映像は、所定時間以内に順次表示され前記被写体にとって知覚できない複数の相補的なパターン映像を含む
    　請求項１に記載の情報処理装置。
  3. 　前記複数の相補的なパターン映像は、加法混色により白色を示す赤色画像、緑色画像、および青色画像を含む複数の単色画像を含む
    　請求項２に記載の情報処理装置。
  4. 　前記表示映像は、前記背景映像のフレーム画像と前記複数の単色画像が交互に表示される映像である
    　請求項３に記載の情報処理装置。
  5. 　前記表示映像は、前記複数の単色画像が連続で表示された後に前記背景映像のフレーム画像が表示される映像である
    　請求項３に記載の情報処理装置。
  6. 　前記表示制御部は、前記複数の相補的なパターン映像の輝度に応じて前記背景映像の輝度を減衰させて表示させる
    　請求項３に記載の情報処理装置。
  7. 　前記表示制御部は、前記被写体の服装に応じて前記複数の単色画像の色を変更する
    　請求項３に記載の情報処理装置。
  8. 　前記第１のカメラの撮影映像または前記第２のカメラの撮影映像から、前記被写体の服装の色を抽出する抽出部をさらに備え、
    　前記表示制御部は、前記抽出部により抽出された前記被写体の色に応じて前記複数の単色画像の色を変更する
    　請求項７に記載の情報処理装置。
  9. 　前記複数の相補的なパターン映像は、輝度変化方向が互いに反転している１対のパターン画像を含む
    　請求項２に記載の情報処理装置。
  10. 　前記表示映像は、前記１対のパターン画像が前記背景映像のフレーム画像に重畳されて順次表示される映像である
    　請求項９に記載の情報処理装置。
  11. 　前記分離部は、前記第２のカメラの撮影映像に含まれる前記パターン映像に基づいて推定された前記第２のカメラの視点に基づいて、前記第２のカメラの撮影映像に含まれる前記表示映像のシミュレーションを行い、前記シミュレーションの結果と前記第２のカメラの撮影映像のフレーム画像との差分に基づいて、前記第２のカメラの撮影映像から前記被写体の領域を分離する
    　請求項９に記載の情報処理装置。
  12. 　前記表示制御部は、前記第１のカメラの撮影映像に含まれる前記パターン映像に基づいて推定された前記第１のカメラの視点に対応した前記背景映像を前記ディスプレイに表示させる
    　請求項９に記載の情報処理装置。
  13. 　前記表示制御部は、前記第１のカメラの視点の変化に応じて前記背景映像を変化させる
    　請求項１に記載の情報処理装置。
  14. 　前記第２のカメラの撮影映像内の前記被写体の領域は、前記被写体の３Ｄモデルの生成に用いられる
    　請求項１に記載の情報処理装置。
  15. 　前記ディスプレイは、LEDディスプレイである
    　請求項１に記載の情報処理装置。
  16. 　前記第１のカメラと前記第２のカメラは、同一のカメラである
    　請求項１に記載の情報処理装置。
  17. 　前記第１のカメラと前記第２のカメラは、異なるカメラである
    　請求項１に記載の情報処理装置。
  18. 　情報処理装置が、
    　被写体の背景となる映像であって、前記被写体およびディスプレイを撮影する第１のカメラの視点に対応した背景映像とパターン映像とを含む表示映像を、前記第１のカメラの撮影と同期して前記ディスプレイに表示させ、
    　前記被写体および前記ディスプレイを、前記ディスプレイの表示と同期して撮影する第２のカメラの撮影映像に含まれる前記パターン映像に基づいて、前記第２のカメラの撮影映像から前記被写体の領域を分離する
    　情報処理方法。
  19. 　コンピュータに、
    　被写体の背景となる映像であって、前記被写体およびディスプレイを撮影する第１のカメラの視点に対応した背景映像とパターン映像とを含む表示映像を、前記第１のカメラの撮影と同期して前記ディスプレイに表示させ、
    　前記被写体および前記ディスプレイを、前記ディスプレイの表示と同期して撮影する第２のカメラの撮影映像に含まれる前記パターン映像に基づいて、前記第２のカメラの撮影映像から前記被写体の領域を分離する
    　処理を実行させるためのプログラムを記録した記録媒体。
PCT/JP2023/022682 2022-07-07 2023-06-20 情報処理装置、情報処理方法、および記録媒体 WO2024009745A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022109741 2022-07-07
JP2022-109741 2022-07-07

Publications (1)

Publication Number Publication Date
WO2024009745A1 true WO2024009745A1 (ja) 2024-01-11

Family

ID=89453277

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/022682 WO2024009745A1 (ja) 2022-07-07 2023-06-20 情報処理装置、情報処理方法、および記録媒体

Country Status (1)

Country Link
WO (1) WO2024009745A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008097191A (ja) * 2006-10-10 2008-04-24 Fujifilm Corp 画像合成システム
WO2020262261A1 (ja) * 2019-06-28 2020-12-30 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
WO2021157196A1 (ja) * 2020-02-04 2021-08-12 ソニーグループ株式会社 情報処理装置及び情報処理方法、並びにコンピュータプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008097191A (ja) * 2006-10-10 2008-04-24 Fujifilm Corp 画像合成システム
WO2020262261A1 (ja) * 2019-06-28 2020-12-30 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
WO2021157196A1 (ja) * 2020-02-04 2021-08-12 ソニーグループ株式会社 情報処理装置及び情報処理方法、並びにコンピュータプログラム

Similar Documents

Publication Publication Date Title
US20190230317A1 (en) Immersive mixed reality snapshot and video clip
JP2010238108A (ja) 映像処理装置、映像処理方法及びコンピュータプログラム
JP6799017B2 (ja) 端末装置、システム、プログラム及び方法
CN112446939A (zh) 三维模型动态渲染方法、装置、电子设备及存储介质
US11778154B2 (en) Low latency chroma keying embedded in a head-mounted display for mixed reality
JP2020013216A (ja) 装置、制御方法、及びプログラム
US20120281905A1 (en) Method of image processing and associated apparatus
CN105611267B (zh) 现实世界和虚拟世界图像基于深度和色度信息的合并
EP4083993A1 (en) Systems and methods employing multiple graphics processing units for producing images
US20070122029A1 (en) System and method for capturing visual data and non-visual data for multi-dimensional image display
US11941729B2 (en) Image processing apparatus, method for controlling image processing apparatus, and storage medium
JP4214529B2 (ja) 奥行き信号生成装置、奥行き信号生成プログラム、擬似立体画像生成装置、及び擬似立体画像生成プログラム
CN108632538B (zh) 一种cg动画和相机阵列相结合的子弹时间拍摄系统及方法
KR100540732B1 (ko) 2차원 영상신호를 3차원 영상신호로 변환하는 장치
WO2024009745A1 (ja) 情報処理装置、情報処理方法、および記録媒体
JP4214527B2 (ja) 擬似立体画像生成装置及び擬似立体画像生成プログラム並びに擬似立体画像表示システム
EP3679769A1 (en) Lighting method and system to improve the perspective colour perception of an image observed by a user
KR101733125B1 (ko) 배경스크린이 필요 없는 크로마키 영상 합성 방법
US8977043B2 (en) Method of image depth estimation and apparatus thereof
KR102273655B1 (ko) 적대적 생성 신경망 알고리즘을 활용한 초분광 고속 카메라 영상 생성 방법
KR101251049B1 (ko) 스테레오스코픽 3차원 영상 시스템
US20210297649A1 (en) Image data output device, content creation device, content reproduction device, image data output method, content creation method, and content reproduction method
WO2021153261A1 (ja) 制御装置、撮影システム、および３ｄモデルデータ生成方法
WO2023026543A1 (ja) 情報処理装置、情報処理方法、及びプログラム
Smirnov et al. Magenta Green Screen: Spectrally Multiplexed Alpha Matting with Deep Colorization

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23835279

Country of ref document: EP

Kind code of ref document: A1