WO2023095392A1 - 情報処理装置、情報処理システム、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理システム、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2023095392A1
WO2023095392A1 PCT/JP2022/030715 JP2022030715W WO2023095392A1 WO 2023095392 A1 WO2023095392 A1 WO 2023095392A1 JP 2022030715 W JP2022030715 W JP 2022030715W WO 2023095392 A1 WO2023095392 A1 WO 2023095392A1
Authority
WO
WIPO (PCT)
Prior art keywords
marker
information processing
display
display device
camera
Prior art date
Application number
PCT/JP2022/030715
Other languages
English (en)
French (fr)
Inventor
嵩明 加藤
辰起 柏谷
真也 金子
隆志 紺野
友己 小野
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2023095392A1 publication Critical patent/WO2023095392A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment

Definitions

  • the present disclosure relates to an information processing device, an information processing system, an information processing method, and a program.
  • in-camera VFX With in-camera VFX, by displaying an image of a virtual three-dimensional space on a wall-shaped display device that surrounds the performer, the performer in the foreground and the background image displayed on the display device are displayed seamlessly. can be integrated. According to this, the in-camera VFX can add a visual effect to the image of the virtual three-dimensional space displayed on the display device.
  • the image displayed on the display device within the viewing angle of the camera is controlled following the movement of the camera.
  • the display device is controlled so that the image visually recognized by the imaging camera in the virtual three-dimensional space is always displayed within the viewing angle of the imaging camera.
  • the imaging camera can capture an image as if it were being captured in a real-world location due to the parallax effect. Therefore, in in-camera VFX, it is important to track the position and orientation of the photographic camera and display an image according to the viewpoint of the photographic camera on the display device.
  • Patent Document 1 discloses a technique for estimating the self-position of a mobile object.
  • the self-position of the mobile object can be estimated based on the relative position of the mobile object with respect to the display device and the position information of the display device on the map information.
  • in-camera VFX a large number of physical markers are installed in the shooting environment, and the position and orientation of the shooting camera are estimated by detecting the installed physical markers with a tracking camera mounted on the shooting camera. It is however, setting a large number of physical markers in the shooting environment is extremely troublesome, which leads to an increase in the shooting time and the shooting cost due to the in-camera VFX.
  • the present disclosure proposes a new and improved information processing device, information processing system, information processing method, and program that enable easier estimation of the position and orientation of a photographing camera.
  • a position estimation unit that estimates the position and orientation of a camera that captures an image displayed on the display device as a background using a plurality of markers present on the display surface of the display device; and a marker control unit that controls display or non-display of each of the markers based on the viewing angle of the imaging camera determined from the position and orientation of the camera.
  • the arithmetic processing unit estimates the position and orientation of a camera that captures an image displayed on the display device as a background using a plurality of markers present on the display surface of the display device. and controlling display or non-display of each of the markers based on the viewing angle of the imaging camera determined from the position and orientation of the imaging camera.
  • a computer performs position estimation for estimating the position and orientation of a camera that captures an image displayed on the display device as a background using a plurality of markers present on the display surface of the display device. and a marker control unit that controls display or non-display of each of the markers based on the viewing angle of the imaging camera determined from the position and orientation of the imaging camera. .
  • FIG. 1 is an explanatory diagram schematically showing an information processing system according to an embodiment of the present disclosure
  • FIG. It is a block diagram which shows the whole structure of the information processing system which concerns on the same embodiment.
  • 2 is a block diagram showing the functional configuration of the information processing device according to the same embodiment;
  • FIG. It is a flowchart figure explaining the flow of the example of operation
  • FIG. 11 is a sequence diagram illustrating the flow of an example of operation of the information processing system according to the first modified example;
  • FIG. 11 is an explanatory diagram showing display or non-display of markers in time series in an information processing system according to a second modified example;
  • FIG. 11 is an explanatory diagram showing a method of estimating the three-dimensional position of a marker in an information processing system according to a third modified example
  • FIG. 11 is an explanatory diagram showing a method of estimating the three-dimensional position of a marker in an information processing system according to a third modified example
  • FIG. 20 is an explanatory diagram illustrating each region of a display device in an information processing system according to a fifth modified example
  • 2 is a block diagram showing a configuration example of a computer device, which is hardware of the information processing device according to the embodiment;
  • FIG. 11 is an explanatory diagram showing a method of estimating the three-dimensional position of a marker in an information processing system according to a third modified example
  • FIG. 20 is an explanatory diagram illustrating each region of a display device in an information processing system according to a fifth modified example
  • 2 is a block diagram showing a configuration example of a computer device, which is hardware of the information processing device according to the embodiment
  • Information processing system 1.1. Overall Configuration of Information Processing System 1.2. Configuration of information processing apparatus 2 . Operation example 3. Modification 3.1. First modification 3.2. Second modification 3.3. Third modification 3.4. Fourth modification 3.5. Fifth Modification 4. hardware
  • FIG. 1 is an explanatory diagram schematically showing an information processing system 1 according to this embodiment.
  • FIG. 2 is a block diagram showing the overall configuration of the information processing system 1 according to this embodiment.
  • the information processing system 1 includes, for example, a display device 100A, a display device 100B, and a photographing camera 200.
  • the information processing system 1 is a photographing system for photographing the performance of the performer 2 with the photographing camera 200 against the background of the images displayed on the display devices 100A and 100B.
  • the information processing system 1 can realize so-called in-camera VFX by adding computer graphics or the like to the images displayed on the display devices 100A and 100B.
  • the display device 100A is installed on the ceiling that covers the space where the performer 2 exists, and the display device 100B is installed on the wall surface that circularly surrounds the space where the performer 2 exists.
  • the display devices 100A and 100B can display a virtual three-dimensional space image that serves as the background of the scene performed by the performer 2, and can provide ambient light in the three-dimensional space.
  • the display devices 100A and 100B are collectively referred to as the display device 100 below.
  • the display device 100 may be, for example, an LED display device in which each pixel is composed of an LED (Light Emitting Diode).
  • the display device 100 is an LED display device capable of displaying a high-resolution and high-quality image, the display device 100 can further enhance the sense of immersion and realism of the image captured by the imaging camera 200 .
  • the shooting camera 200 shoots the image of the scene performed by the performer 2. Specifically, the photographing camera 200 photographs the performance of the performer 2 in the foreground with the image displayed on the display device 100B as the background. Thereby, the imaging camera 200 can capture an image as if the performer 2 were acting in the virtual three-dimensional space of the background image displayed on the display device 100 .
  • the background image displayed on the display device 100 within the viewing angle of the photographing camera 200 is controlled following the movement of the viewpoint of the photographing camera 200 .
  • the background image displayed on the display device 100 within the viewing angle of the imaging camera 200 is visually recognized by the imaging camera 200 when the imaging camera 200 moves within the virtual three-dimensional space of the background image.
  • the image is controlled to be Since a parallax effect is generated by such control, the image captured by the imaging camera 200 can give the impression of being captured in a virtual three-dimensional space with the background image displayed on the display device 100. can.
  • a background image that serves as the background of the scene and is dynamically controlled following movement of the viewpoint of the imaging camera 200 may be displayed.
  • the display device 100A outside the viewing angle of the imaging camera 200 may display a fixed-viewpoint image that provides ambient light in a three-dimensional space.
  • the information processing system 1 In order to realize the above control, it is important for the information processing system 1 to estimate the position and orientation of the imaging camera 200 with respect to the display device 100 . Specifically, as shown in FIG. 2 , the information processing system 1 detects the marker 110 present on the display surface of the display device 100 with the tracking camera 300 integrated with the imaging camera 200 . position and pose can be estimated.
  • a plurality of markers 110 are provided on the display surface of the display device 100 .
  • the marker 110 may be provided on the display device 100B that displays a background image that follows the movement of the viewpoint of the imaging camera 200, or may be provided on the display device 100A that displays a fixed-viewpoint image that provides ambient light in a three-dimensional space.
  • marker 110 may be provided as an image in an image displayed on the display surface of display device 100 .
  • the marker 110 may be provided as an image of a mark, texture, or two-dimensional code (eg, QR code (registered trademark)).
  • An image that functions as such a marker 110 is also referred to as a digital marker.
  • the markers 110 may be provided as pixels on the display surface of the display device 100 . More specifically, the markers 110 may be provided on the display surface of the display device 100 as pixels that emit infrared rays (InfraRed: IR).
  • the tracking camera 300 is an imaging device capable of detecting the marker 110 and is provided integrally with the imaging camera 200 . Note that the viewing angle of the tracking camera 300 may be different from the viewing angle of the imaging camera 200 . In such a case, the tracking camera 300 can efficiently image the marker 110 outside the viewing angle of the imaging camera 200 .
  • the information processing device 400 estimates the positions and orientations of the tracking camera 300 and the imaging camera 200 based on the detection result of the marker 110 by the tracking camera 300 . Specifically, the information processing device 400 estimates the positions and orientations of the tracking camera 300 and the imaging camera 200 based on the three-dimensional position of the marker 110 and the two-dimensional position of the marker 110 captured by the tracking camera 300. can do.
  • the information processing apparatus 400 causes the background image displayed on the display device 100 within the viewing angle of the imaging camera 200 to follow the position and orientation of the imaging camera 200. can move.
  • the information processing device 400 further controls display or non-display of the marker 110 based on the viewing angle of the imaging camera 200 . Specifically, the information processing apparatus 400 displays or hides the markers 110 so that the markers 110 within the viewing angle of the imaging camera 200 are hidden and the markers 110 outside the viewing angle of the imaging camera 200 are displayed. Control. According to this, the information processing device 400 can prevent the marker 110 embedded in the display device 100 from being reflected in the photographing camera 200 . Details of the control by the information processing device 400 will be described later.
  • the information processing system 1 having the above configuration can more easily install the markers 110 by providing the markers 110 as images or pixels on the display device 100 without installing a large number of physical markers on the wall or ceiling of the shooting environment. can do. According to this, the information processing system 1 can estimate the position and orientation of the imaging camera 200 using the marker 110 that is installed more easily. Further, the information processing system 1 can control display or non-display of the marker 110 present on the display surface of the display device 100 based on the viewing angle of the imaging camera 200 . It is possible to prevent it from being reflected in the image.
  • FIG. 3 is a block diagram showing the functional configuration of the information processing device 400. As shown in FIG.
  • the information processing device 400 includes a marker extraction unit 410, a three-dimensional position acquisition unit 420, a position estimation unit 430, an image generation unit 440, a marker control unit 450, and a display control unit 460. Prepare.
  • a marker extraction unit 410 extracts the marker 110 from the image captured by the tracking camera 300 .
  • the marker extraction unit 410 extracts an image of the marker 110, which is a unique mark, texture, or two-dimensional code image. may be extracted by image recognition from Further, when the markers 110 are IR pixels embedded in the display surface of the display device 100, the marker extraction unit 410 may extract the markers 110, which are bright spots of IR light, from the captured image. Thereby, the marker extraction unit 410 can derive the two-dimensional position of the marker 110 on the image captured by the tracking camera 300 .
  • the marker 110 may be provided on the display surface of the display device 100B arranged on the wall surface that circularly surrounds the space where the performer 2 exists, or on the ceiling that covers the space where the performer 2 exists. It may be provided on the display surface of the arranged display device 100A.
  • the markers 110 display a fixed-viewpoint image that provides ambient light in a three-dimensional space. It may be provided on the display surface of the display device 100 to be displayed.
  • the marker 110 may be provided on the display surface of the display device 100A placed on the ceiling to display a fixed-viewpoint image that provides ambient light in a three-dimensional space. Since the fixed viewpoint image displayed on the display device 100A arranged on the ceiling is not captured by the imaging camera 200, the information processing system 1 reliably prevents the marker 110 from being reflected in the image captured by the imaging camera 200. can be done.
  • the 3D position acquisition unit 420 acquires the 3D position of the marker 110 .
  • the three-dimensional position acquisition unit 420 may acquire the three-dimensional position of the marker 110 pre-stored in a storage unit or the like, or may acquire the three-dimensional position of the marker 110 from the display device 100 .
  • three-dimensional position acquisition section 420 derives the three-dimensional position of marker 110 based on the shape of the display surface of display device 100 and the two-dimensional display position of marker 110 on display device 100. may Furthermore, the three-dimensional position acquisition section 420 may derive the three-dimensional position of the marker 110 based on the depth information from the tracking camera 300 to the display device 100 and the image captured by the tracking camera 300 .
  • the position estimating unit 430 calculates the position of the imaging camera 200 and the Estimate pose. Specifically, position estimation section 430 first determines the correspondence relationship between the three-dimensional position of marker 110 and the two-dimensional position of marker 110 derived by marker extraction section 410 . Next, the position estimation unit 430 estimates the position and orientation of the marker 110 existing at the three-dimensional position and the two-dimensional position derived by the marker extraction unit 410, thereby estimating the position and orientation of the tracking camera 300. to estimate Subsequently, the position estimating unit 430 adjusts the offset of the position and orientation between the tracking camera 300 and the imaging camera 200 with respect to the estimated position and orientation of the tracking camera 300 to obtain the position and orientation of the imaging camera 200 . and pose can be estimated.
  • the position estimation unit 430 can determine the correspondence between the three-dimensional positions of the markers 110 and the two-dimensional positions of the markers 110 . For example, when the markers 110 are present in an aperiodic distribution on the display surface of the display device 100, the position estimating unit 430 correlates the unique distribution patterns of the markers 110 with each other to obtain the two-dimensional positions of the markers 110 and the Correspondence with three-dimensional positions can be determined. On the other hand, when the markers 110 are present on the display surface of the display device 100 in a periodic distribution such as a tetragonal lattice, it is difficult to identify each of the markers 110 unless each of the markers 110 is a unique two-dimensional code. In such a case, it is difficult to determine the correspondence between the two-dimensional position and the three-dimensional position of the marker 110, which is not preferable.
  • the image generator 440 generates a virtual three-dimensional space that serves as the base of the image displayed on the display device 100 . Specifically, the image generator 440 may generate a virtual three-dimensional space using computer graphics.
  • the image displayed on the display device 100 is an image from one viewpoint in the virtual three-dimensional space generated by the image generation unit 440.
  • an image that is displayed on the display device 100 (for example, the display device 100B) within the viewing angle of the imaging camera 200 and serves as the background of the captured scene is a virtual image from a viewpoint corresponding to the position and orientation of the imaging camera 200. It may be an image showing a three-dimensional space.
  • an image that is displayed on the display device 100 (for example, the display device 100A) outside the viewing angle of the imaging camera 200 and that provides the ambient light of the scene to be shot is a virtual three-dimensional space from a fixed viewpoint according to the scene. may be an image showing the
  • the image generator 440 may generate the marker 110 embedded as an image in the image displayed on the display device 100 .
  • the markers 110 embedded as images in the image are images of unique marks, textures, or two-dimensional codes, as described above.
  • the image generator 440 may embed the markers 110 described above in the generated virtual three-dimensional space.
  • the position and orientation of the imaging camera 200 derived from the marker 110 positioned on the display surface of the display device 100 are estimated as the position and orientation with respect to the display surface of the display device 100 .
  • the position and orientation of the photographing camera 200 are aligned with the display device 100 . Therefore, in order to generate an image in a virtual three-dimensional space from a viewpoint corresponding to the position and orientation of the imaging camera 200, it is necessary to align the virtual three-dimensional space with the display device 100 or the imaging camera 200. more is needed.
  • the position and orientation of the imaging camera 200 derived from the markers 110 embedded in the virtual three-dimensional space are estimated as the position and orientation with respect to the virtual three-dimensional space.
  • the position and orientation of the imaging camera 200 are aligned with the virtual three-dimensional space. Therefore, the image generator 440 can generate a virtual three-dimensional space image from a viewpoint corresponding to the position and orientation of the imaging camera 200 without performing additional alignment. Therefore, when the marker 110 is embedded in a virtual three-dimensional space, it is possible to more easily generate an image of the virtual three-dimensional space from a viewpoint corresponding to the position and orientation of the imaging camera 200 .
  • the markers 110 are non-uniform so that each distribution pattern is unique in order to more easily determine the correspondence between the three-dimensional positions of the markers 110 and the two-dimensional positions of the markers 110 . They may be arranged in a periodic distribution.
  • the image generator 440 does not generate an image of the marker 110 when the marker 110 is provided as a pixel on the display surface of the display device 100 .
  • the marker control unit 450 controls display or non-display of the marker 110 based on the viewing angle of the imaging camera 200 . Specifically, the marker control unit 450 controls not to display the marker 110 within the viewing angle of the imaging camera 200 estimated based on the position and orientation of the imaging camera 200, and controls to hide the marker 110 outside the viewing angle of the imaging camera 200. Control the marker 110 to be displayed. According to this, the marker control unit 450 can prevent the marker 110 embedded in the display device 100 from entering the viewing angle of the imaging camera 200 and being reflected in the captured image.
  • the tracking camera 300 since the tracking camera 300 has a viewing angle different from that of the imaging camera 200, the marker 110 included outside the viewing angle of the imaging camera 200 can be imaged more efficiently.
  • the marker control unit 450 may further control the size, color, or distribution of the markers 110 .
  • the marker control unit 450 may control the size of the marker 110 based on the distance from the tracking camera 300 to the marker 110. For example, the marker control unit 450 may control the size of the marker 110 so that the marker 110 becomes larger as the distance from the tracking camera 300 to the marker 110 increases. According to this, the marker control unit 450 can suppress deterioration in the visibility of the marker 110 at a long distance from the tracking camera 300 .
  • the marker control unit 450 may control the color of the marker 110 based on the color of the image in the virtual three-dimensional space generated by the image generation unit 440. For example, the marker control unit 450 may control the color of the marker 110 for each scene so that the color of the image in which the marker 110 exists and the color of the marker 110 are similar in color. According to this, the marker control unit 450 can suppress the possibility that the marker 110 affects the color of the ambient light of the scene to be shot.
  • the marker control unit 450 may control the distribution of the markers 110 based on the curvature of the display surface of the display device 100. For example, the marker control unit 450 may control the distribution of the markers 110 for each display device 100 such that the higher the curvature of the display surface of the display device 100 and the more complicated the shape, the higher the density of the distribution of the markers 110 . . According to this, the marker control section 450 can suppress deterioration in detection accuracy of the marker 110 due to the shape of the display surface of the display device 100 .
  • the display control unit 460 controls the overall image displayed on the display device 100 .
  • the display control unit 460 controls the image displayed on the display device 100 within the viewing angle of the imaging camera 200 .
  • the display control unit 460 follows the position and orientation of the imaging camera 200 and displays an image that reproduces the viewpoint of the imaging camera 200 in the virtual three-dimensional space within the viewing angle of the imaging camera 200. 100 may be displayed.
  • the display control unit 460 controls the image displayed on the display device 100 in accordance with changes in the position and orientation of the imaging camera 200, so that the imaging camera 200 can be displayed in a virtual three-dimensional space. It is possible to display an image on the display device 100 as if it were taken by a camera.
  • the display control unit 460 controls the image displayed on the display device 100 outside the viewing angle of the imaging camera 200 .
  • the display control unit 460 may cause the display device 100 outside the viewing angle of the imaging camera 200 to display a fixed-viewpoint image in a virtual three-dimensional space.
  • the display control unit 460 provides environment light of a virtual three-dimensional space to the scene photographed by the photographing camera 200 by the image displayed on the display device 100 outside the viewing angle of the photographing camera 200. can do.
  • the display device 100 within the viewing angle of the imaging camera 200 is controlled so that the marker 110 is not displayed, and an image in a virtual three-dimensional space following the position and orientation of the imaging camera 200 can be displayed. can. Also, the display device 100 outside the viewing angle of the imaging camera 200 is controlled to display the marker 110 and can display an image in a virtual three-dimensional space with a fixed viewpoint.
  • the information processing apparatus 400 displays or hides the marker 110 existing on the display surface of the display device 100 based on the viewing angle of the imaging camera 200 estimated from the position and orientation of the imaging camera 200. can be controlled. Therefore, the information processing apparatus 400 can more easily install the marker 110 used for the position and orientation of the imaging camera 200 and can prevent the marker 110 from being reflected in the imaging camera 200 .
  • FIG. 4 is a flowchart for explaining the flow of an operation example of the information processing apparatus 400 according to this embodiment.
  • the marker extraction unit 410 extracts the marker 110 from the captured image of the marker 110 by the tracking camera 300 (S101), and derives the two-dimensional position of the marker 110 (S102).
  • the three-dimensional position acquisition unit 420 acquires the three-dimensional position of the marker 110 (S103).
  • the 3D position acquisition unit 420 may acquire the 3D position of the marker 110 stored in advance, or may derive the 3D position of the marker 110 using various types of information.
  • the position estimation unit 430 estimates the position and orientation of the imaging camera 200 (S104). Specifically, position estimation section 430 first estimates the position and orientation of tracking camera 300 based on the correspondence relationship between the two-dimensional position of marker 110 and the three-dimensional position of marker 110 in the captured image. After that, the position estimation unit 430 may estimate the position and orientation of the imaging camera 200 by adjusting the offset between the position and orientation of the tracking camera 300 and the position and orientation of the imaging camera 200 .
  • the image generation unit 440 generates a virtual three-dimensional space displayed on the display device 100 using computer graphics (S105).
  • the marker control unit 450 determines whether the marker 110 is included in the viewing angle of the imaging camera 200 derived from the position and orientation of the imaging camera 200 (S106). If the marker 110 is included within the viewing angle of the imaging camera 200 (S106/Yes), the marker control unit 450 controls the marker 110 not to be displayed (S107). On the other hand, if the marker 110 is not included within the viewing angle of the imaging camera 200 (S106/No), the marker control unit 450 controls the marker 110 to be displayed (S108). The marker control unit 450 performs the display or non-display control described above for each of the markers 110 .
  • the marker control unit 450 determines whether display or non-display of all the markers 110 has been controlled (S109). If the display or non-display of all the markers 110 is not controlled (S109/No), the marker control unit 450 executes the control of steps S106 to S108 for the markers 110 whose display or non-display is not controlled. .
  • the display control unit 460 controls the image displayed on the display device 100 (S110). Specifically, the display control unit 460 visually recognizes the virtual three-dimensional space on the display device 100 within the viewing angle of the imaging camera 200 from a viewpoint corresponding to the position and orientation of the imaging camera 200, and also allows the marker 110 to be displayed non-visually. Causes the display to display a controlled image. In addition, the display control unit 460 displays an image controlled so that the virtual three-dimensional space is viewed from a predetermined fixed viewpoint and the marker 110 is displayed on the display device 100 outside the viewing angle of the imaging camera 200. Let
  • the information processing apparatus 400 controls display or non-display of the marker 110 embedded in the display device 100 based on the viewing angle of the imaging camera 200 estimated from the position and orientation of the imaging camera 200. can do.
  • FIG. 5 is a sequence diagram illustrating the flow of an operation example of the information processing system 1 according to the first modified example.
  • the information processing system 1 switches between the display of the marker 110 and the display of the virtual three-dimensional space image serving as the background of the scene for each time-divided frame on the display device 100. Therefore, it is possible to prevent the marker 110 from being reflected in the captured image of the imaging camera 200 .
  • the tracking camera 300 outputs a marker display request to cause the marker control unit 450 to display the marker 110 (S201). Accordingly, the marker control unit 450 outputs a marker display instruction to display the marker 110 on the display device 100 (S202), and the display device 100 displays the marker 110 (S203, S204). After that, the tracking camera 300 images the marker 110 displayed on the display device 100 (S205).
  • the imaging camera 200 outputs a background image display request to display the background image on the marker control unit 450 (S207). Accordingly, the marker control unit 450 outputs a background image display instruction to the display device 100 to hide the marker 110 and display a background image (S208), and the display device 100 hides the marker 110. , the background image is displayed (S209, S210). After that, the imaging camera 200 captures a background image that serves as the background of the scene displayed on the display device 100 (S211).
  • the tracking camera 300 captures the marker 110 (S201 to S205) again.
  • the information processing system 1 captures the image of the marker 110 for estimating the position and orientation of the imaging camera 200 and creates a virtual three-dimensional space that serves as the background of the scene. can be performed at the same time.
  • the imaging of the marker 110 by the tracking camera 300 and the imaging of the virtual three-dimensional space by the imaging camera 200 are alternately executed for each time-divided frame. be done. That is, in the information processing system 1 according to the first modified example, since no image is captured by the imaging camera 200 when the marker 110 is displayed, even if the marker 110 is displayed within the viewing angle of the imaging camera 200, It is possible to prevent the marker 110 from being reflected in the captured image of the imaging camera 200 .
  • FIG. 6 is an explanatory diagram showing display or non-display of the marker 110 in time series in the information processing system 1 according to the second modification.
  • the information processing system 1 changes the display or non-display pattern of each of the markers 110 for each time-divided frame, thereby making it easier to identify each of the markers 110. It is possible.
  • the marker control unit 450 controls display or non-display of each of the markers 110 so that each marker 110 has a different display or non-display pattern for each time-divided imaging frame. You may For example, the marker control unit 450 may control the display or non-display of each marker 110 so that the display or non-display of each marker 110 has a unique pattern in chronological order.
  • the position estimator 430 can more easily identify each of the markers 110 based on the unique time-series pattern of display or non-display of the markers 110 . Therefore, since position estimation section 430 can identify each of markers 110 in the captured image captured by tracking camera 300, the correspondence relationship between the two-dimensional position of marker 110 and the three-dimensional position of marker 110 can be more accurately determined. can be easily identified.
  • FIG. 7 and 8 are explanatory diagrams showing a method of estimating the three-dimensional position of the marker 110 in the information processing system 1 according to the third modification.
  • the information processing system 1 can derive the three-dimensional position of the marker 110 by further using information about the distance to the display device 100 or the shape of the display device 100 .
  • the imaging camera 200 and the tracking camera 300 may be further provided with a distance measuring device 210 .
  • Distance measuring device 210 is, for example, a ToF (Time of Flight) sensor, and can measure the distance to marker 110 embedded in display device 100 .
  • three-dimensional position acquisition section 420 uses the two-dimensional position of marker 110 on the display surface of display device 100 and information on the distance (depth) from distance measuring device 210 to marker 110 to obtain a marker position. 110 three-dimensional positions can be obtained.
  • the information processing system 1 displays a predetermined two-dimensional pattern 120 on the display surface of the display device 100, and captures an image of the displayed two-dimensional pattern 120.
  • the shape of the surface may be measured. Specifically, when the two-dimensional pattern 120 is displayed or projected onto an uneven display surface, the displayed or projected two-dimensional pattern 120 is distorted according to the unevenness of the display surface. Therefore, the three-dimensional position acquisition unit 420 can measure the shape of the display surface of the display device 100 by detecting the distortion of the displayed or projected two-dimensional pattern 120 . Therefore, three-dimensional position acquisition section 420 can acquire the three-dimensional position of marker 110 by using the two-dimensional position of marker 110 on the display surface of display device 100 and the shape of the display surface of display device 100. can.
  • the two-dimensional pattern is preferably a denser and more complicated pattern.
  • the marker extraction unit 410 recognizes feature points (for example, corners or ridges of the object's outer shape) appearing in the fixed-viewpoint image displayed on the display device 100 outside the viewing angle of the imaging camera 200. and the recognized feature point may be extracted as the marker 110 .
  • the position estimation unit 430 can estimate the position and orientation of the imaging camera 200 from the feature points of the image displayed on the display device 100 outside the viewing angle of the imaging camera 200 .
  • the image displayed on the display device 100 outside the viewing angle of the imaging camera 200 may be moving.
  • the movement of the image displayed on the display device 100 outside the viewing angle of the imaging camera 200 can be grasped by the image generation unit 440 or the display control unit 460 . Therefore, by correcting the movement of the image displayed on the display device 100, the position estimation unit 430 can estimate the position and orientation of the photographing camera 200 from the feature points of the image in the same manner as the fixed-viewpoint image.
  • the position estimation unit 430 performs Visual SLAM (Simultaneous Localization and Mapping) on the virtual three-dimensional space of the image displayed on the display device 100 to create a map of the virtual three-dimensional space and Self-localization may be performed.
  • the position estimation section 430 can directly estimate the self-position of the imaging camera 200 in the virtual three-dimensional space.
  • the viewpoint of the image displayed on the display device 100 may be changed in accordance with changes in the position and orientation of the imaging camera 200 regardless of whether it is within the viewing angle of the imaging camera 200 or outside the viewing angle. preferable.
  • the foreground such as the performer 2 , the moving object, or the props is separated from the image captured by the tracking camera 300 and displayed on the display device 100 . It is important to extract only the displayed background image.
  • the marker extraction unit 410 obtains the difference between the image output to the display device 100 and the image actually captured by the tracking camera 300 , thereby extracting the foreground of the performer 2 from the image captured by the tracking camera 300 . can be separated.
  • the marker extraction unit 410 extracts the It is possible to separate existing objects as foreground. Furthermore, when the shape of the display surface of display device 100 is known, marker extraction section 410 can separate an object existing in front of the display surface of display device 100 as the foreground.
  • FIG. 9 is an explanatory diagram illustrating each region of the display device 100 in the information processing system 1 according to the fifth modification.
  • the information processing system 1 controls display or non-display of the marker 110 based on whether the marker 110 is included in the area set based on the viewing angle of the imaging camera 200. can be done.
  • the inner frustum IF is set outside the viewing angle VA of the imaging camera 200.
  • a content area CA is set inside the .
  • a region of the display surface outside the inner frustum IF is called an outer frustum OF.
  • the entire display surface becomes the outer frustum OF.
  • the inner frustum IF is, for example, an area obtained by enlarging the viewing angle VA of the imaging camera 200 outward by a predetermined width (for example, about several tens of centimeters).
  • the inner frustum IF is an area where an image is displayed in which the viewpoint changes following changes in the position and orientation of the imaging camera 200 in order to reproduce the viewpoint of the imaging camera 200 in a virtual three-dimensional space.
  • the outer frustum OF outside the inner frustum IF is an area in which a fixed-viewpoint image in a three-dimensional space that provides ambient light in a virtual three-dimensional space is displayed.
  • the content area CA is an area within a predetermined width (for example, about several tens of centimeters) from the viewing angle VA of the imaging camera 200 . Of the images captured by the imaging camera 200, the image of the content area CA is used for the actual video content.
  • the information processing system 1 displays or hides the marker 110 present on the display surface of the display device 100 based on whether it is included in the inner frustum IF instead of the viewing angle VA. may be controlled. Specifically, the information processing system 1 controls to hide the markers 110 included in the inner frustum IF, and displays the markers 110 not included in the inner frustum IF (that is, included in the outer frustum OF). may be controlled to allow In such a case, the information processing system 1 controls the display or non-display of the marker 110 based on the inner frustum IF wider than the viewing angle VA, thereby ensuring that the marker 110 is captured by the photographing camera 200. It is possible to prevent
  • the information processing system 1 may control display or non-display of the marker 110 existing on the display surface of the display device 100 based on whether or not the marker 110 is included in the content area CA instead of the viewing angle VA. .
  • the information processing system 1 may control to hide the markers 110 included in the content area CA and to display the markers 110 not included in the content area CA.
  • the information processing system 1 can detect the position of the imaging camera 200 without using the tracking camera 300 by imaging the marker 110 existing outside the content area CA within the viewing angle VA with the imaging camera 200 . and pose can be estimated. Further, the information processing system 1 hides the marker 110 included in the content area CA, thereby preventing the marker 110 from appearing in the image actually used for the video content.
  • FIG. 10 is a block diagram showing a configuration example of a computer device 900 that is hardware of the information processing device 400 according to this embodiment.
  • the functions of the information processing device 400 according to the present embodiment can be realized through cooperation between software and hardware (computer device 900) described below.
  • the functions of the marker extraction unit 410, the three-dimensional position acquisition unit 420, the position estimation unit 430, the image generation unit 440, the marker control unit 450, and the display control unit 460 may be executed by the CPU 901, for example.
  • a computer device 900 includes a CPU (Central Processing Unit) 901, a ROM (Read Only Memory) 902, and a RAM (Random Access Memory) 903.
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the computer device 900 may further include a host bus 904a, a bridge 904, an external bus 904b, an interface 905, an input device 906, an output device 907, a storage device 908, a drive 909, a connection port 911, or a communication device 913. Furthermore, the computer device 900 may have a processing circuit such as a DSP (Digital Signal Processor) or an ASIC (Application Specific Integrated Circuit) instead of the CPU 901 or together with the CPU 901 .
  • DSP Digital Signal Processor
  • ASIC Application Specific Integrated Circuit
  • the CPU 901 functions as an arithmetic processing device or a control device, and controls operations within the computer device 900 according to various programs recorded in the ROM 902, the RAM 903, the storage device 908, or the removable recording medium attached to the drive 909.
  • the ROM 902 stores programs used by the CPU 901, calculation parameters, and the like.
  • a RAM 903 temporarily stores programs used in the execution of the CPU 901, parameters used in the execution, and the like.
  • the CPU 901, ROM 902, and RAM 903 are interconnected by a host bus 904a capable of high-speed data transmission.
  • the host bus 904a is connected via a bridge 904 to an external bus 904b such as a PCI (Peripheral Component Interconnect/Interface) bus, and the external bus 904b is connected via an interface 905 to various components.
  • PCI Peripheral Component Interconnect/Interface
  • the input device 906 is a device that receives input from the user, such as a mouse, keyboard, touch panel, button, switch, or lever. Note that the input device 906 may be a microphone or the like that detects the user's voice.
  • the input device 906 may be, for example, a remote control device using infrared rays or other radio waves, or an external connection device corresponding to the operation of the computer device 900 .
  • the input device 906 further includes an input control circuit that outputs to the CPU 901 an input signal generated based on information input by the user. By operating the input device 906, the user can input various data to the computer device 900 or instruct processing operations.
  • the output device 907 is a device capable of visually or audibly presenting information acquired or generated by the computer device 900 to the user.
  • the output device 907 is, for example, an LCD (Liquid Crystal Display), a PDP (Plasma Display Panel), an OLED (Organic Light Emitting Diode) display, a hologram, a display device such as a projector, a sound output device such as a speaker or headphones, or a printer. It may also be a printing device such as a device.
  • the output device 907 can output the information obtained by the processing of the computer device 900 as video such as text or images, or sound such as voice or sound.
  • a storage device 908 is a data storage device configured as an example of a storage unit of the computer device 900 .
  • the storage device 908 may be configured by, for example, a magnetic storage device such as a HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, or a magneto-optical storage device.
  • the storage device 908 can store programs executed by the CPU 901, various data, or various data acquired from the outside.
  • a drive 909 is a device for reading or writing removable recording media such as magnetic disks, optical disks, magneto-optical disks, or semiconductor memories, and is built in or externally attached to the computer device 900 .
  • the drive 909 can read information recorded on a removable recording medium attached and output it to the RAM 903 .
  • the drive 909 can also write records to attached removable storage media.
  • a connection port 911 is a port for directly connecting an external connection device to the computer device 900 .
  • the connection port 911 may be, for example, a USB (Universal Serial Bus) port, an IEEE 1394 port, or a SCSI (Small Computer System Interface) port.
  • the connection port 911 may be an RS-232C port, an optical audio terminal, an HDMI (registered trademark) (High-Definition Multimedia Interface) port, or the like.
  • the connection port 911 can transmit and receive various data between the computer apparatus 900 and the externally connected device by being connected to the externally connected device.
  • the communication device 913 is, for example, a communication interface configured with a communication device for connecting to the communication network 920 .
  • the communication device 913 may be, for example, a communication card for wired or wireless LAN (Local Area Network), Wi-Fi (registered trademark), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the communication device 913 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), a modem for various types of communication, or the like.
  • the communication device 913 can, for example, transmit and receive signals to and from the Internet or other communication devices using a predetermined protocol such as TCP/IP.
  • a communication network 920 connected to the communication device 913 is a wired or wireless network, such as an Internet communication network, a home LAN, an infrared communication network, a radio wave communication network, or a satellite communication network. There may be.
  • a position estimating unit that estimates the position and orientation of a camera that captures an image displayed on the display device as a background using a plurality of markers present on the display surface of the display device; a marker control unit that controls display or non-display of each of the markers based on the viewing angle of the imaging camera determined from the position and orientation of the imaging camera; An information processing device.
  • the marker control unit performs control such that the marker within the viewing angle is hidden and the marker outside the viewing angle is displayed.
  • the marker control unit controls so that the marker inside the inner frustum set in the area including the viewing angle based on the viewing angle is hidden, and the marker outside the inner frustum is displayed.
  • the marker control unit hides the marker in the frame captured by the camera, among the time-divided frames of the image displayed on the display device, and hides the marker in the frame not captured by the camera.
  • the information processing device according to (1) which controls to display a marker.
  • the information processing apparatus controls the size of the marker according to the distance from the photographing camera to the marker.
  • the marker control unit controls the color of the marker according to the color of the image displayed on the display surface on which the marker exists.
  • information processing equipment (7)
  • the information processing device according to any one of (1) to (6), wherein the markers are present on the display surface in a distribution based on a curvature of the display surface of the display device.
  • the information processing device according to any one of (1) to (7), wherein the marker is an image displayed on the display surface of the display device.
  • the information processing apparatus according to (8), wherein the marker is a mark, two-dimensional code, texture, or feature point of an image displayed on the display surface.
  • the feature point is a feature point extracted from an image that exists outside the viewing angle among the images displayed on the display device.
  • the marker is a pixel embedded in the display surface of the display device.
  • the markers are present on the display surface in an aperiodic distribution.
  • the image displayed on the display device is controlled according to the position and orientation of the photographing camera.
  • the display devices are provided at a plurality of positions in the environment where the imaging cameras are installed, The information processing device according to any one of (1) to (13), wherein the marker is present on a display surface of a display device that displays an image of a fixed viewpoint among the plurality of display devices.
  • the position estimating unit estimates the position and orientation of the photographing camera based on the distribution image of the plurality of markers captured by a tracking camera provided integrally with the photographing camera; ), the information processing device according to any one of (17) The position estimation unit estimates the position and orientation of the photographing camera based on the two-dimensional positions of the markers in the distribution image of the plurality of markers captured by the tracking camera and the three-dimensional positions of the markers. , the information processing apparatus according to (16) above. (18) The information processing according to (17) above, wherein the three-dimensional position of the marker is derived based on information about the shape of the display surface of the display device and information indicating the position of the marker on the display surface. Device.
  • the three-dimensional position of the marker is derived based on information indicating the distance to the marker measured by a distance measuring device provided in the tracking camera, and the distribution image of the marker, according to (17) above.
  • an information processing apparatus according to claim 1; the display device in which the plurality of markers are present on the display surface; the photographing camera for photographing the image displayed on the display device as a background; a tracking camera that is integrally provided with the imaging camera and captures an image of the plurality of markers;
  • An information processing system including; (22) By the processing unit, estimating the position and orientation of a camera that captures an image displayed on the display device as a background using a plurality of markers present on the display surface of the display device; controlling display or non-display of each of the markers based on the viewing angle of the imaging camera determined from the position and orientation of the imaging camera;
  • a method of processing information comprising: (23) the computer, a position estimating unit that estimates the position and orientation of a camera that captures an image displayed on the display device as a background using a plurality of markers present on the display surface of the display device; a marker control unit that controls display or non-display of each of the markers based on the viewing angle of the imaging camera determined from the position and
  • 1 information processing system 2 performer 100 display device 110 marker 120 two-dimensional pattern 200 photographing camera 210 distance measuring device 300 tracking camera 400 information processing device 410 marker extraction unit 420 three-dimensional position acquisition unit 430 position estimation unit 440 image generation unit 450 marker control Part 460 Display control part

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】撮影カメラの位置及び姿勢をより簡易に推定する。 【解決手段】表示装置の表示面に存在する複数のマーカを用いて、前記表示装置に表示された画像を背景として撮影する撮影カメラの位置及び姿勢を推定する位置推定部と、前記撮影カメラの位置及び姿勢から判断される前記撮影カメラの視野角に基づいて、前記マーカの各々の表示又は非表示を制御するマーカ制御部と、を備える、情報処理装置。

Description

情報処理装置、情報処理システム、情報処理方法、及びプログラム
　本開示は、情報処理装置、情報処理システム、情報処理方法、及びプログラムに関する。
　近年の映像制作では、演者による演技の撮影と同時にビジュアルエフェクトを撮影する、いわゆるインカメラＶＦＸの採用が検討されている。
　インカメラＶＦＸでは、演者を囲むように壁状に配置された表示装置にバーチャルな三次元空間の画像を表示させることで、前景の演者と、表示装置に表示された背景の画像とをシームレスに統合することができる。これによれば、インカメラＶＦＸは、表示装置に表示されるバーチャルな三次元空間の画像にビジュアルエフェクトを付加することができる。
　上記のインカメラＶＦＸでは、シーン内で撮影カメラが移動した場合、撮影カメラの視野角内の表示装置に表示される画像は、撮影カメラの移動に追従して制御される。具体的には、表示装置は、バーチャルな三次元空間で撮影カメラが視認している画像が撮影カメラの視野角内に常に表示されるように制御される。これにより、撮影カメラは、視差効果によって、実世界の場所で撮影しているかのような映像を撮影することができる。したがって、インカメラＶＦＸでは、撮影カメラの位置及び姿勢をトラッキングし、撮影カメラの視点に応じた画像を表示装置に表示させることが重要となる。
　例えば、下記特許文献１には、移動体における自己位置推定の技術が開示されている。特許文献１に開示される技術によれば、表示装置に対する移動体の相対位置と、地図情報上の表示装置の位置情報とに基づいて移動体の自己位置を推定することができる。
特開２０１３－１３０９１１号公報
　一方、インカメラＶＦＸでは、撮影環境に多数の物理マーカを設置し、設置された物理マーカを撮影カメラに搭載されたトラッキングカメラで検出することで、撮影カメラの位置及び姿勢を推定することが行われている。しかしながら、撮影環境に多数の物理マーカを設置することは極めて手間がかかるため、インカメラＶＦＸによる撮影時間の延長、及び撮影コストの増大を招いてしまう。
　そこで、本開示では、撮影カメラの位置及び姿勢をより簡易に推定することを可能とする、新規かつ改良された情報処理装置、情報処理システム、情報処理方法、及びプログラムを提案する。
　本開示によれば、表示装置の表示面に存在する複数のマーカを用いて、前記表示装置に表示された画像を背景として撮影する撮影カメラの位置及び姿勢を推定する位置推定部と、前記撮影カメラの位置及び姿勢から判断される前記撮影カメラの視野角に基づいて、前記マーカの各々の表示又は非表示を制御するマーカ制御部と、を備える、情報処理装置が提供される。
　また、本開示によれば、演算処理装置によって、表示装置の表示面に存在する複数のマーカを用いて、前記表示装置に表示された画像を背景として撮影する撮影カメラの位置及び姿勢を推定することと、前記撮影カメラの位置及び姿勢から判断される前記撮影カメラの視野角に基づいて、前記マーカの各々の表示又は非表示を制御することと、を含む、情報処理方法が提供される。
　さらに、本開示によれば、コンピュータを、表示装置の表示面に存在する複数のマーカを用いて、前記表示装置に表示された画像を背景として撮影する撮影カメラの位置及び姿勢を推定する位置推定部と、前記撮影カメラの位置及び姿勢から判断される前記撮影カメラの視野角に基づいて、前記マーカの各々の表示又は非表示を制御するマーカ制御部と、として機能させる、プログラムが提供される。
本開示の一実施形態に係る情報処理システムを模式的に示す説明図である。 同実施形態に係る情報処理システムの全体構成を示すブロック図である。 同実施形態に係る情報処理装置の機能構成を示すブロック図である。 同実施形態に係る情報処理装置の動作例の流れを説明するフローチャート図である。 第１の変形例に係る情報処理システムの動作例の流れを説明するシークエンス図である。 第２の変形例に係る情報処理システムにおけるマーカの時系列での表示又は非表示を示す説明図である。 第３の変形例に係る情報処理システムにおけるマーカの三次元位置の推定方法を示す説明図である。 第３の変形例に係る情報処理システムにおけるマーカの三次元位置の推定方法を示す説明図である。 第５の変形例に係る情報処理システムにおける表示装置の各領域を説明する説明図である。 同実施形態に係る情報処理装置のハードウェアであるコンピュータ装置の構成例を示すブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．情報処理システム
　　１．１．情報処理システムの全体構成
　　１．２．情報処理装置の構成
　２．動作例
　３．変形例
　　３．１．第１の変形例
　　３．２．第２の変形例
　　３．３．第３の変形例
　　３．４．第４の変形例
　　３．５．第５の変形例
　４．ハードウェア
　＜１．情報処理システム＞
　（１．１．情報処理システムの全体構成）
　図１及び図２を参照して、本開示の一実施形態に係る情報処理システムの全体構成について説明する。図１は、本実施形態に係る情報処理システム１を模式的に示す説明図である。図２は、本実施形態に係る情報処理システム１の全体構成を示すブロック図である。
　図１に示すように、本実施形態に係る情報処理システム１は、例えば、表示装置１００Ａと、表示装置１００Ｂと、撮影カメラ２００とを含む。情報処理システム１は、表示装置１００Ａ，１００Ｂに表示された画像を背景として、演者２の演技を撮影カメラ２００で撮影する撮影システムである。情報処理システム１は、表示装置１００Ａ，１００Ｂに表示された画像にコンピュータグラフィックス等を付加することで、いわゆるインカメラＶＦＸを実現することができる。
　具体的には、表示装置１００Ａは、演者２が存在する空間を覆う天井に設けられ、表示装置１００Ｂは、演者２が存在する空間を円弧状に囲む壁面に設けられる。これにより、表示装置１００Ａ，１００Ｂは、演者２によって演じられるシーンの背景となる仮想的な三次元空間の画像を表示すると共に、三次元空間の環境光を提供することができる。なお、以下では、表示装置１００Ａ，１００Ｂを併せて表示装置１００とも称する。
　表示装置１００は、例えば、画素の各々がＬＥＤ（Light Emitting Diode）で構成されたＬＥＤ表示装置であってもよい。表示装置１００が高解像度かつ高画質の画像を表示可能なＬＥＤ表示装置である場合、表示装置１００は、撮影カメラ２００にて撮影される映像の没入感及び臨場感をより高めることができる。
　撮影カメラ２００は、演者２によって演じられるシーンの映像を撮影する。具体的には、撮影カメラ２００は、表示装置１００Ｂに表示された画像を背景として、前景の演者２の演技を撮影する。これにより、撮影カメラ２００は、表示装置１００に表示される背景画像の仮想的な三次元空間内で演者２が演技をしているかのような映像を撮影することができる。
　ここで、シーン内で撮影カメラ２００が移動した場合、撮影カメラ２００の視野角内の表示装置１００に表示される背景画像は、撮影カメラ２００の視点の移動に追従して制御される。具体的には、撮影カメラ２００の視野角内の表示装置１００に表示される背景画像は、該背景画像による仮想的な三次元空間内を撮影カメラ２００が移動した場合に撮影カメラ２００にて視認される画像となるように制御される。このような制御によって視差効果が生じるため、撮影カメラ２００で撮影された映像は、表示装置１００に表示された背景画像による仮想的な三次元空間の中で撮影されたような印象を与えることができる。例えば、撮影カメラ２００の視野角内となる表示装置１００Ｂには、シーンの背景となり、撮影カメラ２００の視点移動に追従して動的に制御される背景画像が表示されてもよい。一方、撮影カメラ２００の視野角外となる表示装置１００Ａには、三次元空間の環境光を提供する固定視点画像が表示されてもよい。
　上記制御を実現するためには、情報処理システム１では、表示装置１００に対する撮影カメラ２００の位置及び姿勢を推定することが重要である。具体的には、図２に示すように、情報処理システム１は、表示装置１００の表示面に存在するマーカ１１０を撮影カメラ２００と一体化されたトラッキングカメラ３００で検出することで、撮影カメラ２００の位置及び姿勢を推定することができる。
　マーカ１１０は、表示装置１００の表示面に複数設けられる。マーカ１１０は、撮影カメラ２００の視点移動に追従する背景画像が表示される表示装置１００Ｂに設けられてもよく、三次元空間の環境光を提供する固定視点画像が表示される表示装置１００Ａに設けられてもよい。一例として、マーカ１１０は、表示装置１００の表示面に表示される画像中に画像として設けられてもよい。より詳細には、マーカ１１０は、マーク、テクスチャ、又は二次元コード（例えば、ＱＲコード（登録商標））の画像として設けられてもよい。このようなマーカ１１０として機能する画像は、デジタルマーカとも称される。他の例として、マーカ１１０は、表示装置１００の表示面に画素として設けられてもよい。より詳細には、マーカ１１０は、赤外線（InfraRed: IR）を発する画素として表示装置１００の表示面に設けられてもよい。
　トラッキングカメラ３００は、マーカ１１０を検出することが可能な撮像装置であり、撮影カメラ２００と一体となって設けられる。なお、トラッキングカメラ３００の視野角は、撮影カメラ２００の視野角と異なっていてもよい。このような場合、トラッキングカメラ３００は、撮影カメラ２００の視野角外のマーカ１１０を効率的に撮像することができる。
　情報処理装置４００は、トラッキングカメラ３００によるマーカ１１０の検出結果に基づいてトラッキングカメラ３００及び撮影カメラ２００の位置及び姿勢を推定する。具体的には、情報処理装置４００は、マーカ１１０の三次元位置と、トラッキングカメラ３００で撮像されたマーカ１１０の二次元位置とに基づいて、トラッキングカメラ３００及び撮影カメラ２００の位置及び姿勢を推定することができる。
　また、情報処理装置４００は、推定した撮影カメラ２００の位置及び姿勢に基づいて、撮影カメラ２００の視野角内の表示装置１００に表示される背景画像を撮影カメラ２００の位置及び姿勢に追従して動かすことができる。
　本実施形態に係る情報処理システム１では、情報処理装置４００は、さらに、撮影カメラ２００の視野角に基づいて、マーカ１１０の表示又は非表示を制御する。具体的には、情報処理装置４００は、撮影カメラ２００の視野角内のマーカ１１０が非表示となり、撮影カメラ２００の視野角外のマーカ１１０が表示されるようにマーカ１１０の表示又は非表示を制御する。これによれば、情報処理装置４００は、表示装置１００に埋め込まれたマーカ１１０が撮影カメラ２００に映り込んでしまうことを防止することができる。情報処理装置４００による制御の詳細については後述する。
　以上の構成を備える情報処理システム１は、撮影環境の壁又は天井に多数の物理マーカを設置せずとも、表示装置１００にマーカ１１０を画像又は画素として設けることで、より簡易にマーカ１１０を設置することができる。これによれば、情報処理システム１は、より簡易に設置されたマーカ１１０を用いて撮影カメラ２００の位置及び姿勢を推定することが可能である。また、情報処理システム１は、撮影カメラ２００の視野角に基づいて、表示装置１００の表示面に存在するマーカ１１０の表示又は非表示を制御することができるため、マーカ１１０が撮影カメラ２００の撮像画像に映り込んでしまうことを防止することができる。
　（１．２．情報処理装置の構成）
　図３を参照して、本実施形態に係る情報処理システム１に含まれる情報処理装置４００の機能構成について説明する。図３は、情報処理装置４００の機能構成を示すブロック図である。
　図３に示すように、情報処理装置４００は、マーカ抽出部４１０と、三次元位置取得部４２０と、位置推定部４３０と、画像生成部４４０と、マーカ制御部４５０と、表示制御部４６０とを備える。
　マーカ抽出部４１０は、トラッキングカメラ３００で撮像された画像からマーカ１１０を抽出する。例えば、マーカ１１０が表示装置１００に表示された背景画像に埋め込まれた画像である場合、マーカ抽出部４１０は、ユニークなマーク、テクスチャ、又は二次元コードの画像であるマーカ１１０を撮像された画像から画像認識によって抽出してもよい。また、マーカ１１０が表示装置１００の表示面に埋め込まれたＩＲ画素である場合、マーカ抽出部４１０は、ＩＲ光の輝点であるマーカ１１０を撮像された画像から抽出してもよい。これにより、マーカ抽出部４１０は、トラッキングカメラ３００で撮像された画像上でのマーカ１１０の二次元位置を導出することができる。
　マーカ１１０は、図１で示すように、演者２が存在する空間を円弧状に囲む壁面に配置された表示装置１００Ｂの表示面に設けられてもよく、演者２が存在する空間を覆う天井に配置された表示装置１００Ａの表示面に設けられてもよい。表示装置１００が複数存在する場合、撮影カメラ２００の撮像画像へのマーカ１１０の映り込みをより確実に防止するためには、マーカ１１０は、三次元空間の環境光を提供する固定視点画像を表示する表示装置１００の表示面に設けられてもよい。例えば、マーカ１１０は、三次元空間の環境光を提供する固定視点画像を表示するために天井に配置された表示装置１００Ａの表示面に設けられてもよい。天井に配置された表示装置１００Ａに表示される固定視点画像は、撮影カメラ２００で撮像されないため、情報処理システム１は、マーカ１１０が撮影カメラ２００の撮像画像に映り込むことを確実に防止することができる。
　三次元位置取得部４２０は、マーカ１１０の三次元位置を取得する。一例として、三次元位置取得部４２０は、記憶部などにあらかじめ記憶されていたマーカ１１０の三次元位置を取得してもよく、表示装置１００からマーカ１１０の三次元位置を取得してもよい。他の例として、三次元位置取得部４２０は、表示装置１００の表示面の形状と、表示装置１００におけるマーカ１１０の二次元的な表示位置とに基づいて、マーカ１１０の三次元位置を導出してもよい。さらに、三次元位置取得部４２０は、トラッキングカメラ３００から表示装置１００までのデプス情報と、トラッキングカメラ３００で撮像された画像とに基づいて、マーカ１１０の三次元位置を導出してもよい。
　位置推定部４３０は、マーカ抽出部４１０で導出されたマーカ１１０の二次元位置と、三次元位置取得部４２０にて取得されたマーカ１１０の三次元位置とに基づいて、撮影カメラ２００の位置及び姿勢を推定する。具体的には、位置推定部４３０は、まず、マーカ１１０の三次元位置と、マーカ抽出部４１０で導出されたマーカ１１０の二次元位置との対応関係を判別する。次に、位置推定部４３０は、三次元位置に存在するマーカ１１０がマーカ抽出部４１０で導出された二次元位置にて視認される位置及び向きを推定することで、トラッキングカメラ３００の位置及び姿勢を推定する。続いて、位置推定部４３０は、推定されたトラッキングカメラ３００の位置及び姿勢に対して、トラッキングカメラ３００と撮影カメラ２００との間の位置及び姿勢のオフセットを調整することで、撮影カメラ２００の位置及び姿勢を推定することができる。
　位置推定部４３０は、マーカ１１０の分布を用いることで、マーカ１１０の三次元位置と、マーカ１１０の二次元位置との対応関係を判別することができる。例えば、マーカ１１０が表示装置１００の表示面に非周期的な分布で存在する場合、位置推定部４３０は、マーカ１１０のユニークな分布のパターンを互いに対応させることで、マーカ１１０の二次元位置と三次元位置との対応関係を判別することができる。一方、マーカ１１０が表示装置１００の表示面に四方格子などの周期的な分布で存在する場合、マーカ１１０の各々がユニークな二次元コードなどでない限り、マーカ１１０の各々の識別が困難となる。このような場合、マーカ１１０の二次元位置と三次元位置との対応関係を判別することが困難となるため好ましくない。
　画像生成部４４０は、表示装置１００に表示される画像のベースとなる仮想的な三次元空間を生成する。具体的には、画像生成部４４０は、コンピュータグラフィックスを用いて仮想的な三次元空間を生成してもよい。
　表示装置１００に表示される画像は、画像生成部４４０にて生成された仮想的な三次元空間の一視点からの画像である。例えば、撮影カメラ２００の視野角内の表示装置１００（例えば、表示装置１００Ｂ）に表示され、撮影されるシーンの背景となる画像は、撮影カメラ２００の位置及び姿勢に対応する視点から仮想的な三次元空間を映し出した画像であってもよい。また、撮影カメラ２００の視野角外の表示装置１００（例えば、表示装置１００Ａ）に表示され、撮影されるシーンの環境光を提供する画像は、シーンに応じた固定視点から仮想的な三次元空間を映し出した画像であってもよい。
　さらに、画像生成部４４０は、表示装置１００に表示される画像中に画像として埋め込まれるマーカ１１０を生成してもよい。画像中に画像として埋め込まれるマーカ１１０は、上述したように、ユニークなマーク、テクスチャ、又は二次元コードの画像である。画像生成部４４０は、生成された仮想的な三次元空間に上記のマーカ１１０を埋め込んでもよい。
　例えば、表示装置１００の表示面に位置するマーカ１１０から導出される撮影カメラ２００の位置及び姿勢は、表示装置１００の表示面に対する位置及び姿勢として推定される。このような場合、撮影カメラ２００の位置及び姿勢は、表示装置１００に対して位置合わせされた状態となる。したがって、撮影カメラ２００の位置及び姿勢に対応する視点からの仮想的な三次元空間の画像を生成するためには、仮想的な三次元空間と、表示装置１００又は撮影カメラ２００との位置合わせがさらに必要となる。
　一方で、仮想的な三次元空間に埋め込まれたマーカ１１０から導出される撮影カメラ２００の位置及び姿勢は、仮想的な三次元空間に対する位置及び姿勢として推定される。このような場合、撮影カメラ２００の位置及び姿勢は、仮想的な三次元空間に対して位置合わせされた状態となる。したがって、画像生成部４４０は、追加の位置合わせを行わずとも、撮影カメラ２００の位置及び姿勢に対応する視点からの仮想的な三次元空間の画像を生成することができる。したがって、マーカ１１０が仮想的な三次元空間に埋め込まれる場合、撮影カメラ２００の位置及び姿勢に対応する視点からの仮想的な三次元空間の画像の生成をより容易に行うことが可能である。
　また、マーカ１１０は、上述したように、マーカ１１０の三次元位置と、マーカ１１０の二次元位置との対応関係の判別をより容易に行うために、分布のパターンがそれぞれユニークとなるように非周期的な分布で配置されてもよい。
　なお、マーカ１１０が表示装置１００の表示面に画素として設けられる場合、画像生成部４４０がマーカ１１０の画像を生成しないことは言うまでもない。
　マーカ制御部４５０は、マーカ１１０が撮影カメラ２００の視野角に基づいて、マーカ１１０の表示又は非表示を制御する。具体的には、マーカ制御部４５０は、撮影カメラ２００の位置及び姿勢に基づいて推定された撮影カメラ２００の視野角内のマーカ１１０を非表示に制御すると共に、撮影カメラ２００の視野角外のマーカ１１０を表示されるように制御する。これによれば、マーカ制御部４５０は、表示装置１００に埋め込まれたマーカ１１０が撮影カメラ２００の視野角内に入り込み、撮影された画像に映り込んでしまうことを防止することができる。
　一方、トラッキングカメラ３００は、撮影カメラ２００と異なる視野角を有することで、撮影カメラ２００の視野角外に含まれるマーカ１１０をより効率的に撮像することができる。
　また、マーカ制御部４５０は、マーカ１１０の大きさ、色味、又は分布などをさらに制御してもよい。
　一例として、マーカ制御部４５０は、トラッキングカメラ３００からマーカ１１０までの距離に基づいてマーカ１１０の大きさを制御してもよい。例えば、マーカ制御部４５０は、トラッキングカメラ３００からマーカ１１０までの距離が長くなるほどマーカ１１０が大きくなるようにマーカ１１０の大きさを制御してもよい。これによれば、マーカ制御部４５０は、トラッキングカメラ３００からの距離が長いマーカ１１０の視認性が低下することを抑制することができる。
　他の例として、マーカ制御部４５０は、画像生成部４４０にて生成された仮想的な三次元空間の画像の色味に基づいて、マーカ１１０の色味を制御してもよい。例えば、マーカ制御部４５０は、マーカ１１０が存在する画像の色味と、マーカ１１０の色味とが同系色となるようにマーカ１１０の色味をシーンごとに制御してもよい。これによれば、マーカ制御部４５０は、撮影されるシーンの環境光の色味にマーカ１１０が影響を与える可能性を抑制することができる。
　さらに、マーカ制御部４５０は、表示装置１００の表示面の曲率に基づいて、マーカ１１０の分布を制御してもよい。例えば、マーカ制御部４５０は、表示装置１００の表示面の曲率が高く、複雑な形状となるほどマーカ１１０の分布の密度が上昇するようにマーカ１１０の分布を表示装置１００ごとに制御してもよい。これによれば、マーカ制御部４５０は、表示装置１００の表示面の形状によってマーカ１１０の検出精度が低下することを抑制することができる。
　表示制御部４６０は、表示装置１００に表示される画像全般を制御する。
　具体的には、表示制御部４６０は、撮影カメラ２００の視野角内の表示装置１００に表示される画像を制御する。例えば、表示制御部４６０は、撮影カメラ２００の位置及び姿勢に追従して、仮想的な三次元空間の中での撮影カメラ２００の視点を再現する画像を撮影カメラ２００の視野角内の表示装置１００に表示させてもよい。これによれば、表示制御部４６０は、撮影カメラ２００の位置及び姿勢の変化に対応して表示装置１００に表示される画像を制御することで、仮想的な三次元空間の中で撮影カメラ２００が撮影しているかのような画像を表示装置１００に表示させることができる。
　また、表示制御部４６０は、撮影カメラ２００の視野角外の表示装置１００に表示される画像を制御する。例えば、表示制御部４６０は、仮想的な三次元空間の固定視点の画像を撮影カメラ２００の視野角外の表示装置１００に表示させてもよい。これによれば、表示制御部４６０は、撮影カメラ２００の視野角外の表示装置１００に表示された画像によって、撮影カメラ２００にて撮影されるシーンに仮想的な三次元空間の環境光を提供することができる。
　これにより、撮影カメラ２００の視野角内の表示装置１００は、マーカ１１０が非表示に制御されると共に、撮影カメラ２００の位置及び姿勢に追従した仮想的な三次元空間の画像を表示することができる。また、撮影カメラ２００の視野角外の表示装置１００は、マーカ１１０が表示されるように制御されると共に、固定視点の仮想的な三次元空間の画像を表示することができる。
　以上の構成によれば、情報処理装置４００は、撮影カメラ２００の位置及び姿勢から推定される撮影カメラ２００の視野角に基づいて、表示装置１００の表示面に存在するマーカ１１０の表示又は非表示を制御することができる。したがって、情報処理装置４００は、撮影カメラ２００の位置及び姿勢に用いられるマーカ１１０をより簡易に設置することができると共に、マーカ１１０が撮影カメラ２００に映り込んでしまうことを防止することができる。
　＜２．動作例＞
　図４を参照して、本実施形態に係る情報処理装置４００の動作例について説明する。図４は、本実施形態に係る情報処理装置４００の動作例の流れを説明するフローチャート図である。
　図４に示すように、まず、マーカ抽出部４１０は、トラッキングカメラ３００によるマーカ１１０の撮像画像からマーカ１１０を抽出し（Ｓ１０１）、マーカ１１０の二次元位置を導出する（Ｓ１０２）。
　次に、三次元位置取得部４２０は、マーカ１１０の三次元位置を取得する（Ｓ１０３）。三次元位置取得部４２０は、あらかじめ記憶されたマーカ１１０の三次元位置を取得してもよく、各種情報を用いてマーカ１１０の三次元位置を導出してもよい。
　続いて、位置推定部４３０は、撮影カメラ２００の位置及び姿勢を推定する（Ｓ１０４）。具体的には、位置推定部４３０は、まず、撮像画像におけるマーカ１１０の二次元位置と、マーカ１１０の三次元位置との対応関係に基づいてトラッキングカメラ３００の位置及び姿勢を推定する。その後、位置推定部４３０は、トラッキングカメラ３００の位置及び姿勢と、撮影カメラ２００の位置及び姿勢とのオフセットを調整することで撮影カメラ２００の位置及び姿勢を推定してもよい。
　次に、画像生成部４４０は、表示装置１００に表示される仮想的な三次元空間をコンピュータグラフィックスにて生成する（Ｓ１０５）。
　ここで、マーカ制御部４５０は、マーカ１１０の各々について、撮影カメラ２００の位置及び姿勢から導出される撮影カメラ２００の視野角にマーカ１１０が含まれているか否かを判断する（Ｓ１０６）。撮影カメラ２００の視野角内にマーカ１１０が含まれる場合（Ｓ１０６／Ｙｅｓ）、マーカ制御部４５０は、マーカ１１０を非表示に制御する（Ｓ１０７）。一方、撮影カメラ２００の視野角内にマーカ１１０が含まれない場合（Ｓ１０６／Ｎｏ）、マーカ制御部４５０は、マーカ１１０を表示されるように制御する（Ｓ１０８）。マーカ制御部４５０は、マーカ１１０の各々について、上記の表示又は非表示の制御を行う。
　その後、マーカ制御部４５０は、全てのマーカ１１０について表示又は非表示が制御されたか否かを判断する（Ｓ１０９）。全てのマーカ１１０について表示又は非表示が制御されていない場合（Ｓ１０９／Ｎｏ）、マーカ制御部４５０は、表示又は非表示が制御されていないマーカ１１０について、ステップＳ１０６～ステップＳ１０８の制御を実行する。
　全てのマーカ１１０について表示又は非表示が制御された場合（Ｓ１０９／Ｙｅｓ）、表示制御部４６０は、表示装置１００に表示される画像を制御する（Ｓ１１０）。具体的には、表示制御部４６０は、撮影カメラ２００の視野角内の表示装置１００に、撮影カメラ２００の位置及び姿勢に対応する視点から仮想的な三次元空間を視認すると共にマーカ１１０が非表示に制御された画像を表示させる。また、表示制御部４６０は、撮影カメラ２００の視野角外の表示装置１００に、所定の固定視点から仮想的な三次元空間を視認すると共にマーカ１１０が表示されるように制御された画像を表示させる。
　以上の動作によれば、情報処理装置４００は、撮影カメラ２００の位置及び姿勢から推定される撮影カメラ２００の視野角に基づいて、表示装置１００に埋め込まれたマーカ１１０の表示又は非表示を制御することができる。
　＜３．変形例＞
　（３．１．第１の変形例）
　図５を参照して、本実施形態に係る情報処理システム１の第１の変形例について説明する。図５は、第１の変形例に係る情報処理システム１の動作例の流れを説明するシークエンス図である。第１の変形例では、情報処理システム１は、表示装置１００において時分割されたフレームごとに、マーカ１１０の表示と、シーンの背景となる仮想的な三次元空間の画像の表示とを切り替えることで、撮影カメラ２００の撮像画像にマーカ１１０が映り込むことを防止することができる。
　図５に示すように、例えば、所定のフレームにおいて、トラッキングカメラ３００は、マーカ制御部４５０にマーカ１１０を表示させるマーカ表示要求を出力する（Ｓ２０１）。これにより、マーカ制御部４５０は、表示装置１００にマーカ１１０を表示させるマーカ表示指示を出力し（Ｓ２０２）、表示装置１００はマーカ１１０を表示する（Ｓ２０３，Ｓ２０４）。その後、トラッキングカメラ３００は、表示装置１００に表示されたマーカ１１０を撮像する（Ｓ２０５）。
　続いて、次のフレームにおいて、撮影カメラ２００は、マーカ制御部４５０に背景画像を表示させる背景画像表示要求を出力する（Ｓ２０７）。これにより、マーカ制御部４５０は、表示装置１００にマーカ１１０を非表示とすると共に背景画像を表示させる背景画像表示指示を出力し（Ｓ２０８）、表示装置１００はマーカ１１０を非表示とした上で、背景画像を表示する（Ｓ２０９，Ｓ２１０）。その後、撮影カメラ２００は、表示装置１００に表示されたシーンの背景となる背景画像を撮影する（Ｓ２１１）。
　さらに、撮影カメラ２００による背景画像の撮影が行われた次のフレームでは、トラッキングカメラ３００によるマーカ１１０の撮像（Ｓ２０１～Ｓ２０５）を再び実行する。これらの動作を繰り返すことで、第１の変形例に係る情報処理システム１は、撮影カメラ２００の位置及び姿勢を推定するためのマーカ１１０の撮像と、シーンの背景となる仮想的な三次元空間の撮影とを同時並行に行うことができる。
　第１の変形例に係る情報処理システム１では、時分割されたフレームごとに、トラッキングカメラ３００によるマーカ１１０の撮像と、撮影カメラ２００による仮想的な三次元空間の画像の撮影とが交互に実行される。すなわち、第１の変形例に係る情報処理システム１では、マーカ１１０が表示される際に撮影カメラ２００による撮影が行われないため、撮影カメラ２００の視野角内にマーカ１１０を表示した場合でも、撮影カメラ２００の撮像画像にマーカ１１０が映り込むことを防止することができる。
　（３．２．第２の変形例）
　図６を参照して、本実施形態に係る情報処理システム１の第２の変形例について説明する。図６は、第２の変形例に係る情報処理システム１におけるマーカ１１０の時系列での表示又は非表示を示す説明図である。第２の変形例では、情報処理システム１は、時分割されたフレームごとにマーカ１１０の各々の表示又は非表示のパターンを変化させることで、マーカ１１０の各々の識別をより容易に行うことが可能である。
　図６に示すように、例えば、マーカ制御部４５０は、時分割された撮像フレームごとに、表示又は非表示のパターンがマーカ１１０の各々で異なるようにマーカ１１０の各々の表示又は非表示を制御してもよい。例えば、マーカ制御部４５０は、マーカ１１０の各々で表示又は非表示が時系列で固有のパターンとなるように、マーカ１１０の各々の表示又は非表示を制御してもよい。
　このような場合、位置推定部４３０は、マーカ１１０の表示又は非表示の固有の時系列パターンに基づいて、マーカ１１０の各々をより容易に識別することができる。したがって、位置推定部４３０は、トラッキングカメラ３００で撮像された撮像画像におけるマーカ１１０の各々を識別することができるため、マーカ１１０の二次元位置と、マーカ１１０の三次元位置との対応関係をより容易に判別することができる。
　（３．３．第３の変形例）
　図７及び図８を参照して、本実施形態に係る情報処理システム１の第３の変形例について説明する。図７及び図８は、第３の変形例に係る情報処理システム１におけるマーカ１１０の三次元位置の推定方法を示す説明図である。第３の変形例では、情報処理システム１は、表示装置１００までの距離、又は表示装置１００の形状に関する情報をさらに用いることで、マーカ１１０の三次元位置を導出することが可能である。
　図７に示すように、撮影カメラ２００及びトラッキングカメラ３００には、測距装置２１０がさらに設けられてもよい。測距装置２１０は、例えば、ＴｏＦ（Time of Flight）センサであり、表示装置１００に埋め込まれたマーカ１１０までの距離を測定することができる。このような場合、三次元位置取得部４２０は、表示装置１００の表示面におけるマーカ１１０の二次元位置と、測距装置２１０からマーカ１１０までの距離（デプス）に関する情報とを用いることで、マーカ１１０の三次元位置を取得することができる。
　また、図８に示すように、情報処理システム１は、表示装置１００の表示面に所定の二次元パターン１２０を表示し、表示された二次元パターン１２０を撮像することで、表示装置１００の表示面の形状を測定してもよい。具体的には、凹凸のある表示面に二次元パターン１２０を表示又は投影した場合、表示又は投影された二次元パターン１２０には、表示面の凹凸に応じて歪みが生じる。そのため、三次元位置取得部４２０は、表示又は投影された二次元パターン１２０の歪みを検出することで、表示装置１００の表示面の形状を測定することができる。したがって、三次元位置取得部４２０は、表示装置１００の表示面におけるマーカ１１０の二次元位置と、表示装置１００の表示面の形状とを用いることで、マーカ１１０の三次元位置を取得することができる。
　なお、二次元パターンとしては、二次元的な広がりを持つ任意のパターンを用いることが可能である。ただし、表示装置１００の表示面の形状をより高い精度で測定するためには、二次元パターンはより緻密かつより複雑なパターンであることが好ましい。
　（３．４．第４の変形例）
　本実施形態に係る情報処理システム１の第４の変形例について説明する。第４の変形例では、情報処理システム１は、表示装置１００に表示された画像の特徴点をマーカ１１０として抽出することで、位置推定部４３０にて撮影カメラ２００の位置及び姿勢を推定することが可能である。
　具体的には、マーカ抽出部４１０は、撮影カメラ２００の視野角外の表示装置１００に表示された固定視点の画像に映る物体の特徴点（例えば、物体の外形の角又は稜線など）を認識し、認識した特徴点をマーカ１１０として抽出してもよい。このような場合、位置推定部４３０は、撮影カメラ２００の視野角外の表示装置１００に表示された画像の特徴点から撮影カメラ２００の位置及び姿勢を推定することができる。
　また、撮影カメラ２００の視野角外の表示装置１００に表示された画像は、動いていてもよい。撮影カメラ２００の視野角外の表示装置１００に表示された画像の動きは、画像生成部４４０又は表示制御部４６０にて把握することが可能である。したがって、位置推定部４３０は、表示装置１００に表示された画像の動きを補正することで、固定視点の画像と同様に画像の特徴点から撮影カメラ２００の位置及び姿勢を推定することができる。
　さらに、位置推定部４３０は、表示装置１００に表示された画像による仮想的な三次元空間に対して、Ｖｉｓｕａｌ　ＳＬＡＭ（Simultaneous Localization and Mapping）を行うことにより、仮想的な三次元空間の地図作成及び自己位置推定を行ってもよい。これによれば、位置推定部４３０は、仮想的な三次元空間における撮影カメラ２００の自己位置を直接推定することができる。このような場合、表示装置１００に表示された画像は、撮影カメラ２００の視野角内又は視野角外にかかわらず、撮影カメラ２００の位置及び姿勢の変化に追従して視点が変更されることが好ましい。
　ここで、表示装置１００に表示された画像の特徴点をマーカ１１０として用いる場合、トラッキングカメラ３００で撮像された画像から演者２、動物体、又は大道具などの前景を分離し、表示装置１００に表示された背景画像のみを抽出することが重要となる。
　例えば、マーカ抽出部４１０は、表示装置１００に出力された画像と、実際にトラッキングカメラ３００で撮像された画像との差分を取ることで、トラッキングカメラ３００で撮像された画像から演者２等の前景を分離することが可能である。
　また、上記の第３の変形例で説明したように、測距装置２１０によって表示装置１００までの距離（デプス）に関する情報が既知である場合、マーカ抽出部４１０は、表示装置１００よりも前に存在する物体を前景として分離することが可能である。さらに、表示装置１００の表示面の形状が既知である場合、マーカ抽出部４１０は、表示装置１００の表示面よりも前に存在する物体を前景として分離することが可能である。
　（３．５．第５の変形例）
　図９を参照して、本実施形態に係る情報処理システム１の第５の変形例について説明する。図９は、第５の変形例に係る情報処理システム１における表示装置１００の各領域を説明する説明図である。第５の変形例では、情報処理システム１は、撮影カメラ２００の視野角に基づいて設定される領域にマーカ１１０が含まれるか否かに基づいて、マーカ１１０の表示又は非表示を制御することができる。
　図９に示すように、表示装置１００（図９では表示装置１００Ｂ）の表示面において、撮影カメラ２００の視野角ＶＡの外側には、インナーフラスタムＩＦが設定され、撮影カメラ２００の視野角ＶＡの内側には、コンテンツ領域ＣＡが設定される。また、インナーフラスタムＩＦの外側の表示面の領域は、アウターフラスタムＯＦと称される。なお、インナーフラスタムＩＦが設定されない表示装置１００Ａでは、表示面の全面がアウターフラスタムＯＦとなる。
　インナーフラスタムＩＦは、例えば、撮影カメラ２００の視野角ＶＡを外側に所定幅（例えば、数十ｃｍ程度）で拡大した領域である。インナーフラスタムＩＦは、仮想的な三次元空間での撮影カメラ２００の視点を再現するために、撮影カメラ２００の位置及び姿勢の変化に追従して視点が変化する画像が表示される領域である。一方、インナーフラスタムＩＦの外側のアウターフラスタムＯＦは、仮想的な三次元空間の環境光を提供する三次元空間の固定視点の画像が表示される領域である。コンテンツ領域ＣＡは、撮影カメラ２００の視野角ＶＡから所定幅（例えば、数十ｃｍ程度）内側の領域である。撮影カメラ２００にて撮像された画像のうちコンテンツ領域ＣＡの画像が実際の映像コンテンツに使用される。
　第５の変形例では、情報処理システム１は、視野角ＶＡに替えて、インナーフラスタムＩＦに含まれるか否かに基づいて、表示装置１００の表示面に存在するマーカ１１０の表示又は非表示を制御してもよい。具体的には、情報処理システム１は、インナーフラスタムＩＦに含まれるマーカ１１０を非表示に制御し、インナーフラスタムＩＦに含まれない（すなわち、アウターフラスタムＯＦに含まれる）マーカ１１０を表示させるように制御してもよい。このような場合、情報処理システム１は、視野角ＶＡよりも広いインナーフラスタムＩＦを基準としてマーカ１１０の表示又は非表示を制御することで、撮影カメラ２００にマーカ１１０が映り込むことをより確実に防止することが可能である。
　また、情報処理システム１は、視野角ＶＡに替えて、コンテンツ領域ＣＡに含まれるか否かに基づいて、表示装置１００の表示面に存在するマーカ１１０の表示又は非表示を制御してもよい。具体的には、情報処理システム１は、コンテンツ領域ＣＡに含まれるマーカ１１０を非表示に制御し、コンテンツ領域ＣＡに含まれないマーカ１１０を表示させるように制御してもよい。このような場合、情報処理システム１は、視野角ＶＡのうちコンテンツ領域ＣＡの外側の領域に存在するマーカ１１０を撮影カメラ２００で撮像することで、トラッキングカメラ３００を用いずとも撮影カメラ２００の位置及び姿勢を推定することが可能である。また、情報処理システム１は、コンテンツ領域ＣＡに含まれるマーカ１１０を非表示とすることで、実際に映像コンテンツに使用する画像にはマーカ１１０が映り込まないようにすることが可能である。
　＜４．ハードウェア＞
　図１０を参照して、本実施形態に係る情報処理装置４００のハードウェアについて説明する。図１０は、本実施形態に係る情報処理装置４００のハードウェアであるコンピュータ装置９００の構成例を示すブロック図である。
　本実施形態に係る情報処理装置４００の機能は、ソフトウェアと、以下で説明するハードウェア（コンピュータ装置９００）との協働によって実現され得る。例えば、マーカ抽出部４１０、三次元位置取得部４２０、位置推定部４３０、画像生成部４４０、マーカ制御部４５０、及び表示制御部４６０の機能は、例えば、ＣＰＵ９０１により実行されてもよい。
　図１０に示すように、コンピュータ装置９００は、ＣＰＵ（Central Processing Unit）９０１、ＲＯＭ（Read Only Memory）９０２、及びＲＡＭ（Random Access Memory）９０３を含む。
　また、コンピュータ装置９００は、ホストバス９０４ａ、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１、又は通信装置９１３をさらに含んでもよい。さらに、コンピュータ装置９００は、ＣＰＵ９０１に替えて、又はＣＰＵ９０１と共に、ＤＳＰ（Digital Signal Processor）、又はＡＳＩＣ（Application Specific Integrated Circuit）などの処理回路を有してもよい。
　ＣＰＵ９０１は、演算処理装置、又は制御装置として機能し、ＲＯＭ９０２、ＲＡＭ９０３、ストレージ装置９０８、又はドライブ９０９に装着されたリムーバブル記録媒体に記録された各種プログラムに従って、コンピュータ装置９００内の動作を制御する。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラム、及び演算パラメータなどを記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラム、及びその実行の際に使用するパラメータなどを一時的に記憶する。
　ＣＰＵ９０１、ＲＯＭ９０２、及びＲＡＭ９０３は、高速なデータ伝送が可能なホストバス９０４ａにより相互に接続される。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Peripheral Component Interconnect/Interface）バスなどの外部バス９０４ｂに接続され、外部バス９０４ｂは、インタフェース９０５を介して種々の構成要素と接続される。
　入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、又はレバーなどのユーザからの入力を受け付ける装置である。なお、入力装置９０６は、ユーザの音声を検出するマイクロフォンなどであってもよい。入力装置９０６は、例えば、赤外線、又はその他の電波を利用したリモートコントロール装置であってもよく、コンピュータ装置９００の操作に対応した外部接続機器であってもよい。
　入力装置９０６は、ユーザが入力した情報に基づいて生成した入力信号をＣＰＵ９０１に出力する入力制御回路をさらに含む。ユーザは、入力装置９０６を操作することによって、コンピュータ装置９００に対して各種データの入力、又は処理動作の指示を行うことができる。
　出力装置９０７は、コンピュータ装置９００にて取得又は生成された情報をユーザに対して視覚的、又は聴覚的に提示することが可能な装置である。出力装置９０７は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、ＯＬＥＤ（Organic Light Emitting Diode）ディスプレイ、ホログラム、若しくはプロジェクタなどの表示装置、スピーカ若しくはヘッドホンなどの音出力装置、又はプリンタ装置などの印刷装置であってもよい。出力装置９０７は、コンピュータ装置９００の処理により得られた情報をテキスト若しくは画像などの映像、又は音声若しくは音響などの音として出力することができる。
　ストレージ装置９０８は、コンピュータ装置９００の記憶部の一例として構成されたデータ格納装置である。ストレージ装置９０８は、例えば、ＨＤＤ（Hard Disk Drive）などの磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイスなどにより構成されてもよい。ストレージ装置９０８は、ＣＰＵ９０１が実行するプログラム、各種データ、又は外部から取得した各種データなどを格納することができる。
　ドライブ９０９は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体の読み取り又は書き込み装置であり、コンピュータ装置９００に内蔵、又は外付けされる。例えば、ドライブ９０９は、装着されているリムーバブル記録媒体に記録されている情報を読み出してＲＡＭ９０３に出力することができる。また、ドライブ９０９は、装着されているリムーバブル記録媒体に記録を書き込むことができる。
　接続ポート９１１は、外部接続機器をコンピュータ装置９００に直接接続するためのポートである。接続ポート９１１は、例えば、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、又はＳＣＳＩ（Small Computer System Interface）ポートなどであってもよい。また、接続ポート９１１は、ＲＳ－２３２Ｃポート、光オーディオ端子、又はＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポートなどであってもよい。接続ポート９１１は、外部接続機器と接続されることで、コンピュータ装置９００と外部接続機器との間で各種データの送受信を行うことができる。
　通信装置９１３は、例えば、通信ネットワーク９２０に接続するための通信デバイスなどで構成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Local Area Network）、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Wireless USB）用の通信カードなどであってもよい。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Asymmetric Digital Subscriber Line）用のルータ、又は各種通信用のモデムなどであってもよい。
　通信装置９１３は、例えば、インターネット、又は他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信することができる。また、通信装置９１３に接続される通信ネットワーク９２０は、有線又は無線によって接続されたネットワークであり、例えば、インターネット通信網、家庭内ＬＡＮ、赤外線通信網、ラジオ波通信網、又は衛星通信網などであってもよい。
　なお、コンピュータに内蔵されるＣＰＵ９０１、ＲＯＭ９０２、及びＲＡＭ９０３などを含むコンピュータ装置９００に、上記の情報処理装置４００と同等の機能を発揮させるためのプログラムも作成可能である。また、該プログラムを記録したコンピュータに読み取り可能な記録媒体も提供可能である。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　表示装置の表示面に存在する複数のマーカを用いて、前記表示装置に表示された画像を背景として撮影する撮影カメラの位置及び姿勢を推定する位置推定部と、
　前記撮影カメラの位置及び姿勢から判断される前記撮影カメラの視野角に基づいて、前記マーカの各々の表示又は非表示を制御するマーカ制御部と、
を備える、情報処理装置。
（２）
　前記マーカ制御部は、前記視野角内の前記マーカが非表示となり、前記視野角外の前記マーカが表示されるよう制御する、前記（１）に記載の情報処理装置。
（３）
　前記マーカ制御部は、前記視野角に基づいて前記視野角を含む領域に設定されたインナーフラスタム内の前記マーカが非表示となり、前記インナーフラスタム外の前記マーカが表示されるよう制御する、前記（１）に記載の情報処理装置。
（４）
　前記マーカ制御部は、前記表示装置に表示された画像の時分割されたフレームのうち、前記撮影カメラで撮影される前記フレームでは前記マーカが非表示となり、前記撮影カメラで撮影されない前記フレームでは前記マーカが表示されるよう制御する、前記（１）に記載の情報処理装置。
（５）
　前記マーカ制御部は、前記撮影カメラから前記マーカまでの距離に応じて、前記マーカの大きさを制御する、前記（１）～（４）のいずれか一項に記載の情報処理装置。
（６）
　前記マーカ制御部は、前記マーカが存在する前記表示面に表示された画像の色味に応じて、前記マーカの色味を制御する、前記（１）～（５）のいずれか一項に記載の情報処理装置。
（７）
　前記マーカは、前記表示装置の前記表示面の曲率に基づいた分布にて前記表示面に存在する、前記（１）～（６）のいずれか一項に記載の情報処理装置。
（８）
　前記マーカは、前記表示装置の前記表示面に表示された画像である、前記（１）～（７）のいずれか一項に記載の情報処理装置。
（９）
　前記マーカは、前記表示面に表示されたマーク、二次元コード、テクスチャ、又は画像の特徴点である、前記（８）に記載の情報処理装置。
（１０）
　前記特徴点は、前記表示装置に表示された画像のうち、前記視野角外に存在する画像から抽出された特徴点である、前記（９）に記載の情報処理装置。
（１１）
　前記マーカは、前記表示装置の前記表示面に埋め込まれた画素である、前記（１）～（７）のいずれか一項に記載の情報処理装置。
（１２）
　前記マーカは、前記表示面に非周期的な分布で存在する、前記（１）～（１１）のいずれか一項に記載の情報処理装置。
（１３）
　前記表示装置に表示された画像は、前記撮影カメラの位置及び姿勢に応じて制御される、前記（１）～（１２）のいずれか一項に記載の情報処理装置。
（１４）
　前記表示装置は、前記撮影カメラが設置された環境の複数の位置にそれぞれ設けられ、
　前記マーカは、複数の前記表示装置のうち固定視点の画像を表示する表示装置の表示面に存在する、前記（１）～（１３）のいずれか一項に記載の情報処理装置。
（１５）
　前記固定視点の画像を表示する表示装置は、前記環境の天井に少なくとも設けられる、前記（１４）に記載の情報処理装置。
（１６）
　前記位置推定部は、前記撮影カメラと一体に設けられたトラッキングカメラで撮像された前記複数のマーカの分布画像に基づいて、前記撮影カメラの位置及び姿勢を推定する、前記（１）～（１５）のいずれか一項に記載の情報処理装置。
（１７）
　前記位置推定部は、前記トラッキングカメラで撮像された前記複数のマーカの分布画像における前記マーカの二次元位置と、前記マーカの三次元位置とに基づいて、前記撮影カメラの位置及び姿勢を推定する、前記（１６）に記載の情報処理装置。
（１８）
　前記マーカの三次元位置は、前記表示装置の前記表示面の形状に関する情報と、前記表示面での前記マーカの位置を示す情報とに基づいて導出される、前記（１７）に記載の情報処理装置。
（１９）
　前記マーカの三次元位置は、前記トラッキングカメラに設けられた測距装置で測定された前記マーカまでの距離を示す情報と、前記マーカの分布画像とに基づいて導出される、前記（１７）に記載の情報処理装置。
（２０）
　前記撮影カメラの前記視野角と、前記トラッキングカメラの視野角とは互いに異なる、前記（１６）～（１９）のいずれか一項に記載の情報処理装置。
（２１）
　請求項１に記載の情報処理装置と、
　前記複数のマーカが前記表示面に存在する前記表示装置と、
　前記表示装置に表示された画像を背景として撮影する前記撮影カメラと、
　前記撮影カメラと一体に設けられ、前記複数のマーカを撮像するトラッキングカメラと、
を含む、情報処理システム。
（２２）
　演算処理装置によって、
　表示装置の表示面に存在する複数のマーカを用いて、前記表示装置に表示された画像を背景として撮影する撮影カメラの位置及び姿勢を推定することと、
　前記撮影カメラの位置及び姿勢から判断される前記撮影カメラの視野角に基づいて、前記マーカの各々の表示又は非表示を制御することと、
を含む、情報処理方法。
（２３）
　コンピュータを、
　表示装置の表示面に存在する複数のマーカを用いて、前記表示装置に表示された画像を背景として撮影する撮影カメラの位置及び姿勢を推定する位置推定部と、
　前記撮影カメラの位置及び姿勢から判断される前記撮影カメラの視野角に基づいて、前記マーカの各々の表示又は非表示を制御するマーカ制御部と、
として機能させる、プログラム。
　１　　　　情報処理システム
　２　　　　演者
　１００　　表示装置
　１１０　　マーカ
　１２０　　二次元パターン
　２００　　撮影カメラ
　２１０　　測距装置
　３００　　トラッキングカメラ
　４００　　情報処理装置
　４１０　　マーカ抽出部
　４２０　　三次元位置取得部
　４３０　　位置推定部
　４４０　　画像生成部
　４５０　　マーカ制御部
　４６０　　表示制御部

Claims (23)

  1. 　表示装置の表示面に存在する複数のマーカを用いて、前記表示装置に表示された画像を背景として撮影する撮影カメラの位置及び姿勢を推定する位置推定部と、
    　前記撮影カメラの位置及び姿勢から判断される前記撮影カメラの視野角に基づいて、前記マーカの各々の表示又は非表示を制御するマーカ制御部と、
    を備える、情報処理装置。
  2. 　前記マーカ制御部は、前記視野角内の前記マーカが非表示となり、前記視野角外の前記マーカが表示されるよう制御する、請求項１に記載の情報処理装置。
  3. 　前記マーカ制御部は、前記視野角に基づいて前記視野角を含む領域に設定されたインナーフラスタム内の前記マーカが非表示となり、前記インナーフラスタム外の前記マーカが表示されるよう制御する、請求項１に記載の情報処理装置。
  4. 　前記マーカ制御部は、前記表示装置に表示された画像の時分割されたフレームのうち、前記撮影カメラで撮影される前記フレームでは前記マーカが非表示となり、前記撮影カメラで撮影されない前記フレームでは前記マーカが表示されるよう制御する、請求項１に記載の情報処理装置。
  5. 　前記マーカ制御部は、前記撮影カメラから前記マーカまでの距離に応じて、前記マーカの大きさを制御する、請求項１に記載の情報処理装置。
  6. 　前記マーカ制御部は、前記マーカが存在する前記表示面に表示された画像の色味に応じて、前記マーカの色味を制御する、請求項１に記載の情報処理装置。
  7. 　前記マーカは、前記表示装置の前記表示面の曲率に基づいた分布にて前記表示面に存在する、請求項１に記載の情報処理装置。
  8. 　前記マーカは、前記表示装置の前記表示面に表示された画像である、請求項１に記載の情報処理装置。
  9. 　前記マーカは、前記表示面に表示されたマーク、二次元コード、テクスチャ、又は画像の特徴点である、請求項８に記載の情報処理装置。
  10. 　前記特徴点は、前記表示装置に表示された画像のうち、前記視野角外に存在する画像から抽出された特徴点である、請求項９に記載の情報処理装置。
  11. 　前記マーカは、前記表示装置の前記表示面に埋め込まれた画素である、請求項１に記載の情報処理装置。
  12. 　前記マーカは、前記表示面に非周期的な分布で存在する、請求項１に記載の情報処理装置。
  13. 　前記表示装置に表示された画像は、前記撮影カメラの位置及び姿勢に応じて制御される、請求項１に記載の情報処理装置。
  14. 　前記表示装置は、前記撮影カメラが設置された環境の複数の位置にそれぞれ設けられ、
    　前記マーカは、複数の前記表示装置のうち固定視点の画像を表示する表示装置の表示面に存在する、請求項１に記載の情報処理装置。
  15. 　前記固定視点の画像を表示する表示装置は、前記環境の天井に少なくとも設けられる、請求項１４に記載の情報処理装置。
  16. 　前記位置推定部は、前記撮影カメラと一体に設けられたトラッキングカメラで撮像された前記複数のマーカの分布画像に基づいて、前記撮影カメラの位置及び姿勢を推定する、請求項１に記載の情報処理装置。
  17. 　前記位置推定部は、前記トラッキングカメラで撮像された前記複数のマーカの分布画像における前記マーカの二次元位置と、前記マーカの三次元位置とに基づいて、前記撮影カメラの位置及び姿勢を推定する、請求項１６に記載の情報処理装置。
  18. 　前記マーカの三次元位置は、前記表示装置の前記表示面の形状に関する情報と、前記表示面での前記マーカの位置を示す情報とに基づいて導出される、請求項１７に記載の情報処理装置。
  19. 　前記マーカの三次元位置は、前記トラッキングカメラに設けられた測距装置で測定された前記マーカまでの距離を示す情報と、前記マーカの分布画像とに基づいて導出される、請求項１７に記載の情報処理装置。
  20. 　前記撮影カメラの前記視野角と、前記トラッキングカメラの視野角とは互いに異なる、請求項１６に記載の情報処理装置。
  21. 　請求項１に記載の情報処理装置と、
    　前記複数のマーカが前記表示面に存在する前記表示装置と、
    　前記表示装置に表示された画像を背景として撮影する前記撮影カメラと、
    　前記撮影カメラと一体に設けられ、前記複数のマーカを撮像するトラッキングカメラと、
    を含む、情報処理システム。
  22. 　演算処理装置によって、
    　表示装置の表示面に存在する複数のマーカを用いて、前記表示装置に表示された画像を背景として撮影する撮影カメラの位置及び姿勢を推定することと、
    　前記撮影カメラの位置及び姿勢から判断される前記撮影カメラの視野角に基づいて、前記マーカの各々の表示又は非表示を制御することと、
    を含む、情報処理方法。
  23. 　コンピュータを、
    　表示装置の表示面に存在する複数のマーカを用いて、前記表示装置に表示された画像を背景として撮影する撮影カメラの位置及び姿勢を推定する位置推定部と、
    　前記撮影カメラの位置及び姿勢から判断される前記撮影カメラの視野角に基づいて、前記マーカの各々の表示又は非表示を制御するマーカ制御部と、
    として機能させる、プログラム。
PCT/JP2022/030715 2021-11-24 2022-08-12 情報処理装置、情報処理システム、情報処理方法、及びプログラム WO2023095392A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-190451 2021-11-24
JP2021190451 2021-11-24

Publications (1)

Publication Number Publication Date
WO2023095392A1 true WO2023095392A1 (ja) 2023-06-01

Family

ID=86539142

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/030715 WO2023095392A1 (ja) 2021-11-24 2022-08-12 情報処理装置、情報処理システム、情報処理方法、及びプログラム

Country Status (1)

Country Link
WO (1) WO2023095392A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006267026A (ja) * 2005-03-25 2006-10-05 Canon Inc 画像処理方法、画像処理装置
JP2013130911A (ja) 2011-12-20 2013-07-04 Toyota Motor Corp 位置特定装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006267026A (ja) * 2005-03-25 2006-10-05 Canon Inc 画像処理方法、画像処理装置
JP2013130911A (ja) 2011-12-20 2013-07-04 Toyota Motor Corp 位置特定装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YAMATSUKA, HIROTO: "Production example using virtual technology in CyberHuman Productions - Shooting method and development with LED STUDIO and FutureLive -", ITE TECHNICAL REPORT, EIZO JOHO MEDIA GAKKAI, TOKYO, JP, vol. 45, no. 37, 22 November 2021 (2021-11-22), JP , pages 13 - 16, XP009546604, ISSN: 1342-6893, DOI: 10.11371/wiieej.21.02.0_12 *

Similar Documents

Publication Publication Date Title
US11481982B2 (en) In situ creation of planar natural feature targets
JP5660648B2 (ja) マルチユーザ拡張現実におけるオンライン参照生成および追跡
CN104885098B (zh) 基于移动装置的文本检测及跟踪
US9508147B2 (en) Information processing apparatus and method
US20160267662A1 (en) Camera and Sensor Augmented Reality Techniques
WO2017126172A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
JP6418449B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
JP4297197B2 (ja) キャリブレーション処理装置、およびキャリブレーション処理方法、並びにコンピュータ・プログラム
US10777015B2 (en) Method and apparatus for overlaying a reproduction of a real scene with virtual image and audio data, and a mobile device
KR20160003066A (ko) 일반적인 카메라 움직임 및 파노라마 카메라 움직임을 갖는 단안 시각 slam
EP2669868B1 (en) Apparatus and method for augmenting a video image
US20120081394A1 (en) System and method of image augmentation
CN107852447A (zh) 基于设备运动和场景距离使电子设备处的曝光和增益平衡
US11127156B2 (en) Method of device tracking, terminal device, and storage medium
US8934664B2 (en) System and method of estimating page position
JP2018195241A (ja) 情報処理装置、情報処理方法、及びプログラム
US9286692B2 (en) System and method of book leaf tracking
US20200211275A1 (en) Information processing device, information processing method, and recording medium
WO2023095392A1 (ja) 情報処理装置、情報処理システム、情報処理方法、及びプログラム
JP4896762B2 (ja) 画像処理装置および画像処理プログラム
KR101915578B1 (ko) 시점 기반 오브젝트 피킹 시스템 및 그 방법
JP6676785B2 (ja) バーチャル環境表示における視方向の設定方法
CN114037758A (zh) 基于图像的摄像机姿态感知系统
WO2019045728A1 (en) ELECTRONIC DEVICES, METHODS, AND COMPUTER PROGRAM PRODUCTS FOR CONTROLLING 3D MODELING OPERATIONS BASED ON POSITION MEASUREMENTS
US20230326056A1 (en) Information processing apparatus, information processing method, and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22898177

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023563516

Country of ref document: JP

Kind code of ref document: A