WO2022004234A1 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
WO2022004234A1
WO2022004234A1 PCT/JP2021/020678 JP2021020678W WO2022004234A1 WO 2022004234 A1 WO2022004234 A1 WO 2022004234A1 JP 2021020678 W JP2021020678 W JP 2021020678W WO 2022004234 A1 WO2022004234 A1 WO 2022004234A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
information processing
rendering state
processing unit
image processing
Prior art date
Application number
PCT/JP2021/020678
Other languages
English (en)
French (fr)
Inventor
圭佑 中村
浩司 山口
毅 石川
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to DE112021003549.5T priority Critical patent/DE112021003549T5/de
Priority to US18/012,816 priority patent/US20230252722A1/en
Priority to CN202180045000.1A priority patent/CN116018619A/zh
Publication of WO2022004234A1 publication Critical patent/WO2022004234A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • H04N13/289—Switching between monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Definitions

  • This disclosure relates to information processing devices, information processing methods and programs.
  • Patent Document 1 discloses a technique for classifying an object to be drawn as a three-dimensional model and an object to be displayed as a two-dimensional image for each object and controlling the display.
  • Patent Document 1 Since the technique described in Patent Document 1 determines whether to draw as a 3D model or display as a 2D image for each object, for example, the same object may pop out from a 2D plane into a 3D space. It was difficult to express a good image.
  • One of the purposes of the present disclosure is to provide an information processing device, an information processing method, and a program that enable a predetermined object to be displayed in different rendering states and switch between the different rendering states.
  • the present disclosure is, for example, A first image processing unit that projects a predetermined object onto a two-dimensional plane in virtual space, It has a second image processing unit that renders a 3D model for a given object in a location other than a 2D plane in virtual space. It is an information processing apparatus capable of switching between at least the first rendering state by the first image processing unit and the second rendering state by the second image processing unit.
  • the present disclosure is, for example,
  • the first image processing unit projects a predetermined object onto a two-dimensional plane in virtual space.
  • the second image processing unit renders a 3D model for a given object in a non-planar location in virtual space.
  • This is an information processing method for switching between a first rendering state by at least the first image processing unit and a second rendering state by the second image processing unit.
  • the present disclosure is, for example,
  • the first image processing unit projects a predetermined object onto a two-dimensional plane in virtual space.
  • the second image processing unit renders a 3D model for a given object in a non-planar location in virtual space. It is a program that causes a computer to execute an information processing method for switching between a first rendering state by at least the first image processing unit and a second rendering state by the second image processing unit.
  • FIG. 1 is a diagram referred to when a technique related to the present disclosure is described.
  • FIG. 2 is a diagram referred to when the technique related to the present disclosure is explained.
  • FIG. 3 is a diagram referred to when the technique related to the present disclosure is explained.
  • FIG. 4 is a diagram referred to when the technique related to the present disclosure is explained.
  • FIG. 5 is a diagram for explaining a configuration example of the information processing apparatus according to the embodiment.
  • FIG. 6 is a diagram referred to when an operation example of the information processing apparatus according to the embodiment is described.
  • FIG. 7 is a diagram referred to when an operation example of the information processing apparatus according to the embodiment is described.
  • FIG. 8 is a diagram referred to when an operation example of the information processing apparatus according to the embodiment is described.
  • FIG. 1 is a diagram referred to when a technique related to the present disclosure is described.
  • FIG. 2 is a diagram referred to when the technique related to the present disclosure is explained.
  • FIG. 3 is
  • FIG. 9 is a diagram referred to when an operation example of the information processing apparatus according to the embodiment is described.
  • FIG. 10 is a flowchart for explaining an operation example of the information processing apparatus according to the embodiment.
  • 11A and 11B are diagrams for explaining a specific example of the image displayed on the display unit according to the embodiment.
  • 12A to 12C are diagrams for explaining a specific example of the image displayed on the display unit according to the embodiment.
  • 13A and 13B are diagrams for explaining a specific example of the image displayed on the display unit according to the embodiment.
  • FIG. 1 shows an outline of an information processing system to which the present technology is applied.
  • the data acquisition unit 1 acquires image data for generating a 3D model of the subject.
  • a plurality of viewpoint images captured by a plurality of image pickup devices 8B arranged so as to surround the subject 8A are acquired as image data.
  • the plurality of viewpoint images are preferably images captured by a plurality of cameras in synchronization.
  • the data acquisition unit 1 may acquire, for example, a plurality of viewpoint images obtained by capturing the subject 8A from a plurality of viewpoints with one camera as image data.
  • the data acquisition unit 1 may acquire, for example, one captured image of the subject 8A as image data.
  • the 3D model generation unit 2 described later generates a 3D model by using, for example, machine learning.
  • the data acquisition unit 1 may perform calibration based on the image data and acquire the internal parameters and the external parameters of each image pickup apparatus 8B. Further, the data acquisition unit 1 may acquire a plurality of depth information indicating a distance from a plurality of viewpoints to the subject 8A, for example.
  • the 3D model generation unit 2 generates a model having 3D information of the subject 8A based on the image data for generating the 3D model of the subject 8A.
  • the 3D model generation unit 2 uses, for example, the so-called Visual Hull to cut the three-dimensional shape of the subject 8A using images from a plurality of viewpoints (for example, silhouette images from a plurality of viewpoints) to create a 3D image of the subject 8A. Generate a model.
  • the 3D model generation unit 2 can further transform the 3D model generated by using Visual Hull with high accuracy by using a plurality of depth information indicating the distances from the viewpoints of a plurality of points to the subject 8A.
  • the 3D model generation unit 2 may generate a 3D model of the subject 8A from one captured image of the subject 8A.
  • the 3D model generated by the 3D model generation unit 2 can be said to be a moving image of the 3D model by generating it in time-series frame units.
  • the 3D model is generated by using the image captured by the image pickup apparatus 8B, it can be said to be a live-action 3D model.
  • the 3D model can express shape information representing the surface shape of the subject 8A in the form of mesh data called a polygon mesh, which is expressed by the connection between vertices (Vertex) and vertices.
  • the method of expressing the 3D model is not limited to these, and may be described by a so-called point cloud expression method expressed by the position information of points.
  • Color information data is also generated as a texture in a form linked to these 3D shape data. For example, there are cases of a View Independent texture that has a constant color when viewed from any direction, and a case of a View Dependent texture whose color changes depending on the viewing direction.
  • the formatting unit 3 converts the 3D model data generated by the 3D model generation unit 2 into a format suitable for transmission and storage.
  • the 3D model generated by the 3D model generation unit 2 may be converted into a plurality of two-dimensional images by perspectively projecting them from a plurality of directions.
  • the 3D model may be used to generate depth information which is a two-dimensional depth image from a plurality of viewpoints.
  • the depth information and the color information of the state of this two-dimensional image are compressed and output to the transmission unit 4.
  • the depth information and the color information may be transmitted side by side as one image, or may be transmitted as two separate images. In this case, since it is in the form of two-dimensional image data, it can be compressed by using a two-dimensional compression technique such as AVC (Advanced Video Coding).
  • AVC Advanced Video Coding
  • 3D data may be converted into a point cloud format. It may be output to the transmission unit 4 as three-dimensional data.
  • the Geometry-based-Approach 3D compression technique discussed in MPEG can be used.
  • the transmission unit 4 transmits the transmission data formed by the formatting unit 3 to the reception unit 5.
  • the transmission unit 4 transmits the transmission data to the reception unit 5 after performing a series of processes of the data acquisition unit 1, the 3D model generation unit 2 and the formatting unit 3 offline. Further, the transmission unit 4 may transmit the transmission data generated from the series of processes described above to the reception unit 5 in real time.
  • the receiving unit 5 receives the transmission data transmitted from the transmitting unit 4.
  • the rendering unit 6 renders using the transmission data received by the receiving unit 5. For example, texture mapping is performed by projecting a 3D model mesh from the viewpoint of a camera that draws it and pasting a texture that represents a color or pattern. The drawing at this time can be arbitrarily set regardless of the camera position at the time of shooting and can be viewed from a free viewpoint.
  • the rendering unit 6 performs texture mapping to paste a texture representing the color, pattern or texture of the mesh according to the position of the mesh of the 3D model, for example.
  • Texture mapping includes a so-called View Dependent method that considers the user's viewing viewpoint and a View Independent method that does not consider the user's viewing viewpoint.
  • the View Dependent method has the advantage of being able to achieve higher quality rendering than the View Independent method because the texture to be pasted on the 3D model changes according to the position of the viewing viewpoint.
  • the View Independent method has an advantage that the amount of processing is smaller than that of the View Dependent method because the position of the viewing viewpoint is not considered.
  • the viewing viewpoint data is input to the rendering unit 6 from the display device after the display device detects the viewing point (Region of Interest) of the user.
  • the rendering unit 6 may adopt, for example, billboard rendering that renders the object so that the object maintains a vertical posture with respect to the viewing viewpoint. For example, when rendering multiple objects, objects that are of less interest to the viewer may be rendered on the billboard, while other objects may be rendered using other rendering methods.
  • the display unit 7 displays the result rendered by the rendering unit 6 on the display unit 7 of the display device.
  • the display device may be a 2D monitor or a 3D monitor such as a head-mounted display, a spatial display, a mobile phone, a television, or a PC.
  • the information processing system of FIG. 1 shows a series of flows from a data acquisition unit 1 that acquires an captured image, which is a material for generating content, to a display control unit that controls a display device to be viewed by a user.
  • a transmitting unit 4 and a receiving unit 5 are provided to show a series of flow from a content creating side to a content viewing side through distribution of content data, but from content production to viewing.
  • the same information processing device for example, a personal computer
  • the same implementer may implement everything, or different implementers may implement each functional block.
  • the business operator A generates 3D contents through the data acquisition unit 1, the 3D model generation unit 2, and the formatting unit 3. Then, it is conceivable that the 3D content is distributed through the transmission unit 4 (platform) of the business operator B, and the display device of the business operator C performs reception, rendering, and display control of the 3D content.
  • each functional block can be implemented on the cloud.
  • the rendering unit 6 may be performed in the display device or may be performed in the server. In that case, information is exchanged between the display device and the server.
  • FIG. 1 describes the data acquisition unit 1, the 3D model generation unit 2, the formatting unit 3, the transmission unit 4, the reception unit 5, the rendering unit 6, and the display unit 7 as an information processing system.
  • the information processing system of the present specification is referred to as an information processing system if two or more functional blocks are involved.
  • the data acquisition unit 1 and the 3D model generation unit 2 are not included in the display unit 7.
  • the encoding unit, the transmitting unit 4, the receiving unit 5, the decoding unit, and the rendering unit 6 can be collectively referred to as an information processing system.
  • step S101 the data acquisition unit 1 acquires image data for generating a 3D model of the subject 8A.
  • step S102 the 3D model generation unit 2 generates a model having three-dimensional information of the subject 8A based on the image data for generating the 3D model of the subject 8A.
  • step S103 the formatting unit 3 encodes the shape and texture data of the 3D model generated by the 3D model generation unit 2 into a format suitable for transmission and storage.
  • step S104 the transmission unit 4 transmits the encoded data
  • step S105 the reception unit 5 receives the transmitted data.
  • step S106 the decoding unit performs decoding processing, converts it into shape and texture data necessary for display, and the rendering unit 6 renders using the shape and texture data.
  • step S107 the display unit 7 displays the rendered result.
  • FIG. 4 is a block diagram showing a configuration example of computer hardware that executes the above-mentioned series of processes programmatically.
  • the CPU Central Processing Unit
  • the ROM Read Only Memory
  • the RAM Random Access Memory
  • the input / output interface 15 is also connected to the bus 14.
  • An input unit 16, an output unit 17, a storage unit 18, a communication unit 19, and a drive 20 are connected to the input / output interface 15.
  • the input unit 16 includes, for example, a keyboard, a mouse, a microphone, a touch panel, an input terminal, and the like.
  • the output unit 17 includes, for example, a display, a speaker, an output terminal, and the like.
  • the storage unit 18 is composed of, for example, a hard disk, a RAM disk, a non-volatile memory, or the like.
  • the communication unit 19 is composed of, for example, a network interface.
  • the drive 20 drives a removable medium such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 11 loads the program stored in the storage unit into the RAM 13 via the input / output interface 15 and the bus 14 and executes the program, thereby executing the series described above. Processing is done.
  • the RAM 13 also appropriately stores data and the like necessary for the CPU 11 to execute various processes.
  • the program executed by the computer can be recorded and applied to removable media such as package media, for example.
  • the program can be installed in the storage unit 18 via the input / output interface 15 by mounting the removable media in the drive 20.
  • the program can also be provided via wired or wireless transmission media such as local area networks, the Internet, and digital satellite broadcasts. In that case, the program can be received by the communication unit 19 and installed in the storage unit 18.
  • FIG. 5 is a diagram for explaining a configuration example of the information processing device (information processing device 100) according to the embodiment.
  • the information processing apparatus 100 may be configured as, for example, a head-mounted display mounted on the user's head and used.
  • the information processing device 100 may be configured as a display of another form such as a spectacle type.
  • the information processing device 100 includes a user interface processing unit 101, an object position control unit 102, a first storage unit 103, a 3D model reading unit 104, a 2D moving image drawing / projection unit 105, a 3D model drawing unit 106, and a second storage unit 107. It has a rendering unit 108 and a display unit 109.
  • the user interface processing unit 101 processes an operation input to an operation input unit (not shown) such as a controller. For example, when a predetermined operation is performed on the head tracking or the controller, the user interface processing unit 101 detects the operation and generates an operation input signal corresponding to the operation. Then, the user interface processing unit 101 supplies the generated operation input signal to, for example, the object position control unit 102.
  • an operation input unit not shown
  • the user interface processing unit 101 detects the operation and generates an operation input signal corresponding to the operation. Then, the user interface processing unit 101 supplies the generated operation input signal to, for example, the object position control unit 102.
  • the object position control unit 102 controls the position of the object in a predetermined virtual space based on the operation input signal from the user interface processing unit 101. Specifically, the object position control unit 102 controls to move the position of the object in the virtual space closer to or further from the user position in the virtual space based on the operation input signal.
  • the first storage unit 103 stores 3D model data of a predetermined object.
  • a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, an optical magnetic storage device, or the like can be applied.
  • the 3D model reading unit 104 reads 3D model data from the first storage unit 103.
  • the 2D moving image drawing / projection unit 105 which is an example of the first image processing unit, projects a predetermined object onto a two-dimensional plane in a virtual space.
  • the 2D moving image drawing / projection unit 105 projects, for example, a three-dimensional model of an object onto a two-dimensional plane.
  • the two-dimensional plane is, for example, a display arranged in a virtual space.
  • a predetermined object is displayed in 2D on a two-dimensional plane by processing by the 2D moving image drawing / projection unit 105.
  • the display state corresponding to the processing of the 2D moving image drawing / projection unit 105 is the first rendering state.
  • the 3D model drawing unit 106 which is an example of the second image processing unit, renders a 3D model of a predetermined object in a place other than the 2D plane in the virtual space.
  • the 2D moving image drawing / projection unit 105 and the 3D model drawing unit 106 operate based on the position information of the object supplied from the object position control unit 102. Details will be described later, but depending on the position of the object, the 2D moving image drawing / projection unit 105 and the 3D model drawing unit 106 may operate, or only one of them may operate. Further, the 2D moving image drawing / projection unit 105 can project an object having a size corresponding to the position information of the object supplied from the object position control unit 102 onto a two-dimensional plane. Similarly, the 3D model drawing unit 106 can also render an object (three-dimensional model) having a size corresponding to the position information of the object supplied from the object position control unit 102.
  • the second storage unit 107 stores background data.
  • a magnetic storage device such as an HDD, a semiconductor storage device, an optical storage device, an optical magnetic storage device, or the like can be applied.
  • the rendering unit 108 draws a background based on background data with respect to the foreground drawn by the 2D moving image drawing / projection unit 105 and the 3D model drawing unit 106.
  • the background data may be any 3D model, spherical photograph, spherical image, or the like in the virtual space.
  • the display unit 109 is a display that displays the processing result of the rendering unit 108.
  • the first rendering state and the second rendering state are switched according to the position of the object in the virtual space and the position of the two-dimensional plane.
  • the user position in the virtual space is defined as the user position UP.
  • the position of the two-dimensional plane (hereinafter, the two-dimensional plane will be described as a display) in the virtual space is defined as the position DP.
  • the position of the object OB changes with respect to the user position UP.
  • the object OB is a man who skates, but it can be an appropriate object for dancing, running, or the like.
  • the position of the object OB changes according to the operation input of the user.
  • the position of the object OB may be appropriately changed as the image progresses.
  • the depth direction (z-axis) is defined with respect to the user position UP as shown in FIG.
  • the size of the z coordinate on the z axis increases as it gets closer to the user position UP.
  • the object OB When the object OB is at the point A shown in FIG. 6, that is, behind the position DP of the display, the object OB is displayed in the first rendering state. That is, the object OB is displayed in 2D on the display. Then, for example, the position of the object OB changes from the point A to the point B to the point C according to the user operation.
  • the position of the object OB becomes larger than the position DP of the display which is the boundary surface, that is, when the object OB approaches the user position UP
  • the object OB is displayed in the second rendering state. That is, the object OB is rendered with a three-dimensional model. Further, when a part of the object OB straddles the position DP of the display as in the position B of FIG.
  • a part of the object OB is displayed in the second rendering state, and the remaining part of the object OB is the second. It is displayed in the rendering state of 1. In this way, by controlling the rendering state to be seamlessly switched according to the change in the position of the object OB, it is possible to realize an image expression as if the three-dimensional model pops out from the image projected on the display.
  • FIG. 7 is a diagram showing an arrangement of a virtual camera and a viewing platform used when projecting a three-dimensional model onto a display in the first rendering state.
  • the position of the virtual camera is preferably the center of gravity of the display to be projected, and the orientation is preferably perpendicular to the display to be projected.
  • the near clip plane is set to the coordinates equal to the coordinates of the position DP of the display.
  • FIG. 8 is an example in which the position of the object OB changes from the point A to the point B to the point C
  • FIG. 9 shows an example in which the position of the object OB changes from the point C to the point B to the point A.
  • the user inputs an operation to bring the position of the object OB closer.
  • the operation input signal corresponding to the operation input is generated by the user interface processing unit 101, and the generated operation input signal is supplied to the object position control unit 102.
  • the object position control unit 102 moves the position of the object displayed on the display unit 109 in a direction closer to the user, and monitors whether or not the position of the object OB exceeds the position of the position DP of the display.
  • the initial position of the object OB is the point A, and the initial position of the object OB is smaller than the position DP of the display. It is displayed in the rendered state of.
  • the object position control unit 102 moves the position of the object OB according to the operation input signal. Then, when a part of the object OB reaches the point B and exceeds the position DP of the display, the object position control unit 102 notifies the 3D model drawing unit 106 to that effect.
  • the 3D model drawing unit 106 renders a portion exceeding the position DP of the display with the 3D model. As a result, the portion of the object OB beyond the position DP of the display is rendered by the 3D model.
  • the object OB moves from point B to point C.
  • the object position control unit 102 indicates to that effect in the 2D moving image drawing / projection unit 105. Notify to.
  • the processing by the 2D moving image drawing / projection unit 105 is interrupted, and only the processing by the 3D model drawing unit 106 is performed. Therefore, all the object OBs will be rendered in the 3D model.
  • the user inputs an operation to move the position of the object OB away.
  • the operation input signal corresponding to the operation input is generated by the user interface processing unit 101, and the generated operation input signal is supplied to the object position control unit 102.
  • the object position control unit 102 moves the position of the object displayed on the display unit 109 in a direction away from the user, and monitors whether or not the position of the object OB exceeds the position of the position DP of the display.
  • the 3D model drawing unit 106 performs processing. As a result, the object OB is displayed in the second rendering state.
  • the object position control unit 102 moves the position of the object OB according to the operation input signal. Then, when a part of the object OB reaches the point B and exceeds the position DP of the display, the object position control unit 102 notifies the 2D moving image drawing / projection unit 105 to that effect.
  • the 2D moving image drawing / projecting unit 105 projects a portion exceeding the position DP of the display onto the display. As a result, a part of the object OB is displayed in the first rendering state.
  • the object OB moves from point B to point A.
  • the object position control unit 102 notifies the 3D model drawing unit 106 to that effect.
  • the processing by the 3D model drawing unit 106 is interrupted, and only the processing by the 2D moving image drawing / projection unit 105 is performed. Therefore, the entire object OB is projected onto the display and displayed as a 2D model.
  • FIG. 10 is a flowchart showing a flow of processing performed by the information processing apparatus 100 according to the embodiment.
  • step S11 the 3D model data relating to the predetermined object is read by the 3D model reading unit 104. Then, a process of selecting a polygon to be drawn in the three-dimensional model corresponding to the 3D model data is performed. Then, the process proceeds to step S12.
  • step S12 a process of selecting pixels in the polygon selected in step S11 (so-called rasterization process) is performed. Then, the process proceeds to step S13.
  • step S13 the position information of the pixel selected in step S12, specifically, the z coordinate in the z-axis direction, which is the depth information, is acquired. Then, the process proceeds to step S14.
  • step S14 it is determined whether or not the z-coordinate of the pixel is larger than the z-coordinate of the boundary portion, that is, the two-dimensional plane arranged in the virtual space. If the determination result is No, the process proceeds to step S15.
  • step S15 the 2D moving image drawing / projecting unit 105 projects the pixel that was the judgment target of step S14 onto the two-dimensional plane (first rendering state). Then, the process proceeds to step S17.
  • step S14 If the determination result in step S14 is Yes, the process proceeds to step S16.
  • step S16 the 3D model drawing unit 106 renders the pixel to be determined in step S14 as a 3D model (second rendering state). Then, the process proceeds to step S17.
  • step S17 it is determined whether or not all the pixels in the polygon have been drawn. If all the pixels have not been drawn, the process returns to step S13. When all the pixels are drawn, the process ends.
  • the process related to the position is performed by the object position control unit 102
  • the process of step S15 is performed by the 2D moving image drawing / projection unit 105
  • the process of step S16 is performed. This is done by the 3D model drawing unit 106.
  • this is only an example, and an appropriate functional block of the information processing apparatus 100 can perform the above-mentioned processing.
  • the image projected by the 2D moving image drawing / projecting unit 105 on a two-dimensional plane may be an image obtained by rendering a three-dimensional model with a single virtual camera, or three-dimensional with the left and right virtual cameras arranged based on the distance between the eyes. It may be a rendered image of the model. According to the latter, it is possible to maintain a three-dimensional effect when the image is projected onto a two-dimensional plane. In addition, it is possible to reduce the discomfort caused by the change in the three-dimensional effect that occurs when switching from the first rendering state to the second rendering state.
  • the image projected by the 2D moving image drawing / projection unit 105 on the two-dimensional plane may be an image stored in advance or an image obtained by actual shooting.
  • a live-action image taken by an actual camera is displayed in the first rendering state.
  • a volumetric image is displayed in the second rendering state.
  • the volumetric image means an image using a three-dimensional model that is three-dimensionally reconstructed by photographing a subject with cameras of a plurality of viewpoints and using the photographed information and the photographed result.
  • the object OB is projected and displayed on the display 30 arranged in the virtual space in the first rendering state.
  • An image in which a background (for example, a skating rink) is superimposed together with the object OB is displayed on the display 30.
  • the rendering unit 108 performs the background superimposition processing, but the 2D moving image drawing / projection unit 105 may perform the background superimposition processing.
  • the background may be continuously displayed on the display 30.
  • the object to be displayed in the above-described embodiment may be a general three-dimensional model, or a subject is photographed by cameras of a plurality of viewpoints, and the object is three-dimensionally reconstructed using the photographed information and the photographed result. It may be a three-dimensional model.
  • the shape of the two-dimensional plane to be projected may be a rectangle as described in one embodiment, or may be any shape such as a polygon or a circle.
  • a device such as a television or a projector screen that actually displays a two-dimensional image may be used. Further, it may be possible to switch between three or more rendering states.
  • a part of the configuration and functions of the information processing device according to the above-described embodiment may exist in a device different from the information processing device (for example, a server device on a network).
  • the first storage unit 103 and the second storage unit 107 may be server devices that can be connected to the information processing device via a network.
  • the program that realizes the above-mentioned functions may be executed in any device.
  • the device may have the necessary functional blocks so that the necessary information can be obtained.
  • each step of one flowchart may be executed by one device, or may be shared and executed by a plurality of devices.
  • one device may execute the plurality of processes, or the plurality of devices may share and execute the plurality of processes.
  • a plurality of processes included in one step can be executed as processes of a plurality of steps.
  • the processes described as a plurality of steps can be collectively executed as one step.
  • the processing of the steps for writing the program may be executed in chronological order in the order described in the present specification, and may be executed in parallel or in a row. It may be executed individually at the required timing such as when it is broken. That is, as long as there is no contradiction, the processes of each step may be executed in an order different from the above-mentioned order. Further, the processing of the step for describing this program may be executed in parallel with the processing of another program, or may be executed in combination with the processing of another program. Further, for example, a plurality of techniques related to this technique can be independently implemented independently as long as there is no contradiction. Of course, any plurality of the present technologies can be used in combination.
  • a first image processing unit that projects a predetermined object onto a two-dimensional plane in virtual space, It has a second image processing unit that renders a 3D model for a given object in a location other than the 2D plane in the virtual space.
  • An information processing device capable of switching between at least a first rendering state by the first image processing unit and a second rendering state by the second image processing unit.
  • the first image processing unit renders the three-dimensional model with a single virtual camera or renders the three-dimensional model with the left and right virtual cameras arranged based on the distance between the eyes.
  • the information processing apparatus according to (1), which is projected onto a plane.
  • the first image processing unit projects a predetermined object onto a two-dimensional plane in virtual space.
  • the second image processing unit renders a three-dimensional model for a predetermined object in a place other than the two-dimensional plane in the virtual space.
  • the first image processing unit projects a predetermined object onto a two-dimensional plane in virtual space.
  • the second image processing unit renders a three-dimensional model for a predetermined object in a place other than the two-dimensional plane in the virtual space.
  • a program that causes a computer to execute an information processing method for switching between at least a first rendering state by the first image processing unit and a second rendering state by the second image processing unit.
  • a new video content may be created by synthesizing the 3D model of the subject generated in the above-described embodiment and the 3D data managed by another server. Further, for example, when the background data acquired by an image pickup device such as Lidar exists, the subject can be placed in the place indicated by the background data by combining the 3D model of the subject generated in the above-described embodiment and the background data. You can also create content that looks as if it were.
  • the video content may be a three-dimensional video content or a two-dimensional video content converted into two dimensions.
  • the 3D model of the subject generated in the above-described embodiment includes, for example, a 3D model generated by the 3D model generation unit 2 and a 3D model reconstructed by the rendering unit 6.
  • a subject for example, a performer generated in the present embodiment can be placed in a virtual space where the user acts as an avatar and communicates.
  • the user can act as an avatar and view the live-action subject in the virtual space.
  • a user in the remote location can view the 3D model of the subject through the playback device in the remote location. ..
  • the subject and a user in a remote place can communicate in real time. For example, it is assumed that the subject is a teacher and the user is a student, or the subject is a doctor and the user is a patient.
  • a free-viewpoint image such as sports based on a 3D model of a plurality of subjects generated in the above-described embodiment, or an individual distributes himself / herself as a 3D model generated in the above-mentioned embodiment. It can also be delivered to the platform.
  • a free-viewpoint image such as sports based on a 3D model of a plurality of subjects generated in the above-described embodiment, or an individual distributes himself / herself as a 3D model generated in the above-mentioned embodiment. It can also be delivered to the platform.
  • the contents of the embodiments described in the present specification can be applied to various techniques and services.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

例えば、レンダリングを切替可能とする。　所定のオブジェクトを仮想空間における２次元平面に投影する第１の画像処理部と、所定のオブジェクトに関する３次元モデルを仮想空間における２次元平面ではない箇所にレンダリングする第２の画像処理部とを有し、少なくとも第１の画像処理部による第１のレンダリング状態と第２の画像処理部による第２のレンダリング状態とが切替可能とされている情報処理装置である。

Description

情報処理装置、情報処理方法およびプログラム
　本開示は、情報処理装置、情報処理方法およびプログラムに関する。
　特許文献１は、３次元モデルとして描画するオブジェクトと２次元映像として表示するオブジェクトをオブジェクト単位で分類して表示制御を行う技術を開示する。
特許第５４８３７６１号公報
　特許文献１に記載の技術は、オブジェクト単位で３次元モデルとして描画するまたは２次元映像として表示するかが決まってしまうため、例えば、同一のオブジェクトが２次元平面から３次元空間に飛び出してくるような映像表現を行うことが困難であった。
　本開示は、所定のオブジェクトを異なるレンダリング状態で表示可能とし、当該異なるレンダリング状態を切替可能とする情報処理装置、情報処理方法およびプログラムを提供することを目的の一つとする。
　本開示は、例えば、
　所定のオブジェクトを仮想空間における２次元平面に投影する第１の画像処理部と、
　所定のオブジェクトに関する３次元モデルを仮想空間における２次元平面ではない箇所にレンダリングする第２の画像処理部と
　を有し、
　少なくとも第１の画像処理部による第１のレンダリング状態と第２の画像処理部による第２のレンダリング状態とが切替可能とされている
　情報処理装置である。
　本開示は、例えば、
　第１の画像処理部が、所定のオブジェクトを仮想空間における２次元平面に投影し、
　第２の画像処理部が、所定のオブジェクトに関する３次元モデルを仮想空間における２次元平面ではない箇所にレンダリングし、
　少なくとも第１の画像処理部による第１のレンダリング状態と第２の画像処理部による第２のレンダリング状態とを切り替える
　情報処理方法である。
　本開示は、例えば、
　第１の画像処理部が、所定のオブジェクトを仮想空間における２次元平面に投影し、
　第２の画像処理部が、所定のオブジェクトに関する３次元モデルを仮想空間における２次元平面ではない箇所にレンダリングし、
　少なくとも第１の画像処理部による第１のレンダリング状態と第２の画像処理部による第２のレンダリング状態とを切り替える
　情報処理方法をコンピュータに実行させるプログラムである。
図１は、本開示に関連する技術の説明がなされる際に参照される図である。 図２は、本開示に関連する技術の説明がなされる際に参照される図である。 図３は、本開示に関連する技術の説明がなされる際に参照される図である。 図４は、本開示に関連する技術の説明がなされる際に参照される図である。 図５は、一実施形態に係る情報処理装置の構成例を説明するための図である。 図６は、一実施形態に係る情報処理装置の動作例に関する説明がなされる際に参照される図である。 図７は、一実施形態に係る情報処理装置の動作例に関する説明がなされる際に参照される図である。 図８は、一実施形態に係る情報処理装置の動作例に関する説明がなされる際に参照される図である。 図９は、一実施形態に係る情報処理装置の動作例に関する説明がなされる際に参照される図である。 図１０は、一実施形態に係る情報処理装置の動作例を説明するためのフローチャートである。 図１１Ａおよび図１１Ｂは、一実施形態に係る表示部に表示される映像の具体例を説明するための図である。 図１２Ａ～図１２Ｃは、一実施形態に係る表示部に表示される映像の具体例を説明するための図である。 図１３Ａおよび図１３Ｂは、一実施形態に係る表示部に表示される映像の具体例を説明するための図である。
　以下、本開示の実施形態等について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜本開示に関連する技術＞
＜一実施形態＞
＜変形例＞
＜応用例＞
　以下に説明する実施形態等は本開示の好適な具体例であり、本開示の内容がこれらの実施形態等に限定されるものではない。
＜本開示に関連する技術＞
　始めに、本開示の理解を容易とするために、本開示に関連する技術について説明する。以下に説明する本開示に関連する技術は、本開示に適用することができる。
［情報処理システムの概要］
　図１は、本技術を適用した情報処理システムの概要を示している。データ取得部１は、被写体の３Ｄモデルを生成するための画像データを取得する。例えば、図２に示すように被写体８Ａを取り囲むように配置された複数の撮像装置８Ｂによって撮像された複数の視点画像を画像データとして取得する。この場合、複数の視点画像は、複数のカメラが同期して撮像された画像が好ましい。また、データ取得部１は、例えば、１台のカメラで被写体８Ａを複数の視点から撮像した複数の視点画像を画像データとして取得してもよい。また、データ取得部１は、例えば、被写体８Ａの１枚の撮像画像を画像データとして取得してもよい。この場合、後述する３Ｄモデル生成部２で、例えば機械学習を利用して３Ｄモデルを生成する。
　なお、データ取得部１は、画像データに基づいてキャリブレーションを行い、各撮像装置８Ｂの内部パラメータ及び外部パラメータを取得してもよい。また、データ取得部１は、例えば、複数箇所の視点から被写体８Ａまでの距離を示す複数のデプス情報を取得してもよい。
　３Ｄモデル生成部２は、被写体８Ａの３Ｄモデルを生成するための画像データに基づいて被写体８Ａの３次元情報を有するモデルを生成する。３Ｄモデル生成部２は、例えば、所謂Visual Hullを用いて、複数の視点からの画像（例えば、複数の視点からのシルエット画像）を用いて被写体８Ａの３次元形状を削ることによって被写体８Ａの３Ｄモデルを生成する。この場合、３Ｄモデル生成部２は更に、Visual Hullを用いて生成した３Ｄモデルを複数箇所の視点から被写体８Ａまでの距離を示す複数のデプス情報を用いて高精度に変形させることができる。また、例えば、３Ｄモデル生成部２は、被写体８Ａの１枚の撮像画像から被写体８Ａの３Ｄモデルを生成してもよい。３Ｄモデル生成部２で生成される３Ｄモデルは、時系列のフレーム単位で生成することで３Ｄモデルの動画と言うこともできる。また、３Ｄモデルは、撮像装置８Ｂで撮像された画像を用いて生成されるため実写の３Ｄモデルとも言うことができる。３Ｄモデルは、被写体８Ａの表面形状を表す形状情報を、例えば、ポリゴンメッシュと呼ばれる、頂点（Vertex）と頂点との繋がりで表現したメッシュデータの形式で表現することができる。３Ｄモデルの表現の方法はこれらに限定されるものではなく、点の位置情報で表現される所謂ポイントクラウドの表現方法で記述されてもよい。
　これらの３Ｄ形状データに紐づけられる形で、色情報のデータもテクスチャとして生成される。例えば、どの方向から見ても一定の色となるView Independent テクスチャの場合と、視聴する方向によって色が変化するView Dependentテクスチャの場合がある。
　フォーマット化部３（符号化部）は、３Ｄモデル生成部２で生成された３Ｄモデルのデータを伝送や蓄積に適したフォーマットに変換する。例えば、３Ｄモデル生成部２で生成された３Ｄモデルを複数の方向から透視投影することにより複数の２次元画像に変換しても良い。この場合、３Ｄモデルを用いて複数の視点からの２次元のデプス画像であるデプス情報を生成してもよい。この２次元画像の状態のデプス情報と、色情報を圧縮して送信部４に出力する。デプス情報と色情報は、並べて１枚の画像として伝送してもよいし、２本の別々の画像として伝送してもよい。この場合、２次元画像データの形であるため、AVC(Advanced Video Coding)などの２次元圧縮技術を用いて圧縮することもできる。
　また、例えば、３Ｄデータをポイントクラウドのフォーマットに変換してもよい。３次元データとして送信部４に出力してもよい。この場合、例えば、MPEGで議論されているGeometry-based-Approachの３次元圧縮技術を用いることができる。
　送信部４は、フォーマット化部３で形成された伝送データを受信部５に送信する。送信部４は、データ取得部１、３Ｄモデル生成部２とフォーマット化部３の一連の処理をオフラインで行った後に、伝送データを受信部５に伝送する。また、送信部４は、上述した一連の処理から生成された伝送データをリアルタイムに受信部５に伝送してもよい。
　受信部５は、送信部４から伝送された伝送データを受信する。
　レンダリング部６は、受信部５で受信した伝送データを用いてレンダリングを行う。例えば、３Ｄモデルのメッシュを描画するカメラの視点で投影し、色や模様を表すテクスチャを貼り付けるテクスチャマッピングを行う。この時の描画は、撮影時のカメラ位置と関係なく任意に設定し自由な視点で見ることができる。
　レンダリング部６は、例えば、３Ｄモデルのメッシュの位置に応じて、メッシュの色、模様や質感を表すテクスチャを貼り付けるテクスチャマッピングを行う。テクスチャマッピングには、所謂、ユーザーの視聴視点を考慮するView Dependentと呼ばれる方式や、ユーザーの視聴視点を考慮しないView Independentという方式がある。 View Dependent方式は、視聴視点の位置に応じて３Ｄモデルに貼り付けるテクスチャを変化させるため、View Independent方式よりも高品質なレンダリングが実現できる利点がある。一方、View Independent方式は視聴視点の位置を考慮しないためView Dependent方式に比べて処理量が少なくする利点がある。なお、視聴視点のデータは、ユーザーの視聴個所（Region of Interest）を表示装置が検出し、表示装置からレンダリング部６に入力される。また、レンダリング部６は、例えば、視聴視点に対しオブジェクトが垂直な姿勢を保つようにオブジェクトをレンダリングするビルボードレンダリングを採用してもよい。例えば、複数オブジェクトをレンダリングする際に、視聴者の関心が低いオブジェクトをビルボードでレンダリングし、その他のオブジェクトを他のレンダリング方式でレンダリングすることもできる。
　表示部７は、レンダリング部６によりレンダリングされた結果を表示装置の表示部７に表示する。表示装置は、例えば、ヘッドマウントディスプレイ、空間ディスプレイ、携帯電話、テレビ、ＰＣなど、２Ｄモニタでも３Ｄモニタでもよい。
　図１の情報処理システムは、コンテンツを生成する材料である撮像画像を取得するデータ取得部１からユーザーの視聴する表示装置を制御する表示制御部までの一連の流れを示した。しかしながら、本技術の実施のために全ての機能ブロックが必要という意味ではなく、各機能ブロック毎又は複数の機能ブロックの組合せに本技術が実施でき得る。例えば、図１は、コンテンツを作成する側からコンテンツデータの配信を通じてコンテンツを視聴する側までの一連の流れを示すために送信部４や受信部５を設けたが、コンテンツの制作から視聴までを同じ情報処理装置（例えばパーソナルコンピューター）で実施する場合は、符号化部、送信部４、復号化部又は受信部５を備える必要はない。
　本情報処理システムを実施するに当たっては、同一の実施者が全てを実施する場合もあれば、各機能ブロックに異なる実施者が実施することもできる。その一例としては、事業者Ａは、データ取得部１、３Ｄモデル生成部２、フォーマット化部３を通じて３Ｄコンテンツを生成する。その上で、事業者Ｂの送信部４（プラットフォーム）を通じて３Ｄコンテンツが配信され、事業者Ｃの表示装置が３Ｄコンテンツの受信、レンダリング、表示制御を行うことが考えられる。
　また、各機能ブロックは、クラウド上で実施することができる。例えば、レンダリング部６は、表示装置内で実施されてもよいし、サーバーで実施してもよい。その場合は表示装置とサーバー間での情報のやり取りが生じる。
　図１は、データ取得部１、３Ｄモデル生成部２、フォーマット化部３、送信部４、受信部５、レンダリング部６、表示部７を纏めて情報処理システムとして説明した。但し、本明細書の情報処理システムは、２以上の機能ブロックが関係していれば情報処理システムと言うこととし、例えば、表示部７は含めずに、データ取得部１、３Ｄモデル生成部２、符号化部、送信部４、受信部５、復号化部、レンダリング部６を総称して情報処理システムと言うこともできる。
［情報処理システムの処理の流れ］
　情報処理システムの処理の流れの例を、図３のフローチャートを参照して説明する。
処理が開始されると、ステップＳ１０１において、データ取得部１は被写体８Ａの３Ｄモデルを生成するための画像データを取得する。ステップＳ１０２において、３Ｄモデル生成部２は、被写体８Ａの３Ｄモデルを生成するための画像データに基づいて被写体８Ａの３次元情報を有するモデルを生成する。ステップＳ１０３において、フォーマット化部３は、３Ｄモデル生成部２で生成された３Ｄモデルの形状およびテクスチャデータを伝送や蓄積に好適なフォーマットにエンコードする。ステップＳ１０４において、送信部４が符号化されたデータを伝送し、ステップＳ１０５において、この伝送されたデータを受信部５が受信する。ステップＳ１０６において、復号部はデコード処理を行い、表示に必要な形状およびテクスチャデータに変換し、レンダリング部６は、形状およびテクスチャデータを用いてレンダリングを行う。ステップＳ１０７において、レンダリングした結果を表示部７が表示する。ステップＳ１０７の処理が終了すると、情報処理システムの処理が終了する。
　図４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。図４に示されるコンピュータにおいて、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ(Read Only Memory)１２、ＲＡＭ(Random Access Memory)１３は、バス１４を介して相互に接続されている。バス１４には、入出力インタフェース１５も接続されている。入出力インタフェース１５には、入力部１６、出力部１７、記憶部１８、通信部１９、およびドライブ２０が接続されている。入力部１６は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部１７は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部１８は、例えば、ハードディスク、ＲＡＭディスク、不揮発性のメモリなどよりなる。通信部１９は、例えば、ネットワークインタフェースよりなる。ドライブ２０は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディアを駆動する。
　以上のように構成されるコンピュータでは、ＣＰＵ１１が、例えば、記憶部に記憶されているプログラムを、入出力インタフェース１５およびバス１４を介して、ＲＡＭ１３にロードして実行することにより、上述した一連の処理が行われる。ＲＡＭ１３にはまた、ＣＰＵ１１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　コンピュータが実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディアに記録して適用することができる。その場合、プログラムは、リムーバブルメディアをドライブ２０に装着することにより、入出力インタフェース１５を介して、記憶部１８にインストールすることができる。また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部１９で受信し、記憶部１８にインストールすることができる。
＜一実施形態＞
［情報処理装置の構成例］
　図５は、一実施形態に係る情報処理装置（情報処理装置１００）の構成例を説明するための図である。情報処理装置１００は、例えば、ユーザーの頭部に装着されて用いられるヘッドマウントディスプレイとして構成され得る。情報処理装置１００は、眼鏡型等の他の形態のディスプレイとして構成されてもよい。
　情報処理装置１００は、ユーザーインターフェース処理部１０１、オブジェクト位置制御部１０２、第１記憶部１０３、３Ｄモデル読み込み部１０４、２Ｄ動画描画・投影部１０５、３Ｄモデル描画部１０６、第２記憶部１０７、レンダリング部１０８および表示部１０９を有する。
　ユーザーインターフェース処理部１０１は、コントローラ等の操作入力部（不図示）への操作入力を処理する。例えば、ヘッドトラッキングやコントローラへの所定の操作がなされると、ユーザーインターフェース処理部１０１は当該操作を検出し、操作に対応する操作入力信号を生成する。そして、ユーザーインターフェース処理部１０１は、生成した操作入力信号を例えばオブジェクト位置制御部１０２に供給する。
　オブジェクト位置制御部１０２は、ユーザーインターフェース処理部１０１からの操作入力信号に基づいて、所定の仮想空間におけるオブジェクトの位置を制御する。具体的には、操作入力信号に基づいて、オブジェクト位置制御部１０２は、仮想空間におけるオブジェクトの位置を仮想空間におけるユーザー位置に近づけたり、遠ざけたりする制御を行う。
　第１記憶部１０３は、所定のオブジェクトの３Ｄモデルデータを記憶する。第１記憶部１０３としては、ＨＤＤ（Hard Disk Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、光磁気記憶デバイス等を適用することができる。
　３Ｄモデル読み込み部１０４は、第１記憶部１０３から３Ｄモデルデータを読み出す。
　第１の画像処理部の一例である２Ｄ動画描画・投影部１０５は、所定のオブジェクトを仮想空間における２次元平面に投影する。２Ｄ動画描画・投影部１０５は、例えば、オブジェクトの３次元モデルを２次元平面に投影する。なお、２次元平面は、例えば、仮想空間に配置されるディスプレイである。２Ｄ動画描画・投影部１０５による処理により、所定のオブジェクトが２次元平面に２Ｄで表示される。２Ｄ動画描画・投影部１０５の処理に対応する表示状態が第１のレンダリング状態である。
　第２の画像処理部の一例である３Ｄモデル描画部１０６は、所定のオブジェクトに関する３次元モデルを仮想空間における２次元平面ではない箇所にレンダリングする。
　なお、２Ｄ動画描画・投影部１０５および３Ｄモデル描画部１０６は、オブジェクト位置制御部１０２から供給されるオブジェクトの位置情報に基づいて動作する。詳細は後述するが、オブジェクトの位置に応じて、２Ｄ動画描画・投影部１０５および３Ｄモデル描画部１０６が動作する場合もあれば、何れか一方のみが動作する場合もある。また、２Ｄ動画描画・投影部１０５は、オブジェクト位置制御部１０２から供給されるオブジェクトの位置情報に応じた大きさのオブジェクトを２次元平面に投影することができる。同様に、３Ｄモデル描画部１０６も、オブジェクト位置制御部１０２から供給されるオブジェクトの位置情報に応じた大きさのオブジェクト（３次元モデル）をレンダリングすることができる。
　第２記憶部１０７は、背景データを記憶する。第２記憶部１０７としては、ＨＤＤ等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、光磁気記憶デバイス等を適用することができる。
　レンダリング部１０８は、２Ｄ動画描画・投影部１０５や３Ｄモデル描画部１０６によって描画された前景に対して、背景データに基づく背景を描画する。背景データは、仮想空間内における３次元モデル、全天球写真、全天球映像等、何でもよい。
　表示部１０９は、レンダリング部１０８による処理結果を表示するディスプレイである。
［情報処理装置の動作例］
（動作の概略）
　次に、情報処理装置１００の動作例について説明する。本実施形態では、仮想空間におけるオブジェクトの位置と２次元平面の位置とに応じて、第１のレンダリング状態と第２のレンダリング状態とが切り替えられる。図６に示すように、仮想空間におけるユーザー位置をユーザー位置ＵＰとする。仮想空間における２次元平面（以下では、係る２次元平面をディスプレイとして説明する）の位置を位置ＤＰとする。オブジェクトＯＢの位置がユーザー位置ＵＰに対して変化する。図示の例では、オブジェクトＯＢがスケートをする男性であるが、ダンスやランニング等をする適宜なオブジェクトとすることができる。本実施形態では、オブジェクトＯＢの位置がユーザーの操作入力に応じて変化する。勿論、映像の進行と共にオブジェクトＯＢの位置が適宜、変化してもよい。ユーザー位置ＵＰに対して図６に示すように奥行き方向（ｚ軸）を規定する。ｚ軸上のｚ座標の大きさは、ユーザー位置ＵＰに対して近くなるほど大きくなる。
　オブジェクトＯＢが図６に示すＡ地点、すなわち、ディスプレイの位置ＤＰより奥側にある場合には、オブジェクトＯＢが第１のレンダリング状態で表示される。すなわち、オブジェクトＯＢがディスプレイに２Ｄで表示される。そして、例えばユーザー操作に応じてオブジェクトＯＢの位置がＡ地点→Ｂ地点→Ｃ地点と変化する。オブジェクトＯＢの位置が境界面であるディスプレイの位置ＤＰより大きくなった場合、すなわち、オブジェクトＯＢがユーザー位置ＵＰに近づいた場合には、オブジェクトＯＢが第２のレンダリング状態で表示される。すなわち、オブジェクトＯＢが３次元モデルでレンダリングされる。また、図６の位置Ｂのように、オブジェクトＯＢの一部がディスプレイの位置ＤＰを跨ぐ場合には、オブジェクトＯＢの一部が第２のレンダリング状態で表示され、オブジェクトＯＢの残りの部分が第１のレンダリング状態で表示される。このように、オブジェクトＯＢの位置の変化に応じてレンダリング状態がシームレスに切り替わる制御が行われることにより、あたかもディスプレイに投影された映像から３次元モデルが飛び出すような映像表現を実現することができる。
　図７は、第１のレンダリング状態において、３次元モデルをディスプレイに投影する際に用いる仮想カメラの配置と視錘台を示す図である。仮想カメラの配置位置は、投影するディスプレイの重心が好ましく、向きとしては、投影するディスプレイに対して垂直となる向きとするのが好ましい。また、仮想カメラの視錘台のうち、near clip planeはディスプレイの位置ＤＰの座標と等しい座標に設定される。
　図８および図９に示すシーケンス図を参照して、情報処理装置１００の動作例について具体的に説明する。図８は、オブジェクトＯＢの位置がＡ地点→Ｂ地点→Ｃ地点と変化する例であり、図９は、反対にオブジェクトＯＢの位置がＣ地点→Ｂ地点→Ａ地点と変化する例である。
　ユーザーがオブジェクトＯＢの位置を近づける操作入力を行う。係る操作入力に対応する操作入力信号がユーザーインターフェース処理部１０１により生成され、生成された操作入力信号がオブジェクト位置制御部１０２に供給される。オブジェクト位置制御部１０２は、表示部１０９に表示されるオブジェクトの位置をユーザーに近づける方向に移動させるとともに、オブジェクトＯＢの位置がディスプレイの位置ＤＰの位置を超えたか否かを監視する。本例では、オブジェクトＯＢの初期位置がＡ地点であり、オブジェクトＯＢの初期位置がディスプレイの位置ＤＰよりも小さいことから、２Ｄ動画描画・投影部１０５が処理を行うことにより、オブジェクトＯＢが第１のレンダリング状態で表示される。
　オブジェクト位置制御部１０２は、操作入力信号に応じてオブジェクトＯＢの位置を移動させる。そして、オブジェクトＯＢの一部がＢ地点に達し、ディスプレイの位置ＤＰを超えた場合に、オブジェクト位置制御部１０２は、その旨を３Ｄモデル描画部１０６に通知する。３Ｄモデル描画部１０６は、ディスプレイの位置ＤＰを超えた部分を３Ｄモデルでレンダリングする。これにより、オブジェクトＯＢにおけるディスプレイの位置ＤＰを超えた部分が３Ｄモデルでレンダリングされる。
　さらに、オブジェクトＯＢがＢ地点からＣ地点に移動する。Ｂ地点、すなわち、オブジェクトＯＢの全ての位置の座標（奥行き方向の座標）がディスプレイの位置ＤＰの座標より大きくなった場合には、オブジェクト位置制御部１０２がその旨を２Ｄ動画描画・投影部１０５に通知する。これにより、２Ｄ動画描画・投影部１０５による処理が中断され、３Ｄモデル描画部１０６による処理のみが行われる。したがって、オブジェクトＯＢ全てが３Ｄモデルでレンダリングされることになる。
　反対に、ユーザーがオブジェクトＯＢの位置を遠ざける操作入力を行う。係る操作入力に対応する操作入力信号がユーザーインターフェース処理部１０１により生成され、生成された操作入力信号がオブジェクト位置制御部１０２に供給される。オブジェクト位置制御部１０２は、表示部１０９に表示されるオブジェクトの位置をユーザーから遠ざける方向に移動させるとともに、オブジェクトＯＢの位置がディスプレイの位置ＤＰの位置を超えたか否かを監視する。本例では、オブジェクトＯＢの初期位置がＣ地点であり、オブジェクトＯＢの初期位置の座標（奥行き方向の座標）がディスプレイの位置ＤＰの座標よりも大きいことから、３Ｄモデル描画部１０６が処理を行うことにより、オブジェクトＯＢが第２のレンダリング状態で表示される。
　オブジェクト位置制御部１０２は、操作入力信号に応じてオブジェクトＯＢの位置を移動させる。そして、オブジェクトＯＢの一部がＢ地点に達し、ディスプレイの位置ＤＰを超えた場合に、オブジェクト位置制御部１０２は、その旨を２Ｄ動画描画・投影部１０５に通知する。２Ｄ動画描画・投影部１０５は、ディスプレイの位置ＤＰを超えた部分をディスプレイに投影する。これにより、オブジェクトＯＢの一部が第１のレンダリング状態で表示される。
　さらに、オブジェクトＯＢがＢ地点からＡ地点に移動する。Ａ地点、すなわち、オブジェクトＯＢの全ての位置の座標がディスプレイの位置ＤＰの座標より小さくなった場合には、オブジェクト位置制御部１０２がその旨を３Ｄモデル描画部１０６に通知する。これにより、３Ｄモデル描画部１０６による処理が中断され、２Ｄ動画描画・投影部１０５による処理のみが行われる。したがって、オブジェクトＯＢ全てがディスプレイに投影されて２Ｄモデルで表示される。
　図１０は、一実施形態に係る情報処理装置１００で行われる処理の流れを示すフローチャートである。ステップＳ１１では、所定のオブジェクトに関する３Ｄモデルデータが３Ｄモデル読み込み部１０４により読み込まれる。そして、３Ｄモデルデータに対応する３次元モデルにおける描画対象のポリゴンを選択する処理が行われる。そして、処理がステップＳ１２に進む。
　ステップＳ１２では、ステップＳ１１で選択されたポリゴン内のピクセルを選択する処理（所謂、ラスタライズと称される処理）が行われる。そして、処理がステップＳ１３に進む。
　ステップＳ１３では、ステップＳ１２で選択されたピクセルの位置情報、具体的には、深度情報であるｚ軸方向のｚ座標が取得される。そして、処理がステップＳ１４に進む。
　ステップＳ１４では、ピクセルのｚ座標が境界部、すなわち仮想空間に配置された２次元平面のｚ座標より大きいか否かが判断される。判断結果がＮｏの場合には、処理がステップＳ１５に進む。
　ステップＳ１５では、２Ｄ動画描画・投影部１０５が、ステップＳ１４の判断対象であったピクセルを２次元平面に投影する（第１のレンダリング状態）。そして、処理がステップＳ１７に進む。
　ステップＳ１４の判断結果がＹｅｓである場合には、処理がステップＳ１６に進む。ステップＳ１６では、３Ｄモデル描画部１０６が、ステップＳ１４の判断対象であったピクセルを３Ｄモデルとしてレンダリングする（第２のレンダリング状態）。そして、処理がステップＳ１７に進む。
　ステップＳ１７では、ポリゴン内の全てのピクセルを描画したか否かが判断される。全てのピクセルを描画していない場合には、処理がステップＳ１３に戻る。全てのピクセルを描画した場合には、処理が終了する。
　上述した処理の内、位置に関係する処理（ステップＳ１１～Ｓ１４、Ｓ１７）はオブジェクト位置制御部１０２により行われ、ステップＳ１５の処理は２Ｄ動画描画・投影部１０５により行われ、ステップＳ１６の処理は３Ｄモデル描画部１０６により行われる。勿論、これは一例であり、情報処理装置１００が有する適宜な機能ブロックが、上述した処理を行うことができる。
　このように、本実施形態では、３次元モデルを構成するポリゴンのピクセル単位で、第１のレンダリング状態および第２のレンダリング状態の何れかで表示するかが決定される。
［具体的な表示例］
　次に、表示部１０９に表示される映像の具体例について説明する。
　２Ｄ動画描画・投影部１０５が２次元平面に投影する映像は、単一の仮想カメラで３次元モデルをレンダリングした映像でもよいし、眼間距離に基づいて配置された左右の仮想カメラで３次元モデルをレンダリングした映像でもよい。後者によれば、映像の２次元平面への投影時に、立体感を保持することが可能となる。また、第１のレンダリング状態から第２のレンダリング状態への切替時に生じる、立体感の変化に起因する違和感を軽減することが可能となる。
　２Ｄ動画描画・投影部１０５が２次元平面に投影する映像は、予め記憶されている映像や、実際の撮影により得られる映像でもよい。例えば、第１のレンダリング状態では、実際のカメラで撮影された実写映像を表示する。第２のレンダリング状態では、ボリュメトリック映像を表示する。この際、第１のレンダリング状態で用いる映像は、第２のレンダリング状態のボリュメトリック映像の３Ｄモデルをユーザーが見る視点と近いものを選択する。なお、ボリュメトリック映像とは、複数の視点のカメラで被写体を撮影し、その撮影情報と撮影結果を用いて３次元的に再構成された３次元モデルを用いた映像を意味する。
　また、図１１Ａに示す第１のレンダリング状態から図１１Ｂに示す第２のレンダリング状態に切り替わる例を考える。図１１Ａに示すように、第１のレンダリング状態において仮想空間に配置されたディスプレイ３０にオブジェクトＯＢが投影されて表示される。オブジェクトＯＢと共に背景（例えば、スケートリンク）が重畳された映像がディスプレイ３０に表示される。背景の重畳処理は、例えば、レンダリング部１０８が行うが、２Ｄ動画描画・投影部１０５が行うようにしてもよい。また、図１１Ｂに示す第２のレンダリング状態において、ディスプレイ３０に背景を表示し続けてもよい。
　また、図１２Ａに示す第１のレンダリング状態から図１２Ｂに示す第２のレンダリング状態に切り替わる例を考える。この場合、レンダリング状態が第２のレンダリング状態に切り替わった後、図１２Ｃに示すように、ディスプレイ３０の描画を中断してディスプレイ３０を消去するようにしてもよい。
　また、図１３Ａに示す第１のレンダリング状態から図１３Ｂに示す第２のレンダリング状態に切り替わる例を考える。この場合、図１３Ｂに示す第２のレンダリング状態において、第１のレンダリング状態でディスプレイ３０に投影されていなかったオブジェクトＯＢとは異なるオブジェクト（図１３ＢにおけるオブジェクトＯＢＡ）が３次元モデルでレンダリングされてもよい。係る処理は、例えば、３Ｄモデル描画部１０６により行われる。
＜変形例＞
　以上、本開示の一実施形態について具体的に説明したが、本開示の内容は上述した一実施形態に限定されるものではなく、本開示の技術的思想に基づく各種の変形が可能である。
　上述した一実施形態において表示対象となるオブジェクトは、一般的な３次元モデルでもよいし、複数の視点のカメラで被写体を撮影し、その撮影情報と撮影結果を用いて３次元的に再構成された３次元モデルでもよい。また、第１のレンダリング状態において、投影先となる２次元平面の形状は、一実施形態で説明したような矩形でもよいし、多角形・円形等、何でもよい。また、２次元平面として、テレビやプロジェクタースクリーンといった２次元映像を実際に表示する機器を用いてもよい。また、３以上のレンダリング状態を切り替えることができるようにしてもよい。
　上述した実施形態に係る情報処理装置の構成や機能の一部が、情報処理装置とは異なる機器（例えば、ネットワーク上のサーバー装置等）に存在してもよい。例えば、第１記憶部１０３や第２記憶部１０７は、情報処理装置とネットワークを介して接続可能なサーバー装置であってもよい。
　また、例えば、上述した機能を実現するプログラムは、任意の装置において実行されるようにしてもよい。その場合、その装置が、必要な機能ブロックを有し、必要な情報を得ることができるようにすればよい。また、例えば、１つのフローチャートの各ステップを、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。さらに、１つのステップに複数の処理が含まれる場合、その複数の処理を、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
　また、例えば、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。また、例えば、本技術に関する複数の技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施形態において説明した本技術の一部または全部を、他の実施形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
　なお、本明細書中で例示された効果により本開示の内容が限定して解釈されるものではない。
　本開示は、以下の構成も採ることができる。
（１）
　所定のオブジェクトを仮想空間における２次元平面に投影する第１の画像処理部と、
　所定のオブジェクトに関する３次元モデルを前記仮想空間における前記２次元平面ではない箇所にレンダリングする第２の画像処理部と
　を有し、
　少なくとも前記第１の画像処理部による第１のレンダリング状態と前記第２の画像処理部による第２のレンダリング状態とが切替可能とされている
　情報処理装置。
（２）
　前記第１の画像処理部は、単一の仮想カメラで前記３次元モデルをレンダリングした映像または眼間距離に基づいて配置された左右の仮想カメラで前記３次元モデルをレンダリングした映像を前記２次元平面に投影する
　（１）に記載の情報処理装置。
（３）
　前記第１の画像処理部は、実際の撮影により得られた映像を前記２次元平面に投影する
　（１）または（２）に記載の情報処理装置。
（４）
　前記第２の画像処理部は、前記第２のレンダリング状態において、前記オブジェクトおよび前記オブジェクトと異なるオブジェクトを、前記仮想空間における前記２次元平面ではない箇所にレンダリングする
　（１）から（３）までの何れかに記載の情報処理装置。
（５）
　前記第１のレンダリング状態において、さらに背景が重畳された映像が前記２次元平面に投影される
　（２）または（３）に記載の情報処理装置。
（６）
　前記第２のレンダリング状態において、背景のみの映像が前記２次元平面に投影される
　（１）から（５）までの何れかに記載の情報処理装置。
（７）
　前記第１のレンダリング状態では前記２次元平面が表示され、前記第２のレンダリング状態では前記２次元平面が消去される
　（１）から（６）までの何れかに記載の情報処理装置。
（８）
　前記仮想空間における前記オブジェクトの位置と前記２次元平面の位置とに応じて、前記第１のレンダリング状態と前記第２のレンダリング状態とが切り替えられる
　（１）から（７）までの何れかに記載の情報処理装置。
（９）
　前記仮想空間におけるユーザー位置に対する前記オブジェクトの位置が、ユーザー操作に応じて変化する
　（１）から（８）までの何れかに記載の情報処理装置。
（１０）
　前記３次元モデルを構成するポリゴンのピクセル単位で、前記第１のレンダリング状態および前記第２のレンダリング状態の何れかで表示するかが決定される
　（１）から（９）までの何れかに記載の情報処理装置。
（１１）
　第１の画像処理部が、所定のオブジェクトを仮想空間における２次元平面に投影し、
　第２の画像処理部が、所定のオブジェクトに関する３次元モデルを前記仮想空間における前記２次元平面ではない箇所にレンダリングし、
　少なくとも前記第１の画像処理部による第１のレンダリング状態と前記第２の画像処理部による第２のレンダリング状態とを切り替える
　情報処理方法。
（１２）
　第１の画像処理部が、所定のオブジェクトを仮想空間における２次元平面に投影し、
　第２の画像処理部が、所定のオブジェクトに関する３次元モデルを前記仮想空間における前記２次元平面ではない箇所にレンダリングし、
　少なくとも前記第１の画像処理部による第１のレンダリング状態と前記第２の画像処理部による第２のレンダリング状態とを切り替える
　情報処理方法をコンピュータに実行させるプログラム。
＜応用例＞
　本開示に係る技術は、様々な製品やサービスへ応用することができる。
　（コンテンツの制作）
　例えば、上述した実施形態で生成された被写体の３Ｄモデルと他のサーバーで管理されている３Ｄデータを合成して新たな映像コンテンツを制作してもよい。また、例えば、Lidarなどの撮像装置で取得した背景データが存在している場合、上述した実施形態で生成された被写体の３Ｄモデルと背景データを組合せることで、被写体が背景データで示す場所にあたかもいるようなコンテンツを制作することもできる。尚、映像コンテンツは３次元の映像コンテンツであってもよいし、２次元に変換された２次元の映像コンテンツでもよい。尚、上述した実施形態で生成された被写体の３Ｄモデルは、例えば、３Ｄモデル生成部２で生成された３Ｄモデルやレンダリング部６で再構築した３Ｄモデルなどがある。
　（仮想空間での体験）
　例えば、ユーザーがアバタとなってコミュニケーションする場である仮想空間の中で、本実施形態で生成された被写体（例えば、演者）を配置することができる。この場合、ユーザーは、アバタとなって仮想空間で実写の被写体を視聴することが可能となる。
　（遠隔地とのコミュニケーションへの応用）
　例えば、３Ｄモデル生成部２で生成された被写体の３Ｄモデルを送信部４から遠隔地に送信することにより、遠隔地にある再生装置を通じて遠隔地のユーザーが被写体の３Ｄモデルを視聴することができる。例えば、この被写体の３Ｄモデルをリアルタイムに伝送することにより被写体と遠隔地のユーザーとがリアルタイムにコミュニケーションすることができる。例えば、被写体が先生であり、ユーザーが生徒であるや、被写体が医者であり、ユーザーが患者である場合が想定される。
　（その他）
　例えば、上述した実施形態で生成された複数の被写体の３Ｄモデルに基づいてスポーツなどの自由視点映像を生成することもできるし、個人が上述した実施形態で生成された３Ｄモデルである自分を配信プラットフォームに配信することもできる。このように、本明細書に記載の実施形態における内容は種々の技術やサービスに応用することができる。
１００・・・情報処理装置
１０５・・・２Ｄ動画描画・投影部
１０６・・・３Ｄモデル描画部

Claims (12)

  1. 　所定のオブジェクトを仮想空間における２次元平面に投影する第１の画像処理部と、
    　所定のオブジェクトに関する３次元モデルを前記仮想空間における前記２次元平面ではない箇所にレンダリングする第２の画像処理部と
    　を有し、
    　少なくとも前記第１の画像処理部による第１のレンダリング状態と前記第２の画像処理部による第２のレンダリング状態とが切替可能とされている
    　情報処理装置。
  2. 　前記第１の画像処理部は、単一の仮想カメラで前記３次元モデルをレンダリングした映像または眼間距離に基づいて配置された左右の仮想カメラで前記３次元モデルをレンダリングした映像を前記２次元平面に投影する
    　請求項１に記載の情報処理装置。
  3. 　前記第１の画像処理部は、実際の撮影により得られた映像を前記２次元平面に投影する
    　請求項１に記載の情報処理装置。
  4. 　前記第２の画像処理部は、前記第２のレンダリング状態において、前記オブジェクトおよび前記オブジェクトと異なるオブジェクトを、前記仮想空間における前記２次元平面ではない箇所にレンダリングする
    　請求項１に記載の情報処理装置。
  5. 　前記第１のレンダリング状態において、さらに背景が重畳された映像が前記２次元平面に投影される
    　請求項２に記載の情報処理装置。
  6. 　前記第２のレンダリング状態において、背景のみの映像が前記２次元平面に投影される
    　請求項１に記載の情報処理装置。
  7. 　前記第１のレンダリング状態では前記２次元平面が表示され、前記第２のレンダリング状態では前記２次元平面が消去される
    　請求項１に記載の情報処理装置。
  8. 　前記仮想空間における前記オブジェクトの位置と前記２次元平面の位置とに応じて、前記第１のレンダリング状態と前記第２のレンダリング状態とが切り替えられる
    　請求項１に記載の情報処理装置。
  9. 　前記仮想空間におけるユーザー位置に対する前記オブジェクトの位置が、ユーザー操作に応じて変化する
    　請求項１に記載の情報処理装置。
  10. 　前記３次元モデルを構成するポリゴンのピクセル単位で、前記第１のレンダリング状態および前記第２のレンダリング状態の何れかで表示するかが決定される
    　請求項１に記載の情報処理装置。
  11. 　第１の画像処理部が、所定のオブジェクトを仮想空間における２次元平面に投影し、
    　第２の画像処理部が、所定のオブジェクトに関する３次元モデルを前記仮想空間における前記２次元平面ではない箇所にレンダリングし、
    　少なくとも前記第１の画像処理部による第１のレンダリング状態と前記第２の画像処理部による第２のレンダリング状態とを切り替える
    　情報処理方法。
  12. 　第１の画像処理部が、所定のオブジェクトを仮想空間における２次元平面に投影し、
    　第２の画像処理部が、所定のオブジェクトに関する３次元モデルを前記仮想空間における前記２次元平面ではない箇所にレンダリングし、
    　少なくとも前記第１の画像処理部による第１のレンダリング状態と前記第２の画像処理部による第２のレンダリング状態とを切り替える
    　情報処理方法をコンピュータに実行させるプログラム。
PCT/JP2021/020678 2020-07-01 2021-05-31 情報処理装置、情報処理方法およびプログラム WO2022004234A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE112021003549.5T DE112021003549T5 (de) 2020-07-01 2021-05-31 Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm
US18/012,816 US20230252722A1 (en) 2020-07-01 2021-05-31 Information processing apparatus, information processing method, and program
CN202180045000.1A CN116018619A (zh) 2020-07-01 2021-05-31 信息处理装置、信息处理方法和程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-113933 2020-07-01
JP2020113933 2020-07-01

Publications (1)

Publication Number Publication Date
WO2022004234A1 true WO2022004234A1 (ja) 2022-01-06

Family

ID=79315964

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/020678 WO2022004234A1 (ja) 2020-07-01 2021-05-31 情報処理装置、情報処理方法およびプログラム

Country Status (4)

Country Link
US (1) US20230252722A1 (ja)
CN (1) CN116018619A (ja)
DE (1) DE112021003549T5 (ja)
WO (1) WO2022004234A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117036444A (zh) * 2023-10-08 2023-11-10 深圳市其域创新科技有限公司 三维模型输出方法、装置、设备及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016004402A (ja) * 2014-06-17 2016-01-12 コニカミノルタ株式会社 透過型ｈｍｄを有する情報表示システム及び表示制御プログラム
JP5996814B1 (ja) * 2016-02-08 2016-09-21 株式会社コロプラ 仮想空間の画像をヘッドマウントディスプレイに提供する方法及びプログラム
JP6203369B1 (ja) * 2016-12-08 2017-09-27 株式会社コロプラ 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5483761B2 (ja) 2012-06-29 2014-05-07 株式会社ソニー・コンピュータエンタテインメント 映像出力装置、立体映像観察デバイス、映像提示システム、および映像出力方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016004402A (ja) * 2014-06-17 2016-01-12 コニカミノルタ株式会社 透過型ｈｍｄを有する情報表示システム及び表示制御プログラム
JP5996814B1 (ja) * 2016-02-08 2016-09-21 株式会社コロプラ 仮想空間の画像をヘッドマウントディスプレイに提供する方法及びプログラム
JP6203369B1 (ja) * 2016-12-08 2017-09-27 株式会社コロプラ 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ANONYMOUS: ""Jumping TV" where characters in the TV jump out of the screen and move around", GIGAZINE, 30 May 2014 (2014-05-30), XP055897657, Retrieved from the Internet <URL:https://gigazine.net/news/20140530-ar-spring-tv> *
INTER BEE TV: "[Inter BEE 2016] NHK Science & Technology Research Laboratories", YOUTUBE, 17 November 2016 (2016-11-17), XP055897690, Retrieved from the Internet <URL:https://www.youtube.com/watch?v=uXgFZgS0iKs> *

Also Published As

Publication number Publication date
DE112021003549T5 (de) 2023-04-27
CN116018619A (zh) 2023-04-25
US20230252722A1 (en) 2023-08-10

Similar Documents

Publication Publication Date Title
EP3712840A1 (en) Method and system for generating an image of a subject in a scene
US10602121B2 (en) Method, system and apparatus for capture-based immersive telepresence in virtual environment
US9030486B2 (en) System and method for low bandwidth image transmission
EP3452991A1 (en) Geometry matching in virtual reality and augmented reality
US11508123B2 (en) Image processing device, encoding device, decoding device, image processing method, program, encoding method, and decoding method for processing multiple video camera image streams to generate stroboscopic images
GB2525170A (en) Stereo viewing
US11995784B2 (en) Image processing device and image processing method
WO2020166376A1 (ja) 画像処理装置、画像処理方法、及び、プログラム
US11557087B2 (en) Image processing apparatus and image processing method for generating a strobe image using a three-dimensional model of an object
WO2022004234A1 (ja) 情報処理装置、情報処理方法およびプログラム
CN107562185A (zh) 一种基于头戴vr设备的光场显示系统及实现方法
US11099392B2 (en) Stabilized and tracked enhanced reality images
EP3542877A1 (en) Optimized content sharing interaction using a mixed reality environment
WO2019034804A2 (en) THREE-DIMENSIONAL VIDEO PROCESSING
JP6091850B2 (ja) テレコミュニケーション装置及びテレコミュニケーション方法
EP3540696A1 (en) A method and an apparatus for volumetric video rendering
WO2022024780A1 (ja) 情報処理装置、情報処理方法、映像配信方法及び情報処理システム
WO2022014341A1 (ja) 情報処理装置および画像データの生成方法
WO2022004233A1 (ja) 情報処理装置、情報処理方法およびプログラム
Eisert et al. Volumetric video–acquisition, interaction, streaming and rendering
KR102558294B1 (ko) 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 장치 및 방법
WO2022019149A1 (ja) 情報処理装置、３ｄモデル生成方法、情報処理方法およびプログラム
WO2022191010A1 (ja) 情報処理装置および情報処理方法
Scheer et al. A client-server architecture for real-time view-dependent streaming of free-viewpoint video
JP5200141B2 (ja) 映像提示システム、映像提示方法、プログラム及び記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21832255

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 21832255

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP