WO2019146194A1 - 情報処理装置、及び情報処理方法 - Google Patents

情報処理装置、及び情報処理方法 Download PDF

Info

Publication number
WO2019146194A1
WO2019146194A1 PCT/JP2018/039717 JP2018039717W WO2019146194A1 WO 2019146194 A1 WO2019146194 A1 WO 2019146194A1 JP 2018039717 W JP2018039717 W JP 2018039717W WO 2019146194 A1 WO2019146194 A1 WO 2019146194A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
dimensional shape
texture
unit
information processing
Prior art date
Application number
PCT/JP2018/039717
Other languages
English (en)
French (fr)
Inventor
伸明 泉
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201880086930.XA priority Critical patent/CN111656409A/zh
Priority to DE112018006939.7T priority patent/DE112018006939T5/de
Priority to US16/961,427 priority patent/US11317082B2/en
Publication of WO2019146194A1 publication Critical patent/WO2019146194A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/005—Aspects relating to the "3D+depth" image format

Definitions

  • the present disclosure relates to an information processing apparatus and an information processing method.
  • a system in which an image viewed with the left eye and an image viewed with the right eye are different from each other and a stereoscopic effect is given to the user by binocular parallax between images is used in 3D movies, 3D televisions and the like. Furthermore, there is also a technology for reproducing motion parallax using an HMD (Head Mounted Display) or the like mounted on the head of the user.
  • HMD Head Mounted Display
  • the three-dimensional shape data used for drawing greatly affects the subjective image quality of the image (display image) viewed from each viewpoint, so depending on the accuracy of the three-dimensional shape data, etc. , Subjective image quality of the display image may be degraded.
  • the present disclosure proposes a mechanism capable of suppressing the degradation of the subjective image quality of a display image generated based on three-dimensional shape data.
  • a receiving unit that receives a request including load information related to load, three-dimensional shape data of the number of vertices according to the load information, texture data for the left eye corresponding to the three-dimensional shape data, and for the right eye
  • An information processing apparatus comprising: a transmission unit that transmits a data set including texture data in response to the request.
  • a transmitting unit that transmits a request including load information related to load, three-dimensional shape data of the number of vertices according to the load information, and texture data for left eye corresponding to the three-dimensional shape data
  • An information processing apparatus comprising: a receiving unit that receives a data set including texture data for right eye; and a drawing unit that generates a display image for left eye and a display image for right eye based on the data set.
  • receiving a request including load information related to load In response to the request, the processor transmits a data set including three-dimensional shape data of the number of vertices according to the load information, and texture data for the left eye and texture data for the right eye corresponding to the three-dimensional shape data;
  • an information processing method including:
  • FIG. 1 is an explanatory view schematically showing a configuration of a transmission system according to an embodiment of the present disclosure. It is a schematic diagram which shows roughly the flow of a production
  • FIG. 5 is a block diagram showing an example of the configuration of a data set generation unit 11.
  • FIG. 10 is an explanatory view showing a vertex reduction process by a vertex reduction unit 111; It is a schematic diagram which shows the mode of stepwise vertex reduction.
  • FIG. 7 is a schematic view schematically showing parallel data set generation in a case where the control unit 10 has a plurality of data set generation units 11. It is a flowchart figure which shows the operation example of the delivery server 1 concerning generation of a data set. It is a flowchart figure which shows the operation example of the delivery server 1 concerning transmission of a data set. It is a block diagram showing an example of composition of display control 2 concerning this embodiment.
  • FIG. 6 is a flowchart showing an operation example of the display control device 2. It is an explanatory view for explaining modification 1. It is a block diagram showing an example of hardware constitutions.
  • FIG. 1 is an explanatory view schematically showing a configuration of a transmission system according to an embodiment of the present disclosure.
  • a transmission system 1000 is an information processing system including a distribution server 1, a display control apparatus 2, an HMD 3, and a communication network 5.
  • the transmission system 1000 according to the present embodiment provides the user U who wears the HMD 3 and views the image displayed on the HMD 3 with a stereoscopic effect by binocular parallax and motion parallax.
  • the distribution server 1 and the display control device 2 are connected via the communication network 5 and can mutually transmit and receive information.
  • the display control device 2 and the HMD 3 can also be connected by wire or wirelessly to transmit and receive information mutually.
  • the communication network 5 is a wired or wireless transmission path of information transmitted from a device connected to the communication network 5.
  • the communication network 5 may include the Internet, a public network such as a telephone network, a satellite communication network, or various LANs (Local Area Networks) including Ethernet (registered trademark), a WAN (Wide Area Network), etc.
  • the communication network 5 may include a dedicated line network such as an IP-VPN (Internet Protocol-Virtual Private Network).
  • the distribution server 1 stores three-dimensional shape data and texture data corresponding to the three-dimensional shape data, and in response to a request for data transmission from the display control device 2 (hereinafter also referred to simply as a request), three-dimensional shape data And a data set including texture data to the display control device 2 (transmission).
  • the display control device 2 generates (draws) a display image at the viewpoint based on the data set received from the distribution server 1 and the viewpoint information on the viewpoint of the user U received from the HMD 3 and transmits the display image to the HMD 3 .
  • the display image generated by the display control device 2 is a display image for the left eye displayed in front of the left eye of the user U by the HMD 3 described later and a display image for the right eye displayed in front of the right eye of the user U including.
  • the display image for the left eye and the display image for the right eye may be collectively referred to as a stereo display image or simply as a display image.
  • the HMD 3 is a display device (display unit) that displays a stereo display image received from the display control device 2.
  • the HMD 3 includes a sensor that acquires viewpoint information on the viewpoint of the user U wearing the HMD 3, and transmits the viewpoint information to the display control device 2.
  • the viewpoint information transmitted by the HMD 3 may include, for example, information indicating the position and orientation of the viewpoint of the user U.
  • FIG. 1 shows the display control device 2 and the HMD 3 as separate devices, the display control device 2 and the HMD 3 may be integrated. That is, even if the information processing apparatus 1 has the function of the display control device 2 and the function of the HMD 3 as a display unit mounted on the head of the user and displaying the display image for the left eye and the display image for the right eye Good.
  • the transmission system 1000 can provide the user U with a stereoscopic effect by binocular parallax and motion parallax.
  • the three-dimensional shape data described above and the texture data corresponding to the three-dimensional shape data are, for example, known methods such as using a distance measurement device such as a ToF (Time of Flight) sensor or using methods such as stereo matching. It can be acquired by three-dimensional capture technology.
  • the three-dimensional shape data and texture data acquired by this three-dimensional capture technique may be referred to as original three-dimensional shape data and original texture data, respectively, and both may be collectively referred to as original data.
  • This original data may have a very large amount of data. Therefore, the transmission load and the processing load are also large, and depending on the conditions, processing within the required time becomes difficult. For example, depending on the transmission path band (the band of the communication network 5) between the distribution server 1 and the display control device 2, it may be difficult to transmit the original data as it is. Further, depending on the processing performance of the display control device 2 (the processing speed of the processor, the size of the memory, etc.), it may be difficult to generate a display image from the original data.
  • the transmission path band the band of the communication network 5
  • the processing performance of the display control device 2 the processing speed of the processor, the size of the memory, etc.
  • the display control device 2 transmits a request including load information on the load to the distribution server 1.
  • the load information may include, for example, at least one of transmission path band information on the transmission path band between the distribution server 1 and the display control device 2 or processing performance information on the processing performance of the display control device 2.
  • the distribution server 1 sends to the display control device 2 a data set including three-dimensional shape data and texture data corresponding to the three-dimensional shape data of the data amount corresponding to the load information included in the request received from the display control device 2.
  • the three-dimensional shape data and texture data included in the data set to be transmitted may be the original three-dimensional shape data and data in which the data amount is reduced compared to the original texture data.
  • the data amount reduction process may include, for example, a vertex reduction process which reduces vertices included in three-dimensional shape data.
  • the subjective image quality of the display image may be degraded.
  • the shape accuracy of the three-dimensional model according to the three-dimensional shape data may be reduced, and the subjective image quality of the display image may be reduced.
  • unevenness and the like of the three-dimensional model according to the three-dimensional shape data may be lost, and as a result, the user may not be able to obtain a three-dimensional effect.
  • the distribution server 1 generates texture data for the left eye and texture data for the right eye by also using the left camera image and the right camera image used for generation (capture) of three-dimensional shape data.
  • the data set transmitted from the distribution server 1 to the display control device 2 according to the present embodiment includes not a single texture data but a plurality of texture data such as texture data for the left eye and texture data for the right eye.
  • the display control device 2 displays the display image for the left eye based on the three-dimensional shape data subjected to the vertex reduction processing included in the data set received from the distribution server 1 and the texture data for the left eye and the texture data for the right eye.
  • the distribution server 1 transmits, to the display control apparatus 2, the three-dimensional shape data whose amount of data has been reduced and the texture data.
  • the process for reducing the data amount is performed in advance. For example, a plurality of data sets having different data amounts may be generated and stored in advance based on the original data.
  • the distribution server 1 selects a data set having a data amount corresponding to the load information from among the plurality of stored data sets, and transmits the selected data set to the display control device 2 to thereby request the display control device 2 to operate at high speed. It is possible to respond to
  • FIG. 2 is a schematic view schematically showing the flow of data set generation processing according to the present embodiment.
  • the data set generation process shown in FIG. 2 is performed by the distribution server 1 shown in FIG. 1 will be described.
  • the present technology is not limited to such an example, and the processing illustrated in FIG. 2 may be performed by another device, and even if a data set generated in advance by the other device is stored in distribution server 1 Good.
  • the distribution server 1 performs data reduction processing included in the data set DS10 to generate a plurality of data sets DS11 to DS13.
  • the generated data sets DS11 to DS13 are stored in the distribution server 1.
  • the data set DS10 shown in FIG. 2 includes original three-dimensional shape data F10, original texture data T10, a left camera image G10L, and a right camera image G10R.
  • the original three-dimensional shape data F10 includes a plurality of vertex data V101 to V107.
  • the left camera image G10L and the right camera image G10R may be images used to generate the original three-dimensional shape data F10.
  • the left camera image G10L is an image acquired by imaging of a left camera imaging a subject from the left side
  • the right camera image G10R is an image acquired by imaging of a right camera imaging a subject from the right side.
  • the generated data sets DS11 to DS13 respectively include three-dimensional shape data F11 to F13 and texture data T11L to T13L for the left eye corresponding to the three-dimensional shape data F11 to F13, and a texture for the right eye It includes data T11R to T13R. As shown in FIG. 2, the generated data sets DS11 to DS13 have different data amounts.
  • the data amount of the data set DS11 is the largest among the data sets DS11 to DS13.
  • the vertex reduction process is not performed on the three-dimensional shape data F11 included in the data set DS11, and the number of vertex data V111 to V117 included in the three-dimensional shape data F11 is This is the same as the number of vertex data included in the original three-dimensional shape data F10.
  • the distribution server 1 may perform vertex reduction processing on three-dimensional shape data included in all data sets that can be transmitted.
  • three-dimensional shape data F12 and three-dimensional shape data F13 included in data set DS12 and data set DS13 are generated by performing vertex reduction processing on original three-dimensional shape data F10.
  • vertex data V121 to V124 included in three-dimensional shape data F12 are less than vertex data V101 to V107 included in original three-dimensional shape data F10, and vertex data included in three-dimensional shape data F13 More than V131 to V132.
  • the number of vertices (the number of vertices) included in each three-dimensional shape data is not limited to the number of vertex data shown in FIG.
  • the texture data for left eye T11L to T13L and the texture data for right eye T11R to T13R included in the data sets DS11 to DS12 have the number of pixels corresponding to the number of vertices of the corresponding three-dimensional shape data F11 to F13, respectively. It may be generated. As shown in FIG. 2, as the number of vertices of the corresponding three-dimensional shape data is larger, the number of pixels included in the texture data for the left eye and the texture data for the right eye may be larger. This is because when the number of vertices of the three-dimensional shape data is small, the increase in the number of pixels included in the texture data for the left eye and the texture data for the right eye does not contribute much to the improvement of the image quality. Such a configuration makes it possible to reduce the amount of data efficiently.
  • FIG. 2 shows an example in which three data sets DS11 to DS13 are generated
  • the number of data sets to be generated is not limited to the example shown in FIG.
  • the processing cost for generating the data set and the holding cost of the data set are required according to the number of data sets to be generated, so the data set generated in consideration of the processing cost and the holding cost It is desirable to determine the number of
  • FIG. 3 is a schematic view schematically showing the flow of data transmission processing according to the present embodiment.
  • the distribution server 1 selects a data set to be transmitted to the display control device 2 from the plurality of data sets DS11 to DS13 generated in advance as described above with reference to FIG. 2 (S11).
  • the distribution server 1 may select a data set including three-dimensional shape data of the number of vertices according to the load information, based on the load information included in the request received from the display control device 2, for example. . By selecting in this manner, it is possible to adjust the transmission of the data set from the distribution server 1 to the display control device 2 and the load on the drawing process performed by the display control device 2.
  • step S11 the data set selected in step S11 is transmitted (sent) from the distribution server 1 to the display control device 2 (S12). Then, the display control device 2 generates (draws) a display image based on the data set received from the distribution server 1 (S13).
  • the display image generated in step S13 includes a left-eye display image D10L displayed in front of the user's left eye and a right-eye display image D10R displayed in front of the user's right eye.
  • step S13 three-dimensional shape data and texture data for the left eye are used to generate the display image D10L for the left eye, and three-dimensional shape data and texture data for the right eye are generated to generate the display image D10R for the right eye. Is used.
  • the left-eye display image D10L and the right-eye display image D10R generated by the display control device 2 are displayed by the HMD 3 (S14).
  • FIG. 4 is an explanatory diagram for explaining the correspondence between the vertices of the three-dimensional model and single texture data.
  • FIG. 5 is a diagram showing an example of a data structure of three-dimensional shape data.
  • FIG. 4 shows a three-dimensional model M21 which is a cube, and single texture data T21 corresponding to the three-dimensional model M21.
  • Three-dimensional space coordinates (x 0 , y 0, z 0 ) indicating vertices in the three-dimensional model M21 shown in FIG. 4 correspond to texture coordinates (u 0 , v 0 ) on the texture data T21.
  • the three-dimensional shape data F21 held on the computer vertex data in which (x 0 , y 0, z 0 , u 0 , v 0 ) obtained by combining these corresponding coordinates is one It can be treated as And in the example shown by FIG. 5, such vertex data become an arrangement
  • FIG. 6 is an explanatory diagram for explaining the correspondence between the vertices of the three-dimensional model and the texture data in the present embodiment.
  • FIG. 6 shows a three-dimensional model M22 which is a cube, and texture data T22L for the left eye and texture data T22R for the right eye corresponding to the three-dimensional model M22.
  • Three-dimensional space coordinates (x 0 , y 0, z 0 ) indicating vertices in the three-dimensional model M22 shown in FIG. 6 correspond to texture coordinates (u 0 , v 0 ) on the left-eye texture data T22L There is.
  • three-dimensional space coordinates (x 0 , y 0, z 0 ) indicating vertices in the three-dimensional model M22 shown in FIG. 6 and texture coordinates (u 0 , v 0 ) on the texture data for right eye T22R correspond.
  • the texture coordinates on the left-eye texture data T22L and the texture coordinates on the right-eye texture data T22R corresponding to the same vertex in the three-dimensional model M22 can be represented by the same coordinates. Therefore, the data structure of the three-dimensional shape data according to the present embodiment may be the same as the example described with reference to FIG.
  • FIG. 7 is a schematic view for explaining drawing using stereo texture data in the present embodiment.
  • the left-eye display image D22L can be generated (drawn) by mapping the left-eye texture data T22L to the three-dimensional model M22 and drawing with the viewpoint corresponding to the user's left eye.
  • the right-eye display image D22R can be generated (drawn) by mapping the right-eye texture data T22R to the three-dimensional model M22 and drawing with the viewpoint corresponding to the user's right eye .
  • the process concerning drawing shown in FIG. 7 may be performed by the display control device 2 shown in FIG. As described with reference to FIG. 5, the correspondence information between the vertex position of the three-dimensional model and the texture data is represented as three-dimensional shape data. Therefore, the display control device 2 performs drawing as shown in FIG. 7 by using the data set including the three-dimensional shape data received from the distribution server 1 and the stereo texture data corresponding to the three-dimensional shape data. It is possible.
  • the drawn stereo display image can be fused at a position different from the surface of the three-dimensional model.
  • This is, for example, in the same principle as that in a stereoscopic display capable of giving binocular parallax by an image displayed on a flat screen, it is possible to give a stereoscopic effect despite the fact that the display surface is a plane. is there.
  • the subjective image quality of the display image drawn from the user's point of view by using such an effect of making it possible to recognize as if having a feeling of unevenness different from the shape of the three-dimensional model by drawing using stereo textures. Suppress the decline.
  • the original three-dimensional shape data is acquired by a three-dimensional capture technique such as a method using a distance measurement device or a method using a method such as stereo matching.
  • a three-dimensional capture technique such as a method using a distance measurement device or a method using a method such as stereo matching.
  • any method may cause an error.
  • the amount of data of three-dimensional shape data necessary to reproduce the shape with high accuracy that is, the number of vertices is It will be very big.
  • a data set including three-dimensional shape data subjected to vertex reduction processing according to transmission path bandwidth and load information on processing performance etc. is transmitted. Used for drawing. Therefore, depending on load information, three-dimensional shape data having the number of vertices insufficient to reproduce the shape with high accuracy, that is, three-dimensional shape data including an error may be used for drawing.
  • FIG. 8 is an explanatory diagram for explaining an error of the three-dimensional model.
  • FIG. 8 shows the true shape of a three-dimensional object OBJ31 having a projection (bill) and the shape of a three-dimensional model M32 in which the three-dimensional object OBJ31 is three-dimensionally modeled by a three-dimensional capture technique.
  • the three-dimensional object OBJ 31 originally includes a protrusion B as shown in FIG.
  • the three-dimensional model M32 has no protrusion due to an error caused by measurement or the like.
  • the tip position corresponding to the tip of the protrusion B of the three-dimensional object OBJ31 is represented as a point P.
  • texture data generated based on a camera image acquired by a stereo camera arranged so that the horizontal distance is close to the human eye distance is used.
  • texture data generation based on a camera image acquired by a stereo camera in the present embodiment will be described.
  • FIG. 9 is a schematic view schematically showing imaging by a stereo camera.
  • a stereo camera as a stereo camera, a left camera C31L and a right camera C31R are arranged so as to be able to capture an image of the three-dimensional object OBJ31 at an interval substantially equal to the distance between human eyes.
  • the imaging range of the left camera C31L and the right camera C31R is indicated by an alternate long and short dash line.
  • the positional relationship between the stereo camera and the three-dimensional object corresponds to the positional relationship between the stereo camera and the three-dimensional model in three-dimensional space. If the positional relationship between the stereo camera and the three-dimensional model in the three-dimensional space is known, it is possible to generate texture data corresponding to the three-dimensional model from camera images acquired by the stereo camera as follows.
  • FIG. 10 is a schematic view schematically showing the flow of texture data generation processing. From the positional relationship between the stereo camera and the three-dimensional model, it is possible to perspectively project the shape of the three-dimensional model viewed from each camera position onto a perspective projection plane to generate a perspective projection image.
  • the three-dimensional model M32 viewed from the position of the left camera C32L shown in FIG. 9 is projected to generate the left perspective projection image P31L.
  • a three-dimensional model M32 viewed from the position of the right camera C32R shown in FIG. 9 is projected to generate a right perspective projection image P31R.
  • each perspective projection image has the same composition as the camera image acquired by imaging by each camera
  • the perspective projection image and the camera are provided for each triangular area corresponding to the triangular patch composed of three vertices in the three-dimensional model. It is possible to make correspondence with the image.
  • a triangular area A31L corresponding to the triangular patch A30 of the three-dimensional model M32 and a triangular area A32L of the left camera image G32L are associated.
  • the triangular area A31R corresponding to the triangular patch A30 is associated with the triangular area A32R of the right camera image G32R.
  • Texture data can be generated by performing mapping (pasting) while deforming for each triangular area in each camera image based on the correspondence for each triangular area obtained as described above.
  • the triangular area A32L of the left camera image G32L is mapped to the triangular area A33L of the left-eye texture data T33L
  • the triangular area A32R of the right camera image G32R is mapped to the triangular area A33L of the right-eye texture data T33R.
  • a perspective projection image generated by perspective projection from one camera position there is a plane in which a three-dimensional model is not reflected, and therefore, in texture data, an area in which a texture can not be obtained from a camera image may occur.
  • the texture may be obtained from the original texture data shown in FIG.
  • FIG. 11 is a schematic view showing a relationship between a three-dimensional model M32 including an error and a stereo camera (left camera C31L and right camera C31R).
  • an arrow from a left camera C31L and a right camera C31R to a point P which is a tip position of a protrusion present in a true shape represents a ray of a point P in an image captured by each camera.
  • the arrows from each of the left camera C31L and the right camera C31R to the point P are not points P but points P on the surface of the three-dimensional model M32. R, and intersect at the point P L.
  • the distance d between the point P R and the point P L is directly mapped as the positional deviation in the left-eye texture data and the right-eye texture data, it is recorded as left and right parallax.
  • the left-eye texture data T33L and the right-eye texture data T33R shown in FIG. 10 have differences in design due to the left-right parallax.
  • the three-dimensional model M32 corresponding to the three-dimensional shape data no protrusion is present, so the pattern of the protrusion is recorded with the left and right parallax on the texture.
  • FIG. 12 is a schematic view showing a state in which viewing is performed in a state where the camera position and the position of the user's eyes coincide.
  • Figure In 12 facing the light indicated by the arrow from point to the user's left eye E32L P L at the position of the left camera C31L, shown from the point to the user's right eye E32R P R at the position of the right camera C31R by arrows Rays are heading.
  • the texture of the texture and the point P R of the point P L is the user, and fusion to the position of the point P where the two beams intersect, there is a surface of the three-dimensional model M32 on the position of the point P looks like.
  • the shape of the three-dimensional model M 32 deviates from the true shape because it reproduces not only the point P but also all the rays reflected by the left and right cameras.
  • the original three-dimensional effect can be obtained.
  • the light rays at the time of imaging by the camera are reproduced. It looks like the shape of is reproduced.
  • FIG. 13 is a schematic view showing a state in which viewing is performed in a state in which the camera position and the position of the user's eyes are different.
  • the texture of the point P L appearing in the user's left eye E32L, texture point P L appearing in the right eye of the user E32R is 'to fusion, the point P' the point P three dimensions the position of The surface of model M32 appears to be present.
  • the point P ′ appears to be present at a position where it jumps out as compared to the case where the projection appears to be absent. Therefore, even in the case of viewing at a position different from the camera position, the deterioration of the subjective image quality due to the error is suppressed.
  • FIG. 14 and FIG. 15 are explanatory diagrams for explaining a comparative example according to the present embodiment.
  • FIG. 14 and FIG. 15 respectively map single texture data to the three-dimensional model M32 and are viewed in the same positional relationship as FIG. 12 and FIG.
  • the present embodiment it is possible to show the user a shape closer to a true shape than the existing method. That is, in the present embodiment, by drawing using stereo textures, even when three-dimensional shape data corresponding to a three-dimensional shape model including an error is used for drawing, the subjectivity of the display image at each viewpoint is obtained. It is possible to suppress the deterioration of the image quality.
  • FIG. 16 is a block diagram showing an example of the configuration of the distribution server 1 according to the present embodiment shown in FIG.
  • the distribution server 1 is an information processing apparatus including a control unit 10, a communication unit 17, and a storage unit 19.
  • the control unit 10 controls each configuration of the distribution server 1.
  • the control unit 10 also functions as a data set generation unit 11, a communication control unit 13, and a selection unit 15, as shown in FIG.
  • the data set generation unit 11 generates a plurality of data sets having different data amounts based on the original three-dimensional shape data, the original texture data, the left camera image, and the right camera image, as described with reference to FIG. Do.
  • FIG. 17 is a block diagram showing an example of the configuration of the data set generation unit 11.
  • the data set generation unit 11 includes a vertex reduction unit 111, a perspective projection unit 112, and a texture generation unit 115.
  • the vertex reduction unit 111 performs vertex reduction processing on the original three-dimensional shape data.
  • the three-dimensional shape data subjected to the vertex reduction processing output from the vertex reduction unit 111 is provided to the perspective projection unit 112 and stored in the storage unit 19 as a data set in association with stereo texture data described later. Be done. That is, three-dimensional shape data included in the data set is generated by the vertex reduction unit 111 performing vertex reduction processing.
  • FIG. 18 is an explanatory view of the vertex reduction processing by the vertex reduction unit 111.
  • the three-dimensional model M42 corresponding to the three-dimensional shape data subjected to the vertex reduction processing is compared to the three-dimensional model M41 corresponding to the three-dimensional shape data before the vertex reduction processing is performed,
  • the number of vertices has been reduced from six to four and the number of polygons has been reduced from seven to three.
  • the method of vertex reduction processing by the vertex reduction unit 111 is not particularly limited, but, for example, a known vertex reduction method such as QEM (Quadric Error Metrics) may be used.
  • QEM Quadric Error Metrics
  • FIG. 19 is a schematic view showing an aspect of stepwise vertex reduction.
  • the shapes shift, and the vertices included in the corresponding three-dimensional shape data F51, F52, and F53. It is shown that the amount of data becomes smaller.
  • the vertex reduction unit 111 does not perform vertex reduction processing.
  • Shape data may be output as it is.
  • the perspective projection unit 112 performs perspective projection using three-dimensional shape data from the left and right camera positions corresponding to the texture data for the left eye and the texture data for the right eye, respectively. Generate a projected image.
  • the perspective projection unit 112 includes a left perspective projection unit 113L and a right perspective projection unit 113R.
  • the left perspective projection unit 113L perspectively projects the shape of the three-dimensional model according to the three-dimensional shape data provided from the vertex reduction unit 111 from the position of the left camera corresponding to the texture data for the left eye on the perspective projection plane Generate a perspective projection image.
  • the right perspective projection unit 113R projects the shape of the three-dimensional model according to the three-dimensional shape data provided from the vertex reduction unit 111 from the position of the right camera corresponding to the texture data for the right eye onto the perspective projection plane. Generate a left perspective projection image.
  • the texture generation unit 115 associates the perspective projection image generated by the perspective projection unit 112 with the camera image, and maps the camera image for the left eye. Generate texture data and texture data for the right eye. Note that, as described with reference to FIG. 10, the texture generation unit 115 generates an area based on vertices included in three-dimensional shape data (for example, a triangle corresponding to a triangle patch) between the perspective projection image and the camera image. ) May be associated with each other.
  • the texture generation unit 115 includes a left generation processing unit 116L, a right generation processing unit 116R, a left resolution change unit 117L, and a right resolution change unit 117R.
  • the left generation processing unit 116L associates the left perspective projection image with the left camera image for each triangle area. Then, the left generation processing unit 116L generates texture data for the left eye by mapping the triangle region of the left camera image to the corresponding triangle region in the texture data for the left eye. Similarly, the right generation processing unit 116R associates the right perspective projection image with the right camera image for each triangular area. Then, the right generation processing unit 116R generates the texture data for the right eye by mapping the triangle region of the left camera image to the corresponding triangle region in the texture data for the right eye. As described above, the left generation processing unit 116L and the right generation processing unit 116R obtain textures from the original texture data and generate each texture data for an area where the texture can not be obtained from each camera image. It is also good.
  • the left resolution change unit 117L performs resolution change processing on the texture data for the left eye generated by the left generation processing unit 116L, and outputs the result.
  • the right resolution change unit 117R performs resolution change processing on the texture data for the right eye generated by the right generation processing unit 116R and outputs the result.
  • the texture data for the left eye output from the left resolution changing unit 117L and the texture data for the right eye output from the right resolution changing unit 117R are associated with the three-dimensional shape data output from the vertex reducing unit 111 It is stored in the storage unit 19 as a set.
  • the left resolution changing unit 117L and the right resolution changing unit 117R determine the number of pixels for the texture data for the left eye and the texture data for the right eye included in each data set according to the number of vertices of three-dimensional shape data included in the data set
  • the resolution change process may be performed to have When the number of vertices of the three-dimensional shape data is small, the image quality does not significantly decrease even if the number of pixels included in the texture data for the left eye and the texture data for the right eye is reduced. It is possible to reduce.
  • the configuration example of the data set generation unit 11 has been described above with reference to FIG. As described above, the data set generation unit 11 generates a plurality of data sets having different data amounts. Therefore, the data set generation unit 11 generates the data set while appropriately changing parameters so that, for example, the number of vertices of three-dimensional shape data included in the data set and the number of pixels of each texture data change stepwise. It may be repeated as many times as the number of desired data sets.
  • control unit 10 may have a plurality of data set generation units 11 to generate data sets in parallel.
  • FIG. 20 is a schematic view schematically showing parallel data set generation in the case where the control unit 10 has a plurality of data set generation units 11. In FIG.
  • the configuration of the N data set generation units 11-1 to 11-N shown in FIG. 20 may be similar to the configuration of the data set generation unit 11 shown in FIG.
  • Each of the data set generation units 11-1 to 11-N generates data sets DS-1 to DS-N based on the original three-dimensional shape data, the original texture data, the left camera image, and the right camera image.
  • Each of the data sets DS-1 to DS-N includes three-dimensional shape data of different numbers of vertices, and texture data for the left eye and texture data for the right eye corresponding to the three-dimensional shape data.
  • parallel processing enables more efficient generation of a plurality of data sets having different amounts of data in stages.
  • the communication control unit 13 controls communication between the communication unit 17 and another device.
  • the communication control unit 13 controls the communication unit 17 to receive a request including load information from the display control device 2.
  • the communication control unit 13 controls the communication unit 17 to transmit the data set selected by the selection unit 15 described later to the display control device 2 in response to the request received from the display control device 2.
  • the selection unit 15 is transmitted by the communication unit 17 based on the load information included in the request received by the communication unit 17 among the plurality of data sets generated by the data set generation unit 11 and stored in the storage unit 19. Select the data set to be The selection unit 15 may select a data set including three-dimensional shape data of the number of vertices according to the load information as described above, and texture data for the left eye and texture data for the right eye corresponding to the three-dimensional shape data. .
  • the load information may include channel band information on the channel band between the distribution server 1 and the display control device 2 as described above. For example, when the transmission path band between the distribution server 1 and the display control device 2 is not large enough to pass the data amount of the data set including the original three-dimensional shape data, the selecting unit 15 generates the original cubic A data set including three-dimensional shape data with fewer vertices than the original shape data is selected.
  • the HMD 3 since it is convenient for the HMD 3 to be able to walk around a certain range freely, it is desirable that the HMD 3 communicate wirelessly. Then, when the display control device 2 and the HMD 3 are integrated and the HMD 3 has a function as the display control device 2, a transmission path between the distribution server 1 and the display control device 2 (integrated with the HMD 3) It is assumed that the bandwidth is small. On the other hand, when the display control device 2 and the HMD 3 are separate devices and the display control device 2 is connected to the communication network 5 by wire, the transmission path band between the distribution server 1 and the display control device 2 is It is assumed that it is large. In any of these cases, the selection unit 15 can appropriately select the data set based on the transmission path band.
  • the load information may also include processing performance information on the processing performance of the display control device 2 as described above.
  • the processing performance of the display control device 2 can be considered to be diverse.
  • the display control device 2 and the HMD 3 may be different devices, and the display control device 2 may be a high spec PC having high processing performance.
  • the processing performance of the display control device 2 may be lower than that of the high spec PC.
  • the communication unit 17 communicates information with other devices according to the control of the communication control unit 13 described above.
  • the communication unit 17 functions as a reception unit, and receives a request including load information on a load from the display control device 2.
  • the communication unit 17 functions as a transmitting unit, and includes a data set including three-dimensional shape data of the number of vertices according to the load information, and texture data for the left eye and texture data for the right eye corresponding to the three-dimensional shape data. Send according to the received request.
  • the storage unit 19 stores programs and parameters for each component of the distribution server 1 to function. For example, the storage unit 19 stores in advance the original three-dimensional shape data, the original texture data, the left camera image, and the right camera image described above, and provides the data set generation unit 11. The storage unit 19 also stores a plurality of data sets generated by the data set generation unit 11.
  • the distribution server 1 according to the present embodiment generates a plurality of data sets in advance, and data selected from among the plurality of data sets in response to a request from the display control device 2 Send the set to the display control device 2. Therefore, after an operation example of the distribution server 1 for generating a data set will be described below with reference to FIG. 21, an operation example of the distribution server 1 for transmitting a data set will be described with reference to FIG.
  • FIG. 21 is a flowchart showing an operation example of the distribution server 1 for generating a data set.
  • the vertex reduction unit 111 of the data set generation unit 11 performs vertex reduction processing on the original three-dimensional shape data (S101).
  • the perspective projection unit 112 of the data set generation unit 11 performs perspective projection from the left and right camera positions using the three-dimensional shape data subjected to the vertex reduction processing in step S101 to generate a perspective projection image ( S103).
  • the texture generation unit 115 of the data set generation unit 11 associates the perspective projection image with the left and right camera images, and generates texture data for the left eye and texture data for the right eye (S105).
  • the texture generation unit 115 causes the texture data for the left eye and the texture data for the right eye generated in step S105 to have the number of pixels corresponding to the number of vertices of the three-dimensional shape data subjected to the vertex reduction processing in step S101. Then, resolution change processing is performed on the texture data for the left eye and the texture data for the right eye (S107).
  • the data set generation unit 11 associates the three-dimensional shape data subjected to the vertex reduction processing in step S101 with the texture data for the left eye and the texture data for the right eye subjected to the resolution change processing in step S107. It is stored in the storage unit 19 as a data set (S109).
  • the series of processes shown in FIG. 21 are desired, for example, while appropriately changing parameters such that the number of vertices of three-dimensional shape data included in the data set and the number of pixels of each texture data change stepwise. It may be repeated as many times as the number of data sets. Alternatively, the series of processes shown in FIG. 21 may be performed in parallel by a plurality of data set generation units 11 as shown in FIG.
  • FIG. 22 is a flowchart showing an operation example of the distribution server 1 for transmitting a data set.
  • the communication unit 17 receives a request including load information on a load from the display control device 2 according to the control of the communication control unit 13 (S151).
  • the selection unit 15 selects, from among the plurality of data sets stored in the storage unit 19, the data set to be transmitted by the communication unit 17 based on the load information included in the request received in step S151. (S153).
  • the data set selected in step S153 includes three-dimensional shape data of the number of vertices according to the load information, and texture data for the left eye and texture data for the right eye corresponding to the three-dimensional shape data.
  • the communication unit 17 transmits the data set selected in step S153 to the display control device 2 according to the request received from the display control device 2 in step S151 under the control of the communication control unit 13 (S155) .
  • FIG. 23 is a block diagram showing a configuration example of the display control device 2 according to the present embodiment.
  • the display control device 2 is an information processing device including a control unit 20, a communication unit 27, and a storage unit 29.
  • the control unit 20 controls each component of the display control device 2.
  • the control unit 20 also functions as a drawing unit 21 and a communication control unit 23, as shown in FIG.
  • the drawing unit 21 generates a display image for the left eye and a display image for the right eye based on the data set received by the communication unit 27 described later from the distribution server 1 as described above with reference to FIGS. (draw.
  • the drawing unit 21 may generate the display image for the left eye and the display image for the right eye in the viewpoint based on the viewpoint information regarding the viewpoint of the user that the communication unit 27 receives from the HMD 3.
  • the communication control unit 23 controls communication between the communication unit 27 and another device.
  • the communication control unit 23 controls the communication unit 27 to transmit a request including load information on a load to the distribution server 1.
  • the communication control unit 23 may acquire the load information from the storage unit 29 or may acquire the load information from the outside via the communication unit 27.
  • the communication control unit 23 controls the communication unit 27 to receive a data set from the distribution server 1.
  • the communication control unit 23 controls the communication unit 27 to receive, from the HMD 3, viewpoint information regarding the user's viewpoint.
  • the communication control unit 23 controls the communication unit 27 to transmit the display image for the left eye and the display image for the right eye generated by the drawing unit 21 to the HMD 3 and causes the HMD 3 to display the display image for the left eye and the display image for the right eye. Display.
  • the communication unit 27 communicates information with other devices according to the control of the communication control unit 23 described above.
  • the communication unit 27 functions as a transmission unit, and transmits a request including load information on a load to the distribution server 1.
  • the communication unit 27 functions as a receiving unit, and distributes a data set including three-dimensional shape data of the number of vertices according to load information, and texture data for left eye and texture data for right eye corresponding to three-dimensional shape data.
  • Received from server 1 The communication unit 27 also receives, from the HMD 3, viewpoint information regarding the user's viewpoint, and transmits the left-eye display image and the right-eye display image generated by the drawing unit 21 to the HMD 3.
  • the storage unit 29 stores programs and parameters for each component of the display control device 2 to function.
  • the storage unit 29 may store the above-described load information.
  • FIG. 24 is a flowchart showing an operation example of the display control device 2.
  • the communication unit 27 transmits a request including load information on the load to the distribution server 1 (S201). Subsequently, the communication unit 27 receives the data set from the distribution server 1 according to the control of the communication control unit 23 (S203). As described above, the data set received in step S203 includes three-dimensional shape data of the number of vertices according to load information, and texture data for the left eye and texture data for the right eye corresponding to the three-dimensional shape data.
  • the drawing unit 21 generates a display image for the left eye and a display image for the right eye based on the data set received in step S203 (S205).
  • the communication control unit 23 controls the communication unit 27 to transmit the display image for the left eye and the display image for the right eye generated in step S205 to the HMD 3 so that the display image for the left eye and the display image for the right eye And display on HMD3.
  • the selection unit 15 selects a data set to be transmitted by the communication unit 17 based on load information
  • the present technology is not limited to such an example.
  • the selection unit 15 may select the data set transmitted by the communication unit 17 further based on the number of objects included in the data set transmitted by the communication unit 17. Such an example will be described as a first modification.
  • FIG. 25 is an explanatory diagram for explaining the first modification.
  • a data set may be generated for each object.
  • the selection unit 15 may select a data set for each object, and the data amount may be smaller as the number of objects included in the data set transmitted by the communication unit 17 is larger. May be selected.
  • the selection unit 15 may select a data set based on the number of objects such that the total data amount of the data set to be transmitted is constant. For example, when the number of objects is doubled, the data set may be selected so that the amount of data for each object is halved.
  • the number of objects included in the data set transmitted by the communication unit 17 may be identified based on, for example, the original data stored in the storage unit 19. Further, when the view control information on the view of the user is obtained from the display control device 2, the number of objects included in the data set transmitted by the communication unit 17 corresponds to the view of the user specified based on the view information. , May be identified.
  • FIG. 25 shows the field of view W11 to W13 of the user as an example.
  • the selection unit 15 selects a data set DS21 including three-dimensional shape data F21 having many vertices, texture data T21L for the left eye having many pixels, and texture data T21R for the right eye.
  • the data set DS31 to be transmitted includes three-dimensional shape data F31 as shown in FIG. 25, texture data T31L for the left eye, and texture data T31R for the right eye.
  • the selection unit 15 may select, for each object, a data set DS22 including three-dimensional shape data F22 in which the number of vertices is reduced compared to the three-dimensional shape data F21. Further, as shown in FIG. 25, the number of pixels of the left-eye texture data T22L and the right-eye texture data T22R included in the data set DS22 is smaller than the left-eye texture data T21L and the right-eye texture data T21R.
  • the data set DS32 to be transmitted includes three-dimensional shape data F32-1 and F32-2 as shown in FIG. 25, and texture data for left eye T32-1L and T32-2L, and texture data for right eye T32-1R. , T32-2R.
  • the selection unit 15 may select, for each object, a data set DS23 including three-dimensional shape data F23 in which the number of vertices is further reduced compared to the three-dimensional shape data F22. . Further, as shown in FIG. 25, the number of pixels of the left-eye texture data T23L and the right-eye texture data T23R included in the data set DS23 is smaller than that of the left-eye texture data T22L and the right-eye texture data T22R.
  • the data set DS33 to be transmitted includes three-dimensional shape data F33-1 to F33-3 as shown in FIG. 25, texture data for left eye T33-1L to T33-3L, and texture data for right eye T33-1R. ⁇ ⁇ Includes T33-3R.
  • the distribution server 1 receives viewpoint information from the display control device 2, and a data set to be transmitted based on the viewpoint information from among the three or more texture data.
  • the texture for the left eye and the texture for the right eye may be selected.
  • FIG. 26 is a block diagram showing an example of the hardware configuration of the information processing apparatus according to the embodiment of the present disclosure.
  • the information processing apparatus 900 illustrated in FIG. 26 can realize, for example, the distribution server 1, the display control apparatus 2, and the HMD 3 illustrated in FIGS. 1, 16, and 23.
  • Information processing by the distribution server 1, the display control device 2, and the HMD 3 according to the embodiment of the present disclosure is realized by cooperation of software and hardware described below.
  • the information processing apparatus 900 includes a central processing unit (CPU) 901, a read only memory (ROM) 902, a random access memory (RAM) 903, and a host bus 904a.
  • the information processing apparatus 900 further includes a bridge 904, an external bus 904b, an interface 905, an input device 906, an output device 907, a storage device 908, a drive 909, a connection port 911, a communication device 913, and a sensor 915.
  • the information processing apparatus 900 may have a processing circuit such as a DSP or an ASIC instead of or in addition to the CPU 901.
  • the CPU 901 functions as an arithmetic processing unit and a control unit, and controls the overall operation in the information processing apparatus 900 according to various programs. Also, the CPU 901 may be a microprocessor.
  • the ROM 902 stores programs used by the CPU 901, calculation parameters, and the like.
  • the RAM 903 temporarily stores programs used in the execution of the CPU 901, parameters and the like that appropriately change in the execution.
  • the CPU 901 can form, for example, the control unit 10 and the control unit 20.
  • the CPU 901, the ROM 902, and the RAM 903 are mutually connected by a host bus 904a including a CPU bus and the like.
  • the host bus 904 a is connected to an external bus 904 b such as a peripheral component interconnect / interface (PCI) bus via the bridge 904.
  • PCI peripheral component interconnect / interface
  • the host bus 904a, the bridge 904, and the external bus 904b do not necessarily need to be separately configured, and these functions may be implemented on one bus.
  • the input device 906 is realized by, for example, a device such as a mouse, a keyboard, a touch panel, a button, a microphone, a switch, and a lever to which information is input by the user. Further, the input device 906 may be, for example, a remote control device using infrared rays or other radio waves, or may be an external connection device such as a mobile phone or PDA corresponding to the operation of the information processing apparatus 900. . Furthermore, the input device 906 may include, for example, an input control circuit that generates an input signal based on the information input by the user using the above input unit, and outputs the generated input signal to the CPU 901. The user of the information processing apparatus 900 can input various data to the information processing apparatus 900 or instruct processing operations by operating the input device 906.
  • the output device 907 is formed of a device capable of visually or aurally notifying the user of the acquired information.
  • Such devices include display devices such as CRT display devices, liquid crystal display devices, plasma display devices, EL display devices and lamps, audio output devices such as speakers and headphones, and printer devices.
  • the output device 907 outputs, for example, results obtained by various processes performed by the information processing apparatus 900.
  • the display device visually displays the results obtained by the various processes performed by the information processing apparatus 900 in various formats such as text, images, tables, graphs, and the like.
  • the audio output device converts an audio signal composed of reproduced audio data, acoustic data and the like into an analog signal and aurally outputs it.
  • the storage device 908 is a device for data storage formed as an example of a storage unit of the information processing device 900.
  • the storage device 908 is realized by, for example, a magnetic storage unit device such as an HDD, a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • the storage device 908 may include a storage medium, a recording device that records data in the storage medium, a reading device that reads data from the storage medium, and a deletion device that deletes data recorded in the storage medium.
  • the storage device 908 stores programs executed by the CPU 901, various data, various data acquired from the outside, and the like.
  • the storage device 908 may form, for example, a storage unit 19 and a storage unit 29.
  • the drive 909 is a reader / writer for a storage medium, and is built in or externally attached to the information processing apparatus 900.
  • the drive 909 reads out information recorded in a removable storage medium such as a mounted magnetic disk, optical disk, magneto-optical disk, or semiconductor memory, and outputs the information to the RAM 903.
  • the drive 909 can also write information to the removable storage medium.
  • connection port 911 is an interface connected to an external device, and is a connection port to an external device capable of data transmission by USB (Universal Serial Bus), for example.
  • USB Universal Serial Bus
  • the communication device 913 is, for example, a communication interface formed of a communication device or the like for connecting to the network 920.
  • the communication device 913 is, for example, a communication card for wired or wireless Local Area Network (LAN), Long Term Evolution (LTE), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the communication device 913 may be a router for optical communication, a router for asymmetric digital subscriber line (ADSL), a modem for various communications, or the like.
  • the communication device 913 can transmit and receive signals and the like according to a predetermined protocol such as TCP / IP, for example, with the Internet or another communication device.
  • the communication device 913 can form, for example, the communication unit 17 and the communication unit 27.
  • the sensor 915 is, for example, various sensors such as an acceleration sensor, a gyro sensor, a geomagnetic sensor, an optical sensor, a sound sensor, a distance measuring sensor, and a force sensor.
  • the sensor 915 acquires information on the state of the information processing apparatus 900, such as the attitude and movement speed of the information processing apparatus 900, and information on the surrounding environment of the information processing apparatus 900, such as brightness and noise around the information processing apparatus 900.
  • sensor 915 may include a GPS sensor that receives GPS signals and measures latitude, longitude and altitude of the device.
  • the network 920 is a wired or wireless transmission path of information transmitted from a device connected to the network 920.
  • the network 920 may include the Internet, a public network such as a telephone network, a satellite communication network, various LANs (Local Area Networks) including Ethernet (registered trademark), a WAN (Wide Area Network), or the like.
  • the network 920 may include a leased line network such as an Internet Protocol-Virtual Private Network (IP-VPN).
  • IP-VPN Internet Protocol-Virtual Private Network
  • each component described above may be realized using a general-purpose member, or may be realized by hardware specialized for the function of each component. Therefore, it is possible to change the hardware configuration to be used as appropriate according to the level of technology to which the embodiment of the present disclosure is implemented.
  • a computer program for realizing each function of the information processing apparatus 900 according to the embodiment of the present disclosure as described above can be created and implemented on a PC or the like.
  • a computer readable recording medium in which such a computer program is stored can be provided.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory or the like.
  • the above computer program may be distributed via, for example, a network without using a recording medium.
  • steps in the above embodiment do not necessarily have to be processed chronologically in the order described as the flowchart diagram.
  • each step in the process of the above embodiment may be processed in an order different from the order described as the flowchart diagram, or may be processed in parallel.
  • a receiver for receiving a request including load information on the load A transmitting unit for transmitting, according to the request, a data set including three-dimensional shape data of the number of vertices according to the load information, and texture data for the left eye and texture data for the right eye corresponding to the three-dimensional shape data;
  • An information processing apparatus comprising: (2) The information processing apparatus is based on the load information from among a plurality of data sets each including the three-dimensional shape data, the texture data for the left eye corresponding to the three-dimensional shape data, and the texture data for the right eye.
  • the information processing apparatus according to (1) further including: a selection unit that selects the data set transmitted by the transmission unit.
  • the information processing apparatus performs the selection further based on the number of objects included in the data set transmitted by the transmission unit.
  • the data set generation unit includes a vertex reduction unit that generates the three-dimensional shape data included in the data set by vertex reduction processing.
  • the data set generation unit is a perspective projection unit that generates a perspective projection image by performing perspective projection using the three-dimensional shape data from camera positions corresponding to the left-eye texture data and the right-eye texture data.
  • the information processing apparatus according to (4) or (5), further including: (7)
  • the data set generation unit associates the perspective projection image with a camera image acquired by imaging from the camera position to generate the texture data for the left eye and the texture data for the right eye
  • the information processing apparatus according to (6), further including a generation unit.
  • the information processing apparatus according to (7), wherein the texture generation unit performs the correspondence between the perspective projection image and the camera image for each area based on a vertex included in the three-dimensional shape data.
  • the texture data for the left eye and the texture data for the right eye included in each data set have the number of pixels corresponding to the number of vertices of the three-dimensional shape data included in the data set.
  • the load information includes transmission path band information on a transmission path band between a transmission device that transmits the request and the information processing device, or processing performance information on processing performance of the transmission device.
  • the information processing apparatus according to any one of 9).
  • a transmitter for transmitting a request including load information on the load A receiving unit that receives a data set including three-dimensional shape data of the number of vertices according to the load information, and texture data for the left eye and texture data for the right eye corresponding to the three-dimensional shape data;
  • An information processing apparatus comprising: a drawing unit that generates a display image for the left eye and a display image for the right eye based on the data set.
  • the load information includes transmission path band information on a transmission path band between a receiving apparatus that receives the request and the information processing apparatus, or processing performance information on processing performance of the information processing apparatus.
  • Information processor as described.
  • Distribution server 2 Display control device 3 HMD Reference Signs List 5 communication network 10 control unit 11 data set generation unit 13 communication control unit 15 selection unit 17 communication unit 19 storage unit 20 storage unit 21 control unit 21 drawing unit 23 communication control unit 27 communication unit 29 storage unit 111 vertex reduction unit 112 perspective projection unit 115 texture Generation unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

【課題】情報処理装置、及び情報処理方法を提供する。 【解決手段】負荷に関する負荷情報を含む要求を受信する受信部と、　前記負荷情報に応じた頂点数の三次元形状データ、並びに前記三次元形状データに対応した左目用テクスチャデータ及び右目用テクスチャデータを含むデータセットを、前記要求に応じて送信する送信部と、を備える情報処理装置

Description

情報処理装置、及び情報処理方法
　本開示は、情報処理装置、及び情報処理方法に関する。
　左目で見る画像と、右目で見る画像とを異ならせ、画像間の両眼視差によりユーザに立体感を与える仕組みが３Ｄ映画や３Ｄテレビ等で利用されている。さらに、ユーザの頭部に装着されるＨＭＤ（Head　Mounted　Display）等を用いて、運動視差を再現する技術も存在する。
　運動視差を再現するためには、ユーザの頭部位置等に応じて、視点を移動させる必要があるため、異なる視点から見た画像が要求される。例えば下記特許文献１のように、被写体の三次元形状に関する情報を検知・記録し、その情報を基に再構成された三次元モデルを用いて、各視点から見た画像を描画（生成）する技術が存在する。
米国特許出願公開第２０１５／３１０６６２号明細書
　しかし、上記のような技術においては、描画に用いられる三次元形状データが、各視点から見た画像（表示画像）の主観画質に大きな影響を与えるため、当該三次元形状データの精度等によっては、表示画像の主観画質が低下する恐れがあった。
　そこで、本開示では、三次元形状データに基づいて生成される表示画像の主観画質の低下を抑制することが可能な仕組みを提案する。
　本開示によれば、負荷に関する負荷情報を含む要求を受信する受信部と、前記負荷情報に応じた頂点数の三次元形状データ、並びに前記三次元形状データに対応した左目用テクスチャデータ及び右目用テクスチャデータを含むデータセットを、前記要求に応じて送信する送信部と、を備える情報処理装置が提供される。
　また、本開示によれば、負荷に関する負荷情報を含む要求を送信する送信部と、前記負荷情報に応じた頂点数の三次元形状データ、並びに前記三次元形状データに対応した左目用テクスチャデータ及び右目用テクスチャデータを含むデータセットを受信する受信部と、前記データセットに基づいて、左目用表示画像と右目用表示画像とを生成する描画部と、を備える情報処理装置が提供される。
　また、本開示によれば、負荷に関する負荷情報を含む要求を受信することと、
　前記要求に応じて、前記負荷情報に応じた頂点数の三次元形状データ、並びに前記三次元形状データに対応した左目用テクスチャデータ及び右目用テクスチャデータを含むデータセットをプロセッサが送信させることと、を含む情報処理方法が提供される。
　以上説明したように本開示によれば、三次元形状データに基づいて生成される表示画像の主観画質の低下を抑制することが可能となる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態にかかる伝送システムの構成を概略的に示す説明図である。 同実施形態にかかるデータセットの生成処理の流れを概略的に示す模式図である。 同実施形態にかかるデータ伝送処理の流れを概略的に示す模式図である。 三次元モデルの頂点と単一のテクスチャデータとの対応を説明するための説明図である。 三次元形状データのデータ構造の一例を示す図である。 同実施形態における三次元モデルの頂点とテクスチャデータとの対応を説明するための説明図である。 同実施形態におけるステレオテクスチャデータを用いた描画を説明するための模式図である。 三次元モデルの誤差について説明するための説明図である。 ステレオカメラによる撮像を模式的に示す模式図である。 テクスチャデータ生成処理の流れを模式的に示した模式図である。 誤差を含む三次元モデルと、ステレオカメラとの関係を示す模式図である。 カメラ位置とユーザの目の位置が一致する状態で視聴している状況を示す模式図である。 カメラ位置とユーザの目の位置とが異なる状態で視聴している状況を示す模式図である。 比較例を説明するための説明図である。 比較例を説明するための説明図である。 同実施形態にかかる配信サーバ１の構成の一例を示すブロック図である。 データセット生成部１１の構成の一例を示すブロック図である。 頂点削減部１１１による頂点削減処理を示す説明図である。 段階的な頂点削減の様子を示す模式図である。 制御部１０が複数のデータセット生成部１１を有する場合の並列的なデータセット生成を模式的に示す模式図である。 データセットの生成にかかる配信サーバ１の動作例を示すフローチャート図である。 データセットの伝送にかかる配信サーバ１の動作例を示すフローチャート図である。 本実施形態にかかる表示制御装置２の構成例を示すブロック図である。 表示制御装置２の動作例を示すフローチャート図である。 変形例１を説明するための説明図である。 ハードウェア構成例を示すブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　＜＜１．システム概要＞＞
　　＜１－１．構成＞
　　＜１－２．処理の流れ＞
　＜＜２．本技術にかかる原理＞＞
　＜＜３．配信サーバ＞＞
　　＜３－１．構成＞
　　＜３－２．動作＞
　＜＜４．表示制御装置＞＞
　　＜４－１．構成＞
　　＜４－２．動作＞
　＜＜５．変形例＞＞
　　＜５－１．変形例１＞
　　＜５－２．変形例２＞
　　＜５－３．変形例３＞
　　＜５－４．変形例４＞
　＜＜６．ハードウェア構成例＞＞
　＜＜７．むすび＞＞
　＜＜１．システム概要＞＞
　　＜１－１．構成＞
　まず、図１を参照して、本開示の一実施形態にかかる情報処理システムの概要を説明する。図１は、本開示の一実施形態にかかる伝送システムの構成を概略的に示す説明図である。
　図１に示すように、本実施形態にかかる伝送システム１０００は、配信サーバ１、表示制御装置２、ＨＭＤ３、及び通信網５を含む情報処理システムである。本実施形態にかかる伝送システム１０００は、ＨＭＤ３を装着しＨＭＤ３に表示される画像を見るユーザＵへ、両眼視差、及び運動視差による立体感を提供する。
　配信サーバ１と表示制御装置２とは、通信網５を介して接続され、相互に情報を送受信することが可能である。また、表示制御装置２とＨＭＤ３とも、有線または無線により接続されて、相互に情報を送受信することが可能である。
　通信網５は、通信網５に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、通信網５は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などを含んでもよい。また、通信網５は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ　Ｐｒｉｖａｔｅ　Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
　配信サーバ１は、三次元形状データ、及び三次元形状データに対応するテクスチャデータを記憶し、表示制御装置２からのデータ送信の要求（以下、単に要求とも呼ぶ）に応じて、三次元形状データ、及びテクスチャデータを含むデータセットを表示制御装置２へ送信（伝送）する。
　表示制御装置２は、配信サーバ１から受信したデータセット、及びＨＭＤ３から受信したユーザＵの視点に関する視点情報に基づいて、当該視点における表示画像を生成（描画）し、表示画像をＨＭＤ３へ送信する。本実施形態において、表示制御装置２が生成する表示画像は、後述するＨＭＤ３によりユーザＵの左目の前に表示される左目用表示画像と、ユーザＵの右目の前に表示される右目用表示画像を含む。また、以下では、左目用表示画像と右目用表示画像をまとめてステレオ表示画像、あるいは単に表示画像と呼ぶ場合もある。
　ＨＭＤ３は、表示制御装置２から受信したステレオ表示画像を表示する表示装置（表示部）である。なお、ＨＭＤ３は、ＨＭＤ３を装着したユーザＵの視点に関する視点情報を取得するセンサを有し、視点情報を表示制御装置２へ送信する。ＨＭＤ３が送信する視点情報は、例えばユーザＵの視点の位置、及び姿勢を示す情報を含んでもよい。
　なお、図１では、表示制御装置２とＨＭＤ３を別々の装置として示しているが、表示制御装置２とＨＭＤ３とが一体化されていてもよい。つまり、表示制御装置２の機能と、ユーザの頭部に装着されて左目用表示画像と右目用表示画像とを表示する表示部としてのＨＭＤ３の機能とを１の情報処理装置が備えていてもよい。
　上述した構成により、伝送システム１０００は、ユーザＵへ両眼視差、及び運動視差による立体感を提供することが可能となる。
　ここで、上述した三次元形状データ、及び三次元形状データに対応するテクスチャデータは、例えばＴｏＦ（Time　of　Flight）センサ等の距離計測デバイスを用いる方法や、ステレオマッチング等の手法を用いる等の周知の三次元キャプチャ技術により取得され得る。以下、この三次元キャプチャ技術により取得された三次元形状データ、及びテクスチャデータを、それぞれオリジナル三次元形状データ、及びオリジナルテクスチャデータと呼び、さらに両者をまとめてオリジナルデータと呼ぶ場合がある。
　このオリジナルデータは、非常にデータ量が大きいことがある。そのため、伝送負荷や処理負荷も大きく、条件によっては要求される時間内での処理が困難となる。例えば、配信サーバ１と表示制御装置２との間の伝送路帯域（通信網５の帯域）によっては、オリジナルデータをそのまま伝送することが困難な恐れがある。また、表示制御装置２の処理性能（プロセッサの処理速度やメモリのサイズ等）によっては、オリジナルデータから表示画像を生成することが困難な恐れがある。
　そこで、このような負荷に応じて、配信サーバ１から表示制御装置２へ伝送されるデータ量を変化させることが考えられる。このような仕組みについて以下に説明する。
　表示制御装置２は、負荷に関する負荷情報を含む要求を配信サーバ１へ送信する。負荷情報は、例えば配信サーバ１と表示制御装置２との間の伝送路帯域に関する伝送路帯域情報、または表示制御装置２の処理性能に関する処理性能情報のうち少なくともいずれか一方を含んでもよい。
　配信サーバ１は、表示制御装置２から受信した要求に含まれる負荷情報に応じたデータ量の、三次元形状データ、及び三次元形状データに対応するテクスチャデータを含むデータセットを表示制御装置２へ送信する。ここで、送信されるデータセットに含まれる三次元形状データ、及びテクスチャデータは、オリジナル三次元形状データ、及びオリジナルテクスチャデータよりもデータ量が削減されたデータであり得る。データ量の削減処理は、例えば三次元形状データに含まれる頂点を削減する頂点削減処理を含み得る。
　上述したように負荷情報に応じて、配信サーバ１から表示制御装置２へ伝送されるデータ量を変化させることで、伝送や、表示画像の生成がスムーズに行われ得る。しかし、データ量の削減に伴い、表示画像の主観画質が低下し得る。例えば三次元形状データに含まれる頂点が削減されることにより、三次元形状データに応じた三次元モデルの形状精度が低下し、表示画像の主観画質が低下し得る。例えば、三次元形状データに応じた三次元モデルの凹凸感等が失われ、その結果、ユーザが立体感を得ることが出来ない恐れがある。
　そこで、上記事情を一着眼点にして本実施形態を創作するに至った。本実施形態に係る配信サーバ１は、三次元形状データの生成（キャプチャ）に用いられた左カメラ画像と右カメラ画像とをも利用することにより、左目用テクスチャデータ、及び右目用テクスチャデータを生成する。つまり、本実施形態に係る配信サーバ１から表示制御装置２へ送信されるデータセットには、単一のテクスチャデータではなく、左目用テクスチャデータ、及び右目用テクスチャデータという、複数のテクスチャデータが含まれる。そして、表示制御装置２は、配信サーバ１から受信したデータセットに含まれる頂点削減処理が施された三次元形状データ、並びに左目用テクスチャデータ及び右目用テクスチャデータに基づいて、左目用表示画像と、右目用表示画像とを生成する。かかる構成により、頂点削減処理が施された三次元形状データを用いて表示を行う場合であっても、表示画像の主観画質の低下が抑制される。例えば当該三次元形状データに応じた三次元モデルに存在しない凹凸感を再現することが可能となり得る。
　　＜１－２．処理の流れ＞
　以上、本実施形態にかかる伝送システム１０００の概略的な構成について説明した。続いて、本実施形態にかかる伝送システム１０００の概略的な処理の流れについて説明する。
　上述したように、本実施形態にかかる配信サーバ１は、データ量が削減された三次元形状データ、及びテクスチャデータを表示制御装置２へ送信する。ここで、データ量の削減にかかる処理は、予め行われていることが望ましく、例えば、オリジナルデータに基づいて、データ量が異なる複数のデータセットが予め生成され、記憶されていていてもよい。そして、配信サーバ１は、記憶された複数のデータセットの中から、負荷情報に応じたデータ量のデータセットを選択して表示制御装置２へ送信することで、表示制御装置２の要求に高速に応答することが可能となる。
　そこで、以下では、図２を参照してデータセットの生成にかかる処理の流れについて説明した後に、図３を参照してデータの伝送にかかる処理の流れについて説明する。
　（データセットの生成にかかる処理）
　図２は、本実施形態にかかるデータセットの生成処理の流れを概略的に示す模式図である。以下では、図２に示されるデータセットの生成処理が、図１に示した配信サーバ１により行われる例を説明する。ただし、本技術はかかる例に限定されず、図２に示される処理が他の装置により行われてもよく、当該他の装置により予め生成されたデータセットが配信サーバ１に記憶されていてもよい。
　配信サーバ１は、データセットＤＳ１０に含まれるデータの削減処理を行って、複数のデータセットＤＳ１１～ＤＳ１３を生成する。生成されたデータセットＤＳ１１～ＤＳ１３は、配信サーバ１に記憶される。
　図２に示すデータセットＤＳ１０は、オリジナル三次元形状データＦ１０、オリジナルテクスチャデータＴ１０、左カメラ画像Ｇ１０Ｌ、及び右カメラ画像Ｇ１０Ｒを含む。オリジナル三次元形状データＦ１０は、複数の頂点データＶ１０１～Ｖ１０７を含む。また、左カメラ画像Ｇ１０Ｌ、及び右カメラ画像Ｇ１０Ｒは、オリジナル三次元形状データＦ１０の生成に用いられた画像であってもよい。例えば、左カメラ画像Ｇ１０Ｌは被写体を左側から撮像する左カメラの撮像により取得された画像であり、右カメラ画像Ｇ１０Ｒは被写体を右側から撮像する右カメラの撮像により取得された画像である。
　図２に示すように、生成されたデータセットＤＳ１１～ＤＳ１３は、それぞれ、三次元形状データＦ１１～Ｆ１３、並びに三次元形状データＦ１１～Ｆ１３に対応する左目用テクスチャデータＴ１１Ｌ～Ｔ１３Ｌ、及び右目用テクスチャデータＴ１１Ｒ～Ｔ１３Ｒを含む。図２に示されるように、生成されたデータセットＤＳ１１～ＤＳ１３は、それぞれデータ量が異なる。
　図２に示す例では、データセットＤＳ１１～ＤＳ１３のうち、データセットＤＳ１１のデータ量が最も大きい。図２に示す例において、データセットＤＳ１１に含まれる三次元形状データＦ１１に対しては、頂点削減処理が施されておらず、三次元形状データＦ１１に含まれる頂点データＶ１１１～Ｖ１１７の数は、オリジナル三次元形状データＦ１０に含まれる頂点データの数と同一である。ただし、本実施形態はかかる例に限定されるものではなく、配信サーバ１は、送信され得る全てのデータセットに含まれる三次元形状データに対して頂点削減処理を施してもよい。
　一方、データセットＤＳ１２、及びデータセットＤＳ１３に含まれる三次元形状データＦ１２、及び三次元形状データＦ１３は、オリジナル三次元形状データＦ１０に対して頂点削減処理を施すことにより生成される。図２に示す例において、三次元形状データＦ１２に含まれる頂点データＶ１２１～Ｖ１２４は、オリジナル三次元形状データＦ１０に含まれる頂点データＶ１０１～１０７よりも少なく、三次元形状データＦ１３に含まれる頂点データＶ１３１～Ｖ１３２よりも多い。なお、各三次元形状データに含まれる頂点の数（頂点数）は、図２に示される頂点データの数に限定されるものではない。
　また、データセットＤＳ１１～ＤＳ１２に含まれる左目用テクスチャデータＴ１１Ｌ～Ｔ１３Ｌ、及び右目用テクスチャデータＴ１１Ｒ～Ｔ１３Ｒは、それぞれ対応する三次元形状データＦ１１～Ｆ１３の頂点数に応じた画素数を有するように生成されてよい。図２に示すように、対応する三次元形状データの頂点数が大きい程、左目用テクスチャデータ、及び右目用テクスチャデータが有する画素数が大きくてもよい。これは、三次元形状データの頂点数が少ない場合には、左目用テクスチャデータ、及び右目用テクスチャデータが有する画素数を増やしても、あまり画質改善に寄与しないためである。かかる構成により、効率的にデータ量を削減することが可能となる。
　なお、図２では、３つのデータセットＤＳ１１～ＤＳ１３が生成される例が示されているが、生成されるデータセットの数は、図２に示した例に限定されない。生成されるデータセットの数が多くなる程、伝送路帯域や処理性能に応じて伝送されるデータ量をより細かく調整することが可能となる。ただし、生成されるデータセットの数に応じて、データセットの生成にかかる処理コストと、データセットの保持コストが要求されるため、処理コスト、及び保持コストを考慮して、生成されるデータセットの数を決定することが望ましい。
　（データの伝送にかかる処理）
　図３は、本実施形態にかかるデータ伝送処理の流れを概略的に示す模式図である。配信サーバ１は、図２を参照して上述したように予め生成された複数のデータセットＤＳ１１～ＤＳ１３の中から、表示制御装置２へ送信するデータセットを選択する（Ｓ１１）。ステップＳ１１において、配信サーバ１は、例えば表示制御装置２から受信した要求に含まれる負荷情報に基づいて、当該負荷情報に応じた頂点数の三次元形状データを含むデータセットを選択してもよい。このように選択することにより、配信サーバ１から表示制御装置２へのデータセットの伝送や、表示制御装置２が行う描画処理にかかる負荷を調整することができる。
　続いて、ステップＳ１１で選択されたデータセットが、配信サーバ１から表示制御装置２へ伝送（送信）される（Ｓ１２）。そして、表示制御装置２は、配信サーバ１から受信したデータセットに基づいて、表示画像の生成（描画）を行う（Ｓ１３）。ステップＳ１３で生成される表示画像は、ユーザの左目の前に表示される左目用表示画像Ｄ１０Ｌと、ユーザの右目の前に表示される右目用表示画像Ｄ１０Ｒとを含む。また、ステップＳ１３において、左目用表示画像Ｄ１０Ｌの生成には、三次元形状データと、左目用テクスチャデータが用いられ、右目用表示画像Ｄ１０Ｒの生成には、三次元形状データと、右目用テクスチャデータが用いられる。
　表示制御装置２により生成された左目用表示画像Ｄ１０Ｌ、及び右目用表示画像Ｄ１０Ｒは、ＨＭＤ３によって表示される（Ｓ１４）。
　＜＜２．本技術にかかる原理＞＞
　以上、本実施形態の概要について説明した。上述したように、本実施形態では、単一のテクスチャデータではなく、左目用テクスチャデータと右目用テクスチャデータを伝送する。そして、伝送された左目用テクスチャデータと右目用テクスチャデータとを用いて表示画像を描画することにより、データ量を削減しつつも、表示画像の画質低下を抑制することが可能である。ここで、本実施形態において、左目用テクスチャデータと右目用テクスチャデータを用いた描画により表示画像の画質低下が抑制される技術的な原理について説明を行う。なお、以下の説明では、左目用テクスチャデータと右目用テクスチャデータとをまとめてステレオテクスチャデータと呼ぶ場合がある。
　まず、図４、図５を参照して、単一のテクスチャデータを用いた描画を行う場合の、三次元形状データとテクスチャデータの対応について説明を行う。図４は、三次元モデルの頂点と単一のテクスチャデータとの対応を説明するための説明図である。また、図５は、三次元形状データのデータ構造の一例を示す図である。
　図４には、立方体である三次元モデルＭ２１と、当該三次元モデルＭ２１に対応する単一のテクスチャデータＴ２１が示されている。図４に示される三次元モデルＭ２１における頂点を示す三次元空間座標（ｘ０，ｙ０，ｚ０）と、テクスチャデータＴ２１上のテクスチャ座標（ｕ０，ｖ０）とが対応している。
　図５に示すように、計算機上で保持される三次元形状データＦ２１においては、これらの対応する座標を組み合わせた（ｘ０，ｙ０，ｚ０，ｕ０，ｖ０）が１つの頂点データとして扱われ得る。そして、図５に示される例では、このような頂点データがＮ個の配列となって三次元形状データＦ２１を構成している。つまり、三次元形状データＦ２１は、三次元モデルにおける頂点の座標と、テクスチャデータにおける対応する座標とを対応付ける情報を含む。
　ここで、図５に示される三次元形状データＦ２１の先頭から３つずつを三角形パッチとして扱うと、図４に示したｘｙｚの三次元空間座標系において、三角形パッチ群による立体形状である三次元モデルＭ２１を形成できる。さらに、三次元空間座標（ｘ，ｙ，ｚ）とテクスチャ座標（ｕ，ｖ）との対応により、各三角形パッチに対応するテクスチャデータＴ２１上の三角形領域を取得することができるため、当該三角形領域を三次元モデルＭ２１における三角形パッチにＡｆｆｉｎｅ変換を用いて変形しながらマッピング（貼り付け）していくことで、テクスチャデータを用いた三次元モデルが描画可能である。
　以上、単一のテクスチャデータを用いた描画を行う場合の、三次元形状データとテクスチャデータの対応について説明した。続いて、本実施形態において、ステレオテクスチャデータを用いた描画を行うための三次元形状データとテクスチャデータの対応について説明する。
　図６は、本実施形態における三次元モデルの頂点とテクスチャデータとの対応を説明するための説明図である。図６には、立方体である三次元モデルＭ２２、並びに当該三次元モデルＭ２２に対応する左目用テクスチャデータＴ２２Ｌ及び右目用テクスチャデータＴ２２Ｒが示されている。
　図６に示される三次元モデルＭ２２における頂点を示す三次元空間座標（ｘ０，ｙ０，ｚ０）と、左目用テクスチャデータＴ２２Ｌ上のテクスチャ座標（ｕ０，ｖ０）とが対応している。また、同様に、図６に示される三次元モデルＭ２２における頂点を示す三次元空間座標（ｘ０，ｙ０，ｚ０）と、右目用テクスチャデータＴ２２Ｒ上のテクスチャ座標（ｕ０，ｖ０）とが対応している。
　図６に示すように、三次元モデルＭ２２における同一の頂点に対応する左目用テクスチャデータＴ２２Ｌ上のテクスチャ座標と右目用テクスチャデータＴ２２Ｒ上のテクスチャ座標は、同一の座標で表すことができる。そのため、本実施形態にかかる三次元形状データのデータ構造は、図５を参照して説明した例と同様であってよい。
　図７は、本実施形態におけるステレオテクスチャデータを用いた描画を説明するための模式図である。図７に示すように、三次元モデルＭ２２に左目用テクスチャデータＴ２２Ｌをマッピングし、ユーザの左目に対応する視点で描画することで、左目用表示画像Ｄ２２Ｌを生成（描画）することができる。また、図７に示すように、三次元モデルＭ２２に右目用テクスチャデータＴ２２Ｒをマッピングし、ユーザの右目に対応する視点で描画することで、右目用表示画像Ｄ２２Ｒを生成（描画）することができる。
　図７に示した描画にかかる処理は、図１に示した表示制御装置２によって行われ得る。なお、図５を参照して説明したように三次元モデルの頂点位置とテクスチャデータとの間の対応情報は三次元形状データとして表される。したがって、表示制御装置２は、配信サーバ１から受信した、三次元形状データ、及び当該三次元形状データに対応したステレオテクスチャデータを含むデータセットを用いることで、図７に示すように描画を行うことが可能である。
　上述したように、共通の三次元モデルのテクスチャ描画にステレオテクスチャデータを用いることで、描画されたステレオ表示画像は、三次元モデルの表面とは異なる位置に融像し得る。これは例えば、平面スクリーンに表示された画像により両眼視差を与えることが可能な立体ディスプレイにおいて、表示面が平面であるのにもかかわらず立体感を与えることが可能であることと同じ原理である。本技術では、このようなステレオテクスチャを用いた描画により、三次元モデルの形状とは異なる凹凸感を有するかのように認識させる効果を利用して、ユーザ視点で描画された表示画像の主観画質低下を抑制する。
　上述したように、オリジナル三次元形状データは、距離計測デバイスを用いる方法や、ステレオマッチング等の手法を用いる方法等の三次元キャプチャ技術により取得される。オリジナル三次元形状データの取得方法は様々であるが、いずれの方法においても、誤差が発生する恐れがある。
　また、仮に高精度に形状を取得することが可能であったとしても、形状が複雑な場合には、高精度に形状を再現するために必要な三次元形状データのデータ量、つまり頂点数が非常に大きくなってしまう。図１～図３を参照して説明したように、本実施形態では、伝送路帯域や、処理性能等に関する負荷情報に応じて頂点削減処理が施された三次元形状データを含むデータセットが伝送され、描画に用いられる。したがって、負荷情報によっては、高精度に形状を再現するのに不十分な頂点数の三次元形状データ、つまり誤差を含む三次元形状データが描画に用いられる場合がある。
　このように、取得（測定）、伝送、処理のいずれかの原因により誤差を含む三次元形状データと、単一のテクスチャとを用いて描画を行うと、誤差を含む形状が再現され、ステレオ表示画像を見たユーザにも、誤差を含む形状が認識されてしまう。一方、本実施形態では、このような誤差を含む三次元形状データを用いた場合であっても、当該三次元形状データとステレオテクスチャとを用いて描画を行うことで、形状の誤差がより小さく見え、主観画質の低下を抑制することが可能となる。以下、本実施形態において、このような形状の誤差がより小さく見える原理について説明する。
　図８は、三次元モデルの誤差について説明するための説明図である。図８には、突起（くちばし）を有する三次元オブジェクトＯＢＪ３１の真の形状と、三次元オブジェクトＯＢＪ３１を三次元キャプチャ技術により三次元モデル化した三次元モデルＭ３２の形状と、が示されている。三次元オブジェクトＯＢＪ３１は、本来図８に示すように突起Ｂを含む。一方、三次元モデルＭ３２は、測定等が原因の誤差により突起を有さない。なお、図８には、三次元モデルＭ３２が存在する三次元空間において、三次元オブジェクトＯＢＪ３１の突起Ｂの先端に対応する先端位置が、点Ｐとして表されている。
　ここで、図８に示す三次元モデルＭ３２に対応する三次元形状データと、単一のテクスチャデータとを用いて描画を行った場合、生成されるステレオ表示画像を見たユーザは、突起を認識することは困難となる。一方、本実施形態では、ステレオテクスチャを用いることで、三次元モデルＭ３２のような誤差を含む三次元モデルに対応する三次元形状データを用いて描画を行っても、突起が存在するかのように見せることが可能となる。
　ステレオテクスチャによる立体感を与えるためには、水平間距離が人間の眼間距離に近くなるように配置したステレオカメラで取得したカメラ画像に基づいて生成されるテクスチャデータを用いる。以下、本実施形態における、ステレオカメラで取得したカメラ画像に基づくテクスチャデータ生成の原理について説明する。
　図９は、ステレオカメラによる撮像を模式的に示す模式図である。図９では、ステレオカメラとして、左カメラＣ３１Ｌと、右カメラＣ３１Ｒとが、人間の眼間距離と同程度の間隔で、三次元オブジェクトＯＢＪ３１を撮像可能に配置されている。なお、図９において、左カメラＣ３１Ｌと、右カメラＣ３１Ｒとの撮像範囲は、一点鎖線で示されている。
　ステレオカメラと三次元オブジェクトとの位置関係は、三次元空間におけるステレオカメラと三次元モデルとの位置関係に対応する。三次元空間におけるステレオカメラと三次元モデルとの位置関係がわかると、ステレオカメラで取得されたカメラ画像から三次元モデルに対応するテクスチャデータを以下のように生成することが可能となる。
　図１０は、テクスチャデータ生成処理の流れを模式的に示した模式図である。ステレオカメラと三次元モデルとの位置関係から、それぞれのカメラ位置から見た三次元モデルの形状を透視投影面に透視投影して、透視投影画像を生成することが可能である。図１０に示す例では、図９に示した左カメラＣ３２Ｌの位置から見た三次元モデルＭ３２を投影して、左透視投影画像Ｐ３１Ｌが生成される。同様に、図９に示した右カメラＣ３２Ｒの位置から見た三次元モデルＭ３２を投影して、右透視投影画像Ｐ３１Ｒが生成される。
　各透視投影画像は、各カメラの撮像により取得されたカメラ画像と同一の構図であるため、三次元モデルにおいて３つの頂点で構成される三角形パッチに対応する三角形領域ごとに、透視投影画像とカメラ画像との間で対応付けを行うことが可能となる。図１０に示す例では、左透視投影画像Ｐ３１Ｌにおいて三次元モデルＭ３２の三角形パッチＡ３０に対応する三角形領域Ａ３１Ｌと、左カメラ画像Ｇ３２Ｌの三角形領域Ａ３２Ｌとが、対応付けられる。同様に、右透視投影画像Ｐ３１Ｒにおいて当該三角形パッチＡ３０に対応する三角形領域Ａ３１Ｒと、右カメラ画像Ｇ３２Ｒの三角形領域Ａ３２Ｒとが、対応付けられる。
　上述のように得られた三角形領域ごとの対応に基づいて、各カメラ画像における三角形領域ごとに変形しながらマッピング（貼り付け）を行うことで、テクスチャデータを生成することができる。図１０に示す例では、左カメラ画像Ｇ３２Ｌの三角形領域Ａ３２Ｌが左目用テクスチャデータＴ３３Ｌの三角形領域Ａ３３Ｌへマッピングされ、右カメラ画像Ｇ３２Ｒの三角形領域Ａ３２Ｒが右目用テクスチャデータＴ３３Ｒの三角形領域Ａ３３Ｌへマッピングされる。
　なお、１つのカメラ位置からの透視投影により生成された透視投影画像では、三次元モデルの映ってない面が存在するため、テクスチャデータにおいて、カメラ画像からテクスチャを得られない領域が発生し得る。かかる場合、カメラ画像からテクスチャを得られない領域については、例えば図２に示したオリジナルテクスチャデータからテクスチャを取得してもよい。
　図１０に示すように、誤差を含む三次元モデルＭ３２を用いて、ステレオテクスチャを生成した場合について考える。図１１は、誤差を含む三次元モデルＭ３２と、ステレオカメラ（左カメラＣ３１Ｌ、及び右カメラＣ３１Ｒ）との関係を示す模式図である。
　図１１において、左カメラＣ３１Ｌ、及び右カメラＣ３１Ｒの各々から真の形状に存在する突起の先端位置である点Ｐへ向かう矢印が各カメラに映った画像内の点Ｐの光線を表している。三次元モデルＭ３２には、誤差のため突起が存在していないため、左カメラＣ３１Ｌ、及び右カメラＣ３１Ｒの各々から点Ｐに向かう矢印は、点Ｐではなく三次元モデルＭ３２の表面上の点ＰＲ、及び点ＰＬで交差する。この点ＰＲと点ＰＬとの間の距離ｄは、そのまま左目用テクスチャデータと右目用テクスチャデータにおける位置のズレとしてマッピングされ、左右視差としてそのまま記録される。
　図１０に示した左目用テクスチャデータＴ３３Ｌと右目用テクスチャデータＴ３３Ｒとで、絵柄に差異があるのは、この左右視差によるものである。三次元形状データに対応する三次元モデルＭ３２において、突起が存在しないため、突起の模様はテクスチャ上で左右視差を持った状態で記録される。
　上記のようにして生成されたステレオテクスチャデータを三次元モデルＭ３２にマッピングし、カメラ位置から視聴した場合には、三次元モデルＭ３２の形状に誤差が含まれていても、真の形状と同様の立体感を得ることが可能となる。図１２は、カメラ位置とユーザの目の位置が一致する状態で視聴している状況を示す模式図である。図１２においては、左カメラＣ３１Ｌの位置に存在するユーザの左目Ｅ３２Ｌへ点ＰＬから矢印で示される光線が向かい、右カメラＣ３１Ｒの位置に存在するユーザの右目Ｅ３２Ｒへ点ＰＲから矢印で示される光線が向かっている。ここで、ユーザには点ＰＬのテクスチャと点ＰＲのテクスチャとが、上記２つの光線が交差する点Ｐの位置に融像し、点Ｐの位置に三次元モデルＭ３２の表面が存在するように見える。
　なお、図１２では、点Ｐについてのみ示してあるが、点Ｐだけでなく、左右のカメラに映った光線をすべて再現する形となるため、三次元モデルＭ３２の形状が真の形状とずれていても、元の立体感が得られる。さらにいうと、カメラ位置とユーザの目の位置が一致する状態で視聴する場合には、三次元モデルＭ３２が如何なる形状であったとしても、カメラの撮像時の光線が再現され、ユーザには真の形状が再現されて見える。
　ただし、カメラ位置とは異なる位置で視聴する場合には、三次元モデルＭ３２の形状が誤差を含んでいると実際の光線を再現することができない。図１３は、カメラ位置とユーザの目の位置とが異なる状態で視聴している状況を示す模式図である。図１３に示した状況では、ユーザの左目Ｅ３２Ｌに映る点ＰＬのテクスチャと、ユーザの右目Ｅ３２Ｒに映る点ＰＬのテクスチャは、点Ｐ’に融像し、点Ｐ’の位置に三次元モデルＭ３２の表面が存在するように見える。ここで、図１３に示す点Ｐ’は、突起の真の先端位置である点Ｐからずれた位置であるが、これは三次元モデルＭ３２が誤差を含むためである。しかしながら、点Ｐ’は、突起が存在しないように見える場合と比較すると飛び出した位置に存在するように見える。したがって、カメラ位置とは異なる位置で視聴する場合であっても、誤差による主観画質の低下は抑制される。
　ここで、本実施形態に比較例として、ステレオテクスチャデータの代わりに単一のテクスチャデータを用いて描画する手法（以下、既存手法と呼ぶ）を用いた場合の例について説明する。図１４、図１５は、本実施形態にかかる比較例を説明するための説明図である。図１４、及び図１５は、それぞれ、単一のテクスチャデータを三次元モデルＭ３２にマッピングし、図１２、及び図１３と同じ位置関係で視聴した場合の図である。
　既存手法では、図１２、及び図１３における点ＰＬと点ＰＲのように、左右の目で三次元モデルＭ３２の表面上の異なる位置の点を融像させることは出来ない。そのため、かかる比較例では、例えば図１４、図１５に示すように、ユーザは左右の目で三次元モデルＭ３２の表面上に位置する共通の点ＰＣを見ることになる。つまり、既存手法では三次元モデルＭ３２が誤差を含み、突起が存在しない場合には、突起上に位置する点をユーザに認識させることができない。すなわち、既存手法では、図１２、及び図１３に示したように三次元モデルＭ３２の形状から外れた位置に存在するように見える点の描画は不可能ということになる。
　以上説明したように、本実施形態によれば、既存手法と比べて、より真の形状により近い形状をユーザに見せることが可能となる。すなわち、本実施形態では、ステレオテクスチャを用いて描画を行うことで、誤差を含む三次元形状モデルに対応する三次元形状データが描画に用いられる場合であっても、各視点における表示画像の主観画質の低下を抑制することが可能である。
　以上、本実施形態にかかる技術的な原理について説明した。続いて、上述した機能や処理を実現するための配信サーバ１、及び表示制御装置２の構成例と動作例について、順次説明を行う。
　＜＜３．配信サーバ＞＞
　　＜３－１．構成＞
　図１６は、図１に示した本実施形態にかかる配信サーバ１の構成の一例を示すブロック図である。図１６に示すように、配信サーバ１は、制御部１０、通信部１７、及び記憶部１９を備える情報処理装置である。
　制御部１０は、配信サーバ１の各構成を制御する。また、制御部１０は、図１６に示すように、データセット生成部１１、通信制御部１３、及び選択部１５としても機能する。
　データセット生成部１１は、図２を参照して説明したように、オリジナル三次元形状データ、オリジナルテクスチャデータ、左カメラ画像、及び右カメラ画像に基づいて、データ量の異なる複数のデータセットを生成する。
　図１７は、データセット生成部１１の構成の一例を示すブロック図である。図１７に示すように、データセット生成部１１は、頂点削減部１１１、透視投影部１１２、及びテクスチャ生成部１１５を含む。
　頂点削減部１１１は、オリジナル三次元形状データに対して頂点削減処理を施す。頂点削減部１１１から出力される頂点削減処理が施された三次元形状データは、透視投影部１１２へ提供されると共に、後述するステレオテクスチャデータと対応付けられて、データセットとして記憶部１９に記憶される。つまり、データセットに含まれる三次元形状データは、頂点削減部１１１が頂点削減処理を行うことにより生成される。
　図１８は、頂点削減部１１１による頂点削減処理を示す説明図である。図１８に示すように、頂点削減処理が施される前の三次元形状データに対応する三次元モデルＭ４１と比べ、頂点削減処理が施された三次元形状データに対応する三次元モデルＭ４２は、頂点の数が６個から４個に、ポリゴンの数が７個から３個に、削減されている。このように頂点削減処理を施すことで、形状は粗くなってしまうが、大幅なデータ削減を行うことが可能であり、データ伝送や処理にかかる負荷を大きく低減させることが可能である。なお、頂点削減部１１１による頂点削減処理の手法は特に限定されないが、例えば、ＱＥＭ(Quadric Error Metrics)等の周知の頂点削減手法が用いられてもよい。
　図１９は、段階的な頂点削減の様子を示す模式図である。図１９に示す例では、三次元モデルＭ５１、Ｍ５２、Ｍ５３の順に頂点数が少なくなっていくにつれ、形状がずれていくと共に、各々に対応する三次元形状データＦ５１、Ｆ５２、Ｆ５３に含まれる頂点データのデータ量が小さくなる様子が示されている。
　なお、図２に示したデータセットＤＳ１１のように、三次元形状データの頂点を削減する必要がないデータセットを生成する場合、頂点削減部１１１は、頂点削減処理を施すことなく、オリジナル三次元形状データをそのまま出力してもよい。
　図１７に戻ってデータセット生成部１１の説明を続ける。透視投影部１１２は、図１０を参照して説明したように、左目用テクスチャデータ及び右目用テクスチャデータの各々に対応する左右のカメラ位置から、三次元形状データを用いた透視投影を行い、透視投影画像を生成する。
　図１７に示すように、透視投影部１１２は、左透視投影部１１３Ｌと、右透視投影部１１３Ｒとを含む。左透視投影部１１３Ｌは、頂点削減部１１１から提供された三次元形状データに応じた三次元モデルの形状を、左目用テクスチャデータに対応する左カメラの位置から透視投影面に透視投影し、左透視投影画像を生成する。同様に、右透視投影部１１３Ｒは、頂点削減部１１１から提供された三次元形状データに応じた三次元モデルの形状を、右目用テクスチャデータに対応する右カメラの位置から透視投影面に透視投影し、左透視投影画像を生成する。
　テクスチャ生成部１１５は、図１０を参照して説明したように、透視投影部１１２により生成された透視投影画像と、カメラ画像との間で対応付けを行い、カメラ画像をマッピングすることで左目用テクスチャデータ及び右目用テクスチャデータを生成する。なお、図１０を参照して説明したように、テクスチャ生成部１１５は、透視投影画像とカメラ画像との間で、三次元形状データに含まれる頂点に基づく領域ごと（例えば三角形パッチに対応する三角形領域ごと）に対応付けを行ってもよい。
　図１７に示すように、テクスチャ生成部１１５は、左生成処理部１１６Ｌと、右生成処理部１１６Ｒと、左解像度変更部１１７Ｌと、右解像度変更部１１７Ｒとを含む。
　左生成処理部１１６Ｌは、左透視投影画像と、左カメラ画像との間で、三角形領域ごとに対応付けを行う。そして、左生成処理部１１６Ｌは、左カメラ画像の三角形領域を、左目用テクスチャデータにおいて対応する三角形領域へマッピングすることで、左目用テクスチャデータを生成する。同様に、右生成処理部１１６Ｒは、右透視投影画像と、右カメラ画像との間で、三角形領域ごとに対応付けを行う。そして、右生成処理部１１６Ｒは、左カメラ画像の三角形領域を、右目用テクスチャデータにおいて対応する三角形領域へマッピングすることで、右目用テクスチャデータを生成する。なお、上述したように、左生成処理部１１６Ｌ、及び右生成処理部１１６Ｒは各カメラ画像からテクスチャを得られない領域については、オリジナルテクスチャデータからテクスチャを取得して、各テクスチャデータを生成してもよい。
　左解像度変更部１１７Ｌは、左生成処理部１１６Ｌにより生成された左目用テクスチャデータに対して解像度変更処理を施して出力する。同様に、右解像度変更部１１７Ｒは、右生成処理部１１６Ｒにより生成された右目用テクスチャデータに対して解像度変更処理を施して出力する。左解像度変更部１１７Ｌから出力される左目用テクスチャデータと、右解像度変更部１１７Ｒから出力される右目用テクスチャデータとは、頂点削減部１１１から出力される三次元形状データと対応付けられて、データセットとして記憶部１９に記憶される。
　左解像度変更部１１７Ｌ、及び、右解像度変更部１１７Ｒは、各データセットに含まれる左目用テクスチャデータ及び右目用テクスチャデータが、当該データセットに含まれる三次元形状データの頂点数に応じた画素数を有するように、解像度変更処理を施してもよい。三次元形状データの頂点数が少ない場合には、左目用テクスチャデータ、及び右目用テクスチャデータが有する画素数を削減しても、あまり画質が低下しないため、かかる構成により、効率的にデータ量を削減することが可能となる。
　以上、図１７を参照して、データセット生成部１１の構成例について説明した。なお、上述したように、データセット生成部１１は、データ量の異なる複数のデータセットを生成する。そのため、データセット生成部１１は、例えばデータセットに含まれる三次元形状データの頂点数や、各テクスチャデータの画素数が段階的に変化するようにパラメータを適宜変化させながら、データセットの生成を所望のデータセットの数と同じ回数繰り返してもよい。
　あるいは、制御部１０は、複数のデータセット生成部１１を有して、並列的にデータセットの生成を行ってもよい。図２０は、制御部１０が複数のデータセット生成部１１を有する場合の並列的なデータセット生成を模式的に示す模式図である。
　図２０に示されるＮ個のデータセット生成部１１－１～１１－Ｎの構成は、図１７に示したデータセット生成部１１の構成と同様であってよい。データセット生成部１１－１～１１－Ｎの各々は、オリジナル三次元形状データ、オリジナルテクスチャデータ、左カメラ画像、右カメラ画像に基づいて、データセットＤＳ－１～ＤＳ－Ｎを生成する。データセットＤＳ－１～ＤＳ－Ｎの各々は、それぞれ異なる頂点数の三次元形状データ、並びに当該三次元形状データに対応した左目用テクスチャデータ、及び右目用テクスチャデータを含む。
　図２０に示されるように、並列的に処理することで、段階的にデータ量の異なる複数のデータセットをより効率的に生成することが可能である。
　図１６に戻って配信サーバ１の制御部１０について説明を続ける。通信制御部１３は、通信部１７による他の装置との間の通信を制御する。例えば、通信制御部１３は通信部１７を制御して、表示制御装置２から負荷情報を含む要求を受信させる。また、通信制御部１３は通信部１７を制御して、後述する選択部１５により選択されたデータセットを、表示制御装置２から受信した要求に応じて表示制御装置２へ送信させる。
　選択部１５は、データセット生成部１１により生成され、記憶部１９に記憶された複数のデータセットの中から、通信部１７が受信した要求に含まれる負荷情報に基づいて、通信部１７により送信されるデータセットを選択する。選択部１５は、上述したように負荷情報に応じた頂点数の三次元形状データ、並びに当該三次元形状データに対応した左目用テクスチャデータ及び右目用テクスチャデータを含むデータセットを選択してもよい。
　負荷情報は、上述したように配信サーバ１と表示制御装置２との間の伝送路帯域に関する伝送路帯域情報を含み得る。例えば、配信サーバ１と表示制御装置２との間の伝送路帯域が、オリジナル三次元形状データを含むデータセットのデータ量を通すには十分な大きさではない場合、選択部１５は、オリジナル三次元形状データよりも頂点数の少ない三次元形状データを含むデータセットを選択する。
　例えば、ＨＭＤ３はある程度の範囲を自由に歩き回れる方が使い勝手がよいため、ＨＭＤ３は無線により通信を行うことが望ましい。そして、表示制御装置２とＨＭＤ３とが一体化され、ＨＭＤ３が表示制御装置２としての機能を有する場合、配信サーバ１と、（ＨＭＤ３と一体化された）表示制御装置２との間の伝送路帯域は小さいことが想定される。一方、表示制御装置２とＨＭＤ３とが別装置であり、表示制御装置２が通信網５と有線で接続される場合には、配信サーバ１と、表示制御装置２との間の伝送路帯域は大きいことが想定される。このようないずれの場合であっても、選択部１５は、伝送路帯域に基づいて適切にデータセットを選択可能である。
　また、負荷情報は、上述したように表示制御装置２の処理性能に関する処理性能情報を含み得る。表示制御装置２の処理性能は、多様であることが考えられる。表示制御装置２とＨＭＤ３とが異なる装置であり、表示制御装置２が高い処理性能を有するハイスペックＰＣであってもよい。あるいは、表示制御装置２とＨＭＤ３とが一体化され、ＨＭＤ３が表示制御装置２としての機能を有する場合、ハイスペックＰＣと比べると表示制御装置２の処理性能は低い場合がある。また、スマートフォンをＨＭＤ内に組み込むことで、表示制御装置２とＨＭＤ３として機能させることも可能であり、かかる場合には、表示制御装置２の処理性能はより低いことが想定される。このようないずれの場合であっても、選択部１５は、処理性能に基づいて適切にデータセットを選択可能である。
　通信部１７は、上述した通信制御部１３の制御に従って、他の装置との間で情報の通信を行う。例えば、通信部１７は、受信部として機能し、表示制御装置２から、負荷に関する負荷情報を含む要求を受信する。また、通信部１７は、送信部として機能し、当該負荷情報に応じた頂点数の三次元形状データ、並びに三次元形状データに対応した左目用テクスチャデータ及び右目用テクスチャデータを含むデータセットを、受信した要求に応じて送信する。
　記憶部１９は、配信サーバ１の各構成が機能するためのプログラムやパラメータを記憶する。例えば、記憶部１９は、上述したオリジナル三次元形状データ、オリジナルテクスチャデータ、左カメラ画像、右カメラ画像を予め記憶し、データセット生成部１１へ提供する。また、記憶部１９は、データセット生成部１１により生成された、複数のデータセットを記憶する。
　　＜３－２．動作＞
　以上、本実施形態にかかる配信サーバ１の構成例について説明した。続いて、本実施形態にかかる配信サーバ１の動作例について説明を行う。なお、上述したように、本実施形態にかかる配信サーバ１は、予め複数のデータセットを生成しておき、表示制御装置２からの要求に応じて、複数のデータセットの中から選択されたデータセットを表示制御装置２へ送信する。そこで、以下では、図２１を参照してデータセットの生成にかかる配信サーバ１の動作例を説明した後に、図２２を参照してデータセットの伝送にかかる配信サーバ１の動作例を説明する。
　図２１は、データセットの生成にかかる配信サーバ１の動作例を示すフローチャート図である。図２１に示すように、まず、データセット生成部１１の頂点削減部１１１が、オリジナル三次元形状データに対して頂点削減処理を施す（Ｓ１０１）。
　続いて、データセット生成部１１の透視投影部１１２が、ステップＳ１０１で頂点削減処理が施された三次元形状データを用いて、左右のカメラ位置から透視投影を行い、透視投影画像を生成する（Ｓ１０３）。
　続いて、データセット生成部１１のテクスチャ生成部１１５が、透視投影画像と左右のカメラ画像との間で対応付けを行って、左目用テクスチャデータと右目用テクスチャデータを生成する（Ｓ１０５）。
　さらに、テクスチャ生成部１１５は、ステップＳ１０５で生成された左目用テクスチャデータ及び右目用テクスチャデータが、ステップＳ１０１で頂点削減処理が施された三次元形状データの頂点数に応じた画素数を有するように、左目用テクスチャデータ及び右目用テクスチャデータに解像度変更処理を施す（Ｓ１０７）。
　そして、データセット生成部１１は、ステップＳ１０１で頂点削減処理が施された三次元形状データと、ステップＳ１０７で解像度変更処理が施された左目用テクスチャデータ及び右目用テクスチャデータと、を対応付けてデータセットとして記憶部１９に記憶させる（Ｓ１０９）。
　以上、図２１を参照してデータセットの生成にかかる配信サーバ１の動作例を説明した。なお、図２１に示した一連の処理は、例えばデータセットに含まれる三次元形状データの頂点数や、各テクスチャデータの画素数が段階的に変化するようにパラメータを適宜変化させながら、所望のデータセットの数と同じ回数繰り返されてもよい。あるいは、図２１に示した一連の処理は、図２０に示したような複数のデータセット生成部１１によって並列的に行われてもよい。
　続いて、図２２を参照してデータセットの伝送にかかる配信サーバ１の動作例を説明する。図２２は、データセットの伝送にかかる配信サーバ１の動作例を示すフローチャート図である。図２２に示すように、まず、通信部１７が通信制御部１３の制御に従い、表示制御装置２から負荷に関する負荷情報を含む要求を受信する（Ｓ１５１）。
　続いて、選択部１５が、記憶部１９に記憶された複数のデータセットの中から、ステップＳ１５１で受信した要求に含まれる負荷情報に基づいて、通信部１７により送信されるデータセットを選択する（Ｓ１５３）。ステップＳ１５３で選択されるデータセットは、上述したように、負荷情報に応じた頂点数の三次元形状データ、並びに三次元形状データに対応した左目用テクスチャデータ及び右目用テクスチャデータを含む。
　続いて、通信部１７が、通信制御部１３の制御に従い、ステップＳ１５１において表示制御装置２から受信した要求に応じて、ステップＳ１５３で選択されたデータセットを表示制御装置２へ送信する（Ｓ１５５）。
　＜＜４．表示制御装置＞＞
　　＜４－１．構成＞
　以上、本実施形態にかかる配信サーバ１の構成例と動作例について説明した。続いて、表示制御装置２の構成例について説明を行う。図２３は、本実施形態にかかる表示制御装置２の構成例を示すブロック図である。図２３に示すように、表示制御装置２は、制御部２０と、通信部２７と、記憶部２９とを備える情報処理装置である。
　制御部２０は、表示制御装置２の各構成を制御する。また、制御部２０は、図２３に示すように、描画部２１、及び通信制御部２３としても機能する。
　描画部２１は、図３、図７等を参照して上述したように、後述する通信部２７が配信サーバ１から受信するデータセットに基づいて、左目用表示画像と右目用表示画像とを生成（描画）する。また、描画部２１は、通信部２７がＨＭＤ３から受信するユーザの視点に関する視点情報に基づいて、当該視点における左目用表示画像と右目用表示画像とを生成してもよい。
　通信制御部２３は、通信部２７による他の装置との間の通信を制御する。例えば、通信制御部２３は通信部２７を制御して、配信サーバ１へ、負荷に関する負荷情報を含む要求を送信させる。なお、通信制御部２３は、記憶部２９から負荷情報を取得してもよいし、通信部２７を介して外部から負荷情報を取得してもよい。また、通信制御部２３は通信部２７を制御して、配信サーバ１から、データセットを受信させる。また、通信制御部２３は通信部２７を制御して、ＨＭＤ３から、ユーザの視点に関する視点情報を受信させる。また、通信制御部２３は通信部２７を制御して、描画部２１により生成された左目用表示画像と右目用表示画像をＨＭＤ３へ送信させて、ＨＭＤ３に左目用表示画像と右目用表示画像を表示させる。
　通信部２７は、上述した通信制御部２３の制御に従って、他の装置との間で情報の通信を行う。例えば、通信部２７は、送信部として機能し、配信サーバ１へ負荷に関する負荷情報を含む要求を送信する。また、通信部２７は、受信部として機能し、負荷情報に応じた頂点数の三次元形状データ、並びに三次元形状データに対応した左目用テクスチャデータ及び右目用テクスチャデータを含むデータセットを、配信サーバ１から受信する。また、通信部２７は、ＨＭＤ３から、ユーザの視点に関する視点情報を受信し、ＨＭＤ３へ描画部２１により生成された左目用表示画像と右目用表示画像を送信する。
　記憶部２９は、表示制御装置２の各構成が機能するためのプログラムやパラメータを記憶する。例えば、記憶部２９は、上述した負荷情報を記憶していてもよい。
　　＜４－２．動作＞
　以上、本実施形態にかかる表示制御装置２の構成例について説明した。続いて、本実施形態にかかる表示制御装置２の動作例について説明を行う。図２４は、表示制御装置２の動作例を示すフローチャート図である。
　図２４に示すように、まず、通信部２７が通信制御部２３の制御に従い、配信サーバ１へ、負荷に関する負荷情報を含む要求を送信する（Ｓ２０１）。続いて、通信部２７が通信制御部２３の制御に従い、配信サーバ１からデータセットを受信する（Ｓ２０３）。ステップＳ２０３で受信されるデータセットは、上述したように、負荷情報に応じた頂点数の三次元形状データ、並びに三次元形状データに対応した左目用テクスチャデータ及び右目用テクスチャデータを含む。
　続いて、描画部２１が、ステップＳ２０３で受信されたデータセットに基づいて、左目用表示画像と右目用表示画像とを生成する（Ｓ２０５）。続いて、通信制御部２３が、通信部２７を制御して、ステップＳ２０５で生成された左目用表示画像と右目用表示画像とをＨＭＤ３へ送信させることにより、左目用表示画像と右目用表示画像とをＨＭＤ３に表示させる。
　＜＜５．変形例＞＞
　以上、本開示の一実施形態を説明した。以下では、本開示の一実施形態の幾つかの変形例を説明する。なお、以下に説明する各変形例は、単独で本開示の実施形態に適用されてもよいし、組み合わせで本開示の実施形態に適用されてもよい。また、各変形例は、本開示の実施形態で説明した構成に代えて適用されてもよいし、本開示の実施形態で説明した構成に対して追加的に適用されてもよい。
　　＜５－１．変形例１＞
　上記実施形態では、選択部１５が、負荷情報に基づいて、通信部１７により送信されるデータセットを選択する例を説明したが、本技術はかかる例に限定されない。例えば、選択部１５は、通信部１７により送信されるデータセットに含まれるオブジェクトの数にさらに基づいて、通信部１７により送信されるデータセットの選択を行ってもよい。かかる例について、変形例１として説明を行う。
　図２５は、変形例１を説明するための説明図である。本変形例において、データセットは、オブジェクトごとに生成されてもよい。そして、本変形例において、選択部１５は、オブジェクトごとにデータセットを選択してもよく、さらに通信部１７により送信されるデータセットに含まれるオブジェクトの数が多い程、データ量が小さいデータセットを選択してもよい。例えば、選択部１５は、送信されるデータセットの合計のデータ量が一定となるように、オブジェクトの数に基づいてデータセットを選択してもよい。例えば、オブジェクトの数が２倍になった場合には、オブジェクトごとのデータ量が半分になるように、データセットを選択してもよい。
　なお、通信部１７により送信されるデータセットに含まれるオブジェクトの数は、例えば記憶部１９に記憶されたオリジナルデータに基づいて特定されてもよい。また、表示制御装置２から、ユーザの視点に関する視点情報が得られる場合、通信部１７により送信されるデータセットに含まれるオブジェクトの数は、視点情報に基づいて特定されるユーザの視界に応じて、特定されてもよい。図２５には、一例として、ユーザの視界Ｗ１１～Ｗ１３が示されている。
　ユーザの視界Ｗ１１には、１つのオブジェクトＯＢＪ１１１が含まれるため、通信部１７により送信されるデータセットに含まれるオブジェクトの数も１つである。かかる場合、選択部１５は、図２５に示すように、頂点数の多い三次元形状データＦ２１、並びに画素数の多い左目用テクスチャデータＴ２１Ｌ、及び右目用テクスチャデータＴ２１Ｒを含むデータセットＤＳ２１を選択してもよい。その結果、送信されるデータセットＤＳ３１は、図２５に示すような三次元形状データＦ３１、並びに左目用テクスチャデータＴ３１Ｌ、及び右目用テクスチャデータＴ３１Ｒを含む。
　ユーザの視界Ｗ１２には、２つのオブジェクトＯＢＪ１２１、ＯＢＪ１２２が含まれるため、通信部１７により送信されるデータセットに含まれるオブジェクトの数も２つである。かかる場合、選択部１５は、図２５に示すように、三次元形状データＦ２１と比較して頂点数が削減された三次元形状データＦ２２を含むデータセットＤＳ２２をオブジェクトごとに選択してもよい。また、図２５に示すように、データセットＤＳ２２に含まれる左目用テクスチャデータＴ２２Ｌ、及び右目用テクスチャデータＴ２２Ｒの画素数は、左目用テクスチャデータＴ２１Ｌ、及び右目用テクスチャデータＴ２１Ｒよりも少ない。その結果、送信されるデータセットＤＳ３２は、図２５に示すような三次元形状データＦ３２－１、Ｆ３２－２、並びに左目用テクスチャデータＴ３２－１Ｌ、Ｔ３２－２Ｌ、及び右目用テクスチャデータＴ３２－１Ｒ、Ｔ３２－２Ｒを含む。
　ユーザの視界Ｗ１３には、３つのオブジェクトＯＢＪ１３１、ＯＢＪ１３２、ＯＢＪ１３３が含まれるため、通信部１７により送信されるデータセットに含まれるオブジェクトの数も３つである。かかる場合、選択部１５は、図２５に示すように、三次元形状データＦ２２と比較して頂点数がさらに削減された三次元形状データＦ２３を含むデータセットＤＳ２３をオブジェクトごとに選択してもよい。また、図２５に示すように、データセットＤＳ２３に含まれる左目用テクスチャデータＴ２３Ｌ、及び右目用テクスチャデータＴ２３Ｒの画素数は、左目用テクスチャデータＴ２２Ｌ、及び右目用テクスチャデータＴ２２Ｒよりもさらに少ない。その結果、送信されるデータセットＤＳ３３は、図２５に示すような三次元形状データＦ３３－１～Ｆ３３－３、並びに左目用テクスチャデータＴ３３－１Ｌ～Ｔ３３－３Ｌ、及び右目用テクスチャデータＴ３３－１Ｒ～Ｔ３３－３Ｒを含む。
　上述したように、本変形例によれば、送信されるデータセットに含まれるオブジェクトの数にさらに基づいてデータセットを選択することで、適切なデータセットを送信することが可能となる。
　　＜５－２．変形例２＞
　上記実施形態では、配信サーバ１が、データセットの生成を行う例を説明したが、本技術はかかる例に限定されない。例えば、上述したデータセット生成部１１の機能が、他の情報処理装置に備えられてもよく、当該他の情報処理装置により複数のデータセットが予め生成されて、配信サーバ１に提供されてもよい。
　　＜５－３．変形例３＞
　また、上記実施形態では、左カメラ画像と、右カメラ画像の２つのカメラ画像に基づいて、２つのテクスチャデータが生成される例を説明したが、本技術はかかる例に限定されない。例えば、３以上のカメラ画像に基づいて、３以上のテクスチャデータが生成されてもよい。かかる場合、３以上のカメラ画像のうち、２つの画像が左カメラ画像、及び右カメラ画像であるとみなされてもよく、生成される３以上のテクスチャデータのうち、２つのテクスチャデータが、左目用テクスチャデータと右目用テクスチャデータであるとみなされてもよい。
　なお、テクスチャデータが３以上生成される場合、配信サーバ１は、表示制御装置２から視点情報を受信し、当該３以上のテクスチャデータの中から、当該視点情報に基づいて、送信するデータセットに含まれる左目用テクスチャと右目用テクスチャデータを選択してもよい。
　　＜５－４．変形例４＞
　上記実施形態では三次元キャプチャ技術に基づいて取得された三次元形状データがオリジナル三次元形状データである例を説明したが、本技術はかかる例に限定されない。例えば、実空間のセンシングに基づかない、コンピュータ上で生成された三次元形状データがオリジナル三次元形状データであって本技術を適用することが可能である。かかる場合には、例えば当該オリジナル三次元形状データに対応する三次元モデルを仮想的なステレオカメラで撮像（レンダリング）することにより、左カメラ画像、及び右カメラ画像を生成して、本技術を適用してもよい。
　＜＜６．ハードウェア構成例＞＞
　以上、本開示の実施形態を説明した。最後に、図２６を参照して、本開示の実施形態にかかる情報処理装置のハードウェア構成について説明する。図２６は、本開示の実施形態にかかる情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図２６に示す情報処理装置９００は、例えば、図１、図１６、図２３に示した配信サーバ１、表示制御装置２、ＨＭＤ３を実現し得る。本開示の実施形態にかかる配信サーバ１、表示制御装置２、ＨＭＤ３による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
　図２６に示すように、情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、情報処理装置９００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１、通信装置９１３、及びセンサ９１５を備える。情報処理装置９００は、ＣＰＵ９０１に代えて、又はこれとともに、ＤＳＰ若しくはＡＳＩＣ等の処理回路を有してもよい。
　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、制御部１０、制御部２０を形成し得る。
　ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
　入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。情報処理装置９００のユーザは、この入力装置９０６を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。
　出力装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
　ストレージ装置９０８は、情報処理装置９００の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。上記ストレージ装置９０８は、例えば、記憶部１９、記憶部２９を形成し得る。
　ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。
　接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。
　通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。通信装置９１３は、例えば、通信部１７、通信部２７を形成し得る。
　センサ９１５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ、力センサ等の各種のセンサである。センサ９１５は、情報処理装置９００の姿勢、移動速度等、情報処理装置９００自身の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音等、情報処理装置９００の周辺環境に関する情報を取得する。また、センサ９１５は、ＧＰＳ信号を受信して装置の緯度、経度及び高度を測定するＧＰＳセンサを含んでもよい。
　なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ　Ｐｒｉｖａｔｅ　Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
　以上、本開示の実施形態にかかる情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本開示の実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
　なお、上述のような本開示の実施形態にかかる情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
　＜＜７．むすび＞＞
　以上説明したように、本開示の実施形態によれば、三次元形状データに基づいて生成される表示画像の主観画質の低下を抑制することが可能となる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上記実施形態における各ステップは、必ずしもフローチャート図として記載された順序に沿って時系列に処理される必要はない。例えば、上記実施形態の処理における各ステップは、フローチャート図として記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示にかかる技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　負荷に関する負荷情報を含む要求を受信する受信部と、
　前記負荷情報に応じた頂点数の三次元形状データ、並びに前記三次元形状データに対応した左目用テクスチャデータ及び右目用テクスチャデータを含むデータセットを、前記要求に応じて送信する送信部と、
　を備える情報処理装置。
（２）
　前記情報処理装置は、各々が前記三次元形状データ、並びに前記三次元形状データに対応した前記左目用テクスチャデータ及び前記右目用テクスチャデータを含む複数のデータセットの中から、前記負荷情報に基づいて、前記送信部により送信される前記データセットの選択を行う選択部をさらに備える、前記（１）に記載の情報処理装置。
（３）
　前記選択部は、前記送信部により送信される前記データセットに含まれるオブジェクトの数にさらに基づいて、前記選択を行う、前記（２）に記載の情報処理装置。
（４）
　前記情報処理装置は、前記複数のデータセットを生成するデータセット生成部をさらに備える、前記（２）または（３）に記載の情報処理装置。
（５）
　前記データセット生成部は、頂点削減処理により、前記データセットに含まれる前記三次元形状データを生成する頂点削減部を含む、前記（４）に記載の情報処理装置。
（６）
　前記データセット生成部は、前記左目用テクスチャデータ及び前記右目用テクスチャデータの各々に対応するカメラ位置から、前記三次元形状データを用いた透視投影を行って透視投影画像を生成する透視投影部をさらに含む、前記（４）または（５）に記載の情報処理装置。
（７）
　前記データセット生成部は、前記透視投影画像と、前記カメラ位置からの撮像により取得されるカメラ画像との間で対応付けを行って、前記左目用テクスチャデータ及び前記右目用テクスチャデータを生成するテクスチャ生成部をさらに含む、前記（６）に記載の情報処理装置。
（８）
　前記テクスチャ生成部は、前記透視投影画像と前記カメラ画像との間で、前記三次元形状データに含まれる頂点に基づく領域ごとに前記対応付けを行う、前記（７）に記載の情報処理装置。
（９）
　各データセットに含まれる前記左目用テクスチャデータ及び前記右目用テクスチャデータは、当該データセットに含まれる前記三次元形状データの頂点数に応じた画素数を有する、前記（１）～（８）のいずれか一項に記載の情報処理装置。
（１０）
　前記負荷情報は、前記要求を送信する送信装置と前記情報処理装置との間の伝送路帯域に関する伝送路帯域情報、または前記送信装置の処理性能に関する処理性能情報を含む、前記（１）～（９）のいずれか一項に記載の情報処理装置。
（１１）
　負荷に関する負荷情報を含む要求を送信する送信部と、
　前記負荷情報に応じた頂点数の三次元形状データ、並びに前記三次元形状データに対応した左目用テクスチャデータ及び右目用テクスチャデータを含むデータセットを受信する受信部と、
　前記データセットに基づいて、左目用表示画像と右目用表示画像とを生成する描画部と、を備える情報処理装置。
（１２）
　前記負荷情報は、前記要求を受信する受信装置と前記情報処理装置との間の伝送路帯域に関する伝送路帯域情報、または前記情報処理装置の処理性能に関する処理性能情報を含む、前記（１１）に記載の情報処理装置。
（１３）
　前記描画部は、ユーザの視点に関する情報にさらに基づいて、前記左目用表示画像と前記右目用表示画像とを生成する、前記（１１）または（１２）に記載の情報処理装置。
（１４）
　前記情報処理装置は、前記ユーザの頭部に装着されて、前記左目用表示画像と前記右目用表示画像とを表示する表示部をさらに備える、前記（１３）に記載の情報処理装置。
（１５）
　負荷に関する負荷情報を含む要求を受信することと、
　前記要求に応じて、前記負荷情報に応じた頂点数の三次元形状データ、並びに前記三次元形状データに対応した左目用テクスチャデータ及び右目用テクスチャデータを含むデータセットをプロセッサが送信させることと、
　を含む情報処理方法。
（１６）
　負荷に関する負荷情報を含む要求を送信することと、
　前記負荷情報に応じた頂点数の三次元形状データ、並びに前記三次元形状データに対応した左目用テクスチャデータ及び右目用テクスチャデータを含むデータセットを受信することと、
　前記データセットに基づいて、左目用表示画像と右目用表示画像とをプロセッサが生成することと、
　を含む情報処理方法。
　１　配信サーバ
　２　表示制御装置
　３　ＨＭＤ
　５　通信網
　１０　制御部
　１１　データセット生成部
　１３　通信制御部
　１５　選択部
　１７　通信部
　１９　記憶部
　２０　制御部
　２１　描画部
　２３　通信制御部
　２７　通信部
　２９　記憶部
　１１１　頂点削減部
　１１２　透視投影部
　１１５　テクスチャ生成部

Claims (15)

  1. 　負荷に関する負荷情報を含む要求を受信する受信部と、
    　前記負荷情報に応じた頂点数の三次元形状データ、並びに前記三次元形状データに対応した左目用テクスチャデータ及び右目用テクスチャデータを含むデータセットを、前記要求に応じて送信する送信部と、
    　を備える情報処理装置。
  2. 　前記情報処理装置は、各々が前記三次元形状データ、並びに前記三次元形状データに対応した前記左目用テクスチャデータ及び前記右目用テクスチャデータを含む複数のデータセットの中から、前記負荷情報に基づいて、前記送信部により送信される前記データセットの選択を行う選択部をさらに備える、請求項１に記載の情報処理装置。
  3. 　前記選択部は、前記送信部により送信される前記データセットに含まれるオブジェクトの数にさらに基づいて、前記選択を行う、請求項２に記載の情報処理装置。
  4. 　前記情報処理装置は、前記複数のデータセットを生成するデータセット生成部をさらに備える、請求項２に記載の情報処理装置。
  5. 　前記データセット生成部は、頂点削減処理により、前記データセットに含まれる前記三次元形状データを生成する頂点削減部を含む、請求項４に記載の情報処理装置。
  6. 　前記データセット生成部は、前記左目用テクスチャデータ及び前記右目用テクスチャデータの各々に対応するカメラ位置から、前記三次元形状データを用いた透視投影を行って透視投影画像を生成する透視投影部をさらに含む、請求項４に記載の情報処理装置。
  7. 　前記データセット生成部は、前記透視投影画像と、前記カメラ位置からの撮像により取得されるカメラ画像との間で対応付けを行って、前記左目用テクスチャデータ及び前記右目用テクスチャデータを生成するテクスチャ生成部をさらに含む、請求項６に記載の情報処理装置。
  8. 　前記テクスチャ生成部は、前記透視投影画像と前記カメラ画像との間で、前記三次元形状データに含まれる頂点に基づく領域ごとに前記対応付けを行う、請求項７に記載の情報処理装置。
  9. 　各データセットに含まれる前記左目用テクスチャデータ及び前記右目用テクスチャデータは、当該データセットに含まれる前記三次元形状データの頂点数に応じた画素数を有する、請求項１に記載の情報処理装置。
  10. 　前記負荷情報は、前記要求を送信する送信装置と前記情報処理装置との間の伝送路帯域に関する伝送路帯域情報、または前記送信装置の処理性能に関する処理性能情報を含む、請求項１に記載の情報処理装置。
  11. 　負荷に関する負荷情報を含む要求を送信する送信部と、
    　前記負荷情報に応じた頂点数の三次元形状データ、並びに前記三次元形状データに対応した左目用テクスチャデータ及び右目用テクスチャデータを含むデータセットを受信する受信部と、
    　前記データセットに基づいて、左目用表示画像と右目用表示画像とを生成する描画部と、を備える情報処理装置。
  12. 　前記負荷情報は、前記要求を受信する受信装置と前記情報処理装置との間の伝送路帯域に関する伝送路帯域情報、または前記情報処理装置の処理性能に関する処理性能情報を含む、請求項１１に記載の情報処理装置。
  13. 　前記描画部は、ユーザの視点に関する情報にさらに基づいて、前記左目用表示画像と前記右目用表示画像とを生成する、請求項１１に記載の情報処理装置。
  14. 　前記情報処理装置は、前記ユーザの頭部に装着されて、前記左目用表示画像と前記右目用表示画像とを表示する表示部をさらに備える、請求項１３に記載の情報処理装置。
  15. 　負荷に関する負荷情報を含む要求を受信することと、
    　前記要求に応じて、前記負荷情報に応じた頂点数の三次元形状データ、並びに前記三次元形状データに対応した左目用テクスチャデータ及び右目用テクスチャデータを含むデータセットをプロセッサが送信させることと、
    　を含む情報処理方法。
PCT/JP2018/039717 2018-01-25 2018-10-25 情報処理装置、及び情報処理方法 WO2019146194A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201880086930.XA CN111656409A (zh) 2018-01-25 2018-10-25 信息处理装置和信息处理方法
DE112018006939.7T DE112018006939T5 (de) 2018-01-25 2018-10-25 Informationsverarbeitungsvorrichtung und informationsverarbeitungsverfahren
US16/961,427 US11317082B2 (en) 2018-01-25 2018-10-25 Information processing apparatus and information processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-010471 2018-01-25
JP2018010471 2018-01-25

Publications (1)

Publication Number Publication Date
WO2019146194A1 true WO2019146194A1 (ja) 2019-08-01

Family

ID=67394578

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/039717 WO2019146194A1 (ja) 2018-01-25 2018-10-25 情報処理装置、及び情報処理方法

Country Status (4)

Country Link
US (1) US11317082B2 (ja)
CN (1) CN111656409A (ja)
DE (1) DE112018006939T5 (ja)
WO (1) WO2019146194A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7414483B2 (ja) 2019-11-18 2024-01-16 日本放送協会 ３次元モデルデータ変換装置及びプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022123636A1 (ja) 2020-12-07 2022-06-16 三菱電機株式会社 学習用データ生成装置及び学習用データ生成方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001143103A (ja) * 1999-11-12 2001-05-25 Fujitsu Ltd ３次元形状データ提供方式
JP2007507945A (ja) * 2003-09-30 2007-03-29 エリック ベルク ラング 立体映像化
JP2013533529A (ja) * 2010-05-21 2013-08-22 インターナショナル・ビジネス・マシーンズ・コーポレーション 仮想世界のシーン・データを提供するための方法、システム、およびコンピュータ・プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4704558B2 (ja) * 2000-12-25 2011-06-15 三菱電機株式会社 ３次元空間データ送信表示システム、３次元空間データ送信方法、３次元空間データ送信方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体、３次元空間データ送信表示方法、及び３次元空間データ送信表示方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
US7643025B2 (en) * 2003-09-30 2010-01-05 Eric Belk Lange Method and apparatus for applying stereoscopic imagery to three-dimensionally defined substrates
US20120182403A1 (en) * 2004-09-30 2012-07-19 Eric Belk Lange Stereoscopic imaging
JP4606898B2 (ja) * 2005-02-15 2011-01-05 三菱電機株式会社 情報生成装置及び検索装置
US8737721B2 (en) 2008-05-07 2014-05-27 Microsoft Corporation Procedural authoring
CN102834849B (zh) * 2011-03-31 2016-08-31 松下知识产权经营株式会社 进行立体视图像的描绘的图像描绘装置、图像描绘方法、图像描绘程序
CN107562185B (zh) * 2017-07-14 2020-04-07 西安电子科技大学 一种基于头戴vr设备的光场显示系统及实现方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001143103A (ja) * 1999-11-12 2001-05-25 Fujitsu Ltd ３次元形状データ提供方式
JP2007507945A (ja) * 2003-09-30 2007-03-29 エリック ベルク ラング 立体映像化
JP2013533529A (ja) * 2010-05-21 2013-08-22 インターナショナル・ビジネス・マシーンズ・コーポレーション 仮想世界のシーン・データを提供するための方法、システム、およびコンピュータ・プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7414483B2 (ja) 2019-11-18 2024-01-16 日本放送協会 ３次元モデルデータ変換装置及びプログラム

Also Published As

Publication number Publication date
CN111656409A (zh) 2020-09-11
US20200359007A1 (en) 2020-11-12
US11317082B2 (en) 2022-04-26
DE112018006939T5 (de) 2020-10-08

Similar Documents

Publication Publication Date Title
JP6643357B2 (ja) 全球状取込方法
US11010958B2 (en) Method and system for generating an image of a subject in a scene
US9544706B1 (en) Customized head-related transfer functions
JP4553362B2 (ja) システム、画像処理装置、情報処理方法
US20110306413A1 (en) Entertainment device and entertainment methods
US10681276B2 (en) Virtual reality video processing to compensate for movement of a camera during capture
JP2017532847A (ja) 立体録画及び再生
US11417060B2 (en) Stereoscopic rendering of virtual 3D objects
WO2017086244A1 (ja) 画像処理装置、情報処理装置、および画像処理方法
WO2020184174A1 (ja) 画像処理装置および画像処理方法
WO2019146194A1 (ja) 情報処理装置、及び情報処理方法
US9225968B2 (en) Image producing apparatus, system and method for producing planar and stereoscopic images
US11310472B2 (en) Information processing device and image generation method for projecting a subject image onto a virtual screen
JP6378794B1 (ja) 画像処理装置、画像処理プログラム、及び、画像処理方法
WO2019193698A1 (ja) 基準画像生成装置、表示画像生成装置、基準画像生成方法、および表示画像生成方法
WO2019193699A1 (ja) 基準画像生成装置、表示画像生成装置、基準画像生成方法、および表示画像生成方法
TWI817335B (zh) 立體影像播放裝置及其立體影像產生方法
JP7465133B2 (ja) 情報処理装置、情報処理方法
JP7261121B2 (ja) 情報端末装置及びプログラム
WO2023166794A1 (ja) 情報処理装置、情報処理方法、画像生成装置、画像生成方法及びプログラム
WO2022224964A1 (ja) 情報処理装置及び情報処理方法
EP4030752A1 (en) Image generation system and method
JP2024062935A (ja) 立体視表示コンテンツを生成する方法および装置
JP6025519B2 (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18902035

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 18902035

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP