WO2021241222A1 - 画像処理装置および方法 - Google Patents

画像処理装置および方法 Download PDF

Info

Publication number
WO2021241222A1
WO2021241222A1 PCT/JP2021/017986 JP2021017986W WO2021241222A1 WO 2021241222 A1 WO2021241222 A1 WO 2021241222A1 JP 2021017986 W JP2021017986 W JP 2021017986W WO 2021241222 A1 WO2021241222 A1 WO 2021241222A1
Authority
WO
WIPO (PCT)
Prior art keywords
point cloud
density
point
cloud object
viewpoint
Prior art date
Application number
PCT/JP2021/017986
Other languages
English (en)
French (fr)
Inventor
卓己 津留
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to US17/925,571 priority Critical patent/US20230196700A1/en
Publication of WO2021241222A1 publication Critical patent/WO2021241222A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/36—Level of detail
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Definitions

  • the present disclosure relates to an image processing apparatus and method, and more particularly to an image processing apparatus and method capable of suppressing a decrease in subjective image quality while suppressing an increase in load.
  • Non-Patent Document 1 Standardization of coding / decoding of point cloud data (Point cloud data) that expresses a three-dimensional object as a set of points is being promoted by MPEG (Moving Picture Experts Group) (for example, Non-Patent Document 1 and See Non-Patent Document 2).
  • MPEG Motion Picture Experts Group
  • LoD Level of Detail
  • a method of delivery was considered. For example, by selecting a LoD with an appropriate definition according to the distance from the viewpoint to the object, it is possible to suppress an increase in the amount of information to be transmitted (that is, an increase in load) while suppressing a decrease in subjective image quality. ..
  • the appropriate definition depends not only on the distance between the viewpoint and the object, but also on the angle of the object position with respect to the direction of the viewpoint. Therefore, in the above method, an appropriate LoD cannot be selected, and there is a possibility that the subjective image quality may be reduced or the load may be increased.
  • This disclosure is made in view of such a situation, and makes it possible to suppress a decrease in subjective image quality while suppressing an increase in load in rendering 3D data.
  • the image processing device of one aspect of the present technology has a density of points required for displaying the point cloud object based on the display size of the point cloud object according to the relative position of the point cloud object with respect to the position of the viewpoint.
  • the image processing method of one aspect of the present technology is based on the display size of the point cloud object according to the relative position of the point cloud object with respect to the position of the viewpoint, and the density of points required for displaying the point cloud object.
  • This is an image processing method for calculating the required point density and selecting a LoD content file in which the point density of the point cloud object is equal to or higher than the calculated required point density.
  • the image processing device determines the points required for displaying the point cloud object based on the display size of the point cloud object according to the relative position of the point cloud object with respect to the position of the viewpoint.
  • the required density calculation unit that calculates the required point density, which is the density
  • the selection unit that selects the LoD content file based on the distance from the viewpoint to the point cloud object
  • the required density calculation unit that calculates the required density. It is an image processing device including a correction unit for correcting the point density of the point cloud object in the content file of the LoD selected by the selection unit so as to be equal to or higher than the required point density.
  • the image processing method of the other aspect of the present technology is based on the display size of the point cloud object according to the relative position of the point cloud object with respect to the position of the viewpoint, and the point required for displaying the point cloud object.
  • the required point density which is the density
  • the LoD content file is selected based on the distance from the viewpoint to the point cloud object, and the LoD selected so as to be equal to or higher than the calculated required point density.
  • the image processing device and method of one aspect of the present technology it is necessary to display the point cloud object based on the display size of the point cloud object according to the relative position of the point cloud object with respect to the position of the viewpoint.
  • the required point density which is the density of points, is calculated, and the LoD content file whose point density of the point cloud object is equal to or higher than the calculated required point density is selected.
  • the image processing device and method of other aspects of the present technology it is necessary to display the point cloud object based on the display size of the point cloud object according to the relative position of the point cloud object with respect to the position of the viewpoint.
  • the required point density which is the density of the required points, is calculated, and the LoD content file is selected based on the distance from that viewpoint to the point cloud object, and the selection is made so that it is equal to or higher than the calculated required point density.
  • the point density of the point cloud object in the created LoD content file is corrected.
  • Non-Patent Document 1 (above)
  • Non-Patent Document 2 (above)
  • the amount of data to be delivered may be extremely large.
  • band limitation there is a possibility that problems such as high-definition video distribution cannot be performed as it is.
  • a point cloud object that expresses a 3D shape as a point can express more finely than a mesh object that expresses a 3D shape as a surface, but requires a large amount of information.
  • Point cloud data is composed of position information (also referred to as geometry data) and attribute information (also referred to as attribute data) at each point.
  • Attribute data can contain any information.
  • the color information, reflectance information, normal information, etc. of each point may be included in the attribute data.
  • the point cloud data has a relatively simple data structure, and by using a sufficiently large number of points, an arbitrary three-dimensional structure can be expressed with sufficient definition. However, as described above, the amount of information increases as the definition is improved.
  • LoD Level of detail
  • LoD indicates the level of definition of point cloud data.
  • the definition of point cloud data depends on the number of points. That is, point cloud data having a plurality of fineness (number of points) is prepared as a LoD for one object, and the fineness (number of points) is selected as necessary.
  • an object close to the viewpoint position requires detailed information because the display becomes large. Therefore, high LoD model data with a large number of points is selected.
  • the display becomes smaller and detailed information becomes unnecessary. Therefore, low LoD model data with a small number of points is selected.
  • the client acquires the "LOD distance" described in this scene description file according to the change in the distance between the viewpoint position and each object position due to the user's operation. Play the video while switching the model data (LoD) of the object.
  • the point cloud object Obj1 exists at a distance from the viewpoint position (for example, at a position more than 10 m away from the viewpoint position), high-definition and high-rate information is not required, so low-definition and low-rate Low-LoD Model data (number of points 50,000) is selected. Also, if the point cloud object Obj1 exists at a medium distance from the viewpoint position (for example, at a position 5m to 10m away from the viewpoint position), high-definition and high-rate information is required compared to the long-distance position, and medium-definition and medium-definition information is required.
  • Rated Mid-LoD (200,000 points) model data is selected.
  • the point cloud object Obj1 exists at a short distance from the viewpoint position (for example, within 5 m from the viewpoint position), high-definition and high-rate information is required compared to the medium distance, and the high-definition and high-rate information is required.
  • High-LoD (800,000 points) model data is selected.
  • a rendering method called perspective projection is used, in which a three-dimensional object is drawn on a two-dimensional plane, as shown in FIG.
  • FIG. 3 shows a state of horizontal perspective projection when the viewpoint direction 52 is viewed from the viewpoint position 51.
  • the range of the double-headed arrow 55 between the straight line 53 and the straight line 54 is the field of view (FOV). That is, the angle in this range is the viewing angle.
  • the projection surface 56 perpendicular to the viewpoint direction 52 is set, and the image projected on the projection surface 56 becomes the display image.
  • the object 61 when viewed from the viewpoint position 51, the object 61 appears to be projected onto the projection surface 56 in the range 71 shown by the thick line. Further, the object 62 appears to be projected on the projection surface 56 in the range 72 shown by the thick line. That is, in the display image, the image of the object 61 is displayed in the portion corresponding to the range 71, and the image of the object 62 is displayed in the portion corresponding to the range 72.
  • the object 63 is projected on the range 73-1 of the projection surface 56-1 in that case.
  • the viewpoint direction 52-2 whose angle with respect to the viewpoint direction 52-1 is ⁇ is viewed from the viewpoint position 51
  • the object 63 is projected onto the range 73-2 of the projection surface 56-2 in that case.
  • the distance between the viewpoint position 51 and the object 63 is the same as each other, but the range 73-2 is clearly wider than the range 73-1. That is, the object 63 is displayed larger in the case of the viewpoint orientation 52-2 than in the case of the viewpoint orientation 52-1.
  • the case of the viewpoint orientation 52-2 is compared with the case of the viewpoint orientation 52-1. Therefore, the subjective image quality of the object 63 may be reduced.
  • the point cloud expresses an object by a set of points, if the definition of the point cloud object is insufficient with respect to the display pixels (pixel pitch in the display image), pixels that do not display points in the display image will occur, so holes will occur. Image quality deterioration occurs as if the image was opened. That is, in order to suppress such a reduction in subjective image quality, the point cloud object needs to have a fineness equal to or higher than the pixel pitch of the displayed image.
  • the definition becomes unnecessarily high at the center of the projection surface 56 where the object is displayed the smallest, and the amount of information increases. May increase. Conversely, if the LoD switching distance is set to match the center of the projection surface 56 where the object is displayed the smallest, the definition is insufficient at the edge of the projection surface 56 where the object is displayed the largest, as described above. However, the subjective image quality may be reduced.
  • the required point is the density of points required to display the point cloud object based on the display size of the point cloud object according to the relative position of the point cloud object with respect to the position of the viewpoint.
  • a required density calculation unit for calculating the density and a selection unit for selecting a LoD content file whose point density of the point cloud object is equal to or higher than the required point density calculated by the required density calculation unit are provided. ..
  • the point density that is necessary and sufficient for the display pixels when projected at that position at that size is calculated. Then, select a LoD model with a density higher than the necessary and sufficient point density. Replacing this with the point interval means selecting a LoD model with an interval less than or equal to the calculated point interval.
  • the point interval referred to here means the minimum point interval of LoD model data (distance between two points closest to each other due to the structure of the point cloud).
  • the position where the object is projected can be specified from the viewpoint position, the distance between the objects, and the viewing angle, and the "pixel display interval" displayed at that time can be calculated.
  • This "pixel display interval” is the length of the display object divided by the number of display pixels. An example is shown in FIG.
  • a 1.8 m human object is displayed with 4320 pixels when considered as a one-dimensional column in the height direction.
  • the "pixel display interval" is 1.8 / 4320 (m). If the point spacing of this model data is the same 1.8 / 4320 (m), it can be said that this is model data of the point density required for suppressing the reduction of the subjective image quality with respect to the display pixels. In the case of model data whose point spacing is farther than this (point density is low), the definition of the point cloud is insufficient for the number of display pixels, and image quality deterioration such as a hole occurs. .. That is, this "pixel display interval" corresponds to the point interval required to suppress the reduction of the subjective image quality.
  • Step 1 From the following formula (2), the "pixel display interval (m)" when the object is viewed from the front is calculated. This is when it is projected to the center of the projection plane, that is, it means the “pixel display interval (m)” when the distortion that is stretched and displayed does not occur.
  • pi_center indicates the "pixel display interval (m)" when viewed from the front.
  • L indicates the distance (m) from the viewpoint position to the object.
  • FOV indicates the vertical or horizontal viewing angle (Vertical FOV or Horizontal FOV).
  • P indicates the number of one-dimensional pixels (Height or Width) in the horizontal or vertical direction.
  • ⁇ Step 2> The viewing angle with respect to the object is measured, and the ratio (magnification) of the number of pixels used when viewed from that angle and the number of pixels used when viewed from the front is calculated. This is the "display size when viewed from the angle ⁇ (that is, the display size when viewed from the viewpoint 52-2)" and the “display size when viewed from the front (that is, when viewed from the viewpoint 52-1)" in FIG. Display size) ”.
  • the example of FIG. 4 is an example in the horizontal direction. An example in the vertical direction is shown in FIG.
  • the ratio of the "display size when viewed from the angle ⁇ " and the "display size when viewed from the front” can be calculated as in the case of the horizontal direction.
  • this ratio magnification
  • magnification is calculated for each of the horizontal and vertical directions.
  • the larger magnification among them is calculated as the final magnification.
  • M max (Mh, Mv) ... (3)
  • M indicates the enlargement magnification (larger one) according to the viewing angle.
  • Mh indicates the horizontal stretch ratio
  • Mv indicates the vertical stretch ratio.
  • Object size information is required to calculate this Mh or Mv.
  • the client gets the circumscribed sphere information of the object from the server.
  • the client may calculate the circumscribed sphere information by himself / herself.
  • the circumscribed sphere of a 3D object is a sphere of the size required to surround the 3D object, as shown in FIG. 7, and the circumscribed sphere information is the center position information (x, y, z) of the sphere. ) And the length information of the radius of the sphere. That is, the circumscribed sphere information is information regarding the size and position of the 3D object.
  • the circumscribed sphere 81 shown in FIG. 7 is the circumscribed sphere of the 3D object 65.
  • the circumscribed sphere 81 may include the 3D object 65 and may not circumscribe the 3D object. That is, it does not have to be the minimum size.
  • the radius of the circumscribed sphere 82 (the sphere having the diameter of the double-headed arrow 91) of the object 66 is r
  • the distance from the viewpoint position 51 to the center of the circumscribed sphere 82 (double-headed arrow 92) is L.
  • the center of the circumscribed sphere 82 is located on the viewpoint direction 52-1.
  • the angle from the viewpoint direction 52-1 of the end of the circumscribed sphere 82 seen from the viewpoint position 51 is defined as ⁇ .
  • the vertical enlargement magnification Mv can be calculated by the following equation (5), where the viewing angle in the vertical direction is ⁇ .
  • Step 3> As shown in the following formula (6), the "pixel display interval (m)" calculated in ⁇ step 1> when the object is viewed from the front is the enlargement ratio due to distortion calculated in ⁇ step 2>. By dividing, the "pixel display interval (m)" when the object is viewed from its viewing angle is calculated.
  • pi_side indicates the "pixel display interval (m)" when viewed from a certain viewing angle.
  • M indicates the enlargement magnification according to the viewing angle.
  • the client calculates the "pixel display interval" (pi_side) when the object is displayed from the viewing distance and angle. As mentioned above, this is the required point interval for the point cloud object displayed at that position.
  • the optimum LoD can be selected without excess or deficiency in the definition.
  • ⁇ Calculation example> For example, suppose a point cloud object has three LoD models with point spacing as shown in the table of FIG.
  • the horizontal resolution (Width) of the display, the horizontal viewing angle (Horizontal FOV), the radius (r) of the object circumscribed sphere, and the distance (L) from the viewpoint position to the center of the object circumscribed sphere are as follows. Value.
  • the "pixel display interval (m)" in which this object 67 is displayed when the object 67 is viewed from the front at a position 12 m away is as follows. ..
  • Pixel display interval (0 degrees) 0.003724 (m)
  • Pixel display interval (50 degrees) 0.001524 (m)
  • the required definition differs depending on the angle (projection position) at which the object is viewed.
  • Low-LOD with the lowest definition is sufficient when viewed from the front, while High-LOD with the highest definition is required when viewing at an angle of 50 degrees.
  • the distance from the viewpoint position that is exactly the same as the "pixel display spacing" is 5m, which is Low-.
  • the LOD is 10 m (can be calculated by back calculation of equation (2)).
  • the boundary distance between High-LOD and Mid-LOD in front of the object is 5 m
  • the boundary distance between Mid-LOD and Low-LOD is 10 m.
  • This boundary distance at each viewing angle is obtained by multiplying the boundary distance in the front by a magnification calculated by substituting the viewing angle into ⁇ and ⁇ of the equations (4) and (5).
  • each LoD boundary when the LoD is switched according to the distance can be represented as map information as shown in FIG. 12A.
  • each LoD boundary when the LoD is switched according to the viewing angle can be represented as map information as shown in FIG. 12B.
  • an LOD boundary map consisting of the boundary surfaces of each LOD prepared in advance as shown in FIG. 12 is used. That is, the LOD may be selected depending on where the object is located in these boundary maps.
  • FIG. 13 is a block diagram showing an example of the configuration of a reproduction device which is an embodiment of an image processing device to which the present technology is applied.
  • the reproduction device 200 shown in FIG. 13 is a device that reproduces, that is, renders and displays 3D data such as a point cloud. More specifically, the reproduction device 200 acquires, decodes, renders, and displays the coded data of the point cloud data distributed from the server or the like. At that time, the reproduction device 200 selects and acquires a desired LoD from a plurality of LoDs of point cloud data prepared in the server.
  • the reproduction device 200 applies the above-mentioned method to perform this LoD selection. That is, the playback device 200 is a necessary point, which is the density of points required for displaying the point cloud object based on the display size of the point cloud object according to the relative position of the point cloud object with respect to the position of the viewpoint. Calculate the density, and select and acquire the LoD content file whose point density of the point cloud object is equal to or higher than the calculated required point density.
  • FIG. 13 shows the main things such as the processing unit and the flow of data, and not all of them are shown in FIG. That is, in the reproduction device 200, there may be a processing unit that is not shown as a block in FIG. 13, or there may be a processing or data flow that is not shown as an arrow or the like in FIG.
  • the reproduction device 200 has a control unit 201, a storage unit 202, and a reproduction unit 203.
  • the control unit 201 performs processing related to the control of the reproduction unit 203. At that time, the control unit 201 can store information necessary for the control, such as a program or data, in the storage unit 202, or can read out the information stored in the storage unit 202.
  • the reproduction unit 203 performs processing related to reproduction of point cloud data. As shown in FIG. 13, the reproduction unit 203 includes a file acquisition unit 211, an analysis unit 212, a display control unit 213, a required density calculation unit 214, and a display unit 215.
  • the file acquisition unit 211 performs processing related to file acquisition. For example, the file acquisition unit 211 selects a LoD content file based on the required point density (point density (point interval) required to suppress the reduction of subjective image quality) calculated by the required density calculation unit 214. Get the selected LoD content file.
  • point density point density (point interval) required to suppress the reduction of subjective image quality)
  • the analysis unit 212 performs processing related to analysis of the point cloud data (LoD content file) acquired by the file acquisition unit 211. For example, the analysis unit 212 decodes the coded data of the point cloud data and renders it to generate display information (display image or the like).
  • the display control unit 213 performs processing related to display control. For example, the display control unit 213 controls the generation of display information by the display information generation unit 223, which will be described later. Further, the display control unit 213 provides the required density calculation unit 214 with information (viewing device information) regarding the viewing device (that is, the display unit 215) that displays the displayed image.
  • the required density calculation unit 214 performs processing related to the calculation of the point density (point interval) required to suppress the reduction of the subjective image quality. For example, the required density calculation unit 214 calculates the required point density based on the information on the viewing device supplied from the display control unit 213, the information on the object supplied from the file acquisition unit 211, and the like, and acquires the file. Supply to unit 211.
  • the display unit 215 has a display device and performs processing related to display. For example, the display unit 215 displays the display information generated by the display information generation unit 223, which will be described later, on the display device.
  • the analysis unit 212 has a file processing unit 221, a decoding unit 222, and a display information generation unit 223.
  • the file processing unit 221 processes the LoD content file. For example, the file processing unit 221 acquires the coded data of the point cloud data of the object to be processed from the LoD content file supplied from the file acquisition unit 211, and supplies the coded data to the decoding unit 222. Further, the file processing unit 221 supplies information about the object to the display information generation unit 223.
  • Decoding unit 222 performs processing related to decoding. For example, the decoding unit 222 decodes the coded data supplied from the file processing unit 221, generates the point cloud data of the object to be processed, and supplies it to the display information generation unit 223.
  • the display information generation unit 223 performs processing related to generation of display information such as a display image. For example, the display information generation unit 223 renders the point cloud data supplied from the decoding unit 222 under the control of the display control unit 213, generates display information, and supplies the display information to the display unit 215.
  • the file acquisition unit 211 acquires the information of the minimum point interval of each LoD in step S101.
  • step S102 the required density calculation unit 214 acquires resolution information indicating the resolution of the display from the display control unit 213 as viewing device information which is information related to the viewing device.
  • step S103 the required density calculation unit 214 acquires FOV information indicating the viewing angle of the viewpoint from the display control unit 213 as information regarding the viewpoint of the viewing device information.
  • step S104 the required density calculation unit 214 acquires the viewpoint position information indicating the position of the viewpoint and the viewing direction information indicating the viewpoint direction as information regarding the viewpoint from the display control unit 213.
  • step S105 the required density calculation unit 214 acquires the position of the object to be processed and the circumscribed sphere information from the file acquisition unit 211 as the object information which is the information about the point cloud object to be processed. That is, the object information includes information about the position of the point cloud object and information about the size of the point cloud object.
  • step S106 the required density calculation unit 214 derives the viewpoint position, the distance between the objects, and the viewing angle based on the position of the viewpoint and the position of the object.
  • the required density calculation unit 214 has an acceptable point interval between the viewpoint position, the distance between the objects, and the viewing angle, that is, the point interval required to suppress the reduction of the subjective image quality (required point density). Is calculated.
  • the file acquisition unit 211 selects and acquires a LoD content file based on the allowable point interval (required point density) calculated by the required density calculation unit 214 in step S107.
  • the file acquisition unit 211 is a LoD content file having a point interval narrower than the allowable point interval, and the LoD content file having the maximum point interval (higher density than the required point density).
  • the LoD content file having the maximum point interval (higher density than the required point density).
  • step S109 the analysis unit 212 performs analysis display processing on the LoD content file acquired in step S108, and generates display information of the object to be processed.
  • step S110 the file processing unit 221 determines whether or not it is the end of the stream. If it is determined to be the end, the reproduction process ends. If it is determined that the terminal is not terminated, the process proceeds to step S111.
  • step S111 the display control unit 213 determines whether or not the field of view (FOV) has been changed. If it is determined that the FOV has been changed, the process returns to step S103. If it is determined that the FOV has not been changed, the process proceeds to step S112.
  • FOV field of view
  • step S112 the display control unit 213 determines whether or not the viewpoint position or direction has been changed. If it is determined that the viewpoint position or direction has been changed, the process returns to step S104. If it is determined that the viewpoint position or direction has not been changed, the process returns to step S105.
  • the file processing unit 221 performs the point cloud object stream which is the encoded data of the point cloud data of the object to be processed from the LoD content file acquired in step S108 of FIG. 14 in step S141. To get.
  • step S142 the decoding unit 222 decodes the point cloud object stream and generates point cloud data of the object to be processed.
  • step S143 the display information generation unit 223 3D renders the point cloud data and generates display information.
  • step S144 the display unit 215 displays the display information on the display.
  • step S144 When the process of step S144 is completed, the analysis display process is completed, and the process returns to FIG.
  • the playback device 200 can select the LoD according to the display size of the point cloud object so that the subjective image quality does not decrease. Therefore, it is possible to suppress the decrease in subjective image quality while suppressing the increase in load.
  • interpolation with insufficient definition may be performed.
  • the required point density which is the density of points required to display the point cloud object
  • the required point density is calculated based on the display size of the point cloud object according to the relative position of the point cloud object with respect to the position of the viewpoint.
  • Select a LoD content file based on the distance from that point of view to the point cloud object, and point the point cloud object in the selected LoD content file so that it is greater than or equal to the calculated required point density. You may correct the density of.
  • the required point is the density of points required to display the point cloud object based on the display size of the point cloud object according to the relative position of the point cloud object with respect to the position of the viewpoint. It is equal to or greater than the required point density calculated by the required density calculation unit that calculates the density, the selection unit that selects the LoD content file based on the distance from that viewpoint to the point cloud object, and the required density calculation unit. As such, it may be provided with a correction unit that corrects the point density of the point cloud object in the content file of the LoD selected by the selection unit.
  • the point density (point interval) can be corrected so that the subjective image quality does not decrease according to the display size of the point cloud object. Therefore, it is possible to suppress the decrease in subjective image quality while suppressing the increase in load.
  • LOD switching is performed using only the conventional LOD distance, and LOD switching that causes insufficient definition is performed, and the point interval that is necessary and sufficient and the point interval of the LOD model that is currently being played are used.
  • the comparison is used to determine the execution of point interpolation processing such as upsampling processing. By doing so, the amount of information to be acquired can be reduced as compared with the method described in the first embodiment, and if this correction process can be appropriately performed, the image quality may be deteriorated due to insufficient definition. It can be suppressed.
  • FIG. 16 shows a boundary map in which the boundary line in the boundary map A in FIG. 12 and the boundary line in the boundary map B in FIG. 12 are superimposed.
  • the definition can be easily obtained from the "point density (point interval) required to suppress the reduction of subjective image quality" calculated as described in the first embodiment and the point density information of each LOD. It is possible to determine whether or not there is a shortage, and it is possible to perform point interpolation processing such as upsampling processing at an appropriate timing.
  • FIG. 17 is a diagram showing an example in the case of being stretched only in the horizontal direction.
  • a of FIG. 17 shows an example of the display screen of the display in that case
  • B of FIG. 17 shows the horizontal LOD boundary line and the position of the object 311 in that case
  • C of FIG. 17 is the vertical direction. It shows the position of the LOD boundary line and the object 311.
  • the horizontal position of the object 311 is the area where the Low-LOD is acquired, but is actually the position where the Mid-LOD should be acquired. Therefore, the definition is insufficient in the horizontal direction. In such a case, the point density (point interval) is corrected.
  • the vertical position of the object 311 is a position where the definition of Low-LOD is sufficient. Therefore, there is no lack of definition in the vertical direction. In such a case, the point density (point interval) is not corrected.
  • the lack of definition occurs only in the horizontal direction. Therefore, the point density (point interval) is corrected only in the horizontal direction.
  • point upsampling may be applied.
  • the low-LOD point spacing, the point spacing required to suppress the reduction of the subjective image quality in the horizontal direction, and the point spacing required to suppress the reduction of the subjective image quality in the vertical direction are as follows. Value shall be taken.
  • the point 322 group indicated by the white circle is added as shown in B of FIG. 18, and only in the horizontal direction. Upsample points three times. That is, by upsampling, the interval is set to 0.001 (m) only in the horizontal direction.
  • both the horizontal direction and the vertical direction are the point intervals (point densities) required to suppress the reduction of the subjective image quality. Therefore, it is possible to suppress the decrease in subjective image quality while suppressing the increase in load.
  • the point interval (point density) correction method is arbitrary and is not limited to upsampling (point interpolation processing). For example, as this correction process, the display size (number of pixels) of the points may be increased (increased).
  • the point spacing can be corrected. May be good.
  • the display size of the points may be the same in the horizontal direction and the vertical direction as in the above example, or the display size in the horizontal direction is perpendicular to the display size in the horizontal direction and the vertical direction according to the respective stretch ratios.
  • the display size of the direction may be controlled independently of each other.
  • the display size of the points vertical direction x horizontal direction
  • the display size of the points may be 1x3 pixels.
  • FIG. 20 shows a main configuration example of the reproduction device 200 in the case of performing such processing.
  • the reproduction unit 203 of the reproduction device 200 in this case has a definition shortage situation analysis unit 331 in addition to the configuration of FIG.
  • the analysis unit 212 has an interpolation processing unit 332 in addition to the configuration shown in FIG.
  • the definition deficiency status analysis unit 331 performs processing related to analysis of the definition deficiency status. For example, the definition shortage situation analysis unit 331 and information on the point interval (point density) required to suppress the reduction of the subjective image quality supplied from the required density calculation unit 214 (for each of the horizontal direction and the vertical direction). , Based on the point interval (point density) of the current LoD model data supplied from the file processing unit 221, the lack of fineness (for each of the horizontal direction and the vertical direction) is obtained as described above. The fineness deficiency status analysis unit 331 supplies information indicating the obtained fineness deficiency status to the interpolation processing unit 332.
  • the interpolation processing unit 332 performs processing related to point interpolation. For example, the interpolation processing unit 332 acquires the point cloud data of the object to be processed supplied from the decoding unit 222, and the definition is insufficient for the point cloud data. Point interpolation processing (for example, upsampling) is performed based on information indicating the situation, and the processing result (point cloud data after interpolation processing) is supplied to the display information generation unit 223.
  • Point interpolation processing for example, upsampling
  • the processing result point cloud data after interpolation processing
  • the display information generation unit 223 generates display information using the point cloud data interpolated by the interpolation processing unit 332.
  • each process of steps S301 to S307 is executed in the same manner as each process of steps S101 to S107 (FIG. 14). However, the process of step S301 is performed by the definition shortage status analysis unit 331.
  • step S308 the file acquisition unit 211 selects and acquires a LoD content file based on the distance between the viewpoint position and the object position to be processed. For example, the file acquisition unit 211 selects a LoD content file based on the boundary map shown in FIG. 12A.
  • the definition shortage status analysis unit 331 has an acceptable point interval (that is, a point interval (point density) required to suppress a decrease in subjective image quality) and a point interval of the LOD model currently being reproduced. Based on the above, the lack of fineness is analyzed.
  • the fineness deficiency status analysis unit 331 analyzes the fineness deficiency status in each of the horizontal direction and the vertical direction.
  • each process of step S341 and step S342 is executed in the same manner as each process of step S141 and step S142 (FIG. 15).
  • step S343 the interpolation processing unit 332 performs interpolation processing of points such as upsampling according to the definition shortage status analyzed by the definition shortage status analysis unit 331 in step S309 (FIG. 21).
  • the interpolation processing unit 332 performs this interpolation processing in each of the horizontal direction and the vertical direction.
  • each process of step S344 and step S345 is executed in the same manner as each process of step S143 and step S144 (FIG. 15).
  • the analysis display process is completed, and the process returns to FIG. 21.
  • the playback device 200 can realize the above-mentioned "coordination between LOD switching with reduced definition and interpolation processing". Therefore, it is possible to suppress the decrease in subjective image quality while suppressing the increase in load.
  • the series of processes described above can be executed by hardware or software.
  • the programs constituting the software are installed in the computer.
  • the computer includes a computer embedded in dedicated hardware and, for example, a general-purpose personal computer capable of executing various functions by installing various programs.
  • FIG. 23 is a block diagram showing a configuration example of computer hardware that executes the above-mentioned series of processes by a program.
  • the CPU Central Processing Unit
  • ROM ReadOnly Memory
  • RAM RandomAccessMemory
  • the input / output interface 910 is also connected to the bus 904.
  • An input unit 911, an output unit 912, a storage unit 913, a communication unit 914, and a drive 915 are connected to the input / output interface 910.
  • the input unit 911 includes, for example, a keyboard, a mouse, a microphone, a touch panel, an input terminal, and the like.
  • the output unit 912 includes, for example, a display, a speaker, an output terminal, and the like.
  • the storage unit 913 is composed of, for example, a hard disk, a RAM disk, a non-volatile memory, or the like.
  • the communication unit 914 is composed of, for example, a network interface.
  • the drive 915 drives a removable medium 921 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 901 loads the program stored in the storage unit 913 into the RAM 903 via the input / output interface 910 and the bus 904 and executes the above-mentioned series. Is processed.
  • the RAM 903 also appropriately stores data and the like necessary for the CPU 901 to execute various processes.
  • the program executed by the computer can be recorded and applied to the removable media 921 as a package media or the like, for example.
  • the program can be installed in the storage unit 913 via the input / output interface 910 by mounting the removable media 921 in the drive 915.
  • the program can also be provided via wired or wireless transmission media such as local area networks, the Internet, and digital satellite broadcasts.
  • the program can be received by the communication unit 914 and installed in the storage unit 913.
  • this program can also be installed in advance in ROM 902 or storage unit 913.
  • reproduction device 200 and the like have been described as an application example of the present technology, but the present technology can be applied to any configuration.
  • this technology is a transmitter or receiver (for example, a television receiver or mobile phone) in satellite broadcasting, cable broadcasting such as cable TV, distribution on the Internet, and distribution to terminals by cellular communication, or It can be applied to various electronic devices such as devices (for example, hard disk recorders and cameras) that record images on media such as optical disks, magnetic disks, and flash memories, and reproduce images from these storage media.
  • devices for example, hard disk recorders and cameras
  • the present technology includes a processor as a system LSI (Large Scale Integration) (for example, a video processor), a module using a plurality of processors (for example, a video module), and a unit using a plurality of modules (for example, a video unit).
  • a processor as a system LSI (Large Scale Integration) (for example, a video processor), a module using a plurality of processors (for example, a video module), and a unit using a plurality of modules (for example, a video unit).
  • a processor as a system LSI (Large Scale Integration) (for example, a video processor), a module using a plurality of processors (for example, a video module), and a unit using a plurality of modules (for example, a video unit).
  • a processor as a system LSI (Large Scale Integration) (for example, a video processor), a module using a plurality of processors (for example,
  • this technology can be applied to a network system composed of a plurality of devices.
  • the present technology may be implemented as cloud computing that is shared and jointly processed by a plurality of devices via a network.
  • this technology is implemented in a cloud service that provides services related to images (moving images) to any terminal such as computers, AV (AudioVisual) devices, portable information processing terminals, and IoT (Internet of Things) devices. You may try to do it.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • Systems, devices, processing units, etc. to which this technology is applied can be used in any field such as transportation, medical care, crime prevention, agriculture, livestock industry, mining, beauty, factories, home appliances, weather, nature monitoring, etc. .. The use is also arbitrary.
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be collectively configured as one device (or processing unit).
  • a part of the configuration of one device (or processing unit) may be included in the configuration of another device (or other processing unit). ..
  • the above-mentioned program may be executed in any device.
  • the device may have necessary functions (functional blocks, etc.) so that necessary information can be obtained.
  • each step of one flowchart may be executed by one device, or may be shared and executed by a plurality of devices.
  • one device may execute the plurality of processes, or the plurality of devices may share and execute the plurality of processes.
  • a plurality of processes included in one step can be executed as processes of a plurality of steps.
  • the processes described as a plurality of steps can be collectively executed as one step.
  • the processing of the steps for writing the program may be executed in chronological order in the order described in the present specification, and may be executed in parallel or in a row. It may be executed individually at the required timing such as when it is broken. That is, as long as there is no contradiction, the processes of each step may be executed in an order different from the above-mentioned order. Further, the processing of the step for describing this program may be executed in parallel with the processing of another program, or may be executed in combination with the processing of another program.
  • a plurality of technologies related to this technology can be independently implemented independently as long as there is no contradiction.
  • any plurality of the present technologies can be used in combination.
  • some or all of the techniques described in any of the embodiments may be combined with some or all of the techniques described in other embodiments.
  • a part or all of any of the above-mentioned techniques may be carried out in combination with other techniques not described above.
  • the present technology can also have the following configurations.
  • (1) Based on the display size of the point cloud object according to the relative position of the point cloud object with respect to the position of the viewpoint, the required point density, which is the density of the points required for displaying the point cloud object, is calculated.
  • Required density calculation unit and An image processing device including a selection unit for selecting a LoD content file whose point density of the point cloud object is equal to or higher than the required point density calculated by the required density calculation unit.
  • the required density calculation unit uses the display size as the extension factor from the display size of the point cloud object in the direction of the viewpoint according to the relative angle of the point cloud object with respect to the direction of the viewpoint.
  • the image processing apparatus according to (1), wherein the required point density is calculated using the stretch ratio.
  • the image processing apparatus calculates the required point density by using the larger of the horizontal stretch ratio and the vertical stretch ratio. .. (4)
  • the required density calculation unit is the horizontal and vertical direction based on the object information which is the information about the point cloud object and the viewing device information which is the information about the viewing device displaying the point cloud object.
  • the image processing apparatus according to (3) which calculates the enlargement magnification respectively.
  • the image processing apparatus according to (4) wherein the object information includes information regarding the position of the point cloud object and information regarding the size of the point cloud object.
  • the information regarding the size of the point cloud object includes information regarding an circumscribed sphere that circumscribes the point cloud object.
  • the image processing apparatus includes information on the display resolution of the viewing device and information on the viewpoint.
  • the information regarding the viewpoint includes information regarding the position of the viewpoint, information regarding the orientation of the viewpoint, and information regarding the viewing angle of the viewpoint.
  • the selection unit according to any one of (1) to (8), in which the point density of the point cloud object is equal to or higher than the required point density and the minimum LoD content file is selected.
  • Image processing device Based on the display size of the point cloud object according to the relative position of the point cloud object with respect to the position of the viewpoint, the required point density, which is the density of the points required for displaying the point cloud object, is calculated. , An image processing method for selecting a LoD content file in which the point density of the point cloud object is equal to or higher than the calculated required point density.
  • the required point density which is the density of the points required for displaying the point cloud object, is calculated.
  • Required density calculation unit and A selection unit that selects LoD content files based on the distance from the viewpoint to the point cloud object.
  • Image processing including a correction unit that corrects the density of points of the point cloud object in the content file of the LoD selected by the selection unit so as to be equal to or higher than the required point density calculated by the required density calculation unit.
  • Device (12) The image processing apparatus according to (11), wherein the correction unit corrects the density of points of the point cloud object in each of the horizontal direction and the vertical direction.
  • 200 playback device 201 control unit, 202 storage unit, 203 playback unit, 211 file acquisition unit, 212 analysis unit, 213 display control unit, 214 required density calculation unit, 215 display unit, 221 file processing unit, 222 decoding unit, 223.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本開示は、負荷の増大を抑制しながら主観画質の低減を抑制することができるようにする画像処理装置および方法に関する。 視点の位置を基準とするポイントクラウドオブジェクトの相対位置に応じたそのポイントクラウドオブジェクトの表示サイズに基づいて、そのポイントクラウドオブジェクトの表示に必要なポイントの密度である必要ポイント密度を算出し、そのポイントクラウドオブジェクトのポイントの密度が、算出された必要ポイント密度以上であるLoDのコンテンツファイルを選択する。本開示は、例えば、画像処理装置、情報処理装置、再生装置、３Ｄレンダリング装置、電子機器やその方法等に適用することができる。

Description

画像処理装置および方法
　本開示は、画像処理装置および方法に関し、特に、負荷の増大を抑制しながら主観画質の低減を抑制することができるようにした画像処理装置および方法に関する。
　従来、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドデータ（Point cloud data）の符号化・復号の標準化がMPEG（Moving Picture Experts Group）で進められている（例えば、非特許文献１および非特許文献２参照）。
　このような技術を用いて３Ｄデータの配信を行う際に、伝送する情報量の増大を抑制するため、複数のLoD（Level of Detail）のデータを用意し、必要に応じてLoDを選択して配信する方法が考えられた。例えば、視点からオブジェクトまでの距離に応じて適切な精細度のLoDを選択することにより、主観画質の低減を抑制しながら伝送する情報量の増大（つまり、負荷の増大）を抑制することができる。
　しかしながら、適切な精細度は、視点とオブジェクトとの間の距離だけでなく、視点の向きに対するオブジェクト位置の角度によっても変化する。したがって、上述の方法では、適切なLoDを選択することができず、主観画質が低減したり、負荷が増大したりするおそれがあった。
　本開示は、このような状況に鑑みてなされたものであり、３Ｄデータのレンダリングにおいて、負荷の増大を抑制しながら主観画質の低減を抑制することができるようにするものである。
　本技術の一側面の画像処理装置は、視点の位置を基準とするポイントクラウドオブジェクトの相対位置に応じた前記ポイントクラウドオブジェクトの表示サイズに基づいて、前記ポイントクラウドオブジェクトの表示に必要なポイントの密度である必要ポイント密度を算出する必要密度算出部と、前記ポイントクラウドオブジェクトのポイントの密度が、前記必要密度算出部により算出された前記必要ポイント密度以上であるLoDのコンテンツファイルを選択する選択部とを備える画像処理装置である。
　本技術の一側面の画像処理方法は、視点の位置を基準とするポイントクラウドオブジェクトの相対位置に応じた前記ポイントクラウドオブジェクトの表示サイズに基づいて、前記ポイントクラウドオブジェクトの表示に必要なポイントの密度である必要ポイント密度を算出し、前記ポイントクラウドオブジェクトのポイントの密度が、算出された前記必要ポイント密度以上であるLoDのコンテンツファイルを選択する画像処理方法である。
　本技術の他の側面の画像処理装置は、視点の位置を基準とするポイントクラウドオブジェクトの相対位置に応じた前記ポイントクラウドオブジェクトの表示サイズに基づいて、前記ポイントクラウドオブジェクトの表示に必要なポイントの密度である必要ポイント密度を算出する必要密度算出部と、前記視点から前記ポイントクラウドオブジェクトまでの距離に基づいて、LoDのコンテンツファイルを選択する選択部と、前記必要密度算出部により算出された前記必要ポイント密度以上となるように、前記選択部により選択された前記LoDのコンテンツファイルにおける前記ポイントクラウドオブジェクトのポイントの密度を補正する補正部とを備える画像処理装置である。
　本技術の他の側面の画像処理方法は、視点の位置を基準とするポイントクラウドオブジェクトの相対位置に応じた前記ポイントクラウドオブジェクトの表示サイズに基づいて、前記ポイントクラウドオブジェクトの表示に必要なポイントの密度である必要ポイント密度を算出し、前記視点から前記ポイントクラウドオブジェクトまでの距離に基づいて、LoDのコンテンツファイルを選択し、算出された前記必要ポイント密度以上となるように、選択された前記LoDのコンテンツファイルにおける前記ポイントクラウドオブジェクトのポイントの密度を補正する画像処理方法である。
　本技術の一側面の画像処理装置および方法においては、視点の位置を基準とするポイントクラウドオブジェクトの相対位置に応じたそのポイントクラウドオブジェクトの表示サイズに基づいて、そのポイントクラウドオブジェクトの表示に必要なポイントの密度である必要ポイント密度が算出され、そのポイントクラウドオブジェクトのポイントの密度が、算出された必要ポイント密度以上であるLoDのコンテンツファイルが選択される。
　本技術の他の側面の画像処理装置および方法においては、視点の位置を基準とするポイントクラウドオブジェクトの相対位置に応じたそのポイントクラウドオブジェクトの表示サイズに基づいて、そのポイントクラウドオブジェクトの表示に必要なポイントの密度である必要ポイント密度が算出され、その視点からそのポイントクラウドオブジェクトまでの距離に基づいて、LoDのコンテンツファイルが選択され、その算出された必要ポイント密度以上となるように、その選択されたLoDのコンテンツファイルにおけるそのポイントクラウドオブジェクトのポイントの密度が補正される。
Scene Descriptionの例を示す図である。 距離に応じたLoDの切り替えの様子の例を示す図である。 透視投影の様子の例を示す図である。 水平方向の透視位置の違いによる表示サイズの変化の例を示す図である。 ピクセル表示間隔の例を示す図である。 垂直方向の透視位置の違いによる表示サイズの変化の例を示す図である。 オブジェクトの外接球の例を示す図である。 引き延ばし倍率算出の様子の例を示す図である。 LoD毎の最小ポイント間隔の例を示す図である。 オブジェクト位置の角度の例を示す図である。 視聴角度に対する引き延ばし倍率の例を示す図である。 水平方向のLoD境界の例を示す図である。 再生装置の主な構成例を示すブロック図である。 再生処理の流れの例を説明するフローチャートである。 解析表示処理の流れの例を説明するフローチャートである。 LoD選択と補間処理の連携の様子の例を説明する図である。 水平方向に引き延ばされる例を示す図である。 ポイント補間の様子の例を示す図である。 ポイント補間の様子の例を示す図である。 再生装置の主な構成例を示すブロック図である。 再生処理の流れの例を説明するフローチャートである。 解析表示処理の流れの例を説明するフローチャートである。 コンピュータの主な構成例を示すブロック図である。
　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　１．第１の実施の形態（再生装置）
　２．第２の実施の形態（再生装置）
　３．付記
　＜１．第１の実施の形態＞
　　＜技術内容・技術用語をサポートする文献等＞
　本技術で開示される範囲は、実施の形態に記載されている内容だけではなく、出願当時において公知となっている以下の非特許文献等に記載されている内容や以下の非特許文献において参照されている他の文献の内容等も含まれる。
　非特許文献１：（上述）
　非特許文献２：（上述）
　つまり、上述の非特許文献に記載されている内容や、上述の非特許文献において参照されている他の文献の内容等も、サポート要件を判断する際の根拠となる。
　　＜ポイントクラウドのレンダリング＞
　従来、様々な動画配信サービスが利用されており、主流となる映画などの2D動画配信に加えて、全方位が見まわし可能な360度ビデオ配信も行われている。この360度ビデオも基本は2D動画配信と同じである。さらに自由な視点位置での視聴体験を提供する動画配信技術の開発も進んでいる。その場合、全ての位置からの視聴を可能にするために動画コンテンツ内に登場するあらゆるものを例えばポイントクラウド（Point Cloud）やメッシュ（Mesh）といった3Dオブジェクト映像として配信する。
　その場合、配信されるデータ量が非常に膨大となる可能性がある。例えば帯域制限によりそのままでは高精細な動画配信が行えない等の不具合が発生するおそれもある。特に、3D形状を面で表現するメッシュオブジェクトよりも、3D形状を点で表現するポイントクラウドオブジェクトの方がきめ細かい表現が可能となる反面、必要となる情報量が多い。
　例えばポイントクラウドの場合、立体構造物（３次元形状のオブジェクト）を多数の点の集合として表現する。ポイントクラウドデータは、各点の位置情報（ジオメトリデータとも称する）と属性情報（アトリビュートデータとも称する）とにより構成される。アトリビュートデータは任意の情報を含むことができる。例えば、各ポイントの色情報、反射率情報、法線情報等がアトリビュートデータに含まれるようにしてもよい。このようにポイントクラウドデータは、データ構造が比較的単純であるとともに、十分に多くの点を用いることにより任意の立体構造物を十分な精細度で表現することができる。ただし、上述のように、精細度を向上させる程、情報量が増大する。
　そこで、１つの3Dオブジェクトに対して複数のLoD（Level of detail）のモデルデータを用意し、必要に応じてLoDを選択して配信する方法が考えられた。例えば、視点からオブジェクトまでの距離に応じて適切な精細度のLoDを選択することにより、主観画質の低減を抑制しながら伝送する情報量の増大（つまり、負荷の増大）を抑制することができる。
　LoDは、ポイントクラウドデータの精細度のレベルを示す。ポイントクラウドデータの精細度は、ポイントの数に依存する。つまり、１つのオブジェクトについて複数の精細度（ポイント数）のポイントクラウドデータをLoDとして用意し、必要に応じてその精細度（ポイント数）の選択を行う。
　例えば、視点位置に近いオブジェクトは、表示が大きくなるため詳細な情報が必要になる。そのため、ポイント数が多い高LoDのモデルデータが選択される。これに対して、視点位置より遠いオブジェクトは、表示が小さくなるため詳細な情報が不要になる。そのため、ポイント数が少ない低LoDのモデルデータが選択される。このようにすることにより、伝送する情報量の不要な増大を抑制することができ、配信に関する負荷の増大を抑制することができる。また、情報量の増大が抑制されることにより、レンダリング処理の負荷の増大も抑制することができる。このようなことから、コストの増大を抑制したり、通信や処理の高速化を実現することができる。
　例えば、図１に示されるように、シーンディスクリプション（Scene Description）と呼ばれる3D空間の構成情報をまとめたファイルに、各オブジェクトの各LoDに関する情報を記述する。
　クライアントは、例えば図２に示されるように、このシーンディスクリプションファイルに記述されている"LOD distance"とユーザが操作することによる視点位置と各オブジェクト位置との距離の変化に応じて、取得するオブジェクトのモデルデータ（LoD）を切替えながら動画再生を行う。
　例えば、ポイントクラウドオブジェクトObj1が視点位置から遠距離（例えば視点位置から10mより離れた位置）に存在する場合、高精細で高レートな情報は不要であるので、低精細で低レートなLow-LoD（ポイント数５万）のモデルデータが選択される。また、ポイントクラウドオブジェクトObj1が視点位置から中距離（例えば視点位置から5m乃至10m離れた位置）に存在する場合、遠距離の場合より高精細で高レートな情報が必要になり、中精細で中レートなMid-LoD（ポイント数２０万）のモデルデータが選択される。さらに、ポイントクラウドオブジェクトObj1が視点位置から近距離（例えば視点位置から5m以内の位置）に存在する場合、中距離の場合より高精細で高レートな情報が必要になり、高精細で高レートなHigh-LoD（ポイント数８０万）のモデルデータが選択される。
　このように、視点位置からオブジェクトまでの距離に応じてLoDを切替えて配信を行うことにより、主観画質の低減を抑制しながら、配信する情報量の増大を抑制することができる。
　また、視点位置から見える3D空間の映像をディスプレイに表示させる際には、図３に示されるように、３次元の物体を２次元の平面に描画する透視投影というレンダリング手法が用いられる。
　そして、この投影する際の視野角（FOV（Field Of View））において、人間の目のようにより広角に投影することにより、迫力および臨場感が増すという効果が得られる。そのため、自由視点映像配信（オブジェクト配信）を含む様々な3Dアプリケーションにおいて、このような広い視野角が求められている。
　図３の例は、視点位置５１から視点向き５２を見る場合の水平方向の透視投影の様子を示している。この場合、直線５３と直線５４との間の両矢印５５の範囲が視野（FOV）となる。つまり、この範囲の角度が視野角となる。この場合において、視点向き５２に対して垂直な投影面５６が設定され、この投影面５６に投影された画像が表示画像となる。
　例えば視点位置５１から見ると、オブジェクト６１は、投影面５６上において太線で示される範囲７１に投影されて見える。また、オブジェクト６２は、投影面５６上において太線で示される範囲７２に投影されて見える。つまり、表示画像において、この範囲７１に対応する部分にオブジェクト６１の画像が表示され、範囲７２に対応する部分にオブジェクト６２の画像が表示される。
　ところが、3D空間を広角に透視投影すると、投影面の中心から離れた箇所に投影されるオブジェクトほど、大きく引き伸ばされたように歪んで表示される。これは広角レンズで撮った写真の歪みと同様の現象で、既存のあらゆる投影法が平面への投影時に歪みを避けられず、広角にするとその歪みが顕著になるためである。このため、視点位置からオブジェクトまでの距離が同じでも投影位置によって表示される大きさが変わり、それに応じて必要となる精細度（LoD）が異なってしまう。
　例えば、図４の場合、視点位置５１から視点向き５２－１を見た場合、オブジェクト６３は、その場合の投影面５６－１の範囲７３－１に投影される。これに対して、視点位置５１から、視点向き５２－１に対する角度がθの視点向き５２－２を見た場合、オブジェクト６３は、その場合の投影面５６－２の範囲７３－２に投影される。視点位置５１とオブジェクト６３との距離は互いに同一であるが、範囲７３－２は明らかに範囲７３－１より広い。つまり、視点向き５２－２の場合の方が視点向き５２－１の場合よりもオブジェクト６３が大きく表示される。したがって、オブジェクト６３について、視点向き５２－１の場合と視点向き５２－２の場合とで同一のLoDを選択する場合、視点向き５２－２の場合の方が視点向き５２－１の場合に比べてオブジェクト６３の主観画質が低減してしまうおそれがあった。
　ポイントクラウドは点の集合によりオブジェクトを表現するため、表示ピクセル（表示画像における画素ピッチ）に対し、ポイントクラウドオブジェクトの精細度が不足する場合、表示画像においてポイントを表示しない画素が発生するため、穴が開いたような画質劣化が発生する。つまり、このような主観画質の低減を抑制するためには、表示画像の画素ピッチ以上の精細度がポイントクラウドオブジェクトに必要になる。
　仮に、オブジェクトが一番大きく表示される投影面５６の端に合わせてLoDの切り替え距離を設定すると、オブジェクトが一番小さく表示される投影面５６の中央において不要に精細度が高くなり情報量が増大するおそれがある。逆に、オブジェクトが一番小さく表示される投影面５６の中央に合わせてLoDの切り替え距離を設定すると、上述のように、オブジェクトが一番大きく表示される投影面５６の端において精細度が不足し、主観画質が低減するおそれがある。
　つまり、距離に応じてLoDを切替える方法では、ポイントクラウドオブジェクト配信において、適切なLoDの切替えを実現することができなかった。
　なお、この広角投影時の歪みに対する補正技術は多数開発されているが、これらの補正技術は歪んでしまった2D映像に対して補正する技術であり、この補正技術で歪みを補正しても、上述のようなポイントクラウドオブジェクトの主観画質の低減を抑制することは困難であった。
　また、精細度不足にならないようにポイントをアップサンプリングする方法が考えられるが、距離のみによる判断では、上述のようにオブジェクトの投影位置に応じてどの程度精細度不足であるかの判定や、どのようにアップサンプリングを行うかの制御の実現が困難であった。
　　＜投影位置に基づくLoD選択＞
　そこで、視点の位置を基準とするポイントクラウドオブジェクトの相対位置に応じたそのポイントクラウドオブジェクトの表示サイズに基づいて、そのポイントクラウドオブジェクトの表示に必要なポイントの密度である必要ポイント密度を算出し、そのポイントクラウドオブジェクトのポイントの密度が、算出された必要ポイント密度以上であるLoDのコンテンツファイルを選択する。
　例えば、画像処理装置において、視点の位置を基準とするポイントクラウドオブジェクトの相対位置に応じたそのポイントクラウドオブジェクトの表示サイズに基づいて、そのポイントクラウドオブジェクトの表示に必要なポイントの密度である必要ポイント密度を算出する必要密度算出部と、そのポイントクラウドオブジェクトのポイントの密度が、その必要密度算出部により算出された必要ポイント密度以上であるLoDのコンテンツファイルを選択する選択部とを備えるようにする。
　つまり、視点位置とオブジェクト位置間の距離と視聴角度からそのオブジェクトの投影位置と大きさが決まるので、その位置にその大きさで投影される場合の表示ピクセルに対して必要十分となるポイント密度（ポイント間隔）を算出する。そして、その必要十分となるポイント密度以上の密度を持つLoDモデルを選択する。これをポイント間隔に置き換えると、算出したポイント間隔以下の間隔のLoDモデルを選択するということになる。なお、ここでいうポイント間隔とはLoDモデルデータの最小となるポイント間隔（ポイントクラウドの構造上、最も近接する２ポイント間の距離）を意味する。
　このようにすることにより、ポイントクラウドオブジェクトの表示サイズに応じて、主観画質が低減しないようにLoDを選択することができる。したがって、負荷の増大を抑制しながら主観画質の低減を抑制することができる。
　　＜必要ポイント密度の算出＞
　視点位置とオブジェクト間の距離と視聴角度からそのオブジェクトが投影される位置を特定することができ、その際に表示される”ピクセルの表示間隔”を算出することができる。この”ピクセルの表示間隔”は、表示対象物の長さを表示ピクセル数で割ったものである。図５にその例を示す。
　図５の例の場合、1.8mの人間のオブジェクトを、高さ方向の１次元の列で考えると4320ピクセルで表示していることになる。この場合の”ピクセルの表示間隔”は1.8/4320（m）となる。このモデルデータのポイント間隔が同じ1.8/4320（m）であれば、これは表示ピクセルに対して、主観画質の低減を抑制するために必要なポイント密度のモデルデータであるといえる。これよりポイント間隔が離れている（ポイント密度が低い）モデルデータの場合、表示ピクセル数に対し、ポイントクラウドの精細度が不足していることになり、穴の開いたような画質劣化が発生する。つまり、この”ピクセルの表示間隔”が、主観画質の低減を抑制するために必要なポイント間隔に相当する。
　視点位置からオブジェクトまでの距離にプラスして、視聴角度情報までを考慮して算出した”ピクセルの表示間隔”に対し、以下の式（１）を満たし、かつ、その中で一番”ピクセルの表示間隔”に近いポイント間隔のLoDモデルデータ（つまり、ポイント間隔が最も広い（ポイント密度が最小の）LoDモデルデータ）を選択すれば、広角歪みによる精細度不足や不必要な精細度・情報量取得なく、効率のよいLOD選択が可能となる。つまり、負荷の増大を抑制しながら主観画質の低減を抑制することができる。
　モデルデータの "ポイント間隔(m)" ≦ オブジェクトを表示する際の"ピクセルの表示間隔(m)"
　・・・（１）
　このような視聴角度までを考慮した”ピクセルの表示間隔(m)”は、以下のように算出する。
　　＜ステップ１＞
　以下の式（２）からオブジェクトを正面から見た場合の”ピクセルの表示間隔(m)”を算出する。これは投影面の中心に投影される際のもので、つまり引き伸ばされて表示される歪みが発生しない場合の”ピクセルの表示間隔(m)”を意味する。
Figure JPOXMLDOC01-appb-I000001
　・・・（２）
　ただし、式（２）において、
　pi_centerは、正面から見る場合の”ピクセルの表示間隔(m)”を示し、
　Lは、視点位置からオブジェクトまでの距離(m)を示し、
　FOVは、水平方向または垂直方向の視野角（Vertical FOV or Horizontal FOV）を示し、
　Pは、水平方向または垂直方向の１次元のピクセル数（Height or Width）を示す。
　　＜ステップ２＞
　オブジェクトに対する視聴角度を測定し、その角度から見た場合に使用するピクセル数と、正面から見た場合に使用するピクセル数の比（倍率）を算出する。これは図４の”角度θから見た場合の表示サイズ（つまり、視点向き５２－２の場合の表示サイズ）”と”正面から見た場合の表示サイズ（つまり、視点向き５２－１の場合の表示サイズ）”との比に相当する。なお、図４の例は、水平方向の例である。垂直方向の例は、図６に示す。
　図６の場合、視点位置５１から視点向き５２－３を見た場合、オブジェクト６４は、その場合の投影面５６－３の範囲７４－１に投影される。これに対して、視点位置５１から、視点向き５２－３に対する角度がγの視点向き５２－４を見た場合、オブジェクト６４は、その場合の投影面５６－４の範囲７４－２に投影される。
　つまり、垂直方向についても、水平方向の場合と同様に、”角度γから見た場合の表示サイズ”と”正面から見た場合の表示サイズ”との比を算出することができる。換言するに、この比（倍率）は、水平方向と垂直方向のそれぞれについて算出される。そして、以下の式（３）のように、それらの内の大きい方の倍率を最終的な倍率として算出する。
　M = max( Mh, Mv)
　・・・（３）
　なお、式（３）において、
　Mは、視聴角度による引き伸ばし倍率（大きい方）を示し、
　Mhは、水平方向の引き伸ばし倍率を示し、
　Mvは、垂直方向の引き伸ばし倍率を示す。
　このMhまたはMvを算出するにはオブジェクトの大きさ情報が必要となる。例えば、クライアントがオブジェクトの外接球情報をサーバから取得する。または、クライアント自身で外接球情報を算出してもよい。
　3Dオブジェクトの外接球とは、例えば図７に示されるように、3Dオブジェクトを囲うのに必要な大きさの球体のことで、外接球情報とはその球体の中心位置情報（x, y, z）とその球体の半径の長さ情報を含む。つまり、外接球情報は、3Dオブジェクトの大きさや位置に関する情報である。図７に示される外接球８１は、3Dオブジェクト６５の外接球である。なお、外接球８１は、3Dオブジェクト６５を内包していればよく、３Dオブジェクトに外接していなくてもよい。つまり、最小サイズでなくてもよい。
　図８に示される状況について説明する。図８の例の場合、視点位置５１から視点向き５２－１を見た場合、その視点向き５２－１上にあるオブジェクト６６は、その場合の投影面５６－１の範囲７６－１に投影される。これに対して、視点位置５１から、視点向き５２－１に対する角度がθの視点向き５２－２を見た場合、オブジェクト６６は、その場合の投影面５６－２の範囲７６－２に投影される。
　このとき、オブジェクト６６の外接球８２（両矢印９１を直径とする球）の半径をｒとし、視点位置５１から外接球８２の中心までの距離（両矢印９２）をLとする。また、外接球８２の中心は視点向き５２－１上に位置するものとする。そして、視点位置５１から見た外接球８２の端の視点向き５２－１からの角度（範囲７６－１や範囲７６－２の端の、視野の中心からの角度）をβとする。
　この状況において、水平方向の引き伸ばし倍率、つまり（角度θから見た表示サイズ）/（正面から見た表示サイズ（水平））を算出する場合、まずオブジェクト６６までの距離L（m）と外接球８２の半径の長さr（m）から角度βを算出する。このβを用いると、この引き伸ばし倍率Mhは、以下の式（４）のように算出することができる。
Figure JPOXMLDOC01-appb-I000002
　・・・（４）
　同様に垂直方向の引き伸ばし倍率Mvは、垂直方向の視聴角度をγとすると、以下の式（５）のように算出することができる。
Figure JPOXMLDOC01-appb-I000003
　・・・（５）
　この２つの引き延ばし倍率の内の大きい方を、引き伸ばし倍率として適用する。これは、大きい方の引き伸ばし倍率に合わせることで、少ない倍率もカバーすることができることを意味する。
　　＜ステップ３＞
　以下の式（６）のように、＜ステップ１＞で算出した、オブジェクトを正面から見た場合の”ピクセルの表示間隔（m）”を、＜ステップ２＞で算出した、歪みによる引き伸ばし倍率で割ることで、オブジェクトをその視聴角度から見た場合の”ピクセルの表示間隔（m）”を算出する。
Figure JPOXMLDOC01-appb-I000004
　・・・（６）
　ただし、式（６）において、
　pi_sideは、ある視聴角度から見る場合の”ピクセルの表示間隔（m）”を示し、
　Mは、視聴角度による引き伸ばし倍率を示す。
　以上の３つのステップにより、クライアントは、オブジェクトを視聴する距離と角度から、表示される際の”ピクセルの表示間隔”（pi_side）を算出する。これは上述したとおり、その位置に表示されるポイントクラウドオブジェクトにおいて必要なポイント間隔となる。この間隔以上の細かさで、かつ、一番近い値のポイント間隔のLoDを選択することによって、精細度に過不足なく、最適なLoDを選択することができる。
　　＜算出例＞
　例えば、ポイントクラウドオブジェクトが、図９の表に示されるようなポイント間隔の３つのLoDモデルを持つとする。また、ディスプレイの水平方向の解像度（Width）、水平方向の視野角（Horizontal FOV）、オブジェクト外接球の半径（ｒ）、および視点位置からオブジェクト外接球の中心までの距離（L）が以下のような値を持つとする。
　ディスプレイの水平方向の解像度（Width）：7680
　水平方向の視野角（Horizontal FOV）：100度
　オブジェクト外接球の半径（r）：1m
　視点位置からオブジェクト外接球の中心までの距離（L）：12m
　この場合まず、図１０のＡのようにこのオブジェクト６７を12m離れた位置でかつ、正面から見る場合にこのオブジェクト６７が表示される”ピクセルの表示間隔（m）”と、図１０のＢのようにこのオブジェクト６７を同じく12m離れた位置でかつ、水平方向に50度となる視聴角度から見る場合にこのオブジェクトが表示される”ピクセルの表示間隔（m）”は、それぞれ以下のようになる。
　ピクセルの表示間隔(0度) = 0.003724 (m)
　ピクセルの表示間隔(50度) = 0.001524 (m)
　したがって、図９の表に基づいて、オブジェクト６７を正面から見る場合はLow-LOD（ポイント間隔=0.0032 m）をする。
　これに対して、オブジェクト６７を水平方向に50度となる視聴角度から見る場合はHigh-LOD（ポイント間隔=0.0008 m）を選択する。Mid-LODの0.0016 の方が近いがピクセルの表示間隔の方が細かいため、主観画質が低減するおそれがある。そのため、近いものを選択するのではなく、算出された”ピクセルの表示間隔”よりも高密度なもので一番近いものを選択する。したがって、この例ではHigh-LODを選択する。
　このように同距離においても、そのオブジェクトを視聴する角度（投影位置）の違いによって、必要な精細度が異なる。正面から見る場合は一番精細度が低いLow-LODで十分であるのに対し、50度の角度で視聴する場合は一番精細度が高いHigh-LODが必要となる。
　図９に挙げたポイント間隔をもつLODにおいて、Mid-LODのポイント間隔がそのオブジェクトを正面から見る場合の、"ピクセルの表示間隔"とちょうど同じになる視点位置からの距離は5mとなり、Low-LODは10mとなる（式（２）の逆算で算出可能）。つまり、オブジェクトの正面におけるHigh-LODとMid-LODとの境界となる距離が5mで、Mid-LODとLow-LODとの境界となる距離が10ｍということになる。各視聴角度におけるこの境界距離は、式（４）や式（５）のθやγに視聴角度を代入して算出される倍率を、正面における境界距離にかけることで得られる。
　　＜境界マップ＞
　つまり、視聴角度と倍率の関係は、図１１に示されるグラフのようになる。また、距離に応じてLoDを切り替える場合の各LoD境界は、図１２のＡのようなマップ情報として表すことができる。さらに、視聴角度に応じてLoDを切り替える場合の各LoD境界は、図１２のＢのようなマップ情報として表すことができる。
　上述したように、主観画質の低減を抑制するのに必要なポイント密度（ポイント間隔）を算出する代わりに、予め用意した図１２に示されるような各LODの境界面からなるLOD境界マップを用いて、すなわち、そのオブジェクトがこれらの境界マップにおいてどの領域に位置するかに応じて、LODを選択してもよい。
　　＜再生装置＞
　図１３は、本技術を適用した画像処理装置の一実施の形態である再生装置の構成の一例を示すブロック図である。図１３に示される再生装置２００は、ポイントクラウドのような３Ｄデータを再生する、つまり、レンダリングして表示する装置である。より具体的には、再生装置２００は、サーバ等より配信されるポイントクラウドデータの符号化データを取得し、復号し、レンダリングして表示する。その際、再生装置２００は、サーバに用意されたポイントクラウドデータの複数のLoDの中から所望のLoDを選択し、取得する。
　その際、再生装置２００は、上述した方法を適用してこのLoD選択を行う。つまり、再生装置２００は、視点の位置を基準とするポイントクラウドオブジェクトの相対位置に応じたそのポイントクラウドオブジェクトの表示サイズに基づいて、そのポイントクラウドオブジェクトの表示に必要なポイントの密度である必要ポイント密度を算出し、そのポイントクラウドオブジェクトのポイントの密度が、算出された必要ポイント密度以上であるLoDのコンテンツファイルを選択し、取得する。
　なお、図１３においては、処理部やデータの流れ等の主なものを示しており、図１３に示されるものが全てとは限らない。つまり、再生装置２００において、図１３においてブロックとして示されていない処理部が存在したり、図１３において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
　図１３に示されるように再生装置２００は、制御部２０１、記憶部２０２、および再生部２０３を有する。
　制御部２０１は、再生部２０３の制御に関する処理を行う。その際、制御部２０１は、プログラムやデータ等、その制御に必要な情報を記憶部２０２に記憶させたり、その記憶部２０２に記憶されている情報を読み出したりすることができる。
　再生部２０３は、ポイントクラウドデータの再生に関する処理を行う。図１３に示されるように、再生部２０３は、ファイル取得部２１１、解析部２１２、表示制御部２１３、必要密度算出部２１４、および表示部２１５を有する。
　ファイル取得部２１１は、ファイルの取得に関する処理を行う。例えば、ファイル取得部２１１は、必要密度算出部２１４により算出された必要ポイント密度（主観画質の低減を抑制するために必要なポイント密度（ポイント間隔））に基づいて、LoDコンテンツファイルを選択し、その選択したLoDコンテンツファイルを取得する。
　解析部２１２は、ファイル取得部２１１により取得されたポイントクラウドデータ（LoDコンテンツファイル）の解析に関する処理を行う。例えば、解析部２１２は、そのポイントクラウドデータの符号化データを復号し、レンダリングして表示情報（表示画像等）を生成する。
　表示制御部２１３は、表示の制御に関する処理を行う。例えば、表示制御部２１３は、後述する表示情報生成部２２３による表示情報の生成を制御する。また、表示制御部２１３は、表示画像を表示する視聴デバイス（つまり表示部２１５）に関する情報（視聴デバイス情報）を必要密度算出部２１４に提供する。
　必要密度算出部２１４は、主観画質の低減を抑制するために必要なポイント密度（ポイント間隔）の算出に関する処理を行う。例えば、必要密度算出部２１４は、表示制御部２１３から供給される視聴デバイスに関する情報や、ファイル取得部２１１より供給されるオブジェクトに関する情報等に基づいて、必要ポイント密度を算出し、それをファイル取得部２１１に供給する。
　表示部２１５は、表示デバイスを有し、表示に関する処理を行う。例えば、表示部２１５は、後述する表示情報生成部２２３により生成された表示情報をその表示デバイスに表示する。
　図１３に示されるように、解析部２１２は、ファイル処理部２２１、復号部２２２、および表示情報生成部２２３を有する。
　ファイル処理部２２１は、LoDコンテンツファイルに関する処理を行う。例えば、ファイル処理部２２１は、ファイル取得部２１１から供給されるLoDコンテンツファイルから処理対象のオブジェクトのポイントクラウドデータの符号化データを取得し、復号部２２２に供給する。また、ファイル処理部２２１は、そのオブジェクトに関する情報を表示情報生成部２２３に供給する。
　復号部２２２は、復号に関する処理を行う。例えば、復号部２２２は、ファイル処理部２２１から供給される符号化データを復号し、処理対象のオブジェクトのポイントクラウドデータを生成し、それを表示情報生成部２２３に供給する。
　表示情報生成部２２３は、表示画像等の表示情報の生成に関する処理を行う。例えば、表示情報生成部２２３は、表示制御部２１３の制御に従って、復号部２２２から供給されるポイントクラウドデータをレンダリングし、表示情報を生成し、表示部２１５に供給する。
　　＜再生処理の流れ＞
　この再生装置２００により実行される再生処理の流れの例を、図１４のフローチャートを参照して説明する。
　再生処理が開始されると、ファイル取得部２１１は、ステップＳ１０１において、各LoDの最小となるポイント間隔の情報を取得する。
　ステップＳ１０２において、必要密度算出部２１４は、表示制御部２１３より、視聴デバイスに関する情報である視聴デバイス情報として、ディスプレイの解像度を示す解像度情報を取得する。
　ステップＳ１０３において、必要密度算出部２１４は、表示制御部２１３より、視聴デバイス情報の視点に関する情報として、視点の視野角を示すFOV情報を取得する。
　ステップＳ１０４において、必要密度算出部２１４は、表示制御部２１３より、視点に関する情報として、視点の位置を示す視点位置情報や、視点向きを示す視聴方向情報を取得する。
　ステップＳ１０５において、必要密度算出部２１４は、ファイル取得部２１１より、処理対象のポイントクラウドオブジェクトに関する情報であるオブジェクト情報として、その処理対象のオブジェクトの位置や外接球情報を取得する。つまり、オブジェクト情報は、ポイントクラウドオブジェクトの位置に関する情報と、そのポイントクラウドオブジェクトの大きさに関する情報とを含む。
　ステップＳ１０６において、必要密度算出部２１４は、視点の位置とオブジェクトの位置に基づいて、視点位置およびオブジェクト間の距離と、視聴角度とを導出する。
　ステップＳ１０７において、必要密度算出部２１４は、視点位置およびオブジェクト間の距離と、視聴角度とにおいて許容可能なポイント間隔、すなわち、主観画質の低減を抑制するために必要なポイント間隔（必要ポイント密度）を算出する。
　ステップＳ１０８において、ファイル取得部２１１は、ステップＳ１０７において、必要密度算出部２１４により算出された許容可能なポイント間隔（必要ポイント密度）に基づいて、LoDコンテンツファイルを選択し、取得する。例えば、ファイル取得部２１１は、その許容可能なポイント間隔よりも狭いポイント間隔のLoDコンテンツファイルであって、かつ、その中でポイント間隔が最大のLoDコンテンツファイル（必要ポイント密度よりも高密度であり、かつ、最も必要ポイント密度に近いポイント密度のLoDコンテンツファイル）を選択する。
　ステップＳ１０９において、解析部２１２は、ステップＳ１０８において取得されたLoDコンテンツファイルに対して解析表示処理を行い、処理対象のオブジェクトの表示情報を生成する。
　ステップＳ１１０において、ファイル処理部２２１は、ストリームの終端であるか否かを判定する。終端であると判定された場合、再生処理が終了する。また、終端でないと判定された場合、処理はステップＳ１１１に進む。
　ステップＳ１１１において、表示制御部２１３は、視野（FOV）が変更されたか否かを判定する。FOVが変更されたと判定された場合、処理はステップＳ１０３に戻る。FOVが変更されていないと判定された場合、処理はステップＳ１１２に進む。
　ステップＳ１１２において、表示制御部２１３は、視点位置や方向が変更されたか否かを判定する。視点位置や方向が変更されたと判定された場合、処理はステップＳ１０４に戻る。また、視点位置や方向が変更されていないと判定された場合、処理はステップＳ１０５に戻る。
　　＜解析表示処理の流れ＞
　次に、図１４のステップＳ１０９において実行される解析表示処理の流れの例を、図１５のフローチャートを参照して説明する。
　解析表示処理が開始されると、ファイル処理部２２１は、ステップＳ１４１において、図１４のステップＳ１０８において取得されたLoDコンテンツファイルから処理対象のオブジェクトのポイントクラウドデータの符号化データであるポイントクラウドオブジェクトストリームを取得する。
　ステップＳ１４２において、復号部２２２は、そのポイントクラウドオブジェクトストリームを復号し、処理対象のオブジェクトのポイントクラウドデータを生成する。
　ステップＳ１４３において、表示情報生成部２２３は、そのポイントクラウドデータを3Dレンダリングし、表示情報を生成する。
　ステップＳ１４４において、表示部２１５は、その表示情報をディスプレイに表示する。
　ステップＳ１４４の処理が終了すると、解析表示処理が終了し、処理は図１４に戻る。
　以上のように、各処理を実行することにより、再生装置２００は、ポイントクラウドオブジェクトの表示サイズに応じて、主観画質が低減しないようにLoDを選択することができる。したがって、負荷の増大を抑制しながら主観画質の低減を抑制することができる。
　＜２．第２の実施の形態＞
　　＜補間処理の適用＞
　さらに、精細度不足の補間を行ってもよい。つまり、視点の位置を基準とするポイントクラウドオブジェクトの相対位置に応じたそのポイントクラウドオブジェクトの表示サイズに基づいて、そのポイントクラウドオブジェクトの表示に必要なポイントの密度である必要ポイント密度を算出し、その視点からそのポイントクラウドオブジェクトまでの距離に基づいて、LoDのコンテンツファイルを選択し、その算出された必要ポイント密度以上となるように、その選択されたLoDのコンテンツファイルにおけるそのポイントクラウドオブジェクトのポイントの密度を補正してもよい。
　例えば、画像処理装置において、視点の位置を基準とするポイントクラウドオブジェクトの相対位置に応じたそのポイントクラウドオブジェクトの表示サイズに基づいて、そのポイントクラウドオブジェクトの表示に必要なポイントの密度である必要ポイント密度を算出する必要密度算出部と、その視点からそのポイントクラウドオブジェクトまでの距離に基づいて、LoDのコンテンツファイルを選択する選択部と、その必要密度算出部により算出された必要ポイント密度以上となるように、その選択部により選択されたLoDのコンテンツファイルにおけるそのポイントクラウドオブジェクトのポイントの密度を補正する補正部とを備えるようにしてもよい。
　このようにすることにより、ポイントクラウドオブジェクトの表示サイズに応じて、主観画質が低減しないようにポイント密度（ポイント間隔）を補正することができる。したがって、負荷の増大を抑制しながら主観画質の低減を抑制することができる。
　　＜精細度を抑えたLOD切替えと補間処理連携＞
　この方法の場合、LOD切替えは従来のLOD distanceのみで行うなど、精細度不足が発生するようなLOD切替えを行い、必要十分となるポイント間隔と、現在再生しているLODモデルのポイント間隔との比較をアップサンプリング処理といった点の補間処理の実行判断に使う。このようにすることにより、第１の実施の形態において説明した方法よりも取得する情報量を削減することができ、かつ、この補正処理を適切に行うことができれば、精細度不足による画質劣化も抑制することができる。
　例えば、実質のLOD境界が図１２のＢの境界マップのようになっている状況下で、図１２のＡの境界マップのラインでLOD切替えを行う。つまり、距離に応じてLODを切り替える。ここで、図１２のＡの境界マップにおける境界ラインと図１２のＢの境界マップにおける境界ラインとを１つに重ねた境界マップを図１６に示す。
　ここで、図１６に描かれているように１つのオブジェクト３１１が図中の１→２→３（図中においては丸で囲まれた数字）の順に移動するとする。
　１：Low-LODを取得/再生し、アップサンプリング等のポイント（ポイント密度）に関する補正を行わない。
　２：Low-LODを取得/再生し、アップサンプリング等のポイント（ポイント密度）に関する補正を行う。
　３：Mid-LODを取得/再生し、アップサンプリング等のポイント（ポイント密度）に関する補正を行わない。
　このように、第１の実施の形態において説明したように算出した”主観画質の低減を抑制するために必要なポイント密度（ポイント間隔）”と、各LODのポイント密度情報から容易に、精細度が不足か否かの判別を行うことができ、アップサンプリング処理といった点の補間処理を適切なタイミングで行うことができる。
　　＜精細度の不足状況の把握と補正＞
　第１の実施の形態において上述したように、各オブジェクト位置での”主観画質の低減を抑制するために必要なポイント間隔”には水平方向のものと垂直方向のものと２つ存在する。式（４）の水平方向の引き伸ばし倍率を使って、水平方向の”主観画質の低減を抑制するためにポイント間隔”を算出することができ、式（５）の垂直方向の引き伸ばし倍率を使って、垂直方向の”主観画質の低減を抑制するためにポイント間隔”を算出することができる。
　図１７は、水平方向のみ引き伸ばされる場合の例を示す図である。図１７のＡは、その場合のディスプレイの表示画面の例を示し、図１７のＢは、その場合の水平方向のLOD境界ラインとオブジェクト３１１の位置を示し、図１７のＣは、垂直方向のLOD境界ラインとオブジェクト３１１の位置を示している。
　この場合、図１７のＢに示されるように、水平方向にはある程度の視聴角度があり、水平方向の引き伸ばし歪みが発生するのがわかる。また、図１７のＣに示されるように、垂直方向においては、オブジェクトは投影面に対し中心に位置し、垂直方向の視聴角度は0度となる。そのため、垂直方向の引き伸ばし歪みは発生しない。
　図１７のＢの境界マップによると、オブジェクト３１１の水平方向の位置は、Low-LODを取得する領域であるものの実際にはMid-LODを取得すべき位置である。そのため、水平方向に対する精細度不足が発生している。このような場合、ポイント密度（ポイント間隔）の補正を行う。
　これに対して、図１７のＣの境界マップによると、オブジェクト３１１の垂直方向の位置は、Low-LODの精細度で十分な位置である。そのため、垂直方向に対する精細度不足は発生していない。このような場合、ポイント密度（ポイント間隔）の補正を行わない。
　つまり、この場合、精細度不足は水平方向にのみ発生している。そのため、水平方向についてのみ、ポイント密度（ポイント間隔）の補正が行われる。
　ポイント密度（ポイント間隔）の補正方法として、例えば、ポイントのアップサンプリングを適用してもよい。
　この場合の、Low-LODのポイント間隔、水平方向の主観画質の低減を抑制するために必要なポイント間隔、および垂直方向の主観画質の低減を抑制するために必要なポイント間隔がそれぞれ以下のような値をとるものとする。
　Low-LODのポイント間隔：0.003(m)
　垂直方向の主観画質の低減を抑制するために必要なポイント間隔：0.003(m)
　水平方向の主観画質の低減を抑制するために必要なポイント間隔：0.001(m)
　このような場合、例えば図１８のＡにおいて黒丸で示される元のモデルデータポイント３２１群に対して、図１８のＢに示されるように、白丸で示されるポイント３２２群を追加し、水平方向のみポイントを３倍にアップサンプリングする。つまり、アップサンプリングによって、水平方向にのみ間隔が0.001(ｍ)とする。
　このようにすることにより、オブジェクトが図１７の例のように水平方向に引き延ばされることにより、図１９に示されるように、ポイント間隔が、水平方向および垂直方向において、ともに0.003(m)となる。つまり、水平方向および垂直方向の両方とも、主観画質の低減を抑制するために必要なポイント間隔（ポイント密度）となる。したがって、負荷の増大を抑制しながら主観画質の低減を抑制することができる。
　このように第１の実施の形態において上述したように”主観画質の低減を抑制するために必要なポイント間隔”に基づいて、例えばアップサンプリング等のポイント間隔（ポイント密度）の補正を行うことにより、不足箇所のみ補間するという無駄なく効率のよい補間が可能となる。
　なお、ポイント間隔（ポイント密度）の補正方法は任意であり、アップサンプリング（ポイントの補間処理）に限定されない。例えば、この補正処理として、ポイントの表示サイズ（ピクセル数）を大きくする（増大させる）ようにしてもよい。
　例えば、通常は１ピクセルで表示する１ポイントを、例えば、2x2ピクセル、3x3ピクセル、または4x4ピクセルというように表示サイズを変える（大きくする）ことにより、ポイント間隔（ポイント密度）の補正を実現してもよい。
　その際、上述の例のようにポイントの表示サイズを水平方向と垂直方向とで互いに同サイズとしてもよいし、水平方向および垂直方向のそれぞれの引き延ばし率に応じて、水平方向の表示サイズと垂直方向の表示サイズとを互いに独立に制御するようにしてもよい。例えば、図１７乃至図１９の例の場合、ポイントの表示サイズ（垂直方向ｘ水平方向）を、1x3ピクセルとしてもよい。このようにすることにより、精細度の不足状況に対してより適切な補正が可能となる。
　以上のように、”主観画質の低減を抑制するために必要なポイント間隔”を参考にすることで、ポイントクラウドオブジェクトの精細度の不足状況をより的確に捉え、より適切な補正処理を行うことができる。したがって、図１６に示されるような”精細度を抑えたLOD切替えと補間処理との連携”が実現可能となる。
　　＜再生装置＞
　このような処理を行う場合の再生装置２００の主な構成例を図２０に示す。図２０に示されるように、この場合の再生装置２００の再生部２０３は、図１３の構成に加え、精細度不足状況解析部３３１を有する。また、解析部２１２は、図１３の構成に加え、補間処理部３３２を有する。
　精細度不足状況解析部３３１は、精細度の不足状況の解析に関する処理を行う。例えば、精細度不足状況解析部３３１は、必要密度算出部２１４から供給される主観画質の低減を抑制するために必要なポイント間隔（ポイント密度）に関する情報（水平方向と垂直方向のそれぞれについて）と、ファイル処理部２２１から供給される現在のLoDモデルデータのポイント間隔（ポイント密度）とに基づいて、上述のように、精細度の不足状況（水平方向と垂直方向のそれぞれについて）を求める。精細度不足状況解析部３３１は、求めた精細度の不足状況を示す情報を補間処理部３３２に供給する。
　補間処理部３３２は、ポイントの補間に関する処理を行う。例えば、補間処理部３３２は、復号部２２２から供給される処理対象のオブジェクトのポイントクラウドデータを取得し、そのポイントクラウドデータに対して、精細度不足状況解析部３３１から供給される精細度の不足状況を示す情報に基づいてポイントの補間処理（例えばアップサンプリング）を行い、その処理結果（補間処理後のポイントクラウドデータ）を表示情報生成部２２３に供給する。
　表示情報生成部２２３は、その補間処理部３３２により補間処理されたポイントクラウドデータを用いて表示情報を生成する。
　このようにすることにより、上述した”精細度を抑えたLOD切替えと補間処理との連携”を実現することができる。
　　＜再生処理の流れ＞
　この場合の再生装置２００により実行される再生処理の流れの例を、図２１のフローチャートを参照して説明する。
　再生処理が開始されると、ステップＳ３０１乃至ステップＳ３０７の各処理が、ステップＳ１０１乃至ステップＳ１０７（図１４）の各処理と同様に実行される。ただし、ステップＳ３０１の処理は、精細度不足状況解析部３３１が行う。
　ステップＳ３０８において、ファイル取得部２１１は、視点位置と処理対象のオブジェクト位置との距離に基づいて、LoDコンテンツファイルを選択し、取得する。例えば、ファイル取得部２１１は、図１２のＡに示される境界マップに基づいて、LoDコンテンツファイルを選択する。
　ステップＳ３０９において、精細度不足状況解析部３３１は、許容可能なポイント間隔（つまり、主観画質の低減を抑制するために必要なポイント間隔（ポイント密度））と、現在再生中のLODモデルのポイント間隔とに基づいて、精細度の不足状況を解析する。精細度不足状況解析部３３１は、水平方向と垂直方向のそれぞれについて、この精細度の不足状況の解析を行う。
　ステップＳ３１０乃至ステップＳ３１３の各処理は、ステップＳ１０９乃至ステップＳ１１２（図１４）の各処理と同様に実行される。
　　＜解析表示処理の流れ＞
　次に、図２１のステップＳ３１０において実行される解析表示処理の流れの例を、図２２のフローチャートを参照して説明する。
　この場合、解析表示処理が開始されると、ステップＳ３４１およびステップＳ３４２の各処理が、ステップＳ１４１およびステップＳ１４２（図１５）の各処理と同様に実行される。
　ステップＳ３４３において、補間処理部３３２は、ステップＳ３０９（図２１）において、精細度不足状況解析部３３１により解析された精細度の不足状況に応じて、例えばアップサンプリング等のポイントの補間処理を行う。補間処理部３３２は、水平方向と垂直方向のそれぞれについて、この補間処理を行う。
　その補間処理後のポイントクラウドデータを用いて、ステップＳ３４４およびステップＳ３４５の各処理が、ステップＳ１４３およびステップＳ１４４（図１５）の各処理と同様に実行される。ステップＳ３４５の処理が終了すると、解析表示処理が終了し、処理は図２１に戻る。
　以上のように、各処理を実行することにより、再生装置２００は、上述した”精細度を抑えたLOD切替えと補間処理との連携”を実現することができる。したがって、負荷の増大を抑制しながら主観画質の低減を抑制することができる。
　＜３．付記＞
　　＜コンピュータ＞
　上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
　図２３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　図２３に示されるコンピュータ９００において、CPU（Central Processing Unit）９０１、ROM（Read Only Memory）９０２、RAM（Random Access Memory）９０３は、バス９０４を介して相互に接続されている。
　バス９０４にはまた、入出力インタフェース９１０も接続されている。入出力インタフェース９１０には、入力部９１１、出力部９１２、記憶部９１３、通信部９１４、およびドライブ９１５が接続されている。
　入力部９１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部９１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部９１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部９１４は、例えば、ネットワークインタフェースよりなる。ドライブ９１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア９２１を駆動する。
　以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９１３に記憶されているプログラムを、入出力インタフェース９１０およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　コンピュータが実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア９２１をドライブ９１５に装着することにより、入出力インタフェース９１０を介して、記憶部９１３にインストールすることができる。
　また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部９１４で受信し、記憶部９１３にインストールすることができる。
　その他、このプログラムは、ROM９０２や記憶部９１３に、あらかじめインストールしておくこともできる。
　　＜本技術の適用対象＞
　以上においては、ポイントクラウドデータの再生に本技術を適用する場合について説明したが、本技術を適用可能な３Ｄデータは、この例に限定されない。つまり、上述した本技術と矛盾しない限り、３Ｄデータやメタデータ等の各種データの仕様は任意である。また、本技術と矛盾しない限り、上述した一部の処理や仕様を省略してもよい。
　また、以上においては、本技術の適用例として再生装置２００等について説明したが、本技術は、任意の構成に適用することができる。
　例えば、本技術は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、およびセルラー通信による端末への配信などにおける送信機や受信機（例えばテレビジョン受像機や携帯電話機）、または、光ディスク、磁気ディスクおよびフラッシュメモリなどの媒体に画像を記録したり、これら記憶媒体から画像を再生したりする装置（例えばハードディスクレコーダやカメラ）などの、様々な電子機器に適用され得る。
　また、例えば、本技術は、システムLSI（Large Scale Integration）等としてのプロセッサ（例えばビデオプロセッサ）、複数のプロセッサ等を用いるモジュール（例えばビデオモジュール）、複数のモジュール等を用いるユニット（例えばビデオユニット）、または、ユニットにさらにその他の機能を付加したセット（例えばビデオセット）等、装置の一部の構成として実施することもできる。
　また、例えば、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、本技術を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングとして実施するようにしてもよい。例えば、コンピュータ、AV（Audio Visual）機器、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対して、画像（動画像）に関するサービスを提供するクラウドサービスにおいて本技術を実施するようにしてもよい。
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　　＜本技術を適用可能な分野・用途＞
　本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。
　　＜その他＞
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　また、例えば、上述したプログラムは、任意の装置において実行されるようにしてもよい。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
　また、例えば、１つのフローチャートの各ステップを、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。さらに、１つのステップに複数の処理が含まれる場合、その複数の処理を、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
　また、例えば、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
　また、例えば、本技術に関する複数の技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
　なお、本技術は以下のような構成も取ることができる。
　（１）　視点の位置を基準とするポイントクラウドオブジェクトの相対位置に応じた前記ポイントクラウドオブジェクトの表示サイズに基づいて、前記ポイントクラウドオブジェクトの表示に必要なポイントの密度である必要ポイント密度を算出する必要密度算出部と、
　前記ポイントクラウドオブジェクトのポイントの密度が、前記必要密度算出部により算出された前記必要ポイント密度以上であるLoDのコンテンツファイルを選択する選択部と
　を備える画像処理装置。
　（２）　前記必要密度算出部は、前記表示サイズとして、前記視点の向きを基準とする前記ポイントクラウドオブジェクトの相対角度に応じた、前記視点の向きにおける前記ポイントクラウドオブジェクトの表示サイズからの引き延ばし倍率を算出し、前記引き延ばし倍率を用いて前記必要ポイント密度を算出する
　（１）に記載の画像処理装置。
　（３）　前記必要密度算出部は、水平方向の前記引き延ばし倍率と、垂直方向の前記引き延ばし倍率との内の大きい方を用いて、前記必要ポイント密度を算出する
　（２）に記載の画像処理装置。
　（４）　前記必要密度算出部は、前記ポイントクラウドオブジェクトに関する情報であるオブジェクト情報と、前記ポイントクラウドオブジェクトを表示する視聴デバイスに関する情報である視聴デバイス情報とに基づいて、水平方向および垂直方向の前記引き延ばし倍率をそれぞれ算出する
　（３）に記載の画像処理装置。
　（５）　前記オブジェクト情報は、前記ポイントクラウドオブジェクトの位置に関する情報と、前記ポイントクラウドオブジェクトの大きさに関する情報とを含む
　（４）に記載の画像処理装置。
　（６）　前記ポイントクラウドオブジェクトの前記大きさに関する情報は、前記ポイントクラウドオブジェクトに外接する外接球に関する情報を含む
　（５）に記載の画像処理装置。
　（７）　前記視聴デバイス情報は、前記視聴デバイスの表示解像度に関する情報と、前記視点に関する情報とを含む
　（４）乃至（６）のいずれかに記載の画像処理装置。
　（８）　前記視点に関する情報は、前記視点の位置に関する情報、前記視点の向きに関する情報、および、前記視点の視野角に関する情報とを含む
　（７）に記載の画像処理装置。
　（９）　前記選択部は、前記ポイントクラウドオブジェクトのポイントの密度が、前記必要ポイント密度以上であり、かつ、最小のLoDのコンテンツファイルを選択する
　（１）乃至（８）のいずれかに記載の画像処理装置。
　（１０）　視点の位置を基準とするポイントクラウドオブジェクトの相対位置に応じた前記ポイントクラウドオブジェクトの表示サイズに基づいて、前記ポイントクラウドオブジェクトの表示に必要なポイントの密度である必要ポイント密度を算出し、
　前記ポイントクラウドオブジェクトのポイントの密度が、算出された前記必要ポイント密度以上であるLoDのコンテンツファイルを選択する
　画像処理方法。
　（１１）　視点の位置を基準とするポイントクラウドオブジェクトの相対位置に応じた前記ポイントクラウドオブジェクトの表示サイズに基づいて、前記ポイントクラウドオブジェクトの表示に必要なポイントの密度である必要ポイント密度を算出する必要密度算出部と、
　前記視点から前記ポイントクラウドオブジェクトまでの距離に基づいて、LoDのコンテンツファイルを選択する選択部と、
　前記必要密度算出部により算出された前記必要ポイント密度以上となるように、前記選択部により選択された前記LoDのコンテンツファイルにおける前記ポイントクラウドオブジェクトのポイントの密度を補正する補正部と
　を備える画像処理装置。
　（１２）　前記補正部は、水平方向と垂直方向のそれぞれについて、前記ポイントクラウドオブジェクトのポイントの密度を補正する
　（１１）に記載の画像処理装置。
　（１３）　前記補正部は、ポイントを補間することにより、前記ポイントクラウドオブジェクトのポイントの密度を補正する
　（１１）または（１２）に記載の画像処理装置。
　（１４）　前記補正部は、ポイントサイズを増大させることにより、前記ポイントクラウドオブジェクトのポイントの密度を補正する
　（１１）乃至（１３）のいずれかに記載の画像処理装置。
　（１５）　視点の位置を基準とするポイントクラウドオブジェクトの相対位置に応じた前記ポイントクラウドオブジェクトの表示サイズに基づいて、前記ポイントクラウドオブジェクトの表示に必要なポイントの密度である必要ポイント密度を算出し、
　前記視点から前記ポイントクラウドオブジェクトまでの距離に基づいて、LoDのコンテンツファイルを選択し、
　算出された前記必要ポイント密度以上となるように、選択された前記LoDのコンテンツファイルにおける前記ポイントクラウドオブジェクトのポイントの密度を補正する
　画像処理方法。
　２００　再生装置，　２０１　制御部，　２０２　記憶部，　２０３　再生部，　２１１　ファイル取得部，　２１２　解析部，　２１３　表示制御部，　２１４　必要密度算出部，　２１５　表示部，　２２１　ファイル処理部，　２２２　復号部，　２２３　表示情報生成部，　３３１　精度不足状況解析部，　３３２　補間処理部

Claims (15)

  1. 　視点の位置を基準とするポイントクラウドオブジェクトの相対位置に応じた前記ポイントクラウドオブジェクトの表示サイズに基づいて、前記ポイントクラウドオブジェクトの表示に必要なポイントの密度である必要ポイント密度を算出する必要密度算出部と、
    　前記ポイントクラウドオブジェクトのポイントの密度が、前記必要密度算出部により算出された前記必要ポイント密度以上であるLoDのコンテンツファイルを選択する選択部と
    　を備える画像処理装置。
  2. 　前記必要密度算出部は、前記表示サイズとして、前記視点の向きを基準とする前記ポイントクラウドオブジェクトの相対角度に応じた、前記視点の向きにおける前記ポイントクラウドオブジェクトの表示サイズからの引き延ばし倍率を算出し、前記引き延ばし倍率を用いて前記必要ポイント密度を算出する
    　請求項１に記載の画像処理装置。
  3. 　前記必要密度算出部は、水平方向の前記引き延ばし倍率と、垂直方向の前記引き延ばし倍率との内の大きい方を用いて、前記必要ポイント密度を算出する
    　請求項２に記載の画像処理装置。
  4. 　前記必要密度算出部は、前記ポイントクラウドオブジェクトに関する情報であるオブジェクト情報と、前記ポイントクラウドオブジェクトを表示する視聴デバイスに関する情報である視聴デバイス情報とに基づいて、水平方向および垂直方向の前記引き延ばし倍率をそれぞれ算出する
    　請求項３に記載の画像処理装置。
  5. 　前記オブジェクト情報は、前記ポイントクラウドオブジェクトの位置に関する情報と、前記ポイントクラウドオブジェクトの大きさに関する情報とを含む
    　請求項４に記載の画像処理装置。
  6. 　前記ポイントクラウドオブジェクトの前記大きさに関する情報は、前記ポイントクラウドオブジェクトに外接する外接球に関する情報を含む
    　請求項５に記載の画像処理装置。
  7. 　前記視聴デバイス情報は、前記視聴デバイスの表示解像度に関する情報と、前記視点に関する情報とを含む
    　請求項４に記載の画像処理装置。
  8. 　前記視点に関する情報は、前記視点の位置に関する情報、前記視点の向きに関する情報、および、前記視点の視野角に関する情報とを含む
    　請求項７に記載の画像処理装置。
  9. 　前記選択部は、前記ポイントクラウドオブジェクトのポイントの密度が、前記必要ポイント密度以上であり、かつ、最小のLoDのコンテンツファイルを選択する
    　請求項１に記載の画像処理装置。
  10. 　視点の位置を基準とするポイントクラウドオブジェクトの相対位置に応じた前記ポイントクラウドオブジェクトの表示サイズに基づいて、前記ポイントクラウドオブジェクトの表示に必要なポイントの密度である必要ポイント密度を算出し、
    　前記ポイントクラウドオブジェクトのポイントの密度が、算出された前記必要ポイント密度以上であるLoDのコンテンツファイルを選択する
    　画像処理方法。
  11. 　視点の位置を基準とするポイントクラウドオブジェクトの相対位置に応じた前記ポイントクラウドオブジェクトの表示サイズに基づいて、前記ポイントクラウドオブジェクトの表示に必要なポイントの密度である必要ポイント密度を算出する必要密度算出部と、
    　前記視点から前記ポイントクラウドオブジェクトまでの距離に基づいて、LoDのコンテンツファイルを選択する選択部と、
    　前記必要密度算出部により算出された前記必要ポイント密度以上となるように、前記選択部により選択された前記LoDのコンテンツファイルにおける前記ポイントクラウドオブジェクトのポイントの密度を補正する補正部と
    　を備える画像処理装置。
  12. 　前記補正部は、水平方向と垂直方向のそれぞれについて、前記ポイントクラウドオブジェクトのポイントの密度を補正する
    　請求項１１に記載の画像処理装置。
  13. 　前記補正部は、ポイントを補間することにより、前記ポイントクラウドオブジェクトのポイントの密度を補正する
    　請求項１１に記載の画像処理装置。
  14. 　前記補正部は、ポイントサイズを増大させることにより、前記ポイントクラウドオブジェクトのポイントの密度を補正する
    　請求項１１に記載の画像処理装置。
  15. 　視点の位置を基準とするポイントクラウドオブジェクトの相対位置に応じた前記ポイントクラウドオブジェクトの表示サイズに基づいて、前記ポイントクラウドオブジェクトの表示に必要なポイントの密度である必要ポイント密度を算出し、
    　前記視点から前記ポイントクラウドオブジェクトまでの距離に基づいて、LoDのコンテンツファイルを選択し、
    　算出された前記必要ポイント密度以上となるように、選択された前記LoDのコンテンツファイルにおける前記ポイントクラウドオブジェクトのポイントの密度を補正する
    　画像処理方法。
PCT/JP2021/017986 2020-05-26 2021-05-12 画像処理装置および方法 WO2021241222A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/925,571 US20230196700A1 (en) 2020-05-26 2021-05-12 Image processing apparatus and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020091282 2020-05-26
JP2020-091282 2020-05-26

Publications (1)

Publication Number Publication Date
WO2021241222A1 true WO2021241222A1 (ja) 2021-12-02

Family

ID=78723355

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/017986 WO2021241222A1 (ja) 2020-05-26 2021-05-12 画像処理装置および方法

Country Status (2)

Country Link
US (1) US20230196700A1 (ja)
WO (1) WO2021241222A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007249965A (ja) * 2006-03-16 2007-09-27 Samsung Electronics Co Ltd ポイント基盤のレンダリング装置及び方法
WO2019012975A1 (ja) * 2017-07-10 2019-01-17 ソニー株式会社 情報処理装置および方法
WO2019094184A1 (en) * 2017-11-07 2019-05-16 Interdigital Vc Holdings, Inc. Method, apparatus and stream for encoding/decoding volumetric video

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007249965A (ja) * 2006-03-16 2007-09-27 Samsung Electronics Co Ltd ポイント基盤のレンダリング装置及び方法
WO2019012975A1 (ja) * 2017-07-10 2019-01-17 ソニー株式会社 情報処理装置および方法
WO2019094184A1 (en) * 2017-11-07 2019-05-16 Interdigital Vc Holdings, Inc. Method, apparatus and stream for encoding/decoding volumetric video

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KHALED, MAMMOU ET AL., G-PCC CODEC DESCRIPTION V2, W18189.DOCX, January 2019 (2019-01-01), Retrieved from the Internet <URL:https://mpeg.chiariglione.org/sites/default/files/files/standards/parts/docs/wl8l89.zip> [retrieved on 20210610] *
RAFAEL, MEKURIA ET AL., DESIGN, IMPLEMENTATION, AND EVALUATION OF A POINT CLOUD CODEC FOR TELE- IMMERSIVE VIDEO, April 2017 (2017-04-01), pages 828 - 842, XP011644783, Retrieved from the Internet <URL:https://ieeexplore.ieee.org/document/7434610> [retrieved on 20210610] *

Also Published As

Publication number Publication date
US20230196700A1 (en) 2023-06-22

Similar Documents

Publication Publication Date Title
US8983236B1 (en) Methods and systems for up-scaling a standard definition (SD) video to high definition (HD) quality
US9721393B1 (en) Method for processing and delivering virtual reality content to a user
RU2742344C2 (ru) Способ, устройство и поток форматирования иммерсивного видео для устройств унаследованного и иммерсивного рендеринга
US8044994B2 (en) Method and system for decoding and displaying 3D light fields
EP2974334B1 (en) Creating details in an image with adaptive frequency strength controlled transform
US9536288B2 (en) Creating details in an image with adaptive frequency lifting
EP2974335B1 (en) Control of frequency lifting super-resolution with image features
US8798136B2 (en) Image processing system and method
KR102197579B1 (ko) 주파수 리프팅으로 이미지에서 디테일 생성
EP2667378B1 (en) Content creation using interpolation between content versions
WO2021241222A1 (ja) 画像処理装置および方法
US11544830B2 (en) Enhancing image data with appearance controls
Muñoz et al. Methodology for fine-grained monitoring of the quality perceived by users on 360VR contents
US8380011B2 (en) Fast directional image interpolator with difference projection
CN114897681A (zh) 基于实时虚拟视角插值的多用户自由视角视频方法及系统
US11895416B2 (en) Electro-optical transfer function conversion and signal legalization
WO2020175176A1 (ja) 情報処理装置および方法、並びに、再生装置および方法
WO2023150193A1 (en) Supporting multiple target display types
CN115914503A (zh) 图像合成方法、视频会议方法、设备及存储介质
CN118160311A (zh) 用于对体积内容进行编码/解码的方法和装置
CN117135337A (zh) 视频源的质量评估方法、装置、计算机设备、存储介质
CN112889282A (zh) 用于对图像执行人工智能编码和人工智能解码的方法和设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21811993

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21811993

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP