WO2018173875A1 - 情報処理装置および情報処理方法、並びにプログラム - Google Patents

情報処理装置および情報処理方法、並びにプログラム Download PDF

Info

Publication number
WO2018173875A1
WO2018173875A1 PCT/JP2018/009913 JP2018009913W WO2018173875A1 WO 2018173875 A1 WO2018173875 A1 WO 2018173875A1 JP 2018009913 W JP2018009913 W JP 2018009913W WO 2018173875 A1 WO2018173875 A1 WO 2018173875A1
Authority
WO
WIPO (PCT)
Prior art keywords
region
information
signaled
sphere
information processing
Prior art date
Application number
PCT/JP2018/009913
Other languages
English (en)
French (fr)
Inventor
遼平 高橋
俊也 浜田
充 勝股
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2019507591A priority Critical patent/JP7243620B2/ja
Priority to KR1020197026763A priority patent/KR20190129865A/ko
Priority to EP18772069.3A priority patent/EP3606085A4/en
Priority to CN201880018913.2A priority patent/CN110476436A/zh
Priority to CA3056739A priority patent/CA3056739A1/en
Priority to RU2019129256A priority patent/RU2019129256A/ru
Priority to US16/486,271 priority patent/US20190394445A1/en
Priority to BR112019019311A priority patent/BR112019019311A2/pt
Priority to AU2018238632A priority patent/AU2018238632A1/en
Publication of WO2018173875A1 publication Critical patent/WO2018173875A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a program, and in particular, an information processing device, an information processing method, and a program that are capable of signaling region information of an omnidirectional video in a wider variety of projection formats. About.
  • IPTV Internet Protocol Television
  • VOD Video On Demand
  • HTTP Hypertext Transfer Protocol
  • MPEG-DASH Moving Picture Experts Group Dynamic Adaptive Streaming over HTTP
  • ISO / IEC / MPEG is attracting attention (for example, see Non-Patent Document 1).
  • VR standardization MPEG-I: “Coded” Representation of “Immersive” media
  • HMD Head-Mounted Display
  • video displayed at a time is not all 360 ° but only video in a part of the area. Therefore, in the omnidirectional video used in VR, it is necessary to signal area information representing a part of the displayed area.
  • omnidirectional video network distribution is performed by MPEG-DASH, the bandwidth is limited, so viewport-dependent processing for the purpose of effective use is being studied.
  • the present disclosure has been made in view of such a situation, and makes it possible to signal the area information of the omnidirectional video in a wider variety of projection formats.
  • the information processing apparatus generates a region information that represents a region on a sphere by signaling a plurality of vertices on the sphere and connecting the vertices with the shortest distance on the sphere. A part.
  • the information processing method or program according to the first aspect of the present disclosure generates a region information representing a region on the sphere by signaling a plurality of vertices on the sphere and connecting the vertices with the shortest distance on the sphere. Including the steps of:
  • a plurality of vertices on the sphere are signaled, and the vertices are connected by the shortest distance on the sphere to generate region information representing the region on the sphere.
  • the information processing device signals a vertex of each surface for each surface on the spherical surface, and connects a surface region formed by connecting the vertices at the shortest distance on the spherical surface to the surface
  • a generation unit that generates region information representing a region on the spherical surface by signaling according to the number is provided.
  • the information processing method or program signals a vertex of each surface for each surface on the spherical surface, and connects a surface region formed by connecting the vertices with the shortest distance on the spherical surface, It includes a step of generating region information representing a region on the spherical surface by signaling according to the number of surfaces.
  • the surface area formed by signaling the vertices of each surface for each surface on the spherical surface and connecting the vertices with the shortest distance on the spherical surface is determined according to the number of surfaces. Region information representing the region on the spherical surface is generated.
  • FIG. 20 is a diagram for describing a case where all fraction tracks have tcov in the third embodiment. It is a figure which shows the example which signals 6 surfaces of a cube.
  • FIG. 18 is a block diagram illustrating a configuration example of an embodiment of a computer to which the present technology is applied.
  • viewport-dependent processing that acquires and displays an image of an appropriate area according to the viewpoint and field of view of a celestial sphere image divided into a plurality of areas has been used. In viewport-dependent processing, it is not necessary to acquire the area that is not displayed.
  • FIG. 1 shows a state in which an omnidirectional video is expanded in a plane by equirectangular projection, and the whole is divided into 18 areas, and each area is an individual video stream. ing.
  • An area corresponding to the viewpoint and field of view of the client is indicated by a double-line rectangle, and a video stream is acquired according to the area.
  • video streams of areas No. 3, No. 4, No. 9, and No. 10 are acquired and used to display an area according to the viewpoint and field of view of the client.
  • region information of a spherical image is signaled as area
  • viewport information is generally handled in a spherical coordinate system (yaw, pitch, roll) as shown in FIG. 2, and the processing can be simplified by aligning the coordinate systems.
  • FIG. 3 shows an example of area information defined by MPEG.
  • CoverageInformationBox signals information on an area on a sphere where a spherical image stored in track is displayed. Then, center_yaw indicates the yaw angle at the center of the area, center_pitch indicates the pitch angle at the center of the area, hor_range indicates the horizontal angle range, and ver_range indicates the vertical angle range.
  • shape_type two types of regions on the spherical surface.
  • FIG. 5 shows the storage location of covi, which is content coverage information.
  • shape_type 0 can signal the surface area of cube projection mapping (CMP) one by one, and can signal the rectangular area of equirectangular projection (ERP).
  • CMP cube projection mapping
  • ERP equirectangular projection
  • coverage of content stored in the ISOBMFF track is expressed by a region formed by signaling a plurality of vertices with yaw and pitch and connecting the vertices with the shortest distance on the spherical surface.
  • FIG. 8 shows a first example in which three vertices are signaled and the three vertices are connected by the shortest distance on the spherical surface to express the region on the spherical surface.
  • FIG. 9 shows a second example in which six vertices are signaled and the six vertices are connected by the shortest distance on the spherical surface to express the region on the spherical surface.
  • a cube is composed of six surfaces A, B, C, D, E, and F as shown.
  • the file is formed into a file composed of two surfaces, surface B and surface C, a file composed of two surfaces, surface A and surface C, and a file composed of two surfaces, surface E and surface F.
  • the signal is sent to the spherical area by covi every two surfaces.
  • FIG. 11 shows an example of expanded ISOBMFF (Coverage Information Box) and ArbitraryRegionOnSphereStruct.
  • Each is defined to be connected at the shortest distance on the sphere.
  • covered_yaw and covered_pitch are defined so as to indicate yaw and pitch (for example, the center point of the region) of representative points included in the coverage. That is, covered_yaw / pitch must signal a point inside the area represented by point_yaw / pitch. For example, when covering three surfaces of a cube, the coverage is not uniquely determined only by the expression by point_yaw / pitch, so a signal by covered_yaw / pitch is required.
  • FIG. 13 shows the definition of parameters used in such an extended ISOBMFF track area signal method.
  • the yaw angle is ⁇ 180 ° or more and smaller than 180 °
  • the pitch angle is ⁇ 90 ° or more and 90 ° or less
  • the roll angle is ⁇ 180 ° or more and 180 ° or less.
  • the first embodiment has an advantage that it is easy to handle in terms of mounting, by using the expanded ISOBMFF to signal points on the spherical surface with yaw and pitch.
  • the client side since the client side has its own viewport information in the direction and field of view (FoV), it is determined whether or not the region surrounded by the signaled point is included in the viewport range. Easy.
  • flags may be used instead of shape_type.
  • the contents of the ArbitraryRegionOnSphereStruct may be signaled in the RegionOnSphereStruct and switched by shape_type.
  • FIG. 19 shows an example of expanded ISOBMFF (Coverage Information Box) and ArbitraryRegionOnSphereStruct.
  • Each is defined to be connected at the shortest distance on the sphere.
  • a region consisting of a plurality of surfaces can be signaled by rotating the for loop by the number of surfaces.
  • exclude_flag is introduced in ISOBMFF shown in FIG. When exclude_flag is 1, the area other than the signaled area is covered.
  • FIG. 20 shows an example of a coverage signal for five faces of a cube (other than a face with gray hatching).
  • exclude_flag 0
  • FIG. 21 shows the definition of parameters used in such an extended ISOBMFF track area signal method.
  • the second embodiment has an advantage that it is easy to handle in terms of mounting, by using the expanded ISOBMFF to signal points on the spherical surface with yaw and pitch. For example, since the client side has its own viewport information in the direction and field of view (FoV), it is determined whether or not the region surrounded by the signaled point is included in the viewport range. Easy.
  • the second embodiment since a plurality of areas can be signaled in units of planes, signals in non-continuous areas are possible. Also, as described above, the number of vertices to be signaled can be optimized by using exclude_flag. By the way, in 2nd Embodiment, duplication may arise in vertex information compared with 1st Embodiment mentioned above, and the size of Box may increase.
  • flags may be used instead of shape_type.
  • the contents of ArbitraryRegionOnSphereStrcut may be signaled in RegionOnSphereStruct and switched by shape_type.
  • shape_type may change for every area
  • the triangular area on the spherical surface can be expressed as shown in FIG.
  • classTriangleRegionOnSphereStruct is as shown in FIG. 26, and parameters are defined as shown in FIG.
  • the total coverage of the content stored in the ISOBMFF file is expressed using the signal methods of the first and second embodiments described above.
  • the region signal uses the same syntax semantics as in the first and second embodiments described above.
  • the client can easily acquire an area that can be displayed during file playback. For example, when the entire celestial sphere is not covered, a portion that cannot be displayed in advance can be filled with a client-specific image or data specified by ISOBMFF.
  • tcov Total Coverage Information Box
  • povd Projected Omnidirectional Video Box
  • case 1 a method having tcov only in the main fraction track is referred to as case 1.
  • case 1-1 the method in which tcov has only total coverage information
  • case 1-1 the method in which tcov has only total coverage information
  • tcov has a method in which all fraction track (including main) coverage information is included in case 1-2.
  • Case 2 is a method that has tcov in all the fraction tracks.
  • the method in which tcov has only total coverage information is referred to as case 2-1, and in addition to total coverage information, tcov has a method in which all fraction ⁇ track (including main) coverage information is provided.
  • the information signaled by tcov has only total coverage information, and the region signal method is the same as that in the first embodiment described above.
  • ISOBMFF Cross Information Box
  • ArbitraryRegionOnSphereStruct is the same as that in FIG. 11 (first embodiment) described above.
  • the parameters are defined as shown in FIG.
  • the modification of 1st Embodiment mentioned above can also be included.
  • the information signaled by tcov has only total coverage information
  • the region signal method is the same method as in the second embodiment described above.
  • ISOBMFF Cross Information Box
  • ArbitraryRegionOnSphereStruct is the same as in FIG. 19 (second embodiment) described above.
  • the parameters are defined as shown in FIG.
  • the modification of 2nd Embodiment mentioned above can also be included.
  • the information signaled by tcov has coverage information of all the fraction tracks (including main) in addition to the total coverage information, and the region signal method is the first signal described above. The method is the same as that of the embodiment.
  • ISOBMFF Cross Information Box
  • ArbitraryRegionOnSphereStruct is the same as in FIG. 11 (first embodiment) described above.
  • the parameters are defined as shown in FIG.
  • the modification of 1st Embodiment mentioned above can also be included.
  • num_track_partition may be set to a number excluding its own track having TotalCoverageInformationBox, and tp_id need not signal the track_id of its own track.
  • the information signaled by tcov has coverage information of all the fraction tracks (including main) in addition to the total coverage information.
  • the method is the same as that of the embodiment.
  • ISOBMFF Cross Information Box
  • ArbitraryRegionOnSphereStruct is the same as that in FIG. 19 (second embodiment) described above.
  • the parameters are defined as shown in FIG.
  • the modification of 2nd Embodiment mentioned above can also be included.
  • num_track_partition may be set to a number excluding its own track having TotalCoverageInformationBox, and tp_id does not have to signal the track_id of its own track.
  • main t fraction track has tcov and fraction t track does not have tcov.
  • the main fraction track can refer to the fraction track with Track Reference ('ofrc'), and the fraction track can refer to the main fraction track with Track Reference ('omfr'). Also, only the main fraction track has a TotalCoverageInformationBox.
  • the coverage of the fraction track can be acquired in the main fraction track.
  • prfr may be included only in main fraction track.
  • tref ('ofrc') may not be present.
  • each fraction track can be referred to each other by track reference 'omfr'.
  • the coverage of total coverage and each fraction track can be acquired within one fraction track.
  • the file size becomes larger than any of case 1-1, case 1-2, and case 2-1.
  • tref ('omfr') may not be present.
  • flags may be used instead of total_full_sphere.
  • the area covered by each representation can be signaled.
  • EssentialProperty or SupplementalProperty can be used, EssentialProperty is stored under AdaptationSet, and SupplementalProperty is stored under Representation.
  • a SupplementalProperty that a Player who cannot understand this Property may ignore this Property value and use its AdaptationSet (or Representation, Sub-Representation).
  • EssentialProperty must ignore the AdaptationSet (or Representation, Sub-Representation) in which this Property is written for Players who cannot understand this Property.
  • FIG. 39 shows a first example of the extended DASH MPD, in which the syntax of the first embodiment described above is used.
  • 40 and 41 show definitions of parameters used in the extended DASH MPD as shown in FIG.
  • the order of connecting the points may be the order of description of EssentialProperty or SupplementalProperty, or may have a parameter indicating the order in EssentialProperty or SupplementalProperty.
  • FIG. 43 describes the definitions of parameters used in the syntax shown in FIG. 43
  • FIG. 44 shows a second example of the extended DASH MPD, in which the syntax of the second embodiment described above is used.
  • 45 and 46 show the definition of parameters used in the extended DASHDMPD as shown in FIG.
  • EssentialProperty or SupplementalProperty shown in FIG. 47 is signaled by the number of regions.
  • the total of the signaled areas is Coverage or Total Coverage.
  • FIG. 48 shows an example in which the syntax of the second embodiment is used in the DASH MPD extended as described above. That is, as shown in the upper side of FIG. 48, the eight faces of the octahedron are divided into regions one by one. Further, the signal at the point of each region is shown on the lower side of FIG. 48, and FIG. 49 shows a description example of the MPD in which the signal is described.
  • the parameters shown in FIG. 46 are used as parameters.
  • center_pitch center_yaw
  • hor_range hor_range
  • ver_range the area signaled by center_pitch, center_yaw, hor_range, and ver_range does not have to match the actual content coverage.
  • it is included in the actual content coverage and the maximum area is signaled.
  • a substantially rectangular area which is included in the actual content coverage of a substantially triangular shape and becomes the maximum area is signaled.
  • FIG. 51 is a block diagram illustrating a configuration example of a distribution system to which the present technology is applied.
  • the distribution system 11 generates an omnidirectional image from the captured image captured by the imaging device 12, and displays a display image of the viewer's visual field range using the omnidirectional image.
  • the imaging device 12 of the distribution system 11 includes six cameras 12A-1 to 12A-6 and a microphone 12B.
  • the camera 12A when it is not necessary to distinguish the cameras 12A-1 to 12A-6, they are collectively referred to as the camera 12A.
  • Each camera 12A captures a moving image, and the microphone 12B acquires surrounding sounds.
  • the distribution system 11 supplies captured images, which are six-direction moving images captured by the respective cameras 12A, and sound acquired by the microphone 12B to the generation device 13 as moving image content. Note that the number of cameras included in the photographing device 12 may be other than six as long as it is plural.
  • the generation device 13 generates an omnidirectional image from the captured image supplied from the imaging device 12 by a method using an equirectangular projection, encodes it at one or more bit rates, and equirectangular cylinders of each bit rate. Create a stream. Further, the generation device 13 generates an omnidirectional image from the captured image by cube mapping, encodes the image at one or more bit rates, and generates a cube stream of each bit rate. Further, the generation device 13 encodes the sound supplied from the photographing device 12 and generates an audio stream.
  • the generation device 13 converts the equirectangular stream of each bit rate, the cube stream of each bit rate, and the audio stream into an ISOBMFF file.
  • the generation device 13 uploads the ISOBMFF file generated as a result to the distribution server 14.
  • bit rates of the equirectangular stream and the cube stream are set to 1 or more, but conditions (for example, image size) other than the bit rate may be set to 1 or more.
  • the generation device 13 generates an MPD file that manages the segment file of the video content and uploads it to the distribution server 14.
  • a segment is a video stream or audio stream filed in units of time ranging from several seconds to 10 seconds.
  • ISOBMFF including a RegionMappingBox is distributed as a segment file.
  • the distribution server 14 that performs distribution using MEPG-DASH® (ISO / IEC 23009-1) stores the segment file and MPD file uploaded from the generation device 13.
  • the distribution server 14 transmits the stored segment file to the playback device 15 in response to a request from the playback device 15 as a client.
  • the playback device 15 requests the ISOBMFF file from the distribution server 14 and receives the ISOBMFF file transmitted in response to the request. Further, the playback device 15 requests the omnidirectional image segment file generated by the omnidirectional image generation method corresponding to the mapping that can be performed by the playback device 15 based on the ISOBMFF file, and the request. The segment file sent in response to is received. The playback device 15 decodes the cube stream (or may be an equirectangular stream) included in the received segment file. The playback device 15 generates a 3D model image by mapping the omnidirectional image obtained as a result of the decoding to the 3D model.
  • the playback device 15 incorporates a camera 15A and photographs the marker 16A attached to the head mounted display 16. Then, the playback device 15 detects the viewing position in the coordinate system of the 3D model based on the captured image of the marker 16A. Further, the playback device 15 receives the detection result of the gyro sensor 16 ⁇ / b> B of the head mounted display 16 from the head mounted display 16. The playback device 15 determines the viewing direction of the viewer in the coordinate system of the 3D model based on the detection result of the gyro sensor 16B. The playback device 15 determines the viewing range of the viewer located inside the 3D model based on the viewing position and the line-of-sight direction.
  • the playback device 15 generates an image of the viewer's visual field range as a display image by perspectively projecting the 3D model image onto the viewer's visual field range with the viewing position as a focus.
  • the playback device 15 supplies the display image to the head mounted display 16.
  • the head mounted display 16 is mounted on the viewer's head and displays a display image supplied from the playback device 15.
  • the head mounted display 16 is provided with a marker 16A photographed by the camera 15A. Therefore, the viewer can specify the viewing position by moving the head mounted display 16 while wearing the head mounted display 16 on the head.
  • the head mounted display 16 has a built-in gyro sensor 16B, and the angular velocity detection result by the gyro sensor 16B is transmitted to the playback device 15. Therefore, the viewer can specify the line-of-sight direction by rotating the head on which the head mounted display 16 is mounted.
  • FIG. 52 is a block diagram illustrating a configuration example of the generation device.
  • the 52 includes a stitching processing unit 21, a mapping processing unit 22, a region-wise packing processing unit 23, an encoder 24, an audio processing unit 25, an encoder 26, a file generation unit 27, and an uploading unit 28.
  • the stitching processing unit 21 performs a stitching process in which the colors and brightness of the captured images in the six directions supplied from the camera 12A in FIG.
  • the stitching processing unit 21 supplies the captured image of the frame unit after the stitching processing to the mapping processing unit 22.
  • the mapping processing unit 22 generates an omnidirectional image from the captured image supplied from the stitching processing unit 21 by cube mapping. Specifically, the mapping processing unit 22 maps the captured image after stitching processing to a cube as a texture, and generates an image of a developed view of the cube as an omnidirectional image. The mapping processor 22 supplies the omnidirectional image to the region-wise packing processor 23.
  • the stitching processing unit 21 and the mapping processing unit 22 may be integrated.
  • the region-wise packing processing unit 23 performs region-wise packing processing. That is, the projecting frame is changed in position and size for each region, arranged on a two-dimensional surface, and packed to generate a packed frame.
  • the region-wise packing processing unit 23 also generates a RegionMappingBox including margin_flag and region_margin_type.
  • the encoder 24 encodes the omnidirectional image supplied from the region-wise packing processor 23 at a bit rate of 1 or more to generate a cube stream.
  • the encoder 24 supplies the cube stream of each bit rate to the file generation unit 27.
  • the audio processing unit 25 acquires the audio supplied from the microphone 12B of FIG.
  • the encoder 26 encodes the sound supplied from the sound processing unit 25 and generates an audio stream.
  • the encoder 26 supplies the audio stream to the file generation unit 27.
  • the file generation unit 27 converts the cube stream and audio stream of each bit rate into files in segment units.
  • the file generation unit 27 supplies the segment file generated as a result to the upload unit 28.
  • the file generation unit 27 also generates an ISOBMFF file and supplies it to the upload unit 28.
  • the file generation unit 27 can generate the expanded ISOBMFF as described above, and the area information is signaled to the ISOBMFF. That is, the file generation unit 27 signals a plurality of vertices on the sphere, and connects the vertices with the shortest distance on the sphere to thereby obtain region information (first embodiment) representing the region on the sphere. Generate and describe in ISOBMFF. Further, the file generation unit 27 signals the vertices of each surface for each surface on the spherical surface, and signals the surface region formed by connecting those vertices with the shortest distance on the spherical surface according to the number of surfaces. By doing so, region information (second embodiment) representing the region on the spherical surface is generated and described in ISOBMFF. Alternatively, when generating the MPD, the file generation unit 27 may similarly signal the region information to the expanded MPD (fourth embodiment).
  • the upload unit 28 uploads the segment file and the ISOBMFF file supplied from the file generation unit 27 to the distribution server 14 in FIG.
  • FIG. 53 is a block diagram illustrating a configuration example of a playback device.
  • a file acquisition unit 31 includes a file acquisition unit 31, a stream extraction unit 32, a decoder 33, a projected frame generation unit 34, a mapping processing unit 35, a drawing unit 36, a reception unit 37, a line-of-sight detection unit 38, and a camera 15A. is doing.
  • the file acquisition unit 31 acquires a file to be played from the distribution server 14 of FIG.
  • the stream extraction unit 32 extracts a video stream from the file acquired by the file acquisition unit 31.
  • the decoder 33 decodes the video stream extracted by the stream extraction unit 32.
  • the projected frame generating unit 34 generates a projected frame from the image data decoded by the decoder 33.
  • the mapping processing unit 35 maps the omnidirectional image supplied from the projected frame generating unit 34 as a texture on each of the six surfaces of the cube.
  • the drawing unit 36 perspectively projects the 3D model image supplied from the mapping processing unit 35 onto the viewer's visual field range with the viewing position supplied from the line-of-sight detection unit 38 as a focus. An image is generated as a display image.
  • the drawing unit 36 supplies the display image to the head mounted display 16.
  • the receiving unit 37 receives the detection result of the gyro sensor 16B of FIG. 51 from the head mounted display 16 and supplies it to the line-of-sight detection unit 38.
  • the line-of-sight detection unit 38 determines the viewer's line-of-sight direction in the coordinate system of the 3D model based on the detection result of the gyro sensor 16B supplied from the reception unit 37.
  • the line-of-sight detection unit 38 acquires a captured image of the marker 16A from the camera 15A, and detects a viewing position in the coordinate system of the 3D model based on the captured image.
  • the line-of-sight detection unit 38 determines the viewing range of the viewer in the 3D model coordinate system based on the viewing position and the line-of-sight direction in the 3D model coordinate system.
  • the line-of-sight detection unit 38 supplies the viewer's visual field range and viewing position to the drawing unit 36.
  • step S11 the file generation unit 27 determines whether or not the omnidirectional video is divided into a plurality of parts.
  • step S11 when it is determined that the omnidirectional video is divided into a plurality of parts, the process proceeds to step S12, and the file generation unit 27 performs tcov and tcov based on the area information of all omnidirectional videos. Determine EssentialProperty (totalcoverage) information.
  • step S13 the file generation unit 27 determines each covi and EssentialProperty (coverage) based on the area information of each omnidirectional video.
  • step S11 determines that the omnidirectional video is not divided into a plurality of parts. If it is determined in step S11 that the omnidirectional video is not divided into a plurality of parts, the process proceeds to step S14, and the file generation unit 27 uses covi and the area information of the omnidirectional video. Determine EssentialProperty (coverage) information.
  • step S13 or S14 After the process of step S13 or S14, the process proceeds to step S15, and after the file generation unit 27 generates MPD and ISOBMFF, the process ends.
  • a file acquisition process executed by the file acquisition unit 31 of FIG. 53 will be described with reference to the flowchart of FIG.
  • step S21 the file acquisition unit 31 refers to the EssentialProperty (totalcoverage) of the AdaptationSet of the MPD and acquires the spatial_set_id that is the desired total coverage.
  • step S22 the file acquisition unit 31 refers to the Essential Property (coverage) of the MPD AdaptationSet, and selects an AdaptationSet having the spatial_set_id acquired in step S21 and suitable for the viewing direction.
  • step S23 the file acquisition unit 31 selects Representation in accordance with the bandwidth in the selected AdaptationSet, acquires the referenced file, and the process ends.
  • the file generation unit 27 can generate MPD and ISOBMFF, and the file acquisition unit 31 can acquire a generation target file.
  • the processes described with reference to the flowcharts described above do not necessarily have to be processed in chronological order in the order described in the flowcharts, but are performed in parallel or individually (for example, parallel processes or objects). Processing).
  • the program may be processed by one CPU, or may be distributedly processed by a plurality of CPUs.
  • the above-described series of processing can be executed by hardware or can be executed by software.
  • a program constituting the software executes various functions by installing a computer incorporated in dedicated hardware or various programs.
  • the program is installed in a general-purpose personal computer from a program recording medium on which the program is recorded.
  • FIG. 56 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 105 is further connected to the bus 104.
  • the input / output interface 105 includes an input unit 106 including a keyboard, a mouse, and a microphone, an output unit 107 including a display and a speaker, a storage unit 108 including a hard disk and a nonvolatile memory, and a communication unit 109 including a network interface.
  • a drive 110 for driving a removable medium 111 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory is connected.
  • the CPU 101 loads, for example, the program stored in the storage unit 108 to the RAM 103 via the input / output interface 105 and the bus 104 and executes the program. Is performed.
  • the program executed by the computer (CPU 101) is, for example, a magnetic disk (including a flexible disk), an optical disk (CD-ROM (Compact Disc-Read Only Memory), DVD (Digital Versatile Disc), etc.), a magneto-optical disc, or a semiconductor.
  • the program is recorded on a removable medium 111 that is a package medium including a memory or the like, or is provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 108 via the input / output interface 105 by attaching the removable medium 111 to the drive 110. Further, the program can be received by the communication unit 109 via a wired or wireless transmission medium and installed in the storage unit 108. In addition, the program can be installed in the ROM 102 or the storage unit 108 in advance.
  • An information processing apparatus comprising: a generation unit that generates a region information that represents a region on a sphere by signaling a plurality of vertices on the sphere and connecting the vertices with a shortest distance on the sphere.
  • a generation unit that generates a region information that represents a region on a sphere by signaling a plurality of vertices on the sphere and connecting the vertices with a shortest distance on the sphere.
  • the information processing apparatus according to any one of (1) to (3), wherein the region information is signaled by tcov.
  • An information processing method including a step of generating region information representing a region on a sphere by signaling a plurality of vertices on the sphere and connecting the vertices with a shortest distance on the sphere.
  • a program for causing a computer to execute information processing including a step of generating a region information representing a region on a sphere by signaling a plurality of vertices on the sphere and connecting the vertices with the shortest distance on the sphere.
  • the vertex of each surface is signaled, and the surface area formed by connecting those vertices with the shortest distance on the sphere is signaled according to the number of surfaces.
  • An information processing apparatus comprising a generation unit that generates region information to be expressed.
  • the region information includes a flag indicating whether a signaled region is covered or a region other than the signaled region is covered.
  • 11 distribution system 12 imaging device, 12A camera, 12B microphone, 13 generation device, 14 distribution server, 15 playback device, 15A camera, 16 head mounted display, 16A marker, 16B gyro sensor, 21 stitching processing unit, 22 mapping processing , 23 region-wise packing processing unit, 24 encoder, 25 audio processing unit, 26 encoder, 27 file generation unit, 28 upload unit, 31 file acquisition unit, 32 stream extraction unit, 33 decoder, 34 projected frame generation unit, 35 Mapping processing part, 36 drawing part, 37 receiving part, 38 gaze detection part

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Image Generation (AREA)

Abstract

本開示は、より多様なプロジェクションフォーマットで全天球映像の領域情報をシグナリングすることができるようにする情報処理装置および情報処理方法、並びにプログラムに関する。 領域情報は、球面上の複数の頂点をシグナルし、それらの頂点どうしを球面上の最短距離で結ぶことで球面上の領域を表現する。または、領域情報は、球面上の面ごとに各面の頂点をシグナルし、それらの頂点どうしを球面上の最短距離で結ぶことで形成される面領域を、面の数に応じてシグナルすることで球面上の領域を表現する。本技術は、例えば、MPEG-DASHにより全天球映像のネットワーク配信を行う配信システムに適用できる。

Description

情報処理装置および情報処理方法、並びにプログラム
　本開示は、情報処理装置および情報処理方法、並びにプログラムに関し、特に、より多様なプロジェクションフォーマットで全天球映像の領域情報をシグナリングすることができるようにした情報処理装置および情報処理方法、並びにプログラムに関する。
　IPTV（Internet Protocol Television）等のインターネットストリーミングにおける標準化の流れとして、HTTP（Hypertext Transfer Protocol）ストリーミングによるVOD（Video On Demand）ストリーミングや、ライブストリーミングに適用される方式の標準化が行われている。
　特に、ISO/IEC/MPEGで標準化が行われているMPEG-DASH（Moving Picture Experts Group Dynamic Adaptive Streaming over HTTP)が注目されている（例えば、非特許文献１参照）。
　また、MPEGでは、VR標準化（MPEG-I: Coded Representation of Immersive media）が進行中している。例えば、全天球映像の視聴に一般的に使用されるHMD（Head Mounted Display）では、一度に表示される映像は360°全てではなく、一部の領域の映像のみとなる。そのため、VRで使用される全天球映像では、表示される一部の領域を表す領域情報をシグナリングする必要がある。また、MPEG-DASHにより全天球映像のネットワーク配信を行う場合、帯域幅に制限があるため、その有効活用を目的としたviewport dependent processingが検討中である。
ISO/IEC 23009-1:2012 Information technology Dynamic adaptive streaming over HTTP (DASH)
　ところで、従来、OMAF CD（Omnidirectional Media Application Format Committee Draft）では、CoverageInformationBoxとして球面上領域カバレッジをシグナルしている。しかしながら、従来のOMAF CDでは対応することができないプロジェクションフォーマットがあり、より多様なプロジェクションフォーマットへの対応が求められていた。
　本開示は、このような状況に鑑みてなされたものであり、より多様なプロジェクションフォーマットで全天球映像の領域情報をシグナリングすることができるようにするものである。
　本開示の第１の側面の情報処理装置は、球面上の複数の頂点をシグナルし、それらの頂点どうしを球面上の最短距離で結ぶことで球面上の領域を表現する領域情報を生成する生成部を備える。
　本開示の第１の側面の情報処理方法またはプログラムは、球面上の複数の頂点をシグナルし、それらの頂点どうしを球面上の最短距離で結ぶことで球面上の領域を表現する領域情報を生成するステップを含む。
　本開示の第１の側面においては、球面上の複数の頂点をシグナルし、それらの頂点どうしを球面上の最短距離で結ぶことで球面上の領域を表現する領域情報が生成される。
　本開示の第２の側面の情報処理装置は、球面上の面ごとに各面の頂点をシグナルし、それらの頂点どうしを球面上の最短距離で結ぶことで形成される面領域を、面の数に応じてシグナルすることで球面上の領域を表現する領域情報を生成する生成部を備える。
　本開示の第２の側面の情報処理方法またはプログラムは、球面上の面ごとに各面の頂点をシグナルし、それらの頂点どうしを球面上の最短距離で結ぶことで形成される面領域を、面の数に応じてシグナルすることで球面上の領域を表現する領域情報を生成するステップを含む。
　本開示の第２の側面においては、球面上の面ごとに各面の頂点をシグナルし、それらの頂点どうしを球面上の最短距離で結ぶことで形成される面領域を、面の数に応じてシグナルすることで球面上の領域を表現する領域情報が生成される。
　本開示の第１および第２の側面によれば、より多様なプロジェクションフォーマットで全天球映像の領域情報をシグナリングすることができる。
viewport dependent processingについて説明する図である。 viewport情報を取り扱う球座標系を示す図である。 MPEGで規定されている領域情報の一例を示す図である。 shape_typeによる二種類の球面上領域表現を示す図である。 コンテンツのカバレッジ情報であるcoviの格納場所を示す図である。 従来のシンタックスでは正確に表現できない例を説明する図である。 三角形面で構成されるプロジェクションフォーマットの例を示す図である。 第１の実施の形態による球面上領域のシグナルの第１の例を示す図である。 第１の実施の形態による球面上領域のシグナルの第２の例を示す図である。 立方体の２つの面をシグナルすることの応用例について説明する図である。 第１の実施の形態における拡張されたISOBMFFの一例を示す図である。 point_yaw/pitchによる表現だけでは、カバレッジが一意に決まらない例を説明する図である。 第１の実施の形態におけるパラメータの定義を示す図である。 立方体の３面をシグナルする例を示す図である。 立方体の３面をシグナルする場合のパラメータを示す図である。 八面体の２面をシグナルする例を示す図である。 八面体の２面をシグナルする場合のパラメータを示す図である。 第２の実施の形態による球面上領域のシグナルの一例を示す図である。 第２の実施の形態における拡張されたISOBMFFの一例を示す図である。 exclude_flagについて説明する図である。 第２の実施の形態におけるパラメータの定義を示す図である。 立方体の３面をシグナルする第１の例を示す図である。 立方体の３面をシグナルする第２の例を示す図である。 八面体の２面をシグナルする例を示す図である。 三角形領域表現に限定してシグナルする例を説明する図である。 図２５の例におけるRegionOnSphereStructの一例を示す図である。 図２５の例におけるパラメータの定義を示す図である。 第３の実施の形態における拡張されたISOBMFFでのtcovの第１の記述例を示す図である。 図２８の例におけるパラメータの定義を示す図である。 第３の実施の形態における拡張されたISOBMFFでのtcovの第２の記述例を示す図である。 図３０の例におけるパラメータの定義を示す図である。 第３の実施の形態における拡張されたISOBMFFでのtcovの第３の記述例を示す図である。 図３２の例におけるパラメータの定義を示す図である。 第３の実施の形態における拡張されたISOBMFFでのtcovの第４の記述例を示す図である。 図３４の例におけるパラメータの定義を示す図である。 第３の実施の形態において、main fraction trackにのみtcovを持つケースについて説明する図である。 第３の実施の形態において、すべてのfraction trackにtcovを持つケースについて説明する図である。 立方体の６面をシグナルする例を示す図である。 第４の実施の形態における拡張されたDASH MPDの第１の例を示す図である。 パラメータの定義を示す図である。 パラメータの定義を示す図である。 第１の実施の形態のシンタックスを使用する際の変形例を説明する図である。 パラメータの定義を示す図である。 第４の実施の形態における拡張されたDASH MPDの第２の例を示す図である。 パラメータの定義を示す図である。 パラメータの定義を示す図である。 第２の実施の形態のシンタックスを使用する際の変形例を説明する図である。 八面体の８面をシグナルする例を示す図である。 図４８のシグナルが記述されたMPDの記述例を示す図である。 第４の実施の形態の変形例を説明する図である。 本技術を適用した配信システムの構成例を示すブロック図である。 生成装置の構成例を示すブロック図である。 再生装置の構成例を示すブロック図である。 ファイル生成処理を説明するフローチャートである。 ファイル取得処理を説明するフローチャートである。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
　以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
　＜従来の全天球映像の領域情報＞
　まず、図１乃至図７を参照して、従来の全天球映像の領域情報について説明する。
　従来、複数の領域に分割された全天球映像について、クライアントの視点および視野に応じて適切な領域の映像を取得して表示するviewport dependent processingという技術が利用されている。また、viewport dependent processingでは、表示されない領域は取得する必要がない。
　例えば、図１には、全天球映像が正距円筒図法により平面的に展開された状態が示されており、その全体が１８の領域に分割され、それぞれの領域が個別のビデオストリームとされている。そして、クライアントの視点および視野に応じた領域が二重線の矩形で示されており、その領域に応じてビデオストリームが取得される。図１の例では、３番、４番、９番、および１０番の領域のビデオストリームが取得され、クライアントの視点および視野に応じた領域の表示に使用される。
　また、viewport dependent processingを実現するためには、全天球映像の各領域の位置情報およびサイズ情報をシグナルする必要がある。そして、クライアントは、それらの情報をもとに、viewportに応じたビデオ領域を取得して表示することができる。なお、全天球映像の各領域情報は、球面上の領域情報（球座標系）としてシグナルされる。
　例えば、クライアントは、HMDであることが想定される。HMDの内部では、図２に示すような球座標系（yaw，pitch，roll)で、viewport情報が取り扱われるのが一般的であり、座標系を揃えることで処理の簡易化が可能となる。
　図３には、MPEGで規定されている領域情報の一例が示されている。
　このような領域情報において、例えば、CoverageInformationBoxは、trackに格納される全天球映像が表示される球面上領域の情報をシグナルする。そして、center_yawにより領域中心のyaw角が示され、center_pitchにより領域中心のpitch角が示され、hor_rangeにより水平方向の角度レンジが示され、ver_rangeにより垂直方向の角度レンジが示される。
　さらに、図４に示すように、shape_typeにより二種類の球面上の領域表現を行うことができる。
　例えば、図４の左側に示すshape_type=0は、four great circlesで囲まれる領域形状により球面上の領域表現を行う。また、図４の右側に示すshape_type=1は、two small two grate circlesで囲まれる領域形状により球面上の領域表現を行う。ここで、great circleは、球の中心と一致する中心を持つ断面の円を表しており、small circleは、それ以外の円を表している。なお、現時点におけるカバレッジ表現としては、shape_type=1のみが運用されている。
　図５には、コンテンツのカバレッジ情報であるcoviの格納場所が示されている。
　ところで、shape_type＝0は、キューブプロジェクションマッピング（Cube Projection Mapping；CMP）の面領域を１面ずつシグナルすることができ、正距円筒プロジェクション（Equirectangular projection；ERP）の矩形領域をシグナルすることができる。しかしながら、従来、キューブプロジェクションマッピングの２面以上の領域や、これら以外のプロジェクションフォーマットには対応することができていなかった。
　例えば、図６の上側において、グレーのハッチングが施されている立方体の２面のカバレッジを表現する場合、現在のシンタックスでは正確に表現することができなかった。例えば、（center_yaw，center_pitch，hor_range，ver_range）＝（45，0，180，90）とシグナルすると、図６の下側において太線で囲われる半球領域となってしまう。そのため、立方体の２面でカバーできる球面上領域が狭くなる。つまり、図６の上側において太線で囲うように、球面の１／３の領域がカバーされるのに対し、図６の下側において太線で囲うように、球面の１／４の領域しかカバーされなくなってしまう。
　さらに、従来、図７に示すような三角形面で構成されるプロジェクションフォーマット（OHP：オクタへドロンプロジェクション、ISP：イコサへドロンプロジェクション）の領域表現には対応していなかった。
　そこで、従来技術で対応できない、CMPの2面以上の領域や、ERPまたはCMP以外で一般的に使用されており、将来OMAFに採用される可能性のあるプロジェクションフォーマット（OHPまたはISP）の領域表現に対応することが求められていた。さらに、OHPおよびISPのみでなく、多面体を用いるあらゆるプロジェクションフォーマットに対応することも求められていた。
　＜ISOBMFFにおけるトラックの領域シグナル方法＞
　図８乃至図１７を参照して、本技術の第１の実施の形態として、ISOBMFFにおけるトラックの領域シグナル方法の第１の例について説明する。
　第１の実施の形態では、ISOBMFF trackに格納されるコンテンツのカバレッジについて、複数の頂点をyawおよびpitchでシグナルし、頂点どうしを球面上の最短距離で結ぶことで形成される領域で表現する。
　例えば、図８には、３つの頂点をシグナルし、その３つの頂点どうしを球面上の最短距離で結ぶことで球面上の領域表現を行う第１の例が示されている。同様に、図９には、６つの頂点をシグナルし、その６つの頂点どうしを球面上の最短距離で結ぶことで球面上の領域表現を行う第２の例が示されている。
　このとき、それぞれの頂点を結ぶ球面上の線分はgreat circleの一部となる。また、このようなシグナルにより、図７に示したようなOHPおよびISPだけでなく、その他の多面体に対応するプロジェクションフォーマットが可能となる。
　また、図９に示したように、立方体の２つの面をシグナルすることができるため、例えば、クライアントの視点および視野に応じた領域が、立方体の２つの面に跨るような場合でも、効率良くストリーミングすることができる。
　ここで、図１０を参照して、立方体の２つの面をシグナルすることの応用例について説明する。
　例えば、キューブプロジェクションマッピングにおいて、立方体は、図示するような６つの面Ａ、面Ｂ、面Ｃ、面Ｄ、面Ｅ、および面Ｆにより構成される。
　そして、それらの６つの面を２面ごとに３つに分割してファイル化する。即ち、面Ｂおよび面Ｃの２面からなるファイルと、面Ａおよび面Ｃの２面からなるファイルと、面Ｅおよび面Ｆの２面からなるファイルとにファイル化される。このとき、それぞれのファイルでは、上述の図９に示したように、それぞれ２つの面ごとに、coviによる球面上領域にシグナルされる。
　ここで、例えば、クライアントの視点および視野に応じた領域が面Ｂおよび面Ｃに跨っている場合、即ち、図１０においてグレーでハッチングされている領域をユーザが見ようとした場合、coviの情報をもとに、面Ｂおよび面Ｃの２面からなるファイルが取得される。
　即ち、従来、キューブプロジェクションマッピングの２面以上の領域をシグナルすることができないため、クライアントの視点および視野に応じた領域が面Ｂおよび面Ｃに跨っている場合には、効率良くストリーミングすることができなかった。これに対し、複数の面をシグナルすることができることにより、クライアントの視点および視野に応じた領域が複数の面に跨っていても、それらの面からなるファイルをストリーミングすることで、ストリーミングを効率良く行うことができるようになる。
　ところで、複数の頂点をyawおよびpitchでシグナルし、頂点どうしを球面上の最短距離で結ぶことで領域表現を行う場合には、従来よりISOBMFFを拡張する必要がある。
　図１１には、拡張されたISOBMFF（CoverageInformationBox）およびArbitraryRegionOnSphereStructの一例が示されている。
　図１１に示すISOBMFFでは、shape_type=2が導入されている。例えば、shape_type=2では、各頂点は、i=0とi=1，i=1とi=2，・・・，i=n-1とi＝n，i=nとi=0の規則で、それぞれが球面上の最短距離で結ばれるように定義される。
　また、図１１に示すISOBMFF において、covered_yaw，covered_pitchは、カバレッジに含まれる代表点のyaw，pitch（例えば、領域の中心点）を示すように定義される。即ち、covered_yaw/pitchは、point_yaw/pitchで表現される領域の内側の点をシグナルしなければならない。例えば、立方体の３面をカバレッジする場合、point_yaw/pitchによる表現だけでは、カバレッジが一意に決まらないため、covered_yaw/pitchによるシグナルが必要となる。
　図１２を参照して、point_yaw/pitchによる表現だけでは、カバレッジが一意に決まらない例について説明する。
　図１２に示すように、立方体を３面ごとに分割する場合、手前側の３面からなる形状と奥側の３面からなる形状とに分割される。この場合、それぞれの形状カバレッジをシグナルすると、シグナルされる点は同一になる。従って、これらの２つの形状を区別するためには、covered_yaw/pitchにより方向（手前側の３面、または、奥側の３面）をシグナルする必要ある。
　図１３には、このような拡張されたISOBMFFにおけるトラックの領域シグナル方法において使用されるパラメータの定義が示されている。
　次に、第１の実施の形態による実際のシグナル例について説明する。
　例えば、図１４の下側に示すような座標系に従って、図１４の上側に示すような立方体の手前側の３面をシグナルする場合、図１５に示すようにパラメータが設定される。また、この座標系において、yaw角は、－180°以上、かつ、180°より小さく、pitch角は、－90°以上、かつ、90°以下であり、roll角は、－180°以上、かつ、180°以下とされる。
　同様に、図１６に示すような八面体の手前側の２面をシグナルする場合、図１７に示すようにパラメータが設定される。
　このように、第１の実施の形態では、拡張されたISOBMFFを用いて、球面上の点をyawおよびpitchでシグナルすることより、実装上扱いやすいというメリットがある。例えば、クライアント側は、自身のviewport情報を方向とfield of view（FoV）とで持つため、そのviewport範囲内に、シグナルされた点で囲まれた領域が含まれるか否かを判別するのは容易である。ところで、第１の実施の形態では、非連続領域のシグナルには対応していない。
　なお、第１の実施の形態の変形例として、例えば、shape_typeに替えてflagsを用いてもよい。また、ArbitraryRegionOnSphereStructの中身を、RegionOnSphereStructの中でシグナルし、それらをshape_typeで切り替えてもよい。
　＜ISOBMFFにおけるトラックの領域シグナル方法＞
　図１８乃至図２７を参照して、本技術の第２の実施の形態として、ISOBMFFにおけるトラックの領域シグナル方法の第２の例について説明する。
　第２の実施の形態では、ISOBMFF trackに格納されるコンテンツのカバレッジについて、面ごとにその頂点をyawおよびpitchでシグナルし、頂点どうしを球面上の最短距離で結ぶことで形成される面領域を面の数だけ複数シグナルして表現する。
　例えば、図１８には、２つの面ごとに、それらの面の頂点をシグナルし、頂点どうしを球面上の最短距離で結ぶことで形成される面領域となる２つの面をシグナルすることで領域表現を行う例が示されている。
　このとき、それぞれの頂点を結ぶ球面上の線分はgreat circleの一部となる。また、このようなシグナルにより、図７に示したようなOHPおよびISPだけでなく、その他の多面体に対応するプロジェクションフォーマットが可能となる。
　図１９には、拡張されたISOBMFF（CoverageInformationBox）およびArbitraryRegionOnSphereStructの一例が示されている。
　図１１に示すISOBMFFでは、shape_type=2が導入されている。例えば、shape_type=2では、各頂点は、i=0とi=1，i=1とi=2，・・・，i=n-1とi＝n，i=nとi=0の規則で、それぞれが球面上の最短距離で結ばれるように定義される。そして、ISOBMFFに示すように、面の数でfor loopを回すことにより、複数の面からなる領域をシグナルすることができる。
　また、図１１に示すISOBMFFでは、exclude_flagが導入されている。exclude_flagが１の場合、シグナルされた領域以外がcoverageとなる。
　図２０を参照して、exclude_flagについて説明する。図２０では、立方体の５面分(グレーのハッチングが施されている面以外)のカバレッジシグナルの例が示されている。
　例えば、図２０の上側に示すように、exclude_flag＝0の場合には、カバレッジとして５面分の面に応じた２０点のシグナルが必要になる。これに対して、図２０の下側に示すように、exclude_flag=1の場合には、カバレッジから除く１面分の面に応じた４点のシグナルでよい。このように、exclude_flagを使用することで、カバレッジシグナルに必要なビット数の最適化を図ること、即ち、より少ないビット数でカバレッジすることができる。
　図２１には、このような拡張されたISOBMFFにおけるトラックの領域シグナル方法において使用されるパラメータの定義が示されている。
　次に、第２の実施の形態による実際のシグナル例について説明する。
　例えば、図２２には、shape_type=0の場合、即ち、上述の図４の左側に示したような方法で、立方体の３面をシグナルする例が示されている。この場合、図２２の下側に示すようにパラメータが設定される。
　図２３には、shape_type=２の場合、即ち、第２の実施の形態で説明した方法で、立方体の３面をシグナルする例が示されている。この場合、図２３の下側に示すようにパラメータが設定される。
　図２４には、shape_type=２の場合、即ち、第２の実施の形態で説明した方法で、八面体の手前側の２面をシグナルする例が示されている。この場合、図２４の下側に示すようにパラメータが設定される。
　このように、第２の実施の形態では、拡張されたISOBMFFを用いて、球面上の点をyawおよびpitchでシグナルすることより、実装上扱いやすいというメリットがある。例えば、クライアント側は、自身のviewport情報を方向とfield of view（FoV）とで持つため、そのviewport範囲内に、シグナルされた点で囲まれた領域が含まれるか否かを判別するのは容易である。
　さらに、第２の実施の形態では、領域を面単位で複数シグナルできるので、非連続領域のシグナルが可能である。また、上述したようにexclude_flagを利用することで、シグナルする頂点数を最適化することができる。ところで、第２の実施の形態では、上述した第１の実施の形態と比較して、頂点情報に重複が生じることがあり、Boxのサイズが増加することがある。
　なお、第２の実施の形態の変形例として、shape_typeに替えてflagsを用いてもよい。例えば、ArbitraryRegionOnSphereStrcutの中身を、RegionOnSphereStructの中でシグナルし、shape_typeで切り替えてもよい。また、領域ごとにshape_typeが変わってもよい。
　さらに、num_pointsを３に限定することで、shape_type=2を三角形領域の表現のみに用いるようにしてもよい。例えば、第２の実施の形態を、三角形領域の表現に限定した場合、球面上の三角形領域は、図２５に示すように表現することもできる。このとき、classTriangleRegionOnSphereStructは、図２６に示す通りであり、パラメータは、図２７に示すように定義される。
　＜ISOBMFFにおけるファイル単位の領域シグナル方法＞
　図２８乃至図３８を参照して、本技術の第３の実施の形態として、ISOBMFFにおけるファイル単位の領域シグナル方法について説明する。
　第３の実施の形態では、ISOBMFFファイルが格納するコンテンツのトータルカバレッジについて、上述した第１および第２の実施の形態のシグナル方法を用いて表現する。即ち、領域のシグナルは、上述した第１および第２の実施の形態と同様のシンタックス・セマンティクスを用いる。
　例えば、従来技術ではtrack単位のカバレッジ情報のみ規定しており、ISOBMFFファイルが複数trackから構成される場合における、全trackをまとめたカバレッジ (=ファイル単位のトータルカバレッジ)はシグナルできなかった。
　これに対し、第３の実施の形態では、複数trackから構成されるISOBMFFについて、ファイル単位でのviewport dependent processingが可能となる。
　また、第３の実施の形態において、ファイル単位でのトータルカバレッジ情報をシグナルすることで、クライアントはそのファイル再生時に表示可能な領域を容易に取得できる。例えば、全天球すべてをカバーしていない場合に、あらかじめ映像表示できない部分をクライアント独自の映像、もしくはISOBMFFで指定されたデータで埋めておくことができる。
　例えば、第３の実施の形態では、tcov（Total Coverage Information Box）は、povd（ProjectedOmnidirectionalVideoBox）の下に配置される。
　ここで、以下の説明において、main fraction trackにのみtcovを持つ方式をケース１とする。そして、ケース１において、tcovが、total coverage情報のみ持つ方式をケース１－１とし、tcovが、total coverage情報に加え、全てのfraction track（main含む）のcoverage情報を持つ方式をケース１－２とする。
　また、すべてのfraction trackにtcovを持つ方式をケース２とする。そして、ケース２において、tcovが、total coverage情報のみ持つ方式をケース２－１とし、tcovが、total coverage情報に加え、全てのfraction track（main含む）のcoverage情報を持つ方式をケース２－２とする。
　このように、それぞれのケースに基づいて、tcovのシンタックスのバリエーションは4種類となる。
　例えば、tcovのシンタックスの第１のバリエーションでは、tcovでシグナルされる情報は、total coverage情報のみ持ち、領域シグナル方法は、上述した第１の実施の形態と同一の方法とされる。
　従って、tcovのシンタックスの第１のバリエーションでは、図２８に示すようにISOBMFF（CoverageInformationBox）は記述され、ArbitraryRegionOnSphereStructは、上述の図１１（第１の実施の形態）と同一とされる。また、パラメータは図２９に示すように定義される。なお、上述した第１の実施の形態の変形例も含むことができる。
　また、tcovのシンタックスの第２のバリエーションでは、tcovでシグナルされる情報は、total coverage情報のみ持ち、領域シグナル方法は、上述した第２の実施の形態と同一の方法とされる。
　従って、tcovのシンタックスの第２のバリエーションでは、図３０に示すようにISOBMFF（CoverageInformationBox）は記述され、ArbitraryRegionOnSphereStructは、上述の図１９（第２の実施の形態）と同一とされる。また、パラメータは図３１に示すように定義される。なお、上述した第２の実施の形態の変形例も含むことができる。
　また、tcovのシンタックスの第３のバリエーションでは、tcovでシグナルされる情報は、total coverage情報に加え、全てのfraction track（main含む）のcoverage情報を持ち、領域シグナル方法は、上述した第１の実施の形態と同一の方法とされる。
　従って、tcovのシンタックスの第３のバリエーションでは、図３２に示すようにISOBMFF（CoverageInformationBox）は記述され、ArbitraryRegionOnSphereStructは、上述の図１１（第１の実施の形態）と同一とされる。また、パラメータは図３３に示すように定義される。なお、上述した第１の実施の形態の変形例も含むことができる。
　なお、tcovのシンタックスの第３のバリエーションの変形例として、num_track_partitionは、TotalCoverageInformationBoxを持つ自trackを除いた数を設定し、tp_idで自trackのtrack_idをシグナルしなくてもよい。
　また、tcovのシンタックスの第４のバリエーションでは、tcovでシグナルされる情報は、total coverage情報に加え、全てのfraction track（main含む）のcoverage情報を持ち、領域シグナル方法は、上述した第２の実施の形態と同一の方法とされる。
　従って、tcovのシンタックスの第４のバリエーションでは、図３４に示すようにISOBMFF（CoverageInformationBox）は記述され、ArbitraryRegionOnSphereStructは、上述の図１９（第２の実施の形態）と同一とされる。また、パラメータは図３５に示すように定義される。なお、上述した第２の実施の形態の変形例も含むことができる。
　なお、tcovのシンタックスの第４のバリエーションの変形例として、num_track_partitionは、TotalCoverageInformationBoxを持つ自trackを除いた数を設定し、tp_idで自trackのtrack_idをシグナルしなくてもよい。
　図３６を参照して、第３の実施の形態において、main fraction trackにのみtcovを持つケース１について説明する。
　例えば、ケース１では、tcovを持つのがmain fraction trackとし、tcovを持たないのがfraction trackとする。そして、main fraction trackはTrack Reference(‘ofrc’)でfraction trackを参照することができ、fraction trackはTrack Reference(‘omfr’)でmain fraction trackを参照することができる。また、main fraction trackにのみTotalCoverageInformationBoxを持つ。
　ここで、例えば、tcovがtotal coverage情報のみ持つケース１－１の場合、カバレッジに関して重複する情報がない、シンプルな表現が可能となる。但し、total coverageを取得するために、main fraction trackを参照する必要があり、他のfraction trackのcoverageは、各fraction trackを参照しないと取得できない。
　また、例えば、tcovがtotal coverage情報に加え、全てのfraction track（main含む）のcoverage情報を持つケース１－２の場合、fraction trackのcoverageをmain fraction track内で取得できる。但し、total coverageを取得するために、main fraction trackを参照する必要がある。なお、ケース１の変形例として、prfrをmain fraction trackのみに持つようにしてもよい。また、ケース１－２の場合、tref (‘ofrc’)はなくてもよい。
　図３７を参照して、第３の実施の形態において、すべてのfraction trackにtcovを持つケース２について説明する。
　例えば、ケース２では、main fraction track, fraction trackの区別はない。また、各fraction trackが相互にtrack reference‘omfr’で参照することができる。
　ここで、例えば、tcovがtotal coverage情報のみ持つケース２－１の場合、いずれのfraction trackもtotal coverageを有するため、total coverage情報を取得するのが容易である。但し、重複情報を持つためファイルサイズはケース１－１と比較して大きくなり、他のfraction trackのcoverageは、各fraction trackを参照しないと取得できない。
　また、例えば、tcovがtotal coverage情報に加え、fraction track（main含む）のcoverage情報を持つケース２－２の場合、total coverage, 各fraction trackのcoverageを一つのfraction track内で取得できる。但し、重複情報を持つためファイルサイズは、ケース１－１、ケース１－２、およびケース２－１のいずれと比較しても大きくなる。なお、ケース２－２の場合、tref (‘omfr’)はなくてもよい。
　次に、第３の実施の形態による実際のシグナル例について説明する。
　図３８では、ケース２－２で、tcovのシンタックスの第４のバリエーションを用い、各面をregionとして一つずつtrackに格納する。例えば、Region[0]はtrack_id:1とし、Region[1]はtrack_id:2とし、以下同様に、Region[5]はtrack_id:6とする。また、tcovのシグナルは、図３８の下側に示すように記述される。
　なお、第３の実施の形態の変形例として、total_full_sphereの代わりに、flagsを用いてもよい。
　＜DASH MPDにおける領域シグナル方法＞
　図３９乃至図５０を参照して、本技術の第４の実施の形態として、DASH MPDにおける領域シグナル方法について説明する。
　例えば、DASH MPDにおいて、各Representationがカバーする領域をシグナルすることができる。
　シグナル方法としては、EssentialPropertyまたはSupplementalPropertyを用いることができ、EssentialPropertyはAdaptationSetの下に格納され、SupplementalPropertyはRepresentationの下に格納される。
　例えば、SupplementalPropertyは、このPropertyを理解できないPlayerは、このProperty値を無視して、そのAdaptationSet（もしくはRepresentation, Sub-Representation）を利用してもよい。また、EssentialPropertyは、このPropertyを理解できないPlayerは、このPropertyの書かれているAdaptationSet（もしくはRepresentation, Sub-Representation）を無視しなければならない。
　図３９には、拡張されたDASH MPDの第１の例が示されており、ここでは、上述した第１の実施の形態のシンタックスが使用されている。
　このようなシンタックスにおいて、coverage:arbitrary, totalcoverage:arbitraryの場合、０～２はmandatoryとなり、３以降はnum_pointsに応じる。また、coverageがシグナルされない場合、カバレッジは360degreeフルを示す。一方、coverageのspatial_set_idがシグナルされる場合で、トータルカバレッジが360degreeフルでなければ、同じspatial_set_idを持つtotal coverageが必須となる。また、CoverageとTotalCoverageを一つのEssentialPropertyまたはSupplementalPropertyにまとめてもよい。
　図４０および図４１には、図３９に示すような拡張されたDASH MPDにおいて使用されるパラメータの定義が示されている。
　なお、上述した第１の実施の形態のシンタックスを使用する際の変形例として、Coverage, TotalCoverageのshape_type=2の場合について、点の数だけ図４２に示すEssentialProperty(coverage:arbitrary, totalcoverage:arbitrary)をシグナルする。このとき、点を結ぶ順番は、EssentialPropertyまたはSupplementalPropertyの記載の順番でもよいし、EssentialPropertyまたはSupplementalProperty内に順番を示すパラメータを持ってもよい。
　また、図４３には、図４２に示すシンタックスで使用されるパラメータの定義が記載されている。
　図４４には、拡張されたDASH MPDの第２の例が示されており、ここでは、上述した第２の実施の形態のシンタックスが使用されている。
　このようなシンタックスにおいて、coverage:arbitrary, totalcoverage:arbitraryの場合、kは2以上であり、２からnum_points-1までとされ、lは、0からnum_regions-1までとされる。
　また、coverageがシグナルされない場合、カバレッジは360degreeフルを示す。一方、coverageのspatial_set_idがシグナルされる場合で、トータルカバレッジが360degreeフルでなければ、同じspatial_set_idを持つtotal coverageが必須となる。また、CoverageとTotalCoverageを一つのEssentialPropertyまたはSupplementalPropertyにまとめてもよい。
　図４５および図４６には、図４４に示すような拡張されたDASH MPDにおいて使用されるパラメータの定義が示されている。
　なお、上述した第２の実施の形態のシンタックスを使用する際の変形例として、領域の数だけ、図４７に示すEssentialPropertyまたはSupplementalPropertyをシグナルする。そして、シグナルされた領域の合計がCoverageまたはTotal Coverageとなる。
　次に、第４の実施の形態による実際のシグナル例について説明する。
　図４８では、上述したように拡張されたDASH MPDにおいて、第２の実施の形態のシンタックスを使用する例が示されている。つまり、図４８の上側に示すように、八面体の８つの面が一つずつregionに分割されている。また、図４８の下側には、各regionのpointのシグナルが示されており、図４９には、そのシグナルが記述されたMPDの記述例が示されている。
　なお、第４の実施の形態の変形例として、shape_type=2の場合のcoverage, total coverageについても、shape_type=0, 1と同じsyntaxを用いて表現してもよい。また、パラメータは、図４６に示したパラメータが用いられる。
　このとき、center_pitch, center_yaw, hor_range, ver_rangeでシグナルされる領域は、実際のコンテンツのカバレッジと一致しなくてよい。ただし、実際のコンテンツカバレッジに包含され、かつ最大の領域がシグナルされる。例えば、図５０に示すように、略三角形の実際のコンテンツカバレッジに包含され、かつ最大の領域となる略矩形の領域がシグナルされる。
　＜システムの構成例および処理例＞
　図５１乃至図５５を参照して、上述したように球面上の領域をシグナルして全天球画像を配信するシステムについて説明する。
　図５１は、本技術を適用した配信システムの構成例を示すブロック図である。
　図５１の配信システム１１は、撮影装置１２、生成装置１３、配信サーバ１４、再生装置１５、およびヘッドマウントディスプレイ１６により構成される。配信システム１１は、撮影装置１２により撮影された撮影画像から全天球画像を生成し、全天球画像を用いて視聴者の視野範囲の表示画像を表示する。
　具体的には、配信システム１１の撮影装置１２は、６個のカメラ１２Ａ－１乃至１２Ａ－６およびマイクロフォン１２Ｂにより構成される。なお、以下では、カメラ１２Ａ－１乃至１２Ａ－６を特に区別する必要がない場合、それらをまとめてカメラ１２Ａという。
　各カメラ１２Ａは動画像を撮影し、マイクロフォン１２Ｂは周囲の音声を取得する。配信システム１１は、各カメラ１２Ａにより撮影された６方向の動画像である撮影画像とマイクロフォン１２Ｂにより取得された音声を、動画コンテンツとして生成装置１３に供給する。なお、撮影装置１２が備えるカメラの数は、複数であれば、６個以外であってもよい。
　生成装置１３は、正距円筒図法を用いた方法により、撮影装置１２から供給される撮影画像から全天球画像を生成し、１以上のビットレートで符号化して、各ビットレートの正距円筒ストリームを生成する。また、生成装置１３は、キューブマッピングにより、撮影画像から全天球画像を生成し、１以上のビットレートで符号化して、各ビットレートのキューブストリームを生成する。また、生成装置１３は、撮影装置１２から供給される音声を符号化し、オーディオストリームを生成する。
　生成装置１３は、各ビットレートの正距円筒ストリーム、各ビットレートのキューブストリーム、およびオーディオストリームを、ISOBMFFファイル化する。生成装置１３は、その結果生成されたISOBMFFファイルを配信サーバ１４にアップロードする。
　なお、ここでは、正距円筒ストリームとキューブストリームのビットレートが１以上であるようにするが、ビットレート以外の条件（例えば、画像のサイズ等）が１以上であるようにしてもよい。
　また、生成装置１３は、動画コンテンツのセグメントファイルを管理するMPDファイルを生成し、配信サーバ１４にアップロードする。セグメントとは、ビデオストリーム、オーディオストリームを数秒から１０秒程度の時間単位でファイル化したものである。例えば、RegionMappingBoxを含むISOBMFFがセグメントファイルとして配信される。
　例えばMEPG-DASH (ISO/IEC 23009-1)を用いた配信を行う配信サーバ１４は、生成装置１３からアップロードされたセグメントファイルとMPDファイルを格納する。配信サーバ１４は、クライアントとしての再生装置１５からの要求に応じて、格納しているセグメントファイルを再生装置１５に送信する。
　再生装置１５は、配信サーバ１４にISOBMFF ファイルを要求し、その要求に応じて送信されてくるISOBMFFファイルを受け取る。また、再生装置１５は、ISOBMFFファイルに基づいて、再生装置１５で行うことが可能なマッピングに対応する全天球画像の生成方法で生成された全天球画像のセグメントファイルを要求し、その要求に応じて送信されてくるセグメントファイルを受け取る。再生装置１５は、受け取ったセグメントファイルに含まれるキューブストリーム(または正距円筒ストリームであってもよい)を復号する。再生装置１５は、復号の結果得られる全天球画像を３Ｄモデルにマッピングすることにより、３Ｄモデル画像を生成する。
　また、再生装置１５は、カメラ１５Ａを内蔵し、ヘッドマウントディスプレイ１６に付されたマーカ１６Ａを撮影する。そして、再生装置１５は、マーカ１６Ａの撮影画像に基づいて、３Ｄモデルの座標系における視聴位置を検出する。さらに、再生装置１５は、ヘッドマウントディスプレイ１６のジャイロセンサ１６Ｂの検出結果を、ヘッドマウントディスプレイ１６から受け取る。再生装置１５は、ジャイロセンサ１６Ｂの検出結果に基づいて、３Ｄモデルの座標系における視聴者の視線方向を決定する。再生装置１５は、視聴位置と視線方向に基づいて、３Ｄモデルの内部に位置する視聴者の視野範囲を決定する。
　再生装置１５は、視聴位置を焦点として、３Ｄモデル画像を視聴者の視野範囲に透視投影することにより、視聴者の視野範囲の画像を表示画像として生成する。再生装置１５は、表示画像をヘッドマウントディスプレイ１６に供給する。
　ヘッドマウントディスプレイ１６は、視聴者の頭部に装着され、再生装置１５から供給される表示画像を表示する。ヘッドマウントディスプレイ１６には、カメラ１５Ａにより撮影されるマーカ１６Ａが付されている。従って、視聴者は、ヘッドマウントディスプレイ１６を頭部に装着した状態で、移動することにより視聴位置を指定することができる。また、ヘッドマウントディスプレイ１６には、ジャイロセンサ１６Ｂが内蔵され、そのジャイロセンサ１６Ｂによる角速度の検出結果は再生装置１５に伝送される。従って、視聴者は、ヘッドマウントディスプレイ１６を装着した頭部を回転させることにより、視線方向を指定することができる。
　図５２は、生成装置の構成例を示すブロック図である。
　図５２の生成装置１３は、スティッチング処理部２１、マッピング処理部２２、region-wise packing処理部２３、エンコーダ２４、音声処理部２５、エンコーダ２６、ファイル生成部２７、およびアップロード部２８により構成される。
　スティッチング処理部２１は、フレームごとに、図５１のカメラ１２Ａから供給される６方向の撮影画像の色や明るさを同一にし、重なりを除去して接続するスティッチング処理を行う。スティッチング処理部２１は、スティッチング処理後のフレーム単位の撮影画像をマッピング処理部２２に供給する。
　マッピング処理部２２は、この例ではキューブマッピングにより、スティッチング処理部２１から供給される撮影画像から全天球画像を生成する。具体的には、マッピング処理部２２は、スティッチング処理後の撮影画像をテクスチャとして立方体にマッピングし、その立方体の展開図の画像を全天球画像として生成する。マッピング処理部２２は、全天球画像をregion-wise packing処理部２３に供給する。なお、スティッチング処理部２１とマッピング処理部２２は、一体化されていてもよい。
　region-wise packing処理部２３はregion-wise packing処理を行う。すなわち、projected frameを領域ごとに位置とサイズを変更して２次元面上に配置してパッキング（packing）し、packed frameを生成する。region-wise packing処理部２３はまた、margin_flag, region_margin_typeを含むRegionMappingBoxを生成する。
　エンコーダ２４は、region-wise packing処理部２３から供給される全天球画像を１以上のビットレートで符号化し、キューブストリームを生成する。エンコーダ２４は、各ビットレートのキューブストリームをファイル生成部２７に供給する。
　音声処理部２５は、図５１のマイクロフォン１２Ｂから供給される音声を取得し、エンコーダ２６に供給する。エンコーダ２６は、音声処理部２５から供給される音声を符号化し、オーディオストリームを生成する。エンコーダ２６は、オーディオストリームをファイル生成部２７に供給する。
　ファイル生成部２７は、各ビットレートのキューブストリーム、およびオーディオストリームを、セグメント単位でファイル化する。ファイル生成部２７は、その結果生成されたセグメントファイルをアップロード部２８に供給する。ファイル生成部２７はまた、ISOBMFFファイルを生成し、アップロード部２８に供給する。
　このとき、ファイル生成部２７は、上述したように拡張されたISOBMFFを生成することができ、そのISOBMFFには、領域情報がシグナルされている。即ち、ファイル生成部２７は、球面上の複数の頂点をシグナルし、それらの頂点どうしを球面上の最短距離で結ぶことで球面上の領域を表現する領域情報（第１の実施の形態）を生成してISOBMFFに記述する。また、ファイル生成部２７は、球面上の面ごとに各面の頂点をシグナルし、それらの頂点どうしを球面上の最短距離で結ぶことで形成される面領域を、面の数に応じてシグナルすることで球面上の領域を表現する領域情報（第２の実施の形態）を生成してISOBMFFに記述する。または、ファイル生成部２７は、MPDを生成する際に、同様に、拡張されたMPDに領域情報がシグナル（第４の実施の形態）されるようにしてもよい。
　アップロード部２８は、ファイル生成部２７から供給されるセグメントファイルとISOBMFFファイルとを、図５１の配信サーバ１４にアップロードする。
　次に、画像を処理する場合を例として、再生装置１５の構成例について説明する。
　図５３は、再生装置の構成例を示すブロック図である。
　図５３の再生装置１５は、ファイル取得部３１、ストリーム抽出部３２、デコーダ３３、projected frame生成部３４，マッピング処理部３５、描画部３６、受け取り部３７、視線検出部３８、およびカメラ１５Ａを有している。
　ファイル取得部３１は、図５１の配信サーバ１４から再生対象のファイルを取得する。ストリーム抽出部３２は、ファイル取得部３１により取得されたファイルから、ビデオストリームを抽出する。デコーダ３３は、ストリーム抽出部３２により抽出されたビデオストリームをデコードする。projected frame生成部３４は、デコーダ３３によりデコードされた画像データからprojected frameを生成する。
　マッピング処理部３５は、projected frame生成部３４から供給される全天球画像を立方体の６面のそれぞれにテクスチャとしてマッピングする。
　描画部３６は、マッピング処理部３５から供給される３Ｄモデル画像を、視線検出部３８から供給される視聴位置を焦点として、視聴者の視野範囲に透視投影することにより、視聴者の視野範囲の画像を表示画像として生成する。描画部３６は、表示画像をヘッドマウントディスプレイ１６に供給する。
　受け取り部３７は、図５１のジャイロセンサ１６Ｂの検出結果を、ヘッドマウントディスプレイ１６から受け取り、視線検出部３８に供給する。
　視線検出部３８は、受け取り部３７から供給されるジャイロセンサ１６Ｂの検出結果に基づいて、３Ｄモデルの座標系における視聴者の視線方向を決定する。また、視線検出部３８は、カメラ１５Ａからマーカ１６Ａの撮影画像を取得し、その撮影画像に基づいて、３Ｄモデルの座標系における視聴位置を検出する。視線検出部３８は、３Ｄモデルの座標系における視聴位置と視線方向に基づいて、３Ｄモデルの座標系における視聴者の視野範囲を決定する。視線検出部３８は、視聴者の視野範囲と視聴位置を描画部３６に供給する。
　図５４のフローチャートを参照して、図５２のファイル生成部２７が実行するファイル生成処理について説明する。
　ステップＳ１１において、ファイル生成部２７は、全天球ビデオは複数に分割されているか否かを判定する。
　ステップＳ１１において、全天球ビデオは複数に分割されていると判定された場合、処理はステップＳ１２に進み、ファイル生成部２７は、全ての全天球ビデオの領域情報をもとに、tcovおよびEssentialProperty (totalcoverage) 情報を決定する。
　ステップＳ１３において、ファイル生成部２７は、個々の全天球ビデオの領域情報をもとに、それぞれのcoviおよびEssentialProperty(coverage)を決定する。
　一方、ステップＳ１１において、全天球ビデオは複数に分割されていないと判定された場合、処理はステップＳ１４に進み、ファイル生成部２７は、全天球ビデオの領域情報をもとに、coviとEssentialProperty(coverage)情報を決定する。
　ステップＳ１３またはＳ１４の処理後、処理はステップＳ１５に進み、ファイル生成部２７は、MPDとISOBMFFを生成した後、処理は終了される。
　図５５のフローチャートを参照して、図５３のファイル取得部３１が実行するファイル取得処理について説明する。
　ステップＳ２１において、ファイル取得部３１は、MPDのAdaptationSetのEssentialProperty（totalcoverage）を参照し、所望のtotal coverageとなるspatial_set_idを取得する。
　ステップＳ２２において、ファイル取得部３１は、MPDのAdaptationSetのEssentialProperty（coverage）を参照し、ステップＳ２１で取得したspatial_set_idを持ち、かつ視聴方向に適合するAdaptationSetを選択する。
　ステップＳ２３において、ファイル取得部３１は、選択したAdaptationSetの中で、帯域幅に応じてRepresentationを選択して、参照されているファイルを取得して、処理は終了される。
　以上のように、ファイル生成部２７は、MPDおよびISOBMFFを生成することができ、ファイル取得部３１は、生成対象のファイルを取得することができる。
　なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。また、プログラムは、１のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。
　また、上述した一連の処理（情報処理方法）は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラムが記録されたプログラム記録媒体からインストールされる。
　図５６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
　バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロフォンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。
　以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU１０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
　そして、プログラムは、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
　＜構成の組み合わせ例＞
　なお、本技術は以下のような構成も取ることができる。
（１）
　球面上の複数の頂点をシグナルし、それらの頂点どうしを球面上の最短距離で結ぶことで球面上の領域を表現する領域情報を生成する生成部
　を備える情報処理装置。
（２）
　前記領域情報には、複数の前記頂点を結ぶ規則が導入される
　上記（１）に記載の情報処理装置。
（３）
　前記領域情報には、複数の頂点でカバーされる領域に含まれる代表点がシグナルされる
　上記（１）または（２）に記載の情報処理装置。
（４）
　前記領域情報は、拡張されたISOBMFFによりシグナルされる
　上記（１）から（３）までのいずれかに記載の情報処理装置。
（５）
　前記領域情報は、tcovによりシグナルされる
　上記（１）から（３）までのいずれかに記載の情報処理装置。
（６）
　前記領域情報は、拡張されたDASH MPDによりシグナルされる
　上記（１）から（３）までのいずれかに記載の情報処理装置。
（７）
　球面上の複数の頂点をシグナルし、それらの頂点どうしを球面上の最短距離で結ぶことで球面上の領域を表現する領域情報を生成する
　ステップを含む情報処理方法。
（８）
　球面上の複数の頂点をシグナルし、それらの頂点どうしを球面上の最短距離で結ぶことで球面上の領域を表現する領域情報を生成する
　ステップを含む情報処理をコンピュータに実行させるプログラム。
（９）
　球面上の面ごとに各面の頂点をシグナルし、それらの頂点どうしを球面上の最短距離で結ぶことで形成される面領域を、面の数に応じてシグナルすることで球面上の領域を表現する領域情報を生成する生成部
　を備える情報処理装置。
（１０）
　前記領域情報には、複数の前記頂点を結ぶ規則が導入され、前記面の数に従ってループを回すことで前記面領域がシグナルされる
　上記（９）に記載の情報処理装置。
（１１）
　前記領域情報には、シグナルされた領域をカバーするか、シグナルされた領域以外をカバーするかを示すフラグが含まれる
　上記（９）または（１０）に記載の情報処理装置。
（１２）
　前記領域情報は、拡張されたISOBMFFによりシグナルされる
　上記（９）から（１１）までのいずれかに記載の情報処理装置。
（１３）
　前記領域情報は、tcovによりシグナルされる
　上記（９）から（１１）までのいずれかに記載の情報処理装置。
（１４）
　前記領域情報は、拡張されたDASH MPDによりシグナルされる
　上記（９）から（１１）までのいずれかに記載の情報処理装置。
（１５）
　球面上の面ごとに各面の頂点をシグナルし、それらの頂点どうしを球面上の最短距離で結ぶことで形成される面領域を、面の数に応じてシグナルすることで球面上の領域を表現する領域情報を生成する
　ステップを含む情報処理方法。
（１６）
　球面上の面ごとに各面の頂点をシグナルし、それらの頂点どうしを球面上の最短距離で結ぶことで形成される面領域を、面の数に応じてシグナルすることで球面上の領域を表現する領域情報を生成する
　ステップを含む情報処理をコンピュータに実行させるプログラム。
　なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　１１　配信システム，　１２　撮影装置，　１２Ａ　カメラ，　１２Ｂ　マイクロフォン，　１３　生成装置，　１４　配信サーバ，　１５　再生装置，　１５Ａ　カメラ，　１６　ヘッドマウントディスプレイ，　１６Ａ　マーカ，　１６Ｂ　ジャイロセンサ，　２１　スティッチング処理部，　２２　マッピング処理部，　２３　region-wise packing処理部，　２４　エンコーダ，　２５　音声処理部，　２６　エンコーダ，　２７　ファイル生成部，　２８　アップロード部，　３１　ファイル取得部，　３２　ストリーム抽出部，　３３　デコーダ，　３４　projected frame生成部，　３５　マッピング処理部，　３６　描画部，　３７　受け取り部，　３８　視線検出部

Claims (16)

  1. 　球面上の複数の頂点をシグナルし、それらの頂点どうしを球面上の最短距離で結ぶことで球面上の領域を表現する領域情報を生成する生成部
    　を備える情報処理装置。
  2. 　前記領域情報には、複数の前記頂点を結ぶ規則が導入される
    　請求項１に記載の情報処理装置。
  3. 　前記領域情報には、複数の頂点でカバーされる領域に含まれる代表点がシグナルされる
    　請求項１に記載の情報処理装置。
  4. 　前記領域情報は、拡張されたISOBMFFによりシグナルされる
    　請求項１に記載の情報処理装置。
  5. 　前記領域情報は、tcovによりシグナルされる
    　請求項１に記載の情報処理装置。
  6. 　前記領域情報は、拡張されたDASH MPDによりシグナルされる
    　請求項１に記載の情報処理装置。
  7. 　球面上の複数の頂点をシグナルし、それらの頂点どうしを球面上の最短距離で結ぶことで球面上の領域を表現する領域情報を生成する
    　ステップを含む情報処理方法。
  8. 　球面上の複数の頂点をシグナルし、それらの頂点どうしを球面上の最短距離で結ぶことで球面上の領域を表現する領域情報を生成する
    　ステップを含む情報処理をコンピュータに実行させるプログラム。
  9. 　球面上の面ごとに各面の頂点をシグナルし、それらの頂点どうしを球面上の最短距離で結ぶことで形成される面領域を、面の数に応じてシグナルすることで球面上の領域を表現する領域情報を生成する生成部
    　を備える情報処理装置。
  10. 　前記領域情報には、複数の前記頂点を結ぶ規則が導入され、前記面の数に従ってループを回すことで前記面領域がシグナルされる
    　請求項９に記載の情報処理装置。
  11. 　前記領域情報には、シグナルされた領域をカバーするか、シグナルされた領域以外をカバーするかを示すフラグが含まれる
    　請求項９に記載の情報処理装置。
  12. 　前記領域情報は、拡張されたISOBMFFによりシグナルされる
    　請求項９に記載の情報処理装置。
  13. 　前記領域情報は、tcovによりシグナルされる
    　請求項９に記載の情報処理装置。
  14. 　前記領域情報は、拡張されたDASH MPDによりシグナルされる
    　請求項９に記載の情報処理装置。
  15. 　球面上の面ごとに各面の頂点をシグナルし、それらの頂点どうしを球面上の最短距離で結ぶことで形成される面領域を、面の数に応じてシグナルすることで球面上の領域を表現する領域情報を生成する
    　ステップを含む情報処理方法。
  16. 　球面上の面ごとに各面の頂点をシグナルし、それらの頂点どうしを球面上の最短距離で結ぶことで形成される面領域を、面の数に応じてシグナルすることで球面上の領域を表現する領域情報を生成する
    　ステップを含む情報処理をコンピュータに実行させるプログラム。
PCT/JP2018/009913 2017-03-24 2018-03-14 情報処理装置および情報処理方法、並びにプログラム WO2018173875A1 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
JP2019507591A JP7243620B2 (ja) 2017-03-24 2018-03-14 情報処理装置およびプログラム
KR1020197026763A KR20190129865A (ko) 2017-03-24 2018-03-14 정보 처리 장치 및 정보 처리 방법, 그리고 프로그램
EP18772069.3A EP3606085A4 (en) 2017-03-24 2018-03-14 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM
CN201880018913.2A CN110476436A (zh) 2017-03-24 2018-03-14 信息处理装置和信息处理方法以及程序
CA3056739A CA3056739A1 (en) 2017-03-24 2018-03-14 Information processing apparatus and information processing method, and program
RU2019129256A RU2019129256A (ru) 2017-03-24 2018-03-14 Способ обработки информации, устройство для обработки информации и программа
US16/486,271 US20190394445A1 (en) 2017-03-24 2018-03-14 Information processing apparatus and information processing method, and program
BR112019019311A BR112019019311A2 (pt) 2017-03-24 2018-03-14 aparelho e método de processamento de informação, e, programa.
AU2018238632A AU2018238632A1 (en) 2017-03-24 2018-03-14 Information processing device, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017060221 2017-03-24
JP2017-060221 2017-03-24

Publications (1)

Publication Number Publication Date
WO2018173875A1 true WO2018173875A1 (ja) 2018-09-27

Family

ID=63586527

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/009913 WO2018173875A1 (ja) 2017-03-24 2018-03-14 情報処理装置および情報処理方法、並びにプログラム

Country Status (10)

Country Link
US (1) US20190394445A1 (ja)
EP (1) EP3606085A4 (ja)
JP (1) JP7243620B2 (ja)
KR (1) KR20190129865A (ja)
CN (1) CN110476436A (ja)
AU (1) AU2018238632A1 (ja)
BR (1) BR112019019311A2 (ja)
CA (1) CA3056739A1 (ja)
RU (1) RU2019129256A (ja)
WO (1) WO2018173875A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020071111A1 (ja) * 2018-10-02 2021-09-24 ソニーグループ株式会社 情報処理装置および情報処理方法、並びにプログラム
JP2022170709A (ja) * 2021-04-28 2022-11-10 レモン インコーポレイテッド 外部ストリーム表現プロパティ

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021194483A1 (en) * 2020-03-25 2021-09-30 Alcacruz Inc. Generating a representation of a spherical image

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009133798A (ja) * 2007-12-03 2009-06-18 Furuno Electric Co Ltd 位置検出方法および位置検出装置
WO2015060165A1 (ja) * 2013-10-22 2015-04-30 シャープ株式会社 表示処理装置、配信装置、および、メタデータ
JP2016509418A (ja) * 2013-01-18 2016-03-24 キヤノン株式会社 分割された時分割メディアデータをカプセル化するための方法、デバイス、およびコンピュータプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003141562A (ja) * 2001-10-29 2003-05-16 Sony Corp 非平面画像の画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
JP2004272590A (ja) * 2003-03-07 2004-09-30 Sony Corp データ符号化装置及びデータ符号化方法、並びにコンピュータ・プログラム
JP4945578B2 (ja) * 2007-01-04 2012-06-06 肇 鳴川 情報処理方法
JP6344723B2 (ja) * 2015-07-14 2018-06-20 パナソニックＩｐマネジメント株式会社 映像表示システム、映像表示装置及び映像表示方法
WO2017142353A1 (ko) * 2016-02-17 2017-08-24 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
KR102506480B1 (ko) * 2016-06-14 2023-03-07 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
CN205793093U (zh) * 2016-07-12 2016-12-07 冯心斌 一种带夹子的机顶盒
JP6657475B2 (ja) * 2016-08-25 2020-03-04 エルジー エレクトロニクス インコーポレイティド 全方位ビデオを伝送する方法、全方位ビデオを受信する方法、全方位ビデオの伝送装置及び全方位ビデオの受信装置
KR102498598B1 (ko) * 2016-10-18 2023-02-14 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
JP7146747B2 (ja) * 2016-11-17 2022-10-04 インテル コーポレイション パノラマビデオのための提案されるビューポート指示

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009133798A (ja) * 2007-12-03 2009-06-18 Furuno Electric Co Ltd 位置検出方法および位置検出装置
JP2016509418A (ja) * 2013-01-18 2016-03-24 キヤノン株式会社 分割された時分割メディアデータをカプセル化するための方法、デバイス、およびコンピュータプログラム
WO2015060165A1 (ja) * 2013-10-22 2015-04-30 シャープ株式会社 表示処理装置、配信装置、および、メタデータ

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
ANONYMOUS: "DB2 for Linux, Unix, and Windows Spatial Extender and Geodetic Data Management Feature. User's Guide and Reference (Version 9, Release 7)", DB2 FOR LINUX, UNIX, AND WINDOWS. USER'S GUIDE AND REFERENCE, vol. SC88-5900-02, July 2012 (2012-07-01), Tokyo, pages 1 - 538, XP009515767 *
BOYCE, J. ET AL.: "HEVC Additional Supplemental Enhancement Information (Draft 1", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, DOCUMENT: JCTVC-Z1005, 4 February 2017 (2017-02-04), pages 1 - 19, XP055558338, Retrieved from the Internet <URL:http://phenix.it-sudparis.eu/jct/doc_end_user/documents/26_Geneva/wgll/JCTVC-Z1005-vl.zip> [retrieved on 20180410] *
HOW SIMLPLE IT IS! DRA- CA 12 3-DIMENSIONAL PART - FROM MODELING/RENDERING TO SUN SHADOW DIAGRAM/SKY MAP, April 2014 (2014-04-01), TOKYO, pages 39, XP9515765, ISBN: 978-4-87735-055-0 *
OH, SEJIN ET AL.: "SEI message for signaling of 360-degree video information", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, DOCUMENT: JCTVC-Z0026, 4 January 2017 (2017-01-04), pages 1 - 6, XP030118132 *
See also references of EP3606085A4 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020071111A1 (ja) * 2018-10-02 2021-09-24 ソニーグループ株式会社 情報処理装置および情報処理方法、並びにプログラム
JP7439762B2 (ja) 2018-10-02 2024-02-28 ソニーグループ株式会社 情報処理装置および情報処理方法、並びにプログラム
JP2022170709A (ja) * 2021-04-28 2022-11-10 レモン インコーポレイテッド 外部ストリーム表現プロパティ
US11888913B2 (en) 2021-04-28 2024-01-30 Lemon Inc. External stream representation properties
JP7426432B2 (ja) 2021-04-28 2024-02-01 レモン インコーポレイテッド 外部ストリーム表現プロパティ

Also Published As

Publication number Publication date
EP3606085A1 (en) 2020-02-05
AU2018238632A1 (en) 2019-10-10
RU2019129256A3 (ja) 2021-03-17
CA3056739A1 (en) 2018-09-27
KR20190129865A (ko) 2019-11-20
EP3606085A4 (en) 2020-02-05
BR112019019311A2 (pt) 2020-04-14
JP7243620B2 (ja) 2023-03-22
JPWO2018173875A1 (ja) 2020-02-20
CN110476436A (zh) 2019-11-19
RU2019129256A (ru) 2021-03-17
US20190394445A1 (en) 2019-12-26

Similar Documents

Publication Publication Date Title
US11700352B2 (en) Rectilinear viewport extraction from a region of a wide field of view using messaging in video transmission
JP7218826B2 (ja) 再生装置および画像生成方法
KR102246002B1 (ko) 가상 현실 미디어 콘텐트의 스트리밍을 개선하는 방법, 디바이스, 및 컴퓨터 프로그램
WO2019202207A1 (en) Processing video patches for three-dimensional content
JP7151486B2 (ja) 生成装置、生成方法、再生装置および再生方法
JP2019516297A (ja) ビューを意識した３６０度ビデオストリーミング
US20180176650A1 (en) Information processing apparatus and information processing method
US20200329266A1 (en) Information processing apparatus, method for processing information, and storage medium
CN108282449B (zh) 一种应用于虚拟现实技术的流媒体的传输方法和客户端
US10757463B2 (en) Information processing apparatus and information processing method
JP7243620B2 (ja) 情報処理装置およびプログラム
WO2017195881A1 (ja) ファイル生成装置およびファイル生成方法、並びに、再生装置および再生方法
KR20210084248A (ko) Vr 컨텐츠 중계 플랫폼 제공 방법 및 그 장치
Oyman et al. Virtual reality industry forum's view on state of the immersive media industry
WO2019034804A2 (en) THREE-DIMENSIONAL VIDEO PROCESSING
Oyman et al. VRIF’s View on State of the Immersive Media Industry

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18772069

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019507591

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20197026763

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 3056739

Country of ref document: CA

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112019019311

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 2018238632

Country of ref document: AU

Date of ref document: 20180314

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2018772069

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2018772069

Country of ref document: EP

Effective date: 20191024

ENP Entry into the national phase

Ref document number: 112019019311

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20190917