WO2020009350A1 - 오클루션 이펙트에 관한 오디오 데이터를 송수신하는 방법 및 그 장치 - Google Patents

오클루션 이펙트에 관한 오디오 데이터를 송수신하는 방법 및 그 장치 Download PDF

Info

Publication number
WO2020009350A1
WO2020009350A1 PCT/KR2019/007280 KR2019007280W WO2020009350A1 WO 2020009350 A1 WO2020009350 A1 WO 2020009350A1 KR 2019007280 W KR2019007280 W KR 2019007280W WO 2020009350 A1 WO2020009350 A1 WO 2020009350A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
obstacle
user
filter
occlusion effect
Prior art date
Application number
PCT/KR2019/007280
Other languages
English (en)
French (fr)
Inventor
이동금
오세진
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of WO2020009350A1 publication Critical patent/WO2020009350A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control

Definitions

  • the present invention relates to audio data, and more particularly, to a method and apparatus for transmitting and receiving audio data relating to an occlusion effect.
  • the VR (Virtual Reality) system gives the user the feeling of being in an electronically projected environment.
  • the Augmented Reality (AR) system superimposes a three-dimensional virtual image on a reality image or background, giving the user the feeling of being in a mixed environment of virtual and reality.
  • the system for providing VR or AR can be further refined to provide higher quality images and spatial sound.
  • the VR or AR system may enable the user to consume VR or AR content interactively.
  • An object of the present invention is to provide a method and apparatus for transmitting and receiving audio data.
  • Another object of the present invention is to provide a method and apparatus for transmitting and receiving audio data related to an occlusion effect.
  • Another technical problem of the present invention is to provide an audio data transmission apparatus for generating metadata including occlusion effect information and transmitting the same to an audio data receiving apparatus and a method of operating the same.
  • Another technical problem of the present invention is to provide an audio data receiving apparatus for receiving metadata including occlusion effect information from an audio data transmitting apparatus and a method of operating the same.
  • Another technical problem of the present invention is to provide a method and apparatus for transmitting and receiving 3D audio data.
  • Another technical problem of the present invention is to provide metadata for audio content of 3DoF, 3DoF +, or 6DoF based on an audio decoder and an audio encoder according to MPEG-H.
  • an audio data receiving apparatus derives a filter based on occlusion effect information related to an obstacle to provide a sound to which the occlusion effect according to the obstacle is applied to the user.
  • an audio data receiving method performed by an audio data receiving apparatus may include receiving metadata of three-dimensional audio content and an encoded three-dimensional audio signal of the three-dimensional audio content, decoding the encoded three-dimensional audio signal and of the three-dimensional audio content. Rendering the decoded three-dimensional audio signal based on metadata, wherein the metadata includes occlusion effect information of the three-dimensional audio content.
  • an audio data receiving apparatus for transmitting audio data.
  • the audio data receiving apparatus includes: a receiver configured to receive metadata of 3D audio content and an encoded 3D audio signal of the 3D audio content, an audio signal decoder to decode the encoded 3D audio signal, and the 3D And a rendering unit that renders the decoded 3D audio signal based on metadata of audio content, wherein the metadata includes occlusion effect information of the 3D audio content.
  • an audio data transmission method performed by an audio data transmission apparatus may include generating metadata of 3D audio content, encoding a 3D audio signal of the 3D audio content, and transmitting the encoded 3D audio signal and the generated metadata. Including the step, wherein the metadata comprises occlusion effect (occlusion effect) information of the three-dimensional audio content.
  • an audio data transmission device for transmitting audio data.
  • the audio data transmission device may include a metadata generator that generates metadata of 3D audio content, an audio signal encoder that encodes a 3D audio signal of the 3D audio content, and the encoded 3D audio signal and the generated signal. And a transmission unit for transmitting the metadata, wherein the metadata includes occlusion effect information of the 3D audio content.
  • an audio data transmission device and an audio data reception device can provide a method for efficiently transmitting and receiving audio data for 3D audio content.
  • an audio data transmission device and an audio data reception device can provide a method for efficiently transmitting and receiving audio data for VR or AR content.
  • a method of more efficiently rendering (or playing) a 3D audio signal for VR or AR content based on metadata of VR or AR content received from an audio data transmission device may be provided. Can be.
  • FIG. 1 is a diagram showing the overall architecture for providing 360 video according to the present invention.
  • FIGS. 2 and 3 illustrate the structure of a media file according to an embodiment of the present invention.
  • FIG 4 shows an example of the overall operation of the DASH-based adaptive streaming model.
  • FIG. 5 is a diagram illustrating a relationship between a user and a sound source in a playback space of 3D audio content according to an exemplary embodiment.
  • 6A to 6C are diagrams illustrating an occlusion effect when an obstacle is located between a user and a sound source in a playback space according to an exemplary embodiment.
  • FIG. 7 is a graph illustrating an RIR in a reproduction space according to an embodiment.
  • FIG. 8 is a diagram illustrating a fresnel zone between a user and a sound source according to an exemplary embodiment.
  • FIG 9 illustrates a Fresnel zone according to frequency when an obstacle is located between a user and a sound source, according to an exemplary embodiment.
  • 10A and 10B are diagrams for describing an influence of an obstacle on a frequency according to an embodiment.
  • FIG. 11 is a graph illustrating a frequency response of an attenuation filter according to an embodiment.
  • FIG. 12 is a diagram illustrating a predetermined attenuation filter according to a position in a reproduction space according to an embodiment.
  • FIG. 13 is a diagram schematically illustrating an audio stream of another audio-related encoder and decoder to which an occlusion effect may be applied, according to an embodiment.
  • FIG. 14 is a flowchart illustrating a method of operating a 3D audio data receiving apparatus in consideration of an occlusion effect, according to an exemplary embodiment.
  • FIG. 15 is a block diagram illustrating a configuration of a 3D audio data receiving apparatus considering an occlusion effect, according to an exemplary embodiment.
  • 16 is a flowchart illustrating a method of operating an audio data transmission apparatus according to an embodiment.
  • 17 is a block diagram illustrating a configuration of an audio data transmission apparatus according to an embodiment.
  • FIG. 18 is a flowchart illustrating a method of operating an audio data receiving apparatus according to an embodiment.
  • 19 is a block diagram illustrating a configuration of an audio data receiving apparatus according to an embodiment.
  • FIG. 21 shows an example of a 5G usage scenario to which the technical features of the present invention can be applied.
  • FIG. 22 illustrates a service system according to an embodiment of the present invention.
  • each configuration in the drawings described in the present invention are shown independently for the convenience of description of the different characteristic functions, it does not mean that each configuration is implemented by separate hardware or separate software.
  • two or more of each configuration may be combined to form one configuration, or one configuration may be divided into a plurality of configurations.
  • Embodiments in which each configuration is integrated and / or separated are also included in the scope of the present invention without departing from the spirit of the present invention.
  • FIG. 1 is a diagram showing the overall architecture for providing 360 video according to the present invention.
  • the present invention proposes a method of providing 360 content in order to provide a user with virtual reality (VR).
  • VR may refer to a technique or environment for replicating a real or virtual environment.
  • VR artificially provides the user with a sensational experience, which allows the user to experience the same as being in an electronically projected environment.
  • 360 content refers to the overall content for implementing and providing VR, and may include 360 video and / or 360 audio.
  • 360 video may refer to video or image content that is required to provide VR, and simultaneously captured or played back in all directions (360 degrees).
  • 360 video may refer to 360 degree video.
  • 360 video may refer to video or an image displayed on various types of 3D space according to a 3D model, for example, 360 video may be represented on a spherical surface.
  • 360 audio is also audio content for providing VR, and may mean spatial audio content, in which a sound source can be recognized as being located in a specific space in three dimensions.
  • 360 content may be generated, processed, and transmitted to users, and users may consume the VR experience using 360 content.
  • 360 video may be called omnidirectional video and 360 image may be called omnidirectional image.
  • the present invention particularly proposes a method for effectively providing 360 video.
  • first 360 video may be captured through one or more cameras.
  • the captured 360 video is transmitted through a series of processes, and the receiving side can process and render the received data back into the original 360 video. Through this, 360 video may be provided to the user.
  • the entire process for providing the 360 video may include a capture process, preparation process, transmission process, processing process, rendering process, and / or feedback process.
  • the capturing process may refer to capturing an image or video for each of a plurality of viewpoints through one or more cameras.
  • Image / video data such as 110 of FIG. 1 shown by the capture process may be generated.
  • Each plane of FIG. 1 110 shown may mean an image / video for each viewpoint.
  • the captured plurality of images / videos may be referred to as raw data.
  • metadata related to capture may be generated.
  • Special cameras for VR can be used for this capture.
  • capture through an actual camera may not be performed.
  • the corresponding capture process may be replaced by simply generating related data.
  • the preparation process may be a process of processing the captured image / video and metadata generated during the capture process.
  • the captured image / video may undergo a stitching process, a projection process, a region-wise packing process, and / or an encoding process in this preparation process.
  • each image / video can be stitched.
  • the stitching process may be a process of connecting each captured image / video to create a panoramic image / video or a spherical image / video.
  • the stitched image / video may be subjected to a projection process.
  • the stretched image / video can be projected onto a 2D image.
  • This 2D image may be called a 2D image frame depending on the context. It can also be expressed as mapping a projection to a 2D image to a 2D image.
  • the projected image / video data may be in the form of a 2D image as shown in FIG. 1 120.
  • the video data projected onto the 2D image may be subjected to region-wise packing to increase video coding efficiency and the like.
  • the region-specific packing may refer to a process of dividing the video data projected on the 2D image by region and applying the process.
  • the region may refer to a region in which 2D images projected with 360 video data are divided.
  • the regions may be divided evenly or arbitrarily divided into 2D images according to an embodiment. In some embodiments, regions may be divided according to a projection scheme.
  • the region-specific packing process is an optional process and may be omitted in the preparation process.
  • this processing may include rotating each region or rearranging on 2D images in order to increase video coding efficiency. For example, by rotating the regions so that certain sides of the regions are located close to each other, efficiency in coding can be increased.
  • the processing may include increasing or decreasing a resolution for a specific region in order to differentiate the resolution for each region of the 360 video. For example, regions that correspond to relatively more important areas on 360 video may have a higher resolution than other regions.
  • the video data projected onto the 2D image or the packed video data per region may be subjected to an encoding process through a video codec.
  • the preparation process may further include an editing process.
  • editing process editing of image / video data before and after projection may be further performed.
  • metadata about stitching / projection / encoding / editing may be generated.
  • metadata regarding an initial time point, a region of interest (ROI), or the like, of the video data projected on the 2D image may be generated.
  • the transmission process may be a process of processing and transmitting image / video data and metadata that have been prepared. Processing may be performed according to any transport protocol for the transmission. Data that has been processed for transmission may be delivered through a broadcast network and / or broadband. These data may be delivered to the receiving side in an on demand manner. The receiving side can receive the corresponding data through various paths.
  • the processing may refer to a process of decoding the received data and re-projecting the projected image / video data onto the 3D model.
  • image / video data projected on 2D images may be re-projected onto 3D space.
  • This process may be called mapping or projection depending on the context.
  • the mapped 3D space may have a different shape according to the 3D model.
  • the 3D model may have a sphere, a cube, a cylinder, or a pyramid.
  • the processing process may further include an editing process, an up scaling process, and the like.
  • editing process editing of image / video data before and after re-projection may be further performed.
  • the size of the sample may be increased by upscaling the samples during the upscaling process. If necessary, the operation of reducing the size through down scaling may be performed.
  • the rendering process may refer to a process of rendering and displaying re-projected image / video data in 3D space. Depending on the representation, it may be said to combine re-projection and rendering to render on a 3D model.
  • the image / video re-projected onto the 3D model (or rendered onto the 3D model) may have a shape such as 130 of FIG. 1 shown. 1, shown in FIG. 1, is a case in which a sphere is re-projected onto a 3D model of a sphere.
  • the user may view some areas of the rendered image / video through the VR display. In this case, the region seen by the user may be in the form as shown in 140 of FIG. 1.
  • the feedback process may mean a process of transmitting various feedback information that can be obtained in the display process to the transmitter. Through the feedback process, interactivity may be provided for 360 video consumption. According to an embodiment, in the feedback process, head orientation information, viewport information indicating an area currently viewed by the user, and the like may be transmitted to the transmitter. According to an embodiment, the user may interact with those implemented on the VR environment, in which case the information related to the interaction may be transmitted to the sender or service provider side in the feedback process. In some embodiments, the feedback process may not be performed.
  • the head orientation information may mean information about a head position, an angle, and a movement of the user. Based on this information, information about the area currently viewed by the user in the 360 video, that is, viewport information, may be calculated.
  • the viewport information may be information about an area currently viewed by the user in the 360 video. Through this, a gaze analysis may be performed to determine how the user consumes 360 video, which areas of the 360 video are viewed and how much. Gayes analysis may be performed at the receiving end and delivered to the transmitting side via a feedback channel.
  • a device such as a VR display may extract a viewport area based on the position / direction of a user's head, vertical or horizontal field of view (FOV) information supported by the device, and the like.
  • FOV horizontal field of view
  • the above-described feedback information may be consumed at the receiving side as well as being transmitted to the transmitting side. That is, the decoding, re-projection, rendering process, etc. of the receiving side may be performed using the above-described feedback information. For example, only 360 video for the area currently viewed by the user may be preferentially decoded and rendered using head orientation information and / or viewport information.
  • the viewport to the viewport area may mean an area that the user is viewing in 360 video.
  • a viewpoint is a point that the user is viewing in the 360 video and may mean a center point of the viewport area. That is, the viewport is an area centered on the viewpoint, and the size shape occupied by the area may be determined by a field of view (FOV) to be described later.
  • FOV field of view
  • 360 video data image / video data that undergoes a series of processes of capture / projection / encoding / transmission / decoding / re-projection / rendering may be referred to as 360 video data.
  • 360 video data may also be used as a concept including metadata or signaling information associated with such image / video data.
  • the media file may have a file format based on ISO base media file format (ISO BMFF).
  • ISO BMFF ISO base media file format
  • FIGS. 2 and 3 illustrate the structure of a media file according to an embodiment of the present invention.
  • the media file according to the present invention may include at least one box.
  • the box may be a data block or an object including media data or metadata related to the media data.
  • the boxes may form a hierarchical structure with each other, such that the data may be classified so that the media file may be in a form suitable for storage and / or transmission of a large amount of media data.
  • the media file may have an easy structure for accessing the media information, such as a user moving to a specific point of the media content.
  • the media file according to the present invention may include an ftyp box, a moov box and / or an mdat box.
  • An ftyp box can provide file type or compatibility related information for a corresponding media file.
  • the ftyp box may include configuration version information about media data of a corresponding media file.
  • the decoder can identify the media file by referring to the ftyp box.
  • the moov box may be a box including metadata about media data of a corresponding media file.
  • the moov box can act as a container for all metadata.
  • the moov box may be a box of the highest layer among metadata related boxes. According to an embodiment, only one moov box may exist in a media file.
  • the mdat box may be a box containing actual media data of the media file.
  • Media data may include audio samples and / or video samples, where the mdat box may serve as a container for storing these media samples.
  • the above-described moov box may further include a mvhd box, a trak box and / or an mvex box as a lower box.
  • the mvhd box may include media presentation related information of media data included in the media file. That is, the mvhd box may include information such as media generation time, change time, time specification, duration, etc. of the media presentation.
  • the trak box can provide information related to the track of the media data.
  • the trak box may include information such as stream related information, presentation related information, and access related information for an audio track or a video track.
  • the trak box may further include a tkhd box (track header box) as a lower box.
  • the tkhd box may include information about the track indicated by the trak box.
  • the tkhd box may include information such as a creation time, a change time, and a track identifier of the corresponding track.
  • the mvex box (movie extend box) may indicate that the media file may have a moof box to be described later. To know all the media samples of a particular track, moof boxes may have to be scanned.
  • the media file according to the present invention may be divided into a plurality of fragments (200). Through this, the media file may be divided and stored or transmitted.
  • the media data (mdat box) of the media file may be divided into a plurality of fragments, and each fragment may include a mdat box and a moof box.
  • information of the ftyp box and / or the moov box may be needed to utilize the fragments.
  • the moof box may provide metadata about media data of the fragment.
  • the moof box may be a box of the highest layer among metadata-related boxes of the fragment.
  • the mdat box may contain the actual media data as described above.
  • This mdat box may include media samples of media data corresponding to each corresponding fragment.
  • the above-described moof box may further include a mfhd box and / or a traf box as a lower box.
  • the mfhd box may include information related to an association between a plurality of fragmented fragments.
  • the mfhd box may include a sequence number to indicate how many times the media data of the fragment is divided. In addition, it may be confirmed whether there is no missing data divided using the mfhd box.
  • the traf box may include information about a corresponding track fragment.
  • the traf box may provide metadata about the divided track fragments included in the fragment.
  • the traf box may provide metadata so that media samples in the track fragment can be decoded / played back. There may be a plurality of traf boxes according to the number of track fragments.
  • the above-described traf box may further include a tfhd box and / or a trun box as a lower box.
  • the tfhd box may include header information of the corresponding track fragment.
  • the tfhd box may provide information such as a basic sample size, a duration, an offset, an identifier, and the like for media samples of the track fragment indicated by the traf box described above.
  • the trun box may include corresponding track fragment related information.
  • the trun box may include information such as duration, size, and playback time of each media sample.
  • the aforementioned media file or fragments of the media file may be processed into segments and transmitted.
  • the segment may have an initialization segment and / or a media segment.
  • the file of the illustrated embodiment 210 may be a file including information related to initialization of the media decoder except media data. This file may correspond to the initialization segment described above, for example.
  • the initialization segment may include the ftyp box and / or moov box described above.
  • the file of the illustrated embodiment 220 may be a file including the above-described fragment. This file may correspond to the media segment described above, for example.
  • the media segment may include the moof box and / or mdat box described above.
  • the media segment may further include a styp box and / or a sidx box.
  • the styp box may provide information for identifying the media data of the fragmented fragment.
  • the styp box may play the same role as the above-described ftyp box for the divided fragment.
  • the styp box may have the same format as the ftyp box.
  • the sidx box may provide information indicating an index for the divided fragment. Through this, it is possible to indicate how many fragments are the corresponding fragments.
  • the ssix box may be further included.
  • the ssix box (subsegment index box) may provide information indicating an index of the subsegment when the segment is further divided into subsegments.
  • the boxes in the media file may include more extended information based on a box-to-full box form such as the illustrated embodiment 250.
  • the size field and the largesize field may indicate the length of the corresponding box in bytes.
  • the version field may indicate the version of the box format.
  • the Type field may indicate the type or identifier of the corresponding box.
  • the flags field may indicate a flag related to the box.
  • the DASH-based adaptive streaming model according to the illustrated embodiment 400 describes the operation between an HTTP server and a DASH client.
  • DASH Dynamic Adaptive Streaming over HTTP
  • DASH is a protocol for supporting HTTP-based adaptive streaming, and can dynamically support streaming according to network conditions. Accordingly, the AV content can be provided without interruption.
  • the DASH client can obtain the MPD.
  • the MPD may be delivered from a service provider such as an HTTP server.
  • the DASH client can request the segments from the server using the access information to the segment described in the MPD. In this case, the request may be performed by reflecting the network state.
  • the DASH client may process it in the media engine and display the segment on the screen.
  • the DASH client may request and acquire a required segment by adaptively reflecting a playing time and / or a network condition (Adaptive Streaming). This allows the content to be played back seamlessly.
  • Adaptive Streaming a network condition
  • MPD Media Presentation Description
  • the DASH Client Controller may generate a command for requesting the MPD and / or the segment reflecting the network situation.
  • the controller can control the obtained information to be used in an internal block of the media engine or the like.
  • the MPD Parser may parse the acquired MPD in real time. This allows the DASH client controller to generate a command to obtain the required segment.
  • the segment parser may parse the acquired segment in real time. Internal blocks such as the media engine may perform a specific operation according to the information included in the segment.
  • the HTTP client may request the HTTP server for necessary MPDs and / or segments.
  • the HTTP client may also pass MPD and / or segments obtained from the server to the MPD parser or segment parser.
  • the media engine may display content on the screen using media data included in the segment. At this time, the information of the MPD may be utilized.
  • the DASH data model may have a hierarchical structure 410.
  • Media presentation can be described by MPD.
  • the MPD may describe a temporal sequence of a plurality of periods that make up a media presentation.
  • the duration may represent one section of media content.
  • the data may be included in the adaptation sets.
  • the adaptation set may be a collection of a plurality of media content components that may be exchanged with each other.
  • the adaptation may comprise a set of representations.
  • the representation may correspond to a media content component.
  • content can be divided in time into a plurality of segments. This may be for proper accessibility and delivery.
  • the URL of each segment may be provided to access each segment.
  • the MPD may provide information related to the media presentation, and the pyorium element, the adaptation set element, and the presentation element may describe the corresponding pyoride, the adaptation set, and the presentation, respectively.
  • Representation may be divided into sub-representations, the sub-representation element may describe the sub-representation.
  • Common attributes / elements can be defined here, which can be applied (included) to adaptation sets, representations, subrepresentations, and the like.
  • common properties / elements there may be an essential property and / or a supplemental property.
  • the essential property may be information including elements that are considered essential in processing the media presentation related data.
  • the supplemental property may be information including elements that may be used in processing the media presentation related data. According to an embodiment, descriptors to be described below may be defined and delivered in essential properties and / or supplemental properties when delivered through the MPD.
  • 3D audio data is processed in connection with an embodiment according to the present invention. It will be described in more detail.
  • FIG. 5 is a diagram for describing a relationship between a user and a sound source in a playback space of 3D audio content.
  • audio content may mean media content such as video, 360 video, VR content, AR content, or the like including audio information.
  • three-dimensional audio content may refer to three-dimensional media content, such as 360 video, VR content, AR content, including audio information.
  • audio data transmission apparatus may refer to an apparatus for transmitting audio data such as an audio signal and metadata about audio.
  • three-dimensional audio data transmission apparatus may mean an apparatus for transmitting three-dimensional audio data, such as a three-dimensional audio signal, metadata about the three-dimensional audio.
  • the audio data transmitting apparatus does not always transmit audio data to the audio data receiving apparatus or the like, and may receive audio data from the audio data receiving apparatus in some cases.
  • the apparatus for transmitting audio data may be the same / similar to the transmitter, transmitter, transmitter, or content producer described in the present specification, or may include, or be included in, a transmitter, transmitter, transmitter, or content producer. It can be interpreted as.
  • An audio data transmission device, a transmitter, a transmitter, a transmitter, or a content producer may be, for example, a network, a server, a cloud server, a base station, a set top box (STB), a PC, a UE, a desktop, a TV, a notebook, and the like. It may be a configuration or module included in the illustrated devices, and further, devices similar to the illustrated devices may operate as an audio data transmission device, a transmitter, a transmitter, a transmitter, or a content producer. Examples are not limited to this.
  • an "audio data receiving apparatus” may refer to an apparatus for receiving audio data such as an audio signal, metadata about audio, and the like.
  • the "three-dimensional audio data receiving apparatus” may mean an apparatus for receiving three-dimensional audio data, such as a three-dimensional audio signal, metadata about the three-dimensional audio.
  • the audio data receiving apparatus does not always receive audio data from the audio data transmitting apparatus, but may transmit audio data to the audio data transmitting apparatus in some cases.
  • the audio data receiving apparatus may be interpreted as being a device that is the same / similar to the receiving end, the receiver, or the receiving device described in the present specification, includes the receiving end, the receiver or the receiving device, or is included in the receiving end, the receiver, or the receiving device.
  • the audio data receiving device, the receiving end, the receiver, or the receiving device may be, for example, headphones, earphones, speakers, HMDs, terminals, set-top boxes, networks, servers, PCs, desktops, laptops, cameras, camcorders, TVs, and the like. It may be a configuration or a module included in the illustrated devices, and further, devices similar to the illustrated devices may operate as an audio data receiving device, a receiving end, a receiver, or a receiving device. Examples are not limited to this.
  • the 3D audio data receiving apparatus (or 3D audio data decoding apparatus) according to MPEG-H may support VR content in 3DoF and 3DoF + environments, and may further support VR content in 6DoF environments.
  • an occlusion effect may be applied as an obstacle between a user and a sound source is located in a playback space in the VR content, and the occlusion effect information may be signaled to apply the occlusion effect.
  • the 3 Degrees of Freedom (3DoF) environment may refer to a three-dimensional space environment that can be rotated about a pitch axis, a yaw axis, and a roll axis that are orthogonal to each other, and the 3DoF + environment is a 3DoF environment.
  • it can mean an environment that considers the center of the head as the user's head and additionally considers the tilt of the head in 3DoF.
  • the 6DoF environment may refer to an environment in which the central movement is additionally considered in the 3DoF environment.
  • the 6DoF environment will additionally take into account the pitch rotation about the pitch axis, the yaw rotation about the yaw axis, and the roll rotation about the roll axis, as well as the movement of the axis in the left / right, forward / backward and up / down directions. Can be.
  • the VR content of the 6DoF environment may be considered a change in the spatial response according to the user's location change, an obstacle may change due to the user's location change, etc.
  • the audio scene of the audio scene Features may also be considered.
  • a filter it is possible to define a filter to be most appropriately applied by referring to the characteristic information of the obstacle and the location information of the user. It can provide the same effect as blocked by. That is, an embodiment may provide the user with an experience in which the audio scene is recognized differently according to the position of the obstacle.
  • VR content in a 6DoF environment basically takes into account the situation in which the user can move, so audio scenes from various locations can be captured. For example, if the user moves from one location to another, listening to the audio scene captured closest to the moved location allows the user to experience the changed audio scene as the location moves. Therefore, basically, the better performance can be expected as the audio scene is captured in as many positions as possible in one content, but the more the captured audio scene, the higher the transmission rate is, so it may be difficult to implement in an environment such as two-way communication. Also, for example, when content is produced in a direction of capturing an audio scene at various positions with respect to a moving object in the VR content, the transmission rate for the audio scene may increase exponentially compared with the non-moving object.
  • a user using VR content may propose a method of processing a signal in a case where a sound source may be covered by an arbitrary object.
  • a sound source when a sound source is blocked or obstructed by an object, a user may approach a thing, and a sound source may be blocked, and a case where a moving object is near to the user may be considered. Therefore, in an exemplary embodiment, various methods of an object covering the sound source, that is, an obstacle, are first defined, and then a method of processing the corresponding sound sources in two cases will be sequentially described.
  • VR content in the 6DoF environment allows the user to freely move around the internal space or the playback space of the content, so even if the user hears the same sound source, the sound source may sound differently depending on the moved position. For example, when the user moves closer to an arbitrary sound source, the corresponding sound source may be louder, and when the user moves in the opposite direction to the arbitrary sound source, the corresponding sound source may be smaller. Also, the sound source may vary depending on the structure of the playback space in the content. For example, suppose that a content reproduction space is a large music hall, and the user is listening to a sound source generated at one side of the large music hall.
  • the sound source may be hidden by the pillar so that a clear sound may not be delivered to the user.
  • the factors that are not considered may affect the audio in the 6DoF environment, so all of these factors such as position movement may be considered.
  • a user may be located in any play space, and a sound source may be located in the same play space.
  • a sound source may be located in the same play space.
  • 3DoF +, 6DoF environment can indicate that it is applicable to all 3DoF, 3DoF + and 6DoF environment.
  • 5 illustrates a conventional situation in which no obstacle is located between the user and the sound source in the playback space, and the user can hear a clear sound from the sound source.
  • an obstacle is located between the user and the sound source in the playback space will be described.
  • 6A to 6C are diagrams for describing an occlusion effect when an obstacle is located between a user and a sound source in a playback space.
  • three cases may be considered when obstacles are located between a user and a sound source in a playback space.
  • FIG. 6A illustrates a first case in which an obstacle is located in front of a user or a center between a user and a sound source in a reproduction space, and obstacles are not located at both sides.
  • the sound of the sound source may not be directly transmitted to the user, but may be transmitted through both side paths adjacent to the obstacle.
  • FIG. 6B illustrates a second case in which an obstacle is located at both sides between the user and the sound source in the reproduction space, and the obstacle is not located at the center.
  • the sound of the sound source may be directly transmitted to the user, but may not be transmitted through both side paths adjacent to the obstacle.
  • FIG. 6C may represent a third case in which an obstacle is positioned like a wall between the user and the sound source in the playback space.
  • the sound of the sound source may be blocked all paths, but may not be accurate depending on the characteristics of the material of the obstacle (or wall, floor, etc.) blocking the space can be delivered.
  • the room response may be referred to as a room impulse response (RIR).
  • RIR room impulse response
  • the room response may be a response that is essentially used together with a head-related transfer function (HRTF) when the user listens to the 3D sound source.
  • HRTF head-related transfer function
  • the room response may be divided into r1, r2, and r3. Or it may be divided into r1, r2 and r3 according to the size and time (t) of the impulse or response.
  • r1 may be a direct sound or direct part that is a response in which the sound of the sound source is directly transmitted to the user without spatial reflection.
  • r2 may be an early reflection, which is a response in which the sound of the sound source is reflected to the user once or twice in an enclosed space. In general, the early reflection sound may be affected by the geometrical characteristics of the space, and thus the spatial characteristics of the sound source may be changed, and audibly affects the diffusion feeling.
  • r3 may be late reverberation, which is a response that is transmitted to the user after the sound of the sound source is reflected in a myriad of spaces, floors, ceilings, and walls.
  • the late reverberation sound may change in response to a sound absorption or reflective material in a space, and may affect the reverberation sound audibly.
  • the room response of FIG. 7 may be a response when there is no obstacle in the space as shown in FIG. 5.
  • the response characteristic may vary. That is, the response information such as the RIR or the Binaural RIR (BRIR) may change in accordance with the shape of the obstacle, and in one embodiment may be provided to the user by reflecting this.
  • the case of the first case of FIG. 6A will be described, and the second case of FIG. 6B and the third case of FIG. 6C will be described below.
  • the sound of the sound source may not be directly transmitted to the user due to an obstacle between the user and the sound source, but may be transmitted through an adjacent path of the obstacle.
  • the response characteristics of the direct sound may vary, and the response characteristics of the early reflection sound and the late reverberation sound may not change significantly.
  • an embodiment may change the response characteristic of the direct sound. In other words, one embodiment may apply an occlusion effect to the direct sound.
  • one embodiment may also consider the frequency characteristics of the sound of the sound source when changing the response characteristics. This is to consider the robustness as the low frequency signal has longer wavelength and greater diffraction than the high frequency signal.
  • calculating and applying diffraction on all obstacles or all media may be inefficient. Therefore, in general, the effect of obstacles is not accurately applied to the response, and even if the cognitive effect is given to the user, the user may be affected by the obstacle, and the maximum amount of calculation considering the fact that the position of the user and the obstacle may be changed in real time. In this small way, the effects of obstacles can be applied. Accordingly, in one embodiment, the effects of high frequency and low frequency diffraction and obstacles may be applied to a sound source or a response signal by referring to diameter information of a fresnel zone.
  • FIG. 8 is a diagram illustrating a fresnel zone between a user and a sound source.
  • a Fresnel zone exists between a user and a sound src.
  • the Fresnel zone may be formed from the first and the second or third order, but in one embodiment, only the first Fresnel zone may be considered.
  • the radius of the Fresnel zone at any point between the user and the sound source can be calculated as shown in Equation 1.
  • R may represent the radius of the Fresnel zone, and may be equal to the radius r of FIG. 8.
  • d1 and d2 may represent the distance from the sound source to any point and the distance from any point to the user, respectively.
  • n may indicate the order of the Fresnel zone, but when considering only the first order, it may have a value of 1.
  • ⁇ may represent a wavelength of sound of a sound source.
  • the Fresnel zone may be formed in a radius in proportion to the wavelength, the higher the frequency, the smaller the radius, the curse the larger the radius. That is, when an obstacle exists between the user and the sound source, it is possible to roughly calculate how much the sound of the sound source delivered to the user is covered by the obstacle based on the characteristic information of the obstacle.
  • the radius may be used instead of the diameter through some modification of Equation 1. 8 illustrates a case in which an obstacle is not located between the user and the sound source. Hereinafter, a case in which an obstacle is located between the user and the sound source will be described.
  • FIG. 9 is a diagram illustrating a Fresnel zone according to frequency when an obstacle is located between a user and a sound source.
  • the Fresnel zone may have a different radius depending on the frequency of the sound of the sound source.
  • the Fresnel zone represented by the solid line in FIG. 9 may be the case where the frequency of the sound of the sound source is 500 Hz
  • the Fresnel zone represented by the dotted line may be the case where the frequency of the sound of the sound source is 10 kHz. That is, the larger the frequency, the smaller the radius of the Fresnel zone, and the smaller the frequency, the larger the radius of the Fresnel zone. This will be described later in detail with reference to FIGS. 10A and 10B.
  • 10A and 10B are diagrams for explaining the influence of obstacles according to frequency.
  • 10A may be a cross-section of the Fresnel zone at the point where the obstacle is located when the frequency of the sound source sound is 500 Hz, and may correspond to the Fresnel zone shown by the solid line in FIG. 9.
  • 10B may be a cross section of the Fresnel zone at the point where the obstacle is located when the frequency of the sound source sound is 10 kHz, and may correspond to the Fresnel zone indicated by the dotted line in FIG. 9.
  • an embodiment provides information on the diameter of the Fresnel zone how much the obstacle covers the user at a specific frequency based on the location information and the size information of the obstacle. This can be confirmed roughly by reference. Observation at all frequencies may be required to improve accuracy, but in one embodiment, the human auditory organ is sensitive to low frequencies and is considered insensitive to high frequencies, such as 100 Hz, 500 Hz, 1 kHz, 5 Obstacle effects can only be observed for kHz and 10 kHz.
  • each frequency is only an example, and may be used because different numbers of different frequencies are not limited thereto. In particular, considering that there are 25 sections in which humans can distinguish frequencies, the analysis section may be changed or further expanded.
  • 11 is a graph showing the frequency response of the attenuation filter.
  • the area or area covered by the obstacle when the area or area covered by the obstacle is large in the cross section of the Fresnel zone at the point where the obstacle is located, it may be considered that the influence by the obstacle is large, and thus, the attenuation amount of the sound source is large.
  • the area or the area covered by the obstacle when the area or the area covered by the obstacle is small in the cross section of the Fresnel zone at the point where the obstacle is located, it may be considered that the influence by the obstacle is small, whereby the attenuation amount of the sound source is small.
  • the area covered by the obstacle in the cross section of the Fresnel zone at the point where the obstacle is located is 15% at 100 Hz, 35% at 500 Hz, 55% at 1 kHz, 75% at 5 kHz, 95 at 10 kHz. If the frequency is 100% or more at a frequency higher than or equal to 100%, an attenuation filter having a frequency response as shown in FIG.
  • the horizontal axis of FIG. 11 may be an axis indicated by a log scale.
  • the human auditory organ can hear up to 20 kHz, but the high frequency band is not well recognized by the human, and the above-mentioned 100% may mean that the magnitude value of the frequency response is 0, so that only up to 10 kHz is shown in FIG. Can be represented.
  • the diameter of the Fresnel zone can be larger the lower the frequency, the smaller the area obscured by obstacles. That is, the filter side may have the same characteristics as a low pass filter (LPF). Therefore, when any audio signal is normally delivered to the user through an obstacle, the user may feel that the audio signal is low pass filtered, and thus the filter designed or set may be applied similarly to the actual situation. As described above, the equation for applying the filter designed in consideration of the influence of the obstacle to the response signal may be the same as Equation 2.
  • ir d _ oc [n] may refer to the response of the direct sound considering the influence of the obstacle (or occlusion effect), and ir d [n] refers to the direct sound not considering the influence of the obstacle. It can mean a response.
  • h d [n] may mean a filter considering the influence of the obstacle, may have a response as shown in FIG. 11, and a [n] may mean an absorption coefficient.
  • the sound absorption coefficient may have characteristics of a low pass filter because the high frequency component is generally attenuated faster than the low frequency component. Therefore, when the sound absorption coefficient is applied to the response, the room response characteristic may vary according to the frequency response characteristic of a [n].
  • the magnitude of the sound absorption coefficient may be generally defined as a value between 0 and 1 in terms of frequency response, and the value may vary for each frequency according to the characteristics of the obstacle medium. As the sound absorption coefficient is closer to zero, it may mean that the sound source is better absorbed by the medium. As the value is closer to zero at any frequency, the attenuation amount may be greater. That is, it can be seen that the direct sound is not transmitted well to the user. Alternatively, the sound of the sound source may be regarded as being small to the user, and thus the user may hardly recognize the sound of the corresponding frequency.
  • the sound source is covered by the obstacle, the sound may be well heard regardless of the existence of the obstacle due to the characteristics of the obstacle. This may mean that the sound absorption coefficient of the medium of the obstacle is close to one. That is, it can be seen that most of the sound source is passed to the user through the obstacle.
  • Equation 2 For example, if the frequency response for the sound absorption coefficient is zero for all frequencies, the second term in Equation 2 may be deleted or ignored, and only the first term may be present or considered, and a [ Since n] is zero for all frequencies, ir d _ oc [n] and ir d [n] may be identical or nearly identical. In other words, even if an obstacle exists, it can be considered as if there is no obstacle.
  • an embodiment may design or set a filter with reference to a location of a user based on the feature information of the obstacle, and apply the influence of the obstacle through the filter.
  • the sound of the sound source may be directly transmitted to the user due to an obstacle between the user and the sound source, but may not be transmitted through an adjacent path of the obstacle. This can generally occur through the movement of the user.
  • the response characteristics of the direct sound may not change significantly, and the response characteristics of the early reflection sound and the late reverberation sound may vary. That is, the direct sound may not be affected, and the early reflection sound and the late reverberation sound may be affected.
  • an embodiment may change the response characteristics of the early reflection sound and the late reverberation sound. In other words, one embodiment may apply an occlusion effect to the early reflection sound and the late reverberation sound.
  • an embodiment may determine whether a situation such as a second case occurs based on distance information between a user and a sound source, location information of an obstacle, and size information of an obstacle. Alternatively, it may be determined whether an obstacle is located at a straight distance between the user and the sound source.
  • the occlusion effect may be applied according to the first case as described above, and the obstacle is present. If the obstacle is not located at a straight distance, the occlusion effect may be applied according to the second case to be described later.
  • the occlusion effect When the occlusion effect is applied to the room response, the occlusion effect can be applied only to the response component passing through the obstacle to refer to the position of the obstacle in order to change the response characteristic most accurately.
  • the process of extracting only the response components can be time consuming, and humans generally do not accurately distinguish between the response components.
  • one embodiment may apply the occlusion effect to the overall response by averaging the impact of the obstacle.
  • the overall response may include only the early reflection sound and the late reverberation sound.
  • the Fresnel zone may not be referred to. This is because, since the sound source is reflected and transmitted, it may be inefficient to measure the influence of the obstacle using all Fresnel zones for the response components captured or modeled innumerably.
  • the first step may be checking whether an obstacle is located between the user and the sound source.
  • the second step may be performed.
  • the second step may be measuring information occupied by the obstacle in the space with reference to the diameter information of the obstacle and the size information of the space.
  • the diameter information may be replaced by the radius information, or may be replaced by information capable of measuring the size or volume of the obstacle.
  • the size information of the space may be width information and / or length information. Due to the information used according to the location of the user and the sound source, only one of the width information and the length information may be used, and both information may be used.
  • an embodiment may evaluate the degree of influence of the obstacle by calculating how large the size of the obstacle is to the total size of the space. Alternatively, the degree of influence of the obstacle can be calculated by calculating the extent of the obstacle in the entire space.
  • Equation 3 the equation applied to the response signal considering the influence of the obstacle can be expressed by Equation 3 have.
  • ir e + l_ oc [ n] may be the means that effect (or Eau Pollution effects) is considered the early reflections and the response of the later reverberation of an obstacle, ir e + l [n] is the obstacle It may refer to the response of the early reflection and late reverberation without any influence.
  • a [n] may mean a suction coefficient, and may be the same as the suction coefficient described with Equation 2.
  • M may mean the weight of obstacles to space. Alternatively, it may mean a ratio of the size of the obstacle to the total size of the space.
  • M may have a value between 0 and 1, and may be closer to 1 as the size of the obstacle is equal to the size of the space.
  • M may be viewed or obstructions very small, e ir + l_ oc [n] and ir e + l [n] is equal to or can be substantially the same. That is, the response can be calculated as having no influence by the occlusion effect.
  • the size of the obstacle may be regarded as the size of the space, and the response according to the occlusion effect may be determined by the medium of the obstacle.
  • a [n] is zero in this case may be viewed as a room response does not pass through the absorption medium or by the medium of an obstacle, e ir + l_ oc [n] may be calculated as zero. That is, it can be seen that the reflection component does not reach the user by the obstacle.
  • e ir + l_ oc [n] may be calculated as a value equal to ir e + l [n]. That is, it can be seen that it is reached by the user without being affected by the obstacle. In other words, the room response can be seen to be unaffected by the obstacle, regardless of the weight of the obstacle.
  • the third case as shown in FIG. 6C may be a situation of blocking an entire section in an arbitrary space.
  • both sides as well as the linear distance between the user and the sound source may be in a situation where obstacles are located. This may be caused by the movement or deformation of the obstacle rather than the movement of the user.
  • the sound of the sound source may not be directly transmitted to the user due to an obstacle between the user and the sound source, or may not be transmitted through an adjacent path of the obstacle.
  • the response characteristics of the direct sound but also the early reflection sound and the late reverberation sound may be different.
  • the response characteristic may be changed using both the method of applying the occlusion effect in the first case and the method of applying the occlusion effect in the second case.
  • the response characteristics of the direct sound of the room response may be changed with reference to the Fresnel zone, and the response characteristics of the early reflection sound and the late reverberation sound may be changed with reference to the size information of the obstacle.
  • an audio data receiving apparatus may apply a response influenced by an occlusion effect filter to an audio signal.
  • the occlusion effect filter may mean a filter capable of applying the above-mentioned occlusion effect to the audio signal.
  • An embodiment may separate the response included in the audio signal to apply the occlusion effect effect to the audio signal through the methods as described above.
  • a 3D audio decoder may decode an audio signal and may not separately extract a response signal from the audio signal.
  • an embodiment may distinguish an audio signal into a primary signal and an ambient signal by using a primary-ambient decomposition (PAD) method.
  • the primary signal may be referred to as a primary signal, a main signal, a main signal, a first signal, and the like
  • the ambient signal may be referred to as a secondary signal, a calm signal, a sub signal, a second signal, and the like.
  • the signal x [n] to which the response is applied may be expressed as in Equation 4.
  • ir d [n] may mean a response of the direct sound and ir e + l [n] may mean a response of the early reflection sound and the late reverberation sound.
  • d may mean delay and may be used to indicate a time alignment or time difference between direct sound and early reflection sound and late reverberation sound in the room response.
  • An embodiment may apply an occlusion effect for a signal to which an influence of an obstacle is applied to a signal to which a response is applied.
  • the occlusion filter may mean a filter designed or set to apply an occlusion effect as described above.
  • a signal using the occlusion filter h [n] in the signal to which the response is applied may be represented by Equation 5.
  • x oc [n] may mean a response affected by the obstacle.
  • the primary signal may include ir d [n] * s [n]
  • the ambient signal is ir e + l [nd] * s [n ]
  • h d [n] may mean an occlusion filter applied to the direct sound
  • h e + l [n] may mean an occlusion filter applied to the early reflection sound and the late reverberation sound.
  • the decoded audio signal may be separated into a primary signal and an ambient signal based on a PAD method for applying an occlusion filter, and an occlusion effect filter may be applied according to the characteristics of each signal. Thereafter, the applied signal can be synthesized again, and the occluded effect effect can be provided to the user by rendering the synthesized signal in accordance with the reproduction environment.
  • Equation 5 may be a simplified expression to explain the application of occlusion effect, and in actual application, x d [n] of the primary signal may be considered as ir d [n] of Equation 2, and used as an ambient X e + l [n] of the signal may be regarded as ir e + l [n] in Equation 3 and used.
  • basic information of obstacles may be transmitted as metadata. That is, the audio data transmission apparatus may transmit the basic information of the obstacles as metadata, and the audio data reception apparatus may receive the basic information of the obstacles as metadata.
  • the metadata may be referred to as an occlusion effect related metadata, and the occlusion effect related metadata syntax may be included as shown in Table 1, for example.
  • the NumObstacles field may mean the total number of obstacles, and the ObstacleID field may mean an ID assigned to each obstacle to identify the obstacles.
  • the ObstacleType field can define the type of obstacle. The field value is 0, the rectangle is 0, the cylinder is 1, the sphere is 2, the custom is 3 custom).
  • the obstacle when the value of the ObstacleType field is 0, the obstacle is a rectangle type, and may include an ObstacleRect_width field, an ObstacleRect_length field, and an ObstacleRect_hight field, which may respectively define the width, length, and height of the obstacle of the rectangular type.
  • the unit may be cm, but is not limited thereto.
  • the obstacle is a cylinder type, and may include an ObstacleCyld_azimuth field, an ObstacleCyld_radius field, and an ObstacleCyld_height field, which may define the azimuth, radius, and height of the obstacle of the cylinder type, respectively.
  • the unit of azimuth may be an angle, and the unit of radius and height may be cm, but is not limited thereto.
  • the obstacle when the value of the ObstacleType field is 2, the obstacle is a spherical type, and may include an ObstacleSphr_azimuth field, an ObstacleSphr_elevation field, and an ObstacleSphr_radius field, which may define azimuth, elevation, and radius of each oblique type obstacle.
  • the unit of azimuth and elevation may be an angle, and the unit of radius may be cm, but is not limited thereto.
  • the obstacle when the value of the ObstacleType field is 3, the obstacle is a custom type, and may include a NumOfVertices field and a VertexID field, each of which represents an ID assigned to each vertex to identify the total number and vertices of vertices forming the obstacle. Can mean.
  • a Vertex_x field, a Vertex_y field, and a Vertex_z field may also be included, which may define positions of vertices on the x-axis, y-axis, and z-axis, respectively.
  • the unit may be cm, but is not limited thereto.
  • a NumOfFaces field and a FaceID field may be included, which may mean an ID assigned to each surface to identify the total number of surfaces and surfaces.
  • all surfaces can consist of three vertices.
  • the Face_v1 field, the Face_v2 field, and the Face_v3 field may be included, and this may mean a first vertex, a second vertex, and a third vertex of three vertices constituting a surface. That is, the Face_v1 field, the Face_v2 field, and the Face_v3 field may refer to the VertexID field, and the order of vertices may be arbitrarily designated by the user.
  • the shape or structure of the obstacle may be defined based on the vertex as a custom type, it may be applied to all obstacles having various shapes or structures. Can be.
  • CenterPos_azimuth field, the CenterPos_elevation field, and the CenterPos_distance field may be defined by the center position of the obstacle as an angle value in the azimuth side, an angle value in the elevation angle side, and a cm value in the distance side.
  • the NumOfFreq field may mean the total number of frequency bands in which reflection coefficient and transmission coefficient are defined, and the Refcoeff field is a reflection coefficient having a value between 0 and 1, and the Trancoeff field is It may include a transmission coefficient having a value between 0 and 1.
  • the above-described syntax may be defined and transmitted as one independent packet type in the audio data transmission apparatus, and may be defined and received as one independent packet type in the audio data transmission apparatus.
  • the packet may be further defined in the packet type list. Alternatively, the packet may be defined in addition to the previously defined packet type list.
  • the packet may be defined in the syntax of the MHASPacketPayload, the syntax of the MHASPacketPayload may be included, for example, as shown in Table 2, and the value of the MHASPacketPayload may be included, for example, as shown in Table 3.
  • the border of the dotted line may be a portion defining the above-described packet. Or it may be a part additionally defined in the previously defined packet type list.
  • the audio data receiving apparatus may receive obstacle related information in the same manner as receiving other packets, and may be used in a decoding process.
  • the obstacle related information may include obstacle related metadata.
  • the above-described method may be applied in consideration of a situation that may occur when a user moves a location or an obstacle moves in real time when using a content.
  • the effect that can be applied according to the position in advance by designing or setting the filter as a filter, and applying the filter to the sound of the sound source according to the position of the obstacle effect You can also apply A detailed description thereof will be described later with reference to FIG. 12.
  • the method of applying the occlusion effect described above with reference to FIGS. 5 to 11 to the sound of the sound source may be referred to as a physical approach, and the occlusion effect to be described below with reference to FIG.
  • the method applied to sound may be referred to as a perceptual approach.
  • FIG. 12 is a diagram illustrating a predetermined attenuation filter according to a position in a reproduction space.
  • an obstacle may be located between a user and a sound source.
  • the obstacle may be polygonal. However, this is for convenience of description and the scope of the present invention is not limited thereto.
  • the position of the obstacle may be recognized or predicted in producing the content, but as the user may move freely in the playback space, the position of the user may not be predicted. However, it can be predicted how the sound source is deformed by the obstacle at any position regardless of the position of the user. That is, it can be predicted which occlusion effector is applied to the sound of the sound source based on the designated position and the position of the obstacle at any designated position on the reproduction space.
  • a filter may be designed or set that predicts the user's position in advance and applies an occlusion effect at the arbitrary position. May be applied.
  • a filter may be designed, set, and stored to predict an occasion where a user is located at a, b, and c to apply an occlusion effect that may be applied to a sound of a sound source at each location.
  • a filter stored according to each position may be applied to the sound of the sound source. That is, when the user moves to a location near an obstacle when using the content, the audio data receiving apparatus may select a suitable filter by referring to the location information of the user and apply it to the sound of the sound source.
  • the filter applicable to the specific position can be stored, and the stored filter can be applied when the user moves to the specific position.
  • the filter may be manufactured considering cognitive aspects, and may allow only gain to be changed in frequency band units in terms of frequency response for operational efficiency, and may have a low order finite impulse response. It may also be designed as a) filter or an Infinite Impulse Response (IRR) filter. Such filters may be designed together at the time of content production, and the designed filter coefficient information may be transmitted to the audio data receiving apparatus together with the encoded audio stream in the audio data transmitting apparatus. Or it may be transmitted separately from the encoded audio stream.
  • IRR Infinite Impulse Response
  • the cognitive approach pre-designs an appropriate filter for various locations by predicting the user's motion and location information in advance, so that it can be processed relatively faster than the physical approach in terms of applying occlusion effects.
  • the cognitive approach can be valid only for the location where the filter is defined, so that more accurate occlusion effects may require designed filters at as many positions as possible, and if the number of designed filters is not sufficient, occlusion In terms of applying effects, it can be difficult to expect good performance.
  • a similar filter may be provided by using a filter designed in an adjacent location.
  • a, b, and c may be defined filters to be applied at a corresponding position, but filters to be applied may not be defined at positions d and e.
  • the user can move to the position of d, in which case a filter designed at the position closest to the position of d (eg a filter defined at position c) can be applied to the sound of the sound source for the occlusion effect. have.
  • the user may move to the position of e.
  • the filter defined at the positions of b and c located on both sides of the position of e may be interpolated to newly derive and apply a suitable filter at the position of e. It may be.
  • the filter at the nearest position among the positions where the filter is defined at the position at which the user moves may be applied, and the filter is interpolated at the two nearest positions. After deriving a new filter, the derived new filter may be applied.
  • the above-described methods can be efficiently applied when there is a filter defined at a position sufficiently adjacent at any position.
  • the application of the filter at the nearest positions or the interpolation of the filters at the two nearest positions may be determined according to the setting. Alternatively, it may be determined based on the difference between the two nearest positions and the user's position. Alternatively, it may be determined based on a difference between the first distance difference between the first adjacent location and the user's location and the second distance difference between the second adjacent location and the user's location.
  • the occlusion effect filter may be designed for various locations by predicting the obstacle information and the user's movement information in advance.
  • information related to the obstacle is not additionally defined in the syntax. It may not.
  • the audio data transmitting apparatus may define and transmit a syntax according to a cognitive approach as a packet, similarly to a syntax according to a physical approach, and the audio data receiving apparatus may receive the packet.
  • only one syntax according to the cognitive approach may be selectively defined when producing content, and simultaneously defined with the syntax shown in Table 1 and transmitted together with the audio data receiving apparatus to be selectively used by the user.
  • information according to the cognitive approach may be transmitted as metadata.
  • the information according to the cognitive approach may include a syntax according to the cognitive approach. That is, the audio data transmission apparatus may transmit information according to the cognitive approach as metadata, and the audio data reception apparatus may receive information according to the cognitive approach as metadata.
  • the metadata may be referred to as an occlusion effect related metadata, and the syntax of the occlusion effect related metadata may be included as shown in Table 4, for example.
  • the NumObstacles field may mean the total number of Obstacles, and the ObstacleID field may mean an ID assigned to each obstacle to identify the obstacles.
  • the NumOfDefinedPos field may mean the total number of positions where an occlusion effect filter is defined.
  • the DefinedPos_azimuth field, the DefinedPos_elevation field, and the DefinedPos_distance field may each include an angle value in the azimuth side with respect to the position information of the obstacle, an angle value in the altitude angle side, and a meter value in the distance side.
  • the NumOfFilters field may mean the total number of defined filters. That is, it may mean the total number of positions at which the occlusion effect filter is defined for any obstacle.
  • the OFilterPos_azimuth field, the OFilterPos_elevation field, and the OFilterPos_distance field may each include an angle value in terms of azimuth with respect to the position information of the occlusion effect filter, an angle value in terms of altitude, and a meter value in terms of distance.
  • the OFilterType field may define an occlusion effect filter type, a filter applied to the direct part when the field value is 0, and early reflection and late reverberation when 1 is used.
  • a filter applied to late reverberation may mean a filter applied to all response components.
  • the NumOfFreq field may mean the total number of frequency bands for which filter gain is defined, and the FilterGain field may include a value between 0 and 1 for a frequency band for which filter gain is defined. have.
  • the above-described bar may be applied in consideration of a situation that may occur when a user moves freely in a space where the position of the obstacle is fixed.
  • the position of the obstacle may also change with time.
  • the obstacle can move.
  • filters can be defined for all positions of the obstacle that can be changed.
  • An embodiment may transmit, as metadata, related information for applying an occlusion effect based on the relative position.
  • the relevant information for applying the occlusion effect based on the relative position may be defined as a packet and transmitted by the audio data transmitting apparatus, or may be received by the audio data receiving apparatus.
  • the metadata may be referred to as an occlusion effect related metadata, and the syntax of the occlusion effect related metadata may be included as shown in Table 5, for example.
  • the NumObstacles field may mean the total number of obstacles, and the ObstacleID field may mean an ID assigned to each obstacle to identify the obstacles.
  • the NumEucDistOfSrc2Dest field may mean the total number of euclidean distances defined between the sound source and the user, and the EucDistOfSrc2Dest field may mean the Euclidean distance between the sound source and the user.
  • the NumRelativeDistRatio field may mean the total number where the distance from the sound source to the obstacle and the ratio of the obstacle to the user are defined, and the RelativeDistRatio field may mean the ratio of the distance from the sound source to the obstacle and the distance from the obstacle to the user. Can be. Here, the position of the obstacle may be confirmed with reference to the ratio information described above.
  • the NumOfShiftOffset field may mean the total number in which degree values outside the linear distance between the sound source and the user are defined, and the ShiftOffset field may include the degree value deviation based on the linear distance between the sound source and the user. In other words, by applying an offset value from the straight line distance, it is possible to determine the exact position where the filter is defined.
  • the value of the ShiftOffset field may have a negative value in the left or down direction and a positive value in the right or up direction based on a straight line.
  • the OFilterType field may define an occlusion effect filter type, a filter applied to the direct part when the field value is 0, and early reflection and late reverberation when 1 is used.
  • a filter applied to late reverberation may mean a filter applied to all response components.
  • the NumOfFreq field may mean the total number of frequency bands for which filter gain is defined, and the FilterGain field may include a value between 0 and 1 for a frequency band for which filter gain is defined. have.
  • the audio data receiving apparatus may first receive the occlusion effect filter related packets, and then, during content playback, when the user moves to or around the defined position, the filter may be based on a suitable filter. You can apply an occlusion effect filter to the sound of a sound source.
  • FIG. 13 is a diagram schematically illustrating an audio stream of another audio-related encoder and decoder to which an occlusion effect may be applied.
  • the above-described syntaxes for applying the occlusion effect have been described based on the MPEG-H 3D Audio encoder / decoder, but the occlusion effect may be applied to other audio-related decoder / decoder.
  • a Dolby AC-4 encoder / decoder will be described as an example, and FIG. 13 may be an audio stream of Dolby Ac-4.
  • the Dolby AC-4 encoder may be almost unsupported compared to the MPEG-H 3D Audio encoder in terms of user interaction, but may be extended later to apply an occlusion effect.
  • an audio stream of Dolby AC-4 may be configured as a raw AC-4 frame.
  • the raw AC-4 frame may be composed of a table of contents (TOC) and at least one substream, and metadata related to audio data may be included in the substream.
  • TOC table of contents
  • One or more audio channel or audio object signals may be included in a subframe included in a raw AC-4 frame.
  • the TOC may represent information about the presentation included in the audio stream, and each presentation may define a method of mixing several audio substreams to render a scene in the audio data receiving apparatus. Can be.
  • the audio substream may include a multi-channel and an object. That is, the presentation may define information of audio elements that are decoded and rendered together, and for this purpose, a connection relationship between an audio substream to be used and a presentation may be defined in PresentationInfo in the TOC.
  • the audio substream may include audio signals and metadata.
  • the syntax of PresentationInfo (ac-4 presentation_info () syntax) may be included, for example, as shown in Table 6.
  • PresentationInfo syntax may be defined such as Presentation Config, EMDF Info, and substream Info, and substream info may be used by calling ac4_substream_info () function.
  • the function may include substream_index information in addition to content type information such as bitrate, music, and language for the audio stream.
  • the substream_index is information indicating where the audio stream is located on the substream and may be referred to as location information. Based on this, the substream_index may identify which substream includes the audio stream related to ac4_substream_info () in the raw AC-4 frame. .
  • location information may be referred to by the substream_index_table included in the TOC, thereby selectively parsing and decoding a desired substream in a raw AC-4 frame.
  • the substream in the raw AC-4 frame may be largely composed of audio data and metadata, and the metadata may define attribute information of the audio data.
  • the syntax of metadata included in a substream in a raw AC-4 frame may be updated.
  • oamd_dyndata_singe () or oamd_dyndata_multi () can be called and object_info_block () can be called again in the function.
  • the object_info_block () function may define basic information (for example, whether to refer to previous frame information and whether to render), etc., which are considered when the object signal is used.
  • the occlusion effect information may be added to the object_info_block (), and the syntax of the object_info_block () may be included as shown in Table 7, for example.
  • the border of the dotted line may indicate a portion added in relation to the application of the occlusion effect.
  • the b_occlusion_active field may mean whether to use the occlusion effect. When the field value is 1, the b_occlusion_active field may indicate the use of the occlusion effect, and when it is 2, it may indicate that the occlusion effect is not used.
  • the occlusion_info_status field may mean an information state of occlusion in a corresponding frame, and may be classified into two types as shown in Table 8 below.
  • the information state of the occlusion may change each time the object_info_block () function is called.
  • the B_occlusioin_active field may be declared as one flag variable having 1 bit, and whether or not to use occlusion_effect_info () may be determined based on the defined value of the corresponding flag variable and occlusion_info_status.
  • occlusion_effect_info () may be the same as the above-described OcclusionEffectInfo (), and for example, the syntax of Table 1, Table 4, or Table 5 may be included.
  • occlusion_effect_info () may include, for example, the syntax of Table 9 or Table 10.
  • Table 3 may be used in Table 9, and the contents of Table 4 may be used in Table 10, but the contents of Table 5 may be used.
  • Table 9 may correspond to Table 3
  • Table 10 may correspond to Table 4 or Table 5.
  • the fields in Table 9 may point to the same information as the fields in Table 3, and the fields in Table 10 may point to the same information as the fields in Table 4 or Table 5.
  • an audio signal may be included in the substream of the raw AC-4 frame. That is, as one substream is regarded as an object, an obstacle causing an occlusion effect may be regarded as one object and may be considered to be included in the substream.
  • the object_render_info () function may be called, and the location information of the object and the size of the object may be defined in the corresponding function. Attribute information or obstacle attribute information may be added in the corresponding function.
  • Tables 7 to 10 above show an environment in which several obstacles may be encountered from an object signal point of view, but Tables 11 and 12 to be described later refer to obstacles in consideration of each obstacle as one object irrespective of the object signal point of view. It may represent an environment in which an effect that may be generated by an additionally defined function is defined in the information on the object signal.
  • Information about the object signal may be defined in the object_render_info () function, and the object_render_info () function may be included as shown in Table 11, for example.
  • the dotted border in Table 11 may include information changed or added depending on the occlusion effect.
  • the group_other_mask field may be a bitmask indicating a property of a group, and only 4 bits may be allocated, but may be changed to allocate 5 bits in consideration of an occlusion effect element. Descriptions or indications according to the corresponding flag (or value of the group_other_mask field) may be as shown in Table 12, for example.
  • the occlusion related information defined as described above may be newly defined in a function indicating object related information in a new substream, and may be selectively decoded and rendered according to the presentation feature.
  • any substream in the raw AC-4 frame may be used for the purpose of the occlusion effect processing, and an audio signal may or may not be included in the object of the substream.
  • a short time silence signal may be used as the audio signal.
  • the user was not able to move freely in the space, and thus was not greatly affected by obstacles adjacent to the sound source.
  • the influence on the obstacle may be large depending on the location of the user.
  • an obstacle may be considered in order to render an audio scene properly, and thus, an obstacle related requirement may be defined.
  • the influence of various types of obstacles may be considered in the 6DoF environment, and the characteristics of the audio scene may be changed by applying the influence effect of the obstacles appropriately in any environment where the user is located.
  • the user can experience more realistic VR content.
  • FIG. 14 is a flowchart illustrating a method of operating a 3D audio data receiving apparatus in consideration of an occlusion effect, according to an exemplary embodiment.
  • an apparatus for receiving 3D audio audio data in consideration of an occlusion effect may operate in largely ten steps. However, this has been described as an example, and since only some operations may be illustrated, the scope of the present invention is not limited thereto.
  • the decoded audio related information may be extracted from the 3DA decoder configuration stage. That is, basic information such as information on the number of channels of encoded audio signals, information on the number of objects, and a sampling rate may be received and read from the bitstream.
  • decoding may be performed on the encoded audio signal.
  • the signals of the channel, the object, and the HOA type can be decoded as many as the number of audio channels without being separately distinguished.
  • the reproduction setup information (Local setup information) of the receiving end can be set. That is, the receiver may determine which playback device (speaker or headphones) the audio content is to be played or the speaker when the audio content is played back using the speaker.
  • the existing stored position and direction information can be updated, and whether or not the occlusion occurs at the changed point can be set as a flag.
  • the flag may be referred to as an occlusion flag, and an initial value may be set to 0 by default.
  • the sixth step may be divided into a sixth step and a sixth step according to the value of the flag.
  • an occlusion effect may be applied to the decoded audio signal.
  • the applied signal may be delivered to the 3D audio rendering unit along with configuration information and interaction information.
  • the rendered signal may be output with reference to the information received from the 3D audio rendering unit.
  • the BRIR (HRTF) may be separately received or the BRIR (HRTF) information stored in advance may be called.
  • a ninth step it is possible to determine whether to apply the occlusion effect with reference to the location of the next user.
  • the tenth step may be divided into steps 10a and 10b according to the value of the flag.
  • an occlusion effect may be applied to the BRIR.
  • the applied BRIR may be filtered to the rendered audio signal to output a binaural rendered signal.
  • the binaurally filtered audio signal may be filtered and output a binaurally rendered signal without applying an occlusion effect to the BRIR.
  • the occlusion effect can be selectively used by the user.
  • the occlusion effect can be applied after the 3D audio decoding process by default.
  • the occlusion effect may be applied after the 3D audio decoding process by the user (Apply occlusion effect) or after receiving the BRIR (Apply occlusion effect (IR)).
  • IR Apply occlusion effect
  • FIG. 15 is a block diagram illustrating a configuration of a 3D audio data receiving apparatus considering an occlusion effect, according to an exemplary embodiment. That is, FIG. 15 may show a block diagram of a 3D audio decoder including an occlusion effect.
  • the bitstream may be input to a demultiplexing stage before being input to the 3D audio decoding stage so that audio data and decoding configuration related information may be parsed.
  • the 3D audio decoding stage may decode audio data with reference to the decoding configuration information, and output decoded signals and object metadata.
  • the object metadata may be input to the metadata and interface data processing stage, and may be modified by the reproduction environment information and the user interaction information.
  • the transition effect information signaled additionally transmits scene information about the position to be changed to the decoder by referring to the position information changed or desired to be changed by the user, to decode audio data related to the scene, and to simultaneously perform the transition effect audio Information can be passed along with the audio data to the rendering and mixing stages.
  • the channel signals ch1 (.pcm), ch2 (.pcm), n, and chN (.pcm) can be output in accordance with the reproduction environment set in the rendering and mixing stage.
  • the receiver may model a BRIR filter suitable for the user's location by referring to the user's location. Here, if a BRIR or HRTF database exists, the most suitable filter can be selected. Thereafter, the user's location information and the obstruction info information are inputted to the Occlusion Effect (IR) stage to modify the response characteristics according to the user's location.
  • IR Occlusion Effect
  • the Occlusion Effect stage can be set to use the default when playing in the speaker environment, and the left signal is filtered by filtering the signal rendered by the Occlusion Effect (IR) stage when playing in the headphone environment.
  • pcm) and Right signal (.pcm)) can be output.
  • the two binaurally rendered signals can be reproduced to the left and right transducers of the headphones via the D / A converter and the Amp, respectively.
  • An embodiment of the present invention is a method of applying an audio effect by an obstacle. This phenomenon may mainly occur when a user moves in a VR environment. Therefore, whether or not the occlusion is applied may be determined based on the location information of the user.
  • one embodiment may relate to an audio preprocessor stage that is affected by the viewing position and viewpoint information on a block diagram of a system architecture.
  • the rendering result may be related to the audio rendering end.
  • the obstacle information may be associated with a file / segmentation encapsulation and a file / segment decapsulation stage in consideration of a portion transmitted from a transmitter to a receiver.
  • FIG. 16 is a flowchart illustrating a method of operating an audio data transmission apparatus according to an embodiment
  • FIG. 17 is a block diagram illustrating a configuration of an audio data transmission apparatus according to an embodiment.
  • FIG. 16 Each step disclosed in FIG. 16 may be based on the above description in FIGS. 5 to 15. Therefore, in describing each step of FIG. 16, detailed contents overlapping with those described above with reference to FIGS. 5 to 15 will be omitted or simply described.
  • an audio data transmission apparatus 1700 may include a metadata generator 1710, an audio signal encoder 1720, and a transmitter 1730.
  • a metadata generator 1710 may be required components of the audio data transmission apparatus 1700, and the audio data transmission apparatus 1700 may be more or less than the components shown in FIG. 17. Can be implemented by components.
  • the metadata generator 1710, the audio signal encoder 1720, and the transmitter 1730 may be implemented as separate chips, or at least two or more chips. Components may be implemented through one chip.
  • the audio data transmission device 1700 may generate metadata of 3D audio content in operation S1600. More specifically, the metadata generator 1710 of the audio data transmission device 1700 may generate metadata of 3D audio content.
  • the 3D audio content may be a virtual reality (VR) content or augmented reality (AR) content in a 3DoF, 3DoF + or 6DoF environment.
  • VR virtual reality
  • AR augmented reality
  • the metadata may include occlusion effect information of the 3D audio content.
  • the occlusion effect information may be referred to as the occlusion effect related metadata, may be defined and transmitted as an independent packet type, and the packet may be additionally defined in the previously defined packet type list.
  • the occlusion effect information may be included in the MHASPacketPayload when the value of the MHASPacketType field of the MHASPacketPayload is 20. Detailed description thereof has been given in Tables 2 and 3 above.
  • the occlusion effect information is information on the number of obstacles, ID information of the obstacle, information on the type of the obstacle, information on the size of the obstacle according to the type of the obstacle, location information of the obstacle, information on the number of frequency bands, frequency
  • the reflection coefficient according to the band and the transmission coefficient according to the frequency band may be included, as shown in Table 1.
  • the information on the number of obstacles may be indicated by the NumOstacles field and the ID information of the obstacles may be indicated by the ObstacleID field.
  • the type information of the obstacle may be indicated by the ObstacleType field, and when the value of the ObstacleType field is 0, it may indicate that the shape of the obstacle is rectangular, and when 1, it indicates that the shape of the obstacle is a cylinder. In the case of 2, the shape of the obstacle may indicate a sphere, and in the case of 3, the shape of the obstacle may be custom.
  • the width, length, and height of the rectangular type obstacle may be indicated in cm by the ObstacleRect_with field, the ObstacleRect_length field, and the ObstacleRect_height field when the ObstacleType field value is 0.
  • the obstacle size information according to the obstacle type information may be indicated by the ObstacleCyld_azimuth field in angular units by the ObstacleCyld_azimuth field when the ObstacleType field value is 1, and the radius and height in cm by the ObstacleCyld_radius field and the ObstacleCyld_height field. May be indicated.
  • the obstacle size information according to the obstacle type information may be indicated in the unit of angle by the ObstacleSphr_azimuth field and the ObstacleSphr_elevation field when the ObstacleType field value is 2, and the radius is cm by the ObstacleSphr_radius field. It may be indicated in units.
  • the obstacle size information according to the obstacle type information may be indicated based on a static point because the obstacle type of the obstacle when the ObstacleType field value is 3.
  • the size information of the obstacle according to the type information of the obstacle may be derived based on the location information of the vertices forming the obstacle.
  • the position information may be indicated based on the position information of the vertices and the surface of the vertices. That is, the NumOfVertices field may indicate the number of vertices forming an obstacle, and the VertexID field may indicate an ID assigned to each vertex to identify the vertices.
  • the Vertex_x field, the Vertex_y field, and the Vertex_z field may indicate positions of vertices on the x-axis, y-axis, and z-axis.
  • the NumOfFaces field may indicate the number of surfaces formed by the vertices
  • the FaceID field may indicate an ID assigned to each surface to identify the surfaces.
  • the surface may consist of three vertices.
  • the Face_v1 field, the Face_v2 field, and the Face_v3 field may indicate the first, second, and third vertices of three vertices constituting the surface, and may indicate the VertexID of the corresponding vertex.
  • the order of the vertices here may be arbitrarily specified by the user.
  • the position information of the obstacle may include azimuth information, elevation angle information, and distance information on the center position of the obstacle, the azimuth information and elevation angle information may be indicated by an angle value by the CenterPos_azimuth field and the CenterPos_elevation field, and the distance information May be indicated by the cm value by the CenterPos_distance field.
  • the number information of the frequency band may be indicated by the NumOfFreq field
  • the reflection coefficient according to the frequency band may be indicated by the Refcoeff field
  • the transmission coefficient according to the frequency band may be indicated by the Trancoeff.
  • the reflection coefficient and the transmission coefficient may be indicated for each frequency.
  • the audio data receiving apparatus that obtains the occlusion effect information may configure a filter based on the occlusion effect information and the user's position information, and apply the filter configured to the 3D audio signal.
  • the occlusion effect information is information on the number of obstacles, ID information of the obstacles, information on the number of locations where the filter is defined, location information of the obstacles, information on the number of filters defined, information on the location of the defined filter, filter Type information, the number of frequency band information and filter gain information according to the frequency band may be included, as shown in Table 4.
  • the information on the number of obstacles may be indicated by the NumObstacles field
  • the ID information of the obstacles may be indicated by the ObstacleID field
  • the information on the number of positions where the filter is defined may be indicated by the NumOfDefinedPos field.
  • the position information of the obstacle may include azimuth information, elevation angle information, and distance information
  • azimuth information and elevation angle information may be indicated by an angle value by a DefinedPos_azimuth field and a DefinedPos_elevation field
  • the distance information is defined by DefinedPos_distance
  • the field may be indicated by a meter value.
  • Information on the number of defined filters may be indicated by a NumOfFilters field.
  • the location information of each defined filter may include azimuth information, elevation angle information, and distance information
  • the azimuth information and elevation angle information may be indicated by an angle value by an OFilterPos_azimuth field and an OFilterPos_elevation field
  • the distance information may be an OFilterPos_distance field. It can be indicated by the meter value.
  • the type information of each filter may be indicated by an OFilterType field. If the value of the OFilterType field is 0, it may indicate that the filter is applied to a direct part. If 1, the early reflection and late reverberation sound may be applied. (late reverberation) can be applied to, and if it is 2 can be indicated to apply.
  • the direct sound may be referred to as a primary signal, and the early reflection sound and the late reverberation sound may be referred to as an ambient signal.
  • the number information of the frequency band may be indicated by the NumOfFreq field, and the filter gain information according to the frequency band may be indicated by the FilterGain field.
  • the gain information may be indicated for each frequency band.
  • the audio data receiving apparatus that obtains the occlusion effect information may select one of the filters defined in the occlusion effect information, and apply the selected filter to the 3D audio signal.
  • the occlusion effect information includes the number of obstacle information, ID information of the obstacle, Euclidean distance information between the sound source and the user, the number of Euclidean distance information between the sound source and the user, from the sound source to the obstacle Information of the ratio of the distance from the obstacle to the user, the number of the ratio information of the distance from the sound source to the obstacle and the distance from the obstacle to the user, the value outside the linear distance between the sound source and the user, and the value outside the linear distance between the sound source and the user.
  • the number information, the type information of the filter, the number information of the frequency band, and the filter gain information according to the frequency band may be included or may be represented as shown in Table 5.
  • the information on the number of obstacles may be indicated by the NumObstacles field, and the ID information of the obstacles may be indicated by the Obstacle field.
  • Euclidean distance information between the sound source and the user may be indicated by the EucDistOfSrc2Dest field, and information on the number of Euclidean distance information between the sound source and the user may be indicated by the NumEucDistOfSrc2Dest field.
  • the ratio information of the distance from the sound source to the obstacle and the distance from the obstacle to the user may be indicated by the RelativeDistRatio field, and the number information of the ratio information of the distance information from the sound source to the obstacle and the distance from the obstacle to the user may be indicated by the NumRelativeDistRatio field.
  • the position of the obstacle may be checked based on the ratio information.
  • the degree value outside the linear distance between the sound source and the user may be indicated by the ShiftOffset field, and the number information of the degree value outside the linear distance between the sound source and the user may be indicated by the NumOfShiftOffset field.
  • the exact position where the filter is defined can be confirmed by applying the offset value from the straight line distance, and the ShiftOffset field value may have a negative value in the left or a down direction with respect to the straight line, and a positive value in the right or the up direction. have.
  • the type information of each filter may be indicated by an OFilterType field. If the value of the OFilterType field is 0, it may indicate that the filter is applied to a direct part. If 1, the early reflection and late reverberation sound may be applied. (late reverberation) can be applied to, and if it is 2 can be indicated to apply.
  • the direct sound may be referred to as a primary signal, and the early reflection sound and the late reverberation sound may be referred to as an ambient signal.
  • the number information of the frequency band may be indicated by the NumOfFreq field, and the filter gain information according to the frequency band may be indicated by the FilterGain field.
  • the gain information may be indicated for each frequency band.
  • the audio data receiving apparatus that obtains the occlusion effect information may derive the relative position information between the obstacle and the user based on the occlusion effect information and the user's position information, and based on the relative position information.
  • One of the defined filters in the information can be selected and the selected filter can be applied to the three-dimensional audio signal.
  • the audio data transmission apparatus 1700 may encode a 3D audio signal of 3D audio content in operation S1610. More specifically, the audio signal encoder 1720 of the audio data transmission apparatus 1700 may encode a 3D audio signal.
  • the audio data transmission apparatus 1700 may transmit the encoded 3D audio signal and the generated metadata in operation S1620. More specifically, the transmitter 1730 of the audio data transmission apparatus 1700 may transmit the encoded 3D audio signal and metadata.
  • the 3D audio signal may be separated into a primary signal and an ambient signal in the audio data receiving apparatus, and a filter according to the above-described occlusion effect information may be applied to each signal.
  • the information about the filter applied to the primary signal may be derived based on the first Fresnel zone between the sound source and the user, and the information about the filter applied to the ambient signal may be obtained by using the decoded 3D. It may be derived based on the size information of the space where the audio signal is reproduced and the size information of the obstacle. Detailed description thereof has been provided with reference to FIGS. 5 to 12.
  • the audio data transmission device 1700 transmits occlusion effect information of the 3D audio content to the audio data reception device, so that the audio data reception device generates a 3D audio signal for the 3D audio content (eg, For example, an audio signal based on VR content in a 3DoF, 3DoF +, or 6DoF environment or an audio signal based on AR content in a 3DoF, 3DoF +, or 6DoF environment) may be contributed to efficiently apply occlusion effects. .
  • a 3D audio signal for the 3D audio content eg, For example, an audio signal based on VR content in a 3DoF, 3DoF +, or 6DoF environment or an audio signal based on AR content in a 3DoF, 3DoF +, or 6DoF environment
  • FIG. 18 is a flowchart illustrating an operation of an audio data receiving apparatus according to an embodiment
  • FIG. 19 is a block diagram illustrating a configuration of an audio data receiving apparatus according to an embodiment.
  • Each step disclosed in FIG. 18 may be performed by the audio data receiving apparatus 1900 disclosed in FIG. 16 or the 3D audio data receiving apparatus disclosed in FIG. 15.
  • S1810 of FIG. 18 may be performed by the audio signal decoding unit 1920 of FIG. 19, and S1820 of FIG. 18 may be performed by the rendering unit 1930 of FIG. 19.
  • each of the steps disclosed in FIG. 18 may be based on the contents described above with reference to FIGS. 5 through 15. Therefore, in describing each step of FIG. 18, detailed contents overlapping with those described above with reference to FIGS. 5 to 15 will be omitted or simply described.
  • the audio data receiving apparatus 1900 of FIG. 19 and the audio data transmitting apparatus 1700 of FIG. 17 may be closely related to each other since they transmit and receive audio data. Therefore, in the description of FIGS. 18 and 19, detailed descriptions that overlap with those described above in FIGS. 16 and 17 will be omitted or simply described.
  • an audio data receiving apparatus 1900 may include a receiver 1910, an audio signal decoder 1920, and a renderer 1930. However, in some cases, all of the components shown in FIG. 19 may not be an essential component of the audio data receiving apparatus 1900, and the audio data receiving apparatus 1900 may be more or less than the components shown in FIG. Can be implemented by components.
  • the receiver 1910, the audio signal decoder 1920, and the renderer 1930 may be implemented as separate chips, or at least two or more components may be provided. It may be implemented through one chip.
  • the audio data receiving apparatus 1900 may receive metadata of 3D audio content and encoded 3D audio signals of 3D audio content (S1800). More specifically, the receiver 1910 of the audio data receiving apparatus 1900 may receive metadata of 3D audio content and encoded 3D audio signal of 3D audio content from the audio data transmitting apparatus 1700.
  • the 3D audio content may be a virtual reality (VR) content or augmented reality (AR) content in a 3DoF, 3DoF + or 6DoF environment.
  • VR virtual reality
  • AR augmented reality
  • the metadata may include information about an occlusion effect of the 3D audio content.
  • the occlusion effect information may be referred to as the occlusion effect related metadata, may be defined and received as an independent packet type, and the packet may be additionally defined in the previously defined packet type list.
  • the occlusion effect information may be included in the MHASPacketPayload when the value of the MHASPacketType field of the MHASPacketPayload is 20. Detailed description thereof has been given in Tables 2 and 3 above.
  • the occlusion effect information is information on the number of obstacles, ID information of the obstacle, information on the type of the obstacle, information on the size of the obstacle according to the type of the obstacle, location information of the obstacle, information on the number of frequency bands, frequency
  • the reflection coefficient according to the band and the transmission coefficient according to the frequency band may be included, as shown in Table 1.
  • the information on the number of obstacles may be indicated by the NumOstacles field and the ID information of the obstacles may be indicated by the ObstacleID field.
  • the type information of the obstacle may be indicated by the ObstacleType field, and when the value of the ObstacleType field is 0, it may indicate that the shape of the obstacle is rectangular, and when 1, it indicates that the shape of the obstacle is a cylinder. In the case of 2, the shape of the obstacle may indicate a sphere, and in the case of 3, the shape of the obstacle may be custom.
  • the width, length, and height of the rectangular type obstacle may be indicated in cm by the ObstacleRect_with field, the ObstacleRect_length field, and the ObstacleRect_height field when the ObstacleType field value is 0.
  • the obstacle size information according to the obstacle type information may be indicated by the ObstacleCyld_azimuth field in angular units by the ObstacleCyld_azimuth field when the ObstacleType field value is 1, and the radius and height in cm by the ObstacleCyld_radius field and the ObstacleCyld_height field. May be indicated.
  • the obstacle size information according to the obstacle type information may be indicated in the unit of angle by the ObstacleSphr_azimuth field and the ObstacleSphr_elevation field when the ObstacleType field value is 2, and the radius is cm by the ObstacleSphr_radius field. It may be indicated in units.
  • the obstacle size information according to the obstacle type information may be indicated based on a static point because the obstacle type of the obstacle when the ObstacleType field value is 3.
  • the size information of the obstacle according to the type information of the obstacle may be derived based on the location information of the vertices forming the obstacle.
  • the position information may be indicated based on the position information of the vertices and the surface of the vertices. That is, the NumOfVertices field may indicate the number of vertices forming an obstacle, and the VertexID field may indicate an ID assigned to each vertex to identify the vertices.
  • the Vertex_x field, the Vertex_y field, and the Vertex_z field may indicate positions of vertices on the x-axis, y-axis, and z-axis.
  • the NumOfFaces field may indicate the number of surfaces formed by the vertices
  • the FaceID field may indicate an ID assigned to each surface to identify the surfaces.
  • the surface may consist of three vertices.
  • the Face_v1 field, the Face_v2 field, and the Face_v3 field may indicate the first, second, and third vertices of three vertices constituting the surface, and may indicate the VertexID of the corresponding vertex.
  • the order of the vertices here may be arbitrarily specified by the user.
  • the position information of the obstacle may include azimuth information, elevation angle information, and distance information on the center position of the obstacle, the azimuth information and elevation angle information may be indicated by an angle value by the CenterPos_azimuth field and the CenterPos_elevation field, and the distance information May be indicated by the cm value by the CenterPos_distance field.
  • the number information of the frequency band may be indicated by the NumOfFreq field
  • the reflection coefficient according to the frequency band may be indicated by the Refcoeff field
  • the transmission coefficient according to the frequency band may be indicated by the Trancoeff.
  • the reflection coefficient and the transmission coefficient may be indicated for each frequency.
  • the filter for applying the occlusion effect may configure the filter based on the occlusion effect information and the user's location information, and apply the filter configured to the 3D audio signal.
  • the occlusion effect information is information on the number of obstacles, ID information of the obstacles, information on the number of locations where the filter is defined, location information of the obstacles, information on the number of filters defined, information on the location of the defined filter, filter Type information, the number of frequency band information and filter gain information according to the frequency band may be included, as shown in Table 4.
  • the information on the number of obstacles may be indicated by the NumObstacles field
  • the ID information of the obstacles may be indicated by the ObstacleID field
  • the information on the number of positions where the filter is defined may be indicated by the NumOfDefinedPos field.
  • the position information of the obstacle may include azimuth information, elevation angle information, and distance information
  • azimuth information and elevation angle information may be indicated by an angle value by a DefinedPos_azimuth field and a DefinedPos_elevation field
  • the distance information is defined by DefinedPos_distance
  • the field may be indicated by a meter value.
  • Information on the number of defined filters may be indicated by a NumOfFilters field.
  • the location information of each defined filter may include azimuth information, elevation angle information, and distance information
  • the azimuth information and elevation angle information may be indicated by an angle value by an OFilterPos_azimuth field and an OFilterPos_elevation field
  • the distance information may be an OFilterPos_distance field. It can be indicated by the meter value.
  • the type information of each filter may be indicated by an OFilterType field. If the value of the OFilterType field is 0, it may indicate that the filter is applied to a direct part. If 1, the early reflection and late reverberation sound may be applied. (late reverberation) can be applied to, and if it is 2 can be indicated to apply.
  • the direct sound may be referred to as a primary signal, and the early reflection sound and the late reverberation sound may be referred to as an ambient signal.
  • the number information of the frequency band may be indicated by the NumOfFreq field, and the filter gain information according to the frequency band may be indicated by the FilterGain field.
  • the gain information may be indicated for each frequency band.
  • the filter for applying the occlusion effect may select one of the filters defined in the occlusion effect information, and apply the selected filter to the 3D audio signal.
  • the occlusion effect information includes the number of obstacle information, ID information of the obstacle, Euclidean distance information between the sound source and the user, the number of Euclidean distance information between the sound source and the user, from the sound source to the obstacle Information of the ratio of the distance from the obstacle to the user, the number of the ratio information of the distance from the sound source to the obstacle and the distance from the obstacle to the user, the value outside the linear distance between the sound source and the user, and the value outside the linear distance between the sound source and the user.
  • the number information, the type information of the filter, the number information of the frequency band, and the filter gain information according to the frequency band may be included or may be represented as shown in Table 5.
  • the information on the number of obstacles may be indicated by the NumObstacles field, and the ID information of the obstacles may be indicated by the Obstacle field.
  • Euclidean distance information between the sound source and the user may be indicated by the EucDistOfSrc2Dest field, and information on the number of Euclidean distance information between the sound source and the user may be indicated by the NumEucDistOfSrc2Dest field.
  • the ratio information of the distance from the sound source to the obstacle and the distance from the obstacle to the user may be indicated by the RelativeDistRatio field, and the information on the number of the ratio information of the distance from the sound source to the obstacle and the distance from the obstacle to the user may be indicated by the NumRelativeDistRatio field.
  • the position of the obstacle may be checked based on the ratio information.
  • the degree value outside the linear distance between the sound source and the user may be indicated by the ShiftOffset field, and the number information of the degree value outside the linear distance between the sound source and the user may be indicated by the NumOfShiftOffset field.
  • the exact position where the filter is defined can be confirmed by applying the offset value from the straight line distance, and the ShiftOffset field value may have a negative value in the left or a down direction with respect to the straight line, and a positive value in the right or the up direction. have.
  • the type information of each filter may be indicated by an OFilterType field. If the value of the OFilterType field is 0, it may indicate that the filter is applied to a direct part. If 1, the early reflection and late reverberation sound may be applied. (late reverberation) can be applied to, and if it is 2 can be indicated to apply.
  • the direct sound may be referred to as a primary signal, and the early reflection sound and the late reverberation sound may be referred to as an ambient signal.
  • the number information of the frequency band may be indicated by the NumOfFreq field, and the filter gain information according to the frequency band may be indicated by the FilterGain field.
  • the gain information may be indicated for each frequency band.
  • the filter for applying the occlusion effect may derive the relative position information between the obstacle and the user based on the occlusion effect information and the user's position information, and the definition in the occlusion effect information based on the relative position information.
  • One of the filters can be selected, and the selected filter can be applied to the 3D audio signal.
  • the audio data receiving apparatus 1900 may decode the encoded 3D audio signal in operation S1810. More specifically, the audio signal decoding unit 1920 of the audio data receiving apparatus 1900 may decode the encoded 3D audio signal.
  • the audio data receiving apparatus 1900 may render a decoded 3D audio signal based on metadata of 3D audio content (S1820). More specifically, the rendering unit 1930 of the audio data receiving apparatus 1900 may render the decoded 3D audio signal based on metadata of 3D audio content.
  • the 3D audio signal may be separated into a primary signal and an ambient signal, and a filter may be derived based on occlusion effect information, and the derived filter may be applied to at least one of the primary signal and the ambient signal.
  • the filter may be configured as described above, or may be selected from the defined filters.
  • the filter applied to the primary signal may be derived based on the first Fresnel zone between the sound source and the user, and the filter applied to the ambient signal is a space where the decoded 3D audio signal is reproduced. It may be derived based on the size information and the size information of the obstacle. Detailed description thereof has been provided with reference to FIGS. 5 to 12.
  • the audio data receiving apparatus 1900 receives occlusion effect information of the 3D audio content from the audio data transmitting apparatus, and generates a 3D audio signal (eg, 3DoF, An occlusion effect can be efficiently applied in rendering (or playing) an audio signal based on VR content in a 3DoF + or 6DoF environment or an audio signal based on AR content in a 3DoF, 3DoF + or 6DoF environment.
  • a 3D audio signal eg, 3DoF
  • An occlusion effect can be efficiently applied in rendering (or playing) an audio signal based on VR content in a 3DoF + or 6DoF environment or an audio signal based on AR content in a 3DoF, 3DoF + or 6DoF environment.
  • the above-described steps may be omitted in some embodiments, or may be replaced by other steps of performing similar / same operations.
  • the internal components of the apparatus described above may be processors for executing successive procedures stored in a memory, or hardware components configured with other hardware. They can be located inside or outside the device.
  • Each part, module, or unit described above may be a processor or hardware part that executes successive procedures stored in a memory (or storage unit). Each of the steps described in the above embodiments may be performed by a processor or hardware parts. Each module / block / unit described in the above embodiments can operate as a hardware / processor.
  • the methods proposed by the present invention can be executed as code. This code can be written to a processor readable storage medium and thus read by a processor provided by an apparatus.
  • the above-described method may be implemented as a module (process, function, etc.) for performing the above-described function.
  • the module may be stored in memory and executed by a processor.
  • the memory may be internal or external to the processor and may be coupled to the processor by various well known means.
  • the processor may include application-specific integrated circuits (ASICs), other chipsets, logic circuits, and / or data processing devices.
  • the memory may include read-only memory (ROM), random access memory (RAM), flash memory, memory card, storage medium and / or other storage device.
  • Embodiments of the present invention described above can be applied to VR and AR. Embodiments of the present invention described above may be implemented based on the following chipset.
  • the first device may include a transmission device (ex. 360 video transmission device), and the second device may include a reception device (ex. 360 video reception device).
  • a transmission device ex. 360 video transmission device
  • the second device may include a reception device (ex. 360 video reception device).
  • the technical features in this specification for the above-described transmitting device and receiving device can be applied to this embodiment.
  • the first device may include a processor, a memory, a video / image acquisition device, and a transceiver.
  • the processor may be configured to perform the proposed functions, procedures, and / or methods described herein.
  • the processor may be configured to control and / or perform the above described stitching, projection, (regionalize) packing, composition, (video / image) encoding, metadata generation and processing, and the like.
  • the processor may be configured to control and / or perform 360 video / image acquisition procedures and procedures for encapsulation and transmission processing of VR / AR information (eg, 360 video / image data, etc.).
  • the processor may control configuration and transmission of metadata disclosed in embodiments of the present invention.
  • the memory is operably coupled with the processor and stores various information for operating the processor.
  • the transceiver is operatively coupled to the processor and transmits and / or receives a wired / wireless signal.
  • the second device may include a processor, a memory, a transceiver, and a renderer.
  • the renderer may be omitted and implemented as an external device.
  • the processor may be configured to perform the proposed functions, procedures, and / or methods described herein.
  • the processor may be configured to control and / or perform procedures such as metadata acquisition and processing, (video / image) decoding, (regionwise) unpacking, selection, composition, reprojection, rendering, and the like. have.
  • the processor may be configured to control and / or perform a procedure for decapsulation and reception processing of VR / AR information (eg, 360 video / image data, etc.).
  • the processor may control configuration and transmission of metadata disclosed in embodiments of the present invention.
  • the memory is operably coupled with the processor and stores various information for operating the processor.
  • the transceiver is operatively coupled to the processor and transmits and / or receives a wired / wireless signal.
  • a processor may include an application-specific integrated circuit (ASIC), another chipset, a logic circuit, and / or a data processing device.
  • the memory may include read-only memory (ROM), random access memory (RAM), flash memory, memory card, storage medium and / or other storage device.
  • the transceiver may include a baseband circuit for processing radio frequency signals.
  • the techniques described herein may be implemented as modules (eg, procedures, functions, etc.) that perform the functions described herein.
  • the module may be stored in memory and executed by a processor.
  • the memory may be implemented inside the processor. Alternatively, the memory may be implemented external to the processor and may be communicatively coupled to the processor through various means known in the art.
  • the first device includes a base station, a network node, a transmitting terminal, a receiving terminal, a wireless device, a wireless communication device, a vehicle, a vehicle equipped with an autonomous driving function, a connected car, a drone (Unmanned Aerial Vehicle, UAV), Artificial Intelligence (AI) modules, robots, Augmented Reality (AR) devices, Virtual Reality (VR) devices, Mixed Reality (MR) devices, hologram devices, public safety devices, MTC devices, IoT devices, medical devices, fintech devices ( Or financial devices), security devices, climate / environment devices, devices related to 5G services, or other devices related to the fourth industrial revolution field.
  • UAV Unmanned Aerial Vehicle
  • AI Artificial Intelligence
  • AR Augmented Reality
  • VR Virtual Reality
  • MR Mixed Reality
  • hologram devices public safety devices
  • MTC devices IoT devices
  • medical devices fintech devices ( Or financial devices)
  • security devices climate / environment devices, devices related to 5G services, or other devices related to the fourth industrial revolution field.
  • the second device includes a base station, a network node, a transmitting terminal, a receiving terminal, a wireless device, a wireless communication device, a vehicle, a vehicle equipped with an autonomous driving function, a connected car, a drone (Unmanned Aerial Vehicle, UAV), Artificial Intelligence (AI) modules, robots, Augmented Reality (AR) devices, Virtual Reality (VR) devices, Mixed Reality (MR) devices, hologram devices, public safety devices, MTC devices, IoT devices, medical devices, fintech devices ( Or financial devices), security devices, climate / environment devices, devices related to 5G services, or other devices related to the fourth industrial revolution field.
  • UAV Unmanned Aerial Vehicle
  • AI Artificial Intelligence
  • AR Augmented Reality
  • VR Virtual Reality
  • MR Mixed Reality
  • hologram devices public safety devices
  • MTC devices IoT devices
  • medical devices fintech devices ( Or financial devices)
  • security devices climate / environment devices, devices related to 5G services, or other devices related to the fourth industrial revolution field.
  • the terminal may be a mobile phone, a smart phone, a laptop computer, a digital broadcasting terminal, a personal digital assistant (PDA), a portable multimedia player (PMP), navigation, a slate PC, a tablet. It may include a tablet PC, an ultrabook, a wearable device (eg, a smartwatch, a glass glass, a head mounted display), and the like.
  • the HMD may be a display device worn on the head.
  • the HMD can be used to implement VR, AR or MR.
  • a drone may be a vehicle in which humans fly by radio control signals.
  • the VR device may include a device that implements an object or a background of a virtual world.
  • the AR device may include a device that connects and implements an object or a background of the virtual world to an object or a background of the real world.
  • the MR device may include a device that fuses and implements an object or a background of the virtual world to an object or a background of the real world.
  • the hologram device may include a device that records and reproduces stereoscopic information to implement a 360 degree stereoscopic image by utilizing interference of light generated by two laser lights, called holography, to meet each other.
  • the public safety device may include an image relay device or an image device wearable on a human body of a user.
  • the MTC device and the IoT device may be devices that do not require direct human intervention or manipulation.
  • the MTC device and the IoT device may include a smart meter, a bending machine, a thermometer, a smart bulb, a door lock or various sensors.
  • a medical device may be a device used for the purpose of diagnosing, treating, alleviating, treating or preventing a disease.
  • a medical device may be a device used for the purpose of diagnosing, treating, alleviating or correcting an injury or disorder.
  • a medical device may be a device used for the purpose of inspecting, replacing, or modifying a structure or function.
  • the medical device may be a device used for controlling pregnancy.
  • the medical device may include a medical device, a surgical device, an (extracorporeal) diagnostic device, a hearing aid or a surgical device, and the like.
  • the security device may be a device installed to prevent a risk that may occur and to maintain safety.
  • the security device may be a camera, a CCTV, a recorder or a black box.
  • the fintech device may be a device capable of providing financial services such as mobile payment.
  • the fintech device may include a payment device or a point of sales (POS).
  • the climate / environmental device may include a device that monitors or predicts the climate / environment.
  • the first device and / or the second device may have one or more antennas.
  • the antenna may be configured to transmit and receive wireless signals.
  • the technical features according to the present invention described above may be applied to various services such as VR / AR.
  • the technical features according to the present invention described above may be performed through 5G (fifth generation) or next generation communication.
  • data including video / video bitstream, metadata, etc.
  • a transmitting device ex. 360 video transmitting device
  • a receiving device ex. 360 video receiving device
  • 5G communication can be.
  • a (VR / AR) image / video acquisition apparatus may be separately provided to the outside, and may transmit the image / video obtained through 5G communication to the transmitter.
  • the transmitter and / or receiver according to the present invention can support various service scenarios through 5G communication.
  • FIG. 21 shows an example of a 5G usage scenario to which the technical features of the present invention can be applied.
  • the 5G usage scenario shown here is merely exemplary, and the technical features of the present invention may be applied to other 5G usage scenarios not shown.
  • enhanced mobile broadband (eMBB) area (2) massive machine type communication (mMTC) area, and ( 3) ultra-reliable and low latency communications (URLLC).
  • eMBB enhanced mobile broadband
  • mMTC massive machine type communication
  • URLLC ultra-reliable and low latency communications
  • KPI key performance indicator
  • eMBB focuses on improving data rate, latency, user density, overall capacity and coverage of mobile broadband access.
  • eMBB aims at throughput of around 10Gbps.
  • eMBB goes far beyond basic mobile Internet access and covers media and entertainment applications in rich interactive work, cloud or augmented reality.
  • Data is one of the key drivers of 5G and may not see dedicated voice services for the first time in the 5G era.
  • voice is expected to be treated as an application simply using the data connection provided by the communication system.
  • the main reason for the increased traffic volume is the increase in content size and the increase in the number of applications requiring high data rates.
  • Streaming services (audio and video), interactive video, and mobile Internet connections will become more popular as more devices connect to the Internet.
  • Cloud storage and applications are growing rapidly in mobile communication platforms, which can be applied to both work and entertainment.
  • Cloud storage is a special use case that drives the growth of uplink data rates.
  • 5G is also used for remote tasks in the cloud and requires much lower end-to-end delays to maintain a good user experience when tactile interfaces are used.
  • cloud gaming and video streaming are another key factor in increasing the need for mobile broadband capabilities.
  • Entertainment is essential in smartphones and tablets anywhere, including in high mobility environments such as trains, cars and airplanes.
  • Another use case is augmented reality and information retrieval for entertainment.
  • augmented reality requires very low latency and instantaneous amount of data.
  • the mMTC is designed to enable communication between a large number of low-cost devices powered by batteries and to support applications such as smart metering, logistics, field and body sensors.
  • the mMTC targets 10 years of battery and / or about 1 million devices per km2.
  • the mMTC enables seamless connection of embedded sensors in all applications and is one of the most anticipated 5G use cases. Potentially, 2020 IoT devices are expected to reach 20 billion.
  • Industrial IoT is one of the areas where 5G plays a major role in enabling smart cities, asset tracking, smart utilities, agriculture and security infrastructure.
  • URLLC enables devices and machines to communicate very reliably and with very low latency and high availability, making them ideal for vehicle communications, industrial control, factory automation, telesurgery, smart grid and public safety applications.
  • URLLC aims for a delay of around 1ms.
  • URLLC includes new services that will transform the industry through ultra-reliable / low-latency links such as remote control of key infrastructure and autonomous vehicles. The level of reliability and latency is essential for smart grid control, industrial automation, robotics, drone control and coordination.
  • 5G can complement fiber-to-the-home (FTTH) and cable-based broadband (or DOCSIS) as a means of providing streams that are rated at hundreds of megabits per second to gigabits per second. This high speed may be required to deliver TVs at resolutions of 4K or higher (6K, 8K and higher) as well as virtual reality (VR) and augmented reality (AR).
  • VR and AR applications include nearly immersive sporting events. Certain applications may require special network settings. For example, in a VR game, the game company may need to integrate the core server with the network operator's edge network server to minimize latency.
  • Automotive is expected to be an important new driver for 5G, with many uses for mobile communications to vehicles. For example, entertainment for passengers demands both high capacity and high mobile broadband at the same time. This is because future users continue to expect high quality connections regardless of their location and speed.
  • Another use of the automotive sector is augmented reality dashboards.
  • the augmented reality contrast board allows the driver to identify objects in the dark above what they are looking through through the front window.
  • the augmented reality dashboard superimposes information that tells the driver about the distance and movement of the object.
  • wireless modules enable communication between vehicles, the exchange of information between the vehicle and the supporting infrastructure, and the exchange of information between the vehicle and other connected devices (eg, devices carried by pedestrians).
  • the safety system guides alternative courses of action to help drivers drive safer, reducing the risk of an accident.
  • the next step will be a remote controlled vehicle or an autonomous vehicle.
  • This requires very reliable and very fast communication between different autonomous vehicles and / or between cars and infrastructure.
  • autonomous vehicles will perform all driving activities and allow drivers to focus on traffic anomalies that the vehicle itself cannot identify.
  • the technical requirements of autonomous vehicles require ultra-low latency and ultrafast reliability to increase traffic safety to an unachievable level.
  • Smart cities and smart homes referred to as smart societies, will be embedded into high-density wireless sensor networks.
  • the distributed network of intelligent sensors will identify the conditions for cost and energy efficient maintenance of the city or home. Similar settings can be made for each hypothesis.
  • Temperature sensors, window and heating controllers, burglar alarms and appliances are all connected wirelessly. Many of these sensors typically require low data rates, low power and low cost. However, for example, real-time HD video may be required in certain types of devices for surveillance.
  • Smart grids interconnect these sensors using digital information and communication technologies to gather information and act accordingly. This information can include the behavior of suppliers and consumers, allowing smart grids to improve the distribution of fuels such as electricity in efficiency, reliability, economics, sustainability of production, and in an automated manner. Smart Grid can be viewed as another sensor network with low latency.
  • the health sector has many applications that can benefit from mobile communications.
  • the communication system may support telemedicine that provides clinical care from a distance. This can help reduce barriers to distance and improve access to health care that is not consistently available in remote rural areas. It is also used to save lives in critical care and emergencies.
  • Mobile communication based wireless sensor networks may provide remote monitoring and sensors for parameters such as heart rate and blood pressure.
  • Wireless and mobile communications are becoming increasingly important in industrial applications. Wiring is expensive to install and maintain. Thus, the possibility of replacing the cable with a reconfigurable wireless link is an attractive opportunity in many industries. However, achieving this requires that the wireless connection operates with similar cable delay, reliability, and capacity, and that management is simplified. Low latency and very low error probability are new requirements that need to be connected in 5G.
  • Logistics and freight tracking is an important use case for mobile communications that enables the tracking of inventory and packages from anywhere using a location-based information system.
  • the use of logistics and freight tracking typically requires low data rates but requires wide range and reliable location information.
  • embodiments according to the present invention may be performed to support eXtended Reality (XR).
  • Extended reality collectively refers to Virtual Reality (VR), Augmented Reality (AR), and Mixed Reality (MR).
  • VR technology provides real world objects and backgrounds only in CG images
  • AR technology provides virtual CG images on real objects images
  • MR technology mixes and combines virtual objects in the real world.
  • MR technology is similar to AR technology in that it shows both real and virtual objects.
  • the virtual object is used as a complementary form to the real object, whereas in the MR technology, the virtual object and the real object are used in the same nature.
  • the XR technology can be applied to HMD (Head-Mount Display), HUD (Head-Up Display), mobile phone, tablet PC, laptop, desktop, TV, digital signage, etc. It can be called.
  • the XR device may comprise the first device and / or second device described above.
  • the XR device may be connected to various services through a communication network based on 5G communication.
  • FIG. 22 illustrates a service system according to an embodiment of the present invention.
  • the XR apparatus 100c may include at least one of an AI server 200a, a robot 100a, an autonomous vehicle 100b, a smartphone 100d, or a home appliance 100e through a network 10. It can be connected with.
  • the robot 100a to which the AI technology is applied, the autonomous vehicle 100b, the XR device 100c, the smartphone 100d or the home appliance 100e may be referred to as an AI device.
  • the network 10 may include a wired / wireless communication network.
  • the network 10 may comprise a cloud network.
  • a cloud network may refer to a network that forms part of a cloud computing infrastructure or exists within a cloud computing infrastructure.
  • the cloud network may be configured using a 3G network, 4G or Long Term Evolution (LTE) network or a 5G network.
  • LTE Long Term Evolution
  • the devices 100a to 100e and 200a constituting the system 1 may be connected to each other through the cloud network 10.
  • the devices 100a to 100e and 200a may communicate with each other through the base station, but may communicate with each other directly without passing through the base station.
  • the AI server 200a may include a server that performs AI processing and a server that performs operations on big data.
  • the AI server 200a is connected to at least one or more of the robot 100a, the autonomous vehicle 100b, the XR device 100c, the smartphone 100d, or the home appliance 100e through the network 10, and connected to the AI.
  • AI processing of the devices 100a-100e can help at least in part.
  • the AI server 200a may train the artificial neural network according to the machine learning algorithm on behalf of the AI devices 100a to 100e and directly store the learning model or transmit the training model to the AI devices 100a to 100e.
  • the AI server 200a receives input data from the AI devices 100a to 100e, infers a result value with respect to the received input data using a learning model, and generates a response or control command based on the inferred result value. Can be generated and transmitted to the AI device (100a to 100e).
  • the AI devices 100a to 100e may infer a result value from input data using a direct learning model and generate a response or control command based on the inferred result value.
  • the XR device 100c includes a head-mount display (HMD), a head-up display (HUD) installed in a vehicle, a television, a mobile phone, a smartphone, a computer, a wearable device, a home appliance, a digital signage, a vehicle, a fixed robot, It may be implemented as a mobile robot.
  • HMD head-mount display
  • HUD head-up display
  • the XR apparatus 100c analyzes three-dimensional point cloud data or image data obtained through various sensors or from an external device to generate location data and attribute data for three-dimensional points, thereby providing information on the surrounding space or reality object. It can obtain and render XR object to output. For example, the XR device may output an XR object including additional information about the recognized object in correspondence with the recognized object.
  • the XR apparatus 100c may perform the above-described operations using a learning model composed of at least one artificial neural network.
  • the XR apparatus 100c may recognize a reality object in 3D point cloud data or image data using a learning model, and may provide information corresponding to the recognized reality object.
  • the learning model may be learned directly from the XR device 100c or learned from an external device such as the AI server 200a.
  • the XR apparatus 100c may perform an operation by generating a result using a direct learning model, but transmits sensor information to an external device such as the AI server 200a and receives the result generated accordingly. It can also be done.
  • the robot 100a may include a guide robot, a transport robot, a cleaning robot, a wearable robot, an entertainment robot, a pet robot, an unmanned flying robot, a drone, and the like.
  • the robot 100a may include a robot control module for controlling an operation, and the robot control module may refer to a software module or a chip implemented in hardware.
  • the robot 100a acquires state information of the robot 100a by using sensor information obtained from various kinds of sensors, detects (recognizes) the surrounding environment and an object, generates map data, or moves a route and travels. You can decide on a plan, determine a response to a user interaction, or determine an action.
  • the robot 100a may use sensor information acquired from at least one sensor among a rider, a radar, and a camera to determine a movement route and a travel plan.
  • the XR device 100c may remotely connect and / or remotely control the robot 100a via the network 10.
  • the robot 100a may share a view or a screen with a user who uses the XR apparatus 100c and control the driving unit based on the control / interaction of the user, thereby performing or driving.
  • the robot 100a may acquire the intention information of the interaction according to the user's motion or speech, and determine a response based on the acquired intention information to perform the operation.
  • the robot 100a to which the XR technology is applied may mean a robot that is the object of control / interaction in the XR image.
  • the robot 100a may be distinguished from the XR apparatus 100c and interlocked with each other.
  • the robot 100a may be distinguished from the XR apparatus 100c and interlocked with each other.
  • the robot 100a that is the object of control / interaction in the XR image acquires sensor information from sensors including a camera
  • the robot 100a or the XR apparatus 100c generates an XR image based on the sensor information.
  • the XR apparatus 100c may output the generated XR image.
  • the robot 100a may operate based on a control signal input through the XR apparatus 100c or user interaction.
  • the user may check an XR image corresponding to the viewpoint of the robot 100a that is remotely linked through an external device such as the XR device 100c, and may adjust the autonomous driving path of the robot 100a through interaction. You can control the movement or driving, or check the information of the surrounding objects.
  • the autonomous vehicle 100b may include a mobile robot, a vehicle, a train, a manned / unmanned vehicle, a ship, and the like.
  • the autonomous vehicle 100b may include an autonomous driving control module for controlling the autonomous driving function, and the autonomous driving control module may refer to a software module or a chip implemented in hardware.
  • the autonomous driving control module may be included inside as a configuration of the autonomous driving vehicle 100b, but may be connected to the outside of the autonomous driving vehicle 100b as a separate hardware.
  • the autonomous vehicle 100b obtains state information of the autonomous vehicle 100b by using sensor information obtained from various types of sensors, detects (recognizes) the surrounding environment and an object, generates map data, A travel route and a travel plan can be determined, or an action can be determined.
  • the autonomous vehicle 100b may use sensor information acquired from at least one sensor among a lidar, a radar, and a camera, similarly to the robot 100a, to determine a movement route and a travel plan.
  • the autonomous vehicle 100b may receive or recognize sensor information from external devices or receive information directly recognized from external devices. .
  • the XR apparatus 100c may remotely connect and / or remotely control the autonomous vehicle 100b via the network 10.
  • the autonomous vehicle 100b may perform an operation or drive by sharing a view or a screen with a user who uses the XR apparatus 100c and controlling the driving unit based on the control / interaction of the user.
  • the robot 100a may acquire the intention information of the interaction according to the user's motion or speech, and determine a response based on the acquired intention information to perform the operation.
  • the autonomous vehicle 100b to which the XR technology is applied may mean an autonomous vehicle having a means for providing an XR image, or an autonomous vehicle that is the object of control / interaction in the XR image.
  • the autonomous vehicle 100b, which is the object of control / interaction in the XR image is distinguished from the XR apparatus 100c and may be linked with each other.
  • the autonomous vehicle 100b having means for providing an XR image may acquire sensor information from sensors including a camera and output an XR image generated based on the acquired sensor information.
  • the autonomous vehicle 100b may provide an XR object corresponding to a real object or an object on the screen by providing an HR to output an XR image.
  • the XR object when the XR object is output to the HUD, at least a part of the XR object may be output to overlap the actual object to which the occupant's eyes are directed.
  • the XR object when the XR object is output on the display provided inside the autonomous vehicle 100b, at least a part of the XR object may be output to overlap the object in the screen.
  • the autonomous vehicle 100b may output XR objects corresponding to objects such as a road, another vehicle, a traffic light, a traffic sign, a motorcycle, a pedestrian, a building, and the like.
  • the autonomous vehicle 100b that is the object of control / interaction in the XR image acquires sensor information from sensors including a camera
  • the autonomous vehicle 100b or the XR apparatus 100c may be based on the sensor information.
  • the XR image may be generated, and the XR apparatus 100c may output the generated XR image.
  • the autonomous vehicle 100b may operate based on a user's interaction or a control signal input through an external device such as the XR apparatus 100c.
  • the XR device 100c may be provided inside the robot 100a and / or the autonomous vehicle 100b to provide separate XR content to the user, or may be provided within the robot 100a and / or the autonomous vehicle 100b. External images may be provided to the user.
  • the XR apparatus 100c may be used for various services such as entertainment, sports, education, transportation, medical care, e-commerce, manufacturing, and defense. For example, movies, theme parks, sports, etc. can be experienced and / or watched through the XR apparatus 100c, and medical training, training in a dangerous environment such as a fire scene, and the like can be supported.
  • the XR apparatus 100c may provide a wayfinding service such as AR Ways using location recognition and map generation (SLAM) technology, and may also access a virtual shopping mall to shop and purchase items. It may be.
  • SLAM location recognition and map generation

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명에 따른 오디오 데이터 수신 장치에 의하여 수행되는 오디오 데이터 수신 방법은, 3차원 오디오 컨텐츠의 메타데이터 및 상기 3차원 오디오 컨텐츠의 인코딩된 3차원 오디오 신호를 수신하는 단계, 상기 인코딩된 3차원 오디오 신호를 디코딩하는 단계 및 상기 3차원 오디오 컨텐츠의 메타데이터를 기반으로 상기 디코딩된 3차원 오디오 신호를 렌더링하는 단계를 포함하되, 상기 메타데이터는 상기 3차원 오디오 컨텐츠의 오클루션 이펙트(occlusion effect) 정보를 포함하는 것을 특징으로 한다.

Description

오클루션 이펙트에 관한 오디오 데이터를 송수신하는 방법 및 그 장치
본 발명은 오디오 데이터에 관한 것으로, 보다 상세하게는 오클루션 이펙트에 관한 오디오 데이터를 송수신하는 방법 및 그 장치에 관한 것이다.
VR(Virtual Reality) 시스템은 사용자에게 전자적으로 투영된 환경 내에 있는 것 같은 감각을 제공한다. AR(Augmented Reality, AR) 시스템은 현실의 이미지나 배경에 3차원 가상 이미지를 중첩하여, 사용자에게 가상과 현실이 혼합된 환경 내에 있는 것 같은 감각을 제공한다. VR 또는 AR을 제공하기 위한 시스템은 더 고화질의 이미지들과, 공간적인 음향을 제공하기 위하여 더 개선될 수 있다. VR 또는 AR 시스템은 사용자가 인터랙티브하게 VR 또는 AR 컨텐츠들을 소비할 수 있도록 할 수 있다.
VR 또는 AR 컨텐츠에 대한 수요가 점점 증가하고 있는 상황에서, VR 또는 AR 컨텐츠의 재생을 위한 오디오 신호를 생성하는 장치와, VR 또는 AR 컨텐츠를 재생하는 장치 간에 오디오 데이터를 효율적으로 송수신할 수 있는 방법을 고안할 필요성 또한 증가하고 있다.
현재 특정 공간, 특정 위치라는 제한 사항을 넘어, VR 컨텐츠를 다양한 위치에서 경험할 수 있는 기술들(예를 들어, 3DoF+ 또는 6DoF)에 대한 연구가 진행되고 있다. 이에 따라, 여러 위치에서 씬(scene)이 캡쳐되는 핫스팟(Hot Spot) 개념에 대한 관심도 증가하고 있다. 좀 더 몰입감 높은 VR 컨텐츠를 경험하기 위해서는 VR 컨텐츠를 이용하는 사용자에게 높은 자유도가 제공되어야 할 필요가 있다.
본 발명의 기술적 과제는 오디오 데이터를 송수신하는 방법 및 장치를 제공함에 있다.
본 발명의 다른 기술적 과제는 오클루션 이펙트(occlusion effect)에 관한 오디오 데이터를 송수신하는 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 기술적 과제는 오클루션 이펙트 정보를 포함하는 메타데이터를 생성하여 오디오 데이터 수신 장치로 전송하는 오디오 데이터 전송 장치 및 그 동작 방법을 제공함에 있다.
본 발명의 또 다른 기술적 과제는 오디오 데이터 전송 장치로부터 오클루션 이펙트 정보를 포함하는 메타데이터를 수신하는 오디오 데이터 수신 장치 및 그 동작 방법을 제공함에 있다.
본 발명의 또 다른 기술적 과제는 3차원 오디오 데이터를 송수신하는 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 기술적 과제는 3DoF, 3DoF+ 또는 6DoF의 오디오 컨텐츠를 위한 메타데이터를 MPEG-H에 따른 오디오 복호화기 및 오디오 부호화기를 기반으로 제공함에 있다.
본 발명의 또 다른 기술적 과제는 오디오 데이터 수신 장치가 장애물에 관련된 오클루션 이펙트 정보를 기반으로 필터를 도출하여 사용자에게 장애물에 따른 오클루션 효과가 적용된 소리를 제공함에 있다.
본 발명의 일 실시예에 따르면, 오디오 데이터 수신 장치에 의하여 수행되는 오디오 데이터 수신 방법이 제공된다. 상기 오디오 데이터 수신 방법은, 3차원 오디오 컨텐츠의 메타데이터 및 상기 3차원 오디오 컨텐츠의 인코딩된 3차원 오디오 신호를 수신하는 단계, 상기 인코딩된 3차원 오디오 신호를 디코딩하는 단계 및 상기 3차원 오디오 컨텐츠의 메타데이터를 기반으로 상기 디코딩된 3차원 오디오 신호를 렌더링하는 단계를 포함하되, 상기 메타데이터는 상기 3차원 오디오 컨텐츠의 오클루션 이펙트(occlusion effect) 정보를 포함하는 것을 특징으로 한다.
본 발명의 다른 일 실시예에 따르면, 오디오 데이터를 전송하는 오디오 데이터 수신 장치가 제공된다. 상기 오디오 데이터 수신 장치는, 3차원 오디오 컨텐츠의 메타데이터 및 상기 3차원 오디오 컨텐츠의 인코딩된 3차원 오디오 신호를 수신하는 수신부, 상기 인코딩된 3차원 오디오 신호를 디코딩하는 오디오 신호 디코딩부 및 상기 3차원 오디오 컨텐츠의 메타데이터를 기반으로 상기 디코딩된 3차원 오디오 신호를 렌더링하는 렌더링부를 포함하되, 상기 메타데이터는 상기 3차원 오디오 컨텐츠의 오클루션 이펙트(occlusion effect) 정보를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 일 실시예에 따르면, 오디오 데이터 전송 장치에 의하여 수행되는 오디오 데이터 전송 방법이 제공된다. 상기 오디오 데이터 전송 방법은, 3차원 오디오 컨텐츠의 메타데이터를 생성하는 단계, 상기 3차원 오디오 컨텐츠의 3차원 오디오 신호를 인코딩하는 단계 및 상기 인코딩된 3차원 오디오 신호 및 상기 생성된 메타데이터를 전송하는 단계를 포함하되, 상기 메타데이터는 상기 3차원 오디오 컨텐츠의 오클루션 이펙트(occlusion effect) 정보를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 일 실시예에 따르면, 오디오 데이터를 전송하는 오디오 데이터 전송 장치가 제공된다. 상기 오디오 데이터 전송 장치는, 3차원 오디오 컨텐츠의 메타데이터를 생성하는 메타데이터 생성부, 상기 3차원 오디오 컨텐츠의 3차원 오디오 신호를 인코딩하는 오디오 신호 인코딩부 및 상기 인코딩된 3차원 오디오 신호 및 상기 생성된 메타데이터를 전송하는 전송부를 포함하되, 상기 메타데이터는 상기 3차원 오디오 컨텐츠의 오클루션 이펙트(occlusion effect) 정보를 포함하는 것을 특징으로 한다.
본 발명에 따르면 오디오 데이터 전송 장치와 오디오 데이터 수신 장치가 3차원 오디오 컨텐츠에 대한 오디오 데이터를 효율적으로 송수신할 수 있는 방안을 제공할 수 있다.
본 발명에 따르면 오디오 데이터 전송 장치와 오디오 데이터 수신 장치가 VR 또는 AR 컨텐츠에 대한 오디오 데이터를 효율적으로 송수신할 수 있는 방안을 제공할 수 있다.
본 발명에 따르면 오디오 데이터 수신 장치가 오디오 데이터 전송 장치로부터 수신한 3차원 오디오 컨텐츠의 메타데이터를 기반으로 3차원 오디오 컨텐츠를 보다 효율적으로 재생하는 방안을 제공할 수 있다.
본 발명에 따르면 오디오 데이터 수신 장치가 오디오 데이터 전송 장치로부터 수신한 VR 또는 AR 컨텐츠의 메타데이터를 기반으로 VR 또는 AR 컨텐츠에 대한 3차원 오디오 신호를 보다 효율적으로 렌더링(또는 재생)하는 방안을 제공할 수 있다.
도 1은 본 발명에 따른 360 비디오 제공을 위한 전체 아키텍처를 도시한 도면이다.
도 2 및 도 3은 본 발명의 일 실시예에 따른 미디어 파일의 구조를 도시한 도면이다.
도 4는 DASH 기반 적응형 스트리밍 모델의 전반적인 동작의 일 예를 나타낸다.
도 5는 일 실시예에 따른 3차원 오디오 컨텐츠의 재생 공간에서 사용자와 음원 간의 관계를 설명하기 위한 도면이다.
도 6a 내지 도 6c는 일 실시예에 따른 재생 공간에서 사용자와 음원 사이에 장애물이 위치한 경우 오클루션 이펙트(occlusion effect)를 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 재생 공간에서의 RIR을 나타낸 그래프이다.
도 8은 일 실시예에 따른 사용자와 음원 간의 프레넬 존(fresnel zone)을 나타낸 도면이다.
도 9는 일 실시예에 따른 사용자와 음원 사이에 장애물이 위치한 경우 주파수에 따른 프레넬 존을 나타낸 도면이다.
도 10a 및 도 10b는 일 실시예에 따른 주파수에 대한 장애물의 영향을 설명하기 위한 도면이다.
도 11은 일 실시예에 따른 감쇠 필터의 주파수 응답을 나타낸 그래프이다.
도 12는 일 실시예에 따른 재생 공간에서 위치에 따라 미리 결정된 감쇠 필터를 나타낸 도면이다.
도 13은 일 실시예에 따른 오클루션 이펙트가 적용될 수 있는 다른 오디오 관련 부호화기 및 복호화기의 오디오 스트림을 개략적으로 나타낸 도면이다.
도 14는 일 실시예에 따른 오클루션 이펙트를 고려한 3차원 오디오 데이터 수신 장치의 동작 방법을 도시하는 흐름도이다.
도 15는 일 실시예에 따른 오클루션 이펙트를 고려한 3차원 오디오 데이터 수신 장치의 구성을 도시하는 블록도이다.
도 16은 일 실시예에 따른 오디오 데이터 전송 장치의 동작 방법을 도시하는 흐름도이다.
도 17은 일 실시예에 따른 오디오 데이터 전송 장치의 구성을 도시하는 블록도이다.
도 18은 일 실시예에 따른 오디오 데이터 수신 장치의 동작 방법을 도시하는 흐름도이다.
도 19는 일 실시예에 따른 오디오 데이터 수신 장치의 구성을 도시하는 블록도이다.
도 20은 본 발명의 실시예들을 지원할 수 있는 장치를 예시적으로 나타낸다.
도 21은 본 발명의 기술적 특징이 적용될 수 있는 5G 사용 시나리오의 예를 나타낸다.
도 22는 본 발명의 일 실시 예에 따른 서비스 시스템을 나타낸다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정 실시예에 한정하려고 하는 것이 아니다. 본 명세서에서 상용하는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명의 기술적 사상을 한정하려는 의도로 사용되는 것은 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서 "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 도는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
한편, 본 발명에서 설명되는 도면상의 각 구성들은 서로 다른 특징적인 기능들에 관한 설명의 편의를 위해 독립적으로 도시된 것으로서, 각 구성들이 서로 별개의 하드웨어나 별개의 소프트웨어로 구현된다는 것을 의미하지는 않는다. 예컨대, 각 구성 중 두 개 이상의 구성이 합쳐져 하나의 구성을 이룰 수도 있고, 하나의 구성이 복수의 구성으로 나뉘어질 수도 있다. 각 구성이 통합 및/또는 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략될 수 있다.
도 1은 본 발명에 따른 360 비디오 제공을 위한 전체 아키텍처를 도시한 도면이다.
본 발명은 사용자에게 가상현실 (Virtual Reality, VR)을 제공하기 위하여, 360 컨텐츠를 제공하는 방안을 제안한다. VR이란 실제 또는 가상의 환경을 복제(replicates) 하기 위한 기술 내지는 그 환경을 의미할 수 있다. VR은 인공적으로 사용자에게 감각적 경험을 제공하며, 이를 통해 사용자는 전자적으로 프로젝션된 환경에 있는 것과 같은 경험을 할 수 있다.
360 컨텐츠는 VR을 구현, 제공하기 위한 컨텐츠 전반을 의미하며, 360 비디오 및/또는 360 오디오를 포함할 수 있다. 360 비디오는 VR을 제공하기 위해 필요한, 동시에 모든 방향(360도)으로 캡처되거나 재생되는 비디오 내지 이미지 컨텐츠를 의미할 수 있다. 이하, 360 비디오라 함은 360도 비디오를 의미할 수 있다. 360 비디오는 3D 모델에 따라 다양한 형태의 3D 공간 상에 나타내어지는 비디오 내지 이미지를 의미할 수 있으며, 예를 들어 360 비디오는 구형면(Speherical surface) 상에 나타내어질 수 있다. 360 오디오 역시 VR을 제공하기 위한 오디오 컨텐츠로서, 음향 발생지가 3차원의 특정 공간상에 위치하는 것으로 인지될 수 있는, 공간적(Spatial) 오디오 컨텐츠를 의미할 수 있다. 360 컨텐츠는 생성, 처리되어 사용자들로 전송될 수 있으며, 사용자들은 360 컨텐츠를 이용하여 VR 경험을 소비할 수 있다. 360 비디오는 전방향(omnidirectional) 비디오라고 불릴 수 있고, 360 이미지는 전방향 이미지라고 불릴 수 있다.
본 발명은 특히 360 비디오를 효과적으로 제공하는 방안을 제안한다. 360 비디오를 제공하기 위하여, 먼저 하나 이상의 카메라를 통해 360 비디오가 캡처될 수 있다. 캡처된 360 비디오는 일련의 과정을 거쳐 전송되고, 수신측에서는 수신된 데이터를 다시 원래의 360 비디오로 가공하여 렌더링할 수 있다. 이를 통해 360 비디오가 사용자에게 제공될 수 있다.
구체적으로 360 비디오 제공을 위한 전체의 과정은 캡처 과정(process), 준비 과정, 전송 과정, 프로세싱 과정, 렌더링 과정 및/또는 피드백 과정을 포함할 수 있다.
캡처 과정은 하나 이상의 카메라를 통하여 복수개의 시점 각각에 대한 이미지 또는 비디오를 캡처하는 과정을 의미할 수 있다. 캡처 과정에 의해 도시된 도 1의 (110)과 같은 이미지/비디오 데이터가 생성될 수 있다. 도시된 도 1의 (110)의 각 평면은 각 시점에 대한 이미지/비디오를 의미할 수 있다. 이 캡처된 복수개의 이미지/비디오를 로(raw) 데이터라 할 수도 있다. 캡처 과정에서 캡처와 관련된 메타데이터가 생성될 수 있다.
이 캡처를 위하여 VR 을 위한 특수한 카메라가 사용될 수 있다. 실시예에 따라 컴퓨터로 생성된 가상의 공간에 대한 360 비디오를 제공하고자 하는 경우, 실제 카메라를 통한 캡처가 수행되지 않을 수 있다. 이 경우 단순히 관련 데이터가 생성되는 과정으로 해당 캡처 과정이 갈음될 수 있다.
준비 과정은 캡처된 이미지/비디오 및 캡처 과정에서 발생한 메타데이터를 처리하는 과정일 수 있다. 캡처된 이미지/비디오는 이 준비 과정에서, 스티칭 과정, 프로젝션 과정, 리전별 패킹 과정(Region-wise Packing) 및/또는 인코딩 과정 등을 거칠 수 있다.
먼저 각각의 이미지/비디오가 스티칭(Stitching) 과정을 거칠 수 있다. 스티칭 과정은 각각의 캡처된 이미지/비디오들을 연결하여 하나의 파노라마 이미지/비디오 또는 구형의 이미지/비디오를 만드는 과정일 수 있다.
이 후, 스티칭된 이미지/비디오는 프로젝션(Projection) 과정을 거칠 수 있다. 프로젝션 과정에서, 스트칭된 이미지/비디오는 2D 이미지 상에 프로젝션될 수 있다. 이 2D 이미지는 문맥에 따라 2D 이미지 프레임으로 불릴 수도 있다. 2D 이미지로 프로젝션하는 것을 2D 이미지로 매핑한다고 표현할 수도 있다. 프로젝션된 이미지/비디오 데이터는 도시된 도 1의 (120)과 같은 2D 이미지의 형태가 될 수 있다.
2D 이미지 상에 프로젝션된 비디오 데이터는 비디오 코딩 효율 등을 높이기 위하여 리전별 패킹 과정(Region-wise Packing)을 거칠 수 있다. 리전별 패킹이란, 2D 이미지 상에 프로젝션된 비디오 데이터를 리전(Region) 별로 나누어 처리를 가하는 과정을 의미할 수 있다. 여기서 리전(Region)이란, 360 비디오 데이터가 프로젝션된 2D 이미지가 나누어진 영역을 의미할 수 있다. 이 리전들은, 실시예에 따라, 2D 이미지를 균등하게 나누어 구분되거나, 임의로 나누어져 구분될 수 있다. 또한 실시예에 따라 리전들은, 프로젝션 스킴에 따라 구분될 수도 있다. 리전별 패킹 과정은 선택적(optional) 과정으로써, 준비 과정에서 생략될 수 있다.
실시예에 따라 이 처리 과정은, 비디오 코딩 효율을 높이기 위해, 각 리전을 회전한다거나 2D 이미지 상에서 재배열하는 과정을 포함할 수 있다. 예를 들어, 리전들을 회전하여 리전들의 특정 변들이 서로 근접하여 위치되도록 함으로써, 코딩 시의 효율이 높아지게 할 수 있다.
실시예에 따라 이 처리 과정은, 360 비디오상의 영역별로 레졸루션(resolution)을 차등화하기 위하여, 특정 리전에 대한 레졸루션을 높인다거나, 낮추는 과정을 포함할 수 있다. 예를 들어, 360 비디오 상에서 상대적으로 더 중요한 영역에 해당하는 리전들은, 다른 리전들보다 레졸루션을 높게할 수 있다. 2D 이미지 상에 프로젝션된 비디오 데이터 또는 리전별 패킹된 비디오 데이터는 비디오 코덱을 통한 인코딩 과정을 거칠 수 있다.
실시예에 따라 준비 과정은 부가적으로 에디팅(editing) 과정 등을 더 포함할 수 있다. 이 에디팅 과정에서 프로젝션 전후의 이미지/비디오 데이터들에 대한 편집 등이 더 수행될 수 있다. 준비 과정에서도 마찬가지로, 스티칭/프로젝션/인코딩/에디팅 등에 대한 메타데이터가 생성될 수 있다. 또한 2D 이미지 상에 프로젝션된 비디오 데이터들의 초기 시점, 혹은 ROI(Region of Interest) 등에 관한 메타데이터가 생성될 수 있다.
전송 과정은 준비 과정을 거친 이미지/비디오 데이터 및 메타데이터들을 처리하여 전송하는 과정일 수 있다. 전송을 위해 임의의 전송 프로토콜에 따른 처리가 수행될 수 있다. 전송을 위한 처리를 마친 데이터들은 방송망 및/또는 브로드밴드를 통해 전달될 수 있다. 이 데이터들은 온 디맨드(On Demand) 방식으로 수신측으로 전달될 수도 있다. 수신측에서는 다양한 경로를 통해 해당 데이터를 수신할 수 있다.
프로세싱 과정은 수신한 데이터를 디코딩하고, 프로젝션되어 있는 이미지/비디오 데이터를 3D 모델 상에 리-프로젝션(Re-projection)하는 과정을 의미할 수 있다. 이 과정에서 2D 이미지들 상에 프로젝션되어 있는 이미지/비디오 데이터가 3D 공간 상으로 리-프로젝션될 수 있다. 이 과정을 문맥에 따라 매핑, 프로젝션이라고 부를 수도 있다. 이 때 매핑되는 3D 공간은 3D 모델에 따라 다른 형태를 가질 수 있다. 예를 들어 3D 모델에는 구형(Sphere), 큐브(Cube), 실린더(Cylinder) 또는 피라미드(Pyramid)가 있을 수 있다.
실시예에 따라 프로세싱 과정은 부가적으로 에디팅(editing) 과정, 업 스케일링(up scaling) 과정 등을 더 포함할 수 있다. 이 에디팅 과정에서 리-프로젝션 전후의 이미지/비디오 데이터에 대한 편집 등이 더 수행될 수 있다. 이미지/비디오 데이터가 축소되어 있는 경우 업 스케일링 과정에서 샘플들의 업 스케일링을 통해 그 크기를 확대할 수 있다. 필요한 경우, 다운 스케일링을 통해 사이즈를 축소하는 작업이 수행될 수도 있다.
렌더링 과정은 3D 공간상에 리-프로젝션된 이미지/비디오 데이터를 렌더링하고 디스플레이하는 과정을 의미할 수 있다. 표현에 따라 리-프로젝션과 렌더링을 합쳐 3D 모델 상에 렌더링한다 라고 표현할 수도 있다. 3D 모델 상에 리-프로젝션된(또는 3D 모델 상으로 렌더링된) 이미지/비디오는 도시된 도 1의 (130)과 같은 형태를 가질 수 있다. 도시된 도 1의 (130)은 구형(Sphere)의 3D 모델에 리-프로젝션된 경우이다. 사용자는 VR 디스플레이 등을 통하여 렌더링된 이미지/비디오의 일부 영역을 볼 수 있다. 이 때 사용자가 보게되는 영역은 도시된 도 1의 (140)과 같은 형태일 수 있다.
피드백 과정은 디스플레이 과정에서 획득될 수 있는 다양한 피드백 정보들을 송신측으로 전달하는 과정을 의미할 수 있다. 피드백 과정을 통해 360 비디오 소비에 있어 인터랙티비티(Interactivity)가 제공될 수 있다. 실시예에 따라, 피드백 과정에서 헤드 오리엔테이션(Head Orientation) 정보, 사용자가 현재 보고 있는 영역을 나타내는 뷰포트(Viewport) 정보 등이 송신측으로 전달될 수 있다. 실시예에 따라, 사용자는 VR 환경 상에 구현된 것들과 상호작용할 수도 있는데, 이 경우 그 상호작용과 관련된 정보가 피드백 과정에서 송신측 내지 서비스 프로바이더 측으로 전달될 수도 있다. 실시예에 따라 피드백 과정은 수행되지 않을 수도 있다.
헤드 오리엔테이션 정보는 사용자의 머리 위치, 각도, 움직임 등에 대한 정보를 의미할 수 있다. 이 정보를 기반으로 사용자가 현재 360 비디오 내에서 보고 있는 영역에 대한 정보, 즉 뷰포트 정보가 계산될 수 있다.
뷰포트 정보는 현재 사용자가 360 비디오에서 보고 있는 영역에 대한 정보일 수 있다. 이를 통해 게이즈 분석(Gaze Analysis) 이 수행되어, 사용자가 어떠한 방식으로 360 비디오를 소비하는지, 360 비디오의 어느 영역을 얼마나 응시하는지 등을 확인할 수도 있다. 게이즈 분석은 수신측에서 수행되어 송신측으로 피드백 채널을 통해 전달될 수도 있다. VR 디스플레이 등의 장치는 사용자의 머리 위치/방향, 장치가 지원하는 수직(vertical) 혹은 수평(horizontal) FOV(Field Of View) 정보 등에 근거하여 뷰포트 영역을 추출할 수 있다.
실시예에 따라, 전술한 피드백 정보는 송신측으로 전달되는 것 뿐아니라, 수신측에서 소비될 수도 있다. 즉, 전술한 피드백 정보를 이용하여 수신측의 디코딩, 리-프로젝션, 렌더링 과정 등이 수행될 수 있다. 예를 들어, 헤드 오리엔테이션 정보 및/또는 뷰포트 정보를 이용하여 현재 사용자가 보고 있는 영역에 대한 360 비디오만 우선적으로 디코딩 및 렌더링될 수도 있다.
여기서 뷰포트(viewport) 내지 뷰포트 영역이란, 사용자가 360 비디오에서 보고 있는 영역을 의미할 수 있다. 시점(viewpoint)은 사용자가 360 비디오에서 보고 있는 지점으로서, 뷰포트 영역의 정중앙 지점을 의미할 수 있다. 즉, 뷰포트는 시점을 중심으로 한 영역인데, 그 영역이 차지하는 크기 형태 등은 후술할 FOV(Field Of View)에 의해 결정될 수 있다.
전술한 360 비디오 제공을 위한 전체 아키텍처 내에서, 캡처/프로젝션/인코딩/전송/디코딩/리-프로젝션/렌더링의 일련의 과정을 거치게 되는 이미지/비디오 데이터들을 360 비디오 데이터라 부를 수 있다. 360 비디오 데이터라는 용어는 또한 이러한 이미지/비디오 데이터들과 관련되는 메타데이터 내지 시그널링 정보를 포함하는 개념으로 쓰일 수도 있다.
상술한 오디오 또는 비디오 등의 미디어 데이터를 저장하고 전송하기 위하여, 정형화된 미디어 파일 포맷이 정의될 수 있다. 실시예에 따라 미디어 파일은 ISO BMFF(ISO base media file format)를 기반으로 한 파일 포맷을 가질 수 있다.
도 2 및 도 3은 본 발명의 일 실시예에 따른 미디어 파일의 구조를 도시한 도면이다.
본 발명에 따른 미디어 파일은 적어도 하나 이상의 박스를 포함할 수 있다. 여기서 박스(box)는 미디어 데이터 또는 미디어 데이터에 관련된 메타데이터 등을 포함하는 데이터 블록 내지 오브젝트일 수 있다. 박스들은 서로 계층적 구조를 이룰 수 있으며, 이에 따라 데이터들이 분류되어 미디어 파일이 대용량 미디어 데이터의 저장 및/또는 전송에 적합한 형태를 띄게 될 수 있다. 또한 미디어 파일은, 사용자가 미디어 컨텐츠의 특정지점으로 이동하는 등, 미디어 정보에 접근하는데 있어 용이한 구조를 가질 수 있다.
본 발명에 따른 미디어 파일은 ftyp 박스, moov 박스 및/또는 mdat 박스를 포함할 수 있다.
ftyp 박스(파일 타입 박스)는 해당 미디어 파일에 대한 파일 타입 또는 호환성 관련 정보를 제공할 수 있다. ftyp 박스는 해당 미디어 파일의 미디어 데이터에 대한 구성 버전 정보를 포함할 수 있다. 복호기는 ftyp 박스를 참조하여 해당 미디어 파일을 구분할 수 있다.
moov 박스(무비 박스)는 해당 미디어 파일의 미디어 데이터에 대한 메타 데이터를 포함하는 박스일 수 있다. moov 박스는 모든 메타 데이터들을 위한 컨테이너 역할을 할 수 있다. moov 박스는 메타 데이터 관련 박스들 중 최상위 계층의 박스일 수 있다. 실시예에 따라 moov 박스는 미디어 파일 내에 하나만 존재할 수 있다.
mdat 박스(미디어 데이터 박스)는 해당 미디어 파일의 실제 미디어 데이터들을 담는 박스일 수 있다. 미디어 데이터들은 오디오 샘플 및/또는 비디오 샘플들을 포함할 수 있는데, mdat 박스는 이러한 미디어 샘플들을 담는 컨테이너 역할을 할 수 있다.
실시예에 따라 전술한 moov 박스는 mvhd 박스, trak 박스 및/또는 mvex 박스 등을 하위 박스로서 더 포함할 수 있다.
mvhd 박스(무비 헤더 박스)는 해당 미디어 파일에 포함되는 미디어 데이터의 미디어 프리젠테이션 관련 정보를 포함할 수 있다. 즉, mvhd 박스는 해당 미디어 프리젠테이션의 미디어 생성시간, 변경시간, 시간규격, 기간 등의 정보를 포함할 수 있다.
trak 박스(트랙 박스)는 해당 미디어 데이터의 트랙에 관련된 정보를 제공할 수 있다. trak 박스는 오디오 트랙 또는 비디오 트랙에 대한 스트림 관련 정보, 프리젠테이션 관련 정보, 액세스 관련 정보 등의 정보를 포함할 수 있다. Trak 박스는 트랙의 개수에 따라 복수개 존재할 수 있다.
trak 박스는 실시예에 따라 tkhd 박스(트랙 헤더 박스)를 하위 박스로서 더 포함할 수 있다. tkhd 박스는 trak 박스가 나타내는 해당 트랙에 대한 정보를 포함할 수 있다. tkhd 박스는 해당 트랙의 생성시간, 변경시간, 트랙 식별자 등의 정보를 포함할 수 있다.
mvex 박스(무비 익스텐드 박스)는 해당 미디어 파일에 후술할 moof 박스가 있을 수 있음을 지시할 수 있다. 특정 트랙의 모든 미디어 샘플들을 알기 위해서, moof 박스들이 스캔되어야할 수 있다.
본 발명에 따른 미디어 파일은, 실시예에 따라, 복수개의 프래그먼트로 나뉘어질 수 있다(200). 이를 통해 미디어 파일이 분할되어 저장되거나 전송될 수 있다. 미디어 파일의 미디어 데이터들(mdat 박스)은 복수개의 프래그먼트로 나뉘어지고, 각각의 프래그먼트는 moof 박스와 나뉘어진 mdat 박스를 포함할 수 있다. 실시예에 따라 프래그먼트들을 활용하기 위해서는 ftyp 박스 및/또는 moov 박스의 정보가 필요할 수 있다.
moof 박스(무비 프래그먼트 박스)는 해당 프래그먼트의 미디어 데이터에 대한 메타 데이터를 제공할 수 있다. moof 박스는 해당 프래그먼트의 메타데이터 관련 박스들 중 최상위 계층의 박스일 수 있다.
mdat 박스(미디어 데이터 박스)는 전술한 바와 같이 실제 미디어 데이터를 포함할 수 있다. 이 mdat 박스는 각각의 해당 프래그먼트에 해당하는 미디어 데이터들의 미디어 샘플들을 포함할 수 있다.
실시예에 따라 전술한 moof 박스는 mfhd 박스 및/또는 traf 박스 등을 하위 박스로서 더 포함할 수 있다.
mfhd 박스(무비 프래그먼트 헤더 박스)는 분할된 복수개의 프래그먼트들 간의 연관성과 관련한 정보들을 포함할 수 있다. mfhd 박스는 시퀀스 넘버(sequence number)를 포함하여, 해당 프래그먼트의 미디어 데이터가 분할된 몇 번째 데이터인지를 나타낼 수 있다. 또한, mfhd 박스를 이용하여 분할된 데이터 중 누락된 것은 없는지 여부가 확인될 수 있다.
traf 박스(트랙 프래그먼트 박스)는 해당 트랙 프래그먼트에 대한 정보를 포함할 수 있다. traf 박스는 해당 프래그먼트에 포함되는 분할된 트랙 프래그먼트에 대한 메타데이터를 제공할 수 있다. traf 박스는 해당 트랙 프래그먼트 내의 미디어 샘플들이 복호화/재생될 수 있도록 메타데이터를 제공할 수 있다. traf 박스는 트랙 프래그먼트의 개수에 따라 복수개 존재할 수 있다.
실시예에 따라 전술한 traf 박스는 tfhd 박스 및/또는 trun 박스 등을 하위 박스로서 더 포함할 수 있다.
tfhd 박스(트랙 프래그먼트 헤더 박스)는 해당 트랙 프래그먼트의 헤더 정보를 포함할 수 있다. tfhd 박스는 전술한 traf 박스가 나타내는 트랙 프래그먼트의 미디어 샘플들에 대하여, 기본적인 샘플크기, 기간, 오프셋, 식별자 등의 정보를 제공할 수 있다.
trun 박스(트랙 프래그먼트 런 박스)는 해당 트랙 프래그먼트 관련 정보를 포함할 수 있다. trun 박스는 미디어 샘플별 기간, 크기, 재생시점 등과 같은 정보를 포함할 수 있다.
전술한 미디어 파일 내지 미디어 파일의 프래그먼트들은 세그먼트들로 처리되어 전송될 수 있다. 세그먼트에는 초기화 세그먼트(initialization segment) 및/또는 미디어 세그먼트(media segment) 가 있을 수 있다.
도시된 실시예(210)의 파일은, 미디어 데이터는 제외하고 미디어 디코더의 초기화와 관련된 정보 등을 포함하는 파일일 수 있다. 이 파일은 예를 들어 전술한 초기화 세그먼트에 해당할 수 있다. 초기화 세그먼트는 전술한 ftyp 박스 및/또는 moov 박스를 포함할 수 있다.
도시된 실시예(220)의 파일은, 전술한 프래그먼트를 포함하는 파일일 수 있다. 이 파일은 예를 들어 전술한 미디어 세그먼트에 해당할 수 있다. 미디어 세그먼트는 전술한 moof 박스 및/또는 mdat 박스를 포함할 수 있다. 또한, 미디어 세그먼트는 styp 박스 및/또는 sidx 박스를 더 포함할 수 있다.
styp 박스(세그먼트 타입 박스)는 분할된 프래그먼트의 미디어 데이터를 식별하기 위한 정보를 제공할 수 있다. styp 박스는 분할된 프래그먼트에 대해, 전술한 ftyp 박스와 같은 역할을 수행할 수 있다. 실시예에 따라 styp 박스는 ftyp 박스와 동일한 포맷을 가질 수 있다.
sidx 박스(세그먼트 인덱스 박스)는 분할된 프래그먼트에 대한 인덱스를 나타내는 정보를 제공할 수 있다. 이를 통해 해당 분할된 프래그먼트가 몇번째 프래그먼트인지가 지시될 수 있다.
실시예(230)에 따라 ssix 박스가 더 포함될 수 있는데, ssix 박스(서브 세그먼트 인덱스 박스)는 세그먼트가 서브 세그먼트로 더 나뉘어지는 경우에 있어, 그 서브 세그먼트의 인덱스를 나타내는 정보를 제공할 수 있다.
미디어 파일 내의 박스들은, 도시된 실시예(250)와 같은 박스 내지 풀 박스(FullBox) 형태를 기반으로, 더 확장된 정보들을 포함할 수 있다. 이 실시예에서 size 필드, largesize 필드는 해당 박스의 길이를 바이트 단위 등으로 나타낼 수 있다. version 필드는 해당 박스 포맷의 버전을 나타낼 수 있다. Type 필드는 해당 박스의 타입 내지 식별자를 나타낼 수 있다. flags 필드는 해당 박스와 관련된 플래그 등을 나타낼 수 있다.
도 4는 DASH 기반 적응형 스트리밍 모델의 전반적인 동작의 일 예를 나타낸다. 도시된 실시예(400)에 따른 DASH 기반 적응형 스트리밍 모델은, HTTP 서버와 DASH 클라이언트 간의 동작을 기술하고 있다. 여기서 DASH(Dynamic Adaptive Streaming over HTTP)는, HTTP 기반 적응형 스트리밍을 지원하기 위한 프로토콜로서, 네트워크 상황에 따라 동적으로 스트리밍을 지원할 수 있다. 이에 따라 AV 컨텐트 재생이 끊김없이 제공될 수 있다.
먼저 DASH 클라이언트는 MPD를 획득할 수 있다. MPD는 HTTP 서버 등의 서비스 프로바이더로부터 전달될 수 있다. DASH 클라이언트는 MPD에 기술된 세그먼트에의 접근 정보를 이용하여 서버로 해당 세그먼트들을 요청할 수 있다. 여기서 이 요청은 네트워크 상태를 반영하여 수행될 수 있다.
DASH 클라이언트는 해당 세그먼트를 획득한 후, 이를 미디어 엔진에서 처리하여 화면에 디스플레이할 수 있다. DASH 클라이언트는 재생 시간 및/또는 네트워크 상황 등을 실시간으로 반영하여, 필요한 세그먼트를 요청, 획득할 수 있다(Adaptive Streaming). 이를 통해 컨텐트가 끊김없이 재생될 수 있다.
MPD(Media Presentation Description)는 DASH 클라이언트로 하여금 세그먼트를 동적으로 획득할 수 있도록 하기 위한 상세 정보를 포함하는 파일로서 XML 형태로 표현될 수 있다.
DASH 클라이언트 컨트롤러(DASH Client Controller)는 네트워크 상황을 반영하여 MPD 및/또는 세그먼트를 요청하는 커맨드를 생성할 수 있다. 또한, 이 컨트롤러는 획득된 정보를 미디어 엔진 등등의 내부 블락에서 사용할 수 있도록 제어할 수 있다.
MPD 파서(Parser)는 획득한 MPD를 실시간으로 파싱할 수 있다. 이를 통해, DASH 클라이언트 컨트롤러는 필요한 세그먼트를 획득할 수 있는 커맨드를 생성할 수 있게 될 수 있다.
세그먼트 파서(Parser)는 획득한 세그먼트를 실시간으로 파싱할 수 있다. 세그먼트에 포함된 정보들에 따라 미디어 엔진 등의 내부 블락들은 특정 동작을 수행할 수 있다.
HTTP 클라이언트는 필요한 MPD 및/또는 세그먼트 등을 HTTP 서버에 요청할 수 있다. 또한 HTTP 클라이언트는 서버로부터 획득한 MPD 및/또는 세그먼트들을 MPD 파서 또는 세그먼트 파서로 전달할 수 있다.
미디어 엔진(Media Engine)은 세그먼트에 포함된 미디어 데이터를 이용하여 컨텐트를 화면상에 표시할 수 있다. 이 때, MPD의 정보들이 활용될 수 있다.
DASH 데이터 모델은 계층적 구조(410)를 가질 수 있다. 미디어 프리젠테이션은 MPD에 의해 기술될 수 있다. MPD는 미디어 프리젠테이션를 만드는 복수개의 구간(Period)들의 시간적인 시퀀스를 기술할 수 있다. 피리오드는 미디어 컨텐트의 한 구간을 나타낼 수 있다.
한 구간에서, 데이터들은 어댑테이션 셋들에 포함될 수 있다. 어댑테이션 셋은 서로 교환될 수 있는 복수개의 미디어 컨텐트 컴포넌트들의 집합일 수 있다. 어댑테이션은 레프리젠테이션들의 집합을 포함할 수 있다. 레프리젠테이션은 미디어 컨텐트 컴포넌트에 해당할 수 있다. 한 레프리젠테이션 내에서, 컨텐트는 복수개의 세그먼트들로 시간적으로 나뉘어질 수 있다. 이는 적절한 접근성과 전달(delivery)를 위함일 수 있다. 각각의 세그먼트에 접근하기 위해서 각 세그먼트의 URL이 제공될 수 있다.
MPD는 미디어 프리젠테이션에 관련된 정보들을 제공할 수 있고, 피리오드 엘레멘트, 어댑테이션 셋 엘레멘트, 레프리젠테이션 엘레멘트는 각각 해당 피리오드, 어댑테이션 셋, 레프리젠테이션에 대해서 기술할 수 있다. 레프리젠테이션은 서브 레프리젠테이션들로 나뉘어질 수 있는데, 서브 레프리젠테이션 엘레멘트는 해당 서브 레프리젠테이션에 대해서 기술할 수 있다.
여기서 공통(Common) 속성/엘레멘트들이 정의될 수 있는데, 이들은 어댑테이션 셋, 레프리젠테이션, 서브 레프리젠테이션 등에 적용될 수 (포함될 수) 있다. 공통 속성/엘레멘트 중에는 에센셜 프로퍼티(EssentialProperty) 및/또는 서플멘탈 프로퍼티(SupplementalProperty)가 있을 수 있다.
에센셜 프로퍼티는 해당 미디어 프리젠테이션 관련 데이터를 처리함에 있어서 필수적이라고 여겨지는 엘레멘트들을 포함하는 정보일 수 있다. 서플멘탈 프로퍼티는 해당 미디어 프리젠테이션 관련 데이터를 처리함에 있어서 사용될 수도 있는 엘레멘트들을 포함하는 정보일 수 있다. 실시예에 따라 후술할 디스크립터들은, MPD를 통해 전달되는 경우, 에센셜 프로퍼티 및/또는 서플멘탈 프로퍼티 내에 정의되어 전달될 수 있다.
한편 전술한 도 1 내지 도 4에 따른 설명은 VR 또는 AR 컨텐츠를 구현하는 3차원 비디오 및 3차원 오디오 전반에 관한 것이나, 이하에서는 3차원 오디오 데이터가 본 발명에 따른 실시예와 관련하여 처리되는 과정을 보다 구체적으로 설명하기로 한다.
도 5는 3차원 오디오 컨텐츠의 재생 공간에서 사용자와 음원 간의 관계를 설명하기 위한 도면이다.
본 명세서에서 "오디오 컨텐츠"는 오디오 정보를 포함하는 비디오, 360 비디오, VR 컨텐츠, AR 컨텐츠 등의 미디어 컨텐츠를 의미할 수 있다. 나아가 "3차원 오디오 컨텐츠"는 오디오 정보를 포함하는 360 비디오, VR 컨텐츠, AR 컨텐츠 등의 3차원 미디어 컨텐츠를 의미할 수 있다.
본 명세서에서 "오디오 데이터 전송 장치"는 오디오 신호, 오디오에 대한 메타데이터 등의 오디오 데이터를 전송하기 위한 장치를 의미할 수 있다. 또한, "3차원 오디오 데이터 전송 장치"는 3차원 오디오 신호, 3차원 오디오에 대한 메타데이터 등의 3차원 오디오 데이터를 전송하기 위한 장치를 의미할 수 있다. 다만 오디오 데이터 전송 장치가 항상 오디오 데이터 수신 장치 등으로 오디오 데이터를 전송하기만 하는 것은 아니고, 경우에 따라서 오디오 데이터 수신 장치로부터 오디오 데이터를 수신할 수 있다. 오디오 데이터 전송 장치는 본 명세서 전반에 기재된 송신단, 송신기, 송신 장치 또는 컨텐츠 제작단과 동일/유사한 장치이거나, 송신단, 송신기, 송신 장치 또는 컨텐츠 제작단을 포함하거나, 송신단, 송신기, 송신 장치 또는 컨텐츠 제작단에 포함되는 것으로 해석될 수 있다. 오디오 데이터 전송 장치, 송신단, 송신기, 송신 장치 또는 컨텐츠 제작단은, 예를 들어 네트워크, 서버, 클라우드 서버, 기지국, 셋탑박스(STB), PC, 단말(UE), 데스크탑, TV, 노트북 등이 될 수 있고, 예시된 장치들에 포함되는 구성 또는 모듈일 수 있으며, 나아가 예시된 장치들과 유사한 장치들도 오디오 데이터 전송 장치, 송신단, 송신기, 송신 장치 또는 컨텐츠 제작단으로서 동작할 수 있다. 예시는 이에 한정되지 않는다.
본 명세서에서 "오디오 데이터 수신 장치"는 오디오 신호, 오디오에 대한 메타데이터 등의 오디오 데이터를 수신하기 위한 장치를 의미할 수 있다. 또한, "3차원 오디오 데이터 수신 장치"는 3차원 오디오 신호, 3차원 오디오에 대한 메타데이터 등의 3차원 오디오 데이터를 수신하기 위한 장치를 의미할 수 있다. 다만 오디오 데이터 수신 장치가 항상 오디오 데이터 전송 장치로부터 오디오 데이터를 수신하기만 하는 것은 아니고, 경우에 따라서 오디오 데이터 전송 장치로 오디오 데이터를 전송할 수 있다. 오디오 데이터 수신 장치는 본 명세서 전반에 기재된 수신단, 수신기 또는 수신 장치와 동일/유사한 장치이거나, 수신단, 수신기 또는 수신 장치를 포함하거나, 수신단, 수신기 또는 수신 장치에 포함되는 것으로 해석될 수 있다. 오디오 데이터 수신 장치, 수신단, 수신기 또는 수신 장치는, 예를 들어 헤드폰, 이어폰, 스피커, HMD, 단말, 셋탑박스, 네트워크, 서버, PC, 데스크탑, 노트북, 카메라, 캠코더, TV 등이 될 수 있고, 예시된 장치들에 포함되는 구성 또는 모듈일 수 있으며, 나아가 에시된 장치들과 유사한 장치들도 오디오 데이터 수신 장치, 수신단, 수신기 또는 수신 장치로서 동작할 수 있다. 예시는 이에 한정되지 않는다.
일 실시예에서, MPEG-H에 따른 3차원 오디오 데이터 수신 장치(또는 3차원 오디오 데이터 디코딩 장치)는 3DoF와 3DoF+ 환경의 VR 컨텐츠를 지원할 수 있으며, 나아가 6DoF 환경의 VR 컨텐츠를 지원할 수 있다. 일 실시예에서, VR 컨텐츠 내의 재생 공간에서 사용자와 음원 사이의 장애물이 위치함에 따른 오클루션 이펙트(occlusion effect)가 적용될 수 있으며, 오클루션 이펙트를 적용하기 위해 오클루션 이펙트 정보가 시그널링될 수 있다.
여기서, 3DoF(3 Degrees of Freedom) 환경은 서로 직교하는 피치(pitch) 축, 야(yaw) 축 및 롤(roll) 축을 기준으로 회전 가능한 3차원 공간 환경을 의미할 수 있으며, 3DoF+ 환경은 3DoF 환경에서 중심을 사용자의 머리로 보고 3DoF에서 머리의 기울임 정도를 추가적으로 고려한 환경을 의미할 수 있다. 6DoF 환경은 3DoF 환경에서 중심의 이동을 추가적으로 고려한 환경을 의미할 수 있다. 다시 말해, 6DoF 환경은 피치 축 기준의 피치 회전, 야 축 기준의 야 회전 및 롤 축 기준의 롤 회전뿐만 아니라 왼쪽/오른쪽 방향, 앞/뒤 방향 및 위/아래 방향으로의 축의 이동이 추가적으로 고려될 수 있다.
따라서, 6DoF 환경의 VR 컨텐츠는 사용자의 위치 변경에 따른 공간 응답 변화 특성이 고려될 수 있고, 사용자의 위치 변경 등에 따라 장애물이 변화될 수 있으며, 이러한 장애물에 의해 변화되는 오디오 신(audio scene)의 특징도 고려될 수 있다.
이를 위해, 일 실시예에서는 장애물의 특징 정보와 사용자의 위치 정보를 참조하여 가장 적합하게 적용되어야할 필터를 정의할 수 있고, 해당 필터를 오디오 신에 적용하여 사용자가 청취하는 오디오 신이 마치 임의의 장애물에 의해 블록된 것과 같은 효과를 제공할 수 있다. 즉, 일 실시예는 사용자에게 장애물의 위치에 따라 오디오 신이 다르게 인지되는 경험을 제공할 수 있다.
6DoF 환경의 VR 컨텐츠는 기본적으로 사용자가 움직일 수 있는 상황을 고려하므로, 다양한 위치에서의 오디오 신이 캡처(capture)될 수 있다. 예를 들어, 사용자가 임의의 위치에서 다른 위치로 이동할 경우, 이동된 위치로부터 가장 가까운 곳에서 캡처된 오디오 신을 청취하면 사용자는 위치 이동에 따라 변화된 오디오 신을 경험할 수 있다. 따라서, 기본적으로 하나의 컨텐츠에 가능한 많은 위치에서 오디오 신이 캡처될수록 좋은 성능을 기대할 수 있으나, 캡처된 오디오 신이 많을수록 전송률도 함께 증가하기 때문에 양방향 통신과 같은 환경에서는 이를 구현하기 어려울 수 있다. 또한, 예를 들어, VR 컨텐츠 내에 움직이는 사물에 대하여 다양한 위치에서 오디오 신을 캡처하는 방향으로 컨텐츠를 제작하는 경우, 오디오 신에 대한 전송률은 움직이지 않는 사물과 비교하여 기하급수적을 증가할 수 있다.
따라서, 일 실시예에서는 VR 컨텐츠를 이용하는 사용자가 임의의 사물에 의해 음원이 가려질 수 있는 경우에 대하여 신호처리적으로 처리하는 방법을 제안할 수 있다. 기본적으로 사물에 의해 음원이 가려지는 경우 또는 방해받는 경우에는 사용자가 사물에 가까이 다가가 음원이 가려지는 경우와 움직이는 사물이 사용자에게 근접하면서 음원이 가려지는 경우를 고려할 수 있다. 따라서, 일 실시예에서는 음원을 가리는 사물, 즉, 장애물의 다양한 형태를 우선 정의한 후, 상술한 음원이 가려지는 두 가지 경우에 대응하여 처리할 수 있는 방법을 순차적으로 설명하겠다.
6DoF 환경에서의 VR 컨텐츠는 사용자가 컨텐츠의 내부 공간 또는 재생 공간을 자유롭게 돌아다니도록 허용하므로, 사용자는 같은 음원을 듣더라도 이동한 위치에 따라서 음원이 다르게 들릴 수 있다. 예를 들어, 사용자가 임의의 음원에 가까이 이동할 경우, 해당 음원은 크게 들릴 수 있으며, 임의의 음원과 반대 방향으로 이동할 경우, 해당 음원은 작게 들릴 수 있다. 또한, 컨텐츠에 재생 공간의 구조에 따라서 음원이 달라질 수도 있다. 예를 들어, 컨텐츠의 재생 공간이 대형 음악홀이며, 사용자가 대형 음악홀의 일 측에서의 발생되는 음원을 듣고 있다고 가정하자. 사용자가 대형 음악홀 내의 기둥 바로 뒤로 이동하는 경우, 음원은 기둥에 가려져서 명확한 소리가 사용자에게 전달되지 않을 수 있다. 즉, 3DoF 및 3DoF+ 환경에서 사용자의 이동이 허용되지 않음에 따라 고려하지 않았던 요소들이 6DoF 환경에서는 오디오에 영향을 줄 수 있으므로 위치 이동과 같은 이러한 요소들이 모두 고려될 수 있다.
도 5를 참조하면, 사용자는 임의의 재생 공간에 위치할 수 있으며, 동일한 재생 공간에 음원(sound src.)이 위치할 수 있다. 또한, 6DoF 환경을 고려하여 사용자 표시 주변의 화살표 및 회색 점선으로 나타낸 사용자 표시를 통해 사용자가 이동 가능함이 나타날 수 있다. 3DoF+, 6DoF environment는 3DoF, 3DoF+ 및 6DoF 환경에 모두 적용 가능함을 나타낼 수 있다. 도 5는 재생 공간에서 사용자와 음원 사이에 장애물이 위치하지 않는 기존적인 상황을 나타낸 것으로, 사용자는 음원으로부터 명확한 소리를 들을 수 있다. 이하에서는 재생 공간에서 사용자와 음원 사이에 장애물이 위치하는 경우에 대하여 설명하겠다.
도 6a 내지 도 6c는 재생 공간에서 사용자와 음원 사이에 장애물이 위치한 경우 오클루션 이펙트(occlusion effect)를 설명하기 위한 도면이다.
도 6a 내지 도 6c를 참조하면, 재생 공간에서 사용자와 음원 사이에 장애물이 위치하는 경우는 3가지로 케이스가 고려될 수 있다.
도 6a는 재생 공간에서 장애물(obstacle)이 사용자의 정면 또는 사용자와 음원 사이의 중앙에 위치하고, 양 측면에는 장애물이 위치하지 않는 제1 케이스를 나타낼 수 있다. 이 경우, 음원의 소리는 사용자에게 직접적으로 전달되지 않을 수 있고, 장애물에 인접한 양 측면 경로를 통해 전달될 수 있다.
도 6b는 재생 공간에서 장애물이 사용자와 음원 사이의 양 측면에 위치하고, 중앙에는 장애물이 위치하지 않는 제2 케이스를 나타낼 수 있다. 이 경우, 음원의 소리는 사용자에게 직접적으로 전달될 수 있으나, 장애물에 인접한 양 측면 경로를 통해서는 전달되지 않을 수 있다.
도 6c는 재생 공간에서 장애물이 사용자와 음원 사이에 벽처럼 위치하는 제3 케이스를 나타낼 수 있다. 이 경우, 음원의 소리는 모든 경로가 차단될 수 있으나, 공간을 차단하고 있는 장애물(또는 벽, 바닥 등)의 재질의 특성에 따라 정확하진 않지만 인지 가능한 소리가 전달될 수 있다.
일 실시예에서는 설명의 편의를 위해 사각형의 장애물로 간주하고 있으나, 장애물은 다각형 또는 다양한 형태로 존재할 수 있으므로, 본 발명의 범위가 이에 한정되는 것은 아니다. 이하에서는 상술한 3가지 케이스에 따라 적용될 수 있는 오클루션 이펙트를 고려하는 방법에 대하여 설명하겠다.
도 7은 재생 공간에서의 RIR을 나타낸 그래프이다.
임의의 재생 공간에서는 음원에 따른 룸 응답(room reponse)이 항상 존재할 수 있다. 여기서, 룸응답은 룸 임펄스 응답(Room Impulse Response, RIR)이라 지칭할 수도 있다. 룸 응답은 사용자가 3차원 음원을 듣는 경우, HRTF(Head-Related Transfer Function)와 함께 필수적으로 이용되는 응답일 수 있다.
도 7을 참조하면, 룸 응답은 r1, r2 및 r3로 구분될 수 있다. 또는 임펄스 또는 응답의 크기 및 시간(t)에 따라 r1, r2 및 r3로 구분될 수 있다. 여기서, r1은 음원의 소리가 공간 반사 없이 직접적으로 사용자에게 전달되는 응답인 직접음(direct sound 또는 direct part)일 수 있다. r2는 음원의 소리가 밀폐된 공간에서 한 번 또는 두 번 반사되어 사용자에게 전달되는 응답인 초기 반사음(early reflection)일 수 있다. 일반적으로 초기 반사음은 공간의 기하학적 특징에 영향을 받아 음원의 공간적 특징이 변화될 수 있고, 청감적으로 확산감에 영향을 끼칠 수 있다. r3는 음원의 소리가 공간의 바닥, 천장 및 벽면 등 무수히 많이 반사된 후 사용자에게 전달되는 응답인 후기 잔향음(late reverberation)일 수 있다. 일반적으로 후기 잔향음은 공간의 흡음이나 반사 재질에 의해 응답이 변화될 수 있고, 청감적으로 잔향감에 영향을 끼칠 수 있다.
도 7의 룸 응답은 도 5와 같은 공간 상에 장애물이 없는 경우의 응답일 수 있다. 다만, 도 6a 내지 도 6c와 같이 장애물이 존재하는 경우에는 응답 특성이 달라질 수 있다. 즉, RIR 또는 BRIR(Binaural RIR) 등과 같은 응답 정보는 장애물의 형태에 따라 특성이 변경될 수 있으며, 일 실시예에서는 이를 반영하여 사용자에게 제공할 수 있다. 이하에서는 도 6a에 따른 제1 케이스인 경우에 대하여 설명하며, 이어서 순차적으로 도 6b에 따른 제2 케이스 및 도 6c에 따른 제3 케이스에 대하여 후술하겠다.
우선, 도 6a와 같은 제1 케이스에서는 사용자와 음원 사이에 장애물로 인해 음원의 소리가 직접적으로 사용자에게 전달될 수 없으나, 장애물의 인접 경로를 통해 전달될 수 있다. 이 경우, 직접음의 응답 특성은 달라질 수 있고, 초기 반사음 및 후기 잔향음의 응답 특성은 크게 변화되지 않을 수 있다. 이에 따라, 일 실시예는 직접음의 응답 특성을 변경시킬 수 있다. 다시 말해, 일 실시예는 직접음에 오클루션 이펙트를 적용할 수 있다.
또한, 일 실시예는 응답 특성 변경 시 음원의 소리의 주파수 특성도 고려할 수 있다. 이는 저주파수 신호가 고주파수 신호에 비하여 긴 파장 및 큰 회절성을 가짐에 따라 강건함을 고려하기 위한 것이다. 다만, 모든 장애물 또는 모든 매질에 대하여 회절을 계산하여 적용하는 것은 비효율적일 수 있다. 따라서, 일반적으로 응답에 장애물에 의한 영향을 정확하게 적용하지 않으며 인지적인 효과만 주어도 사용자는 장애물에 의한 영향을 받을 수 있으며, 사용자와 장애물의 위치가 실시간적으로 변경될 수 있는 점을 고려하여 최대한 연산량이 적은 방안으로 장애물에 의한 영향을 적용시킬 수 있다. 이에 따라, 일 실시예에서는 고주파 및 저주파의 회절성 및 장애물에 의한 효과를 프레넬 존(fresnel zone)의 지름 정보를 참조하여 음원 또는 응답 신호에 적용할 수 있다.
도 8은 사용자와 음원 간의 프레넬 존(fresnel zone)을 나타낸 도면이다.
도 8을 참조하면, 사용자(listener)와 음원(sound src.) 간에 프레넬 존이 존재한다고 가정할 수 있다. 프레넬 존은 1차부터 시작하여 2차 및 3차 이상으로 형성될 수 있으나, 일 실시예에서는 1차 프레넬 존만을 고려할 수 있다. 사용자 및 음원 사이의 임의의 지점에서 프레넬 존의 반지름은 수학식 1과 같이 계산될 수 있다.
Figure PCTKR2019007280-appb-M000001
수학식 1에서, R은 프레넬 존의 반지름을 나타낼 수 있으며, 도 8의 radius r과 동일할 수 있다. d1 및 d2는 각각 음원으로부터 임의의 지점까지의 거리 및 임의의 지점으로부터 사용자까지의 거리를 나타낼 수 있다. n은 프레넬 존의 차수를 나타낼 수 있으나, 일 실시예에 따라 1차만을 고려하는 경우, 1의 값을 가질 수 있다. λ는 음원의 소리의 파장을 나타낼 수 있다.
수학식 1을 참조하면, 프레넬 존은 반지름이 파장에 비례하여 형성될 수 있고, 고주파일수록 반지름이 작아질 수 있고, 저주파일수록 반지름이 커질 수 있다. 즉, 사용자와 음원 사이에 장애물이 존재하는 경우, 장애물의 특징 정보를 기반으로 사용자에게 전달되는 음원의 소리가 장애물에 의해 얼마만큼 가려지는지 대략적으로 계산할 수 있다. 여기서, 반지름은 수학식 1의 일부 변경을 통해 지름으로 대신 사용될 수도 있다. 도 8은 사용자와 음원 사이에 장애물이 위치하지 않은 경우에 대한 것으로, 이하에서는 사용자와 음원 사이에 장애물이 위치하는 경우에 대하여 설명하겠다.
도 9는 사용자와 음원 사이에 장애물이 위치한 경우 주파수에 따른 프레넬 존을 나타낸 도면이다.
프레넬 존은 음원의 소리의 주파수에 따라 다른 반지름을 가질 수 있다. 예를 들어, 도 9에서 실선으로 나타난 프레넬 존은 음원의 소리의 주파수가 500 Hz인 경우일 수 있고, 점선으로 나타난 프레넬 존은 음원의 소리의 주파수가 10 kHz인 경우일 수 있다. 즉, 주파수가 클수록 프레넬 존의 반지름은 작아질 수 있고, 주파수가 작을수록 프레넬 존의 반지름은 커질 수 있다. 이에 대해서는 도 10a 및 도 10b와 함께 상세히 후술하겠다.
도 10a 및 도 10b는 주파수에 따른 장애물의 영향을 설명하기 위한 도면이다.
도 10a는 음원 소리의 주파수가 500 Hz인 경우 장애물이 위치한 지점에서의 프레넬 존의 단면일 수 있으며, 도 9에서 실선으로 나타난 프레넬 존에 대응될 수 있다. 도 10b는 음원 소리의 주파수가 10 kHz인 경우 장애물이 위치한 지점에서의 프레넬 존의 단면일 수 있으며, 도 9에서 점선으로 나타난 프레넬 존에 대응될 수 있다.
상술한 바를 고려하여, 일 실시예는 임의의 장애물이 사용자와 음원 사이에 위치하는 경우, 장애물의 위치 정보 및 크기 정보를 기반으로 특정 주파수에서 장애물이 사용자를 얼마만큼 가리는지 프레넬 존의 지름 정보를 참조하여 대략적으로 확인할 수 있다. 이에 대한 정확도를 향상시키기 위해서는 모든 주파수에서의 관찰이 요구될 수 있으나, 일 실시예는 사람의 청각 기관이 저주파수에 민감하며, 고주파수에 둔감한 특정을 고려하여 100 Hz, 500 Hz, 1 kHz, 5 kHz 및 10 kHz에 대해서만 장애물에 의한 영향을 관찰할 수 있다. 여기서, 각 주파수는 일 예일뿐, 다른 개수의 다른 주파수를 이용할 수도 있으므로, 이에 한정되지 않는다. 특히, 인간이 주파수를 구분할 수 있는 구간이 25개인 것을 감안하여 분석 구간을 변경하거나 더욱 확장할 수도 있다.
도 11은 감쇠 필터의 주파수 응답을 나타낸 그래프이다.
일 실시예에서는 장애물이 위치하는 지점에서의 프레넬 존의 단면에 장애물이 가리는 영역 또는 면적이 큰 경우, 장애물에 의한 영향이 큰 것으로 볼 수 있고, 이에 따라 음원의 감쇠량이 크다고 판단할 수 있다. 또한, 장애물이 위치하는 지점에서의 프레넬 존의 단면에 장애물이 가리는 영역 또는 면적이 작은 경우, 장애물에 의한 영향이 적은 것으로 볼 수 있고, 이에 따라 음원의 감쇠량이 작다고 판단할 수 있다. 예를 들어, 장애물이 위치하는 지점에서의 프레넬 존의 단면에 장애물이 가리는 면적이 100 Hz에서 15%, 500 Hz에서 35%, 1 kHz에서 55%, 5 kHz에서 75%, 10 kHz에서 95%, 그 이상의 주파수에서 100%인 경우, 도 11과 같은 주파수 응답을 가지는 감쇠 필터를 설계 또는 설정할 수 있다. 여기서, 도 11의 가로축은 로그 스케일(log scale)로 표시된 축일 수 있다.
사람의 청각 기관은 20 kHz의 소리까지 들을 수 있으나, 고주파수 대역은 사람이 잘 인지하지 못하며, 상술한 100%는 주파수 응답의 크기 값이 0인 것을 의미할 수 있으므로, 도 11에서는 10 kHz까지만을 나타낼 수 있다.
일반적으로 프레넬 존의 지름은 저주파수일수록 커질 수 있으며, 장애물에 의해 가려지는 면적도 작아질 수 있다. 즉, 필터 측면에서는 로우 패스 필터(Low-Pass Filter, LPF)와 같은 특성을 가질 수 있다. 따라서, 평상시에 임의의 오디오 신호가 장애물을 거쳐서 사용자에게 전달되는 경우 사용자는 오디오 신호가 로우 패스 필터링되었다고 느낄 수 있으므로, 설계 또는 설정되는 필터는 실제 상황과 유사하게 적용될 수 있다. 상술한 바에 따라 장애물에 의한 영향을 고려하여 설계된 필터를 응답 신호에 적용하는 식은 수학식 2와 같을 수 있다.
Figure PCTKR2019007280-appb-M000002
수학식 2에서 ird _ oc[n]은 장애물의 영향(또는 오클루션 이펙트)이 고려된 직접음의 응답을 의미할 수 있고, ird[n]는 장애물의 영향이 고려되지 않은 직접음의 응답을 의미할 수 있다. 또한, hd[n]은 장애물의 영향이 고려된 필터를 의미할 수 있으며, 도 11과 같은 응답을 가질 수 있고, a[n]은 흡음 계수(absorption coefficient)를 의미할 수 있다.
여기서, 흡음 계수는 일반적으로 저주파 성분에 비하여 고주파 성분이 빨리 감쇠되기 때문에 로우 패스 필터의 특성을 가질 수 있다. 따라서, 흡음 계수가 응답에 적용되는 경우, a[n]의 주파수 응답 특성에 따라 룸 응답 특성이 달라질 수 있다. 흡음 계수의 크기 값은 일반적으로 주파수 응답 측면에서 0과 1 사이의 값으로 정의될 수 있고, 장애물의 매질의 특성에 따라서 주파수 별로 값이 달라질 수 있다. 흡음 계수는 0에 가까울수록 음원이 매질에 흡수가 잘 된다는 것을 의미할 수 있고, 임의의 주파수에서 값이 0에 가까울수록 해당 주파수에서 감쇠량이 많다고 볼 수 있다. 즉, 직접음이 사용자에게 잘 전달되지 않는다고 볼 수 있다. 또는 음원의 소리가 사용자에게 작게 들린다고 볼 수 있으므로, 사용자는 해당 주파수의 소리를 거의 인지하지 못한다고 볼 수도 있다.
다만, 장애물에 의하여 음원이 가려지나, 장애물의 매질 특성에 의해 장애물의 존재 유무에 관계 없이 잘 들리는 경우도 존재할 수 있다. 이는 장애물의 매질의 흡음 계수가 거의 1에 가깝다는 것을 의미할 수 있다. 즉, 음원의 대부분이 장애물을 통과하여 사용자에게 전달된다고 볼 수 있다.
예를 들어, 모든 주파수에 대하여 흡음 계수에 대한 주파수 응답이 0인 경우, 수학식 2에서 두 번째 텀(term)은 삭제되거나 무시될 수 있으며, 첫 번째 텀만이 존재하거나 고려될 수 있고, a[n]이 모든 주파수에 대하여 0이므로, ird _ oc[n]과 ird[n]는 동일하거나 거의 동일할 수 있다. 즉, 장애물이 존재하여도 장애물이 없는 거과 같은 경우로 볼 수 있다. 상술한 바와 같이, 일 실시예는 장애물의 특징 정보를 기반으로 사용자의 위치를 참조하여 필터를 설계 또는 설정할 수 있고, 필터를 통해 장애물에 의한 영향을 적용할 수 있다.
도 6b와 같은 제2 케이스에서는 사용자와 음원 사이에 장애물로 인해 음원의 소리가 직접적으로 사용자에게 전달될 수 있으나, 장애물의 인접 경로를 통해 전달될 수는 없다. 이는 일반적으로 사용자의 움직임을 통해 발생될 수 있다. 이 경우, 직접음의 응답 특성은 크게 변화되지 않을 수 있고, 초기 반사음 및 후기 잔향음의 응답 특성은 달라질 수 있다. 즉, 직접음에는 영향을 주지 않을 수 있고, 초기 반사음 및 후기 잔향음에는 영향을 줄 수 있다. 이에 따라, 일 실시예는 초기 반사음 및 후기 잔향음의 응답 특성을 변경시킬 수 있다. 다시 말해, 일 실시예는 초기 반사음 및 후기 잔향음에 오클루션 이펙트를 적용할 수 있다.
우선, 일 실시예는 사용자와 음원 간의 거리 정보, 장애물의 위치 정보 및 장애물의 크기 정보를 기반으로 제2 케이스와 같은 상황의 발생 여부를 판단할 수 있다. 또는 사용자와 음원의 직선 거리에 장애물이 위치하는지 판단할 수 있다. 여기서, 일 실시예는 장애물이 존재하며, 사용자와 음원의 직선 거리에 장애물이 위치하는 경우 상술한 바와 같이 제1 케이스에 따라 오클루션 이펙트를 적용할 수 있으며, 장애물이 존재하며, 사용자와 음원의 직선 거리에 장애물이 위치하지 않는 경우, 후술할 제2 케이스에 따라 오클루션 이펙트를 적용할 수 있다.
룸 응답에 오클루션 이펙트를 적용하는 경우, 가장 정확하게 응답 특성을 변경하기 위해서는 장애물의 위치를 참조한 후, 장애물을 통과하는 응답 성분에만 오클루션 이펙트를 적용할 수 있으나, 캡쳐 또는 모델링된 룸 응답 특성상 관련된 응답 성분만을 추출하는 과정은 시간 소모적일 수 있고, 사람은 일반적으로 응답 성분 하나하나에 대하여 적확하게 구분하지 못한다. 따라서, 일 실시예는 장애물의 영향을 평균화하여 전체 응답에 오클루션 이펙트를 적용할 수 있다. 여기서, 전체 응답은 초기 반사음 및 후기 잔향음만을 포함할 수 있다.
제2 케이스에 따라 초기 반사음 및 후기 잔향음에 오클루션 이펙트를 적용하는 경우에는 프레넬 존을 참조하지 않을 수 있다. 이는 음원이 반사되어 전달되므로, 무수히 많이 반사되어 캡쳐 또는 모델링된 응답 성분들에 대하여 전부 프레넬 존을 이용하여 장애물의 영향 정도를 측정하는 것은 비효율적일 수 있기 때문이다.
따라서, 일 실시예는 두 단계로 장애물이 응답에 영향을 끼치는 정도를 평가할 수 있다. 제1 단계는 사용자와 음원 사이에 장애물이 위치하는지 확인하는 단계일 수 있다. 일 실시예는 사전에 사용자와 음원의 직선 거리에 장애물이 위치하지 확인할 수 있으나, 직선 거리에 장애물이 위치하지 않고, 양 측면에 위치할 수 있으므로, 이를 확인할 수 있고, 제2 케이스에 대응하는 상황인지 판단할 수 있다. 일 실시예는 제1 단계를 통해 직선 거리에 장애물이 위치하지 않으나, 사용자와 음원 사이에 장애물이 위치하는 것을 확인한 경우, 제2 단계를 수행할 수 있다.
제2 단계는 장애물의 지름 정보 및 공간의 크기 정보를 참조하여 공간 상에서 장애물이 차지하는 정보를 측정하는 단계일 수 있다. 여기서, 지름 정보는 반지름 정보로 대체될 수 있으며, 그 밖에 장애물의 크기 또는 부피를 측정할 수 있는 정보로 대체될 수도 있다. 공간의 크기 정보는 폭 정보 및/또는 길이 정보일 수 있고, 사용자 및 음원의 위치에 따라 사용되는 정보로 인해 폭 정보 및 길이 정보 중 하나의 정보만 사용될 수 있고, 두 정보가 모두 사용될 수도 있다. 다시 말해, 일 실시예는 공간 전체 크기 대비 장애물의 크기가 얼마만큼 큰지를 계산하여 장애물의 영향 정도를 평가할 수 있다. 또는 공간 전체에서 장애물이 차지하는 정도를 계산하여 장애물의 영향 정도를 계산할 수 있다.
즉, 일 실시예는 장애물의 위치와 관계 없이 공간 전체 크기 대비 장애물의 크기가 클수록 장애물에 의한 영향이 커질 수 있으며, 이에 따라 장애물에 의한 영향을 고려한 응답 신호에 적용하는 식은 수학식 3과 같을 수 있다.
Figure PCTKR2019007280-appb-M000003
수학식 3에서, ire+l_ oc[n]은 장애물의 영향(또는 오클루션 이펙트)이 고려된 초기 반사음 및 후기 잔향음의 응답을 의미할 수 있고, ire+l[n]은 장애물의 영향이 고려되지 않은 초기 반사음 및 후기 잔향음의 응답을 의미할 수 있다. a[n]은 흡읍 계수를 의미할 수 있으며, 수학식 2와 같이 설명한 흡읍 계수와 동일할 수 있다. M은 공간 대비 장애물이 차지하는 비중을 의미할 수 있다. 또는 공간 전체 크기 대비 장애물의 크기의 비를 의미할 수 있다.
여기서, M은 0과 1 사이의 값을 가질 수 있으며, 장애물의 크기가 공간의 크기와 같아질수록 1에 가까워질 수 있다. 예를 들어, M이 0인 경우는 장애물이 없거나 매우 작다고 볼 수 있으며, ire+l_ oc[n]과 ire+l[n]이 동일하거나 거의 동일할 수 있다. 즉, 응답은 오클루션 이펙트에 의한 영향이 없는 것으로 계산될 수 있다.
다만, M이 1인 경우는 장애물의 크기가 공간의 크기와 동일하다고 볼 수 있으며, 오클루션 이펙트에 따른 응답은 장애물의 매질에 의해 결정될 수 있다. 예를 들어, a[n]이 0인 경우는 룸 응답이 장애물의 매질에 의해 흡수되거나 매질을 통과하지 못하는 것으로 볼 수 있으며, ire+l_ oc[n]는 0으로 계산될 수 있다. 즉, 장애물에 의해 반사성분이 사용자에게 도달되지 못하는 것으로 볼 수 있다. 다만, a[n]이 1인 경우는 룸 응답이 매질을 그대로 통과되는 것으로 볼 수 있으며, ire+l_ oc[n]는 ire+l[n]와 동일한 값으로 계산될 수 있다. 즉, 장애물의 영향을 받지 않으며 사용자에게 도달되는 것으로 볼 수 있다. 다시 말해, 장애물이 공간을 차지하는 비중에 관계 없이 룸 응답은 장애물의 영향을 받지 않는 것으로 볼 수 있다.
도 6c와 같은 제3 케이스는 임의의 공간에서 한 구간 전체를 막는 상황일 수 있다. 또는 사용자와 음원 사이의 임의의 지점에 벽이 존재하는 상황일 수 있다. 또는 사용자와 음원 간의 직선 거리뿐만 아니라 양 측면도 모두 장애물이 위치한 상황일 수 있다. 이는 사용자의 움직임보다는 장애물의 이동 또는 변형을 통해 발생될 수 있다. 이 경우, 사용자와 음원 사이에 장애물로 인해 음원의 소리가 직접적으로 사용자에게 전달될 수 없을 수 있고, 장애물의 인접 경로를 통해 전달될 수도 없을 수 있다. 이로 인해, 직접음의 응답 특성뿐만 아니라 초기 반사음 및 후기 잔향음도 모두 달라질 수 있다.
이에 따라, 일 실시예는 상술한 제1 케이스에서의 오클루션 이펙트를 적용하는 방법 및 제2 케이스에서의 오클루션 이펙트를 적용하는 방법을 모두 이용하여 응답 특성을 변경할 수 있다. 다시 말해, 룸 응답 중 직접음은 프레넬 존을 참조하여 응답 특성이 변경될 수 있고, 초기 반사음 및 후기 잔향음은 장애물의 크기 정보를 참조하여 응답 특성이 변경될 수 있다.
일 실시예에 따른 오디오 데이터 수신 장치는 오클루션 이펙트 필터의 영향을 받은 응답을 오디오 신호에 적용시킬 수 있다. 여기서, 오클루션 이펙트 필터는 상술한 오클루션 이펙트를 오디오 신호에 적용시킬 수 있는 필터를 의미할 수 있다. 일 실시예는 상술한 바에 따른 방법들을 통해 오클루션 이펙트 효과를 오디오 신호에 적용시키기 위해 오디오 신호에 포함된 응답을 분리시킬 수 있다. 다만, 일반적으로 3D 오디오 디코더는 오디오 신호를 디코딩하며 오디오 신호에 대해서 응답 신호를 별도로 추출하지 않을 수 있다.
따라서, 일 실시예는 PAD(Primary-Ambient Decomposition) 방법을 이용하여 오디오 신호를 프라이머리(primary) 신호 및 앰비언트(ambient) 신호로 구분할 수 있다. 여기서, 프라이머리 신호는 1차 신호, 주된 신호, 주 신호 및 제1 신호 등으로 지칭할 수도 있으며, 앰비언트 신호는 2차 신호, 잔잔한 신호, 부 신호 및 제2 신호 등으로 지칭할 수도 있다. 예를 들어, s[n]이라는 신호가 있으며, ir[n]이라는 응답 또는 응답 신호가 있는 경우, 응답이 적용된 신호 x[n]은 수학식 4와 같이 나타낼 수 있다.
Figure PCTKR2019007280-appb-M000004
수학식 4에서, ird[n]는 직접음의 응답을 ire+l[n]은 초기 반사음 및 후기 잔향음의 응답을 의미할 수 있다. 또한, d는 지연(delay)를 의미할 수 있으며, 룸 응답 중 직접음과 초기 반사음 및 후기 잔향음 간의 시간 배열(time alignment) 또는 시간 차를 나타내기 위해 사용될 수 있다.
일 실시예는 응답이 적용된 신호에 장애물의 영향이 적용된 신호를 위해 오클루션 이펙트를 적용할 수 있다. 또는 응답이 적용된 신호에 오클루션 이펙트를 적용하기 위해 오클루션 필터를 사용할 수 있다. 여기서, 오클루션 필터는 상술한 바와 같이 오클루션 이펙트를 적용하기 위해 설계 또는 설정된 필터를 의미할 수 있다. 예를 들어, 응답이 적용된 신호에 오클루션 필터 h[n]를 사용한 신호는 수학식 5와 같이 나타낼 수 있다.
Figure PCTKR2019007280-appb-M000005
수학식 5에서, xoc[n]은 장애물에 의한 영향을 받은 응답을 의미할 수 있다. 일 실시예에 따라 PAD 방법을 이용하여 신호를 분리하는 경우, 프라이머리 신호는 ird[n]*s[n]을 포함할 수 있고, 앰비언트 신호는 ire+l[n-d]*s[n]을 포함할 수 있다. 또한, hd[n]는 직접음에 적용되는 오클루션 필터를, he+l[n]는 초기 반사음 및 후기 잔향음에 적용되는 오클루션 필터를 의미할 수 있다.
즉, 디코딩된 오디오 신호는 오클루션 필터의 적용을 위해 PAD 방법을 기반으로 프라이머리 신호 및 앰비언트 신호로 분리될 수 있고, 각 신호의 특성에 따라 오클루션 이펙트 필터를 적용할 수 있다. 이후, 적용된 신호를 다시 합성할 수 있으며, 합성한 신호를 재생 환경에 맞추어 렌더링시킴으로써, 오클루션 이펙트 효과를 사용자에게 제공할 수 있다.
수학식 5는 오클루션 이펙트 적용을 설명하기 위해 간략히 정리된 식일 수 있으며, 실제 적용 시 프라이머리 신호의 xd[n]는 수학식 2의 ird[n]으로 간주되어 이용될 수 있고, 앰비언트 신호의 xe +l[n]는 수학식 3의 ire+l[n]으로 간주되어 이용될 수 있다.
일 실시예에 따른 오클루션 이펙트 효과를 적용하기 위하여 장애물들의 기본 정보가 메타데이터로 전송될 수 있다. 즉, 오디오 데이터 전송 장치는 장애물들의 기본 정보를 메타데이터로 전송할 수 있고, 오디오 데이터 수신 장치는 장애물들의 기본 정보를 메타데이터로 수신할 수 있다. 여기서, 메타데이터는 오클루션 이펙트 관련 메타데이터라고 지칭할 수도 있으며, 오클루션 이펙트 관련 메타데이터 신택스(syntax)는 예를 들어, 표 1과 같이 포함될 수 있다.
Figure PCTKR2019007280-appb-T000001
표 1에서, NumObstacles 필드는 장애물(Obstacle)의 총 개수를 의미할 수 있고, ObstacleID 필드는 장애물들을 식별하기 위해 각각의 장애물에 부여한 ID를 의미할 수있다. ObstacleType 필드는 장애물의 타입(type)을 정의할 수 있으며, 필드 값이 0인 경우 사각형(rectangular)를, 1인 경우 실린더(cylinder)를, 2인 경우 구형(sphere)을, 3인 경우 커스텀(custom)을 의미할 수 있다.
여기서, ObstacleType 필드의 값이 0인 경우, 장애물은 사각형 타입으로써, ObstacleRect_width 필드, ObstacleRect_length 필드, ObstacleRect_hight 필드가 포함될 수 있으며, 이는 각각 사각형 타입의 장애물의 넓이, 길이, 높이를 정의할 수 있다. 단위는 cm일 수 있으나, 이에 한정되는 것은 아니다.
여기서, ObstacleType 필드의 값이 1인 경우, 장애물은 실린더 타입으로써, ObstacleCyld_azimuth 필드, ObstacleCyld_radius 필드, ObstacleCyld_height 필드가 포함될 수 있으며, 이는 각각 실린더 타입의 장애물의 방위각, 반지름, 높이를 정의할 수 있다. 방위각의 단위는 각도일 수 있고, 반지름 및 높이의 단위는 cm일 수 있으나, 이에 한정되는 것은 아니다.
여기서, ObstacleType 필드의 값이 2인 경우, 장애물은 구형 타입으로써, ObstacleSphr_azimuth 필드, ObstacleSphr_elevation 필드, ObstacleSphr_radius 필드가 포함될 수 있으며, 이는 각각 구형 타입의 장애물의 방위각, 고도각, 반지름을 정의할 수 있다. 방위각 및 고도각의 단위는 각도일 수 있고, 반지름의 단위는 cm일 수 있으나, 이에 한정되는 것은 아니다.
여기서, ObstacleType 필드의 값이 3인 경우, 장애물은 커스텀 타입으로써, NumOfVertices 필드 및 VertexID 필드가 포함될 수 있으며, 이는 각각 장애물을 형성하는 정점들의 총 개수 및 정점들을 식별하기 위해 각각의 정점에 부여한 ID를 의미할 수 있다. Vertex_x 필드, Vertex_y 필드, Vertex_z 필드도 포함될 수 있으며, 이는 각각 x축, y축, z축 상의 정점의 위치를 정의할 수 있다. 단위는 cm일 수 있으나, 이에 한정되는 것은 아니다. 또한, NumOfFaces 필드 및 FaceID 필드가 포함될 수 있으며, 이는 각각 정점들이 이루는 표면들의 총 개수 및 표면들을 식별하기 위해 각각의 표면들에 부여한 ID를 의미할 수 있다. 여기서, 모든 표면은 3개의 정점으로 구성될 수 있다. Face_v1 필드, Face_v2 필드, Face_v3 필드가 포함될 수 있으며, 이는 각각 표면을 이루는 3개의 정점 중 첫 번째 정점, 두 번째 정점, 세 번째 정점을 의미할 수 있다. 즉, Face_v1 필드, Face_v2 필드, Face_v3 필드는 VertexID 필드를 지칭할 수 있으며, 정점들의 순서는 사용자가 임의로 지정할 수 있다.
일 실시예에서는 장애물의 타입이 사각형, 실린더 및 구형이 아닌 경우에도 상술한 바와 같이, 커스텀 타입으로써 vertex를 기반으로 장애물의 형태 또는 구조를 정의할 수 있으므로, 다양한 형태 또는 구조를 가지는 장애물에도 모두 적용될 수 있다.
또한, CenterPos_azimuth 필드, CenterPos_elevation 필드, CenterPos_distance 필드는 각각 장애물의 중심 위치가 방위각 측면에서 각도 값, 고도각 측면에서 각도 값, 거리 측면에서 cm 값으로 정의될 수 있다.
또한, NumOfFreq 필드는 반사 계수(reflection coefficient) 및 투과 계수(transmission coefficient)가 정의된 주파수 대역의 총 개수를 의미할 수 있고, Refcoeff 필드는 0 ~ 1 사이의 값을 가지는 반사 계수를, Trancoeff 필드는 0 ~ 1 사이의 값을 가지는 투과 계수를 포함할 수 있다.
상술한 신택스는 오디오 데이터 전송 장치에서 하나의 독립적인 패킷 타입(packet type)으로 정의되어 전송될 수 있고, 오디오 데이터 수신 장치에서 하나의 독립적인 패킷 타입으로 정의되어 수신될 수 있다.
패킷은 패킷 타입 리스트에 추가적으로 정의될 수 있다. 또는, 패킷은 기존에 정의된 패킷 타입 리스트에 추가적으로 정의될 수 있다. 패킷은 MHASPacketPayload의 신택스 내에 정의될 수 있으며, MHASPacketPayload의 신택스는 예를 들어, 표 2와 같이 포함될 수 있고, MHASPacketPayload의 값은 예를 들어, 표 3과 같이 포함될 수 있다.
Figure PCTKR2019007280-appb-T000002
Figure PCTKR2019007280-appb-T000003
표 2 및 표 3에서, 점선의 테두리는 상술한 패킷을 정의한 부분일 수 있다. 또는 기존에 정의된 패킷 타입 리스트에 추가적으로 정의된 부분일 수 있다.
오디오 데이터 수신 장치에서는 다른 패킷들을 수신하는 것과 동일한 방식으로 장애물 관련 정보를 수신할 수 있으며, 디코딩 과정에서 사용될 수 있다. 여기서, 장애물 관련 정보는 장애물 관련 메타데이터를 포함할 수 있다.
상술한 방법은 사용자가 컨텐츠 이용 시 실시간으로 위치를 옮기거나 장애물이 이동하는 경우, 발생할 수 있는 상황을 고려하여 적용될 수 있다. 다만, 일 실시예에서는 사용자가 움직일 수 있는 위치를 미리 고려하여 사전에 위치에 따라 적용 가능한 효과를 필터로 설계 또는 설정하여 저장하고, 이를 사용자의 위치에 따라 필터를 음원의 소리에 적용함으로써 장애물 효과를 적용할 수도 있다. 이에 대한 상세한 설명은 도 12와 함께 후술하겠다.
일 실시예에서 도 5 내지 도 11과 함께 우선 설명하였던 오클루션 이펙트를 음원의 소리에 적용하는 방법은 물리적 접근법(physical approach)라 지칭할 수 있고, 도 12와 함께 후술할 오클루션 이펙트를 음원의 소리에 적용하는 방법은 인지적 접근법(perceptual approach)라 지칭할 수도 있다.
도 12는 재생 공간에서 위치에 따라 미리 결정된 감쇠 필터를 나타낸 도면이다.
도 12를 참조하면, 일 실시예는 사용자와 음원 사이에 장애물이 위치할 수 있고. 장애물은 다각형일 수 있다. 다만, 이는 설명의 편의를 위한 것으로, 본 발명의 범위가 이에 한정되는 것은 아니다.
일반적으로, 컨텐츠 제작 시 장애물의 위치는 인지 또는 예측될 수 있으나, 사용자는 재생 공간 상에서 자유롭게 움직일 수 있음에 따라 사용자의 위치는 예측될 수 없을 수 있다. 다만, 사용자의 위치와 관계 없이 임의의 위치에서 음원이 장애물에 의해서 어떻게 변형되는지는 예측될 수 있다. 즉, 재생 공간 상의 임의의 지정한 어느 위치에서는 지정한 위치 및 장애물의 위치를 기반으로 음원의 소리에 어떠한 오클루션 이펙터가 적용되는지는 예측될 수 있다. 다시 말해, 사용자가 컨텐츠의 공간 내에서 임의의 위치로 이동하는 경우, 사용자의 위치를 사전에 예측하여 상기 임의의 위치에서의 오클루션 이펙트를 적용시키는 필터가 설계 또는 설정될 수 있고, 이러한 필터가 적용될 수도 있다.
예를 들어, 도 12와 같이, 사용자가 a, b 및 c에 위치한 경우를 예측하여 각 위치에서 음원의 소리에 적용될 수 있는 오클루션 이펙트를 적용시키는 필터들을 설계 또는 설정하여 저장할 수 있고, 사용자가 a, b 및 c로 이동하는 경우, 각 위치에 따라 저장된 필터를 음원의 소리에 적용시킬 수 있다. 즉, 사용자가 컨텐츠 이용시 장애물 근처의 위치로 이동하는 경우, 오디오 데이터 수신 장치는 사용자의 위치 정보를 참조하여 적합한 필터를 선택하고, 이를 음원의 소리에 적용시킬 수 있다.
즉, 재생 공간 상에서 사용자의 자유로운 움직임을 예측할 수는 없으나, 특정 위치에서 적용 가능한 필터를 저장하고, 사용자가 특정 위치로 이동한 경우, 저장한 필터를 적용시킬 수 있다.
필터는 상술한 바와 같이, 인지적인 측면이 고려려되 제작될 수 있고, 연산의 효율성을 위해 주파수 응답 측면에서 주파수 밴드 단위로 게인(gain)만 달라지도록 할 수 있고, 낮은 차수의 FIR(Finite Impulse Response) 필터 또는 IIR(Infinite Impulse Response) 필터로 설계될 수도 있다. 이러한 필터들은 컨텐츠 제작 시에 함께 설계될 수도 있으며, 설계된 필터 계수 정보들은 추후 오디오 데이터 전송 장치에서 인코딩된 오디오 스트림과 함께 오디오 데이터 수신 장치로 전송될 수 있다. 또는 인코딩된 오디오 스트림과 별도로 전송될 수도 있다.
상술한 물리적 접근법은 오클루션 이펙트가 상황에 맞추어 실시간으로 처리될 수 있다. 이에 반해, 인지적 접근법은 사전에 사용자의 움직임 및 위치 정보를 예측하여 다양한 위치에 대하여 적절한 필터를 미리 설계하므로, 오클루션 이펙트를 적용하는 측면에서 물리적 접근법보다 상대적으로 빠르게 처리될 수 있다.
다만, 인지적 접근법는 필터가 정의된 위치에 대해서만 유효할 수 있으므로, 보다 정확하게 오클루션 이펙트를 적용하기 위해서는 최대한 많은 위치에서의 설계된 필터가 요구될 수 있고, 설계된 필터의 수가 충분하지 못하는 경우, 오클루션 이펙트를 적용하는 측면에서 좋은 성능을 기대하기 어려울 수 있다. 다만, 사람의 청각적인 구조는 작은 차이에 큰 변화를 인지하지 못하므로, 사용자가 필터가 정의되지 않은 위치로 이동할 경우, 인접한 위치에서 설계된 필터를 사용하여 유사한 효과를 제공할 수도 있다.
예를 들어, 도 12에서 a, b 및 c는 해당 위치에서의 적용될 필터가 정의되어 있을 수 있으나, d 및 e의 위치에서는 적용될 필터가 정의되어 있지 않을 수 있다. 여기서, 사용자는 d의 위치로 이동할 수 있으며, 이러한 경우에는 d의 위치와 가장 인접한 위치에서 설계된 필터(예를 들어, c의 위치에서 정의된 필터)가 오클루션 이펙트를 위해 음원의 소리에 적용될 수 있다. 또한, 사용자가 e의 위치로 이동할 수도 있으며, 이러한 경우에는 e의 위치에서 양 쪽에 위치하는 b 및 c의 위치에서 정의된 필터를 보간(interpolation)하여 e의 위치에서 적합한 필터를 새로이 도출하여 적용시킬 수도 있다. 즉, 필터가 정의된 위치가 아닌 위치로 사용자가 이동하는 경우, 사용자가 이동한 위치에서 필터가 정의된 위치들 중 가장 인접한 위치에서의 필터가 적용될 수 있고, 가장 인접한 두 위치에서의 필터를 보간하여 새로운 필터를 도출한 후, 도출된 새로운 필터가 적용될 수도 있다. 상술한 방법들은 임의의 위치에서 충분히 인접한 위치에서 정의된 필터가 존재하는 경우 효율적으로 적용될 수 있다.
여기서, 가장 인접한 위치에서의 필터가 적용되거나 가장 인접한 두 위치에서의 필터를 보간하여 적용하는 것은 설정에 따라 결정될 수 있다. 또는, 가장 인접한 두 위치와 사용자의 위치 간의 차이를 기반으로 결정될 수도 있다. 또는, 첫 번째로 인접한 위치와 사용자의 위치 간의 제1 거리 차이와 두 번째로 인접한 위치와 사용자의 위치 간의 제2 거리 차이 간의 차이를 기반으로 결정될 수도 있다.
일 실시예에 따른 컨텐츠는 제작 시 사전에 장애물의 정보 및 사용자의 이동 정보를 예측하여 다양한 위치에 대하여 오클루션 이펙트 필터가 설계될 수 있으며, 이 경우, 신택스 내에는 장애물과 관련된 정보가 추가적으로 정의되지 않을 수도 있다. 오디오 데이터 전송 장치는 인지적 접근법에 따른 신택스를 물리적 접근법에 따른 신택스와 마찬가지로 패킷으로 정의하여 전송할 수 있으며, 오디오 데이터 수신 장치는 상기 패킷을 수신할 수 있다. 여기서, 인지적 접근법에 따른 신택스는 컨텐츠 제작 시 선택적으로 하나만 정의될 수 있고, 표 1과 같은 신택스와 동시에 정의되고 함께 오디오 데이터 수신 장치로 전송되어 사용자가 선택적으로 사용할 수도 있다. 인지적 접근법에 따른 신택스
일 실시예에 따른 인지적 접근법에 따라 오클루션 이펙트 효과를 적용하기 위하여 인지적 접근법에 따른 정보가 메타데이터로 전송될 수 있다. 여기서, 인지적 접근법에 따른 정보는 인지적 접근법에 따른 신택스를 포함할 수 있다. 즉, 오디오 데이터 전송 장치는 인지적 접근법에 따른 정보를 메타데이터로 전송할 수 있고, 오디오 데이터 수신 장치는 인지적 접근법에 따른 정보를 메타데이터로 수신할 수 있다. 여기서, 메타데이터는 오클루션 이펙트 관련 메타데이터라고 지칭할 수도 있으며, 오클루션 이펙트 관련 메타데이터의 신택스는 예를 들어, 표 4와 같이 포함될 수 있다.
Figure PCTKR2019007280-appb-T000004
표 4에서, NumObstacles 필드는 장애물(Obstacle)의 총 개수를 의미할 수 있고, ObstacleID 필드는 장애물들을 식별하기 위해 각각의 장애물에 부여한 ID를 의미할 수 있다. NumOfDefinedPos 필드는 오클루션 이펙트 필터가 정의되어 있는 위치들의 총 개수를 의미할 수 있다.
DefinedPos_azimuth 필드, DefinedPos_elevation 필드, DefinedPos_distance 필드는 각각 장애물의 위치 정보에 대한 방위각 측면에서의 각도 값, 고도각 측면에서의 각도 값, 거리 측면에서의 미터(meter) 값을 포함할 수 있다.
NumOfFilters 필드는 정의된 필터의 총 개수를 의미할 수 있다. 즉, 임의의 장애물에 대해서 오클루션 이펙트 필터가 정의되어 있는 위치들의 총 개수를 의미할 수 있다.
OFilterPos_azimuth 필드, OFilterPos_elevation 필드, OFilterPos_distance 필드는 각각 오클루션 이펙트 필터의 위치 정보에 대한 방위각 측면에서의 각도 값, 고도각 측면에서의 각도 값, 거리 측면에서의 미터(meter) 값을 포함할 수 있다.
OFilterType 필드는 오클루션 이펙트 필터 타입(occlusion effect filter type)을 정의할 수 있고, 필드 값이 0인 경우 직접음(direct part)에 적용되는 필터를, 1인 경우 초기 반사음(early reflection) 및 후기 잔향음(late reverberation)에 적용되는 필터를, 2인 경우 모든 응답 성분에 적용되는 필터를 의미할 수 있다.
NumOfFreq 필드는 필터 게인(filter gain)이 정의된 주파수 대역의 총 개수를 의미할 수 있고, FilterGain 필드는 필터 게인(filter gain) 값이 정의된 주파수 대역에 대해서 0 ~ 1 사이의 값을 포함할 수 있다.
상술한 바는 장애물의 위치가 고정되어 있는 환경에서 사용자가 공간을 자유롭게 이동하는 경우, 발생할 수 있는 상황을 고려하여 적용될 수 있다. 이에 반해, 일 실시예에서는 장애물의 위치도 시간 변화에 따라 변경될 수 있다. 즉, 장애물도 이동할 수 있다. 이러한 경우, 변경될 수 있는 장애물의 모든 위치에 대하여 필터들이 정의될 수 있다.
다만, 일 실시예는 이러한 필터들을 모두 정의하는 것보다 장애물과 사용자 간의 상대적인 위치를 고려하여 필터를 적용하는 것이 보다 효율적일 수도 있으므로, 사용자와 장애물 간의 상대적인 위치를 기반으로 오클루션 이펙트 필터 적용할 수도 있다. 일 실시예는 이와 같은 상대적인 위치를 기반으로 오클루션 이펙트를 적용하기 위한 관련 정보를 메타데이터로 전송할 수 있다. 또는, 상대적 위치를 기반으로 오클루션 이펙트를 적용하기 위한 관련 정보는 패킷으로 정의되어 오디오 데이터 전송 장치에 의해 전송될 수 있고, 오디오 데이터 수신 장치에 의해 수신될 수 있다. 여기서, 메타데이터는 오클루션 이펙트 관련 메타데이터라고 지칭할 수도 있으며, 오클루션 이펙트 관련 메타데이터의 신택스는 예를 들어, 표 5와 같이 포함될 수 있다.
Figure PCTKR2019007280-appb-T000005
표 5에서, NumObstacles 필드는 장애물(obstacle)의 총 개수를 의미할 수 있고, ObstacleID 필드는 장애물들을 식별하기 위해 각각의 장애물에 부여한 ID를 의미할 수 있다.
NumEucDistOfSrc2Dest 필드는 음원과 사용자와의 유클리디안 거리(euclidean distance)가 정의된 총 개수를 의미할 수 있고, EucDistOfSrc2Dest 필드는 음원과 사용자와의 유클리디안 거리를 의미할 수 있다.
NumRelativeDistRatio 필드는 음원에서 장애물까지의 거리 및 장애물에서 사용자까지의 거리의 비율이 정의된 총 개수를 의미할 수 있고, RelativeDistRatio 필드는 음원에서 장애물까지의 거리 및 장애물에서 사용자까지의 거리의 비율을 의미할 수 있다. 여기서, 장애물의 위치는 상술한 비율 정보를 참조하여 확인될 수 있다.
NumOfShiftOffset 필드는 음원 및 사용자 간의 직선 거리를 벗어난 정도 값들이 정의된 총 개수를 의미할 수 있고, ShiftOffset 필드는 음원 및 사용자 간의 직선 거리를 기준으로 벗어난 정도 값이 포함할 수 있다. 즉, 직선 거리로부터 오프셋(offset) 값을 적용하면 필터가 정의된 정확한 위치를 확인할 수 있다. ShiftOffset 필드의 값은 직선을 기준으로 왼쪽 또는 아래 방향은 음수, 오른쪽 또는 위 방향은 양수 값을 가질 수 있다.
OFilterType 필드는 오클루션 이펙트 필터 타입(occlusion effect filter type)을 정의할 수 있고, 필드 값이 0인 경우 직접음(direct part)에 적용되는 필터를, 1인 경우 초기 반사음(early reflection) 및 후기 잔향음(late reverberation)에 적용되는 필터를, 2인 경우 모든 응답 성분에 적용되는 필터를 의미할 수 있다.
NumOfFreq 필드는 필터 게인(filter gain)이 정의된 주파수 대역의 총 개수를 의미할 수 있고, FilterGain 필드는 필터 게인(filter gain) 값이 정의된 주파수 대역에 대해서 0 ~ 1 사이의 값을 포함할 수 있다.
일 실시예에 따르면, 오디오 데이터 수신 장치는 우선, 오클루션 이펙트 필터 관련 패킷들을 수신할 수 있으며, 이후에 컨텐츠 재생 중, 사용자가 필터가 정의된 위치 또는 주변으로 이동하는 경우, 적합한 필터를 기반으로 음원의 소리에 오클루션 이펙트 필터를 적용할 수 있다.
도 13은 오클루션 이펙트가 적용될 수 있는 다른 오디오 관련 부호화기 및 복호화기의 오디오 스트림을 개략적으로 나타낸 도면이다.
일 실시예에 따르면, 오클루션 이펙트를 적용하기 위한 상술한 신택스들은 MPEG-H 3D Audio 부/복호화기를 기반으로 설명되었으나, 오클루션 이펙트는 다른 오디오 관련 부/복호화기에도 적용될 수 있다. 이하에서는 Dolby AC-4 부/복호화기를 예로 들어 설명하겠으며, 도 13은 Dolby Ac-4의 오디오 스트림(audio stream)일 수 있다. 여기서, Dolby AC-4 부호화기는 유저 상호작용(user interaction) 측면에서 MPEG-H 3D Audio 부호화기와 비교하면 거의 지원되지 않는 수준일 수 있으나, 추후에 확장되어 오클루션 이펙트가 적용될 수도 있다.
예를 들어, Dolby AC-4의 오디오 스트림(audio stream)은 Raw AC-4 frame으로 구성될 수 있다. 여기서, Raw AC-4 frame은 TOC(Table of Contents)와 적어도 하나의 서브스트림(substream)으로 구성될 수 있으며, 오디오 데이터와 관련된 메타데이터는 서브스트림에 포함될 수 있다.
하나 이상의 오디오 채널(audio channel) 또는 오디오 오브젝트(audio object) 신호들은 기본적으로 Raw AC-4 frame에 포함되어 있는 서브프레임에 포함될 수 있다. TOC는 오디오 스트림에 포함되어 있는 프레젠테이션(presentation)에 대한 정보를 나타낼 수 있으며, 각 프레젠테이션에는 오디오 데이터 수신 장치에서 씬(scene)을 렌더링하기 위해 여러 오디오 서브스트림을 믹싱(mixing)하는 방법이 정으될 수 있다. 여기서, 오디오 서브스트림은 멀티-채널(multi-channel) 및 오브젝트(object)를 포함할 수 있다. 즉, 프레젠테이션에는 함께 디코딩되고 렌터링되는 오디오 요소들의 정보가 정의될 수 있고, 이를 위해 TOC 내의 PresentationInfo에는 사용하는 오디오 서브스트림과 프레젠테이션과의 연결 관계가 정의될 수 있다. 여기서, 오디오 서브스트림은 오디오 신호 및 메타데이터가 포함할 수 있다. 여기서, PresentationInfo의 신택스(ac-4 presentation_info() syntax)는 예를 들어, 표 6과 같이 포함될 수 있다.
Figure PCTKR2019007280-appb-T000006
PresentationInfo 신택스는 Presentation Config, EMDF Info 및 substream Info 등이 정의될 수 있으며, substream info는 ac4_substream_info() 함수를 호출함으로써 사용될 수 있다. 해당 함수는 오디오 스트림에 대한 비트레이트(bitrate)와 음악 및 언어 등과 같은 컨텐츠 타입(content type) 정보 외에도 substream_index 정보를 포함할 수 있다. substream_index는 오디오 스트림이 서브스트림 상에서 어디에 위치한지를 나타내는 정보로, 위치 정보라 지칭할 수 있고, 이를 기반으로 Raw AC-4 frame 내에 어떠한 서브스트림에 ac4_substream_info()와 관련된 오디오 스트림이 포함되어 있는지 확인할 수 있다. 이러한 위치 정보는 TOC에 포함되어 있는 substream_index_table에 의해 참조될 수 있고, 이에 따라, Raw AC-4 frame 내에서 원하는 서브스트림을 선택적으로 파싱하고 디코딩할 수 있다. Raw AC-4 frame 내의 서브스트림은 크게 오디오 데이터 및 메타데이터로 구성될 수 있고, 메타데이터는 오디오 데이터의 속성 정보들을 정의할 수 있다.
일 실시예에 따른 오클루션 이펙트를 상술한 부/복호화기에 적용하기 위해서는 Raw AC-4 frame 내의 서브스트림에 포함된 메타데이터의 신택스를 업데이트할 수 있다. metadata()의 신택스에서는 oamd_dyndata_singe() 또는 oamd_dyndata_multi()가 호출될 수 있고, 해당 함수 내에서 다시 object_info_block()이 호출될 수 있다. 여기서, object_info_block() 함수는 오브젝트 신호가 사용될 때 고려되는 기본 정보들(예를 들어, 이전 프레임 정보 참조 여부 및 렌더링 여부 등)을 정의할 수 있다. 일 실시예에서는 오클루션 이펙트 정보를 object_info_block()에 추가할 수 있으며, 이에 따른 object_info_block()의 신택스는 예를 들어, 표 7과 같이 포함될 수 있다.
Figure PCTKR2019007280-appb-T000007
표 7에서, 점선의 테두리는 오클루션 이펙트의 적용과 관련하여 추가된 부분을 나타낼 수 있다. 여기서, b_occlusion_active 필드는 오클루션 이펙트의 사용 여부를 의미할 수 있으며, 필드 값이 1인 경우 오클루션 이펙트의 사용을 지시할 수 있고, 2인 경우 오클루션 이펙트를 사용하지 않음을 지시할 수 있다.
occlusion_info_status 필드는 해당 프레임에서의 오클루션(occlusion)의 정보 상태를 의미할 수 있으며, 다음의 표 8과 같이 두 종류로 분류될 수 있다.
Figure PCTKR2019007280-appb-T000008
일 실시예에서는 object_info_block() 함수가 호출될 때마다 오클루션의 정보 상태가 달라질 수 있다. B_occlusioin_active 필드는 1 비트를 가지는 플래그 변수 하나로 선언될 수 있고, 해당 플래그 변수의 정의된 값과 occlusion_info_status를 기반으로 occlusion_effect_info()의 사용 여부가 결정될 수 있다. 여기서, occlusion_effect_info()는 상술한 OcclusionEffectInfo()와 동일할 수 있고, 예를 들어, 표 1, 표 4 또는 표 5의 신택스가 포함될 수 있다. 또는 occlusion_effect_info()는 예를 들어, 표 9 또는 표 10의 신택스가 포함될 수도 있다.
Figure PCTKR2019007280-appb-T000009
Figure PCTKR2019007280-appb-T000010
여기서, 표 9는 표 3의 내용이 사용될 수 있으며, 표 10은 표 4의 내용이 사용될 수 있으나, 표 5의 내용이 사용될 수도 있다. 또는, 표 9는 표 3과 대응될 수 있고, 표 10은 표 4 또는 표 5와 대응될 수 있다. 또는, 표 9 내의 필드들은 표 3 내의 필드들과 동일한 정보를 가리킬 수 있고, 표 10 내의 필드들은 표 4 또는 표 5 내의 필드들과 동일한 정보를 가리킬 수 있다.
상술한 바와 같이, Raw AC-4 frame의 서브스트림 내에는 오디오 신호(채널 또는 오브젝트)가 포함될 수 있다. 즉, 하나의 서브스트림이 오브젝트로 간주되는 것과 같이, 오클루션 이펙트를 유발하는 장애물을 하나의 오브젝트로 간주할 수 있으며, 서브스트림에 포함되는 것으로 간주될 수도 있다.
또한, 상술한 표 7의 아래 부분을 참조하면, object_render_info() 함수가 호출될 수 있으며, 해당 함수 내에는 오브젝트의 위치 정보 및 오브젝트의 사이즈 등이 정의되어 있을 수 있고, 일 실시예에서는 오클루션 관련 속성 정보 또는 장애물의 속성 정보가 해당 함수 내에 추가될 수 있다.
상술한 표 7 내지 표 10은 오브젝트 신호 관점에서 여러 개의 장애물을 직면할 수 있는 환경을 나타낸 것이나, 후술할 표 11 및 표 12는 오브젝트 신호의 관점과 관계 없이 각 장애물을 하나의 오브젝트로 간주하여 장애물에 의해 발생될 수 있는 효과를 오브젝트 신호에 대한 정보들이 정의되어있는 함수에 추가적으로 정의한 환경을 나타낸 것일 수 있다. 오브젝트 신호에 대한 정보는 object_render_info() 함수 내에 정의될 수 있으며, object_render_info() 함수는 예를 들어, 표 11과 같이 포함될 수 있다.
Figure PCTKR2019007280-appb-T000011
표 11에서 점선의 테투리는 오클루션 이펙트에 따라 변경되거나 추가된 정보들을 포함할 수 있다. 여기서, group_other_mask 필드는 그룹(group)의 성질을 나타내는 bitmask일 수 있으며, 4 비트만 할당될 수 있으나, 오클루션 이펙트 요소를 추가적으로 고려하여 5 비트가 할당되도록 변경될 수 있다. 해당 플래그(또는 group_other_mask 필드의 값)에 따른 설명 또는 지시하는 바는 예를 들어, 표 12와 같을 수 있다.
Figure PCTKR2019007280-appb-T000012
표 12에서, group_other_mask 필드의 값이 0b10000인 경우, 오클루션 이펙트와 관련하여 Occlusion properties present를 지시할 수 있으며, 이 경우를 시그널링하기 위해 일 실시예는 group_other_mask에 5 비트를 할당할 수 있다. 다만, 해당 함수는 이미 오브젝트의 위치와 관련된 정보를 포함하고 있으므로, 오클루션 관련 정보를 추가하는 경우 위치 정보는 제외할 수 있다.
상술한 바와 같이 정의된 오클루션 관련 정보는 새로운 서브스트림 내의 오브젝트 관련 정보를 나타내는 함수에서 새로이 정의될 수 있으며, 프리젠테이션 특징에 따라 선택적으로 디코딩 및 렌더링될 수 있다. 여기서, Raw AC-4 frame 내의 임의의 서브스트림은 오클루션 이펙트 처리를 목적으로 사용될 수 있으며, 서브스트림의 오브젝트에 오디오 신호가 포함되거나 포함되지 않을 수도 있다. 다만, 오디오 신호가 반드시 수반되어야 하는 경우, 오디오 신호로 짧은 시간의 사일런스(silence) 신호가 사용될 수 있다.
기존의 3DoF 또는 3DoF+ 환경에서는 사용자가 공간을 자유롭게 이동할 수 없었으므로, 음원에 인접한 장애물에 대해서 크게 영향을 받지 않았다. 다만, 6DoF 환경에서는 사용자의 위치에 따라 장애물에 대한 영향이 크게 작용할 수 있다. 즉, 6DoF 환경에서는 오디오 씬(scene)이 적합하게 렌더링되기 위해 장애물을 고려할 수 있으며, 이에 따라 장애물과 관련된 requirement에 대하여 정의될 수 있다.
이에 따라, 일 실시예에서는 6DoF 환경에서 다양한 형태의 장애물들에 의한 영향을 고려할 수 있으며, 사용자가 어떠한 환경에 위치하더라도 적절하게 장애물에 의한 영향 효과를 적용하여 오디오 씬의 특성을 변경시킬 수 있다. 따라서, 사용자는 한 층 더 현실감 있는 VR 컨텐츠를 경험할 수 있다.
도 14는 일 실시예에 따른 오클루션 이펙트를 고려한 3차원 오디오 데이터 수신 장치의 동작 방법을 도시하는 흐름도이다.
도 14를 참조하면, 오클루션 이펙트를 고려한 3차원 오디오 오디오 데이터 수신 장치는 크게 10개의 단계에 따라 동작할 수 있다. 다만, 이는 일 예로써 설명한 것이며, 일부 동작만을 나타낸 것일 수 있으므로, 본 발명의 범위가 이에 한정되는 것은 아니다.
제1 단계에서, 비트스트림이 수신되면 3DA 디코더 컨피규레이션(3DA Decoder Configuration)단에서 디코딩 오디오 관련 정보를 추출할 수 있다. 즉, 인코딩된 오디오 신호들의 채널 개수에 대한 정보, 오브젝트 개수에 대한 정보 및 샘플링 레이트와 같은 기본적인 정보들을 비트스트림으로부터 수신 받아 판독할 수 있다.
제2 단계에서, 인코딩된 오디오 신호에 대하여 디코딩을 수행할 수 있다. 해당 과정에서는 채널, 오브젝트, HOA 타입의 신호를 별도로 구별하지 않고, 오디오 채널 수만큼 디코딩할 수 있다.
제3 단계에서, 수신단의 재생 환경 정보(Local setup information)를 설정할 수 있다. 즉, 오디오 컨텐츠를 어떤 재생 장치(스피커 또는 헤드폰)로 재생할지, 스피커로 재생할 경우, 스테레오 스피커 환경인지 멀티채널 스피커 환경인지 등을 수신 측에서 결정할 수 있다.
제4 단계에서, 오디오 컨텐츠가 사용자와 상호 작용할 경우(사용자가 오디오 컨텐츠에서 재생되는 임의의 오브젝트의 특징을 변경하고자 할 경우), 관련 정보를 재생 환경 정보와 함께 기록할 수 있다.
제5 단계에서, 만약 사용자의 위치 또는 방향이 변경되는 경우, 기존의 저장된 위치 및 방향 정보를 업데이트할 수 있고, 변경된 지점에서 오클루션의 발생 여부를 플래그로 설정할 수 있다. 여기서, 플래그(flag)는 오클루션 플래그라 지칭할 수 있고, 초기값은 기본적으로 0으로 설정될 수 있다.
제6 단계는 플래그의 값에 따라 제6a 단계 및 제6b 단계로 구분될 수 있다.
제6a 단계에서, 플래그의 값이 1(flag == 1)인 경우, 디코딩된 오디오 신호에 오클루션 이펙트를 적용할 수 있다. 적용된 신호는 환경 설정 정보, 상호 작용 정보들과 함께 3D 오디오 렌더링단으로 전달될 수 있다.
제6b 단계에서, 플래그의 값이 0(flag == 0)인 경우, 디코딩된 오디오 신호는 오클루션 이펙트를 적용하지 않고, 바로 환경 설정 정보, 상호 작용 정보들과 함께 3D 오디오 렌더링단으로 전달될 수 있다.
제7 단계에서, 3D 오디오 렌더링단에서 수신받은 정보들을 참조해서 렌더링된(rendered) 신호를 출력할 수 있다.
제8 단계에서, 만약 재생 장치가 헤드폰일 경우, 별도로 BRIR(HRTF)를 수신받거나 사전에 저장되어 있는 BRIR(HRTF) 정보를 호출할 수 있다.
제9 단계에서, 다음 사용자의 위치를 참조하여 오클루션 이펙트의 적용 여부를 결정할 수 있다.
제10 단계는 플래그의 값에 따라 제10a 단계 및 제10b 단계로 구분될 수 있다.
제10a 단계에서, 플래그의 값이 1(flag == 1)인 경우, BRIR에 오클루션 이펙트를 적용할 수 있다. 또한, 적용된 BRIR를 렌더링된 오디오 신호에 필터링하여 바이너럴(binaural) 렌더링된 신호를 출력할 수 있다.
제10b 단계에서, 플래그의 값이 0(flag == 0)인 경우, BRIR에 오클루션 이펙트를 적용하지 않고, 바로 렌더링된 오디오 신호에 필터링되어 바이너럴 렌더링된 신호를 출력할 수 있다.
도 14에서, 오클루션 이펙트는 사용자에 의해 선택적으로 사용될 수 있다. 스피커 환경에서 재생할 경우, 오클루션 이펙트는 기본적으로 3D 오디오 디코딩 과정 다음에 적용될 수 있다. 다만, 헤드폰 환경에서 오클루션 이펙트는 사용자에 의해 3D 오디오 디코딩 과정 다음에 적용(Apply occlusion effect)하거나, 또는 BRIR을 수신 받은 다음에 적용(Apply occlusion effect (IR))할 수 있다. 여기서, 두 과정은 동시에 사용되지 않을 수 있다. 따라서, 사용자 선택에 따라 두 종류의 오클루션 이펙트 중 하나만이 사용될 수 있다.
도 15는 일 실시예에 따른 오클루션 이펙트를 고려한 3차원 오디오 데이터 수신 장치의 구성을 도시하는 블록도이다. 즉, 도 15는 오클루션 이펙트가 포함된 3D 오디오 디코더의 블록도를 나타낼 수 있다.
비트스트림은 3D 오디오 디코딩단에 입력되기 전 디멀티플렉싱(Demultiplexing)단에 입력되어 오디오 데이터와 디코딩 컨피규레이션 관련 정보들이 파싱될 수 있다. 3D 오디오 디코딩단은 오디오 데이터는 디코딩 컨피규레이션 정보를 참조하여 디코딩되고, 디코딩된 신호와 오브젝트 메타데이터가 출력될 수 있다. 오브젝트 메타데이터는 메타데이터 및 인터페이스 데이터 프로세싱단으로 입력되고, 재생 환경 정보 및 사용자 상호 작용 정보들에 의해 수정될 수 있다. 또한 추가적으로 시그널링되는 트랜지션 이펙트 정보는 사용자에 의해 변경된 또는 변경하고자 하는 위치 정보를 참조하여, 변경되어야 하는 위치에 대한 씬 정보를 디코더에 전달하여 해당 씬과 관련된 오디오 데이터를 디코딩하고, 동시에 트랜지션 이펙트 오디오 관련 정보를 오디오 데이터와 함께 렌더링 및 믹싱단에 전달할 수 있다.
다음으로, 렌더링 및 믹싱단에서 설정된 재생 환경에 맞춰서 채널 신호(ch1(.pcm), ch2(.pcm), 쪋, chN(.pcm))를 출력할 수 있다. 만약 사용자가 헤드폰 환경에서 재생하고자 할 경우, 수신기는 사용자의 위치를 참조하여 사용자 위치에 적합한 BRIR 필터를 모델링할 수 있다. 여기서, BRIR 또는 HRTF 데이터베이스가 존재하는 경우, 가장 적합한 필터가 선택될 수 있다. 이후, 사용자의 위치 정보와 오브스트럭션 인포(Obstruction info) 정보는 Occlusion Effect (IR) 단에 입력되어 사용자 위치에 맞게 응답 특성을 변형시킬 수 있다. 상술한 바에서도 오클루션 이펙트가 사용되었으나, 수신기에서는 오클루션 이펙트를 선택적으로 적용할 수 있다. 즉, 스피커 환경에서 재생할 때에는 Occlusion Effect 단을 디폴트로 사용하도록 설정할 수 있고, 헤드폰 환경에서 재생할 때에는 Occlusion Effect (IR) 단에서 렌더링된(rendered) 신호에 필터링하여 바이너럴 렌더링된 신호(Left signal(.pcm)과 Right signal(.pcm))를 출력할 수 있다. 바이너럴 렌더링된 두 신호는 각각 D/A 컨버터와 Amp를 통해서 헤드폰의 좌측 트랜스듀서(Left transducer)와 우측 트랜스듀서(Right transducer)로 재생될 수 있다.
본 발명의 일 실시예는 장애물에 의한 오디오 효과를 적용하는 방법으로 이러한 현상은 주로 VR 환경에서 사용자가 움직일 때 나타날 수 있다. 따라서, 오클루션은 사용자의 위치 정보에 의해서 적용 여부가 결정될 수 있다. 따라서, 일 실시예는 시스템 아케텍처(system architecture)의 블록도 상에서 뷰잉 포지션(viewing position) 및 뷰포인트(viewpoint) 정보에 영향을 받는 오디오 프리프로세서(audio preprocessor) 단과 관련될 수 있다. 또한, 마찬가지로 수신단에서는 사용자의 위치에 따라 장애물에 영향을 받아 렌더링되는 결과가 달라질 수 있으므로, 오디오 렌더링(audio rendering) 단과 관련될 수 있다. 또한, 장애물 정보들은 송신단에서 수신단으로 전송되는 부분을 감안했을 때, 파일/세그먼테이션 인캡슐레이션(File/segmentation encapsulation) 및 파일/세그먼트 디캡슐레이션(File/segment decapsulation) 단과 연관될 수 있다.
도 16은 일 실시예에 따른 오디오 데이터 전송 장치의 동작 방법을 도시하는 흐름도이고, 도 17은 일 실시예에 따른 오디오 데이터 전송 장치의 구성을 도시하는 블록도이다.
도 16에 개시된 각 단계는 도 5 내지 도 15에서 전술된 내용에 기반할 수 있다. 따라서, 도 16의 각 단계를 설명함에 있어서 도 5 내지 도 15에서 전술된 내용과 중복되는 구체적인 내용은 설명을 생략하거나 간단히 하기로 한다.
도 17에 개시된 바와 같이, 일 실시예에 따른 오디오 데이터 전송 장치(1700)는 메타데이터 생성부(1710), 오디오 신호 인코딩부(1720) 및 전송부(1730)를 포함할 수 있다. 그러나, 경우에 따라서는 도 16에 도시된 구성 요소 모두가 오디오 데이터 전송 장치(1700)의 필수 구성 요소가 아닐 수 잇고, 오디오 데이터 전송 장치(1700)는 도 17에 도시된 구성 요소보다 많거나 적은 구성 요소에 의해 구현될 수 있다.
일 실시예에 따른 오디오 데이터 전송 장치(1700)에서, 메타데이터 생성부(1710), 오디오 신호 인코딩부(1720) 및 전송부(1730)는 각각 별도의 칩(chip)으로 구현되거나, 적어도 둘 이상의 구성 요소가 하나의 칩을 통해 구현될 수도 있다.
일 실시예에 따른 오디오 데이터 전송 장치(1700)는, 3차원 오디오 컨텐츠의 메타데이터를 생성할 수 있다(S1600). 보다 구체적으로, 오디오 데이터 전송 장치(1700)의 메타데이터 생성부(1710)는 3차원 오디오 컨텐츠의 메타데이터를 생성할 수 있다.
일 실시예에서, 3차원 오디오 컨텐츠는 3DoF, 3DoF+ 또는 6DoF 환경의 가상현실(Virtual Reality, VR) 컨텐츠 또는 증강현실(Augmented Reality, AR) 컨텐츠인 것을 특징으로 할 수 있다.
일 실시예에서, 상기 메타데이터는 상기 3차원 오디오 컨텐츠의 오클루션 이펙트(occlusion effect) 정보를 포함할 수 있다. 여기서, 오클루션 이펙트 정보는 오클루션 이펙트 관련 메타데이터라고 지칭할 수 있으며, 독립적인 패킷 타입으로 정의되어 전송될 수 있고, 패킷은 기존에 정의된 패킷 타입 리스트에 추가적으로 정의될 수 있다. 다시 말해, 오클루션 이펙트 정보는 MHASPacketPayload의 MHASPacketType 필드의 값이 20인 경우, MHASPacketPayload 내에 포함될 수 있다. 이에 대한 상세한 설명은 표 2 및 3에서 상술하였다.
일 실시예에서, 상기 오클루션 이펙트 정보는 장애물의 개수 정보, 장애물의 ID 정보, 장애물의 타입 정보, 상기 장애물의 타입 정보에 따른 장애물의 크기 정보, 장애물의 위치 정보, 주파수 대역의 개수 정보, 주파수 대역에 따른 반사 계수 및 주파수 대역에 따른 투과 계수를 포함할 수 있으며, 표 1과 같이 나타낼 수 있다.
여기서, 장애물의 개수 정보는 NumOstacles 필드로, 장애물의 ID 정보는 ObstacleID 필드로 지시될 수 있다. 또한, 장애물의 타입 정보는 ObstacleType 필드로 지시될 수 있고, ObstacleType 필드 값이 0인 경우 장애물의 형태가 사각형(rectangular)임을 지시할 수 있고, 1인 경우 장애물의 형태가 실린더(cylinder)임을 지시할 수 있고, 2인 경우 장애물의 형태가 구형(sphere)임을 지시할 수 있고, 3인 경우 장애물의 형태는 커스텀(custom)임을 지시할 수 있다.
장애물의 타입 정보에 따른 장애물의 크기 정보는 ObstacleType 필드 값이 0인 경우 사각형 타입의 장애물의 넓이, 길이 및 높이가 ObstacleRect_with 필드, ObstacleRect_length 필드 및 ObstacleRect_height 필드에 의해 cm 단위로 지시될 수 있다. 장애물의 타입 정보에 따른 장애물의 크기 정보는 ObstacleType 필드 값이 1인 경우 실린더 타입의 장애물의 방위각이 ObstacleCyld_azimuth 필드에 의해 각도 단위로 지시될 수 있고, 반지름 및 높이가 ObstacleCyld_radius 필드 및 ObstacleCyld_height 필드에 의해 cm 단위로 지시될 수 있다. 장애물의 타입 정보에 따른 장애물의 크기 정보는 ObstacleType 필드 값이 2인 경우 구형 타입의 장애물의 방위각 및 고도각이 ObstacleSphr_azimuth 필드 및 ObstacleSphr_elevation 필드에 의해 각도 단위로 지시될 수 있고, 반지름이 ObstacleSphr_radius 필드에 의해 cm 단위로 지시될 수 있다.
장애물의 타입 정보에 따른 장애물의 크기 정보는 ObstacleType 필드 값이 3인 경우 커스텀 타입의 장애물이므로 정점(static point)을 기반으로 지시될 수 있다. 또는, 장애물의 타입 정보에 따른 장애물의 크기 정보는 장애물을 형성하는 정점들의 위치 정보를 기반으로 도출될 수 있다. 다시 말해, 정점의 위치 정보 및 정점들이 이루는 표면을 기반으로 지시될 수 있다. 즉, NumOfVertices 필드가 장애물을 형성하는 정점들의 개수를 지시할 수 있고, VertexID 필드가 정점들을 식별하기 위해 각 정점에 부여한 ID를 지시할 수 있다. 또한, Vertex_x 필드, Vertex_y 필드 및 Vertex_z 필드가 x축, y축 및 z축 상의 정점의 위치를 지시할 수 있다. 또한, NumOfFaces 필드가 정점들이 이루는 표면들의 개수를 지시할 수 있고, FaceID 필드는 표면들을 식별하기 위해 각 표면에 부여한 ID를 지시할 수 있다. 여기서, 표면은 3개의 정점으로 구성될 수 있다. 또한, Face_v1 필드, Face_v2 필드 및 Face_v3 필드는 표면을 구성하는 3개의 정점 중 첫 번째, 두 번째 및 세 번째 정점을 지시할 수 있으며, 해당하는 정점의 VertexID를 지시할 수 있다. 여기서 정점들의 순서는 사용자에 의해 임의로 지정될 수도 있다.
장애물의 위치 정보는 장애물의 중심 위치에 대한 방위각 정보, 고도각 정보 및 거리 정보를 포함할 수 있고, 방위각 정보 및 고도각 정보는 CenterPos_azimuth 필드 및 CenterPos_elevation 필드에 의해 각도값으로 지시될 수 있고, 거리 정보는 CenterPos_distance 필드에 의해 cm 값으로 지시될 수 있다.
주파수 대역의 개수 정보는 NumOfFreq 필드로 지시될 수 있고, 주파수 대역에 따른 반사 계수(reflection coefficient)는 Refcoeff 필드로 지시될 수 있고, 주파수 대역에 따른 투과 계수(transmission coefficient)는 Trancoeff로 지시될 수 있다. 여기서, 반사 계수 및 투과 계수는 주파수마다 지시될 수 있다.
이 경우, 오클루션 이펙트 정보를 획득한 오디오 데이터 수신 장치는 오클루션 이펙트 정보 및 사용자의 위치 정보를 기반으로 필터를 구성할 수 있고, 3차원 오디오 신호에 구성한 필터를 적용할 수 있다.
일 실시예에서, 상기 오클루션 이펙트 정보는 장애물의 개수 정보, 장애물의 ID 정보, 필터가 정의된 위치의 개수 정보, 장애물의 위치 정보, 정의된 필터의 개수 정보, 정의된 필터의 위치 정보, 필터의 타입 정보, 주파수 대역의 개수 정보 및 주파수 대역에 따른 필터 게인(gain) 정보를 포함할 수도 있고, 표 4와 같이 나타낼 수 있다.
여기서, 장애물의 개수 정보는 NumObstacles 필드로 지시될 수 있고, 장애물의 ID 정보는 ObstacleID 필드로 지시될 수 있으며, 필터가 정의된 위치의 개수 정보는 NumOfDefinedPos 필드로 지시될 수 있다. 각 위치에 따라 장애물의 위치 정보는 방위각 정보, 고도각 정보 및 거리 정보를 포함할 수 있고, 방위각 정보 및 고도각 정보는 DefinedPos_azimuth 필드 및 DefinedPos_elevation 필드에 의해 각도값으로 지시될 수 있고, 거리 정보는 DefinedPos_distance 필드에 의해 meter 값으로 지시될 수 있다. 정의된 필터의 개수 정보는 NumOfFilters 필드로 지시될 수 있다. 각 정의된 필터의 위치 정보는 방위각 정보, 고도각 정보 및 거리 정보를 포함할 수 있고, 방위각 정보 및 고도각 정보는 OFilterPos_azimuth 필드 및 OFilterPos_elevation 필드에 의해 각도값으로 지시될 수 있고, 거리 정보는 OFilterPos_distance 필드에 의해 meter 값으로 지시될 수 있다.
각 필터의 타입 정보는 OFilterType 필드로 지시될 수 있으며, OFilterType 필드의 값이 0인 경우 직접음(direct part)에 적용되는 것을 지시할 수 있고, 1인 경우 초기 반사음(early reflection) 및 후기 잔향음(late reverberation)에 적용되는 것을 지시할 수 있고, 2인 경우 모두 적용되는 것을 지시할 수 있다. 여기서, 직접음은 프라이머리(primary) 신호라 지칭될 수 있고, 초기 반사음 및 후기 잔향음은 앰비언트(ambient) 신호라 지칭될 수도 있다.
주파수 대역의 개수 정보는 NumOfFreq 필드로 지시될 수 있고, 주파수 대역에 따른 필터 게인(gain) 정보는 FilterGain 필드로 지시될 수 있다. 여기서 게인 정보는 주파수 대역 마다 지시될 수 있다.
이 경우, 오클루션 이펙트 정보를 획득한 오디오 데이터 수신 장치는 오클루션 이펙트 정보 내의 정의된 필터들 중 하나를 선택할 수 있고, 3차원 오디오 신호에 선택한 필터를 적용할 수 있다.
일 실시예에서, 상기 오클루션 이펙트 정보는 장애물의 개수 정보, 장애물의 ID 정보, 음원과 사용자 간의 유클리디안(euclidean) 거리 정보, 음원과 사용자 간의 유클리디안 거리 정보의 개수, 음원에서 장애물까지와 장애물에서 사용자까지의 거리의 비율 정보, 음원에서 장애물까지와 장애물에서 사용자까지의 거리의 비율 정보의 개수, 음원과 사용자 간의 직선 거리를 벗어난 정도 값, 음원과 사용자 간의 직선 거리를 벗어난 정도 값의 개수 정보, 필터의 타입 정보, 주파수 대역의 개수 정보 및 주파수 대역에 따른 필터 게인(gain) 정보를 포함할 수도 있고, 표 5와 같이 나타낼 수 있다.
여기서, 장애물의 개수 정보는 NumObstacles 필드로 지시될 수 있고, 장애물의 ID 정보는 Obstacle 필드로 지시될 수 있다. 음원과 사용자 간의 유클리디안(euclidean) 거리 정보는 EucDistOfSrc2Dest 필드로 지시될 수 있고, 음원과 사용자 간의 유클리디안 거리 정보의 개수 정보는 NumEucDistOfSrc2Dest 필드로 지시될 수 있다. 음원에서 장애물까지와 장애물에서 사용자까지의 거리의 비율 정보는 RelativeDistRatio 필드로 지시될 수 있고, 음원에서 장애물까지와 장애물에서 사용자까지의 거리의 비율 정보의 개수 정보는 NumRelativeDistRatio 필드로 지시될 수 있다. 여기서, 비율 정보를 기반으로 장애물의 위치를 확인할 수 있다. 음원과 사용자 간의 직선 거리를 벗어난 정도 값은 ShiftOffset 필드로 지시될 수 있고, 음원과 사용자 간의 직선 거리를 벗어난 정도 값의 개수 정보는 NumOfShiftOffset 필드로 지시될 수 있다. 여기서, 직선 거리로부터 offset 값을 적용하여 필터가 정의된 정확한 위치를 확인할 수 있고, ShiftOffset 필드값은 직선을 기준으로 왼쪽 또는 아래 방향인 경우 음수 값을, 오른쪽 또는 위 방향인 경우 양수 값을 가질 수 있다.
각 필터의 타입 정보는 OFilterType 필드로 지시될 수 있으며, OFilterType 필드의 값이 0인 경우 직접음(direct part)에 적용되는 것을 지시할 수 있고, 1인 경우 초기 반사음(early reflection) 및 후기 잔향음(late reverberation)에 적용되는 것을 지시할 수 있고, 2인 경우 모두 적용되는 것을 지시할 수 있다. 여기서, 직접음은 프라이머리(primary) 신호라 지칭될 수 있고, 초기 반사음 및 후기 잔향음은 앰비언트(ambient) 신호라 지칭될 수도 있다.
주파수 대역의 개수 정보는 NumOfFreq 필드로 지시될 수 있고, 주파수 대역에 따른 필터 게인(gain) 정보는 FilterGain 필드로 지시될 수 있다. 여기서 게인 정보는 주파수 대역 마다 지시될 수 있다.
이 경우, 오클루션 이펙트 정보를 획득한 오디오 데이터 수신 장치는 오클루션 이펙트 정보 및 사용자의 위치 정보를 기반으로 장애물과 사용자 간의 상대적인 위치 정보를 도출할 수 있으며, 상대적인 위치 정보를 기반으로 상기 오클루션 이펙트 정보 내의 정의된 필터들 중 하나를 선택할 수 있고, 3차원 오디오 신호에 선택한 필터를 적용할 수 있다.
일 실시예에 따른 오디오 데이터 전송 장치(1700)는, 3차원 오디오 컨텐츠의 3차원 오디오 신호를 인코딩할 수 있다(S1610). 보다 구체적으로, 오디오 데이터 전송 장치(1700)의 오디오 신호 인코딩부(1720)는 3차원 오디오 신호를 인코딩할 수 있다.
일 실시예에 따른 오디오 데이터 전송 장치(1700)는, 인코딩된 3차원 오디오 신호 및 생성된 메타데이터를 전송할 수 있다(S1620). 보다 구체적으로, 오디오 데이터 전송 장치(1700)의 전송부(1730)는 인코딩된 3차원 오디오 신호 및 메타데이터를 전송할 수 있다.
일 실시예에서, 3차원 오디오 신호는 오디오 데이터 수신 장치에서 프라이머리 신호 및 앰비언트 신호로 분리될 수 있고, 각 신호 별로 상술한 오클루션 이펙트 정보에 따른 필터가 적용될 수 있다.
여기서, 프라이머리 신호에 적용되는 필터에 대한 정보는 음원과 사용자 사이의 1차 프레널 존(fresnel zone)을 기반으로 도출될 수 있으며, 앰비언트 신호에 적용되는 필터에 대한 정보는 상기 디코딩된 3차원 오디오 신호가 재생되는 공간의 크기 정보 및 장애물의 크기 정보를 기반으로 도출될 수 있다. 이에 대한 상세한 설명은 도 5 내지 도 12와 함께 상술하였다.
상기 S1600 내지 S1620에 따라, 오디오 데이터 전송 장치(1700)는 오디오 데이터 수신 장치로 3차원 오디오 컨텐츠의 오클루션 이펙트 정보를 전송함으로써, 오디오 데이터 수신 장치가 3차원 오디오 컨텐츠에 대한 3차원 오디오 신호(예를 들어, 3DoF, 3DoF+ 또는 6DoF 환경의 VR 컨텐츠에 기반한 오디오 신호 또는 3DoF, 3DoF+ 또는 6DoF 환경의 AR 컨텐츠에 기반한 오디오 신호)를 렌더링(또는 재생)함에 있어서 오클루션 이펙트를 효율적으로 적용하는데 기여할 수 있다.
도 18은 일 실시예에 따른 오디오 데이터 수신 장치의 동작을 도시하는 흐름도이고, 도 19는 일 실시예에 따른 오디오 데이터 수신 장치의 구성을 도시하는 블록도이다.
도 18에 개시된 각 단계는 도 16에 개시된 오디오 데이터 수신 장치(1900) 또는 도 15에 개시된 3차원 오디오 데이터 수신 장치에 의하여 수행될 수 있다. 일 예시에서, 도 18의 S1810은 도 19에 개시된 오디오 신호 디코딩부(1920)에 의하여 수행될 수 있고, 도 18의 S1820은 도 19에 개시된 렌더링부(1930)에 의하여 수행될 수 있다. 또한, 도 18에 개시된 각 단계는 도 5 내지 도 15에서 전술된 내용에 기반할 수 있다. 따라서, 도 18의 각 단계를 설명함에 있어서 도 5 내지 도 15에서 전술된 내용과 중복되는 구체적인 내용은 설명을 생략하거나 간단히 하기로 한다.
또한, 도 19에 개시된 오디오 데이터 수신 장치(1900)와 도 17에 개시된 오디오 데이터 전송 장치(1700)는 상호 오디오 데이터를 송수신하므로 상호 밀접하게 관련될 수 있다. 따라서, 도 18 및 도 19를 설명함에 있어서, 도 16 및 도 17에서 전술된 내용과 중복되는 구체적인 내용은 설명을 생략하거나 간단히 하기로 한다.
도 19에 개시된 바와 같이, 일 실시예에 따른 오디오 데이터 수신 장치(1900)는 수신부(1910), 오디오 신호 디코딩부(1920) 및 렌더링부(1930)를 포함할 수 있다. 그러나, 경우에 따라서는 도 19에 도시된 구성 요소 모두가 오디오 데이터 수신 장치(1900)의 필수 구성 요소가 아닐 수 잇고, 오디오 데이터 수신 장치(1900)는 도 19에 도시된 구성 요소보다 많거나 적은 구성 요소에 의해 구현될 수 있다.
일 실시예에 따른 오디오 데이터 수신 장치(1900)에서, 수신부(1910), 오디오 신호 디코딩부(1920) 및 렌더링부(1930)는 각각 별도의 칩(chip)으로 구현되거나, 적어도 둘 이상의 구성 요소가 하나의 칩을 통해 구현될 수도 있다.
일 실시예에 따른 오디오 데이터 수신 장치(1900)는, 3차원 오디오 컨텐츠의 메타데이터 및 3차원 오디오 컨텐츠의 인코딩된 3차원 오디오 신호를 수신할 수 있다(S1800). 보다 구체적으로, 오디오 데이터 수신 장치(1900)의 수신부(1910)는 오디오 데이터 전송 장치(1700)로부터 3차원 오디오 컨텐츠의 메타데이터 및 3차원 오디오 컨텐츠의 인코딩된 3차원 오디오 신호를 수신할 수 있다.
일 실시예에서, 3차원 오디오 컨텐츠는 3DoF, 3DoF+ 또는 6DoF 환경의 가상현실(Virtual Reality, VR) 컨텐츠 또는 증강현실(Augmented Reality, AR) 컨텐츠인 것을 특징으로 할 수 있다.
일 실시예에서, 상기 메타데이터는 상기 3차원 오디오 컨텐츠의 오클루션 이펙트(occlusion effect)에 대한 정보를 포함할 수 있다. 여기서, 오클루션 이펙트 정보는 오클루션 이펙트 관련 메타데이터라고 지칭할 수 있으며, 독립적인 패킷 타입으로 정의되어 수신될 수 있고, 패킷은 기존에 정의된 패킷 타입 리스트에 추가적으로 정의될 수 있다. 다시 말해, 오클루션 이펙트 정보는 MHASPacketPayload의 MHASPacketType 필드의 값이 20인 경우, MHASPacketPayload 내에 포함될 수 있다. 이에 대한 상세한 설명은 표 2 및 3에서 상술하였다.
일 실시예에서, 상기 오클루션 이펙트 정보는 장애물의 개수 정보, 장애물의 ID 정보, 장애물의 타입 정보, 상기 장애물의 타입 정보에 따른 장애물의 크기 정보, 장애물의 위치 정보, 주파수 대역의 개수 정보, 주파수 대역에 따른 반사 계수 및 주파수 대역에 따른 투과 계수를 포함할 수 있으며, 표 1과 같이 나타낼 수 있다.
여기서, 장애물의 개수 정보는 NumOstacles 필드로, 장애물의 ID 정보는 ObstacleID 필드로 지시될 수 있다. 또한, 장애물의 타입 정보는 ObstacleType 필드로 지시될 수 있고, ObstacleType 필드 값이 0인 경우 장애물의 형태가 사각형(rectangular)임을 지시할 수 있고, 1인 경우 장애물의 형태가 실린더(cylinder)임을 지시할 수 있고, 2인 경우 장애물의 형태가 구형(sphere)임을 지시할 수 있고, 3인 경우 장애물의 형태는 커스텀(custom)임을 지시할 수 있다.
장애물의 타입 정보에 따른 장애물의 크기 정보는 ObstacleType 필드 값이 0인 경우 사각형 타입의 장애물의 넓이, 길이 및 높이가 ObstacleRect_with 필드, ObstacleRect_length 필드 및 ObstacleRect_height 필드에 의해 cm 단위로 지시될 수 있다. 장애물의 타입 정보에 따른 장애물의 크기 정보는 ObstacleType 필드 값이 1인 경우 실린더 타입의 장애물의 방위각이 ObstacleCyld_azimuth 필드에 의해 각도 단위로 지시될 수 있고, 반지름 및 높이가 ObstacleCyld_radius 필드 및 ObstacleCyld_height 필드에 의해 cm 단위로 지시될 수 있다. 장애물의 타입 정보에 따른 장애물의 크기 정보는 ObstacleType 필드 값이 2인 경우 구형 타입의 장애물의 방위각 및 고도각이 ObstacleSphr_azimuth 필드 및 ObstacleSphr_elevation 필드에 의해 각도 단위로 지시될 수 있고, 반지름이 ObstacleSphr_radius 필드에 의해 cm 단위로 지시될 수 있다.
장애물의 타입 정보에 따른 장애물의 크기 정보는 ObstacleType 필드 값이 3인 경우 커스텀 타입의 장애물이므로 정점(static point)을 기반으로 지시될 수 있다. 또는, 장애물의 타입 정보에 따른 장애물의 크기 정보는 장애물을 형성하는 정점들의 위치 정보를 기반으로 도출될 수 있다. 다시 말해, 정점의 위치 정보 및 정점들이 이루는 표면을 기반으로 지시될 수 있다. 즉, NumOfVertices 필드가 장애물을 형성하는 정점들의 개수를 지시할 수 있고, VertexID 필드가 정점들을 식별하기 위해 각 정점에 부여한 ID를 지시할 수 있다. 또한, Vertex_x 필드, Vertex_y 필드 및 Vertex_z 필드가 x축, y축 및 z축 상의 정점의 위치를 지시할 수 있다. 또한, NumOfFaces 필드가 정점들이 이루는 표면들의 개수를 지시할 수 있고, FaceID 필드는 표면들을 식별하기 위해 각 표면에 부여한 ID를 지시할 수 있다. 여기서, 표면은 3개의 정점으로 구성될 수 있다. 또한, Face_v1 필드, Face_v2 필드 및 Face_v3 필드는 표면을 구성하는 3개의 정점 중 첫 번째, 두 번째 및 세 번째 정점을 지시할 수 있으며, 해당하는 정점의 VertexID를 지시할 수 있다. 여기서 정점들의 순서는 사용자에 의해 임의로 지정될 수도 있다.
장애물의 위치 정보는 장애물의 중심 위치에 대한 방위각 정보, 고도각 정보 및 거리 정보를 포함할 수 있고, 방위각 정보 및 고도각 정보는 CenterPos_azimuth 필드 및 CenterPos_elevation 필드에 의해 각도값으로 지시될 수 있고, 거리 정보는 CenterPos_distance 필드에 의해 cm 값으로 지시될 수 있다.
주파수 대역의 개수 정보는 NumOfFreq 필드로 지시될 수 있고, 주파수 대역에 따른 반사 계수(reflection coefficient)는 Refcoeff 필드로 지시될 수 있고, 주파수 대역에 따른 투과 계수(transmission coefficient)는 Trancoeff로 지시될 수 있다. 여기서, 반사 계수 및 투과 계수는 주파수마다 지시될 수 있다.
이 경우, 오클루션 이펙트를 적용하기 위한 필터는 오클루션 이펙트 정보 및 사용자의 위치 정보를 기반으로 필터를 구성할 수 있고, 3차원 오디오 신호에 구성한 필터를 적용할 수 있다.
일 실시예에서, 상기 오클루션 이펙트 정보는 장애물의 개수 정보, 장애물의 ID 정보, 필터가 정의된 위치의 개수 정보, 장애물의 위치 정보, 정의된 필터의 개수 정보, 정의된 필터의 위치 정보, 필터의 타입 정보, 주파수 대역의 개수 정보 및 주파수 대역에 따른 필터 게인(gain) 정보를 포함할 수도 있고, 표 4와 같이 나타낼 수 있다.
여기서, 장애물의 개수 정보는 NumObstacles 필드로 지시될 수 있고, 장애물의 ID 정보는 ObstacleID 필드로 지시될 수 있으며, 필터가 정의된 위치의 개수 정보는 NumOfDefinedPos 필드로 지시될 수 있다. 각 위치에 따라 장애물의 위치 정보는 방위각 정보, 고도각 정보 및 거리 정보를 포함할 수 있고, 방위각 정보 및 고도각 정보는 DefinedPos_azimuth 필드 및 DefinedPos_elevation 필드에 의해 각도값으로 지시될 수 있고, 거리 정보는 DefinedPos_distance 필드에 의해 meter 값으로 지시될 수 있다. 정의된 필터의 개수 정보는 NumOfFilters 필드로 지시될 수 있다. 각 정의된 필터의 위치 정보는 방위각 정보, 고도각 정보 및 거리 정보를 포함할 수 있고, 방위각 정보 및 고도각 정보는 OFilterPos_azimuth 필드 및 OFilterPos_elevation 필드에 의해 각도값으로 지시될 수 있고, 거리 정보는 OFilterPos_distance 필드에 의해 meter 값으로 지시될 수 있다.
각 필터의 타입 정보는 OFilterType 필드로 지시될 수 있으며, OFilterType 필드의 값이 0인 경우 직접음(direct part)에 적용되는 것을 지시할 수 있고, 1인 경우 초기 반사음(early reflection) 및 후기 잔향음(late reverberation)에 적용되는 것을 지시할 수 있고, 2인 경우 모두 적용되는 것을 지시할 수 있다. 여기서, 직접음은 프라이머리(primary) 신호라 지칭될 수 있고, 초기 반사음 및 후기 잔향음은 앰비언트(ambient) 신호라 지칭될 수도 있다.
주파수 대역의 개수 정보는 NumOfFreq 필드로 지시될 수 있고, 주파수 대역에 따른 필터 게인(gain) 정보는 FilterGain 필드로 지시될 수 있다. 여기서 게인 정보는 주파수 대역 마다 지시될 수 있다.
이 경우, 오클루션 이펙트를 적용하기 위한 필터는 오클루션 이펙트 정보 내의 정의된 필터들 중 하나를 선택할 수 있고, 3차원 오디오 신호에 선택한 필터를 적용할 수 있다.
일 실시예에서, 상기 오클루션 이펙트 정보는 장애물의 개수 정보, 장애물의 ID 정보, 음원과 사용자 간의 유클리디안(euclidean) 거리 정보, 음원과 사용자 간의 유클리디안 거리 정보의 개수, 음원에서 장애물까지와 장애물에서 사용자까지의 거리의 비율 정보, 음원에서 장애물까지와 장애물에서 사용자까지의 거리의 비율 정보의 개수, 음원과 사용자 간의 직선 거리를 벗어난 정도 값, 음원과 사용자 간의 직선 거리를 벗어난 정도 값의 개수 정보, 필터의 타입 정보, 주파수 대역의 개수 정보 및 주파수 대역에 따른 필터 게인(gain) 정보를 포함할 수도 있고, 표 5와 같이 나타낼 수 있다.
여기서, 장애물의 개수 정보는 NumObstacles 필드로 지시될 수 있고, 장애물의 ID 정보는 Obstacle 필드로 지시될 수 있다. 음원과 사용자 간의 유클리디안(euclidean) 거리 정보는 EucDistOfSrc2Dest 필드로 지시될 수 있고, 음원과 사용자 간의 유클리디안 거리 정보의 개수 정보는 NumEucDistOfSrc2Dest 필드로 지시될 수 있다. 음원에서 장애물까지와 장애물에서 사용자까지의 거리의 비율 정보는 RelativeDistRatio 필드로 지시될 수 있고, 음원에서 장애물까지와 장애물에서 사용자까지의 거리의 비율 정보의 개수 정보는 NumRelativeDistRatio 필드로 지시될 수 있다. 여기서, 비율 정보를 기반으로 장애물의 위치를 확인할 수 있다. 음원과 사용자 간의 직선 거리를 벗어난 정도 값은 ShiftOffset 필드로 지시될 수 있고, 음원과 사용자 간의 직선 거리를 벗어난 정도 값의 개수 정보는 NumOfShiftOffset 필드로 지시될 수 있다. 여기서, 직선 거리로부터 offset 값을 적용하여 필터가 정의된 정확한 위치를 확인할 수 있고, ShiftOffset 필드값은 직선을 기준으로 왼쪽 또는 아래 방향인 경우 음수 값을, 오른쪽 또는 위 방향인 경우 양수 값을 가질 수 있다.
각 필터의 타입 정보는 OFilterType 필드로 지시될 수 있으며, OFilterType 필드의 값이 0인 경우 직접음(direct part)에 적용되는 것을 지시할 수 있고, 1인 경우 초기 반사음(early reflection) 및 후기 잔향음(late reverberation)에 적용되는 것을 지시할 수 있고, 2인 경우 모두 적용되는 것을 지시할 수 있다. 여기서, 직접음은 프라이머리(primary) 신호라 지칭될 수 있고, 초기 반사음 및 후기 잔향음은 앰비언트(ambient) 신호라 지칭될 수도 있다.
주파수 대역의 개수 정보는 NumOfFreq 필드로 지시될 수 있고, 주파수 대역에 따른 필터 게인(gain) 정보는 FilterGain 필드로 지시될 수 있다. 여기서 게인 정보는 주파수 대역 마다 지시될 수 있다.
이 경우, 오클루션 이펙트를 적용하기 위한 필터는 오클루션 이펙트 정보 및 사용자의 위치 정보를 기반으로 장애물과 사용자 간의 상대적인 위치 정보를 도출할 수 있으며, 상대적인 위치 정보를 기반으로 상기 오클루션 이펙트 정보 내의 정의된 필터들 중 하나를 선택할 수 있고, 3차원 오디오 신호에 선택한 필터를 적용할 수 있다.
일 실시예에 따른 오디오 데이터 수신 장치(1900)는, 인코딩된 3차원 오디오 신호를 디코딩할 수 있다(S1810). 보다 구체적으로, 오디오 데이터 수신 장치(1900)의 오디오 신호 디코딩부(1920)는 인코딩된 3차원 오디오 신호를 디코딩할 수 있다.
일 실시예에 따른 오디오 데이터 수신 장치(1900)는, 3차원 오디오 컨텐츠의 메타데이터를 기반으로, 디코딩된 3차원 오디오 신호를 렌더링할 수 있다(S1820). 보다 구체적으로, 오디오 데이터 수신 장치(1900)의 렌더링부(1930)는 3차원 오디오 컨텐츠의 메타데이터를 기반으로, 디코딩된 3차원 오디오 신호를 렌더링할 수 있다.
일 실시예에서, 3차원 오디오 신호는 프라이머리 신호 및 앰비언트 신호로 분리될 수 있으며, 오클루션 이펙트 정보를 기반으로 필터를 도출할 수 있고, 도출한 필터를 프라이머리 신호 및 앰비언트 신호 중 적어도 하나에 적용할 수 있다. 즉, 필터는 상술한 바에 따라 구성될 수 있고, 정의된 필터 중 선택될 수도 있다.
여기서, 프라이머리 신호에 적용되는 필터는 음원과 사용자 사이의 1차 프레널 존(Fresnel zone)을 기반으로 도출될 수 있으며, 앰비언트 신호에 적용되는 필터는 상기 디코딩된 3차원 오디오 신호가 재생되는 공간의 크기 정보 및 장애물의 크기 정보를 기반으로 도출될 수 있다. 이에 대한 상세한 설명은 도 5 내지 도 12와 함께 상술하였다.
상기 S1800 내지 S1820에 따라, 오디오 데이터 수신 장치(1900)는 오디오 데이터 전송 장치로부터 3차원 오디오 컨텐츠의 오클루션 이펙트 정보를 수신하고, 3차원 오디오 컨텐츠에 대한 3차원 오디오 신호(예를 들어, 3DoF, 3DoF+ 또는 6DoF 환경의 VR 컨텐츠에 기반한 오디오 신호 또는 3DoF, 3DoF+ 또는 6DoF 환경의 AR 컨텐츠에 기반한 오디오 신호)를 렌더링(또는 재생)함에 있어서 오클루션 이펙트를 효율적으로 적용할 수 있다.
전술한 단계들은 실시예에 따라 생략되거나, 유사/동일한 동작을 수행하는 다른 단계에 의해 대체될 수 있다. 전술한 장치의 내부 컴포넌트들은 메모리에 저장된 연속된 수행과정들을 실행하는 프로세서들이거나, 그 외의 하드웨어로 구성된 하드웨어 컴포넌트들일 수 있다. 이 들은 장치 내/외부에 위치할 수 있다.
전술한 각각의 파트, 모듈 또는 유닛은 메모리(또는 저장 유닛)에 저장된 연속된 수행과정들을 실행하는 프로세서이거나 하드웨어 파트일 수 있다. 전술한 실시예에 기술된 각 단계들은 프로세서 또는 하드웨어 파트들에 의해 수행될 수 있다. 전술한 실시예에 기술된 각 모듈/블락/유닛들은 하드웨어/프로세서로서 동작할 수 있다. 또한, 본 발명이 제시하는 방법들은 코드로서 실행될 수 있다. 이 코드는 프로세서가 읽을 수 있는 저장매체에 쓰여질 수 있고, 따라서 장치(apparatus)가 제공하는 프로세서에 의해 읽혀질 수 있다.
상술한 실시예에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당업자라면 순서도에 나타내어진 단계들이 배타적이지 않고, 다른 단계가 포함되거나 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
본 발명에서 실시예들이 소프트웨어로 구현될 때, 상술한 방법은 상술한 기능을 수행하는 모듈(과정, 기능 등)로 구현될 수 있다. 모듈은 메모리에 저장되고, 프로세서에 의해 실행될 수 있다. 메모리는 프로세서 내부 또는 외부에 있을 수 있고, 잘 알려진 다양한 수단으로 프로세서와 연결될 수 있다. 프로세서는 ASIC(application-specific integrated circuit), 다른 칩셋, 논리 회로 및/또는 데이터 처리 장치를 포함할 수 있다. 메모리는 ROM(read-only memory), RAM(random access memory), 플래쉬 메모리, 메모리 카드, 저장 매체 및/또는 다른 저장 장치를 포함할 수 있다.
상술한 본 발명의 실시예들은 VR 및 AR에 적용될 수 있다. 상술한 본 발명의 실시예들은 다음과 같은 칩셋 기반으로 구현될 수 있다.
도 20은 본 발명의 실시예들을 지원할 수 있는 장치를 예시적으로 나타낸다. 예를 들어, 상기 제1 장치(first device)는 전송 장치(ex. 360 비디오 전송 장치)를 포함할 수 있고, 상기 제2 장치는 수신 장치(ex. 360 비디오 수신 장치)를 포함할 수 있다. 상술한 전송 장치 및 수신 장치에 대한 본 명세서에서의 기술적 특징이 이 실시예에 적용될 수 있다.
예를 들어, 제1 장치는 프로세서, 메모리, 비디오/이미지 획득 장치 및 송수신부를 포함할 수 있다. 프로세서는 본 명세서에서 설명된 제안된 기능, 절차 및/또는 방법을 수행하도록 구성될 수 있다. 예를 들어, 상기 프로세서는 상술한 스티칭, 프로젝션, (리전와이즈) 패킹, 컴포지션, (비디오/이미지) 인코딩, 메타데이터 생성 및 처리 등의 절차를 제어 및/또는 수행하도록 구성될 수 있다. 상기 프로세서는 360 비디오/이미지 획득 절차 및 VR/AR 정보(ex. 360 비디오/이미지 데이터 등)의 인캡슐레이션 및 송신 처리를 위한 절차를 제어 및/또는 수행하도록 구성될 수도 있다. 상기 프로세서는 본 발명의 실시예들에서 개시한 메타데이터를 구성 및 전송을 제어할 수 있다. 메모리는 프로세서와 동작 가능하게 결합되고, 프로세서를 동작시키기 위한 다양한 정보를 저장한다. 송수신부는 프로세서와 동작 가능하게 결합되고, 유/무선 신호를 송신 및/또는 수신한다.
또한, 예를 들어, 제2 장치는 프로세서, 메모리, 송수신부, 렌더러를 포함할 수 있다. 렌더러는 생략되고 외부 장치로 구현될 수 있다. 프로세서는 본 명세서에서 설명된 제안된 기능, 절차 및/ 또는 방법을 수행하도록 구성될 수 있다. 예를 들어, 상기 프로세서는 상술한 메타데이터 획득 및 처리, (비디오/이미지) 디코딩, (리전와이즈) 언패킹, 셀렉션, 컴포지션, 리프로젝션, 렌더링 등의 절차를 제어 및/또는 수행하도록 구성될 수 있다. 상기 프로세서는 VR/AR 정보(ex. 360 비디오/이미지 데이터 등)의 디캡슐레이션 및 수신 처리를 위한 절차를 제어 및/또는 수행하도록 구성될 수도 있다. 상기 프로세서는 본 발명의 실시예들에서 개시한 메타데이터를 구성 및 전송을 제어할 수 있다. 메모리는 프로세서와 동작 가능하게 결합되고, 프로세서를 동작시키기 위한 다양한 정보를 저장한다. 송수신부는 프로세서와 동작 가능하게 결합되고, 유/무선 신호를 송신 및/또는 수신한다.
본 명세서에서 프로세서는 ASIC(application-specific integrated circuit), 다른 칩셋, 논리 회로 및/또는 데이터 처리 장치를 포함할 수 있다. 메모리는 ROM(read-only memory), RAM(random access memory), 플래시 메모리, 메모리 카드, 저장 매체 및/또는 다른 저장 장치를 포함할 수 있다. 송수신부는 무선 주파수 신호를 처리하기 위한 기저 대역 회로를 포함할 수 있다. 실시예가 소프트웨어로 구현되는 경우, 본 명세서에서 설명된 기술들은 본 명세서에서 설명된 기능을 수행하는 모듈(예컨대, 절차, 기능 등)로 구현될 수 있다. 모듈은 메모리에 저장될 수 있고 프로세서에 의해 실행될 수 있다. 메모리는 프로세서 내부에 구현될 수 있다. 또는, 메모리는 프로세서 외부에 구현될 수 있으며, 기술 분야에서 공지된 다양한 수단을 통해 프로세서에 통신 가능하게 연결될 수 있다.
상기 제 1 장치는 기지국, 네트워크 노드, 전송 단말, 수신 단말, 무선 장치, 무선 통신 장치, 차량, 자율주행 기능을 탑재한 차량, 커넥티드카(Connected Car), 드론(Unmanned Aerial Vehicle, UAV), AI(Artificial Intelligence) 모듈, 로봇, AR(Augmented Reality) 장치, VR(Virtual Reality) 장치, MR(Mixed Reality) 장치, 홀로그램 장치, 공공 안전 장치, MTC 장치, IoT 장치, 의료 장치, 핀테크 장치(또는 금융 장치), 보안 장치, 기후/환경 장치, 5G 서비스와 관련된 장치 또는 그 이외 4차 산업 혁명 분야와 관련된 장치일 수 있다.
상기 제 2 장치는 기지국, 네트워크 노드, 전송 단말, 수신 단말, 무선 장치, 무선 통신 장치, 차량, 자율주행 기능을 탑재한 차량, 커넥티드카(Connected Car), 드론(Unmanned Aerial Vehicle, UAV), AI(Artificial Intelligence) 모듈, 로봇, AR(Augmented Reality) 장치, VR(Virtual Reality) 장치, MR(Mixed Reality) 장치, 홀로그램 장치, 공공 안전 장치, MTC 장치, IoT 장치, 의료 장치, 핀테크 장치(또는 금융 장치), 보안 장치, 기후/환경 장치, 5G 서비스와 관련된 장치 또는 그 이외 4차 산업 혁명 분야와 관련된 장치일 수 있다.
예를 들어, 단말은 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털 방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)) 등을 포함할 수 있다. 예를 들어, HMD는 머리에 착용하는 형태의 디스플레이 장치일 수 있다. 예를 들어, HMD는 VR, AR 또는 MR을 구현하기 위해 사용될 수 있다.
예를 들어, 드론은 사람이 타지 않고 무선 컨트롤 신호에 의해 비행하는 비행체일 수 있다. 예를 들어, VR 장치는 가상 세계의 객체 또는 배경 등을 구현하는 장치를 포함할 수 있다. 예를 들어, AR 장치는 현실 세계의 객체 또는 배경 등에 가상 세계의 객체 또는 배경을 연결하여 구현하는 장치를 포함할 수 있다. 예를 들어, MR 장치는 현실 세계의 객체 또는 배경 등에 가상 세계의 객체 또는 배경을 융합하여 구현하는 장치를 포함할 수 있다. 예를 들어, 홀로그램 장치는 홀로그래피라는 두 개의 레이저 광이 만나서 발생하는 빛의 간섭현상을 활용하여, 입체 정보를 기록 및 재생하여 360도 입체 영상을 구현하는 장치를 포함할 수 있다. 예를 들어, 공공 안전 장치는 영상 중계 장치 또는 사용자의 인체에 착용 가능한 영상 장치 등을 포함할 수 있다. 예를 들어, MTC 장치 및 IoT 장치는 사람의 직접적인 개입이나 또는 조작이 필요하지 않는 장치일 수 있다. 예를 들어, MTC 장치 및 IoT 장치는 스마트 미터, 벤딩 머신, 온도계, 스마트 전구, 도어락 또는 각종 센서 등을 포함할 수 있다. 예를 들어, 의료 장치는 질병을 진단, 치료, 경감, 처치 또는 예방할 목적으로 사용되는 장치일 수 있다. 예를 들어, 의료 장치는 상해 또는 장애를 진단, 치료, 경감 또는 보정할 목적으로 사용되는 장치일 수 있다. 예를 들어, 의료 장치는 구조 또는 기능을 검사, 대체 또는 변형할 목적으로 사용되는 장치일 수 있다. 예를 들어, 의료 장치는 임신을 조절할 목적으로 사용되는 장치일 수 있다. 예를 들어, 의료 장치는 진료용 장치, 수술용 장치, (체외) 진단용 장치, 보청기 또는 시술용 장치 등을 포함할 수 있다. 예를 들어, 보안 장치는 발생할 우려가 있는 위험을 방지하고, 안전을 유지하기 위하여 설치한 장치일 수 있다. 예를 들어, 보안 장치는 카메라, CCTV, 녹화기(recorder) 또는 블랙박스 등일 수 있다. 예를 들어, 핀테크 장치는 모바일 결제 등 금융 서비스를 제공할 수 있는 장치일 수 있다. 예를 들어, 핀테크 장치는 결제 장치 또는 POS(Point of Sales) 등을 포함할 수 있다. 예를 들어, 기후/환경 장치는 기후/환경을 모니터링 또는 예측하는 장치를 포함할 수 있다.
상기 제 1 장치 및/또는 상기 제 2 장치는 하나 이상의 안테나를 가질 수 있다. 예를 들어, 안테나는 무선 신호를 송수신하도록 구성될 수 있다.
상술한 본 발명에 따른 기술적 특징은 VR/AR 등 다양한 서비스에 적용될 수 있다. 또한, 상술한 본 발명에 따른 기술적 특징은 5G(fifth generation) 또는 차세대 통신 등을 통하여 수행될 수 있다. 예를 들어, 송신장치(ex. 360 비디오 전송 장치)에서 출력된 데이터(ex. 비디오/영상 비트스트림, 메타데이터 등 포함)는 상기 5G 통신을 통하여 수신장치(ex. 360 비디오 수신 장치)로 전송될 수 있다. 또한, (VR/AR) 영상/비디오 획득 장치가 외부에 별도로 구비되고, 상기 송신장치로 5G 통신을 통하여 획득된 영상/비디오를 전달할 수 있다. 또한, 본 발명에 따른 송신장치 및/또는 수신장치는 5G 통신을 통하여 다양한 서비스 시나리오를 지원할 수 있다.
도 21은 본 발명의 기술적 특징이 적용될 수 있는 5G 사용 시나리오의 예를 나타낸다. 여기서 도시된 5G 사용 시나리오는 단지 예시적인 것이며, 본 발명의 기술적 특징은 도시되지 않은 다른 5G 사용 시나리오에도 적용될 수 있다.
도 21을 참조하면, 5G의 세 가지 주요 요구 사항 영역은 (1) 개선된 모바일 광대역(eMBB; enhanced mobile broadband) 영역, (2) 다량의 머신 타입 통신(mMTC; massive machine type communication) 영역 및 (3) 초-신뢰 및 저 지연 통신(URLLC; ultra-reliable and low latency communications) 영역을 포함한다. 일부 사용 예는 최적화를 위해 다수의 영역을 요구할 수 있고, 다른 사용 예는 단지 하나의 핵심 성능 지표(KPI; key performance indicator)에만 포커싱 할 수 있다. 5G는 이러한 다양한 사용 예들을 유연하고 신뢰할 수 있는 방법으로 지원하는 것이다.
eMBB는 데이터 속도, 지연, 사용자 밀도, 모바일 광대역 접속의 용량 및 커버리지의 전반적인 향상에 중점을 둔다. eMBB는 10Gbps 정도의 처리량을 목표로 한다. eMBB는 기본적인 모바일 인터넷 접속을 훨씬 능가하게 하며, 풍부한 양방향 작업, 클라우드 또는 증강 현실에서 미디어 및 엔터테인먼트 애플리케이션을 커버한다. 데이터는 5G의 핵심 동력 중 하나이며, 5G 시대에서 처음으로 전용 음성 서비스를 볼 수 없을 수 있다. 5G에서, 음성은 단순히 통신 시스템에 의해 제공되는 데이터 연결을 사용하여 응용 프로그램으로서 처리될 것으로 기대된다. 증가된 트래픽 양의 주요 원인은 콘텐츠 크기의 증가 및 높은 데이터 전송률을 요구하는 애플리케이션 수의 증가이다. 스트리밍 서비스(오디오 및 비디오), 대화형 비디오 및 모바일 인터넷 연결은 더 많은 장치가 인터넷에 연결될수록 더 널리 사용될 것이다. 이러한 많은 애플리케이션은 사용자에게 실시간 정보 및 알림을 푸쉬하기 위해 항상 켜져 있는 연결성을 필요로 한다. 클라우드 스토리지 및 애플리케이션은 모바일 통신 플랫폼에서 급속히 증가하고 있으며, 이것은 업무 및 엔터테인먼트 모두에 적용될 수 있다. 클라우드 스토리지는 상향링크 데이터 전송률의 성장을 견인하는 특별한 사용 예이다. 5G는 또한 클라우드 상의 원격 업무에도 사용되며, 촉각 인터페이스가 사용될 때 우수한 사용자 경험을 유지하도록 훨씬 더 낮은 단-대-단(end-to-end) 지연을 요구한다. 엔터테인먼트에서 예를 들면, 클라우드 게임 및 비디오 스트리밍은 모바일 광대역 능력에 대한 요구를 증가시키는 또 다른 핵심 요소이다. 엔터테인먼트는 기차, 차 및 비행기와 같은 높은 이동성 환경을 포함하여 어떤 곳에서든지 스마트폰 및 태블릿에서 필수적이다. 또 다른 사용 예는 엔터테인먼트를 위한 증강 현실 및 정보 검색이다. 여기서, 증강 현실은 매우 낮은 지연과 순간적인 데이터 양을 필요로 한다.
mMTC는 배터리에 의해 구동되는 다량의 저비용 장치 간의 통신을 가능하게 하기 위하여 설계되며, 스마트 계량, 물류, 현장 및 신체 센서와 같은 애플리케이션을 지원하기 위한 것이다. mMTC는 10년 정도의 배터리 및/또는 1km2 당 백만 개 정도의 장치를 목표로 한다. mMTC는 모든 분야에서 임베디드 센서를 원활하게 연결할 수 있게 하며, 가장 많이 예상되는 5G 사용 예 중 하나이다. 잠재적으로 2020년까지 IoT 장치들은 204억 개에 이를 것으로 예측된다. 산업 IoT는 5G가 스마트 도시, 자산 추적(asset tracking), 스마트 유틸리티, 농업 및 보안 인프라를 가능하게 하는 주요 역할을 수행하는 영역 중 하나이다.
URLLC는 장치 및 기계가 매우 신뢰성 있고 매우 낮은 지연 및 높은 가용성으로 통신할 수 있도록 함으로써 차량 통신, 산업 제어, 공장 자동화, 원격 수술, 스마트 그리드 및 공공 안전 애플리케이션에 이상적이다. URLLC는 1ms의 정도의 지연을 목표로 한다. URLLC는 주요 인프라의 원격 제어 및 자율 주행 차량과 같은 초 신뢰/지연이 적은 링크를 통해 산업을 변화시킬 새로운 서비스를 포함한다. 신뢰성과 지연의 수준은 스마트 그리드 제어, 산업 자동화, 로봇 공학, 드론 제어 및 조정에 필수적이다.
다음으로, 도 21의 삼각형 안에 포함된 다수의 사용 예에 대해 보다 구체적으로 살펴본다.
5G는 초당 수백 메가 비트에서 초당 기가 비트로 평가되는 스트림을 제공하는 수단으로 FTTH(fiber-to-the-home) 및 케이블 기반 광대역(또는 DOCSIS)을 보완할 수 있다. 이러한 빠른 속도는 가상 현실(VR; virtual reality)과 증강 현실(AR; augmented reality) 뿐 아니라 4K 이상(6K, 8K 및 그 이상)의 해상도로 TV를 전달하는 데에 요구될 수 있다. VR 및 AR 애플리케이션은 거의 몰입형(immersive) 스포츠 경기를 포함한다. 특정 애플리케이션은 특별한 네트워크 설정이 요구될 수 있다. 예를 들어, VR 게임의 경우, 게임 회사가 지연을 최소화하기 위해 코어 서버를 네트워크 오퍼레이터의 에지 네트워크 서버와 통합해야 할 수 있다.
자동차(Automotive)는 차량에 대한 이동 통신을 위한 많은 사용 예와 함께 5G에 있어 중요한 새로운 동력이 될 것으로 예상된다. 예를 들어, 승객을 위한 엔터테인먼트는 높은 용량과 높은 모바일 광대역을 동시에 요구한다. 그 이유는 미래의 사용자는 그들의 위치 및 속도와 관계 없이 고품질의 연결을 계속해서 기대하기 때문이다. 자동차 분야의 다른 사용 예는 증강 현실 대시보드이다. 운전자는 증강 현실 대비보드를 통해 앞면 창을 통해 보고 있는 것 위에 어둠 속에서 물체를 식별할 수 있다. 증강 현실 대시보드는 물체의 거리와 움직임에 대해 운전자에게 알려줄 정보를 겹쳐서 디스플레이 한다. 미래에, 무선 모듈은 차량 간의 통신, 차량과 지원하는 인프라구조 사이에서 정보 교환 및 자동차와 다른 연결된 장치(예를 들어, 보행자에 의해 수반되는 장치) 사이에서 정보 교환을 가능하게 한다. 안전 시스템은 운전자가 보다 안전한 운전을 할 수 있도록 행동의 대체 코스를 안내하여 사고의 위험을 낮출 수 있게 한다. 다음 단계는 원격 조종 차량 또는 자율 주행 차량이 될 것이다. 이는 서로 다른 자율 주행 차량 사이 및/또는 자동차와 인프라 사이에서 매우 신뢰성이 있고 매우 빠른 통신을 요구한다. 미래에, 자율 주행 차량이 모든 운전 활동을 수행하고, 운전자는 차량 자체가 식별할 수 없는 교통 이상에만 집중하도록 할 것이다. 자율 주행 차량의 기술적 요구 사항은 트래픽 안전을 사람이 달성할 수 없을 정도의 수준까지 증가하도록 초 저 지연과 초고속 신뢰성을 요구한다.
스마트 사회로서 언급되는 스마트 도시와 스마트 홈은 고밀도 무선 센서 네트워크로 임베디드 될 것이다. 지능형 센서의 분산 네트워크는 도시 또는 집의 비용 및 에너지 효율적인 유지에 대한 조건을 식별할 것이다. 유사한 설정이 각 가정을 위해 수행될 수 있다. 온도 센서, 창 및 난방 컨트롤러, 도난 경보기 및 가전 제품은 모두 무선으로 연결된다. 이러한 센서 중 많은 것들이 전형적으로 낮은 데이터 전송 속도, 저전력 및 저비용을 요구한다. 하지만, 예를 들어, 실시간 HD 비디오는 감시를 위해 특정 타입의 장치에서 요구될 수 있다.
열 또는 가스를 포함한 에너지의 소비 및 분배는 고도로 분산화되고 있어, 분산 센서 네트워크의 자동화된 제어가 요구된다. 스마트 그리드는 정보를 수집하고 이에 따라 행동하도록 디지털 정보 및 통신 기술을 사용하여 이런 센서를 상호 연결한다. 이 정보는 공급 업체와 소비자의 행동을 포함할 수 있으므로, 스마트 그리드가 효율성, 신뢰성, 경제성, 생산의 지속 가능성 및 자동화된 방식으로 전기와 같은 연료의 분배를 개선하도록 할 수 있다. 스마트 그리드는 지연이 적은 다른 센서 네트워크로 볼 수도 있다.
건강 부문은 이동 통신의 혜택을 누릴 수 있는 많은 애플리케이션을 보유하고 있다. 통신 시스템은 멀리 떨어진 곳에서 임상 진료를 제공하는 원격 진료를 지원할 수 있다. 이는 거리에 대한 장벽을 줄이는 데에 도움을 주고, 거리가 먼 농촌에서 지속적으로 이용하지 못하는 의료 서비스로의 접근을 개선시킬 수 있다. 이는 또한 중요한 진료 및 응급 상황에서 생명을 구하기 위해 사용된다. 이동 통신 기반의 무선 센서 네트워크는 심박수 및 혈압과 같은 파라미터에 대한 원격 모니터링 및 센서를 제공할 수 있다.
무선 및 모바일 통신은 산업 응용 분야에서 점차 중요해지고 있다. 배선은 설치 및 유지 비용이 높다. 따라서, 케이블을 재구성할 수 있는 무선 링크로의 교체 가능성은 많은 산업 분야에서 매력적인 기회이다. 그러나, 이를 달성하는 것은 무선 연결이 케이블과 비슷한 지연, 신뢰성 및 용량으로 동작하는 것과, 그 관리가 단순화될 것을 요구한다. 낮은 지연과 매우 낮은 오류 확률은 5G로 연결될 필요가 있는 새로운 요구 사항이다.
물류 및 화물 추적은 위치 기반 정보 시스템을 사용하여 어디에서든지 인벤토리(inventory) 및 패키지의 추적을 가능하게 하는 이동 통신에 대한 중요한 사용 예이다. 물류 및 화물 추적의 사용 예는 전형적으로 낮은 데이터 속도를 요구하지만 넓은 범위와 신뢰성 있는 위치 정보가 필요하다.
또한, 본 발명에 따른 실시예들은 확장 현실(XR: eXtended Reality)을 지원하기 위하여 수행될 수 있다. 확장 현실은 가상 현실(VR: Virtual Reality), 증강 현실(AR: Augmented Reality), 혼합 현실(MR: Mixed Reality)을 총칭한다. VR 기술은 현실 세계의 객체나 배경 등을 CG 영상으로만 제공하고, AR 기술은 실제 사물 영상 위에 가상으로 만들어진 CG 영상을 함께 제공하며, MR 기술은 현실 세계에 가상 객체들을 섞고 결합시켜서 제공하는 컴퓨터 그래픽 기술이다.
MR 기술은 현실 객체와 가상 객체를 함께 보여준다는 점에서 AR 기술과 유사하다. 그러나, AR 기술에서는 가상 객체가 현실 객체를 보완하는 형태로 사용되는 반면, MR 기술에서는 가상 객체와 현실 객체가 동등한 성격으로 사용된다는 점에서 차이점이 있다.
XR 기술은 HMD(Head-Mount Display), HUD(Head-Up Display), 휴대폰, 태블릿 PC, 랩탑, 데스크탑, TV, 디지털 사이니지 등에 적용될 수 있고, XR 기술이 적용된 장치를 XR 장치(XR Device)라 칭할 수 있다. XR 장치는 상술한 제1 장치 및/또는 제2 장치를 포함할 수 있다.
XR 장치는 5G 통신 등에 기반한 통신 네트워크를 통하여 다양한 서비스에 연결될 수 있다.
도 22는 본 발명의 일 실시 예에 따른 서비스 시스템을 나타낸다.
도 22를 참조하면, XR 장치(100c)는 네트워크(10)를 통하여 AI 서버(200a), 로봇(100a), 자율 주행 차량(100b), 스마트폰(100d) 또는 가전(100e) 중에서 적어도 하나 이상과 연결될 수 있다. 여기서, AI 기술이 적용된 로봇(100a), 자율 주행 차량(100b), XR 장치(100c), 스마트폰(100d) 또는 가전(100e) 등을 AI 장치라 칭할 수 있다.
네트워크(10)은 유/무선 통신 네트워크를 포함할 수 있다. 네트워크(10)는 클라우드 네트워크를 포함할 수 있다. 클라우드 네트워크는 클라우드 컴퓨팅 인프라의 일부를 구성하거나 클라우드 컴퓨팅 인프라 안에 존재하는 네트워크를 의미할 수 있다. 여기서, 클라우드 네트워크는 3G 네트워크, 4G 또는 LTE(Long Term Evolution) 네트워크 또는 5G 네트워크 등을 이용하여 구성될 수 있다.
상기 시스템(1)을 구성하는 각 장치들(100a 내지 100e, 200a)은 클라우드 네트워크(10)를 통해 서로 연결될 수 있다. 특히, 각 장치들(100a 내지 100e, 200a)은 기지국을 통해서 서로 통신할 수도 있지만, 기지국을 통하지 않고 직접 서로 통신할 수도 있다.
AI 서버(200a)는 AI 프로세싱을 수행하는 서버와 빅 데이터에 대한 연산을 수행하는 서버를 포함할 수 있다.
AI 서버(200a)는 로봇(100a), 자율 주행 차량(100b), XR 장치(100c), 스마트폰(100d) 또는 가전(100e) 중에서 적어도 하나 이상과 네트워크(10)을 통하여 연결되고, 연결된 AI 장치들(100a 내지 100e)의 AI 프로세싱을 적어도 일부를 도울 수 있다.
이때, AI 서버(200a)는 AI 장치(100a 내지 100e)를 대신하여 머신 러닝 알고리즘에 따라 인공 신경망을 학습시킬 수 있고, 학습 모델을 직접 저장하거나 AI 장치(100a 내지 100e)에 전송할 수 있다.
이때, AI 서버(200a)는 AI 장치(100a 내지 100e)로부터 입력 데이터를 수신하고, 학습 모델을 이용하여 수신한 입력 데이터에 대하여 결과 값을 추론하고, 추론한 결과 값에 기초한 응답이나 제어 명령을 생성하여 AI 장치(100a 내지 100e)로 전송할 수 있다.
또는, AI 장치(100a 내지 100e)는 직접 학습 모델을 이용하여 입력 데이터에 대하여 결과 값을 추론하고, 추론한 결과 값에 기초한 응답이나 제어 명령을 생성할 수도 있다.
XR 장치(100c)는 HMD(Head-Mount Display), 차량에 구비된 HUD(Head-Up Display), 텔레비전, 휴대폰, 스마트 폰, 컴퓨터, 웨어러블 디바이스, 가전 기기, 디지털 사이니지, 차량, 고정형 로봇이나 이동형 로봇 등으로 구현될 수 있다.
XR 장치(100c)는 다양한 센서들을 통해 또는 외부 장치로부터 획득한 3차원 포인트 클라우드 데이터 또는 이미지 데이터를 분석하여 3차원 포인트들에 대한 위치 데이터 및 속성 데이터를 생성함으로써 주변 공간 또는 현실 객체에 대한 정보를 획득하고, 출력할 XR 객체를 렌더링하여 출력할 수 있다. 예컨대, XR 장치는 인식된 물체에 대한 추가 정보를 포함하는 XR 객체를 해당 인식된 물체에 대응시켜 출력할 수 있다.
XR 장치(100c)는 적어도 하나 이상의 인공 신경망으로 구성된 학습 모델을 이용하여 상기한 동작들을 수행할 수 있다. 예컨대, XR 장치(100c)는 학습 모델을 이용하여 3차원 포인트 클라우드 데이터 또는 이미지 데이터에서 현실 객체를 인식할 수 있고, 인식한 현실 객체에 상응하는 정보를 제공할 수 있다. 여기서, 학습 모델은 XR 장치(100c)에서 직접 학습되거나, AI 서버(200a) 등의 외부 장치에서 학습된 것일 수 있다.
이때, XR 장치(100c)는 직접 학습 모델을 이용하여 결과를 생성하여 동작을 수행할 수도 있지만, AI 서버(200a) 등의 외부 장치에 센서 정보를 전송하고 그에 따라 생성된 결과를 수신하여 동작을 수행할 수도 있다.
로봇(100a)은 안내 로봇, 운반 로봇, 청소 로봇, 웨어러블 로봇, 엔터테인먼트 로봇, 펫 로봇, 무인 비행 로봇, 드론 등을 포함할 수 있다.
로봇(100a)은 동작을 제어하기 위한 로봇 제어 모듈을 포함할 수 있고, 로봇 제어 모듈은 소프트웨어 모듈 또는 이를 하드웨어로 구현한 칩을 의미할 수 있다.
로봇(100a)은 다양한 종류의 센서들로부터 획득한 센서 정보를 이용하여 로봇(100a)의 상태 정보를 획득하거나, 주변 환경 및 객체를 검출(인식)하거나, 맵 데이터를 생성하거나, 이동 경로 및 주행 계획을 결정하거나, 사용자 상호작용에 대한 응답을 결정하거나, 동작을 결정할 수 있다.
여기서, 로봇(100a)은 이동 경로 및 주행 계획을 결정하기 위하여, 라이다, 레이더, 카메라 중에서 적어도 하나 이상의 센서에서 획득한 센서 정보를 이용할 수 있다.
XR 장치(100c)는 네트워크(10)를 통하여 로봇(100a)을 원격접속 및/또는 원격조정할 수도 있다. 이 경우, 로봇(100a)은 XR 장치(100c)를 사용하는 사용자와 시야 또는 화면을 공유하고, 상기 사용자의 제어/상호작용에 기초하여 구동부를 제어함으로써, 동작을 수행하거나 주행할 수 있다. 이때, 로봇(100a)은 사용자의 동작이나 음성 발화에 따른 상호작용의 의도 정보를 획득하고, 획득한 의도 정보에 기초하여 응답을 결정하여 동작을 수행할 수 있다.
XR 기술이 적용된 로봇(100a)은 XR 영상 내에서의 제어/상호작용의 대상이 되는 로봇을 의미할 수 있다. 이 경우, 로봇(100a)은 XR 장치(100c)와 구분되며 서로 연동될 수 있다. 이 경우, 로봇(100a)은 XR 장치(100c)와 구분되며 서로 연동될 수 있다. XR 영상 내에서의 제어/상호작용의 대상이 되는 로봇(100a)은 카메라를 포함하는 센서들로부터 센서 정보를 획득하면, 로봇(100a) 또는 XR 장치(100c)는 센서 정보에 기초한 XR 영상을 생성하고, XR 장치(100c)는 생성된 XR 영상을 출력할 수 있다. 그리고, 이러한 로봇(100a)은 XR 장치(100c)를 통해 입력되는 제어 신호 또는 사용자의 상호작용에 기초하여 동작할 수 있다.
예컨대, 사용자는 XR 장치(100c) 등의 외부 장치를 통해 원격으로 연동된 로봇(100a)의 시점에 상응하는 XR 영상을 확인할 수 있고, 상호작용을 통하여 로봇(100a)의 자율 주행 경로를 조정하거나, 동작 또는 주행을 제어하거나, 주변 객체의 정보를 확인할 수 있다.
자율 주행 차량(100b)은 이동형 로봇, 차량, 기차, 유/무인 비행체, 선박 등을 포함할 수 있다.
자율 주행 차량(100b)은 자율 주행 기능을 제어하기 위한 자율 주행 제어 모듈을 포함할 수 있고, 자율 주행 제어 모듈은 소프트웨어 모듈 또는 이를 하드웨어로 구현한 칩을 의미할 수 있다. 자율 주행 제어 모듈은 자율 주행 차량(100b)의 구성으로써 내부에 포함될 수도 있지만, 자율 주행 차량(100b)의 외부에 별도의 하드웨어로 구성되어 연결될 수도 있다.
자율 주행 차량(100b)은 다양한 종류의 센서들로부터 획득한 센서 정보를 이용하여 자율 주행 차량(100b)의 상태 정보를 획득하거나, 주변 환경 및 객체를 검출(인식)하거나, 맵 데이터를 생성하거나, 이동 경로 및 주행 계획을 결정하거나, 동작을 결정할 수 있다.
여기서, 자율 주행 차량(100b)은 이동 경로 및 주행 계획을 결정하기 위하여, 로봇(100a)과 마찬가지로, 라이다, 레이더, 카메라 중에서 적어도 하나 이상의 센서에서 획득한 센서 정보를 이용할 수 있다.
특히, 자율 주행 차량(100b)은 시야가 가려지는 영역이나 일정 거리 이상의 영역에 대한 환경이나 객체는 외부 장치들로부터 센서 정보를 수신하여 인식하거나, 외부 장치들로부터 직접 인식된 정보를 수신할 수 있다.
XR 장치(100c)는 네트워크(10)를 통하여 자율 주행 차량(100b)을 원격접속 및/또는 원격조정할 수도 있다. 이 경우, 자율 주행 차량(100b)은 XR 장치(100c)를 사용하는 사용자와 시야 또는 화면을 공유하고, 상기 사용자의 제어/상호작용에 기초하여 구동부를 제어함으로써, 동작을 수행하거나 주행할 수 있다. 이때, 로봇(100a)은 사용자의 동작이나 음성 발화에 따른 상호작용의 의도 정보를 획득하고, 획득한 의도 정보에 기초하여 응답을 결정하여 동작을 수행할 수 있다.
XR 기술이 적용된 자율 주행 차량(100b)은 XR 영상을 제공하는 수단을 구비한 자율 주행 차량이나, XR 영상 내에서의 제어/상호작용의 대상이 되는 자율 주행 차량 등을 의미할 수 있다. 특히, XR 영상 내에서의 제어/상호작용의 대상이 되는 자율 주행 차량(100b)은 XR 장치(100c)와 구분되며 서로 연동될 수 있다.
XR 영상을 제공하는 수단을 구비한 자율 주행 차량(100b)은 카메라를 포함하는 센서들로부터 센서 정보를 획득하고, 획득한 센서 정보에 기초하여 생성된 XR 영상을 출력할 수 있다. 예컨대, 자율 주행 차량(100b)은 HUD를 구비하여 XR 영상을 출력함으로써, 탑승자에게 현실 객체 또는 화면 속의 객체에 대응되는 XR 객체를 제공할 수 있다.
이때, XR 객체가 HUD에 출력되는 경우에는 XR 객체의 적어도 일부가 탑승자의 시선이 향하는 실제 객체에 오버랩되도록 출력될 수 있다. 반면, XR 객체가 자율 주행 차량(100b)의 내부에 구비되는 디스플레이에 출력되는 경우에는 XR 객체의 적어도 일부가 화면 속의 객체에 오버랩되도록 출력될 수 있다. 예컨대, 자율 주행 차량(100b)은 차로, 타 차량, 신호등, 교통 표지판, 이륜차, 보행자, 건물 등과 같은 객체와 대응되는 XR 객체들을 출력할 수 있다.
XR 영상 내에서의 제어/상호작용의 대상이 되는 자율 주행 차량(100b)은 카메라를 포함하는 센서들로부터 센서 정보를 획득하면, 자율 주행 차량(100b) 또는 XR 장치(100c)는 센서 정보에 기초한 XR 영상을 생성하고, XR 장치(100c)는 생성된 XR 영상을 출력할 수 있다. 그리고, 이러한 자율 주행 차량(100b)은 XR 장치(100c) 등의 외부 장치를 통해 입력되는 제어 신호 또는 사용자의 상호작용에 기초하여 동작할 수 있다.
XR 장치(100c)는 로봇(100a) 및/또는 자율 주행 차량(100b) 내부에 구비되어 사용자에게 별도의 XR 컨텐츠를 제공할 수도 있고, 또는 로봇(100a) 및/또는 자율 주행 차량(100b) 내/외부의 영상을 사용자에게 제공할 수도 있다.
XR 장치(100c)는 그 외에도 엔터테인먼트, 운동, 교육, 교통, 의료, 전자상거래, 제조, 국방 등 다양한 서비스에 사용될 수 있다. 예를 들어, 영화, 테마파크, 스포츠 등을 XR 장치(100c)를 통하여 체험 및/또는 관람할 수 있고, 의료용 실습, 화재 현장 등 위험한 환경에서의 훈련 등을 지원할 수 있다. 또한, XR 장치(100c)를 통하여 위치인식 및 지도 생성(SLAM) 기술을 활용한 AR 웨이즈(AR Ways) 등 길찾기 서비스를 제공할 수 있고, 또한, 가상의 쇼핑몰에 접속하여 물건을 쇼핑하고 구매할 수도 있다.

Claims (15)

  1. 오디오 데이터 수신 장치에 의하여 수행되는 오디오 데이터 수신 방법에 있어서,
    3차원 오디오 컨텐츠의 메타데이터 및 상기 3차원 오디오 컨텐츠의 인코딩된 3차원 오디오 신호를 수신하는 단계;
    상기 인코딩된 3차원 오디오 신호를 디코딩하는 단계; 및
    상기 3차원 오디오 컨텐츠의 메타데이터를 기반으로 상기 디코딩된 3차원 오디오 신호를 렌더링하는 단계를 포함하되,
    상기 메타데이터는 상기 3차원 오디오 컨텐츠의 오클루션 이펙트(occlusion effect) 정보를 포함하는 것을 특징으로 하는, 오디오 데이터 수신 방법.
  2. 제1항에 있어서,
    상기 3차원 오디오 컨텐츠의 메타데이터를 기반으로 상기 디코딩된 3차원 오디오 신호를 렌더링하는 단계는,
    상기 디코딩된 3차원 오디오 신호를 프라이머리(primary) 신호 및 앰비언트(ambient) 신호로 분리하는 단계;
    상기 오클루션 이펙트 정보를 기반으로 필터를 도출하는 단계; 및
    상기 프라이머리 신호 및 상기 앰비언트 신호 중 적어도 하나에 상기 필터를 적용하는 단계를 포함하는 것을 특징으로 하는, 오디오 데이터 수신 방법.
  3. 제2항에 있어서,
    상기 프라이머리 신호에 상기 필터가 적용되는 경우, 상기 필터는 음원과 사용자 사이의 1차 프레널 존(Fresnel zone)을 기반으로 도출되는 것을 특징으로 하는, 오디오 데이터 수신 방법.
  4. 제2항에 있어서,
    상기 앰비언트 신호에 상기 필터가 적용되는 경우, 상기 필터는 상기 디코딩된 3차원 오디오 신호가 재생되는 공간의 크기 정보 및 장애물의 크기 정보를 기반으로 도출되는 것을 특징으로 하는, 오디오 데이터 수신 방법.
  5. 제2항에 있어서,
    상기 오클루션 이펙트 정보를 기반으로 필터를 도출하는 단계는,
    상기 오클루션 이펙트 정보 및 사용자의 위치 정보를 기반으로 필터를 구성하는 단계를 포함하는 것을 특징으로 하는, 오디오 데이터 수신 방법.
  6. 제5항에 있어서,
    상기 오클루션 이펙트 정보는,
    장애물의 개수 정보, 장애물의 ID 정보, 장애물의 타입 정보, 상기 장애물의 타입 정보에 따른 장애물의 크기 정보, 장애물의 위치 정보, 주파수 대역의 개수 정보, 주파수 대역에 따른 반사 계수 및 주파수 대역에 따른 투과 계수를 포함하는 것을 특징으로 하는, 오디오 데이터 수신 방법.
  7. 제6항에 있어서,
    상기 장애물의 타입 정보에 따른 장애물의 크기 정보는,
    장애물을 형성하는 정점(static point)들의 위치 정보를 기반으로 도출되는 것을 특징으로 하는, 오디오 데이터 수신 방법.
  8. 제2항에 있어서,
    상기 오클루션 이펙트 정보를 기반으로 필터를 도출하는 단계는,
    사용자의 위치 정보를 기반으로 상기 오클루션 이펙트 정보 내의 정의된 필터들 중 하나를 선택하는 단계를 포함하는 것을 특징으로 하는, 오디오 데이터 수신 방법.
  9. 제8항에 있어서,
    상기 오클루션 이펙트 정보는,
    장애물의 개수 정보, 장애물의 ID 정보, 필터가 정의되어 있는 위치의 개수 정보, 장애물의 위치 정보, 정의된 필터의 개수 정보, 정의된 필터의 위치 정보, 필터의 타입 정보, 주파수 대역의 개수 정보 및 주파수 대역에 따른 필터 게인(gain) 정보를 포함하는 것을 특징으로 하는, 오디오 데이터 수신 방법.
  10. 제2항에 있어서,
    상기 오클루션 이펙트 정보를 기반으로 필터를 도출하는 단계는,
    상기 오클루션 이펙트 정보 및 사용자의 위치 정보를 기반으로 장애물과 상기 사용자 간의 상대적인 위치 정보를 도출하는 단계; 및
    상기 상대적인 위치 정보를 기반으로 상기 오클루션 이펙트 정보 내의 정의된 필터들 중 하나를 선택하는 단계를 포함하는 것을 특징으로 하는, 오디오 데이터 수신 방법.
  11. 제10항에 있어서,
    상기 오클루션 이펙트 정보는,
    장애물의 개수 정보, 장애물의 ID 정보, 음원과 사용자 간의 유클리디안(euclidean) 거리 정보, 음원과 사용자 간의 유클리디안 거리 정보의 개수, 음원에서 장애물까지와 장애물에서 사용자까지의 거리의 비율 정보, 음원에서 장애물까지와 장애물에서 사용자까지의 거리의 비율 정보의 개수, 음원과 사용자 간의 직선 거리를 벗어난 정도 값, 음원과 사용자 간의 직선 거리를 벗어난 정도 값의 개수 정보, 필터의 타입 정보, 주파수 대역의 개수 정보 및 주파수 대역에 따른 필터 게인(gain) 정보를 포함하는 것을 특징으로 하는, 오디오 데이터 수신 방법.
  12. 제1항에 있어서,
    상기 오클루션 이펙트 정보는,
    MHASPacketPayload 내의 MHASPacketType 필드 값이 20인 경우, 상기 MHASPacketPayload 내에 포함되는 것을 특징으로 하는, 오디오 데이터 수신 방법.
  13. 오디오 데이터 전송 장치에 의하여 수행되는 오디오 데이터 전송 방법에 있어서,
    3차원 오디오 컨텐츠의 메타데이터를 생성하는 단계;
    상기 3차원 오디오 컨텐츠의 3차원 오디오 신호를 인코딩하는 단계; 및
    상기 인코딩된 3차원 오디오 신호 및 상기 생성된 메타데이터를 처리하여 전송하는 단계를 포함하되,
    상기 메타데이터는 상기 3차원 오디오 컨텐츠의 오클루션 이펙트(occlusion effect)에 대한 정보를 포함하는 것을 특징으로 하는, 오디오 데이터 전송 방법.
  14. 제13항에 있어서,
    상기 3차원 오디오 신호는 프라이머리 신호 및 앰비언트 신호를 포함하고,
    상기 오클루션 이펙트 정보는 상기 프라이머리 신호 및 상기 앰비언트 신호 중 적어도 하나에 적용할 필터에 대한 정보를 포함하는 것을 특징으로 하는, 오디오 데이터 전송 방법.
  15. 오디오 데이터를 수신하는 오디오 데이터 수신 장치에 있어서,
    3차원 오디오 컨텐츠의 메타데이터 및 상기 3차원 오디오 컨텐츠의 인코딩된 3차원 오디오 신호를 수신하는 수신부;
    상기 인코딩된 3차원 오디오 신호를 디코딩하는 오디오 신호 디코딩부; 및
    상기 3차원 오디오 컨텐츠의 메타데이터를 기반으로 상기 디코딩된 3차원 오디오 신호를 렌더링하는 렌더링부를 포함하되,
    상기 메타데이터는 상기 3차원 오디오 컨텐츠의 오클루션 이펙트(occlusion effect) 정보를 포함하는 것을 특징으로 하는, 오디오 데이터 수신 장치.
PCT/KR2019/007280 2018-07-02 2019-06-17 오클루션 이펙트에 관한 오디오 데이터를 송수신하는 방법 및 그 장치 WO2020009350A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20180076658 2018-07-02
KR10-2018-0076658 2018-07-02

Publications (1)

Publication Number Publication Date
WO2020009350A1 true WO2020009350A1 (ko) 2020-01-09

Family

ID=69060698

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/007280 WO2020009350A1 (ko) 2018-07-02 2019-06-17 오클루션 이펙트에 관한 오디오 데이터를 송수신하는 방법 및 그 장치

Country Status (1)

Country Link
WO (1) WO2020009350A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140129654A (ko) * 2013-04-30 2014-11-07 인텔렉추얼디스커버리 주식회사 헤드 마운트 디스플레이 및 이를 이용한 오디오 콘텐츠 제공 방법
KR101491890B1 (ko) * 2010-01-15 2015-02-09 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 다운믹스 신호 및 공간 파라메트릭 정보로부터 다이렉트/앰비언스 신호를 추출하기 위한 장치 및 방법
KR20170117911A (ko) * 2011-06-09 2017-10-24 삼성전자주식회사 3차원 오디오 신호를 부호화 및 복호화하는 방법 및 장치
KR101825949B1 (ko) * 2015-10-06 2018-02-09 전자부품연구원 음원 분리를 포함하는 음원 위치 추정 장치 및 방법
KR20180059171A (ko) * 2016-11-25 2018-06-04 한국전자통신연구원 3차원 상호작용을 위한 증강현실 제공 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101491890B1 (ko) * 2010-01-15 2015-02-09 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 다운믹스 신호 및 공간 파라메트릭 정보로부터 다이렉트/앰비언스 신호를 추출하기 위한 장치 및 방법
KR20170117911A (ko) * 2011-06-09 2017-10-24 삼성전자주식회사 3차원 오디오 신호를 부호화 및 복호화하는 방법 및 장치
KR20140129654A (ko) * 2013-04-30 2014-11-07 인텔렉추얼디스커버리 주식회사 헤드 마운트 디스플레이 및 이를 이용한 오디오 콘텐츠 제공 방법
KR101825949B1 (ko) * 2015-10-06 2018-02-09 전자부품연구원 음원 분리를 포함하는 음원 위치 추정 장치 및 방법
KR20180059171A (ko) * 2016-11-25 2018-06-04 한국전자통신연구원 3차원 상호작용을 위한 증강현실 제공 장치 및 방법

Similar Documents

Publication Publication Date Title
WO2020013454A1 (ko) 동적 뷰포인트의 좌표계에 대한 메타데이터를 송수신하는 방법 및 장치
WO2020009341A1 (ko) 동적 뷰포인트의 좌표계에 대한 메타데이터를 송수신하는 방법 및 장치
WO2020009344A1 (ko) 360 비디오 데이터의 서브픽처 기반 처리 방법 및 그 장치
WO2019235849A1 (ko) 360 비디오 시스템에서 오버레이 미디어 처리 방법 및 그 장치
WO2019235904A1 (ko) 360 비디오 시스템에서 오버레이 처리 방법 및 그 장치
WO2020071632A1 (ko) 360 비디오 시스템에서 오버레이 처리 방법 및 그 장치
WO2020013484A1 (ko) 360 비디오 시스템에서 오버레이 처리 방법 및 그 장치
WO2019194434A1 (ko) 복수의 뷰포인트들에 대한 메타데이터를 송수신하는 방법 및 장치
WO2018038523A1 (ko) 전방향 비디오를 전송하는 방법, 전방향 비디오를 수신하는 방법, 전방향 비디오 전송 장치, 전방향 비디오 수신 장치
WO2018038520A1 (ko) 전방향 비디오를 전송하는 방법, 전방향 비디오를 수신하는 방법, 전방향 비디오 전송 장치, 전방향 비디오 수신 장치
WO2018056780A1 (ko) 바이노럴 오디오 신호 처리 방법 및 장치
WO2017142353A1 (ko) 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
WO2019198883A1 (ko) 핫스팟 및 roi 관련 메타데이터를 이용한 360도 비디오를 송수신하는 방법 및 그 장치
WO2019151798A1 (ko) 무선 통신 시스템에서 이미지에 대한 메타데이터를 송수신하는 방법 및 장치
WO2017188714A1 (ko) 360도 비디오를 전송하는 방법, 360도 비디오를 수신하는 방법, 360도 비디오 전송 장치, 360도 비디오 수신 장치
WO2019066191A1 (ko) 스티칭 및 리프로젝션 관련 메타데이터를 이용한 6dof 비디오를 송수신하는 방법 및 그 장치
WO2019147064A1 (ko) 오디오 데이터를 송수신하는 방법 및 그 장치
WO2017204491A1 (ko) 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
WO2019245303A1 (en) Method for transmitting 360-degree video, method for receiving 360-degree video, apparatus for transmitting 360-degree video, and apparatus for receiving 360-degree video
WO2019066436A1 (ko) 360 비디오 시스템에서 오버레이 처리 방법 및 그 장치
WO2018217057A1 (ko) 360 비디오 처리 방법 및 그 장치
WO2019231269A1 (ko) 360도 컨텐츠 내 복수의 뷰포인트들에 관한 사용자 인터페이스를 제공하는 방법 및 장치
WO2020027349A1 (ko) 다중 뷰포인트 기반 360 비디오 처리 방법 및 그 장치
WO2018169176A1 (ko) 퀄리티 기반 360도 비디오를 송수신하는 방법 및 그 장치
WO2019194573A1 (en) Method for transmitting 360-degree video, method for receiving 360-degree video, apparatus for transmitting 360-degree video, and apparatus for receiving 360-degree video

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19830135

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19830135

Country of ref document: EP

Kind code of ref document: A1