WO2022005116A1 - 무선 통신 시스템에서 데이터의 송수신을 제어하기 위한 방법 및 장치 - Google Patents

무선 통신 시스템에서 데이터의 송수신을 제어하기 위한 방법 및 장치 Download PDF

Info

Publication number
WO2022005116A1
WO2022005116A1 PCT/KR2021/008015 KR2021008015W WO2022005116A1 WO 2022005116 A1 WO2022005116 A1 WO 2022005116A1 KR 2021008015 W KR2021008015 W KR 2021008015W WO 2022005116 A1 WO2022005116 A1 WO 2022005116A1
Authority
WO
WIPO (PCT)
Prior art keywords
point cloud
receiving terminal
parameter
information
transmission
Prior art date
Application number
PCT/KR2021/008015
Other languages
English (en)
French (fr)
Inventor
유성열
입에릭
정경훈
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US18/013,756 priority Critical patent/US20230345030A1/en
Publication of WO2022005116A1 publication Critical patent/WO2022005116A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6131—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via a mobile phone network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6156—Network physical structure; Signal processing specially adapted to the upstream path of the transmission network
    • H04N21/6181—Network physical structure; Signal processing specially adapted to the upstream path of the transmission network involving transmission via a mobile phone network

Definitions

  • the present disclosure relates to a method and apparatus for controlling transmission and reception of data in a wireless communication system.
  • the 5G communication system or the pre-5G communication system is called a system after the 4G network (Beyond 4G Network) communication system or after the LTE system (Post LTE).
  • the 5G communication system is being considered for implementation in a very high frequency (mmWave) band (eg, such as a 60 gigabyte (60 GHz) band).
  • mmWave very high frequency
  • FQAM Hybrid FSK and QAM Modulation
  • SWSC Small Cell Superposition Coding
  • ACM Advanced Coding Modulation
  • FBMC Fan Bank Multi Carrier
  • IoT Internet of Things
  • IoE Internet of Everything
  • M2M sensing technology
  • MTC Machine Type Communication
  • IoT an intelligent IT (Information Technology) service that collects and analyzes data generated from connected objects and creates new values in human life can be provided.
  • IoT can be applied to fields such as smart home, smart building, smart city, smart car or connected car, smart grid, health care, smart home appliance, and advanced medical service through convergence and complex between existing IT technology and various industries. have.
  • 5G communication system technologies such as sensor network, machine to machine (M2M), and MTC (Machine Type Communication) are being implemented by 5G communication technologies such as beamforming, MIMO, and array antenna.
  • 5G communication technologies such as beamforming, MIMO, and array antenna.
  • cloud RAN cloud radio access network
  • the present disclosure provides an apparatus and method capable of effectively controlling data transmission/reception in a wireless communication system.
  • 1 is a diagram showing an example of the structure of a network of a 3G communication system.
  • LTE Long Term Evolution
  • FIG 3 is a diagram illustrating a user plane (UP) protocol structure of an LTE modem (modem).
  • UP user plane
  • FIG. 4 is a diagram illustrating a structure of a voice or video codec and a Real-time Transport Protocol (RTP)/User Datagram Protocol (UDP)/Internet Protocol (IP) protocol of a Voice over LTE (VoLTE) supported terminal.
  • RTP Real-time Transport Protocol
  • UDP User Datagram Protocol
  • IP Internet Protocol
  • FIG. 5 is a diagram showing the structure of a CMR (Codec Mode Request) message.
  • TMBR Temporary Maximum Media Bit-rate Request
  • FIG. 7 is a diagram illustrating an example of adjusting a media bit rate such as video or audio transmitted by a counterpart terminal using a control message.
  • FIG. 8 is a diagram illustrating an example of a camera measuring a point cloud.
  • FIG. 9 is a diagram illustrating an example of a point cloud in a three-dimensional space.
  • FIG. 10 is a diagram illustrating an example of forming a patch of a point cloud.
  • FIG. 11 is a diagram illustrating an example of a color information patch and a distance information patch.
  • FIG. 12 is a diagram illustrating a procedure for generating a bit stream using a patch of a point cloud.
  • FIG. 13 is a diagram illustrating a scenario in which a point cloud is transmitted using a 5G network according to an embodiment of the present disclosure.
  • FIG. 14 is a diagram illustrating a protocol structure for transmission/reception of a point cloud transmission/reception according to an embodiment of the present disclosure.
  • 15 is a diagram illustrating a block diagram for transmission of a point cloud according to an embodiment of the present disclosure.
  • 16 is a flowchart illustrating a method of operating a transmitting terminal according to an embodiment of the present disclosure.
  • 17 is a flowchart illustrating a method of operating a receiving terminal according to an embodiment of the present disclosure.
  • FIG. 18 is a flowchart illustrating a method of determining an application parameter of a receiving terminal according to an embodiment of the present disclosure.
  • 19 is a flowchart illustrating a method of determining an application parameter of a receiving terminal according to an embodiment of the present disclosure.
  • 20A is a diagram illustrating an example of a point cloud in a three-dimensional space.
  • 20B is a diagram illustrating an example of partially transmitting a point cloud.
  • 20C is a diagram illustrating an example of partially transmitting a point cloud according to an embodiment of the present disclosure.
  • 21 is a diagram illustrating an example of a transmitting terminal transmission message generated based on a spatial zone parameter according to an embodiment of the present disclosure.
  • 22 is a diagram illustrating an example of a transmission terminal transmission message according to an embodiment of the present disclosure.
  • FIG. 23 is a diagram illustrating an example of a transmission terminal transmission message according to an embodiment of the present disclosure.
  • 24 is a diagram illustrating an example of a response message to a transmission terminal transmission message according to an embodiment of the present disclosure.
  • 25 is a diagram illustrating a negotiation procedure between a transmitting terminal and a receiving terminal for point cloud transmission according to an embodiment of the present disclosure.
  • 26 is a flowchart illustrating a response message generation procedure of a receiving terminal according to an embodiment of the present disclosure.
  • FIG. 27 is a diagram illustrating an example of metadata transmitted from a receiving terminal to a transmitting terminal according to an embodiment of the present disclosure.
  • FIG. 28 is a diagram illustrating an example of metadata transmitted from a receiving terminal to a transmitting terminal according to an embodiment of the present disclosure.
  • 29 is a diagram illustrating an example of metadata transmitted from a receiving terminal to a transmitting terminal according to an embodiment of the present disclosure.
  • 30A is a diagram illustrating an example of metadata transmitted from a receiving terminal to a transmitting terminal according to an embodiment of the present disclosure.
  • 30B is a diagram illustrating an example of metadata transmitted from a receiving terminal to a transmitting terminal according to an embodiment of the present disclosure.
  • FIG. 31 is a flowchart illustrating a procedure in which a transmitting terminal transmits point cloud media based on a message received from a receiving terminal according to an embodiment of the present disclosure.
  • 32A is a diagram illustrating an example in which a transmitting terminal provides annotations to a receiving terminal according to an embodiment of the present disclosure.
  • 32B is a diagram illustrating an example in which a transmitting terminal provides an annotation to a receiving terminal according to an embodiment of the present disclosure.
  • 33A is a diagram illustrating an example in which a receiving terminal provides a response corresponding to a comment to a transmitting terminal according to an embodiment of the present disclosure.
  • 33B is a diagram illustrating an example in which a receiving terminal provides a response corresponding to an annotation to a transmitting terminal according to an embodiment of the present disclosure.
  • 34 is a diagram illustrating an example of a method of indicating a body part of a person in a 3D image through an annotation according to an embodiment of the present disclosure.
  • PLY Polygon File Format
  • 36 is a block diagram illustrating a configuration of a transmitting terminal or a receiving terminal according to an embodiment of the present disclosure.
  • FIG. 37 is a block diagram illustrating a specific configuration of a transmitting terminal or a receiving terminal according to an embodiment of the present disclosure.
  • a method of operating a transmitting terminal in a wireless communication system includes: acquiring a point cloud by photographing an object; transmitting a message including parameters for transmission and reception of the point cloud to a receiving terminal;
  • the parameter for transmission/reception of the point cloud includes at least one of a parameter related to the direction of the object or a spatial area parameter related to the object, a response message including an application parameter of the receiving terminal from the receiving terminal receiving, determining the application parameter of the receiving terminal based on a parameter for transmission/reception of the point cloud and a channel state of the receiving terminal, and compressing the point cloud based on the application parameter of the receiving terminal , and transmitting the compressed point cloud to the receiving terminal.
  • a method of operating a receiving terminal in a wireless communication system receives, from a transmitting terminal, a message including parameters for transmission and reception of a point cloud, wherein the point cloud is obtained by photographing an object
  • the parameter for transmission/reception of the point cloud includes at least one of a parameter related to the direction of the object and a spatial area parameter related to the object, based on a channel state of the receiving terminal and a parameter for transmission/reception of the point cloud to determine the application parameter of the receiving terminal, transmitting a response message including the determined application parameter of the receiving terminal to the transmitting terminal, receiving a point cloud from the transmitting terminal, and the point cloud is the receiving terminal It may include performing compression based on an application parameter of , and displaying an image related to the object based on the compressed point cloud.
  • a transmitting terminal acquires a point cloud by photographing a transceiver and an object, and receives a message including parameters for transmission/reception of the point cloud through the transceiver transmitted to the terminal, and the parameters for transmission and reception of the point cloud include at least one of a parameter related to the direction of the object and a spatial area parameter related to the object, and through the transceiver, from the receiving terminal, the receiving terminal Receive a response message including an application parameter of , the application parameter of the receiving terminal is determined based on a parameter for transmission/reception of the point cloud and a channel state of the receiving terminal, and based on the application parameter of the receiving terminal , compressing the point cloud, and transmitting the compressed point cloud to the receiving terminal through the transceiver may include at least one processor.
  • a receiving terminal receives a message including a parameter for transmission and reception of a point cloud from a transmitting terminal through a transceiver and the transceiver, and the point cloud is an object is obtained by photographing
  • the parameters for transmission and reception of the point cloud include at least one of a parameter related to the direction of the object or a spatial area parameter related to the object
  • a channel state of the receiving terminal and transmission/reception of the point cloud determines the application parameter of the receiving terminal based on the parameter for, and transmits a response message including the determined application parameter of the receiving terminal to the transmitting terminal through the transceiver, and through the transceiver, from the transmitting terminal
  • Receive a point cloud the point cloud is compressed based on an application parameter of the receiving terminal, and may include at least one processor for displaying an image related to the object based on the compressed point cloud.
  • each block of the flowchart diagrams and combinations of the flowchart diagrams may be performed by computer program instructions.
  • These computer program instructions may be embodied in a processor of a general purpose computer, special purpose computer, or other programmable data processing equipment, such that the instructions performed by the processor of the computer or other programmable data processing equipment are not described in the flowchart block(s). It creates a means to perform functions.
  • These computer program instructions may also be stored in a computer-usable or computer-readable memory which may direct a computer or other programmable data processing equipment to implement a function in a particular manner, and thus the computer-usable or computer-readable memory.
  • the instructions stored in the flow chart block(s) produce an article of manufacture containing instruction means for performing the function described in the flowchart block(s).
  • the computer program instructions may also be mounted on a computer or other programmable data processing equipment, such that a series of operational steps are performed on the computer or other programmable data processing equipment to create a computer-executed process to create a computer or other programmable data processing equipment. It is also possible that instructions for performing the processing equipment provide steps for performing the functions described in the flowchart block(s).
  • each block may represent a module, segment, or portion of code that includes one or more executable instructions for executing specified logical function(s). It should also be noted that in some alternative implementations it is also possible for the functions recited in blocks to occur out of order. For example, two blocks shown one after another may in fact be performed substantially simultaneously, or it is possible that the blocks are sometimes performed in the reverse order according to the corresponding function.
  • ' ⁇ unit' used in this embodiment means software or hardware components such as FPGA (Field Programmable Gate Array) or ASIC (Application Specific Integrated Circuit), and ' ⁇ unit' performs certain roles do.
  • '-part' is not limited to software or hardware.
  • ' ⁇ ' may be configured to reside on an addressable storage medium or may be configured to refresh one or more processors. Accordingly, as an example, ' ⁇ ' indicates components such as software components, object-oriented software components, class components, and task components, and processes, functions, properties, and procedures. , subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays, and variables.
  • components and ' ⁇ units' may be combined into a smaller number of components and ' ⁇ units' or further separated into additional components and ' ⁇ units'.
  • components and ' ⁇ units' may be implemented to play one or more CPUs in a device or secure multimedia card.
  • ' ⁇ part' may include one or more processors.
  • a term for identifying an access node used in the following description a term referring to network entities, a term referring to messages, a term referring to an interface between network objects, and various identification information Reference terms and the like are exemplified for convenience of description. Accordingly, the present disclosure is not limited to the terms described below, and other terms referring to objects having equivalent technical meanings may be used.
  • a physical channel and a signal may be used interchangeably with data or a control signal.
  • a physical downlink shared channel (PDSCH) is a term that refers to a physical channel through which data is transmitted from a base station to a terminal, but the PDSCH may also be used to refer to data. That is, in the present disclosure, the expression 'transmitting a physical channel' may be interpreted equivalently to the expression 'transmitting data or a signal through a physical channel'.
  • higher signaling refers to a signal transmission method in which a base station is transmitted to a terminal using a downlink data channel of a physical layer or from a terminal to a base station using an uplink data channel of a physical layer.
  • Upper signaling may be understood as radio resource control (RRC) signaling or media access control (MAC) control element (CE).
  • RRC radio resource control
  • MAC media access control
  • gNB which is a base station for NR
  • eNB which is a base station for LTE
  • a base station described as an eNB may represent a gNB
  • the term terminal may refer to mobile phones, MTC devices, NB-IoT devices, sensors, as well as other wireless communication devices.
  • the base station as a subject performing resource allocation of the terminal, at least one of gNode B (gNB), eNode B (eNB), Node B, BS (Base Station), radio access unit, base station controller, or multiple nodes on the network can be
  • the terminal may include a user equipment (UE), a mobile station (MS), a cellular phone, a smart phone, a computer, or a multimedia system capable of performing a communication function.
  • UE user equipment
  • MS mobile station
  • a cellular phone a smart phone
  • a computer or a multimedia system capable of performing a communication function.
  • multimedia system capable of performing a communication function
  • Second-generation (2G) networks such as GSM and IS-95, which were able to provide basic services such as voice calls and short message (SMS), are W-CDMA, cdma2000, etc. It has evolved into a 3rd generation (3G) network, and 4G (4G) networks such as LTE can transmit large amounts of data and high-definition images at high speed.
  • 3G 3rd generation
  • 4G (4G) networks such as LTE can transmit large amounts of data and high-definition images at high speed.
  • 5G 5th generation
  • NR New Radio
  • the present invention relates to an apparatus and method for applying Point Cloud Compression technology to a 5G network in a situation in which transmission conditions of a network are deteriorated or an excessive load is applied to the network.
  • transmission capacity may be limited due to physically limited radio frequency resources, a long time required to construct various wired/wireless infrastructures, and huge investment costs.
  • many terminals may attempt to access a mobile communication network at the same time to use a call service or the Internet, or to use a data download or media streaming service. In this case, when the capacity of the network is insufficient, the terminals may not be able to properly use these services.
  • a network load phenomenon such as the aforementioned lack of network capacity may occur during commuting time in a large city or an event in which a large number of people are concentrated in a narrow space.
  • a Radio Network Controller (RNC) that controls base stations is installed in terminals and networks.
  • RNC Radio Network Controller
  • FIG. 1 is a diagram showing an example of the structure of a network of a 3G communication system. Specifically, FIG. 1 shows the structure of a 3G network including a user equipment (UE), a base station (NodeB), a radio network controller (RNC), and a mobile switching center (MSC).
  • UE user equipment
  • NodeB base station
  • RNC radio network controller
  • MSC mobile switching center
  • the network of FIG. 1 is connected to another mobile communication network and a Public Switched Telephone Network (PSTN).
  • PSTN Public Switched Telephone Network
  • AMR Adaptive Multi-Rate
  • the AMR codec is installed in the terminal and the MSC to provide a two-way call service.
  • MSC converts audio compressed with the AMR codec into a PCM (Pulse-Code Modulation) format and transmits it to the PSTN, or, conversely, receives PCM format audio from the PSTN, compresses it with the AMR codec, and transmits it to the base station.
  • the RNC can always control the call bit rate of the voice codec installed in the terminal and the MSC in real time with a CMC (Codec Mode Control) message.
  • CMC Codec Mode Control
  • the voice codec is installed only in the terminal, and the voice frame compressed at 20 ms intervals is not restored at the base station or the network node located in the middle of the transmission path, but the other terminal. can be transmitted and restored.
  • the counterpart terminal may refer to a terminal that transmits/receives data to/from a specific terminal or performs an audio or video call.
  • LTE Long Term Evolution
  • FIG. 2 shows a network structure of 4G (ie, Long Term Evolution, LTE).
  • the voice codec is installed only in the UE, and each terminal can adjust the voice bit rate of the other terminal by using a Codec Mode Request (CMR) message.
  • the eNodeB which is a base station, may be divided into a Remote Radio Head (RRH) in charge of RF functions and a Digital Unit (DU) in charge of modem digital signal processing.
  • RRH Remote Radio Head
  • DU Digital Unit
  • the eNodeB may be connected to an Internet Protocol (IP) backbone network through a Serving Gateway (S-GW) and a Packet Data Network Gateway (P-GW).
  • IP backbone network may be connected to a mobile communication network or the Internet of another operator.
  • FIG 3 is a diagram illustrating a user plane (UP) protocol structure of an LTE modem (modem).
  • UP user plane
  • FIG. 3 shows a user plane protocol structure of an LTE modem (Modem) used for transmission of a compressed voice or video frame in a telephony system (Voice over LTE, VoLTE) using an LTE network.
  • the protocol structure of FIG. 3 includes Packet Data Convergence Protocol (PDCP), Radio Link Control (RLC), Media Access Control (MAC), and Physical Layer (PHY).
  • PDCP Packet Data Convergence Protocol
  • RLC Radio Link Control
  • MAC Media Access Control
  • PHY Physical Layer
  • FIG. 4 is a diagram illustrating a structure of a voice or video codec and a Real-time Transport Protocol (RTP)/User Datagram Protocol (UDP)/Internet Protocol (IP) protocol of a Voice over LTE (VoLTE) supported terminal.
  • RTP Real-time Transport Protocol
  • UDP User Datagram Protocol
  • IP Internet Protocol
  • the IP protocol located at the bottom of the protocol structure of FIG. 4 may be connected to the PDCP located at the top of the protocol structure of FIG. 3 .
  • An RTP/UDP/IP header may be attached to a media frame compressed in an audio or video codec and transmitted to a counterpart terminal through an LTE network.
  • the terminal can receive the media packet compressed and transmitted by the other terminal from the network, restore the media, and listen and watch through the speaker and the display. At this time, even if the simultaneously captured and compressed audio and video packets do not arrive at the same time, the terminal can listen and watch the two media in synchronization using the timestamp information of the RTP protocol header.
  • the eNodeB transmits and receives from the terminal using the ECN (Explicitg Congestion Notification) function
  • ECN Exlicitg Congestion Notification
  • a CE (Congestion Experieicned) state may be displayed in an IP header of a packet to be used, or a currently supportable bit rate may be displayed in a CE (Control Entity) (CE) of a MAC header.
  • CE Control Entity
  • the UE may detect a change in the transmission state based on information such as a CE state or a supportable bit rate.
  • FIG. 5 is a diagram showing the structure of a CMR (Codec Mode Request) message.
  • FIG. 5 shows a CMR message in which the counterpart terminal adjusts a bit rate of voice compression according to a change in a transmission state during a call between the terminal and the counterpart terminal.
  • FIG. 5 may correspond to the payload formats of FIG. 4 .
  • a 4-bit Codec Mode Request (CMR) field is added to a voice frame compressed by the voice codec indicated by Speech in FIG. 4 , so that the bit rate requested by the voice codec of the opposite terminal to be used may be displayed.
  • a 4-bit Table of Contents (ToC) field is added and compressed, so that the bit rate and type of a transmitted frame can be displayed.
  • VoLTE may support voice codecs such as Adaptive Multi-Rate (AMR), Adaptive Multi-Rate Wideband (AMR-WB), and Enhanced Voice Services (EVS).
  • AMR Adaptive Multi-Rate
  • AMR-WB Adaptive Multi-Rate Wideband
  • EVS Enhanced Voice Services
  • TMBR Temporary Maximum Media Bit-rate Request
  • the CMR message may be transmitted through the RTCP protocol in addition to payload formats.
  • 6 illustrates a structure of a Temporary Maximum Media Bit-rate Request (TMMBR) message transmitted while being included in RTCP during a call in order to dynamically adjust the bit rate of a video codec installed in a counterpart terminal.
  • TMMBR Temporary Maximum Media Bit-rate Request
  • the terminal may maintain the bit rate of the compressed video to be Mantissa ⁇ 2 Exp bps or less. In this case, the bit rate of the compressed video needs to be equal to or smaller than the bit rate negotiated before starting the video call.
  • FIG. 7 is a diagram illustrating an example of adjusting a media bit rate such as video or audio transmitted by a counterpart terminal using a control message.
  • FIG. 7 illustrates an example in which the terminal adjusts the media bit rate such as video or audio transmitted by the counterpart terminal during a call using control messages such as CMR and TMMBR.
  • Main parameters used for a call such as the type of codec and the media bit rate, can be negotiated between the terminal and the network using the IP Multimedia Subsystem (IMS).
  • IMS IP Multimedia Subsystem
  • the terminal transmits media in b 0 (kbps) 7 shows a bit rate that can be maintained by the network and an encoding bit rate that can be adjusted by a receiving terminal.
  • the call was started at T 0 , and the sustainable bit rate was reduced as the channel state deteriorated from T 1a .
  • the media receiving terminal detecting that b 0 (kbps), which was negotiated with each other via IMS before the start of the call, is not maintained for a long time after the start of the call, may determine that the channel state has deteriorated.
  • the media receiving terminal may reduce the media bit rate to b 2 by transmitting a CMR or TMMBR message to the counterpart terminal.
  • the media reception terminal may reduce the media bit rate of the counterpart terminal back to b 3 .
  • the media receiving terminal may gradually increase the bit rate when the channel state is restored.
  • b 1 and b 4 are bit rates that the network can maintain in T 2b and T 4b , which are parameters that media transmitting and receiving terminals or the network cannot accurately measure. If the channel condition continues to deteriorate, the terminal may decide to stop transmitting and receiving media. As described above, in compression and transmission of a one-dimensional media signal such as voice and a three-dimensional media signal such as video, the terminal can respond to changes in network conditions by adjusting the bit rate of the counterpart terminal.
  • FIG. 8 is a diagram illustrating an example of a camera measuring a point cloud.
  • FIG. 8 shows an example of a camera that can be used to measure a point cloud that is a set of points that visually constitute a surface of a person or an object.
  • a camera that can be used to measure a point cloud that is a set of points that visually constitute a surface of a person or an object.
  • One or more of these cameras can be installed around a person or an object, and the camera can display R (Red), G (Green), B (Blue) values indicating the relative position and color information of each point on the surface of the person or object.
  • a point cloud can be formed by obtaining location (X, Y, Z) information.
  • a camera that can be used to measure a point cloud includes a pattern output unit that outputs a pattern for recognizing a distance of a person or an object, a pattern receiving unit that identifies a shape of a person or an object based on the output pattern, and a person Alternatively, it may include an R, G, B camera that identifies the color of the object's surface.
  • the camera for acquiring the point cloud in the present disclosure is not limited to the example of FIG. 8 .
  • a method of storing a point cloud having a structure based on R, G, and B values and location information includes PLY (Polygon File Format). 9 shows the point cloud of a person measured in this way in a three-dimensional space.
  • FIG. 9 is a diagram illustrating an example of a point cloud in a three-dimensional space.
  • 9 shows an example of storing a point cloud having a structure based on R, G, and B values and location information using the PLY method.
  • 9 shows a point cloud of a person measured using the PLY method in a three-dimensional space.
  • the bit rate required to acquire 1,000,000 points 30 times per second is about 1.80 Gbps ((3 attributes + 3 coordinations) * 10 bits * 1,000,000 points * 30 frames), which can be economically provided by the mobile communication network. Since it greatly exceeds the available range, these points need to be compressed to about several Mbps in a way that does not significantly affect the picture quality, and then transmitted or stored on the hard disk.
  • FIG. 10 is a diagram illustrating an example of forming a patch of a point cloud.
  • the example shown in FIG. 10 is a first step of compressing the point cloud shown in FIG. 9 and shows a patch forming process.
  • a cuboid having a minimum size that can include all of the point clouds of the human shape shown in FIG. 9 may be assumed around the human shape.
  • color information of each point of the surface of the human shape projected on each surface of the cuboid, and a distance or depth (Depth) between this point and the inner surface of the cuboid may be measured.
  • each point may be projected on only one surface of the cuboid.
  • points may be clustered on one surface of the cuboid, and these clustered points may be referred to as patches.
  • one or more patches may be formed on each inner surface of the cuboid.
  • patches including color information and patches including distance information may be respectively formed on one inner surface of a cuboid surrounding the human shape.
  • FIG. 11 is a diagram illustrating an example of a color information patch and a distance information patch.
  • FIG. 11 shows a process of concentrating (Compact) color information patches and distance information patches into a still image to facilitate transmission or storage.
  • Each still image may be compressed with a moving image compressor such as H.265, and thus the bit rate may be further lowered.
  • the patches may be concentrated as much as possible and located in one part of the still image. This is to increase the efficiency of the image compressor by maximizing the space in the still image.
  • 11 shows a still image 1110 in which color information patches are concentrated and a stationary image 1120 in which distance information patches are concentrated. In the still image 1110 in which the color information patches are concentrated, color patches representing R, G, and B values may be disposed.
  • patches indicating distance information may be disposed on the still image 1120 in which the distance information patches are concentrated.
  • FIG. 12 is a diagram illustrating a procedure for generating a bit stream using a patch of a point cloud.
  • a compressed bitstream is generated by multiplexing the patches compressed through FIGS. 10 and 11 and additional information for restoring the compressed patches to a three-dimensional space. can And, the generated bit stream can be used to transmit and store the point cloud.
  • FIG. 13 is a diagram illustrating a scenario in which a point cloud is transmitted using a 5G network according to an embodiment of the present disclosure. That is, FIG. 13 shows a situation in which the generated point cloud is transmitted using a 5G network.
  • the LTE eNodeB, S-GW, and P-GW may correspond to gNB, UPF (User Plane Function), and DN (Data Network) nodes of 5G, respectively.
  • 13 shows a camera and a sensor 1310 , a terminal 1320 , and Tethered AR glasses 1330 , with the terminal 1320 .
  • the point cloud measured by the camera and sensor 1310 and compressed through the procedure of FIG. 12 does not go through a base station (eg, gNB) and uses an unlicensed frequency band (Unlicensed Spectrum), LTE, 5G It may be transmitted to the terminal 1320 through a sidelink or Wi-Fi Direct of , or may be transmitted directly to the terminal 1320 through a USB-C cable.
  • a base station eg, gNB
  • an unlicensed frequency band Unlicensed Spectrum
  • LTE Long Term Evolution
  • 5G Fifth Generation
  • the point cloud may be compressed by the terminal 1320 rather than the camera and sensor 1310 .
  • the terminal may transmit the received point cloud to the AR glasses 1330 .
  • the AR glasses 1330 may output an object photographed by the camera and the sensor 1310 as an AR image based on the point cloud received from the terminal 1320 .
  • FIG. 14 is a diagram illustrating a protocol structure for transmission/reception of a point cloud transmission/reception according to an embodiment of the present disclosure.
  • the point cloud photographed by the camera may be converted into a format such as Polygon File Format (PLY) through 3D Model Construction.
  • the point cloud is compressed in a point cloud codec (Point Cloud Codec (Encoder)) and includes a header of a transport protocol such as RTP and an IP (Internet Protocol) header including the address of the receiving terminal.
  • a point cloud codec Point Cloud Codec (Encoder)
  • IP Internet Protocol
  • the NR modem may include a new protocol called SDAP (Service Data Adaptation Protocol) on top of PDCP, unlike the protocol structure of the LTE modem shown in FIG. 3 .
  • the receiving terminal recovers the payload from which the headers of each protocol are removed in the form of a point cloud such as PLY in the Point Cloud Codec (Decoder), and then the FOV of the receiving terminal user Rendering in consideration of (Field of View) may be performed and projected on a display such as AR glasses connected to the receiving terminal.
  • the AR glasses may be directly connected to the mobile communication network using their own communication function without being connected to the receiving terminal.
  • AR glasses may be included in the receiving terminal.
  • the present disclosure relates to an apparatus and method for maximally utilizing a limited transmission bandwidth and managing media quality and network capacity by controlling key parameters of devices that form, compress, and transmit a point cloud image in a mobile communication network.
  • the present disclosure determines the maximum number of points to be transmitted according to the bandwidth allowed by the network and the display resolution of the receiving terminal by improving the point cloud transmission/reception system shown in FIG. 14, and changes in the transmission/reception situation
  • 15 is a diagram illustrating a block diagram for transmission of a point cloud according to an embodiment of the present disclosure.
  • FIG. 15 shows in detail the configuration of a block for acquiring and generating a point cloud for transmission of the point cloud among the configurations disclosed in FIG. 14 .
  • the terminal, service, or server includes one or a plurality of stereoscopic cameras 1502 for acquiring a stereoscopic image, and a stereoscopic image for generating an integrated stereoscopic image from one or a plurality of stereoscopic images acquired from the stereoscopic camera
  • a modeling block 1504 a point cloud preprocessor 1506 that filters or edits all or part of the generated image according to various conditions to output a corrected point cloud compared to an input, and a point cloud a stereoscopic image decomposition block 1508 that decomposes the .
  • the transmitting terminal that transmits the stereoscopic image to the receiving terminal includes the stereoscopic camera 1502, the stereoscopic image modeling block 1504, the point cloud preprocessor 1506, and the stereoscopic image decomposition block 1508 described above. , a 2D video encoder 1510 , a multiplexer 1512 , and a PCC file format generator 1514 .
  • the operations performed by the stereoscopic camera 1502 and the stereoscopic image modeling block 1504 of FIG. 15 may be performed by the 3D model construction of FIG. 14 .
  • the operations performed after the point cloud preprocessor 1506 of FIG. 15 may be performed by the configuration of the cloud codec (Point Cloud Codec (Encoder)) of FIG. 14 .
  • the stereoscopic camera 1502 is configured as a separate first terminal
  • the stereoscopic image modeling block 1504 is configured as a second terminal
  • the point cloud preprocessor 1506 and later Configurations may consist of a third terminal.
  • the stereoscopic camera 1502 and the stereoscopic image modeling block 1504 may be configured as a first terminal, and configurations after the point cloud preprocessor 1506 may be configured as a second terminal. .
  • the stereoscopic camera 1502, the stereoscopic image modeling block 1504, and the point cloud preprocessor 1506 may be configured as the first terminal, and the stereoscopic image decomposition for point cloud compression
  • the configuration after block 1508 may be included in the server.
  • the negotiation and renegotiation processes between the transmitting terminal and the receiving terminal may correspond to the session negotiation 1540 of FIG. 15 .
  • adjustment of an output bitstream to be transmitted to the receiving terminal may correspond to the media adaptation 1530 of FIG. 15 .
  • the control block 1520 of FIG. 15 may transmit information to each module in order to adjust the operation of each module according to the session negotiation.
  • 16 to 19 are flowcharts illustrating operations of a transmitting terminal and a receiving terminal according to the present disclosure.
  • the transmitting terminal may acquire a point cloud by photographing an object through a camera.
  • the object may mean a person or an object that the camera can capture.
  • the point cloud may refer to a set of points visually constituting the surface of an object.
  • the camera may exist separately from the transmitting terminal, or may be included in the transmitting terminal.
  • the camera may be connected to the transmitting terminal wirelessly using an unlicensed band, sidelink, or Wi-Fi, or by wire using a USB-C cable.
  • the point cloud of the object photographed or measured by the camera may be transmitted to the transmitting terminal by wire or wirelessly.
  • the transmitting terminal may process (eg, compress) the point cloud and transmit the processed point cloud to the receiving terminal.
  • the receiving terminal may display the AR image based on the processed point cloud received from the transmitting terminal.
  • the receiving terminal may display the image of the object generated based on the point cloud on AR equipment (eg, AR glasses or AR display, etc.) included in the receiving terminal or on AR equipment that exists separately from the receiving terminal.
  • the image may be a 2D or 3D image, but is not limited thereto.
  • the AR device and the receiving terminal exist separately the AR device may be connected to the receiving terminal wirelessly using an unlicensed band, sidelink, or Wi-Fi, or by wire using a USB-C cable.
  • the point cloud processed by the receiving terminal may be transmitted to the AR equipment by wire or wirelessly.
  • VR equipment eg, Head Mount Display (HMD)
  • HMD Head Mount Display
  • the present disclosure relates to a situation such as a deterioration of a channel condition for a transmitting terminal or a receiving terminal while the above-described transmitting terminal is transmitting the point cloud to the receiving terminal, or before transmitting, when a situation such as deterioration of the channel condition occurs.
  • a situation such as a deterioration of a channel condition for a transmitting terminal or a receiving terminal while the above-described transmitting terminal is transmitting the point cloud to the receiving terminal, or before transmitting, when a situation such as deterioration of the channel condition occurs.
  • it relates to a procedure for negotiating point cloud-related information between a transmitting terminal and a receiving terminal.
  • the transmitting terminal may transmit a message to the receiving terminal for the above-described negotiation.
  • the message transmitted from the transmitting terminal to the receiving terminal may be referred to as a Session Description Protocol (SDP) offer message.
  • SDP offer message may include parameters for transmission and reception of the point cloud.
  • the receiving terminal receiving the SDP offer message from the transmitting terminal may transmit a response message to the transmitting terminal.
  • the message transmitted from the receiving terminal to the transmitting terminal may be referred to as an SDP answer message.
  • this SDP answer message may include application parameters of the receiving terminal.
  • the application parameter of the receiving terminal may mean a parameter applicable to the receiving terminal among parameters for transmission/reception of the point cloud transmitted by the transmitting terminal.
  • 16 is a flowchart illustrating a method of operating a transmitting terminal according to an embodiment of the present disclosure.
  • the transmitting terminal may acquire a point cloud by photographing an object.
  • the transmitting terminal may photograph an object such as a person or an object through a camera included in the transmitting terminal or existing separately from the transmitting terminal.
  • information on the point cloud of the object may be acquired.
  • the transmitting terminal may transmit a message including parameters for transmission and reception of the point cloud to the receiving terminal.
  • the parameters for transmission and reception of the point cloud may include a parameter related to a direction of an object or a spatial area parameter related to the object.
  • the parameter related to the direction of the object may indicate the display direction of the object in the image when the object is displayed by the receiving terminal through the image.
  • the direction of the object may mean a direction of interest (DOI) of the receiving terminal.
  • DOI direction of interest
  • the direction of interest of the receiving terminal may be determined according to a user input of the receiving terminal or a predetermined criterion, and the receiving terminal may display an object through an image based on the direction of interest of the receiving terminal.
  • the spatial region related to the object may mean a space in which the object is displayed in the image.
  • the upper body of the person may be determined as a spatial region related to the object according to a user input of the receiving terminal or a predetermined criterion.
  • the spatial zone parameter related to the object may include information indicating the upper body region of the person.
  • the transmitting terminal may receive a response message including the application parameters of the receiving terminal from the receiving terminal.
  • the application parameter of the receiving terminal may be determined based on the channel state of the receiving terminal and parameters for transmission and reception of the point cloud.
  • the transmitting terminal may compress the point cloud based on the application parameter of the receiving terminal. For example, the transmitting terminal may compress the point cloud for transmission to the receiving terminal based on at least one parameter included in the application parameter of the receiving terminal.
  • the transmitting terminal may transmit the compressed point cloud to the receiving terminal.
  • the transmitting terminal may transmit the compressed point cloud to the receiving terminal through NR-U or a sidelink based on an application parameter of the receiving terminal.
  • 17 is a flowchart illustrating a method of operating a receiving terminal according to an embodiment of the present disclosure.
  • the receiving terminal may receive a message including parameters for point cloud transmission and reception from the transmitting terminal.
  • the point cloud may be obtained by photographing an object.
  • the parameter for transmission/reception of the point cloud may include at least one of a parameter related to a direction of an object and a spatial area parameter related to the object.
  • the receiving terminal may determine an application parameter of the receiving terminal based on the channel state of the receiving terminal and parameters for transmission and reception of the point cloud.
  • the receiving terminal may identify an indicator indicating whether a parameter related to a direction of an object is used or an indicator indicating whether a spatial zone parameter related to an object is used.
  • the receiving terminal may determine the application parameter of the receiving terminal based on the channel state of the receiving terminal.
  • the receiving terminal may transmit a response message including the application parameters of the receiving terminal to the transmitting terminal.
  • the receiving terminal may include, in the response message, an application parameter of the receiving terminal determined based on the channel state of the receiving terminal and parameters for transmission and reception of the point cloud to the transmitting terminal.
  • the receiving terminal may receive the compressed point cloud from the transmitting terminal.
  • the receiving terminal may receive from the transmitting terminal the point cloud compressed by the transmitting terminal based on the application parameter of the receiving terminal.
  • the receiving terminal may display an image related to the object based on the compressed point cloud.
  • the receiving terminal may display all or part of the photographed object through a display included in the receiving terminal or existing separately from the receiving terminal.
  • all or part of the photographed object may be displayed on the AR device.
  • the parameters for transmission and reception of the point cloud include resolution information of an image buffer related to compression of the point cloud, type information of the image buffer, information on the number of point clouds, transmission speed information of the point cloud, and information about the point cloud. It may include information indicating the priority between patch size information, number information of point clouds, and patch size information for point clouds.
  • the image buffer related to the compression of the point cloud may mean a two-dimensional image generated by the point cloud preprocessor 1506 of FIG. 15 .
  • the generated 2D image is location information in space (ie, geometry information), color information of a point cloud (ie, attribute information), or pixels in the 2D image, according to information included among the information of the 3D stereoscopic image.
  • Information indicating whether there is star information ie, occupancy map information
  • the 2D image may be classified into types such as geometry information, attribute information, or occupancy map information.
  • the type information of the image buffer may indicate the type of the above-described geometry information, attribute information, or occupancy map information.
  • the resolution of the image buffer may mean the resolution of a 2D image corresponding to the image buffer.
  • information on the number of point clouds may mean information on the number of point clouds that the transmitting terminal can transmit to the receiving terminal.
  • the transmission speed information of the point cloud may mean a speed at which the transmitting terminal can transmit the point cloud to the receiving terminal.
  • the transmission rate of the point cloud may be expressed as a bit rate.
  • the patch size information for the point cloud may refer to information indicating the size of the patch formed with respect to the point cloud.
  • the information indicating the priority between the number information of the point cloud and the size information of the patch for the point cloud may mean information indicating the priority between parameters during point cloud transmission and reception. For example, when information on the number of point clouds has a higher priority than the size of a patch for a point cloud, when the number of point clouds meets a specific condition for transmission and reception of a point cloud, the size of a patch for a point cloud is may be ignored.
  • the receiving terminal determines an application parameter of the receiving terminal that can be applied to the receiving terminal from information included in the above-described parameters for transmission and reception of the point cloud, based on a channel state of the receiving terminal or a predetermined criterion.
  • the receiving terminal may transmit an application parameter of the receiving terminal to the transmitting terminal, and the transmitting terminal may transmit an optimal point cloud to the receiving terminal.
  • FIG. 18 is a flowchart illustrating a method of determining an application parameter of a receiving terminal according to an embodiment of the present disclosure.
  • the receiving terminal may identify an indicator indicating whether to use a parameter related to the direction of an object from a parameter for transmission and reception of a point cloud.
  • the parameter for transmission/reception of the point cloud may include an indicator indicating whether a parameter related to the direction of an object is used.
  • the above-described indicator may indicate the use or non-use of a parameter related to the direction of the object.
  • the receiving terminal may identify that the parameter related to the direction of the object is used.
  • the receiving terminal may identify that the parameter related to the direction of the object is not used.
  • an indicator indicating whether to use a parameter related to the direction of an object may be referred to as doi_enabled.
  • the receiving terminal may determine at least one of the display direction of the object based on the channel state of the receiving terminal or a predetermined criterion. For example, in step 1801, when the use of the parameter related to the direction of the object is identified based on the indicator indicating whether or not the parameter related to the direction of the object is used, the receiving terminal determines whether the channel state of the receiving terminal or a predetermined criterion Based on the , at least one of the display directions of the object may be determined. In this case, information on the display direction of the object may be included in a parameter for transmission/reception of the point cloud.
  • the channel state of the receiving terminal may include information related to the situation of the network including the receiving terminal, bandwidth, path loss, or congestion of the network to which the receiving terminal belongs.
  • the predetermined criterion used to determine at least one of the display directions of the object may mean information indicating the capability of the receiving terminal to process the point cloud.
  • the present invention is not limited thereto, and the receiving terminal may determine or update the corresponding criterion when the receiving terminal is needed.
  • the receiving terminal may determine at least one of information indicating one or more regions related to the object, and may transmit the determined information to the transmitting terminal by including the determined information in the response message.
  • 19 is a flowchart illustrating a method of determining an application parameter of a receiving terminal according to an embodiment of the present disclosure.
  • the receiving terminal may identify an indicator indicating whether to use a spatial zone parameter related to an object from a parameter for transmission and reception of a point cloud.
  • the parameter for transmission/reception of the point cloud may include an indicator indicating whether to use a spatial zone parameter related to an object.
  • the above-described indicator may indicate use or non-use of a spatial zone parameter associated with an object.
  • the receiving terminal may identify that the spatial zone parameter related to the object is used.
  • the receiving terminal may identify that the spatial zone parameter related to the object is not used.
  • an indicator indicating whether to use a spatial zone parameter related to an object may be referred to as soi (space of interest)_enabled, and details of soi_enabled will be described later.
  • the spatial zone parameter related to the object may include at least one of information indicating a method of dividing the object into one or more regions or information indicating one or more regions related to the object.
  • information indicating a method of dividing an object into one or more regions may refer to information indicating a method of dividing a human-shaped object into a head region, a neck region, a shoulder region, an elbow region, and the like.
  • information indicating one or more regions related to the object may be determined based on the above-described method of dividing the object into one or more regions, a head region having a value of 0, a neck region having a value of 1, and a shoulder region having a value of 2 As a value, the elbow region may mean information represented by a value of 3 or the like.
  • the information indicating one or more regions related to the object may include information indicating coordinates in space indicating a partial region of the object.
  • the receiving terminal may determine at least one of information indicating one or more regions related to the object based on the channel state of the receiving terminal or a predetermined criterion. For example, in step 1901, when the use of the spatial zone parameter related to the object is identified based on the indicator indicating whether to use the spatial zone parameter related to the object, the receiving terminal determines the channel state of the receiving terminal or a predetermined criterion. Based on the information, at least one of information indicating one or more regions related to the object may be determined. In this case, information indicating one or more areas related to the object may be included in a parameter for transmission/reception of the point cloud.
  • FIG. 20A is a diagram illustrating an example of a point cloud in a three-dimensional space. That is, FIG. 20A shows the point cloud of the person shown in FIG. 9 from a different direction.
  • the original point cloud shown in FIG. 20A consists of 775,745 points.
  • 155,149 points corresponding to about 1/5 and in the figure on the right (b), 77,575 points corresponding to about 1/10 of the original.
  • point clouds can allow objects or people to be viewed from all directions.
  • image quality may be impaired. That is, the picture quality of the picture on the right (b) consisting of fewer points than the picture on the left (a) may be more damaged.
  • FIG. 20B is a diagram illustrating an example of partially transmitting a point cloud.
  • FIG. 20C is a diagram illustrating an example of partially transmitting a point cloud according to an embodiment of the present disclosure.
  • FIGS. 20B and 20C the reason why the three-dimensional space region needs to be specified is illustrated with respect to the stereoscopic space region to be transmitted when the point cloud preprocessor performs partial transmission processing for the stereoscopic image.
  • FIG. 20B when the point cloud is transmitted by being divided by 1/3 from the beginning without understanding the spatial arrangement of the content, a problem in which a part of the object is not properly divided may occur.
  • the transmitting terminal when the receiving terminal specifies a desired three-dimensional space region and makes a request to the transmitting terminal, the transmitting terminal can divide the space into spatial regions having appropriate contexts, such as upper body, torso, and lower body. And, the transmitting terminal may transmit the point cloud for the separated spatial area to the receiving terminal. As described above, in order for the receiving terminal to request a desired stereoscopic space region from the transmitting terminal, it may be desirable for the transmitting terminal to provide information on space regions that the receiving terminal can select.
  • spatial zones into which an object can be divided may overlap each other, and these spatial zones may be provided independent of other spatial zones according to the location of a portion of the object and the purpose of use in the receiving terminal.
  • the receiving terminal may select one or more preferred spaces based on the spatial information received from the transmitting terminal.
  • the receiving terminal may receive a stereoscopic image composed of the selected spaces by requesting the selected information from the transmitting terminal.
  • 21 is a diagram illustrating an example of a transmitting terminal transmission message generated based on a spatial zone parameter according to an embodiment of the present disclosure.
  • FIG. 21 shows spatial information and annotation provided by a transmitting terminal.
  • the receiving terminal provides annotations, association with the direction the user of the receiving terminal is looking at in the space, the basic behavior of a video call application operating in the receiving terminal, or a preference specified in advance by the user of the receiving terminal.
  • a standard such as (preference)
  • spatial information of a stereoscopic image to be transmitted by a transmitting terminal may be indicated when a network condition is not satisfactory.
  • the transmitting terminal supporting the provision and selection of the space zone may include an indicator such as soi (space of interest)_enabled in the SDP offer message.
  • annotation yes and annotation-schema may be included in the SDP offer message.
  • the transmitting terminal is one or a plurality of annotation numbers [x1, y1, z1, x2, y2, z2 associated with two corners [x1, y1, z1, x2, y2, z2] for indicating the space :annotation_id1, annotation_id2, ...] can be repeated as many as the number of spatial zones, and the numbers generated accordingly can be included in the SDP offer message.
  • an application providing a video call function based on a stereoscopic image transmitted by the transmitting terminal may be provided.
  • the receiving terminal may receive the SDP offer message provided by the transmitting terminal. And, when soi_enabled is included in the SDP offer message, the receiving terminal may identify that the receiving terminal receives all or only a partial spatial area of the object from the transmitting terminal.
  • the receiving terminal when the receiving terminal identifies one or a plurality of spatial zones rather than all of the object, the receiving terminal prioritizes the spatial zones according to various evaluation criteria, and determines the spatial zones to request from the sending terminal accordingly.
  • the above-mentioned evaluation criteria are attached to the upper body or upper body that can determine the speaker's expression, face, gesture, etc. according to the characteristics of the service called stereoscopic video call (eg, both shoulders to the torso, neck and head to the torso) etc.) may include a first criterion giving priority to a space including a body part.
  • the above-described evaluation criteria may include a second criterion that gives priority to the amount of change according to the cumulative movement of the speaker in the spatial zone.
  • the above-described evaluation criteria follow the statistics of the change history, such as a third criterion according to a preference selected in advance by the user of the receiving terminal, and usage in which the user of the receiving terminal made a selection different from the preference.
  • a fourth criterion or a fifth criterion according to a heuristic algorithm such as artificial intelligence (AI) may be included.
  • the case of a video call may be considered as a criterion for spatial zoning.
  • a transmitting terminal and a receiving terminal transmit a stereoscopic image
  • when a spatial area is selected according to a network situation based on the criteria according to the characteristics of the service and statistics specified or used by the user of the receiving terminal, the The embodiments of the present disclosure may be applied to any case where the operation is determined.
  • the receiving terminal may select a spatial area to be received preferentially according to network conditions by using the above-mentioned criteria in combination. Then, the receiving terminal may transmit the selection details of the spatial zone to the transmitting terminal through a message as shown in FIG. 33B, which will be described later. In addition, the transmitting terminal may transmit only the stereoscopic image portion corresponding to the spatial area selected by the receiving terminal to the receiving terminal.
  • FIGS. 22 to 24 show examples of a Session Description Protocol (SDP) for negotiating a transmission/reception method of a point cloud between a transmitting terminal and a receiving terminal.
  • SDP Session Description Protocol
  • FIGS. 27, 28, and 29 show the standard of a command for dynamically changing the compression and transmission method of the point cloud determined using the procedure of FIGS. 22 to 24 according to a change in network load or channel condition between terminals, and have.
  • 22 is a diagram illustrating an example of a transmission terminal transmission message according to an embodiment of the present disclosure.
  • FIG. 22 illustrates a Session Description Protocol (SDP) Offer message transmitted by a terminal capable of transmitting and receiving a point cloud to a counterpart terminal through IMS. That is, FIG. 22 shows an SDP offer message that the transmitting terminal can transmit to the receiving terminal.
  • SDP offer message may be included in a Session Initiation Protocol (SIP) message and delivered to the counterpart terminal via several nodes of the IMS.
  • SIP Session Initiation Protocol
  • a terminal may mean a transmitting terminal
  • a counterpart terminal may mean a receiving terminal.
  • the position (eg, geometry) in space and the color (eg, attribute) of the point cloud according to information included among the information of the 3D image, and whether information for each pixel in the 2D image (eg, : occupancy map) can be of three types.
  • the type of the image buffer can be displayed through type. That is, when the type is [one], it may mean that all types of 2D images are stored in one image buffer.
  • g Gaometry
  • a Attribute
  • o Olecupancy
  • layers for each type of each image buffer may be continuously displayed for each number.
  • gg may indicate that the geometry image buffer has two layers.
  • a number such as 2 may be appended to the back (eg, o2).
  • profile-id, rec-level, and level-id are the type of profile (eg, basic or extended) used for point cloud compression, respectively, and reconstruction of a stereoscopic image. It may mean a parameter expressing the level (eg, 0, 1, or 2) for performing the function and the quality of the compressed point cloud (eg, 1: about 1 million per frame, 2: about 2 million).
  • max_vertex may mean the maximum number of points in one frame of the point cloud media.
  • max_vertex_per_second may represent the total sum of points included in frames transmitted in 1 second.
  • the above-described max_vertex or max_vertex_per_second may be assigned an appropriate value according to the processing performance of the generating device of the transmitting terminal or the rendering device of the receiving terminal.
  • 99 in the SDP offer message of FIG. 22 may mean a payload type number allocated to this session including the point cloud media.
  • ply xyz:10 rgb1:8 rgb2:8 may mean that the data array of the PLY format is X, Y, and Z coordinates expressed by 10 bits, respectively, and two R, G B color components expressed by 8 bits. That is, if more than one color component can be assigned to one XYZ position, it can be indicated that there are n rgb attributes in the same way as ply xyz:10 rgb1:8 rgb2:8 ... rgbn:8 . .
  • the transmission bit rate for the point cloud if only one of two different conditions included in the SDP offer message is satisfied, for example, the transmission bit rate for the point cloud does not exceed 10 Mbps, but when 120000 points are used, Or conversely, if 100000 points are used but the transmission bit rate for the point cloud exceeds 15 Mbps, it may be set so as not to exceed all of the above conditions. That is, it may be set such that the transmission bit rate for the point cloud does not exceed 10 Mbps, and that 100000 points are not used.
  • FIG. 23 is a diagram illustrating an example of a transmission terminal transmission message according to an embodiment of the present disclosure.
  • priority parameters are selectively enumerated and delivered through an SDP offer message, such as a prioritized AS vertex patch.
  • a plurality of different priority parameters may be specified in order of priority. For example, in the example of FIG. 23, if the bit rate meets the condition, the number of vertices (ie, the number of point clouds) may be ignored, or if the bit rate and the number of vertices meet the condition, the patch size constraint will be ignored. indicates that it can However, in one embodiment, all conditions that are not specified as a prioritized parameter may not be changed or exceeded, that is, not listed as the prioritized parameter, such as a codec or profile. For other conditions, it can operate according to the SDP protocol. That is, the point cloud to be transmitted and received may be determined based on the parameter provided through the SDP offer message.
  • a plurality of messages may be transmitted to a transmitting terminal or a receiving terminal, and accordingly, one or a plurality of messages
  • a point cloud for an object may be generated as shown in FIG. 15 to satisfy all of the conditions.
  • doi_enabled specified in the SDP Offer message indicates that the transmitting terminal supports the point cloud processing and encoding (point cloud processing / encoding) function using the direction of interest (DOI) information of the receiving terminal. It may mean a flag. According to one embodiment, that the flag is not included in the SDP offer message means that the transmitting terminal and the session between the transmitting terminal and the receiving terminal do not support the point cloud processing and encoding function using the interest direction information of the receiving terminal can do.
  • the transmitting terminal may provide a separate labeling function for a part of a stereoscopic image by using additional processing such as AI.
  • the transmitting terminal may provide the receiving terminal with annotations for a portion indicated by the DOI in the stereoscopic image as shown in FIGS. 32A and 32B .
  • the transmitting terminal may display a comment accordingly.
  • the transmitting terminal may describe the DOI in the form of descriptive text.
  • 24 is a diagram illustrating an example of a response message to a transmission terminal transmission message according to an embodiment of the present disclosure.
  • FIG. 24 shows an SDP Answer message returned by a receiving terminal after receiving the SDP offer message of FIG. 22 or FIG. 23 and changing QoS parameters to a level to be applied to a session.
  • the receiving terminal may include information indicating that 1280x720 resolution is used as the image buffer resolution and a bit rate of 6 Mbps or less is used in the SDP answer message. For example, all patches of each frame having a maximum size of 500x500 within a maximum resolution of 1280x720 mutually agreed between the transmitting terminal and the receiving terminal may be included.
  • the doi_enabled flag when the doi_enabled flag is included in the SDP Answer message, it may mean that the receiving terminal requests a Direction of Interest based delivery session from the transmitting terminal.
  • the direction of interest metadata RTCP channel may be used for the request as shown in FIG. 30A.
  • FIG. 25 is a diagram illustrating a negotiation procedure between a transmitting terminal and a receiving terminal for point cloud transmission according to an embodiment of the present disclosure.
  • FIG. 25 shows that a transmitting terminal (UE A) 2510 and a receiving terminal (UE B) 2520 negotiate a transmission method of the point cloud using the IMS (IP Multimedia Subsystem) shown in FIG. , a procedure for securing QoS of a wireless transmission path is shown.
  • IMS IP Multimedia Subsystem
  • the transmitting terminal 2510 includes the first SDP offer message 2502 in the (SIP) INVITE message 2501, and the IMS node P-CSCF (Proxy) assigned to it. Call Session Control Function). And, these messages may be delivered to the IMS to which the counterpart terminal is connected via nodes such as S-CSCF (Session Call Session Control Function) and I-CSCF (Interrogating Call Session Control Function), and finally the receiving terminal 2520 can be passed on to
  • the first SDP offer message 2502 may include the SDP offer message shown in FIGS. 21 to 23 .
  • the receiving terminal 2520 may select an acceptable bit rate and transmission method from among the bit rate and the point cloud transmission method proposed by the transmitting terminal 2510 . Then, the first SDP answer message 2504 including the selected information may be included in the SIP 183 message 2503 and transmitted to the transmitting terminal 2510 . In the process of transmitting the SIP 183 message 2503 including the first SDP answer message 2504 to the transmitting terminal, each IMS node may start to reserve transmission resources of the wired and wireless networks required for this service. And, all conditions of the session including point cloud transmission through additional message exchange such as PRACK message 2505, SIP 200 message 2507, SIP UPDATE message 2509 and SIP 200 message 2511 are transmitted to the sending terminal 2510.
  • the transmitting terminal 2510 changes the state from the state (eg, network state) of the transmitting terminal 2510 at the time of transmitting the first SDP offer message 2502 , or the second SDP offer by default regardless of this Message 2506 may be generated and transmitted.
  • the receiving terminal 2520 may generate and transmit a second SDP answer message 2508 .
  • the transmitting terminal confirming that the transmission resources of all transmission sections are secured may transmit the point cloud to the receiving terminal through the Media Flow message 2513 .
  • the point cloud is not necessarily transmitted through the Media Flow message 2513, and the point cloud may be transmitted from the transmitting terminal to the receiving terminal regardless of the message format. 26 which will be described later, illustrates a procedure for the receiving terminal 2520 to construct an SDP answer message from the SDP offer message transmitted from the transmitting terminal 2510. Referring to FIG.
  • FIG. 26 is a flowchart illustrating a response message generation procedure of a receiving terminal according to an embodiment of the present disclosure. More specifically, FIG. 26 illustrates a process in which the receiving terminal analyzes the SDP Offer message transmitted by the transmitting terminal in FIG. 25 to prepare and transmit the SDP Answer message.
  • the receiving terminal may receive an SDP Offer message. That is, the receiving terminal may receive, from the transmitting terminal, a message including parameters for transmission and reception of the point cloud.
  • the receiving terminal may determine whether max_vertex is allowable. For example, it may be determined whether the number of points (max_vertex) in the SDP Offer message is a value suitable for the bit rate and resolution determined in a previous step (eg, steps 2603 to 2607). In addition, when the receiving terminal cannot accept max_vertex included in the SDP offer message, it may decrease max_vertex in step 2611 . That is, the receiving terminal may reduce max_vertex included in the SDP offer message within a range that the receiving terminal itself can accommodate.
  • the receiving terminal may determine whether max_patch_length(x,y) is allowable. That is, the receiving terminal may determine whether it can accommodate the max_patch_length(x,y) value in the received SDP offer message, that is, the maximum patch length. If the receiving terminal cannot accommodate it, it may decrease max_patch_length(x,y) in step 2615 . That is, when the maximum patch length is not acceptable, the receiving terminal may reduce the maximum patch length to less than an acceptable range by the receiving terminal itself.
  • the receiving terminal may check whether doi_enabled exists. For example, the receiving terminal may confirm that doi_enabled, which is an indicator indicating whether or not the direction of interest information of the receiving terminal can be used, is included in the SDP offer message received from the transmitting terminal. In one embodiment, if doi_enabled is not included in the SDP offer message, the receiving terminal SDP answer in step 2621 based on the bit rate, resolution, number of points in the point cloud, the maximum number of patches, etc. determined in steps 2603 to 2613 You can compose a message.
  • doi_enabled which is an indicator indicating whether or not the direction of interest information of the receiving terminal can be used
  • the receiving terminal may determine doi based on the delivery usage. That is, after confirming that the doi_enabled indicator is included in the SDP offer message, the receiving terminal may determine a direction of interest (doi) based on delivery usage indicating a usage example such as a video call.
  • a direction of interest e.g., a direction of interest
  • the receiving terminal may generate the SDP Answer message based on the bit rate, resolution, number of points in the point cloud, the maximum number of patches and doi determined in steps 2603 to 2619, and the like.
  • the receiving terminal may transmit an SDP Answer message. That is, the receiving terminal may transmit the SDP Answer message generated in step 2621 to the transmitting terminal.
  • the receiving terminal may include the SDP Answer message in the SIP 183 message to transmit it to the transmitting terminal.
  • the transmitting terminal may transmit the compressed point cloud according to the session condition to the receiving terminal.
  • the receiving terminal may request to temporarily reduce the bit rate by transmitting a TMMBR message as shown in FIG. 6 to the transmitting terminal.
  • the receiving terminal may request to reduce the maximum number of point clouds per frame by transmitting the message shown in FIG. 27 together.
  • the Number of Points field of the message shown in FIG. 27 may mean the max_vertex parameter of the SDP message.
  • the Number of Points field may indicate the number of points from 0 to 2 31 -1. That is, the Maximum Number of Points of FIG. 27 may mean the maximum number of points that may constitute a point cloud.
  • the maximum or minimum ratio of the surface of a person or object that the point cloud can represent may be adjusted together with the adjustment of the bit rate.
  • FIGS. 28 and 29, which will be described later, show examples of messages transmitted to adjust the maximum or minimum ratio of the surface of an object that can be represented by the point cloud.
  • FIG. 28 is a diagram illustrating an example of metadata transmitted from a receiving terminal to a transmitting terminal according to an embodiment of the present disclosure.
  • 29 is a diagram illustrating an example of metadata transmitted from a receiving terminal to a transmitting terminal according to an embodiment of the present disclosure.
  • the Maximum Proportion of Represented Surface field of the message shown in FIG. 28 and the Minimum Proportion of Represented Surface field of the message shown in FIG. 29 may be expressed as values representing a ratio of 0 to 100% in units of 1%. For example, if 100% of the surface area cannot be transmitted, the transmitting terminal may select and transmit a point cloud of an area determined to be important to the receiving terminal. After that, when the channel condition is improved, the receiving terminal transmits the TMMBR message and the messages of FIGS. 27 and 28 to the transmitting terminal, thereby gradually increasing the bit rate, the number of points, the ratio of the surface area, etc. to the original value negotiated before the service starts. can make it come back.
  • the receiving terminal may need to request the transmitting terminal to preferentially process and transmit points in an important direction. For example, since the need for points indicating the back of a person who is speaking or having a conversation may be low, the receiving terminal transmits a Direction of Interest information message as shown in FIG. can instruct
  • 30A is a diagram illustrating an example of metadata transmitted from a receiving terminal to a transmitting terminal according to an embodiment of the present disclosure.
  • An arbitrary direction of interest of the receiving terminal may be displayed in the three-dimensional space as shown in FIG. 20A through the message shown in FIG. 30A.
  • the X, Y, and Z fields may indicate a start point of a vector indicating a direction of interest
  • the TX, TY, and TZ fields may indicate an end point of a vector indicating a direction of interest.
  • the X, Y, Z, TX, TY, and TZ fields may be expressed in a real number system having a range from 0 to 1.
  • the receiving terminal matches the origin of the object represented by the point cloud with the origin of the direction vector of interest, and after matching the x, y, and z axes, normalizes the coordinate system of the object represented by the point cloud from 0 to 1 ( normalized) can be transformed to match the coordinate system of the direction vector of interest.
  • the starting point of the direction vector of interest is (1, 0.5, 0.5)
  • the ending point is (1, 0.5, 0.5).
  • the start and end points of the interest vector for the point cloud object may correspond to (500, 500, 1500) and 0,500, 1500). This may indicate that the direction of interest is set from the center of the YZ plane to the direction facing the X-axis direction.
  • FIG. 30B the same message format as in FIG. 30A is used, but a region of interest in the three-dimensional space as shown in FIG. 30A may be indicated by specifying a different subtype. That is, in FIG. 30B , the X, Y, and Z fields may indicate the starting point of a cube representing the spatial region of interest, and the TX, TY, and TZ fields may indicate the size and location of the cube by indicating the end point of the cube of the spatial region of interest.
  • the W parameter may be used to represent the rotation of the space of interest.
  • the receiving terminal can use the W parameter to rotate the vector connecting the start point (XYZ) and the end point (TXTYTZ) in the clockwise direction by an angle value of W, and display the result as a region of interest.
  • the receiving terminal may transmit the determined space-of-interest region to the transmitting terminal as described above.
  • the transmitting terminal may transmit only the point cloud corresponding to the indicated ROI as shown in FIG. 20C accordingly.
  • the method of displaying the region of interest described in FIGS. 30A and 30B and the viewport of VR are similar in that it is the region of interest that the viewer is interested in. While the viewing direction is indicated by the viewport, in the present disclosure, the viewing direction and the interested direction may be different from the viewing direction. That is, in a scenario such as an AR video call, when a stereoscopic image of the other party is shown in front of the viewer, although the viewport for the stereoscopic image of the other party faces the front, the other party's stereoscopic image is displayed through a separate UX. A side view or a back view may be indicated in the direction of interest, and the terminal of the other party (ie, the transmitting terminal) may transmit only the indicated portion.
  • the terminal of the other party ie, the transmitting terminal
  • FIG. 31 is a flowchart illustrating a procedure in which a transmitting terminal transmits point cloud media based on a message received from a receiving terminal according to an embodiment of the present disclosure. That is, FIG. 31 shows that, after session setup between the transmitting terminal and the receiving terminal, a change occurs in the communication network situation, and the transmitting terminal receives point cloud media from the receiving terminal through RTCP APP packets. It is a diagram illustrating an embodiment that may occur when multiple messages are received.
  • the transmitting terminal may receive TMMBR feedback from the receiving terminal. And, the transmitting terminal may receive the bit rate requested by the receiving terminal through the TMMBR feedback,
  • the transmitting terminal may receive feedback regarding the maximum number of points. And in step 3105, the transmitting terminal may check whether the direction of interest is activated. If the direction of interest is not activated, the transmitting terminal may adjust the number of point clouds in step 3113 . That is, the transmitting terminal may adjust the number of points included in the point cloud.
  • the transmitting terminal may adjust the direction of the point cloud. That is, when the direction of interest is activated, the transmitting terminal may adjust the direction of the point cloud based on information about the direction of interest received from the receiving terminal.
  • the transmitting terminal may receive feedback on the maximum or minimum ratio of the object surface. That is, the transmitting terminal may receive information on the maximum ratio or the minimum ratio as shown in FIGS. 28 and 29 from the receiving terminal. And, in step 3111, the transmitting terminal may adjust the surface of the point cloud. For example, the transmitting terminal may adjust the surface ratio of the point cloud based on the maximum or minimum ratio of the received object surface.
  • the transmitting terminal may adjust the number of point clouds. That is, the transmitting terminal may adjust the number of points included in the point cloud. And, in step 3115, the transmitting terminal may perform point cloud encoding. And, in step 3117, the transmitting terminal may determine whether the media bit rate satisfies the TMMBR. That is, the transmitting terminal may determine whether the media bit rate satisfies the bit rate received through the TMMBR message. If not satisfied, the transmitting terminal may perform step 3113 again. For example, the transmitting terminal may adjust the number of points included in the point cloud by setting the bit rate received in step 3101 as the target transmission amount and performing an adjustment process to match the set target transmission amount. In step 3119, the transmitting terminal may transmit media. That is, the transmitting terminal may transmit the point cloud processed through steps 3101 to 3117 described above to the receiving terminal.
  • the receiving terminal can select and specify characteristic values that can define the transmission quality in more detail from among the parameters included in the SDP offer message. Metadata for requesting the characteristic value is shown in Fig. 27 to 30b.
  • 32A is a diagram illustrating an example in which a transmitting terminal provides annotations to a receiving terminal according to an embodiment of the present disclosure.
  • FIG. 32A illustrates a method for a transmitting terminal to provide an annotation for a portion indicated by a DOI to a receiving terminal when the provision of annotation is started.
  • an annotation may be provided as a length of descriptive text (eg, Annotation-length) or an actual text (eg, Annotation value).
  • 32B is a diagram illustrating an example in which a transmitting terminal provides an annotation to a receiving terminal according to an embodiment of the present disclosure.
  • FIG. 32B illustrates a case in which annotations are provided together with a schema for providing annotations.
  • annotation_value may be expressed as 0, 1, 2, 3, 4, 5, 6, 7, 14.
  • annotation_value may be indicated as 0.
  • 33A is a diagram illustrating an example in which a receiving terminal provides a response corresponding to a comment to a transmitting terminal according to an embodiment of the present disclosure.
  • FIG. 33A illustrates a method in which a receiving terminal requests only a part of a stereoscopic image corresponding to a specific annotation from a transmitting terminal.
  • FIG. 33B is a diagram illustrating an example in which a receiving terminal provides a response corresponding to an annotation to a transmitting terminal according to an embodiment of the present disclosure.
  • 33B illustrates a method in which a receiving terminal requests only a part of a stereoscopic image corresponding to a specific annotation from a transmitting terminal.
  • FIG. 33A shows an embodiment in which the receiving terminal indicates only an annotation without specifying an interest type.
  • the receiving terminal may indicate to the transmitting terminal an interest type along with an annotation value.
  • Interest_type can be used as 0:none, 1:direction, 2:space, 3:reserved, and Annotation values specify a plurality of regions or directions of interest such as 0,1,2. can be used
  • 34 is a diagram illustrating an example of a method of indicating a body part of a person in a 3D image through an annotation according to an embodiment of the present disclosure.
  • a representative part may be identified by segmenting it around a joint of the body, and a transmitting terminal and a receiving terminal may be assigned a direction of interest or a space of interest through human text and value designation. , soi) is possible.
  • PLY Polygon File Format
  • FIG. 35 shows a part of the PLY format of the point cloud as shown in FIG. 20A.
  • Subsequent numbers may mean RGB values and XYZ coordinate systems of each point.
  • This coordinate system may be the same as the coordinate system used in FIG. 20A , and each coordinate may be equal to or greater than zero.
  • X, Y, Z, TX, TY, and TZ of the message of FIG. 32B may correspond to this coordinate system.
  • the bit of the +/- field is set to 0, it may mean the opposite direction.
  • the compression and transmission method of the point cloud can be efficiently adjusted according to a change in the channel conditions for the transmitting terminal or the receiving terminal.
  • the capacity and media quality of the network can be maximized through such efficient adjustment.
  • a terminal may mean a transmitting terminal or a receiving terminal.
  • the terminal of the present disclosure may include a processor 3630 , a transceiver 3610 , a memory 3620 , and a camera 3640 .
  • the components of the terminal are not limited to the above-described example.
  • the terminal may include more or fewer components than the aforementioned components.
  • the transmitting terminal may further include a camera for photographing the point cloud
  • the receiving terminal may further include a display for displaying the received point cloud.
  • the processor 3630 , the transceiver 3610 , and the memory 3620 may be implemented in the form of a single chip.
  • the processor 3630 may control a series of processes in which the terminal may operate according to the above-described embodiment of the present disclosure.
  • components of the terminal may be controlled to perform a method of controlling negotiation of parameters related to a point cloud session between a transmitting terminal and a receiving terminal according to an embodiment of the present disclosure.
  • the transceiver 3610 may transmit/receive a signal to/from the base station.
  • a signal transmitted and received with the base station may include control information and data.
  • the transceiver 3610 may include an RF transmitter for up-converting and amplifying a frequency of a transmitted signal, and an RF receiver for low-noise amplifying and down-converting a received signal.
  • the transceiver 3610 is only an example, and the components of the transceiver 3610 are not limited to the RF transmitter and the RF receiver.
  • the transceiver 3610 may receive a signal through a wireless channel, output it to the processor 3630 , and transmit a signal output from the processor 3630 through a wireless channel.
  • the transceiver 3610 may transmit/receive a signal to/from the counterpart terminal. For example, when the transceiver 3610 is included in the transmitting terminal, the transceiver 3610 may transmit/receive a signal to and from the receiving terminal. In addition, when the transceiver 3610 is included in the receiving terminal, the transceiver 3610 may transmit/receive a signal to and from the transmitting terminal.
  • the memory 3620 may store programs and data necessary for the operation of the terminal. Also, the memory 3620 may store control information or data included in a signal transmitted and received by the terminal.
  • the memory 3620 may be configured as a storage medium or a combination of storage media such as ROM, RAM, hard disk, CD-ROM, and DVD. In addition, there may be a plurality of memories 3620 .
  • the memory 3620 performs a control operation for parameter negotiation related to a point cloud session between a transmitting terminal and a receiving terminal, which is the above-described embodiments of the present disclosure. program can be saved for
  • FIG. 37 is a block diagram illustrating a specific configuration of a transmitting terminal or a receiving terminal according to an embodiment of the present disclosure.
  • an electronic device 3710 may mean a transmitting terminal or a receiving terminal according to the present disclosure.
  • the configuration of the transmitting terminal or the receiving terminal is not limited to the configuration shown in FIG. 37 . That is, the transmitting terminal or the receiving terminal according to the present disclosure may include some, all, or other components of the components shown in FIG. 37 .
  • the electronic device 3710 communicates with the electronic device 3702 through a first network 3798 (eg, a short-range wireless communication network) or a second network 3799 . ) (eg, a long-distance wireless communication network) to communicate with the electronic device 3704 or the server 3708 .
  • the electronic device 3710 may communicate with the electronic device 3704 through the server 3708 .
  • the electronic device 3710 includes a processor 3720 , a memory 3730 , an input device 3750 , a sound output device 3755 , a display device 3760 , an audio module 3770 , and a sensor module ( 3776 , interface 3777 , haptic module 3779 , camera module 3780 , power management module 3788 , battery 3789 , communication module 3790 , subscriber identification module 3796 , or antenna module 3797 ) ) may be included.
  • at least one of these components eg, the display device 3760 or the camera module 3780
  • some of these components may be implemented as one integrated circuit.
  • the sensor module 3776 eg, a fingerprint sensor, an iris sensor, or an illuminance sensor
  • the display device 3760 eg, a display.
  • the processor 3720 for example, executes software (eg, a program 3740) to execute at least one other component (eg, hardware or software component) of the electronic device 3710 connected to the processor 3720 . It can control and perform various data processing or operations. According to an embodiment, as at least part of data processing or operation, the processor 3720 stores a command or data received from another component (eg, the sensor module 3776 or the communication module 3790 ) into volatile memory. ) 3732 , may process commands or data stored in the volatile memory 3732 , and store the result data in a non-volatile memory 3734 .
  • software eg, a program 3740
  • the processor 3720 stores a command or data received from another component (eg, the sensor module 3776 or the communication module 3790 ) into volatile memory. ) 3732 , may process commands or data stored in the volatile memory 3732 , and store the result data in a non-volatile memory 3734 .
  • the processor 3720 may perform a control operation for parameter negotiation related to the point cloud session between the transmitting terminal and the receiving terminal.
  • the processor 3720 acquires a point cloud by photographing an object, and sends a message including parameters for transmission and reception of the point cloud to the receiving terminal.
  • configuration of the transmitting terminal to transmit, receive, from the receiving terminal, a response message including the application parameter of the receiving terminal, compress the point cloud based on the application parameter of the receiving terminal, and transmit the compressed point cloud to the receiving terminal can control them.
  • the processor 3720 when the processor 3720 is included in the receiving terminal according to the present disclosure, the processor 3720 receives, from the transmitting terminal, a message including parameters for transmission and reception of the point cloud, and the channel state and the point cloud of the receiving terminal. Determines the application parameter of the receiving terminal based on the parameters for transmission and reception of, transmits a response message including the determined application parameter of the receiving terminal to the transmitting terminal, receives the point cloud from the transmitting terminal, based on the compressed point cloud
  • the configuration of the receiving terminal can be controlled to display an image related to the object.
  • the processor 3720 includes a main processor 3721 (eg, a central processing unit (CPU) or an application processor (AP)), and a co-processor capable of operating independently or in conjunction with the main processor 3721 .
  • 3723 eg, a graphic processing unit (GPU), an image signal processor (ISP), a sensor hub processor, or a communication processor (CP)
  • the auxiliary processor 3723 may be configured to use less power than the main processor 3721 or to specialize in a designated function.
  • the auxiliary processor 3723 may be implemented separately from or as a part of the main processor 3721 .
  • the secondary processor 3723 may be, for example, on behalf of the main processor 3721 or the main processor 3721 while the main processor 3721 is in an inactive (eg, sleep) state. At least one of the components of the electronic device 3710 (eg, the display device 3760 and the sensor module 3776 ) together with the main processor 3721 while in an active (eg, application execution) state ), or at least some of functions or states related to the communication module 3790).
  • the coprocessor 3723 eg, an image signal processor or communication processor
  • may be implemented as part of another functionally related component eg, the camera module 3780 or the communication module 3790. have.
  • the memory 3730 may store various data used by at least one component of the electronic device 3710 (eg, the processor 3720 or the sensor module 3776).
  • the data may include, for example, input data or output data for software (eg, a program 3740) and instructions related thereto.
  • the memory 3730 may include a volatile memory 3732 or a non-volatile memory 3734 .
  • the program 3740 may be stored as software in the memory 3730 , and may include, for example, an operating system (OS) 3742 , middleware 3744 , or an application 3746 . .
  • OS operating system
  • middleware middleware
  • application application
  • the input device 3750 may receive a command or data to be used by a component (eg, the processor 3720 ) of the electronic device 3710 from the outside (eg, a user) of the electronic device 3710 .
  • the input device 3750 may include, for example, a microphone, a mouse, a keyboard, or a digital pen (eg, a stylus pen).
  • the sound output device 3755 may output a sound signal to the outside of the electronic device 3710 .
  • the sound output device 3755 may include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback, and the receiver can be used to receive an incoming call. According to one embodiment, the receiver may be implemented separately from or as part of the speaker.
  • the display device 3760 may visually provide information to the outside (eg, a user) of the electronic device 3710 .
  • the display device 3760 may include, for example, a display, a hologram device, or a projector and a control circuit for controlling the corresponding device.
  • the display device 3760 includes a touch circuitry configured to sense a touch or a sensor circuit configured to measure the intensity of a force generated by the touch (eg, a pressure sensor). may include
  • the display device 3760 when the display device 3760 is included in the receiving terminal, the display device 3760 may include an AR display for displaying the point cloud received from the transmitting terminal.
  • the receiving terminal may display a part of an object such as a person or an object as an AR image.
  • the audio module 3770 may convert a sound into an electric signal or, conversely, convert an electric signal into a sound. According to an embodiment, the audio module 3770 acquires a sound through the input device 3750 , or an external electronic device (eg, a sound output device 3755 ) directly or wirelessly connected to the electronic device 3710 . The sound may be output through the electronic device 3702 (eg, a speaker or headphones).
  • an external electronic device eg, a sound output device 3755
  • the sound may be output through the electronic device 3702 (eg, a speaker or headphones).
  • the sensor module 3776 detects an operating state (eg, power or temperature) of the electronic device 3710 or an external environmental state (eg, a user state), and generates an electrical signal or data value corresponding to the sensed state. can do.
  • the sensor module 3776 may include, for example, a gesture sensor, a gyro sensor, a barometer sensor, a magnetic sensor, and an acceleration sensor.
  • grip sensor proximity sensor, color sensor (eg, RGB (red, green, blue) sensor), IR (infrared) sensor, biometric sensor, temperature Sensors (temperature sensor), humidity sensor (humidity sensor), illuminance sensor, or sensors related to autonomous vehicles (eg, inertial measurement sensor (IMU), global positioning system (GPS) sensor, camera, LIDAR ( Light Imaging Detection and Ranging), RADAR (Radio Detection and Ranging, etc.) may include a sensor module.
  • color sensor eg, RGB (red, green, blue) sensor
  • IR infrared
  • biometric sensor e.g., temperature Sensors (temperature sensor), humidity sensor (humidity sensor), illuminance sensor, or sensors related to autonomous vehicles (eg, inertial measurement sensor (IMU), global positioning system (GPS) sensor, camera, LIDAR ( Light Imaging Detection and Ranging), RADAR (Radio Detection and Ranging, etc.) may include a sensor module.
  • the interface 3777 may support one or more designated protocols that may be used to directly or wirelessly connect to an external electronic device (eg, the electronic device 3702) of the electronic device 3710 .
  • the interface 3777 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, a secure digital (SD) card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD secure digital
  • connection terminal 3778 may include a connector through which the electronic device 3710 can be physically connected to an external electronic device (eg, the electronic device 3702).
  • the connection terminal 3778 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 3779 may convert an electrical signal into a mechanical stimulus (eg, vibration or movement) or an electrical stimulus that the user can perceive through tactile or kinesthetic sense.
  • the haptic module 3779 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 3780 may capture still images and moving images. According to an embodiment, the camera module 3780 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the camera module 3780 when the camera module 3780 is included in the transmitting terminal, the camera module 3780 may acquire a point cloud by photographing an object such as a person or an object.
  • the power management module 3788 may manage power supplied to the electronic device 3710 .
  • the power management module 3788 may be implemented as, for example, at least a part of a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 3789 may supply power to at least one component of the electronic device 3710 .
  • battery 3789 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication module 3790 is a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 3710 and an external electronic device (eg, the electronic device 3702, the electronic device 3704, or the server 3708). It can support establishment and communication performance through the established communication channel.
  • the communication module 3790 may include one or more communication processors that operate independently of the processor 3720 (eg, an application processor) and support direct (eg, wired) communication or wireless communication.
  • the communication module 3790 may include a wireless communication module 3792 (eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 3794 (eg, : It may include a LAN (local area network) communication module, or a power line communication module).
  • a corresponding communication module among these communication modules is a first network 3798 (eg, a short-range communication network such as Bluetooth, Wi-Fi direct, or infrared data association (IrDA)) or a second network 3799 (eg, a cellular network, the Internet).
  • a wireless communication module 3792 eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module
  • GNSS global navigation satellite system
  • wired communication module 3794 eg, : It may include a LAN (local area network) communication module, or a power line communication module.
  • the communication module may communicate with an external electronic device through a sidelink of LTE, 5G, or Wi-Fi Direct using an unlicensed spectrum.
  • LTE Long Term Evolution
  • 5G Fifth Generation
  • Wi-Fi Direct Wireless Fidelity
  • the wireless communication module 3792 communicates with the first network 3798 or the second network 3799 using subscriber information (eg, international mobile subscriber identity (IMSI)) stored in the subscriber identification module 3796 .
  • subscriber information eg, international mobile subscriber identity (IMSI)
  • IMSI international mobile subscriber identity
  • the electronic device 3710 may be identified and authenticated within the same communication network.
  • the antenna module 3797 may transmit or receive a signal or power to the outside (eg, an external electronic device).
  • the antenna module 3797 may include one antenna including a conductor formed on a substrate (eg, a PCB) or a radiator formed of a conductive pattern.
  • the antenna module 3797 may include a plurality of antennas. In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 3798 or the second network 3799 is connected from the plurality of antennas by, for example, the communication module 3790 . can be selected. A signal or power may be transmitted or received between the communication module 3790 and an external electronic device through the selected at least one antenna.
  • other components eg, RFIC
  • other than the radiator may be additionally formed as a part of the antenna module 3797 .
  • peripheral devices eg, a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • GPIO general purpose input and output
  • SPI serial peripheral interface
  • MIPI mobile industry processor interface
  • the command or data may be transmitted or received between the electronic device 3710 and the external electronic device 3704 through the server 3708 connected to the second network 3799 .
  • Each of the electronic devices 3702 or 3704 may be the same or a different type of device as the electronic device 3710 .
  • all or part of the operations performed by the electronic device 3710 may be executed by one or more of the external electronic devices 3702 , 3704 , or 3708 .
  • the electronic device 3710 may perform the function or service itself instead of executing the function or service itself.
  • one or more external electronic devices 3702 or 3704 may be requested to perform a function or at least a part of a service thereof.
  • the one or more external electronic devices 3702 or 3704 that have received the request execute at least a part of the requested function or service, or an additional function or service related to the request, and send a result of the execution to the electronic device 3710 .
  • the electronic device 3710 may process the result as it is or additionally and provide it as at least a part of a response to the request.
  • a method of operating a transmitting terminal in a wireless communication system includes: acquiring a point cloud by photographing an object; transmitting a message including parameters for transmission and reception of the point cloud to a receiving terminal;
  • the parameter for transmission/reception of the point cloud includes at least one of a parameter related to the direction of the object or a spatial area parameter related to the object, a response message including an application parameter of the receiving terminal from the receiving terminal receiving, determining the application parameter of the receiving terminal based on a parameter for transmission/reception of the point cloud and a channel state of the receiving terminal, and compressing the point cloud based on the application parameter of the receiving terminal , and transmitting the compressed point cloud to the receiving terminal.
  • the parameter related to the direction of the object indicates a display direction of the object in the image when the object is displayed by the receiving terminal through an image, and the parameter for transmission and reception of the point cloud is , an indicator indicating whether a parameter related to the direction of the object is used.
  • the parameter for transmission and reception of the point cloud includes an indicator indicating whether to use a spatial domain parameter related to the object, and the spatial domain parameter related to the object divides the object into one or more regions. It may include at least one of information indicating the method of performing the operation and information indicating the one or more regions.
  • the parameters for transmitting and receiving the point cloud include resolution information of an image buffer related to compression of the point cloud, type information of the image buffer, information on the number of point clouds, and transmission speed information of the point cloud. , information indicating a priority between patch size information for the point cloud, information on the number of point clouds, and patch size information for the point cloud.
  • a method of operating a receiving terminal in a wireless communication system receives, from a transmitting terminal, a message including parameters for transmission and reception of a point cloud, wherein the point cloud is obtained by photographing an object
  • the parameter for transmission/reception of the point cloud includes at least one of a parameter related to the direction of the object and a spatial area parameter related to the object, based on a channel state of the receiving terminal and a parameter for transmission/reception of the point cloud to determine the application parameter of the receiving terminal, transmitting a response message including the determined application parameter of the receiving terminal to the transmitting terminal, receiving a point cloud from the transmitting terminal, and the point cloud is the receiving terminal It may include performing compression based on an application parameter of , and displaying an image related to the object based on the compressed point cloud.
  • the parameter related to the direction of the object indicates a display direction of the object in the image when the object is displayed by the receiving terminal through an image, and the parameter for transmission and reception of the point cloud is , an indicator indicating whether a parameter related to the direction of the object is used.
  • the determining of the application parameter of the receiving terminal includes: identifying an indicator indicating whether to use a parameter related to the direction of the object from the parameter for transmission and reception of the point cloud;
  • the method may include determining at least one of a display direction of the object based on a channel state or a predetermined criterion.
  • the parameter for transmission and reception of the point cloud includes an indicator indicating whether to use a spatial domain parameter related to the object, and the spatial domain parameter related to the object divides the object into one or more regions. It may include at least one of information indicating a method of doing the same or information indicating one or more regions related to the object.
  • the determining of the application parameter of the receiving terminal includes: identifying an indicator indicating whether to use the spatial area parameter related to the object from the parameter for transmission and reception of the point cloud;
  • the method may include determining at least one of information indicating one or more regions related to the object based on a channel state or a predetermined criterion.
  • the parameters for transmitting and receiving the point cloud include resolution information of an image buffer related to compression of the point cloud, type information of the image buffer, information on the number of point clouds, and transmission speed information of the point cloud. , information indicating a priority between patch size information for the point cloud, information on the number of point clouds, and patch size information for the point cloud.
  • a transmitting terminal acquires a point cloud by photographing a transceiver and an object, and receives a message including parameters for transmission/reception of the point cloud through the transceiver transmitted to the terminal, and the parameters for transmission and reception of the point cloud include at least one of a parameter related to the direction of the object and a spatial area parameter related to the object, and through the transceiver, from the receiving terminal, the receiving terminal Receive a response message including an application parameter of , the application parameter of the receiving terminal is determined based on a parameter for transmission/reception of the point cloud and a channel state of the receiving terminal, and based on the application parameter of the receiving terminal , compressing the point cloud, and transmitting the compressed point cloud to the receiving terminal through the transceiver may include at least one processor.
  • the parameter related to the direction of the object indicates a display direction of the object in the image when the object is displayed by the receiving terminal through an image, and the parameter for transmission and reception of the point cloud is , an indicator indicating whether a parameter related to the direction of the object is used.
  • the parameter for transmission and reception of the point cloud includes an indicator indicating whether to use a spatial domain parameter related to the object, and the spatial domain parameter related to the object divides the object into one or more regions. It may include at least one of information indicating the method of performing the operation and information indicating the one or more regions.
  • the parameters for transmitting and receiving the point cloud include resolution information of an image buffer related to compression of the point cloud, type information of the image buffer, information on the number of point clouds, and transmission speed information of the point cloud. , information indicating a priority between patch size information for the point cloud, information on the number of point clouds, and patch size information for the point cloud.
  • a receiving terminal receives a message including a parameter for transmission and reception of a point cloud from a transmitting terminal through a transceiver and the transceiver, and the point cloud is an object is obtained by photographing
  • the parameters for transmission and reception of the point cloud include at least one of a parameter related to the direction of the object or a spatial area parameter related to the object
  • a channel state of the receiving terminal and transmission/reception of the point cloud determines the application parameter of the receiving terminal based on the parameter for, and transmits a response message including the determined application parameter of the receiving terminal to the transmitting terminal through the transceiver, and through the transceiver, from the transmitting terminal
  • Receive a point cloud the point cloud is compressed based on an application parameter of the receiving terminal, and may include at least one processor for displaying an image related to the object based on the compressed point cloud.
  • the parameter related to the direction of the object indicates a display direction of the object in the image when the object is displayed by the receiving terminal through an image, and the parameter for transmission and reception of the point cloud is , an indicator indicating whether a parameter related to the direction of the object is used.
  • the at least one processor identifies an indicator indicating whether to use a parameter related to the direction of the object from the parameter for transmission and reception of the point cloud, and determines the channel state of the receiving terminal or a predetermined criterion. Based on it, at least one of the display directions of the object may be determined.
  • the parameter for transmission and reception of the point cloud includes an indicator indicating whether to use a spatial domain parameter related to the object, and the spatial domain parameter related to the object divides the object into one or more regions. It may include at least one of information indicating a method of doing the same or information indicating one or more regions related to the object.
  • the at least one processor identifies an indicator indicating whether to use a spatial area parameter related to the object from the parameter for transmission and reception of the point cloud, and determines whether the channel state of the receiving terminal or a predetermined criterion is used. Based on the information, at least one of information indicating one or more regions related to the object may be determined.
  • the parameters for transmitting and receiving the point cloud include resolution information of an image buffer related to compression of the point cloud, type information of the image buffer, information on the number of point clouds, and transmission speed information of the point cloud. , at least one of information indicating a priority between patch size information for the point cloud, information on the number of point clouds, and patch size information for the point cloud.
  • a computer-readable storage medium or computer program product storing one or more programs (software modules) may be provided.
  • One or more programs stored in a computer-readable storage medium or computer program product are configured for execution by one or more processors in an electronic device (device).
  • One or more programs include instructions for causing an electronic device to execute methods according to embodiments described in a claim or specification of the present disclosure.
  • Such programs include random access memory, non-volatile memory including flash memory, read only memory (ROM), electrically erasable programmable ROM (Electrically Erasable Programmable Read Only Memory, EEPROM), magnetic disc storage device, Compact Disc-ROM (CD-ROM), Digital Versatile Discs (DVDs), or any other form of It may be stored in an optical storage device or a magnetic cassette. Alternatively, it may be stored in a memory composed of a combination of some or all thereof. In addition, each configuration memory may be included in plurality.
  • the program accesses through a communication network composed of a communication network such as the Internet, Intranet, Local Area Network (LAN), Wide LAN (WLAN), or Storage Area Network (SAN), or a combination thereof. It may be stored in an attachable storage device that can be accessed. Such a storage device may be connected to a device implementing an embodiment of the present disclosure through an external port. In addition, a separate storage device on the communication network may be connected to the device implementing the embodiment of the present disclosure.
  • a communication network such as the Internet, Intranet, Local Area Network (LAN), Wide LAN (WLAN), or Storage Area Network (SAN), or a combination thereof. It may be stored in an attachable storage device that can be accessed.
  • Such a storage device may be connected to a device implementing an embodiment of the present disclosure through an external port.
  • a separate storage device on the communication network may be connected to the device implementing the embodiment of the present disclosure.
  • computer program product or “computer readable medium” refers to a medium such as a memory, a hard disk installed in a hard disk drive, and a signal as a whole. used for These "computer program products” or “computer-readable recording medium” are means provided in a method for controlling transmission and reception of data in a wireless communication system according to the present disclosure.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

본 개시는 무선 통신 시스템에서 데이터의 송수신을 제어하기 위한 방법 및 장치에 관한 것으로, 무선 통신 시스템에서 송신 단말의 동작 방법은, 오브젝트를 촬영함으로써 포인트 클라우드를 획득하는 단계; 상기 포인트 클라우드의 송수신을 위한 파라미터를 포함하는 메시지를 수신 단말에게 전송하고, 상기 포인트 클라우드의 송수신을 위한 파라미터는, 상기 오브젝트의 방향과 관련된 파라미터 또는 상기 오브젝트와 관련된 공간 구역 파라미터 중 적어도 하나를 포함하는 단계; 상기 수신 단말로부터, 상기 수신 단말의 적용 파라미터를 포함하는 응답 메시지를 수신하고, 상기 수신 단말의 적용 파라미터는, 상기 포인트 클라우드의 송수신을 위한 파라미터 및 상기 수신 단말의 채널 상태에 기초하여 결정되는 단계; 상기 수신 단말의 적용 파라미터에 기초하여, 상기 포인트 클라우드를 압축하는 단계; 및 상기 압축된 포인트 클라우드를 상기 수신 단말에게 전송하는 단계를 포함할 수 있다.

Description

무선 통신 시스템에서 데이터의 송수신을 제어하기 위한 방법 및 장치
본 개시는 무선 통신 시스템에서 데이터의 송수신을 제어하기 위한 방법 및 장치에 관한 것이다.
4G(4th generation) 통신 시스템 상용화 이후 증가 추세에 있는 무선 데이터 트래픽 수요를 충족시키기 위해, 개선된 5G(5th generation) 통신 시스템 또는 pre-5G 통신 시스템을 개발하기 위한 노력이 이루어지고 있다. 이러한 이유로, 5G 통신 시스템 또는 pre-5G 통신 시스템은 4G 네트워크 이후 (Beyond 4G Network) 통신 시스템 또는 LTE 시스템 이후 (Post LTE) 이후의 시스템이라 불리어지고 있다. 높은 데이터 전송률을 달성하기 위해, 5G 통신 시스템은 초고주파(mmWave) 대역 (예를 들어, 60기가(60GHz) 대역과 같은)에서의 구현이 고려되고 있다. 초고주파 대역에서의 전파의 경로손실 완화 및 전파의 전달 거리를 증가시키기 위해, 5G 통신 시스템에서는 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO), 전차원 다중입출력(Full Dimensional MIMO: FD-MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 및 대규모 안테나 (large scale antenna) 기술들이 논의되고 있다. 또한 시스템의 네트워크 개선을 위해, 5G 통신 시스템에서는 진화된 소형 셀, 개선된 소형 셀 (advanced small cell), 클라우드 무선 액세스 네트워크 (cloud radio access network: cloud RAN), 초고밀도 네트워크 (ultra-dense network), 기기 간 통신 (Device to Device communication: D2D), 무선 백홀 (wireless backhaul), 이동 네트워크 (moving network), 협력 통신 (cooperative communication), CoMP (Coordinated Multi-Points), 및 수신 간섭제거 (interference cancellation) 등의 기술 개발이 이루어지고 있다. 이 밖에도, 5G 시스템에서는 진보된 코딩 변조(Advanced Coding Modulation: ACM) 방식인 FQAM (Hybrid FSK and QAM Modulation) 및 SWSC (Sliding Window Superposition Coding)과, 진보된 접속 기술인 FBMC(Filter Bank Multi Carrier), NOMA(non-orthogonal multiple access), 및 SCMA(sparse code multiple access) 등이 고려되고 있다.
한편, 인터넷은 인간이 정보를 생성하고 소비하는 인간 중심의 연결 망에서, 사물 등 분산된 구성 요소들 간에 정보를 주고 받아 처리하는 IoT(Internet of Things, 사물인터넷) 망으로 진화하고 있다. 클라우드 서버 등과의 연결을 통한 빅데이터(Big data) 처리 기술 등이 IoT 기술에 결합된 IoE (Internet of Everything) 기술도 대두되고 있다. IoT를 구현하기 위해서, 센싱 기술, 유무선 통신 및 네트워크 인프라, 서비스 인터페이스 기술, 및 보안 기술과 같은 기술 요소 들이 요구되어, 최근에는 사물간의 연결을 위한 센서 네트워크(sensor network), 사물 통신(Machine to Machine, M2M), MTC(Machine Type Communication)등의 기술이 연구되고 있다. IoT 환경에서는 연결된 사물들에서 생성된 데이터를 수집, 분석하여 인간의 삶에 새로운 가치를 창출하는 지능형 IT(Information Technology) 서비스가 제공될 수 있다. IoT는 기존의 IT 기술과 다양한 산업 간의 융합 및 복합을 통하여 스마트홈, 스마트 빌딩, 스마트 시티, 스마트 카 혹은 커넥티드 카, 스마트 그리드, 헬스 케어, 스마트 가전, 첨단의료서비스 등의 분야에 응용될 수 있다.
이에, 5G 통신 시스템을 IoT 망에 적용하기 위한 다양한 시도들이 이루어지고 있다. 예를 들어, 센서 네트워크(sensor network), 사물 통신(Machine to Machine, M2M), MTC(Machine Type Communication)등의 기술이 5G 통신 기술인 빔 포밍, MIMO 및 어레이 안테나 등의 기법에 의해 구현되고 있는 것이다. 앞서 설명한 빅데이터 처리 기술로 클라우드 무선 액세스 네트워크(cloud RAN)가 적용되는 것도 5G 기술과 IoT 기술 융합의 일 예라고 할 수 있을 것이다.
상술한 것과 같은 무선 통신 시스템의 발전에 따라 다양한 서비스를 제공할 수 있게 됨으로써, 이러한 서비스들을 원활하게 제공하기 위한 방안이 요구되고 있다.
상술한 바와 같은 논의를 바탕으로, 본 개시는 무선 통신 시스템에서 데이터의 송수신을 효과적으로 제어할 수 있는 장치 및 방법을 제공한다.
도 1은 3G 통신 시스템의 네트워크의 구조의 예시를 도시하는 도면이다.
도 2는 LTE(Long Term Evolution) 통신 시스템의 네트워크 구조의 예시를 도시하는 도면이다.
도 3은 LTE 모뎀(modem)의 사용자 평면(user plane, UP) 프로토콜 구조를 도시하는 도면이다.
도 4는 VoLTE(Voice over LTE) 지원 단말의 음성 또는 영상 코덱과 RTP(Real-time Transport Protocol)/UDP(User Datagram Protocol)/IP(Internet Protocol) 프로토콜의 구조를 도시하는 도면이다.
도 5는 CMR(Codec Mode Request) 메시지의 구조를 도시하는 도면이다.
도 6은 TMMBR(Temporary Maximum Media Bit-rate Request) 메시지의 구조를 도시하는 도면이다.
도 7은 제어 메시지를 이용하여 상대 단말이 전송하는 영상 또는 음성 등의 미디어 비트 레이트를 조절하는 예시를 도시하는 도면이다.
도 8은 포인트 클라우드를 측정하는 카메라의 예시를 나타내는 도면이다.
도 9는 포인트 클라우드를 3차원 공간에서 도시하는 예시를 나타내는 도면이다.
도 10은 포인트 클라우드의 패치(patch)를 형성하는 예시를 나타내는 도면이다.
도 11은 색상 정보 패치 및 거리 정보 패치의 예시를 나타내는 도면이다.
도 12는 포인트 클라우드의 패치를 이용하여 비트 스트림을 생성하는 절차를 나타내는 도면이다.
도 13은 본 개시의 일 실시예에 따른 포인트 클라우드를 5G 네트워크를 이용하여 전송하는 시나리오를 나타내는 도면이다.
도 14는 본 개시의 일 실시예에 따른 포인트 클라우드 송수신의 송수신을 위한 프로토콜 구조를 나타내는 도면이다.
도 15는 본 개시의 일 실시예에 따른 포인트 클라우드의 송신을 위한 블록도를 나타내는 도면이다.
도 16은 본 개시의 일 실시예에 따른 송신 단말의 동작 방법을 나타내는 흐름도이다.
도 17은 본 개시의 일 실시예에 따른 수신 단말의 동작 방법을 나타내는 흐름도이다.
도 18은 본 개시의 일 실시예에 따른 수신 단말의 적용 파라미터를 결정하는 방법을 나타내는 흐름도이다.
도 19는 본 개시의 일 실시예에 따른 수신 단말의 적용 파라미터를 결정하는 방법을 나타내는 흐름도이다.
도 20a는 포인트 클라우드를 3차원 공간에서 도시하는 예시를 나타내는 도면이다.
도 20b는 포인트 클라우드를 부분 전송하는 예시를 나타내는 도면이다.
도 20c는 본 개시의 일 실시예에 따른 포인트 클라우드를 부분 전송하는 예시를 나타내는 도면이다.
도 21은 본 개시의 일 실시예에 따른 공간 구역 파라미터에 기초하여 생성되는 송신 단말 전송 메시지의 예시를 도시하는 도면이다.
도 22는 본 개시의 일 실시예에 따른 송신 단말 전송 메시지의 예시를 도시하는 도면이다.
도 23은 본 개시의 일 실시예에 따른 송신 단말 전송 메시지의 예시를 도시하는 도면이다.
도 24는 본 개시의 일 실시예에 따른 송신 단말 전송 메시지에 대한 응답 메시지의 예시를 도시하는 도면이다.
도 25는 본 개시의 일 실시예에 따른 포인트 클라우드의 전송을 위한 송신 단말과 수신 단말 간의 교섭 절차를 도시하는 도면이다.
도 26은 본 개시의 일 실시예에 따른 수신 단말의 응답 메시지 생성 절차를 도시하는 흐름도이다.
도 27은 본 개시의 일 실시예에 따른 수신 단말이 송신 단말에게 전송하는 메타데이터의 예시를 도시하는 도면이다.
도 28은 본 개시의 일 실시예에 따른 수신 단말이 송신 단말에게 전송하는 메타데이터의 예시를 도시하는 도면이다.
도 29는 본 개시의 일 실시예에 따른 수신 단말이 송신 단말에게 전송하는 메타데이터의 예시를 도시하는 도면이다.
도 30a는 본 개시의 일 실시예에 따른 수신 단말이 송신 단말에게 전송하는 메타데이터의 예시를 도시하는 도면이다.
도 30b는 본 개시의 일 실시예에 따른 수신 단말이 송신 단말에게 전송하는 메타데이터의 예시를 도시하는 도면이다.
도 31은 본 개시의 일 실시예에 따른 송신 단말이 수신 단말로부터 수신한 메시지에 기초하여 포인트 클라우드 미디어를 전송하는 절차를 도시하는 흐름도이다.
도 32a는 본 개시의 일 실시예에 따른 송신 단말이 수신 단말에게 주석(annotation)을 제공하는 예시를 도시하는 도면이다.
도 32b는 본 개시의 일 실시예에 따른 송신 단말이 수신 단말에게 주석을 제공하는 예시를 도시하는 도면이다.
도 33a는 본 개시의 일 실시예에 따른 수신 단말이 송신 단말에게 주석에 대응하는 응답을 제공하는 예시를 도시하는 도면이다.
도 33b는 본 개시의 일 실시예에 따른 수신 단말이 송신 단말에게 주석에 대응하는 응답을 제공하는 예시를 도시하는 도면이다.
도 34는 본 개시의 일 실시예에 따른 입체 영상 중 사람에 대한 신체 부분(body part)을 주석을 통해 지시하는 방법의 예시를 도시하는 도면이다.
도 35는 본 개시의 일 실시예에 따른 포인트 클라우드의 PLY(Polygon File Format) 포맷의 예시를 도시하는 도면이다.
도 36은 본 개시의 일 실시예에 따른 송신 단말 또는 수신 단말의 구성을 나타내는 블록도이다.
도 37은 본 개시의 일 실시예에 따른 송신 단말 또는 수신 단말의 구체적인 구성을 나타내는 블록도이다.
본 개시의 일 실시예에 따르면, 무선 통신 시스템에서 송신 단말의 동작 방법은, 오브젝트를 촬영함으로써 포인트 클라우드를 획득하는 단계, 상기 포인트 클라우드의 송수신을 위한 파라미터를 포함하는 메시지를 수신 단말에게 전송하고, 상기 포인트 클라우드의 송수신을 위한 파라미터는, 상기 오브젝트의 방향과 관련된 파라미터 또는 상기 오브젝트와 관련된 공간 구역 파라미터 중 적어도 하나를 포함하는 단계, 상기 수신 단말로부터, 상기 수신 단말의 적용 파라미터를 포함하는 응답 메시지를 수신하고, 상기 수신 단말의 적용 파라미터는, 상기 포인트 클라우드의 송수신을 위한 파라미터 및 상기 수신 단말의 채널 상태에 기초하여 결정되는 단계, 상기 수신 단말의 적용 파라미터에 기초하여, 상기 포인트 클라우드를 압축하는 단계, 및 상기 압축된 포인트 클라우드를 상기 수신 단말에게 전송하는 단계를 포함할 수 있다.
본 개시의 일 실시예에 따르면, 무선 통신 시스템에서 수신 단말의 동작 방법은, 송신 단말로부터, 포인트 클라우드의 송수신을 위한 파라미터를 포함하는 메시지를 수신하고, 상기 포인트 클라우드는 오브젝트를 촬영함으로써 획득되고, 상기 포인트 클라우드의 송수신을 위한 파라미터는, 상기 오브젝트의 방향과 관련된 파라미터 또는 상기 오브젝트와 관련된 공간 구역 파라미터 중 적어도 하나를 포함하는 단계, 상기 수신 단말의 채널 상태 및 상기 포인트 클라우드의 송수신을 위한 파라미터에 기초하여 상기 수신 단말의 적용 파라미터를 결정하는 단계, 상기 결정된 수신 단말의 적용 파라미터를 포함하는 응답 메시지를 상기 송신 단말에게 전송하는 단계, 상기 송신 단말로부터 포인트 클라우드를 수신하고, 상기 포인트 클라우드는 상기 수신 단말의 적용 파라미터에 기초하여 압축되는 단계, 및 상기 압축된 포인트 클라우드에 기초하여 상기 오브젝트와 관련된 영상을 표시하는 단계를 포함할 수 있다.
본 개시의 일 실시예에 따르면, 무선 통신 시스템에서 송신 단말은, 송수신부, 및 오브젝트를 촬영함으로써 포인트 클라우드를 획득하고, 상기 송수신부를 통해, 상기 포인트 클라우드의 송수신을 위한 파라미터를 포함하는 메시지를 수신 단말에게 전송하고, 상기 포인트 클라우드의 송수신을 위한 파라미터는, 상기 오브젝트의 방향과 관련된 파라미터 또는 상기 오브젝트와 관련된 공간 구역 파라미터 중 적어도 하나를 포함하고, 상기 송수신부를 통해, 상기 수신 단말로부터, 상기 수신 단말의 적용 파라미터를 포함하는 응답 메시지를 수신하고, 상기 수신 단말의 적용 파라미터는, 상기 포인트 클라우드의 송수신을 위한 파라미터 및 상기 수신 단말의 채널 상태에 기초하여 결정되고, 상기 수신 단말의 적용 파라미터에 기초하여, 상기 포인트 클라우드를 압축하고, 상기 송수신부를 통해, 상기 압축된 포인트 클라우드를 상기 수신 단말에게 전송하는 적어도 하나의 프로세서를 포함할 수 있다.
본 개시의 일 실시예에 따르면, 무선 통신 시스템에서 수신 단말은, 송수신부, 및 상기 송수신부를 통해, 송신 단말로부터, 포인트 클라우드의 송수신을 위한 파라미터를 포함하는 메시지를 수신하고, 상기 포인트 클라우드는 오브젝트를 촬영함으로써 획득되고, 상기 포인트 클라우드의 송수신을 위한 파라미터는, 상기 오브젝트의 방향과 관련된 파라미터 또는 상기 오브젝트와 관련된 공간 구역 파라미터 중 적어도 하나를 포함하고, 상기 수신 단말의 채널 상태 및 상기 포인트 클라우드의 송수신을 위한 파라미터에 기초하여 상기 수신 단말의 적용 파라미터를 결정하고, 상기 송수신부를 통해, 상기 결정된 수신 단말의 적용 파라미터를 포함하는 응답 메시지를 상기 송신 단말에게 전송하고, 상기 송수신부를 통해, 상기 송신 단말로부터 포인트 클라우드를 수신하고, 상기 포인트 클라우드는 상기 수신 단말의 적용 파라미터에 기초하여 압축되고, 상기 압축된 포인트 클라우드에 기초하여 상기 오브젝트와 관련된 영상을 표시하는 적어도 하나의 프로세서를 포함할 수 있다.
이하, 본 개시의 실시예를 첨부된 도면을 참조하여 상세히 설명한다. 또한 본 개시를 설명함에 있어서 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략할 것이다. 그리고 후술되는 용어들은 본 개시에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 개시의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 개시는 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 개시의 개시가 완전하도록 하고, 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 개시는 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행 예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예를 들면, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이때, 본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다. 또한 실시예에서 ‘~부’는 하나 이상의 프로세서를 포함할 수 있다.
하기에서 본 개시를 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 이하 첨부된 도면을 참조하여 본 개시의 실시 예를 설명하기로 한다.
이하 설명에서 사용되는 접속 노드(node)를 식별하기 위한 용어, 망 객체(network entity, 네트워크 엔티티)들을 지칭하는 용어, 메시지들을 지칭하는 용어, 망 객체들 간 인터페이스를 지칭하는 용어, 다양한 식별 정보들을 지칭하는 용어 등은 설명의 편의를 위해 예시된 것이다. 따라서, 본 개시가 후술되는 용어들에 한정되는 것은 아니며, 동등한 기술적 의미를 가지는 대상을 지칭하는 다른 용어가 사용될 수 있다.
이하 설명에서, 물리 채널(physical channel)과 신호(signal)는 데이터 혹은 제어 신호와 혼용하여 사용될 수 있다. 예를 들어, PDSCH(physical downlink shared channel)는 기지국에서 단말로 데이터가 전송되는 물리 채널을 지칭하는 용어이지만, PDSCH는 데이터를 지칭하기 위해서도 사용될 수 있다. 즉, 본 개시에서, '물리 채널을 송신한다'는 표현은 '물리 채널을 통해 데이터 또는 신호를 송신한다'는 표현과 동등하게 해석될 수 있다.
이하 본 개시에서, 상위 시그널링은 기지국에서 물리 계층의 하향링크 데이터 채널을 이용하여 단말로, 또는 단말에서 물리 계층의 상향링크 데이터 채널을 이용하여 기지국으로 전달되는 신호 전달 방법을 뜻한다. 상위 시그널링은 RRC(radio resource control) 시그널링 또는 MAC(media access control) 제어 요소(control element, CE) 등으로 이해될 수 있다.
이하 설명의 편의를 위하여, 본 개시는 3GPP NR(3rd Generation Partnership Project NR (New Radio)) 규격에서 정의하고 있는 용어 및 명칭들을 사용한다. 하지만, 본 개시가 상기 용어 및 명칭들에 의해 한정되는 것은 아니며, 다른 규격에 따르는 시스템에도 동일하게 적용될 수 있다. 본 개시에서 NR의 기지국인 gNB는 설명의 편의를 위하여 LTE의 기지국인 eNB와 혼용되어 사용될 수 있다. 즉 eNB로 설명한 기지국은 gNB를 나타낼 수 있다. 또한 단말이라는 용어는 핸드폰, MTC 기기, NB-IoT 기기, 센서 뿐만 아니라 또 다른 무선 통신 기기들을 나타낼 수 있다.
이하, 기지국은 단말의 자원할당을 수행하는 주체로서, gNode B (gNB), eNode B (eNB), Node B, BS (Base Station), 무선 접속 유닛, 기지국 제어기, 또는 네트워크 상의 여러 노드 중 적어도 하나일 수 있다. 단말은 UE (User Equipment), MS (Mobile Station), 셀룰러폰, 스마트폰, 컴퓨터, 또는 통신기능을 수행할 수 있는 멀티미디어 시스템을 포함할 수 있다. 물론 상기 예시에 제한되는 것은 아니다.
음성통화와 단문 메시지 (SMS) 등 기본적인 서비스를 제공할 수 있었던 GSM, IS-95 등 2세대 (2G) 네트워크는 이동통신 기술의 발전에 따라 영상통화 서비스를 제공할 수 있는 W-CDMA, cdma2000 등 3세대 (3G) 네트워크로 진화하였고 LTE 등 4세대 (4G) 네트워크에서는 대용량의 데이터와 고화질의 영상을 고속으로 전송할 수 있게 되었다. New Radio (NR) 무선통신 기술을 사용하는 5세대 (5G) 네트워크에서는 3차원 입체 영상을 전송하기 위해 Point Cloud Compression 기술의 사용이 고려되고 있다. 본 발명은 네트워크의 전송 조건이 열화되거나 망에 과도한 부하가 걸린 상황에서 Point Cloud Compression 기술을 5G 네트워크에 적용하는 장치와 방법에 관한 것이다.
이동통신 네트워크는 물리적으로 제한된 무선 주파수 자원과 각종 유무선 인프라 구축에 소요되는 오랜 시간과 막대한 투자비로 인해 전송 용량에 제한이 발생할 수 있다. 그러나 밀집된 지역에서 많은 단말들이 동시에 이동통신 네트워크에 접속하여 통화 서비스나 인터넷을 이용하거나 데이터 다운로드, 미디어 스트리밍 서비스를 사용하려고 시도할 수 있다. 이때, 네트워크의 용량이 부족한 경우, 단말들은 이러한 서비스들을 제대로 사용할 수 없을 수 있다.
상술된 네트워크 용량 부족과 같은 망 부하 현상은 대도시의 출퇴근 시간이나 좁은 공간에 많은 사람들이 밀집한 행사 등에서 발생할 수 있다. 통화량이 급증한 상황에서 서킷 교환 방식의(Circuit-Switched) 3G (예: Wideband Code Division Multiple Access, W-CDMA) 네트워크에서는 기지국들을 제어하는 무선 네트워크 제어기(Radio Network Controller, RNC)가 단말 및 네트워크에 설치된 음성 코덱의 비트 레이트를 낮추어 망 부하로 발생한 통신 장애를 극복할 수 있다. 일시적으로 낮아진 각 단말의 음성 비트 레이트는 망 용량에 여유가 생기면 순차적으로 증가될 수 있다.
도 1은 3G 통신 시스템의 네트워크의 구조의 예시를 도시하는 도면이다. 구체적으로, 도 1은 단말(User Equipment, UE), 기지국(NodeB), 무선 네트워크 제어기(RNC), 이동 교환 센터(Mobile Switching Center, MSC)로 이루어진 3G 네트워크의 구조를 도시하고 있다.
도 1을 참조하면, 도 1의 네트워크는 다른 이동통신 네트워크 및 유선 전화 통화망(Public Switched Telephone Network, PSTN)에 연결되어 있다. 이러한 3G 네트워크에서 음성은 AMR(Adaptive Multi-Rate) 등의 코덱으로 압축 및 복원될 수 있다. 이때, AMR 코덱은 단말과 MSC에 설치되어 양 방향 통화 서비스를 제공하게 한다. MSC는 AMR 코덱으로 압축된 음성을 PCM(Pulse-Code Modulation) 포맷으로 변환하여 PSTN으로 전송하거나, 반대로 PCM 포맷의 음성을 PSTN으로부터 전송 받아 AMR 코덱으로 압축하여 기지국으로 전송할 수 있다. RNC는 CMC(Codec Mode Control) 메시지로 단말과 MSC에 설치된 음성 코덱의 통화 비트 레이트를 실시간으로 상시 제어할 수 있다.
그러나 4G에서 패킷 교환(Packet-Switched) 방식의 네트워크가 도입되면서, 음성 코덱은 단말에만 설치되게 되고, 20ms 간격으로 압축된 음성 프레임이 기지국이나 전송 경로의 중간에 위치한 네트워크 노드에서 복원되지 않고 상대 단말까지 전송되어 복원될 수 있다. 본 개시에서 상대 단말은, 특정 단말과 데이터를 송수신하거나, 음성 또는 영상 통화를 수행하는 단말을 의미할 수 있다.
도 2는 LTE(Long Term Evolution) 통신 시스템의 네트워크 구조의 예시를 도시하는 도면이다.
도 2를 참조하면, 도 2는 4G(즉, Long Term Evolution, LTE)의 네트워크 구조를 도시하고 있다. 이때, 음성 코덱은 UE에만 설치되며 각 단말은 상대 단말의 음성 비트 레이트를 CMR(Codec Mode Request) 메시지를 이용하여 조절할 수 있다. 도 2에서 기지국인 eNodeB는 RF 기능을 전담하는 RRH(Remote Radio Head) 와 모뎀 디지털 신호처리를 전담하는 DU(Digital Unit)로 구분될 수 있다. 그리고, eNodeB는 Serving Gateway(S-GW), Packet Data Network Gateway(P-GW)를 통하여 IP(Internet Protocol) 백본 망(backbone network)에 연결될 수 있다. 그리고, IP 백본 망은 다른 사업자의 이동통신 네트워크나 인터넷에 연결될 수 있다.
도 3은 LTE 모뎀(modem)의 사용자 평면(user plane, UP) 프로토콜 구조를 도시하는 도면이다.
도 3을 참조하면, 도 3은 LTE 네트워크를 이용한 통화 시스템(Voice over LTE, VoLTE)에서 압축된 음성 또는 영상 프레임의 전송을 위해 사용되는 LTE 모뎀(Modem) 의 사용자 평면 프로토콜 구조를 도시한다. 도 3의 프로토콜 구조는 PDCP(Packet Data Convergence Protocol), RLC(Radio Link Control), MAC(Media Access Control) 및 PHY(Physical Layer)로 이루어져 있다.
도 4는 VoLTE(Voice over LTE) 지원 단말의 음성 또는 영상 코덱과 RTP(Real-time Transport Protocol)/UDP(User Datagram Protocol)/IP(Internet Protocol) 프로토콜의 구조를 도시하는 도면이다.
도 4의 프로토콜 구조의 가장 하단에 위치한 IP 프로토콜은 도 3에 도시된 프로토콜 구조의 최상단에 위치한 PDCP에 연결될 수 있다. 음성 또는 영상 코덱에서 압축된 미디어 프레임에 RTP/UDP/IP 헤더가 부착되어 LTE 네트워크를 통해 상대 단말로 전송될 수 있다. 또한, 단말은 네트워크로부터 상대 단말이 압축하여 전송한 미디어 패킷을 수신하고, 미디어를 복원하여 스피커와 디스플레이로 청취 및 시청할 수 있다. 이때, 단말은 동시에 캡쳐되어 압축된 음성과 영상 패킷이 동시에 도착하지 않더라도, RTP 프로토콜 헤더의 타임스탬프(Timestamp) 정보를 이용하여 두 미디어의 동기를 맞추어 청취 및 시청할 수 있다.
단말이 인접한 셀과의 경계에 위치하거나, 셀 내에 대량의 데이터 송수신이 발생하여 이 단말의 전송에 장애가 발생하거나 발생할 것으로 예상되는 경우, eNodeB는 ECN(Explicitg Congestion Notification) 기능을 사용하여 해당 단말로부터 송수신되는 패킷의 IP 헤더에 CE(Congestion Experieicned) 상태를 표시하거나, MAC header의 CE(Control Entity)에 현재 지원 가능한 비트 레이트를 표시할 수 있다. 단말은 CE 상태 또는 지원 가능한 비트 레이트와 같은 정보를 기반으로 전송 상태의 변화를 파악할 수 있다.
도 5는 CMR(Codec Mode Request) 메시지의 구조를 도시하는 도면이다.
도 5를 참조하면, 도 5는 단말과 상대 단말의 통화 중 전송 상태의 변화에 따라, 상대 단말이 음성을 압축하는 비트 레이트를 조절하는 CMR 메시지를 도시한다. 도 5는 도 4의 Payload formats에 해당할 수 있다. 도 4에 Speech로 표시된 음성 코덱에서 압축된 음성 프레임에는 4비트의 CMR(Codec Mode Request) 필드(Field)가 추가되어, 상대 단말의 음성 코덱이 사용하도록 요청되는 비트 레이트가 표시될 수 있다. 여기에 4비트의 ToC(Table of Contents) 필드가 추가되어 압축됨으로써, 전송되는 프레임의 비트 레이트와 종류가 표시될 수 있다. VoLTE는 AMR(Adaptive Multi-Rate), AMR-WB(Adaptive Multi-Rate Wideband), 그리고 EVS(Enhanced Voice Services) 등의 음성 코덱을 지원할 수 있다.
도 6은 TMMBR(Temporary Maximum Media Bit-rate Request) 메시지의 구조를 도시하는 도면이다.
CMR 메시지는 Payload formats 외에 RTCP 프로토콜을 통해서도 전송될 수 있다. 도 6은 상대 단말에 설치된 영상 코덱의 비트 레이트를 동적으로 조절하기 위해, 통화 중 RTCP에 포함되어 전송되는 TMMBR(Temporary Maximum Media Bit-rate Request) 메시지의 구조를 도시하고 있다. 이러한 TMMBR 메시지를 수신한 단말은 압축된 영상의 비트 레이트를 Mantissa × 2Exp bps 이하로 유지할 수 있다. 이때, 압축된 영상의 비트 레이트는 영상통화를 시작하기 전에 교섭된 비트 레이트와 같거나 작아야 할 필요가 있다.
도 7은 제어 메시지를 이용하여 상대 단말이 전송하는 영상 또는 음성 등의 미디어 비트 레이트를 조절하는 예시를 도시하는 도면이다.
도 7을 참조하면, 도 7은 단말이 CMR, TMMBR 등의 제어 메시지를 이용하여, 상대 단말이 전송하는 영상 또는 음성 등의 미디어 비트 레이트를 통화 중에 조절하는 예시를 도시한다. 코덱의 종류, 미디어 비트 레이트 등 통화에 사용되는 주요 파라미터들은 IMS(IP Multimedia Subsystem를 이용하여 단말과 네트워크 사이에서 교섭될 수 있다. 도 7에 도시된 예시에서는 단말이 b0(kbps)로 미디어를 압축하여 전송하도록 교섭되었다. 도 7은 네트워크가 유지할 수 있는 (Sustainable) 비트 레이트와, 수신 단말이 조절할 수 있는 인코딩(Encoding) 비트 레이트를 표시한다.
도 7의 그래프를 참조하면, 시간 축에서는 T0에서 통화가 시작되었고 T1a부터 채널 상태가 악화되어 유지할 수 있는 비트 레이트가 감소되었다. 통화 시작 전에 단말 상호간에 IMS를 경유하여 교섭 되었던 b0(kbps)가 통화 시작 후 장시간 유지되지 않는 것을 감지한 미디어 수신 단말은 채널 상태가 악화되었음을 판단할 수 있다. 그리고, 미디어 수신 단말은 상대 단말에 CMR 또는 TMMBR 메시지를 전송하여 미디어 비트 레이트를 b2로 감소시킬 수 있다. 그러나 수신 상태가 지속적으로 악화되는 경우, 미디어 수신 단말은 상대 단말의 미디어 비트 레이트를 b3로 다시 축소시킬 수 있다. 그리고, 미디어 수신 단말은 채널 상태가 복구되는 경우 점차 비트 레이트를 증가시킬 수 있다. b1 및 b4는 T2b 및 T4b에서 네트워크가 유지할 수 있는 비트 레이트이며, 이는 미디어 송신, 수신 단말들이나 네트워크가 정확히 측정할 수 없는 파라미터이다. 채널 상태가 계속 악화되면 단말은 미디어 송수신을 중단하도록 결정할 수 있다. 이와 같이 음성 등의 1차원 미디어 신호와 영상 등의 3차원 미디어 신호의 압축 및 전송에서는, 단말은 상대 단말의 비트 레이트를 조절함으로서 네트워크 상황의 변화에 대응할 수 있다.
도 8은 포인트 클라우드를 측정하는 카메라의 예시를 나타내는 도면이다.
도 8을 참조하면, 도 8은 사람 또는 물체의 표면을 시각적으로 구성하는 점들의 집합인 포인트 클라우드(point cloud)를 측정하는데 사용될 수 있는 카메라의 예시를 도시한다. 사람 또는 물체 주위에 이러한 카메라가 한 대 이상 설치될 수 있고, 카메라는 사람 또는 물체의 표면의 각 점의 상대적 위치와 색상 정보를 나타내는 R(Red), G(Green), B(Blue) 값과 위치(X, Y, Z) 정보를 획득함으로써 포인트 클라우드를 형성할 수 있다. 예를 들어, 포인트 클라우드를 측정하는데 사용될 수 있는 카메라는, 사람 또는 물체의 거리를 인식하기 위한 패턴을 출력하는 패턴 출력부, 출력된 패턴에 기초하여 사람 또는 물체의 형상을 식별하는 패턴 수신부 및 사람 또는 물체의 표면의 색상을 식별하는 R, G, B 카메라를 포함할 수 있다. 다만, 본 개시에서 포인트 클라우드를 획득하기 위한 카메라가 도 8의 예시에 한정되는 것은 아니다. R, G, B 값과 위치 정보에 기초한 구조의 포인트 클라우드(point cloud)를 저장하는 방식으로는 PLY(Polygon File Format) 등이 있다. 도 9는 이러한 방법으로 측정한 사람의 point cloud를 3차원 공간에서 도시한다.
도 9는 포인트 클라우드를 3차원 공간에서 도시하는 예시를 나타내는 도면이다.
도 9는 PLY 방식을 이용하여 R, G, B 값과 위치 정보에 기초한 구조의 포인트 클라우드를 저장하는 예시를 나타낸다. 도 9는 PLY 방식을 이용하여 측정한 사람의 포인트 클라우드를 3차원 공간에서 도시한다. 예를 들어, 1,000,000 포인트(points)를 초당 30회 획득하는데 소요되는 비트 레이트는 약 1.80 Gbps ((3 attributes + 3 coordinations) * 10 bits * 1,000,000 points * 30 frames) 정도로 이동통신 네트워크에서 경제적으로 제공할 수 있는 범위를 크게 벗어나므로, 이 포인트(points)는 화질에 큰 영향이 없는 방법으로 수 Mbps 정도로 압축하여 전송되거나, 하드 디스크에 저장될 필요가 있다.
도 10은 포인트 클라우드의 패치(patch)를 형성하는 예시를 나타내는 도면이다.
도 10에 도시된 예시는 도 9에 도시된 포인트 클라우드를 압축하는 첫 단계로서, 패치(patch) 형성 과정을 도시한다. 예를 들어, 도 9에서 도시된 사람 형상의 포인트 클라우드를 모두 포함할 수 있는 최소한 크기의 직육면체가, 사람 형상의 주위에 가정될 수 있다. 그리고, 직육면체의 각 면에 투영(Project)되는 사람 형상의 표면의 각 점의 색상 정보와, 이 점과 직육면체의 내부 표면까지의 거리 또는 깊이(Depth)가 측정될 수 있다. 이때, 각 포인트(point)는 직육면체의 한 표면에서만 투영될 수 있다. 상술된 절차를 통해, 직육면체의 한 표면에 포인트들이 군집될 수 있고, 이러한 군집된 포인트들은 패치라고 지칭될 수 있다. 일 실시예에 따르면, 직육면체의 각 내부 표면에는 한 개 이상의 패치가 형성될 수 있다. 이와 같이 사람 형상을 둘러싼 직육면체의 한 내부 표면에 대하여 색상 정보를 포함한 패치들과 거리 정보를 포함하는 패치들이 각각 형성될 수 있다.
도 11은 색상 정보 패치 및 거리 정보 패치의 예시를 나타내는 도면이다.
구체적으로, 도 11은 색상 정보 패치들과 거리 정보 패치들을 전송 또는 저장하기 용이하도록 각각 정지 영상 내부에 집중시키는(Compact) 과정을 도시한다. 각 정지 영상들은 H.265 등의 동영상 압축기로 압축될 수 있고, 이에 따라 비트 레이트는 더욱 낮아질 수 있다. 이때, 패치들이 최대한 집중되어 정지 영상의 한 부분에 위치될 수 있다. 이는 정지 영상에서 최대한의 공간을 활용하여 영상 압축기의 효율을 높이기 위함이다. 도 11은 색상 정보 패치들이 집중된 정지 영상(1110)과, 거리 정보 패치들이 집중된 정치 영상(1120)을 나타낸다. 색상 정보 패치들이 집중된 정지 영상(1110)에는, 각각 R, G, B 값을 나타내는 색상 패치들이 배치될 수 있다. 그리고, 거리 정보 패치들이 집중된 정지 영상(1120)에는 거리 정보를 나타내는 패치들이 배치될 수 있다. 이때, 사람 형상에서 투영되는 직육면체의 내부 표면까지의 거리가 가까울수록 거리 정보 패치의 밝기가 어두울 수 있다.
도 12는 포인트 클라우드의 패치를 이용하여 비트 스트림을 생성하는 절차를 나타내는 도면이다.
도 12를 참조하면, 도 10 및 도 11을 통해 압축된 패치들과, 압축된 패치들을 3차원 공간으로 복원하기 위한 부가 정보들을 조합(multiplex)함으로써, 압축된 비트 스트림(compressed bitstream)이 생성될 수 있다. 그리고, 생성된 비트 스트림은 포인트 클라우드를 전송 및 저장하는데 사용될 수 있다.
도 13은 본 개시의 일 실시예에 따른 포인트 클라우드를 5G 네트워크를 이용하여 전송하는 시나리오를 나타내는 도면이다. 즉, 도 13은 생성된 포인트 클라우드를 5G 네트워크를 이용하여 전송하는 상황을 도시하고 있다.
도 13을 참조하면, LTE의 eNodeB, S-GW 및 P-GW는, 각각 5G의 노드인 gNB, UPF(User Plane Function) 및 DN(Data Network)에 대응될 수 있다. 도 13은 카메라 및 센서(1310), 단말(1320) 및 단말(1320)과 테더링된 AR 글래스(Tethered AR glasses)(1330)을 도시한다.
일 실시예에 따르면, 카메라 및 센서(1310)에서 측정되고, 도 12의 절차를 통해 압축된 포인트 클라우드는 기지국(예: gNB)을 경유하지 않고 비면허 주파수 대역(Unlicensed Spectrum)을 사용하는 LTE, 5G의 사이드링크(Sidelink) 또는 Wi-Fi Direct를 통해 단말(1320)에게 전송되거나 USB-C 케이블을 통해 단말(1320)에게 직접 전송될 수 있다. USB-C가 사용되는 경우, 대량의 데이터가 오류 없이 낮은 속도로 전송될 수 있으므로, 이 경우 포인트 클라우드는 카메라 및 센서(1310)가 아니라 단말(1320)에 의해 압축될 수도 있다. 그리고, 단말은 수신한 포인트 클라우드를 AR 글래스(1330)에 전송할 수 있다. AR 글래스(1330)는 단말(1320)로부터 수신한 포인트 클라우드에 기초하여 카메라 및 센서(1310)에 의해 촬영된 물체를 AR 영상으로 출력할 수 있다. 후술되는 도 14는 단말(1320)이 카메라 및 센서(1310)로부터 수신한 포인트 클라우드를 AR 글래스(1330)에 전송하기 위한 5G 네트워크의 프로토콜 구조(Protocol Architecture)를 도시한다.
도 14는 본 개시의 일 실시예에 따른 포인트 클라우드 송수신의 송수신을 위한 프로토콜 구조를 나타내는 도면이다.
도 14를 참조하면, 카메라에서 촬영된 포인트 클라우드는 3D 모델 구성 (3D Model Construction)을 통해, PLY(Polygon File Format) 등의 포맷으로 변환될 수 있다. 그리고, 포인트 클라우드는 포인트 클라우드 코덱(Point Cloud Codec (Encoder))에서 압축되어 RTP 등의 전송 프로토콜(Transport Protocol)의 헤더(Header)와, 수신 단말의 주소를 포함한 IP(Internet Protocol)의 헤더(Header)가 부착되어 5G NR(New Radio) 모뎀으로 전달되고, 수신 단말로 전송될 수 있다. 일 실시예에서, NR 모뎀(Modem)은 도 3에 도시된 LTE 모뎀의 프로토콜 구조와 달리 PDCP 상단에 SDAP(Service Data Adaptation Protocol)이라는 새로운 프로토콜을 포함할 수 있다.
수신 단말은 각 프로토콜의 헤더(Header)들을 제거한 페이로드(payload)를 포인트 클라우드 코덱(Point Cloud Codec (Decoder))에서 PLY 등의 포인트 클라우드(point cloud) 형태로 복구한 후, 수신 단말 사용자의 FOV(Field of View) 를 고려한 렌더링(rendering)을 수행하고, 수신 단말에 연결된 AR 글래스 등의 디스플레이에 투영하도록 할 수 있다. 일 실시예에서, AR 글래스는 수신 단말에 연결되지 않고 자체적인 통신 기능을 이용하여 직접 이동통신 네트워크에 연결될 수 있다. 또는, 일 실시예에서, AR 글래스는 수신 단말에 포함될 수도 있다.
본 개시는 이동통신 네트워크에서 포인트 클라우드 영상을 형성하고 이를 압축 및 전송하는 기기들의 핵심 파라미터들을 조절함으로써, 제한된 전송 대역폭을 최대한 활용하고 미디어 품질과 네트워크 용량을 관리하기 위한 장치와 방법에 관한 것이다.
본 개시는 도 14에 도시된 포인트 클라우드 송수신 시스템을 개선함으로써, 네트워크가 허용하는 대역폭과 수신 단말의 디스플레이(display) 해상도(resolution)에 맞추어 전송할 최대 포인트(points)수를 결정하고, 송수신 상황의 변화에 대응하기 위해 포인트 클라우드(point cloud)의 압축 및 전송 방법을 단말들 간에 동적으로 변경하는 기술들을 제안한다.
도 15는 본 개시의 일 실시예에 따른 포인트 클라우드의 송신을 위한 블록도를 나타내는 도면이다.
구체적으로, 도 15는 도 14에 개시된 구성들 중 포인트 클라우드의 송신을 위하여, 포인트 클라우드를 취득하고 생성하는 블럭의 구성을 상세하게 도시한다. 본 개시에서, 단말, 서비스 또는 서버는, 입체 영상의 취득을 위한 하나 또는 복수의 입체 카메라(1502)와, 입체 카메라로부터 취득된 하나 또는 복수개의 입체 영상들로부터 통합된 입체 영상을 생성하는 입체 영상 모델링 블록(modeling block)(1504)과, 다양한 조건에 따라, 생성된 영상에 대한 전체 또는 일부를 필터링 또는 편집하여 입력 대비 수정된 포인트 클라우드를 출력으로 하는 포인트 클라우드 전처리기(1506)와, 포인트 클라우드를 3차원 공간상에서 여러 개의 패치(patch)로 해체하여 복수의 종류의 2차원 영상으로 변환하는 입체영상 해체 블록(decomposition block)(1508)과, 입력된 2차원 영상을 압축하는 2D 비디오 인코더(video encoder)(1510)와, 패치 복원에 필요한 정보 및 압축된 2차원 영상을 입력으로 하는 멀티플렉서(multiplexor)(1512), 그리고 압축된 포인트 클라우드 영상을 저장하기 위한 PCC(Point Cloud Compression) 파일 포맷(file format) 생성기(1514)를 포함할 수 있다. 예를 들어, 본 개시에서 입체 영상을 수신 단말에게 송신하는 송신 단말은, 상술된 입체 카메라(1502), 입체 영상 모델링 블록(1504), 포인트 클라우드 전처리기(1506) 및 입체영상 해체 블록(1508), 2D 비디오 인코더(1510), 멀티플렉서(1512) 및 PCC 파일 포맷 생성기(1514)를 포함할 수 있다. 그리고, 도 15의 입체 카메라(1502) 및 입체 영상 모델링 블록(1504)에서 수행되는 동작은 도 14의 3D 모델 구성(3D Model Construction)에 의해 수행될 수 있다. 또한, 도 15의 포인트 클라우드 전처리기(1506) 이후 수행되는 동작은 도 14의 클라우드 코덱(Point Cloud Codec (Encoder)) 구성에 의해 수행될 수 있다.
도 15는 입체 영상을 취득하고 압축하고 저장하기 위한 프로세싱 블럭들로 구성되며, 단말, 서비스 및 서버의 구성에 대하여 여러 실시예가 존재할 수 있다. 예를 들어, 본 개시의 일 실시예에서 입체 카메라(1502)가 별도의 제1 단말로 구성되고, 입체 영상 모델링 블록(1504)이 제2 단말로 구성되고, 포인트 클라우드 전처리기(1506) 이후의 구성들이 제3 단말로 구성될 수 있다.
또는, 본 개시의 다른 실시예에서, 입체 카메라(1502)와 입체 영상 모델링 블록(1504)이 제1 단말로 구성되고, 포인트 클라우드 전처리기(1506) 이후의 구성들이 제2 단말로 구성될 수도 있다.
또는, 본 개시의 또 다른 실시예에서, 입체 카메라(1502)와 입체 영상 모델링 블록(1504)과 포인트 클라우드 전처리기(1506)가 제1 단말로 구성될 수 있고, 포인트 클라우드 압축을 위한 입체영상 해체 블록(1508) 이후의 구성은 서버에 포함될 수도 있다.
후술되는 도 23부터 도 39까지 개시된 송신 단말과 수신 단말 간의 교섭 및 재교섭 과정은 도 15의 세션 교섭(session negotiation)(1540)에 대응될 수 있다. 그리고, 세션 교섭에 따른 도 15의 각 모듈의 동작 조정에 따라, 수신 단말에게 전송될 출력 비트스트림(output bitstream)의 조정은 도 15의 미디어 적응(media adaptation)(1530)에 대응될 수 있다. 그리고, 세션 교섭에 따라 각 모듈의 동작 조정을 위하여 도 15의 제어 블록(1520)이 각 모듈에게 정보를 전달할 수 있다. 이하 도 16 내지 도 19는 본 개시에 따른 송신 단말 및 수신 단말의 동작 흐름도들을 도시한다.
본 개시의 일 실시예에 따르면, 송신 단말과 수신 단말 간 통신(예: 데이터 송수신, 음성 통화 또는 영상 통화 등)이 수행되는 시나리오가 고려될 수 있다. 일 실시예에서, 송신 단말은 카메라를 통해 오브젝트를 촬영함으로써 포인트 클라우드를 획득할 수 있다. 일 실시예에 따르면, 오브젝트는 카메라가 촬영할 수 있는 사람 또는 물체 등을 의미할 수 있다. 일 실시예에서 포인트 클라우드는 오브젝트의 표면을 시각적으로 구성하는 점들의 집합을 의미할 수 있다. 일 실시예에서, 카메라는 송신 단말과 별도로 존재할 수 있고, 또는 송신 단말에 포함될 수도 있다. 카메라와 송신 단말이 별도로 존재하는 경우, 카메라는 비면허 대역, 사이드링크 또는 Wi-Fi를 이용한 무선으로, 또는 USB-C 케이블을 이용한 유선으로 송신 단말에 연결될 수 있다. 그리고, 카메라에서 촬영 또는 측정된 오브젝트의 포인트 클라우드는 유선 또는 무선으로 송신 단말에게 전송될 수 있다.
일 실시예에 따르면, 송신 단말은 포인트 클라우드를 프로세싱(예: 압축)할 수 있고, 프로세싱된 포인트 클라우드를 수신 단말에게 전송할 수 있다. 수신 단말은 송신 단말로부터 수신된 프로세싱된 포인트 클라우드에 기초하여, AR 영상을 디스플레이할 수 있다. 이때, 수신 단말은 수신 단말에 포함된 AR 장비(예: AR 글래스 또는 AR 디스플레이 등) 또는 수신 단말과 별도로 존재하는 AR 장비에 포인트 클라우드에 기초하여 생성된 오브젝트의 영상을 디스플레이할 수 있다. 이때, 영상은 2D 또는 3D 이미지일 수 있으며, 이에 제한되는 것은 아니다. AR 장비와 수신 단말이 별도로 존재하는 경우, AR 장비는 비면허 대역, 사이드링크 또는 Wi-Fi를 이용한 무선으로, 또는 USB-C 케이블을 이용한 유선으로 수신 단말에 연결될 수 있다. 그리고, 수신 단말에서 프로세싱된 포인트 클라우드는 유선 또는 무선으로 AR 장비에게 전송될 수 있다. 상술된 예시에서 AR 장비 대신 VR 장비(예: HMD(Head Mount Display))가 사용될 수도 있다.
본 개시는 상술된 송신 단말이 수신 단말에게 포인트 클라우드를 전송하는 중에, 또는 전송하기 전에 송신 단말 또는 수신 단말에 대한 채널 상태의 악화와 같은 상황이 발생하는 경우, 이러한 채널 상태의 악화와 같은 상황에 적응적으로 대응하기 위하여, 송신 단말과 수신 단말 간에 포인트 클라우드와 관련된 정보를 교섭하는 절차에 관한 것이다.
본 개시의 일 실시예에 따르면, 상술된 교섭을 위하여 송신 단말은 수신 단말에게 메시지를 전송할 수 있다. 이때, 송신 단말이 수신 단말에게 전송하는 메시지는 SDP(Session Description Protocol) offer 메시지로 지칭될 수 있다. 그리고, 이러한 SDP offer 메시지는 포인트 클라우드의 송수신을 위한 파라미터를 포함할 수 있다.
본 개시의 일 실시예에 따르면, 송신 단말로부터 SDP offer 메시지를 수신한 수신 단말은 송신 단말에게 응답 메시지를 전송할 수 있다. 이때, 수신 단말이 송신 단말에게 전송하는 메시지는 SDP answer 메시지로 지칭될 수 있다. 그리고, 이러한 SDP answer 메시지는 수신 단말의 적용 파라미터를 포함할 수 있다. 일 실시예에서, 수신 단말의 적용 파라미터는 송신 단말이 전송한 포인트 클라우드의 송수신을 위한 파라미터 중 수신 단말에게 적용할 수 있는 파라미터를 의미할 수 있다.
도 16은 본 개시의 일 실시예에 따른 송신 단말의 동작 방법을 나타내는 흐름도이다.
도 16을 참조하면, 1601 단계에서, 송신 단말은 오브젝트를 촬영함으로써 포인트 클라우드를 획득할 수 있다. 예를 들어, 송신 단말은 송신 단말에 포함되거나, 송신 단말과 별도로 존재하는 카메라를 통해, 사람 또는 물체와 같은 오브젝트를 촬영할 수 있다. 그리고, 오브젝트에 대한 포인트 클라우드에 대한 정보를 획득할 수 있다.
1603 단계에서, 송신 단말은 포인트 클라우드의 송수신을 위한 파라미터를 포함하는 메시지를 수신 단말에게 전송할 수 있다. 일 실시예에 따르면, 포인트 클라우드의 송수신을 위한 파라미터는, 오브젝트의 방향과 관련된 파라미터 또는 오브젝트와 관련된 공간 구역 파라미터 등을 포함할 수 있다. 일 실시예에서, 오브젝트의 방향과 관련된 파라미터는, 오브젝트가 영상을 통해 수신 단말에 의해 표시되는 경우, 영상에서 오브젝트의 표시 방향을 나타낼 수 있다. 일 실시예에 따르면, 오브젝트의 방향은 수신 단말의 관심 방향(Direction of Interest, DOI)을 의미할 수 있다. 예를 들어, 수신 단말의 관심 방향은, 수신 단말의 사용자의 입력 또는 미리 결정된 기준에 따라 결정될 수 있고, 수신 단말은 수신 단말의 관심 방향에 기초하여, 영상을 통해 오브젝트를 표시할 수 있다. 일 실시예에서, 오브젝트와 관련된 공간 구역은 오브젝트가 영상을 통해 수신 단말에 의해 표시되는 경우, 영상에서 오브젝트가 표시되는 공간을 의미할 수 있다. 예를 들어, 오브젝트가 사람인 경우, 수신 단말의 사용자의 입력 또는 미리 결정된 기준에 따라 사람의 상반신이 오브젝트와 관련된 공간 구역으로 결정될 수 있다. 이에 따라, 오브젝트와 관련된 공간 구역 파라미터는, 사람의 상반신 영역을 나타내는 정보를 포함할 수 있다.
1605 단계에서, 송신 단말은 수신 단말로부터 수신 단말의 적용 파라미터를 포함하는 응답 메시지를 수신할 수 있다. 일 실시예에서, 수신 단말의 적용 파라미터는 수신 단말의 채널 상태 및 포인트 클라우드의 송수신을 위한 파라미터에 기초하여 결정될 수 있다.
1607 단계에서, 송신 단말은 수신 단말의 적용 파라미터에 기초하여 포인트 클라우드를 압축할 수 있다. 예를 들어, 송신 단말은 수신 단말의 적용 파라미터에 포함된 적어도 하나의 파라미터에 기초하여, 수신 단말로 전송하기 위하여 포인트 클라우드를 압축할 수 있다.
1609 단계에서, 송신 단말은 압축된 포인트 클라우드를 수신 단말에게 전송할 수 있다. 일 실시예에서, 송신 단말은 수신 단말의 적용 파라미터에 기초하여 압축된 포인트 클라우드를 NR-U 또는 사이드링크를 통하여 수신 단말에게 전송할 수 있다.
도 17은 본 개시의 일 실시예에 따른 수신 단말의 동작 방법을 나타내는 흐름도이다.
도 17을 참조하면, 1701 단계에서, 수신 단말은 송신 단말로부터 포인트 클라우드의 송수신을 위한 파라미터를 포함하는 메시지를 수신할 수 있다. 일 실시예에 따르면, 포인트 클라우드는 오브젝트를 촬영함으로써 획득될 수 있다. 그리고, 포인트 클라우드의 송수신을 위한 파라미터는, 오브젝트의 방향과 관련된 파라미터 또는 오브젝트와 관련된 공간 구역 파라미터 중 적어도 하나를 포함할 수 있다.
1703 단계에서, 수신 단말은 수신 단말의 채널 상태 및 포인트 클라우드의 송수신을 위한 파라미터에 기초하여 수신 단말의 적용 파라미터를 결정할 수 있다. 일 실시예에서, 수신 단말은 오브젝트의 방향과 관련된 파라미터의 사용 여부를 나타내는 지시자 또는 오브젝트와 관련된 공간 구역 파라미터의 사용 여부를 나타내는 지시자를 식별할 수 있다. 그리고, 수신 단말은 수신 단말의 채널 상태 등에 기초하여 수신 단말의 적용 파라미터를 결정할 수 있다.
1705 단계에서, 수신 단말은 수신 단말의 적용 파라미터를 포함하는 응답 메시지를 송신 단말에게 전송할 수 있다. 예를 들어, 수신 단말은 수신 단말의 채널 상태 및 포인트 클라우드의 송수신을 위한 파라미터에 기초하여 결정된 수신 단말의 적용 파라미터를 응답 메시지에 포함시켜서 송신 단말에게 전송할 수 있다.
1707 단계에서, 수신 단말은 송신 단말로부터 압축된 포인트 클라우드를 수신할 수 있다. 예를 들어, 수신 단말은 수신 단말의 적용 파라미터에 기초하여 송신 단말에 의해 압축된 포인트 클라우드를 송신 단말로부터 수신할 수 있다.
1709 단계에서, 수신 단말은 압축된 포인트 클라우드에 기초하여 오브젝트와 관련된 영상을 표시할 수 있다. 예를 들어, 수신 단말은 수신 단말에 포함되거나, 수신 단말과 별도로 존재하는 디스플레이를 통해, 촬영된 오브젝트의 전체 또는 일부를 표시할 수 있다. 일 실시예에서, 촬영된 오브젝트의 전체 또는 일부는 AR 장비에서 표시될 수 있다.
일 실시예에 따르면, 포인트 클라우드의 송수신을 위한 파라미터는, 포인트 클라우드의 압축과 관련된 이미지 버퍼의 해상도 정보, 이미지 버퍼의 종류 정보, 포인트 클라우드의 개수 정보, 포인트 클라우드의 전송 속도 정보, 포인트 클라우드에 대한 패치의 크기 정보, 포인트 클라우드의 개수 정보와 포인트 클라우드에 대한 패치의 크기 정보 간 우선순위를 나타내는 정보 등을 포함할 수 있다.
일 실시예에 따르면, 포인트 클라우드의 압축과 관련된 이미지 버퍼는, 도 15의 포인트 클라우드 전처리기(1506)에 의해 생성된 2차원 영상을 의미할 수 있다. 이때, 생성된 2차원 영상은 3차원 입체 영상의 정보 중 포함하는 정보에 따라, 공간상에서의 위치 정보(즉, geometry 정보), 포인트 클라우드의 색상 정보(즉, attribute 정보) 또는 2차원 영상에서 픽셀별 정보 여부를 나타내는 정보(즉, occupancy map 정보)를 나타낼 수 있다. 즉, 2차원 영상은 geometry 정보, attribute 정보 또는 occupancy map 정보 등의 종류로 분류될 수 있다. 그리고, 이미지 버퍼의 종류 정보는 상술된 geometry 정보, attribute 정보 또는 occupancy map 정보 등의 종류를 나타낼 수 있다. 일 실시예에서, 이미지 버퍼의 해상도는 이미지 버퍼에 대응하는 2차원 영상의 해상도를 의미할 수 있다.
일 실시예에서, 포인트 클라우드의 개수 정보는 송신 단말이 수신 단말에게 전송할 수 있는 포인트 클라우드의 개수에 대한 정보를 의미할 수 있다. 그리고, 포인트 클라우드의 전송 속도 정보는, 송신 단말이 수신 단말에게 포인트 클라우드를 전송할 수 있는 속도를 의미할 수 있다. 일 실시예에서, 포인트 클라우드의 전송 속도는 비트 레이트로 표현될 수 있다.
일 실시예에서, 포인트 클라우드에 대한 패치의 크기 정보는, 포인트 클라우드에 대하여 형성된 패치의 크기를 나타내는 정보를 의미할 수 있다. 일 실시예에서, 포인트 클라우드의 개수 정보와 포인트 클라우드에 대한 패치의 크기 정보 간 우선순위를 나타내는 정보는, 포인트 클라우드 송수신 시 파라미터들 간의 우선순위를 나타내는 정보를 의미할 수 있다. 예를 들어, 포인트 클라우드의 개수 정보가 포인트 클라우드에 대한 패치의 크기보다 우선순위가 높은 경우, 포인트 클라우드의 개수가 포인트 클라우드의 송수신을 위한 특정 조건에 부합하는 경우, 포인트 클라우드에 대한 패치의 크기는 무시될 수도 있다.
일 실시예에서, 수신 단말은 수신 단말의 채널 상태 또는 미리 결정된 기준에 기초하여, 상술된 포인트 클라우드의 송수신을 위한 파라미터에 포함된 정보들로부터, 수신 단말에 적용될 수 있는 수신 단말의 적용 파라미터를 결정할 수 있다. 그리고, 수신 단말은 송신 단말에게 수신 단말의 적용 파라미터를 전송할 수 있고, 송신 단말은 수신 단말에게 최적의 포인트 클라우드를 전송할 수 있다.
이하 도 18 및 도 19는 수신 단말이 수신 단말의 적용 파라미터를 결정하는 실시예들을 도시한다.
도 18은 본 개시의 일 실시예에 따른 수신 단말의 적용 파라미터를 결정하는 방법을 나타내는 흐름도이다.
도 18을 참조하면, 1801 단계에서, 수신 단말은 포인트 클라우드의 송수신을 위한 파라미터로부터 오브젝트의 방향과 관련된 파라미터의 사용 여부를 나타내는 지시자를 식별할 수 있다. 일 실시예에서, 포인트 클라우드의 송수신을 위한 파라미터는, 오브젝트의 방향과 관련된 파라미터의 사용 여부를 나타내는 지시자를 포함할 수 있다. 예를 들어, 상술된 지시자가 오브젝트의 방향과 관련된 파라미터의 사용 또는 사용되지 않음을 나타낼 수 있다. 또는, 상술된 지시자가 포인트 클라우드의 송수신을 위한 파라미터에 포함되는 경우 수신 단말은 오브젝트의 방향과 관련된 파라미터가 사용됨을 식별할 수 있다. 또는, 상술된 지시자가 포인트 클라우드의 송수신을 위한 파라미터에 포함되지 않는 경우, 수신 단말은 오브젝트의 방향과 관련된 파라미터가 사용되지 않음을 식별할 수 있다. 일 실시예에서, 오브젝트의 방향과 관련된 파라미터의 사용 여부를 나타내는 지시자는 doi_enabled로 지칭될 수 있다.
1803 단계에서, 수신 단말은 수신 단말의 채널 상태 또는 미리 결정된 기준에 기초하여 오브젝트의 표시 방향 중 적어도 하나를 결정할 수 있다. 예를 들어, 1801 단계에서, 오브젝트의 방향과 관련된 파라미터의 사용 여부를 나타내는 지시자에 기초하여, 오브젝트의 방향과 관련된 파라미터의 사용이 식별되는 경우, 수신 단말은, 수신 단말의 채널 상태 또는 미리 결정된 기준에 기초하여, 오브젝트의 표시 방향 중 적어도 하나를 결정할 수 있다. 이때, 오브젝트의 표시 방향에 대한 정보는 포인트 클라우드의 송수신을 위한 파라미터에 포함될 수 있다.
일 실시예에서, 수신 단말의 채널 상태는, 수신 단말이 포함된 네트워크의 상황, 대역폭, 경로 손실(path loss) 또는 수신 단말이 속한 네트워크의 혼잡과 관련된 정보를 포함할 수 있다. 또한, 오브젝트의 표시 방향 중 적어도 하나를 결정하는데 사용되는 미리 결정된 기준은, 수신 단말이 포인트 클라우드를 처리할 수 있는 성능을 나타내는 정보를 의미할 수 있다. 일 실시예에 따르면, 미리 결정된 기준이라고 표현되었으나, 이에 제한되는 것은 아니며, 수신 단말은 수신 단말이 필요할 때, 해당 기준을 결정 또는 업데이트할 수 있다. 상술된 도 19에 대한 설명에 따라, 수신 단말은 오브젝트와 관련된 하나 이상의 영역을 나타내는 정보 중 적어도 하나를 결정할 수 있고, 결정된 정보를 응답 메시지에 포함시켜 송신 단말에게 전송할 수 있다.
도 19는 본 개시의 일 실시예에 따른 수신 단말의 적용 파라미터를 결정하는 방법을 나타내는 흐름도이다.
도 19를 참조하면, 1901 단계에서, 수신 단말은 포인트 클라우드의 송수신을 위한 파라미터로부터 오브젝트와 관련된 공간 구역 파라미터의 사용 여부를 나타내는 지시자를 식별할 수 있다. 일 실시예에서, 포인트 클라우드의 송수신을 위한 파라미터는, 오브젝트와 관련된 공간 구역 파라미터의 사용 여부를 나타내는 지시자를 포함할 수 있다. 예를 들어, 상술된 지시자가 오브젝트와 관련된 공간 구역 파라미터의 사용 또는 사용되지 않음을 나타낼 수 있다. 또는, 상술된 지지사가 포인트 클라우드의 송수신을 위한 파라미터에 포함되는 경우, 수신 단말은 오브젝트와 관련된 공간 구역 파라미터가 사용됨을 식별할 수 있다. 또한, 상술된 지시자가 포인트 클라우드의 송수신을 위한 파라미터에 포함되지 않는 경우, 수신 단말은 오브젝트와 관련된 공간 구역 파라미터가 사용되지 않음을 식별할 수 있다. 일 실시예에서, 오브젝트와 관련된 공간 구역 파라미터의 사용 여부를 나타내는 지시자는 soi(space of interest)_enabled로 지칭될 수 있으며, soi_enabled에 대한 구체적인 사항은 후술된다.
일 실시예에 따르면, 오브젝트와 관련된 공간 구역 파라미터는, 오브젝트를 하나 이상의 영역으로 분할하는 방식을 나타내는 정보 또는 오브젝트와 관련된 하나 이상의 영역을 나타내는 정보 중 적어도 하나를 포함할 수 있다. 예를 들어, 오브젝트를 하나 이상의 영역으로 분할하는 방식을 나타내는 정보는, 사람 형상의 오브젝트를 머리 영역, 목 영역, 어깨 영역, 팔꿈치 영역 등으로 분할하는 방식을 나타내는 정보를 의미할 수 있다. 또한, 예를 들면, 오브젝트와 관련된 하나 이상의 영역을 나타내는 정보는, 상술된 오브젝트를 하나 이상의 영역으로 분할하는 방식에 기초하여, 머리 영역은 0 값으로, 목 영역은 1 값으로, 어깨 영역은 2 값으로, 팔꿈치 영역은 3 값 등으로 나타내는 정보를 의미할 수 있다. 또는 오브젝트와 관련된 하나 이상의 영역을 나타내는 정보는 오브젝트의 일부 영역을 나타내는 공간상에서의 좌표를 나타내는 정보를 포함할 수도 있다.
1903 단계에서, 수신 단말은 수신 단말의 채널 상태 또는 미리 결정된 기준에 기초하여 오브젝트와 관련된 하나 이상의 영역을 나타내는 정보 중 적어도 하나를 결정할 수 있다. 예를 들어, 1901 단계에서, 오브젝트와 관련된 공간 구역 파라미터의 사용 여부를 나타내는 지시자에 기초하여, 오브젝트와 관련된 공간 구역 파라미터의 사용이 식별되는 경우, 수신 단말은 수신 단말의 채널 상태 또는 미리 결정된 기준에 기초하여, 오브젝트와 관련된 하나 이상의 영역을 나타내는 정보 중 적어도 하나를 결정할 수 있다. 이때, 오브젝트와 관련된 하나 이상의 영역을 나타내는 정보는 포인트 클라우드의 송수신을 위한 파라미터에 포함될 수 있다.
도 20a는 포인트 클라우드를 3차원 공간에서 도시하는 예시를 나타내는 도면이다. 즉, 도 20a는 도 9에 도시된 사람의 포인트 클라우드를 다른 방향에서 도시하고 있다.
도 20a를 참조하면, 도 20a 도시된 포인트 클라우드의 원본은 775,745 개의 포인트들로 이루어져 있으나. 도 20a의 좌측 그림 (a)에서는 약 1/5에 해당하는 155,149 개의 포인트들로, 우측 그림 (b)에서는 원본의 약 1/10에 해당하는 77,575 개의 포인트들로 이루어져 있다. 2차원 정지영상 또는 동영상과 달리 포인트 클라우드는 물체나 사람을 모든 방향에서 관찰할 수 있도록 할 수 있다. 도 15에 도시된 바와 같이, 포인트들의 수가 감소될수록 화질이 손상될 수 있다. 즉 왼쪽 그림 (a)보다 적은 포인트들로 이루어진 우측 그림 (b)의 화질이 더 손상될 수 있다.
도 20b는 포인트 클라우드를 부분 전송하는 예시를 나타내는 도면이다. 그리고, 도 20c는 본 개시의 일 실시예에 따른 포인트 클라우드를 부분 전송하는 예시를 나타내는 도면이다.
도 20b 및 도 20c를 참조하면, 포인트 클라우드 전처리기에서 입체 영상에 대한 부분 전송 처리시 전송되어야 하는 입체 공간 구역에 대하여, 입체 공간 구역에 대한 명시가 필요한 이유가 도시된다. 도 20b에 도시된 바와 같이, 컨텐츠에 대한 공간상의 배치에 대한 이해 없이 처음부터 1/3씩 분할되어 포인트 클라우드가 전송되는 경우, 오브젝트의 일부분이 적절하지 않게 분할되는 문제가 발생할 수 있다.
반면, 도 20c와 같이, 수신 단말이 원하는 입체 공간 구역을 명시하여 송신 단말에게 요청하는 경우, 송신 단말은 상반신, 몸통, 하반신과 같이 적절한 컨텍스트(context)를 갖는 공간 구역으로 분리할 수 있다. 그리고, 송신 단말은 분리된 공간 구역에 대한 포인트 클라우드를 수신 단말에게 전송할 수 있다. 상술된 바와 같이 수신 단말이 원하는 입체 공간 구역을 송신 단말에게 요청하기 위해서, 송신 단말은 수신 단말이 선택할 수 있는 공간 구역(space)들에 대한 정보를 제공하는 것이 바람직할 수 있다.
일 실시예에서, 오브젝트가 분할될 수 있는 공간 구역들은 상호 겹칠 수 있고, 이러한 공간 구역들은 오브젝트의 일부분의 위치와 수신 단말에서의 사용 목적에 따라 다른 공간 구역에 비의존적으로 제공될 수도 있다. 수신 단말은 송신 단말로부터 수신된 공간 정보를 기반으로, 선호하는 하나 또는 복수의 공간들에 대한 선택을 수행할 수 있다. 그리고, 수신 단말은 선택된 정보를 송신 단말에게 요청함으로써, 선택한 공간들로 이루어진 입체 영상을 수신할 수 있다.
도 21은 본 개시의 일 실시예에 따른 공간 구역 파라미터에 기초하여 생성되는 송신 단말 전송 메시지의 예시를 도시하는 도면이다.
구체적으로, 도 21은 송신 단말이 제공하는 공간 정보와 주석(annotation)을 도시한다. 수신 단말은 주석(annotation), 공간 내에서 수신 단말의 사용자가 주시하고 있는 방향과의 연관성, 수신 단말에서 동작하는 화상 통화 애플리케이션(application)의 기본 동작(behavior) 또는 수신 단말의 사용자가 미리 지정한 선호(preference) 등의 기준에 따라, 네트워크 상황이 여의치 않은 경우 송신 단말이 전송해야 하는 입체 영상의 공간 정보를 지시할 수 있다.
일 실시예에 따르면, 공간 구역의 제공 및 선택을 지원하는 송신 단말은 SDP offer 메시지에 soi(space of interest)_enabled와 같은 지시자를 포함시킬 수 있다. 그리고, 송신 단말은 공간에 대한 주석(annotation)을 제공하는 경우, annotation=yes 및 annotation-schema를 SDP offer 메시지에 포함시킬 수 있다. 그리고, 송신 단말은 공간을 나타내기 위한 두 모서리 [x1,y1,z1,x2,y2,z2]와 연계된 하나 또는 복수개의 주석(annotation) 번호들[x1,y1,z1,x2,y2,z2:annotation_id1, annotation_id2, ...]을 공간 구역의 개수만큼 반복할 수 있고, 이에 따라 생성된 번호들을 SDP offer 메시지에 포함시킬 수 있다.
본 개시의 일 실시예에 따른 수신 단말에서는, 송신 단말이 전송하는 입체 영상을 기반으로 영상 통화 기능을 제공하는 애플리케이션(application)이 구비될 수 있다. 네트워크 상황에 따른 송신 단말과 수신 단말의 재교섭 단계에서, 수신 단말은 송신 단말이 제공하는 SDP offer 메시지를 수신할 수 있다. 그리고, SDP offer 메시지에 soi_enabled가 포함된 경우, 수신 단말은 송신 단말로부터 오브젝트에 대한 전체 또는 일부 공간 구역 만을 수신하는 것을 식별할 수 있다.
일 실시예에서, 수신 단말이 오브젝트에 대한 전체가 아닌 하나 또는 복수개의 공간 구역을 식별하는 경우, 수신 단말은 다양한 평가 기준에 따라 공간 구역들의 우선 순위를 매기고 이에 따라 송신 단말에 요청할 공간 구역들을 결정할 수 있다. 예를 들어, 상술된 평가 기준은, 입체 영상 통화라는 서비스의 특성에 따라 화자의 표정, 얼굴, 제스쳐 등을 판단할 수 있는 상반신 또는 상반신에 부속(예: 몸통에 양 어깨, 몸통에 목 및 머리 등)된 신체 부위가 포함되는 공간을 우선으로 하는 제1 기준을 포함할 수 있다. 또한, 상술된 평가 기준은, 공간 구역내의 화자의 누적 움직임에 따른 변동량을 우선으로 하는 제2 기준을 포함할 수 있다. 그리고, 상술된 평가 기준은, 수신 단말의 사용자가 미리 선택한 선호(preference)에 따르는 제3 기준과, 수신 단말의 사용자가 그간 선호(preference)와는 다른 선택을 했던 사용과 같이 변경 내역의 통계를 따르는 제4 기준 또는 AI(artificial intelligence) 등 휴리스틱(heuristic)한 알고리즘에 따르는 제5 기준 등을 포함할 수 있다.
본 개시의 일 실시예에서는, 공간 구역 선정의 기준으로서 화상 통화의 경우가 고려될 수 있다. 송신 단말과 수신 단말이 입체 영상의 전송을 수행하는 사용 예에서 네트워크 상황에 따른 공간 구역이 선정되는 경우, 서비스의 특성에 따른 기준 및 수신 단말의 사용자가 지정하거나 사용했던 통계를 기반으로 수신 단말의 동작이 결정되는 어떠한 경우에도 본 개시의 실시예들이 적용될 수 있다.
일 실시예에 따르면, 수신 단말은 상술된 기준들을 복합적으로 사용해 네트워크 상황에 따라 우선적으로 수신해야 하는 공간 구역을 선정할 수 있다. 그리고, 수신 단말은 후술되는 도 33b과 같은 메시지를 통해 공간 구역의 선정 내역을 송신 단말에게 전달할 수 있다. 그리고, 송신 단말은 수신 단말에 의해 선정된 공간 구역에 해당하는 입체 영상 부분만을 수신 단말에게 전송할 수 있다.
후술되는 도 22 내지 도 24는 송신 단말과 수신 단말 간에 포인트 클라우드 의 송수신 방식을 교섭하는 SDP(Session Description Protocol)의 예시를 도시한다. 그리고, 도 27, 28, 29는 도 22 내지 도 24의 절차를 이용하여 결정된 포인트 클라우드의 압축 및 전송 방법을 네트워크 부하 또는 채널 상황의 변화에 맞추어 단말 간에 동적으로 변경하기 위한 명령어의 규격을 도시하고 있다.
도 22는 본 개시의 일 실시예에 따른 송신 단말 전송 메시지의 예시를 도시하는 도면이다.
도 22는 포인트 클라우드를 송수신 할 수 있는 단말이 IMS를 통해 상대 단말에 전송하는 SDP(Session Description Protocol) Offer 메시지를 도시한다. 즉, 도 22는 송신 단말이 수신 단말에게 전송할 수 있는 SDP offer 메시지를 도시한다. 이러한 SDP offer 메시지는 SIP(Session Initiation Protocl) 메시지에 포함되어 IMS의 여러 노드를 경유하여 상대 단말에 전달될 수 있다. 도 16의 SDP offer 메시지를 통해 단말은 도 11에 도시된, 여러 패치들을 포함한 프레임을 H.265 영상 코덱으로 압축하여 양방향으로 (a=sendrecv) 송수신하도록 상대 단말에 제안할 수 있다. 이하 도 22에서 단말은 송신 단말, 상대 단말은 수신 단말을 의미할 수 있다.
도 22의 SDP offer 메시지에서, a=imageattr:99 send [x=1920,y=1080] [x=1280,y=720] recv [x=1920,y=1080] [x=1280,y=720] type [one] [gao] [gao2]은, 도 11에 도시된 패치들을 평면에 모아 비디오 영상으로서 압축함에 있어, 영상 코덱이 양 방향에서 사용할 평면, 즉 이미지 버퍼의 최대 해상도를, 상대 단말이 예시로 제시된 1920x1080 또는 1280x720 중에서 선택할 것을 제안할 수 있다. 이때, 이미지 버퍼는 도 15의 포인트 클라우드 전처리기(1506)로부터 생성된 2차원 영상을 의미할 수 있다. 이때, 2차원 영상에는 3차원 입체 영상의 정보들 중 포함하는 정보에 따라 공간상에서의 위치(예, geometry)와 포인트 클라우드의 색상(예: attribute)와, 2차원 영상에서 픽셀 별 정보 여부(예: occupancy map) 등 세 가지 종류가 있을 수 있다. 이미지 버퍼의 해상도가 지정된 후 type을 통해 이미지 버퍼의 종류가 표시될 수 있다. 즉, type이 [one]인 경우는 하나의 이미지 버퍼에 모든 종류의 2차원 영상이 저장됨을 의미할 수 있다.
만일 2차원 영상들의 종류에 따라, 2차원 영상들이 별도의 이미지 버퍼에 저장되는 경우, 각 이미지 버퍼의 종류별로 g(Geometry), a(Attribute), o(Occupancy) 및 각 종류에 대한 레이어(layer)의 개수 별로 연속하여 표시되어 나타내어질 수 있다. 예를 들어, gg는 geometry 이미지 버퍼가 2개의 레이어를 갖는 것을 나타낼 수 있다. 그리고, 한 종류 이상의 이미지 버퍼가 다른 해상도 크기를 갖는 경우 뒤에 2와 같이 숫자가 붙여 표시될 수 있다(예: o2). 이때 해당 종류의 이미지 버퍼의 해상도 크기는 imageattr에서 정의된 해상도의 가로와 세로를 숫자로 나눈 값을 의미할 수 있다(예: imageattr의 resolution이 x=1920, y=1080이고 type이 o2이면 occupancy map의 해상도 크기는 960x540이 된다). 즉, 상술된 이미지 버퍼의 종류를 나타내는 글자 뒤에 붙을 수 있는 숫자(예: o2의 2)는 이미지 버퍼의 해상도의 가로와 세로를 나누는데 이용되는 값을 의미할 수 있다.
일 실시예에 따르면, 도 22의 SDP offer 메시지에서, a=pointcloud:99 ply; vpcc; ply xyz:10 rgb1:8 rgb2:8; profile-id=Basic; rec-level: 0; level-id=1; max_vertex 100000; max_vertex_per_second 10000000; max_patch_length_x=500; max_patch_length_y=500은, PLY 형식의 포인트 클라우드에 대하여 최대 100000 포인트들을 10Mbps (b=AS:10000) 이하의 비트 레이트를 사용하여 전송하도록 제안할 수 있다. 도 22의 SDP offer 메시지에서, profile-id과 rec-level과 level-id는 각각 포인트 클라우드 압축에 사용된 프로파일(profile)의 종류(예: basic 또는 extended)와, 입체 영상을 재구축(reconstruction)하기 위한 수준(예: 0, 1 또는 2)과, 압축된 포인트 클라우드의 품질(예: 1: 프레임당 약 100만개, 2: 약200만개)를 표현하는 파라미터를 의미할 수 있다.
일 실시예에 따르면, 도 22의 SDP offer 메시지에서, max_vertex는 포인트 클라우드 미디어의 한 프레임의 최대 포인트들의 수를 의미할 수 있다. 그리고, max_vertex_per_second는 1초에 전송되는 프레임들에 포함된 포인트의 총 합을 나타낼 수 있다. 상술된 max_vertex 또는 max_vertex_per_second는 송신 단말의 생성 장치 또는 수신 단말의 렌더링 장치의 처리 성능에 따라 적합한 값이 지정될 수 있다.
일 실시예에 따르면, 도 22의 SDP offer 메시지에서 99는 포인트 클라우드 미디어를 포함한 이 세션에 할당된 페이로드 유형 번호(payload type number)를 의미할 수 있다. 그리고, ply xyz:10 rgb1:8 rgb2:8는 PLY 포맷의 데이터 배열이 각각 10비트로 표현되는 X, Y, Z 좌표와, 8비트로 표현되는 2개의 R, G B 색 성분인 것을 의미할 수 있다. 즉, 한 XYZ 위치에 대해 하나 이상의 색 성분이 부여될 수 있는 경우, ply xyz:10 rgb1:8 rgb2:8 ... rgbn:8 과 같은 방식으로 n개의 rgb 속성이 존재하는 것이 나타내어질 수 있다. max_patch_length_x=500과 max_patch_length_y=500은 각 패치의 가로 세로 방향의 최대 길이를 의미할 수 있고, 각 패치의 가로 세로 방향의 최대 길이가 500 포인트 임을 의미할 수 있다.
일 실시예에 따르면, 만일, SDP offer 메시지에 포함된 두 개의 서로 다른 조건 중 하나만 만족하는 경우, 예를 들어, 포인트 클라우드에 대한 전송 비트 레이트가 10Mbps를 넘어서지 않지만, 120000개의 포인트가 사용되는 경우, 또는 반대로 100000개의 포인트가 사용되었지만 포인트 클라우드에 대한 전송 비트 레이트가 15Mbps를 넘는 것과 같은 경우, 상술된 모든 조건을 초과하지 않도록 설정될 수 있다. 즉, 포인트 클라우드에 대한 전송 비트 레이트가 10Mbps를 초과하지 않도록, 그리고 100000개를 초과하지 않는 포인트가 사용되도록 설정될 수 있다.
다만, 송신 단말 또는 수신 단말이 예컨대 10Mbps의 주어진 대역폭을 최대한 사용하면서 100000개의 포인트 이상의 포인트로 이루어진 포인트 클라우드 미디어를 송신 또는 수신하고 싶은 경우, 다른 조건을 무시할 수 있는 하나의 우선 충족 조건이 지정될 수 있다. 이러한 우선 충족 조건은 도 23에서 예시된다.
도 23은 본 개시의 일 실시예에 따른 송신 단말 전송 메시지의 예시를 도시하는 도면이다.
도 23은 prioritized AS vertex patch와 같이 우선 순위 파라미터가 선택적으로 열거되어 SDP offer 메시지를 통해 전달되는 방법을 제안한다. 복수개의 서로 다른 우선 순위 파라미터는 우선 순위가 높은 순서대로 지정될 수 있다. 예를 들어, 도 23의 예시는 비트 레이트가 조건에 맞으면 vertex의 개수(즉, 포인트 클라우드의 개수)가 무시될 수 있고, 또는 비트 레이트와 vertex의 개수가 조건에 맞으면 패치 크기의 제약이 무시될 수 있음을 나타낸다. 다만, 일 실시예에서, 우선 순위가 매겨진(prioritized) 파라미터로서 명시되지 않은 모든 조건은, 변경 또는 초과되지 않아야 할 수 있다 즉, 코덱이나 프로파일과 같이 상기 우선 순위가 매겨진(prioritized) 파라미터로서 열거되지 않은 조건에 대해서는 SDP 프로토콜에 따라 동작할 수 있다. 즉, SDP offer 메시지를 통해 제공되는 파라미터에 기초하여 송수신되는 포인트 클라우드가 결정될 수 있다.
도 27, 28, 29, 30a, 30b, 31, 32a, 32b, 33a, 33b, 34를 참조하면, 단독으로 또는 복수개의 메시지가 같이 송신 단말 또는 수신 단말에게 전송될 수 있으며, 이에 따라 하나 또는 복수개의 조건을 모두 만족하도록 오브젝트에 대한 포인트 클라우드가 도 15와 같이 생성될 수 있다.
일 실시예에 따르면, SDP Offer 메시지 안에 명시된 doi_enabled는 송신 단말이 수신 단말의 관심 방향(Direction of Interest, DOI) 정보를 이용하여 포인트 클라우드 프로세싱 및 인코딩(point cloud processing / encoding) 기능을 지원함을 표시하는 플래그(flag)를 의미할 수 있다. 일 실시예에 따라, SDP offer 메시지에 해당 플래그가 포함되어 있지 않는 것은, 송신 단말 및 송신 단말과 수신 단말 간의 세션이 수신 단말의 관심 방향 정보를 이용한 포인트 클라우드 프로세싱 및 인코딩 기능을 지원하지 않는 것을 의미할 수 있다.
일 실시예에 따르면, 송신 단말은 AI와 같은 부가 프로세싱을 이용하여 입체 영상의 일부에 대한 별도의 라벨링(labeling) 기능을 제공할 수 있다. 예를 들어, 송신 단말은 DOI와 결합하여 도32a, 32b와 같이 입체 영상 중 DOI가 지시하는 일부에 대한 주석(annotation)을 수신 단말에게 제공할 수 있다. 예를 들어, 도 22에서 방식(schema)이 지시되는 경우, 송신 단말은 이를 따라 주석을 표시할 수 있다. 또는, 방식(schema)없이 주석(annotation) 여부만 표시되는 경우, 송신 단말은 descriptive text 형태로 DOI를 서술될 수 있다.
도 24는 본 개시의 일 실시예에 따른 송신 단말 전송 메시지에 대한 응답 메시지의 예시를 도시하는 도면이다.
일 실시예에 따르면, 도 24는 수신 단말이 도 22 또는 도 23의 SDP offer 메시지를 수신하고, 세션에 적용할 수준으로 QoS 파라미터를 변경하여 반송하는 SDP Answer 메시지를 도시한다. 이러한 SDP answer 메시지에서 수신 단말은 자신은 H.265 코덱으로 압축한 포인트 클라우드를 수신하지만 상대 단말에 전송하지 않을 것임을 명시할 수 있다(a=recvonly). 그리고, 수신 단말은 이미지 버퍼 해상도로서 1280x720 해상도를 사용하고, 6Mbps 이하의 비트 레이트를 사용한다는 정보를 SDP answer 메시지에 포함시킬 수 있다. 예를 들어, 송신 단말과 수신 단말 간 상호 합의된 최대 1280x720 해상도 내에서 최대 500x500 크기인 각 프레임의 모든 패치들이 포함될 수 있다. 일 실시예에서, SDP Answer 메시지에 doi_enabled 플래그가 포함되면 수신 단말이 송신 단말에게 Direction of Interest based delivery session을 요청하는 것을 의미할 수 있다. 이때, 요청에는 도 30a와 같이 direction of interest metadata RTCP 채널이 이용될 수 있다.
도 25는 본 개시의 일 실시예에 따른 포인트 클라우드의 전송을 위한 송신 단말과 수신 단말 간의 교섭 절차를 도시하는 도면이다. 예를 들어, 도 25는 송신 단말(UE A)(2510)과 수신 단말(UE B)(2520)이 도 14에 도시된 IMS(IP Multimedia Subsystem)를 이용하여 포인트 클라우드의 전송 방식을 교섭하고 유, 무선 전송 경로의 QoS를 확보하기 위한 절차를 도시하고 있다.
도 25를 참조하면, 일 실시예에서, 송신 단말(2510)은 제1 SDP offer 메시지(2502)를 (SIP) INVITE 메시지(2501)에 포함하여, 자신에게 할당된 IMS 노드인 P-CSCF(Proxy Call Session Control Function) 로 전송할 수 있다. 그리고, 이러한 메시지는 S-CSCF(Session Call Session Control Function), I-CSCF(Interrogating Call Session Control Function) 등의 노드를 경유하여 상대 단말이 연결된 IMS에 전달될 수 있고, 최종적으로 수신 단말(2520)에게 전달될 수 있다. 일 실시예에서, 제1 SDP offer 메시지(2502)는 도 21 내지 23에서 도시된 SDP offer 메시지를 포함할 수 있다.
일 실시예에 따르면, 수신 단말(2520)은 송신 단말(2510)이 제안하는 비트 레이트와 포인트 클라우드의 전송방식 중 수용 가능한 비트 레이트와 전송 방식을 선택할 수 있다. 그리고, 선택된 정보를 포함한 제1 SDP answer 메시지(2504)를 SIP 183 메시지(2503)에 포함하여 송신 단말(2510)에게 전송할 수 있다. 제1 SDP answer 메시지(2504)를 포함하는 SIP 183 메시지(2503)가 송신 단말로 전달되는 과정에서 각 IMS 노드들은 이 서비스에 필요한 유, 무선 네트워크의 전송 자원을 예약하기 시작할 수 있다. 그리고, PRACK 메시지(2505), SIP 200 메시지(2507), SIP UPDATE 메시지(2509) 및 SIP 200 메시지(2511)와 같은 추가 메시지 교환을 통해 포인트 클라우드 전송을 포함하는 세션의 모든 조건이 송신 단말(2510)과 수신 단말(2520) 간에 합의될 수 있다. 예를 들어, 송신 단말(2510)은 제1 SDP offer 메시지(2502) 송신 시점에서의 송신 단말(2510)의 상태(예: 네트워크 상태)로부터의 상태 변경, 또는 이와 관계없이 디폴트로 제2 SDP offer 메시지(2506)를 생성 및 전송할 수 있다. 이에 응답하여, 수신 단말(2520)은 제2 SDP answer 메시지(2508)를 생성 및 전송할 수 있다.
일 실시예에 따르면, 모든 전송 구간의 전송 자원이 확보되었음을 확인한 송신 단말은 Media Flow 메시지(2513)를 통해 수신 단말에게 포인트 클라우드를 전송할 수 있다. 다만, 반드시 Media Flow 메시지(2513)를 통해 포인트 클라우드가 전송되는 것은 아니며, 메시지의 형식과 관계 없이 포인트 클라우드가 송신 단말로부터 수신 단말에게 전송될 수 있다. 후술되는 도 26은 수신 단말(2520)이 송신 단말(2510)이 송신한 SDP offer 메시지로부터 SDP answer 메시지를 구축하기 위한 절차를 도시하고 있다.
도 26은 본 개시의 일 실시예에 따른 수신 단말의 응답 메시지 생성 절차를 도시하는 흐름도이다. 보다 구체적으로, 도 26은 도 25에서 송신 단말이 전송한 SDP Offer 메시지를 수신 단말이 분석하여 SDP Answer 메시지를 작성하여 전송하는 과정을 도시한다.
도 26을 참조하면, 2601 단계에서, 수신 단말은 SDP Offer 메시지를 수신할 수 있다. 즉, 수신 단말은 송신 단말로부터, 포인트 클라우드의 송수신을 위한 파라미터를 포함하는 메시지를 수신할 수 있다.
2603 단계에서, 수신 단말은 b=AS 허용 가능 여부를 판단할 수 있다. 즉, 수신 단말은 수신된 SDP Offer 메시지 내의 b=AS 값을 자신에게 허용된 최대 비트 레이트 값과 비교함으로써, 수용할 수 있는 값인지 판단할 수 있다. 예를 들어, 수신 단말은 수용할 수 없는 값인 경우 2605 단계에서 b=AS 값을 감소시킬 수 있다. 즉, 수신 단말은 비트 레이트가 허용 가능하지 않은 경우, 수신 단말 자신에게 허용된 최대 비트 레이트 이하로 비트레이트를 축소할 수 있다.
2607 단계에서, 수신 단말은 a=imageattr로부터 해상도를 선택할 수 있다. 예를 들어, 수신 단말은 2603 단계를 통해 비트 레이트가 허용 가능한 범위에 있는지 판단한 후, 수신 단말에게 적절한 해상도를 결정할 수 있다.
2609 단계에서, 수신 단말은 max_vertex의 허용 가능 여부를 판단할 수 있다. 예를 들어, SDP Offer 메시지 내의 포인트들의 수(max_vertex)가 이전 단계(예: 2603 단계 내지 2607 단계)에서 결정된 비트 레이트 및 해상도에 적합한 값인지 여부를 판단할 수 있다. 그리고, 수신 단말은 SDP offer 메시지에 포함된 max_vertex를 수용할 수 없는 경우, 2611 단계에서 max_vertex를 감소시킬 수 있다. 즉, 수신 단말은 SDP offer 메시지에 포함된 max_vertex를 수신 단말 자신이 수용할 수 있는 범위 내로 축소할 수 있다.
2613 단계에서, 수신 단말은 max_patch_length(x,y) 허용 가능 여부를 판단할 수 있다. 즉, 수신 단말은 수신된 SDP offer 메시지 내의 max_patch_length(x,y) 값, 즉, 최대 패치 길이를 수용할 수 있는지 여부를 판단할 수 있다. 수신 단말은 수용할 수 없는 경우, 2615 단계에서 max_patch_length(x,y)를 감소시킬 수 있다. 즉, 수신 단말은 최대 패치 길이가 허용 가능하지 않은 경우, 수신 단말 자신이 수용할 수 있는 범위 이하로 최대 패치 길이를 축소할 수 있다.
2617 단계에서, 수신 단말은 doi_enabled가 존재하는지 확인할 수 있다. 예를 들어, 수신 단말은 수신 단말의 관심 방향 정보를 이용할 수 있는지 여부를 나타내는 지시자인 doi_enabled가 송신 단말로부터 수신된 SDP offer 메시지에 포함되어 있는 것을 확인할 수 있다. 일 실시예에서, SDP offer 메시지에 doi_enabled가 포함되어 있지 않은 경우, 수신 단말은 2603 단계 내지 2613 단계에서 결정된 비트 레이트, 해상도, 포인트 클라우드의 포인트들의 개수, 최대 패치 개수 등에 기초하여 2621 단계에서 SDP answer 메시지를 구성할 수 있다.
2619 단계에서, 수신 단말은 delivery usage에 기초하여 doi를 결정할 수 있다. 즉, 수신 단말은 SDP offer 메시지에 doi_enabled 지시자가 포함되어 있는 것을 확인한 후, 화상 통화와 같은 사용 예시를 나타내는 delivery usage에 기초하여 관심 방향(doi)을 결정할 수 있다.
2621 단계에서, 수신 단말은 2603 단계 내지 2619 단계에서 결정된 비트 레이트, 해상도, 포인트 클라우드의 포인트들의 개수, 최대 패치 개수 및 doi 등에 기초하여 SDP Answer 메시지를 생성할 수 있다.
2623 단계에서, 수신 단말은 SDP Answer 메시지를 전송할 수 있다. 즉, 수신 단말은 2621 단계에서 생성된 SDP Answer 메시지를 송신 단말에게 전송할 수 있다. 일 실시예에서, 수신 단말은 SDP Answer 메시지를 SIP 183 메시지에 포함하여 송신 단말에게 전송할 수 있다.
일 실시예에 따르면, 도 26의 절차에 기반하여 세션 조건이 결정된 후, 송신 단말은 수신 단말에게 세션 조건에 따라 압축된 포인트 클라우드를 전송할 수 있다. 다만, 이때, 채널 상태의 악화로 예정되었던 비트 레이트가 유지되지 못하는 상황이 발생할 수 있다. 이러한 경우, 수신 단말은 도 6에 도시된 바와 같은 TMMBR 메시지를 송신 단말에게 전송함으로써 비트 레이트를 일시적으로 축소하도록 요청할 수 있다. 일 실시예에서, 수신 단말은 TMMBR 메시지를 전송하는 경우, 도 27에 도시된 메시지를 함께 전송함으로써 프레임 당 최대 포인트 클라우드의 수를 축소하도록 요청할 수 있다.
도 27은 본 개시의 일 실시예에 따른 수신 단말이 송신 단말에게 전송하는 메타데이터의 예시를 도시하는 도면이다. 도 27에 도시된 메시지의 Number of Points 필드는 SDP 메시지의 max_vertex 파라미터를 의미할 수 있다. 그리고, Number of Points 필드는 0 ~ 231-1까지의 포인트의 개수를 표시할 수 있다. 즉, 도 27의 Maximum Number of Points는 포인트 클라우드를 구성할 수 있는 포인트의 최대 개수를 의미할 수 있다.
일 실시예에 따르면, 비트 레이트의 조정과 함께 포인트 클라우드가 표현할 수 있는 사람 또는 물체 표면의 최대 또는 최소 비율이 조정될 수 있다. 예를 들어, 후술되는 도 28 및 도 29는 포인트 클라우드가 표현할 수 있는 오브젝트의 표면의 최대 또는 최소 비율을 조정하기 위하여 전송되는 메시지의 예시를 나타낸다.
즉, 도 28은 본 개시의 일 실시예에 따른 수신 단말이 송신 단말에게 전송하는 메타데이터의 예시를 도시하는 도면이다. 도 29는 본 개시의 일 실시예에 따른 수신 단말이 송신 단말에게 전송하는 메타데이터의 예시를 도시하는 도면이다.
도 28에 도시된 메시지의 Maximum Proportion of Represented Surface 필드와, 도 29에 도시된 메시지의 Minimum Proportion of Represented Surface 필드는 0~100%의 비율을 1% 단위로 표시하는 값으로 표현될 수 있다. 예를 들어, 표면적 100%를 전송할 수 없다면 송신 단말은 수신 단말에게 중요하다고 판단되는 영역의 포인트 클라우드를 선별하여 전송할 수 있다. 이후 채널 상황이 개선되면 수신 단말은 송신 단말에게 TMMBR 메시지와 도 27 및 도 28의 메시지를 전송함으로써, 비트 레이트와 포인트들의 수, 표면적의 비율 등을 점진적으로 증가시켜 서비스 시작 전에 교섭된 원래 값으로 복귀되도록 할 수 있다.
일 실시예에 따르면, 수신 단말은 현재 사용중인 비트 레이트와 포인트들의 수가 적절하더라도, 중요한 방향의 포인트들을 우선적으로 처리하여 전송하도록 송신 단말에게 요청할 필요가 있을 수 있다. 예를 들어 연설이나 대화를 하고 있는 사람의 뒷면을 표시하는 포인트들의 필요성은 낮을 수 있으므로, 수신 단말은 도 30a와 같이 관심 방향(Direction of Interest) 정보 메시지를 전송함으로써 중심이 되어야 할 방향을 송신 단말에게 지시할 수 있다.
도 30a는 본 개시의 일 실시예에 따른 수신 단말이 송신 단말에게 전송하는 메타데이터의 예시를 도시하는 도면이다.
도 30a에 도시된 메시지를 통해 도 20a에 도시된 바와 같이 3차원 공간에서 수신 단말의 임의의 관심 방향이 표시될 수 있다. 예를 들어, 도 30a에서 X, Y, Z 필드는 관심 방향을 나타내는 벡터의 시작점을 나타낼 수 있고, TX, TY, TZ 필드는 관심 방향 벡터의 끝점을 나타낼 수 있다. 일 실시예에 따라, X, Y, Z, TX, TY, TZ 필드는 0에서부터 1까지의 범위를 갖는 실수 체계로 표현될 수 있다. 그리고, 수신 단말은 포인트 클라우드로 표현된 오브젝트의 원점과 관심 방향 벡터의 원점을 일치시키고, x, y, z 축을 일치시킨 후, 포인트 클라우드로 표현된 오브젝트의 좌표계를 0부터 1까지로 노멀라이즈(normalize)한 좌표계가 관심 방향 벡터의 좌표계와 일치되도록 변환시킬 수 있다. 예를 들어, x축이 0부터 500, y축이 0부터 1000, z축이 0부터 3000의 크기를 갖는 포인트 클라우드 오브젝트에 대해 관심 방향 벡터의 시작점이 (1, 0.5, 0.5)이고, 끝점이 (0, 0.5,0.5)이라고 가정되는 경우, 포인트 클라우드 오브젝트에 대한 관심 벡터의 시작점과 끝점은 (500, 500,1500) 과 0,500,1500)에 해당될 수 있다. 이는 YZ 평면의 중앙에서 X축 방향을 정면으로 바라보는 방향으로 관심 방향이 설정되는 것을 나타낼 수 있다.
일 실시예에 따르면, 도 30b에서는, 도 30a와 같은 메시지 형식을 사용하지만, 다른 서브타입(subtype)을 명시함으로써 도 30a에 도시된 바와 같은 3차원 공간에서의 관심 공간 구역이 지시될 수도 있다. 즉, 도 30b에서 X, Y, Z 필드는 관심 공간 구역을 표현하는 육면체의 시작점을 나타낼 수 있고, TX, TY, TZ 필드는 관심 공간 구역 육면체의 끝점을 지시함으로써 육면체의 크기 및 위치를 지시할 수 있다. 이때, 관심 공간의 회전을 표현하기 위해서 W 파라미터가 사용될 수 있다. 즉, 수신 단말은 W 파라미터를 사용해 시작점(XYZ)과 끝점(TXTYTZ)을 잇는 벡터를 시계 방향으로 W 각도값만큼 회전시키고 난 결과를 관심 공간 구역으로 표시할 수 있다. 수신 단말은 상술된 바와 같이 결정된 관심 공간 구역을 송신 단말에게 전송할 수 있다. 그리고, 송신 단말은 이에 따라 도 20c에서와 같이 지시된 관심 공간 구역에 해당하는 포인트 클라우드만을 전송할 수도 있다.
도 30a 및 도 30b에서 설명된 관심 영역을 표시하는 방식과 VR의 뷰포트(viewport)는 뷰어(viewer)가 관심을 가지는 관심 영역이라는 점에서 유사하나, VR이 HMD등의 기구에서 뷰어(viewer)가 바라보는 방향을 뷰포트(viewport)로 지시하는 반면, 본 개시에서는 뷰어(viewer)가 바라보고 있는 방향과 관심있는 방향이 다를 수 있다. 즉, AR 화상 통화와 같은 시나리오에서, 상대방의 입체 영상이 뷰어(viewer)의 전면에 도시된 경우, 비록 상대방의 입체 영상에 대한 뷰포트(viewport)는 정면을 향하고 있지만, 별도의 UX를 통해 상대방의 옆 모습이나 뒷 모습이 관심 방향으로 지시될 수 있고, 상대방의 단말(즉, 송신 단말)은 지시된 부분만을 전송할 수도 있다. 또는 가상 회의와 같이, 테이블에 여러명의 가상 참석자가 착석해 있을 때, 뷰어(viewer)의 위치에서는 참석자들의 옆면을 바라보게 되지만(viewport가 옆면), 뷰어는 참석자들의 정면 모습만을 관심 방향으로 지시함으로써 정면에 해당하는 부분만 전송되도록 할 수 있다.
도 31은 본 개시의 일 실시예에 따른 송신 단말이 수신 단말로부터 수신한 메시지에 기초하여 포인트 클라우드 미디어를 전송하는 절차를 도시하는 흐름도이다. 즉, 도 31은 송신 단말과 수신 단말 간의 세션 셋업(setup) 이후, 통신망의 상황에 변화가 발생하여 송신 단말이 RTCP APP 패킷(packet)들을 통해 수신 단말로부터 포인트 클라우드 미디어(point cloud media)에 대한 여러 메시지들을 수신하는 경우, 일어날 수 있는 실시예를 나타내는 도면이다.
도 31을 참조하면, 3101 단계에서, 송신 단말은 수신 단말로부터 TMMBR 피드백(feedback)을 수신할 수 있다. 그리고, 송신 단말은 TMMBR 피드백을 통해, 수신 단말이 요청한 비트 레이트(bit rate)를 수신할 수 있다,
3103 단계에서, 송신 단말은 최대 포인트의 개수 관한 피드백을 수신할 수 있다. 그리고 3105 단계에서, 송신 단말은 관심 방향 활성화 여부를 확인할 수 있다. 만약 관심 방향이 활성화되지 않은 경우, 송신 단말은 3113 단계에서 포인트 클라우드의 개수를 조정할 수 있다. 즉, 송신 단말은 포인트 클라우드에 포함되는 포인트의 개수를 조정할 수 있다. 관심 방향이 활성화된 경우, 3107 단계에서, 송신 단말은 포인트 클라우드의 방향을 조정할 수 있다. 즉, 송신 단말은 관심 방향이 활성화된 경우, 수신 단말로부터 수신된 관심 방향에 대한 정보에 기초하여, 포인트 클라우드의 방향을 조정할 수 있다.
3109 단계에서, 송신 단말은 오브젝트 표면의 최대 또는 최소 비율에 대한 피드백을 수신할 수 있다. 즉, 송신 단말은 수신 단말로부터 도 28 및 도 29에 도시된 바와 같은 최대 비율 또는 최소 비율에 대한 정보를 수신할 수 있다. 그리고, 3111 단계에서, 송신 단말은 포인트 클라우드의 표면을 조정할 수 있다. 예를 들어, 송신 단말은 수신된 오브젝트 표면의 최대 또는 최소 비율에 기초하여, 포인트 클라우드의 표면 비율을 조정할 수 있다.
3113 단계에서, 송신 단말은 포인트 클라우드의 개수를 조정할 수 있다. 즉, 송신 단말은 포인트 클라우드에 포함된 포인트의 개수를 조정할 수 있다. 그리고, 3115 단계에서, 송신 단말은 포인트 클라우드 인코딩을 수행할 수 있다. 그리고, 3117 단계에서, 송신 단말은 미디어 비트 레이트가 TMMBR을 만족하는지 여부를 판단할 수 있다. 즉, 송신 단말은 미디어 비트 레이트가 TMMBR 메시지를 통해 수신된 비트 레이트를 만족하는지 판단할 수 있다. 만약 만족하지 않는 경우, 송신 단말은 다시 3113 단계를 수행할 수 있다. 예를 들어, 송신 단말은 3101 단계에서 수신한 비트 레이트를 목표 전송량으로 설정하고, 설정된 목표 전송량에 부합하도록 조정 프로세스(adjustment process)를 수행함으로써 포인트 클라우드에 포함되는 포인트의 개수를 조정할 수 있다. 3119 단계에서, 송신 단말은 미디어를 전송할 수 있다. 즉, 송신 단말은 상술된 3101 내지 3117 단계를 통해 프로세싱된 포인트 클라우드를 수신 단말에게 전송할 수 있다.
일 실시예에 따르면, 수신 단말은 전송 품질을 보다 자세하게 정의할 수 있는 특성값(characteristics)을 SDP offer 메시지에 포함된 파라미터들 중에서 골라서 명시할 수 있다, 해당 특성값을 요청하기 위한 메타데이터는 도 27 내지 30b와 같이 표현될 수 있다.
도 32a는 본 개시의 일 실시예에 따른 송신 단말이 수신 단말에게 주석(annotation)을 제공하는 예시를 도시하는 도면이다.
예를 들어, 도 32a는 주석(annotation)의 제공이 개시되는 경우, 송신 단말이 수신 단말에게 DOI가 지시하는 부분에 대한 주석(annotation)을 제공하는 방법을 도시하고 있다. 일 실시예에 따라, 지정된 방향에 대해하여, 설명 텍스트(descriptive text)의 길이(예: Annotation-length) 또는 실제 텍스트(예: Annotation value)로 주석이 제공될 수 있다.
도 32b는 본 개시의 일 실시예에 따른 송신 단말이 수신 단말에게 주석을 제공하는 예시를 도시하는 도면이다.
예를 들어, 도 32b는 주석 제공 방식(schema)과 함께 주석이 제공되는 경우를 도시하고 있다. 예를 들어, 오브젝트의 상반신이 지시되는 경우, annotation_value에는 0, 1, 2, 3, 4, 5, 6, 7, 14로 표시될 수 있다. 또는, 얼굴(머리)만 DOI로 지시되고 있는 경우, annotation_value는 0으로 표시될 수 있다.
도 33a는 본 개시의 일 실시예에 따른 수신 단말이 송신 단말에게 주석에 대응하는 응답을 제공하는 예시를 도시하는 도면이다.
예를 들어, 도 33a는 수신 단말이 송신 단말에게 특정 주석(annotation)에 해당하는 입체 영상의 일부만을 요청하는 방법을 도시하고 있다.
도 33b는 본 개시의 일 실시예에 따른 수신 단말이 송신 단말에게 주석에 대응하는 응답을 제공하는 예시를 도시하는 도면이다. 도 33b는 수신 단말이 송신 단말에게 특정 주석(annotation)에 해당하는 입체 영상의 일부만을 요청하는 방법을 도시하고 있다. 다만, 도 33a는 도 33b와 달리, 수신 단말이 관심 유형(interest type)에 대한 명시 없이 주석(annotation)만을 지시하는 실시예를 도시한다. 도 33b는 도 33a와 달리 수신 단말이 주석 값과 함께 관심 유형(interest type)도 송신 단말에게 지시할 수 있다. 도 33b에서 Interest_type은 0:none, 1:direction, 2:space, 3:reserved 와 같이 사용될 수 있으며, Annotation values는 0,1,2 와 같이 관심있는 복수개의 영역 또는 방향(direction)에 대해 명시하는데 사용될 수 있다.
도 34는 본 개시의 일 실시예에 따른 입체 영상 중 사람에 대한 신체 부분(body part)을 주석을 통해 지시하는 방법의 예시를 도시하는 도면이다.
도 34를 참조하면, 입체 영상 중 사람에 대한 신체 부분들(body parts)을 지시하는 방식(schema)의 예시가 도시된다. 예를 들면, 신체의 관절을 중심으로 대표 부위가 분할(segment)되어 식별될 수 있으며, human text 및 value 지정을 통해 송신 단말과 수신 단말이 관심 방향(direction of interest) 또는 관심 공간(space of interest, soi)를 지시하는 것이 가능하다.
도 35는 본 개시의 일 실시예에 따른 포인트 클라우드의 PLY(Polygon File Format) 포맷의 예시를 도시하는 도면이다.
예를 들어, 도 35는 도 20a에 도시된 바와 같은 포인트 클라우드의 PLY 포맷의 일부를 도시하고 있다. 도 35를 통해 이 포맷인 ply로 시작하며 end_header까지 각종 부가 정보가 서술될 수 있다. 이후의 숫자들은 각 포인트의 RGB 값 및 XYZ 좌표계를 의미할 수 있다. 이러한 좌표계는 도 20a에 사용된 좌표계와 동일할 수 있으며, 각 좌표는 0과 같거나 0보다 클 수 있다. 도 32b의 메시지의 X, Y, Z, TX, TY, TZ는 이 좌표계에 대응될 수 있다. 다만, +/- 필드의 비트가 0으로 설정되면 반대 방향을 의미할 수 있다.
상술된 본 개시의 실시예에 따라, 본 개시에서 제안되는 송신 단말과 수신 단말 간 포인트 클라우드 세션의 표현 및 IMS를 이용한 서비스 조건의 교섭절차, 그리고 세션이 진행되는 도중 포인트들의 수, 포인트 클라우드로 표현되는 물체 또는 사람의 표면적 비율, 그리고 관심 방향을 동적으로 조절하는 기술을 통해, 송신 단말 또는 수신 단말에 대한 채널 상황의 변화에 따라 포인트 클라우드의 압축 및 전송 방법이 효율적으로 조절될 수 있다. 그리고, 이러한 효율적인 조절을 통하여 네트워크의 용량과 미디어 품질이 극대화될 수 있다.
도 36은 본 개시의 일 실시예에 따른 송신 단말 또는 수신 단말의 구성을 나타내는 블록도이다. 이하, 도 36에서 단말은 송신 단말 또는 수신 단말을 의미할 수 있다.
도 36에 도시되는 바와 같이, 본 개시의 단말은 프로세서(3630), 송수신부(3610), 메모리(3620) 및 카메라(3640)를 포함할 수 있다. 다만 단말의 구성 요소가 전술한 예에 한정되는 것은 아니다. 예를 들어, 단말은 전술한 구성 요소보다 더 많은 구성 요소를 포함하거나 더 적은 구성 요소를 포함할 수 있다.
예를 들어, 송신 단말은 포인트 클라우드를 촬영하기 위한 카메라를 더 포함할 수 있고, 수신 단말은 수신된 포인트 클라우드를 표시하기 위한 디스플레이를 더 포함할 수 있다. 뿐만 아니라, 프로세서(3630), 송수신부(3610) 및 메모리(3620)가 하나의 칩(Chip) 형태로 구현될 수도 있다.
일 실시예에 따르면, 프로세서(3630)는 상술한 본 개시의 실시 예에 따라 단말이 동작할 수 있는 일련의 과정을 제어할 수 있다. 예를 들면, 본 개시의 실시 예에 따르는 송신 단말과 수신 단말 간 포인트 클라우드 세션과 관련된 파라미터의 교섭을 제어하는 방법을 수행하도록 단말의 구성요소들을 제어할 수 있다. 프로세서(3630)는 복수 개일 수 있으며, 프로세서(3630)는 메모리(3620)에 저장된 프로그램을 실행함으로써 전술한 본 개시의 송신 단말과 수신 단말 간 포인트 클라우드 세션과 관련된 파라미터의 교섭의 제어 동작을 수행할 수 있다.
송수신부(3610)는 기지국과 신호를 송수신할 수 있다. 기지국과 송수신하는 신호는 제어 정보와, 데이터를 포함할 수 있다. 송수신부(3610)는 송신되는 신호의 주파수를 상승 변환 및 증폭하는 RF 송신기와, 수신되는 신호를 저 잡음 증폭하고 주파수를 하강 변환하는 RF 수신기 등으로 구성될 수 있다. 다만, 이는 송수신부(3610)는 일 실시예일뿐이며, 송수신부(3610)의 구성요소가 RF 송신기 및 RF 수신기에 한정되는 것은 아니다. 또한, 송수신부(3610)는 무선 채널을 통해 신호를 수신하여 프로세서(3630)로 출력하고, 프로세서(3630)로부터 출력된 신호를 무선 채널을 통해 전송할 수 있다. 또한, 송수신부(3610)는 상대 단말과 신호를 송수신할 수 있다. 예를 들어, 송수신부(3610)가 송신 단말에 포함된 경우, 송수신부(3610)는 수신 단말과 신호를 송수신할 수 있다. 또한, 송수신부(3610)가 수신 단말에 포함된 경우, 송수신부(3610)는 송신 단말과 신호를 송수신할 수 있다.
일 실시예에 따르면, 메모리(3620)는 단말의 동작에 필요한 프로그램 및 데이터를 저장할 수 있다. 또한, 메모리(3620)는 단말이 송수신하는 신호에 포함된 제어 정보 또는 데이터를 저장할 수 있다. 메모리(3620)는 롬(ROM), 램(RAM), 하드디스크, CD-ROM 및 DVD 등과 같은 저장 매체 또는 저장 매체들의 조합으로 구성될 수 있다. 또한, 메모리(3620)는 복수 개일 수 있다 일 실시예에 따르면, 메모리(3620)는 전술한 본 개시의 실시예들인 송신 단말과 수신 단말 간 포인트 클라우드 세션과 관련된 파라미터 교섭을 위한 제어 동작을 수행하기 위한 프로그램을 저장할 수 있다.
도 37은 본 개시의 일 실시예에 따른 송신 단말 또는 수신 단말의 구체적인 구성을 나타내는 블록도이다. 이하, 도 37에서 전자 장치(3710)는 본 개시에 따른 송신 단말 또는 수신 단말을 의미할 수 있다. 다만, 송신 단말 또는 수신 단말의 구성이 도 37에 도시된 구성에 제한되는 것은 아니다. 즉, 본 개시에 따른 송신 단말 또는 수신 단말은 도 37에 도시된 구성 중 일부를 포함하거나, 모두 포함하거나, 다른 구성을 더 포함할 수도 있다.
도 37을 참조하면, 전자 장치(3710)는 네트워크 환경(3700)에서, 제1 네트워크(3798)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(3702)와 통신하거나, 또는 제2 네트워크(3799)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(3704) 또는 서버(3708)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(3710)는 서버(3708)를 통하여 전자 장치(3704)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(3710)는 프로세서(3720), 메모리(3730), 입력 장치(3750), 음향 출력 장치(3755), 표시 장치(3760), 오디오 모듈(3770), 센서 모듈(3776), 인터페이스(3777), 햅틱 모듈(3779), 카메라 모듈(3780), 전력 관리 모듈(3788), 배터리(3789), 통신 모듈(3790), 가입자 식별 모듈(3796), 또는 안테나 모듈(3797)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(3710)에는, 이 구성 요소들 중 적어도 하나(예: 표시 장치(3760) 또는 카메라 모듈(3780))이 생략되거나, 하나 이상의 다른 구성 요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성 요소들 중 일부들은 하나의 통합된 회로로 구현될 수 있다. 예를 들면, 센서 모듈(3776)(예: 지문 센서, 홍채 센서, 또는 조도 센서)은 표시 장치(3760)(예: 디스플레이)에 임베디드(embedded)된 채 구현될 수 있다.
프로세서(3720)는, 예를 들면, 소프트웨어(예: 프로그램(3740))을 실행하여 프로세서(3720)에 연결된 전자 장치(3710)의 적어도 하나의 다른 구성 요소(예: 하드웨어 또는 소프트웨어 구성 요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(3720)는 다른 구성 요소(예: 센서 모듈(3776) 또는 통신 모듈(3790))로부터 수신된 명령 또는 데이터를 휘발성 메모리(volatile memory)(3732)에 로드(load)하고, 휘발성 메모리(3732)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(non-volatile memory)(3734)에 저장할 수 있다.
일 실시예에 따르면, 프로세서(3720)는 송신 단말과 수신 단말 간 포인트 클라우드 세션과 관련된 파라미터 교섭을 위한 제어 동작을 수행할 수 있다.
예를 들어, 프로세서(3720)가 본 개시에 따른 송신 단말에 포함되는 경우, 프로세서(3720)는 오브젝트를 촬영함으로써 포인트 클라우드를 획득하고, 포인트 클라우드의 송수신을 위한 파라미터를 포함하는 메시지를 수신 단말에게 전송하고, 수신 단말로부터, 수신 단말의 적용 파라미터를 포함하는 응답 메시지를 수신하고, 수신 단말의 적용 파라미터에 기초하여, 포인트 클라우드를 압축하고, 압축된 포인트 클라우드를 수신 단말에게 전송하도록 송신 단말의 구성들을 제어할 수 있다.
또는, 프로세서(3720)가 본 개시에 따른 수신 단말에 포함되는 경우, 프로세서(3720)는 송신 단말로부터, 포인트 클라우드의 송수신을 위한 파라미터를 포함하는 메시지를 수신하고, 수신 단말의 채널 상태 및 포인트 클라우드의 송수신을 위한 파라미터에 기초하여 수신 단말의 적용 파라미터를 결정하고, 결정된 수신 단말의 적용 파라미터를 포함하는 응답 메시지를 송신 단말에게 전송하고, 송신 단말로부터 포인트 클라우드를 수신하고, 압축된 포인트 클라우드에 기초하여 오브젝트와 관련된 영상을 표시하도록 수신 단말의 구성들을 제어할 수 있다.
일 실시예에 따르면, 프로세서(3720)는 메인 프로세서(3721)(예: 중앙 처리 장치(central processing unit, CPU) 또는 어플리케이션 프로세서(application processor, AP)), 및 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(3723)(예: 그래픽 처리 장치(graphic processing unit, GPU), 이미지 시그널 프로세서(image signal processor, ISP), 센서 허브 프로세서(sensor hub processor), 또는 커뮤니케이션 프로세서(communication processor, CP))를 포함할 수 있다. 추가적으로 또는 대체적으로, 보조 프로세서(3723)는 메인 프로세서(3721)보다 저전력을 사용하거나, 또는 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(3723)는 메인 프로세서(3721)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(3723)는, 예를 들면, 메인 프로세서(3721)가 인액티브(inactive)(예: 슬립(sleep)) 상태에 있는 동안 메인 프로세서(3721)를 대신하여, 또는 메인 프로세서(3721)가 액티브(active)(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(3721)와 함께, 전자 장치(3710)의 구성 요소들 중 적어도 하나의 구성 요소(예: 표시 장치(3760), 센서 모듈(3776), 또는 통신 모듈(3790))과 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시예에 따르면, 보조 프로세서(3723)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 카메라 모듈(3780) 또는 통신 모듈(3790))의 일부로서 구현될 수 있다.
메모리(3730)는, 전자 장치(3710)의 적어도 하나의 구성 요소(예: 프로세서(3720) 또는 센서 모듈(3776))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(3740)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(3730)는, 휘발성 메모리(3732) 또는 비휘발성 메모리(3734)를 포함할 수 있다.
프로그램(3740)은 메모리(3730)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(OS, operating system)(3742), 미들웨어(middleware)(3744) 또는 어플리케이션(3746)을 포함할 수 있다.
입력 장치(3750)는, 전자 장치(3710)의 구성 요소(예: 프로세서(3720))에 사용될 명령 또는 데이터를 전자 장치(3710)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 장치(3750)는, 예를 들면, 마이크, 마우스, 키보드, 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 장치(3755)는 음향 신호를 전자 장치(3710)의 외부로 출력할 수 있다. 음향 출력 장치(3755)는, 예를 들면, 스피커(speaker) 또는 리시버(receiver)를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있고, 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일 실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
표시 장치(3760)는 전자 장치(3710)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 표시 장치(3760)는, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시예에 따르면, 표시 장치(3760)는 터치를 감지하도록 설정된 터치 회로(touch circuitry), 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(예: 압력 센서(pressure sensor))를 포함할 수 있다.
일 실시예에 따르면, 표시 장치(3760)가 수신 단말에 포함되는 경우, 표시 장치(3760)는 송신 단말로부터 수신한 포인트 클라우드를 표시하기 위한 AR 디스플레이를 포함할 수 있다. 이 경우, 수신 단말은 사람 또는 물체와 같은 오브젝트의 일부를 AR 영상으로 표시할 수 있다.
오디오 모듈(3770)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일 실시예에 따르면, 오디오 모듈(3770)은, 입력 장치(3750)를 통해 소리를 획득하거나, 음향 출력 장치(3755), 또는 전자 장치(3710)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(3702))(예: 스피커 또는 헤드폰))를 통해 소리를 출력할 수 있다.
센서 모듈(3776)은 전자 장치(3710)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시예에 따르면, 센서 모듈(3776)은, 예를 들면, 제스처 센서(gesture sensor), 자이로 센서(gyro sensor), 기압 센서(barometer sensor), 마그네틱 센서(magnetic sensor), 가속도 센서(acceleration sensor), 그립 센서(grip sensor), 근접 센서(proximity sensor), 컬러 센서(color sensor)(예: RGB(red, green, blue) 센서), IR(infrared) 센서, 생체 센서(biometric sensor), 온도 센서(temperature sensor), 습도 센서(humidity sensor), 조도 센서(illuminance sensor), 또는 자율 주행차와 관련된 센서들(예: 관성 측정 센서(IMU), GPS(Global Positioning System) 센서, 카메라, LIDAR(Light Imaging Detection and Ranging), RADAR(Radio Detection and Ranging) 등)을 포함하는 센서 모듈을 포함할 수 있다.
인터페이스(3777)는 전자 장치(3710)의 외부 전자 장치(예: 전자 장치(3702))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜(protocol)들을 지원할 수 있다. 일 실시예에 따르면, 인터페이스(3777)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD(secure digital) 카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(connection terminal)(3778)는, 그를 통해서 전자 장치(3710)가 외부 전자 장치(예: 전자 장치(3702))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일 실시예에 따르면, 연결 단자(3778)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(haptic module)(3779)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일 실시예에 따르면, 햅틱 모듈(3779)은, 예를 들면, 모터(motor), 압전 소자(piezoelectric element), 또는 전기 자극 장치(electrical stimulation device)를 포함할 수 있다.
카메라 모듈(3780)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시예에 따르면, 카메라 모듈(3780)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
일 실시예에 따르면, 카메라 모듈(3780)이 송신 단말에 포함되는 경우, 카메라 모듈(3780)은 사람 또는 물체와 같은 오브젝트를 촬영함으로써 포인트 클라우드를 획득할 수 있다.
전력 관리 모듈(3788)은 전자 장치(3710)에 공급되는 전력을 관리할 수 있다. 일 실시예에 따르면, 전력 관리 모듈(3788)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(3789)는 전자 장치(3710)의 적어도 하나의 구성 요소에 전력을 공급할 수 있다. 일 실시예에 따르면, 배터리(3789)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지(fuel cell)를 포함할 수 있다.
통신 모듈(3790)은 전자 장치(3710)와 외부 전자 장치(예: 전자 장치(3702), 전자 장치(3704), 또는 서버(3708)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(3790)은 프로세서(3720)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시예에 따르면, 통신 모듈(3790)은 무선 통신 모듈(3792)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(3794)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제1 네트워크(3798)(예: 블루투스, Wi-Fi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제2 네트워크(3799)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN(wide area network))와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 또는 통신 모듈은 비면허 주파수 대역(Unlicensed Spectrum)을 사용하는 LTE, 5G의 사이드링크(Sidelink) 또는 Wi-Fi Direct를 통해 외부 전자 장치와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성 요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성 요소들(예: 복수 칩들)로 구현될 수 있다.
무선 통신 모듈(3792)은 가입자 식별 모듈(3796)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI, international mobile subscriber identity))를 이용하여 제1 네트워크(3798) 또는 제2 네트워크(3799)와 같은 통신 네트워크 내에서 전자 장치(3710)를 확인 및 인증할 수 있다.
안테나 모듈(3797)은 신호 또는 전력을 외부(예: 외부 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일 실시예에 따르면, 안테나 모듈(3797)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 하나의 안테나를 포함할 수 있다. 일 실시예에 따르면, 안테나 모듈(3797)은 복수의 안테나들을 포함할 수 있다. 이런 경우, 제1 네트워크(3798) 또는 제2 네트워크(3799)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(3790)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(3790)과 외부 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC)가 추가로 안테나 모듈(3797)의 일부로 형성될 수 있다.
상기 구성 요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))를 통해 서로 연결되고, 신호(예: 명령 또는 데이터)를 상호 간에 교환할 수 있다.
일 실시예에 따르면, 명령 또는 데이터는 제2 네트워크(3799)에 연결된 서버(3708)를 통해서 전자 장치(3710)와 외부의 전자 장치(3704) 간에 송신 또는 수신될 수 있다. 전자 장치들(3702 또는 3704) 각각은 전자 장치(3710)와 동일한 또는 다른 종류의 장치일 수 있다.
일 실시예에 따르면, 전자 장치(3710)에서 실행되는 동작들의 전부 또는 일부는 외부 전자 장치들(3702, 3704 또는 3708) 중 하나 이상의 외부 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(3710)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(3710)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부 전자 장치들(3702 또는 3704)에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부 전자 장치들(3702 또는 3704)은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(3710)로 전달할 수 있다. 전자 장치(3710)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다.
본 개시의 일 실시예에 따르면, 무선 통신 시스템에서 송신 단말의 동작 방법은, 오브젝트를 촬영함으로써 포인트 클라우드를 획득하는 단계, 상기 포인트 클라우드의 송수신을 위한 파라미터를 포함하는 메시지를 수신 단말에게 전송하고, 상기 포인트 클라우드의 송수신을 위한 파라미터는, 상기 오브젝트의 방향과 관련된 파라미터 또는 상기 오브젝트와 관련된 공간 구역 파라미터 중 적어도 하나를 포함하는 단계, 상기 수신 단말로부터, 상기 수신 단말의 적용 파라미터를 포함하는 응답 메시지를 수신하고, 상기 수신 단말의 적용 파라미터는, 상기 포인트 클라우드의 송수신을 위한 파라미터 및 상기 수신 단말의 채널 상태에 기초하여 결정되는 단계, 상기 수신 단말의 적용 파라미터에 기초하여, 상기 포인트 클라우드를 압축하는 단계, 및 상기 압축된 포인트 클라우드를 상기 수신 단말에게 전송하는 단계를 포함할 수 있다.
일 실시예에 따르면, 상기 오브젝트의 방향과 관련된 파라미터는, 상기 오브젝트가 영상을 통해 상기 수신 단말에 의해 표시되는 경우, 상기 영상에서 상기 오브젝트의 표시 방향을 나타내고, 상기 포인트 클라우드의 송수신을 위한 파라미터는, 상기 오브젝트의 방향과 관련된 파라미터의 사용 여부를 나타내는 지시자를 포함할 수 있다.
일 실시예에 따르면, 상기 포인트 클라우드의 송수신을 위한 파라미터는, 상기 오브젝트와 관련된 공간 구역 파라미터의 사용 여부를 나타내는 지시자를 포함하고, 상기 오브젝트와 관련된 공간 구역 파라미터는, 상기 오브젝트를 하나 이상의 영역으로 분할하는 방식을 나타내는 정보 또는 상기 하나 이상의 영역을 나타내는 정보 중 적어도 하나를 포함할 수 있다.
일 실시예에 따르면, 상기 포인트 클라우드의 송수신을 위한 파라미터는, 상기 포인트 클라우드의 압축과 관련된 이미지 버퍼의 해상도 정보, 상기 이미지 버퍼의 종류 정보, 상기 포인트 클라우드의 개수 정보, 상기 포인트 클라우드의 전송 속도 정보, 상기 포인트 클라우드에 대한 패치의 크기 정보, 상기 포인트 클라우드의 개수 정보와 상기 포인트 클라우드에 대한 패치의 크기 정보 간 우선순위를 나타내는 정보 중 적어도 하나를 포함할 수 있다.
본 개시의 일 실시예에 따르면, 무선 통신 시스템에서 수신 단말의 동작 방법은, 송신 단말로부터, 포인트 클라우드의 송수신을 위한 파라미터를 포함하는 메시지를 수신하고, 상기 포인트 클라우드는 오브젝트를 촬영함으로써 획득되고, 상기 포인트 클라우드의 송수신을 위한 파라미터는, 상기 오브젝트의 방향과 관련된 파라미터 또는 상기 오브젝트와 관련된 공간 구역 파라미터 중 적어도 하나를 포함하는 단계, 상기 수신 단말의 채널 상태 및 상기 포인트 클라우드의 송수신을 위한 파라미터에 기초하여 상기 수신 단말의 적용 파라미터를 결정하는 단계, 상기 결정된 수신 단말의 적용 파라미터를 포함하는 응답 메시지를 상기 송신 단말에게 전송하는 단계, 상기 송신 단말로부터 포인트 클라우드를 수신하고, 상기 포인트 클라우드는 상기 수신 단말의 적용 파라미터에 기초하여 압축되는 단계, 및 상기 압축된 포인트 클라우드에 기초하여 상기 오브젝트와 관련된 영상을 표시하는 단계를 포함할 수 있다.
일 실시예에 따르면, 상기 오브젝트의 방향과 관련된 파라미터는, 상기 오브젝트가 영상을 통해 상기 수신 단말에 의해 표시되는 경우, 상기 영상에서 상기 오브젝트의 표시 방향을 나타내고, 상기 포인트 클라우드의 송수신을 위한 파라미터는, 상기 오브젝트의 방향과 관련된 파라미터의 사용 여부를 나타내는 지시자를 포함할 수 있다.
일 실시예에 따르면, 상기 수신 단말의 적용 파라미터를 결정하는 단계는, 상기 포인트 클라우드의 송수신을 위한 파라미터로부터 상기 오브젝트의 방향과 관련된 파라미터의 사용 여부를 나타내는 지시자를 식별하는 단계, 및 상기 수신 단말의 채널 상태 또는 미리 결정된 기준에 기초하여, 상기 오브젝트의 표시 방향 중 적어도 하나를 결정하는 단계를 포함할 수 있다.
일 실시예에 따르면, 상기 포인트 클라우드의 송수신을 위한 파라미터는, 상기 오브젝트와 관련된 공간 구역 파라미터의 사용 여부를 나타내는 지시자를 포함하고, 상기 오브젝트와 관련된 공간 구역 파라미터는, 상기 오브젝트를 하나 이상의 영역으로 분할하는 방식을 나타내는 정보 또는 상기 오브젝트와 관련된 하나 이상의 영역을 나타내는 정보 중 적어도 하나를 포함할 수 있다.
일 실시예에 따르면, 상기 수신 단말의 적용 파라미터를 결정하는 단계는, 상기 포인트 클라우드의 송수신을 위한 파라미터로부터 상기 오브젝트와 관련된 공간 구역 파라미터의 사용 여부를 나타내는 지시자를 식별하는 단계, 및 상기 수신 단말의 채널 상태 또는 미리 결정된 기준에 기초하여, 상기 오브젝트와 관련된 하나 이상의 영역을 나타내는 정보 중 적어도 하나를 결정하는 단계를 포함할 수 있다.
일 실시예에 따르면, 상기 포인트 클라우드의 송수신을 위한 파라미터는, 상기 포인트 클라우드의 압축과 관련된 이미지 버퍼의 해상도 정보, 상기 이미지 버퍼의 종류 정보, 상기 포인트 클라우드의 개수 정보, 상기 포인트 클라우드의 전송 속도 정보, 상기 포인트 클라우드에 대한 패치의 크기 정보, 상기 포인트 클라우드의 개수 정보와 상기 포인트 클라우드에 대한 패치의 크기 정보 간 우선순위를 나타내는 정보 중 적어도 하나를 포함할 수 있다.
본 개시의 일 실시예에 따르면, 무선 통신 시스템에서 송신 단말은, 송수신부, 및 오브젝트를 촬영함으로써 포인트 클라우드를 획득하고, 상기 송수신부를 통해, 상기 포인트 클라우드의 송수신을 위한 파라미터를 포함하는 메시지를 수신 단말에게 전송하고, 상기 포인트 클라우드의 송수신을 위한 파라미터는, 상기 오브젝트의 방향과 관련된 파라미터 또는 상기 오브젝트와 관련된 공간 구역 파라미터 중 적어도 하나를 포함하고, 상기 송수신부를 통해, 상기 수신 단말로부터, 상기 수신 단말의 적용 파라미터를 포함하는 응답 메시지를 수신하고, 상기 수신 단말의 적용 파라미터는, 상기 포인트 클라우드의 송수신을 위한 파라미터 및 상기 수신 단말의 채널 상태에 기초하여 결정되고, 상기 수신 단말의 적용 파라미터에 기초하여, 상기 포인트 클라우드를 압축하고, 상기 송수신부를 통해, 상기 압축된 포인트 클라우드를 상기 수신 단말에게 전송하는 적어도 하나의 프로세서를 포함할 수 있다.
일 실시예에 따르면, 상기 오브젝트의 방향과 관련된 파라미터는, 상기 오브젝트가 영상을 통해 상기 수신 단말에 의해 표시되는 경우, 상기 영상에서 상기 오브젝트의 표시 방향을 나타내고, 상기 포인트 클라우드의 송수신을 위한 파라미터는, 상기 오브젝트의 방향과 관련된 파라미터의 사용 여부를 나타내는 지시자를 포함할 수 있다.
일 실시예에 따르면, 상기 포인트 클라우드의 송수신을 위한 파라미터는, 상기 오브젝트와 관련된 공간 구역 파라미터의 사용 여부를 나타내는 지시자를 포함하고, 상기 오브젝트와 관련된 공간 구역 파라미터는, 상기 오브젝트를 하나 이상의 영역으로 분할하는 방식을 나타내는 정보 또는 상기 하나 이상의 영역을 나타내는 정보 중 적어도 하나를 포함할 수 있다.
일 실시예에 따르면, 상기 포인트 클라우드의 송수신을 위한 파라미터는, 상기 포인트 클라우드의 압축과 관련된 이미지 버퍼의 해상도 정보, 상기 이미지 버퍼의 종류 정보, 상기 포인트 클라우드의 개수 정보, 상기 포인트 클라우드의 전송 속도 정보, 상기 포인트 클라우드에 대한 패치의 크기 정보, 상기 포인트 클라우드의 개수 정보와 상기 포인트 클라우드에 대한 패치의 크기 정보 간 우선순위를 나타내는 정보 중 적어도 하나를 포함할 수 있다.
본 개시의 일 실시예에 따르면, 무선 통신 시스템에서 수신 단말은, 송수신부, 및 상기 송수신부를 통해, 송신 단말로부터, 포인트 클라우드의 송수신을 위한 파라미터를 포함하는 메시지를 수신하고, 상기 포인트 클라우드는 오브젝트를 촬영함으로써 획득되고, 상기 포인트 클라우드의 송수신을 위한 파라미터는, 상기 오브젝트의 방향과 관련된 파라미터 또는 상기 오브젝트와 관련된 공간 구역 파라미터 중 적어도 하나를 포함하고, 상기 수신 단말의 채널 상태 및 상기 포인트 클라우드의 송수신을 위한 파라미터에 기초하여 상기 수신 단말의 적용 파라미터를 결정하고, 상기 송수신부를 통해, 상기 결정된 수신 단말의 적용 파라미터를 포함하는 응답 메시지를 상기 송신 단말에게 전송하고, 상기 송수신부를 통해, 상기 송신 단말로부터 포인트 클라우드를 수신하고, 상기 포인트 클라우드는 상기 수신 단말의 적용 파라미터에 기초하여 압축되고, 상기 압축된 포인트 클라우드에 기초하여 상기 오브젝트와 관련된 영상을 표시하는 적어도 하나의 프로세서를 포함할 수 있다.
일 실시예에 따르면, 상기 오브젝트의 방향과 관련된 파라미터는, 상기 오브젝트가 영상을 통해 상기 수신 단말에 의해 표시되는 경우, 상기 영상에서 상기 오브젝트의 표시 방향을 나타내고, 상기 포인트 클라우드의 송수신을 위한 파라미터는, 상기 오브젝트의 방향과 관련된 파라미터의 사용 여부를 나타내는 지시자를 포함할 수 있다.
일 실시예에 따르면, 상기 적어도 하나의 프로세서는, 상기 포인트 클라우드의 송수신을 위한 파라미터로부터 상기 오브젝트의 방향과 관련된 파라미터의 사용 여부를 나타내는 지시자를 식별하고, 상기 수신 단말의 채널 상태 또는 미리 결정된 기준에 기초하여, 상기 오브젝트의 표시 방향 중 적어도 하나를 결정할 수 있다.
일 실시예에 따르면, 상기 포인트 클라우드의 송수신을 위한 파라미터는, 상기 오브젝트와 관련된 공간 구역 파라미터의 사용 여부를 나타내는 지시자를 포함하고, 상기 오브젝트와 관련된 공간 구역 파라미터는, 상기 오브젝트를 하나 이상의 영역으로 분할하는 방식을 나타내는 정보 또는 상기 오브젝트와 관련된 하나 이상의 영역을 나타내는 정보 중 적어도 하나를 포함할 수 있다.
일 실시예에 따르면, 상기 적어도 하나의 프로세서는, 상기 포인트 클라우드의 송수신을 위한 파라미터로부터 상기 오브젝트와 관련된 공간 구역 파라미터의 사용 여부를 나타내는 지시자를 식별하고, 상기 수신 단말의 채널 상태 또는 미리 결정된 기준에 기초하여, 상기 오브젝트와 관련된 하나 이상의 영역을 나타내는 정보 중 적어도 하나를 결정할 수 있다.
일 실시예에 따르면, 상기 포인트 클라우드의 송수신을 위한 파라미터는, 상기 포인트 클라우드의 압축과 관련된 이미지 버퍼의 해상도 정보, 상기 이미지 버퍼의 종류 정보, 상기 포인트 클라우드의 개수 정보, 상기 포인트 클라우드의 전송 속도 정보, 상기 포인트 클라우드에 대한 패치의 크기 정보, 상기 포인트 클라우드의 개수 정보와 상기 포인트 클라우드에 대한 패치의 크기 정보 간 우선순위를 나타내는 정보 중 적어도 하나를 포함할 수 있다.
본 개시의 청구항 또는 발명의 설명에 기재된 실시예들에 따른 방법들은 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합의 형태로 구현될(implemented) 수 있다.
소프트웨어로 구현하는 경우, 하나 이상의 프로그램(소프트웨어 모듈)을 저장하는 컴퓨터 판독 가능 저장 매체 또는 컴퓨터 프로그램 제품이 제공될 수 있다. 컴퓨터 판독 가능 저장 매체 또는 컴퓨터 프로그램 제품에 저장되는 하나 이상의 프로그램은, 전자 장치(device) 내의 하나 이상의 프로세서에 의해 실행 가능하도록 구성된다(configured for execution). 하나 이상의 프로그램은, 전자 장치로 하여금 본 개시의 청구항 또는 명세서에 기재된 실시 예들에 따른 방법들을 실행하게 하는 명령어(instructions)를 포함한다.
이러한 프로그램(소프트웨어 모듈, 소프트웨어)은 랜덤 액세스 메모리 (random access memory), 플래시(flash) 메모리를 포함하는 불휘발성(non-volatile) 메모리, 롬(Read Only Memory, ROM), 전기적 삭제가능 프로그램가능 롬(Electrically Erasable Programmable Read Only Memory, EEPROM), 자기 디스크 저장 장치(magnetic disc storage device), 컴팩트 디스크 롬(Compact Disc-ROM, CD-ROM), 디지털 다목적 디스크(Digital Versatile Discs, DVDs) 또는 다른 형태의 광학 저장 장치, 마그네틱 카세트(magnetic cassette)에 저장될 수 있다. 또는, 이들의 일부 또는 전부의 조합으로 구성된 메모리에 저장될 수 있다. 또한, 각각의 구성 메모리는 다수 개 포함될 수도 있다.
또한, 프로그램은 인터넷(Internet), 인트라넷(Intranet), LAN(Local Area Network), WLAN(Wide LAN), 또는 SAN(Storage Area Network)과 같은 통신 네트워크, 또는 이들의 조합으로 구성된 통신 네트워크를 통하여 접근(access)할 수 있는 부착 가능한(attachable) 저장 장치(storage device)에 저장될 수 있다. 이러한 저장 장치는 외부 포트를 통하여 본 개시의 실시예를 수행하는 장치에 접속할 수 있다. 또한, 통신 네트워크 상의 별도의 저장 장치가 본 개시의 실시예를 수행하는 장치에 접속할 수도 있다.
본 개시에서, 용어 "컴퓨터 프로그램 제품(computer program product)" 또는 "컴퓨터로 읽을 수 있는 기록매체(computer readable medium)"는 메모리, 하드 디스크 드라이브에 설치된 하드 디스크, 및 신호 등의 매체를 전체적으로 지칭하기 위해 사용된다. 이들 "컴퓨터 프로그램 제품" 또는 "컴퓨터로 읽을 수 있는 기록매체"는 본 개시에 따른 무선 통신 시스템에서 데이터의 송수신을 제어하기 위한 방법에 제공하는 수단이다.
상술한 본 개시의 구체적인 실시예들에서, 본 개시에 포함되는 구성 요소는 제시된 구체적인 실시예에 따라 단수 또는 복수로 표현되었다. 그러나, 단수 또는 복수의 표현은 설명의 편의를 위해 제시한 상황에 적합하게 선택된 것으로서, 본 개시가 단수 또는 복수의 구성 요소에 제한되는 것은 아니며, 복수로 표현된 구성 요소라 하더라도 단수로 구성되거나, 단수로 표현된 구성 요소라 하더라도 복수로 구성될 수 있다.
한편 본 개시의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 개시의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 개시의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (14)

  1. 무선 통신 시스템에서 송신 단말의 동작 방법에 있어서,
    오브젝트를 촬영함으로써 포인트 클라우드를 획득하는 단계;
    상기 포인트 클라우드의 송수신을 위한 파라미터를 포함하는 메시지를 수신 단말에게 전송하고, 상기 포인트 클라우드의 송수신을 위한 파라미터는, 상기 오브젝트의 방향과 관련된 파라미터 또는 상기 오브젝트와 관련된 공간 구역 파라미터 중 적어도 하나를 포함하는 단계;
    상기 수신 단말로부터, 상기 수신 단말의 적용 파라미터를 포함하는 응답 메시지를 수신하고, 상기 수신 단말의 적용 파라미터는, 상기 포인트 클라우드의 송수신을 위한 파라미터 및 상기 수신 단말의 채널 상태에 기초하여 결정되는 단계;
    상기 수신 단말의 적용 파라미터에 기초하여, 상기 포인트 클라우드를 압축하는 단계; 및
    상기 압축된 포인트 클라우드를 상기 수신 단말에게 전송하는 단계;
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 오브젝트의 방향과 관련된 파라미터는, 상기 오브젝트가 영상을 통해 상기 수신 단말에 의해 표시되는 경우, 상기 영상에서 상기 오브젝트의 표시 방향을 나타내고,
    상기 포인트 클라우드의 송수신을 위한 파라미터는, 상기 오브젝트의 방향과 관련된 파라미터의 사용 여부를 나타내는 지시자를 포함하는 방법.
  3. 제1항에 있어서,
    상기 포인트 클라우드의 송수신을 위한 파라미터는, 상기 오브젝트와 관련된 공간 구역 파라미터의 사용 여부를 나타내는 지시자를 포함하고,
    상기 오브젝트와 관련된 공간 구역 파라미터는, 상기 오브젝트를 하나 이상의 영역으로 분할하는 방식을 나타내는 정보 또는 상기 하나 이상의 영역을 나타내는 정보 중 적어도 하나를 포함하는 방법.
  4. 제1항에 있어서,
    상기 포인트 클라우드의 송수신을 위한 파라미터는, 상기 포인트 클라우드의 압축과 관련된 이미지 버퍼의 해상도 정보, 상기 이미지 버퍼의 종류 정보, 상기 포인트 클라우드의 개수 정보, 상기 포인트 클라우드의 전송 속도 정보, 상기 포인트 클라우드에 대한 패치의 크기 정보, 상기 포인트 클라우드의 개수 정보와 상기 포인트 클라우드에 대한 패치의 크기 정보 간 우선순위를 나타내는 정보 중 적어도 하나를 포함하는 방법.
  5. 무선 통신 시스템에서 수신 단말의 동작 방법에 있어서,
    송신 단말로부터, 포인트 클라우드의 송수신을 위한 파라미터를 포함하는 메시지를 수신하고, 상기 포인트 클라우드는 오브젝트를 촬영함으로써 획득되고, 상기 포인트 클라우드의 송수신을 위한 파라미터는, 상기 오브젝트의 방향과 관련된 파라미터 또는 상기 오브젝트와 관련된 공간 구역 파라미터 중 적어도 하나를 포함하는 단계;
    상기 수신 단말의 채널 상태 및 상기 포인트 클라우드의 송수신을 위한 파라미터에 기초하여 상기 수신 단말의 적용 파라미터를 결정하는 단계;
    상기 결정된 수신 단말의 적용 파라미터를 포함하는 응답 메시지를 상기 송신 단말에게 전송하는 단계;
    상기 송신 단말로부터 포인트 클라우드를 수신하고, 상기 포인트 클라우드는 상기 수신 단말의 적용 파라미터에 기초하여 압축되는 단계; 및
    상기 압축된 포인트 클라우드에 기초하여 상기 오브젝트와 관련된 영상을 표시하는 단계;
    를 포함하는 방법.
  6. 제5항에 있어서,
    상기 오브젝트의 방향과 관련된 파라미터는, 상기 오브젝트가 영상을 통해 상기 수신 단말에 의해 표시되는 경우, 상기 영상에서 상기 오브젝트의 표시 방향을 나타내고,
    상기 포인트 클라우드의 송수신을 위한 파라미터는, 상기 오브젝트의 방향과 관련된 파라미터의 사용 여부를 나타내는 지시자를 포함하는 방법.
  7. 제6항에 있어서, 상기 수신 단말의 적용 파라미터를 결정하는 단계는,
    상기 포인트 클라우드의 송수신을 위한 파라미터로부터 상기 오브젝트의 방향과 관련된 파라미터의 사용 여부를 나타내는 지시자를 식별하는 단계; 및
    상기 수신 단말의 채널 상태 또는 미리 결정된 기준에 기초하여, 상기 오브젝트의 표시 방향 중 적어도 하나를 결정하는 단계;
    를 포함하는 방법.
  8. 제5항에 있어서,
    상기 포인트 클라우드의 송수신을 위한 파라미터는, 상기 오브젝트와 관련된 공간 구역 파라미터의 사용 여부를 나타내는 지시자를 포함하고,
    상기 오브젝트와 관련된 공간 구역 파라미터는, 상기 오브젝트를 하나 이상의 영역으로 분할하는 방식을 나타내는 정보 또는 상기 오브젝트와 관련된 하나 이상의 영역을 나타내는 정보 중 적어도 하나를 포함하는 방법.
  9. 제8항에 있어서, 상기 수신 단말의 적용 파라미터를 결정하는 단계는,
    상기 포인트 클라우드의 송수신을 위한 파라미터로부터 상기 오브젝트와 관련된 공간 구역 파라미터의 사용 여부를 나타내는 지시자를 식별하는 단계; 및
    상기 수신 단말의 채널 상태 또는 미리 결정된 기준에 기초하여, 상기 오브젝트와 관련된 하나 이상의 영역을 나타내는 정보 중 적어도 하나를 결정하는 단계;
    를 포함하는 방법.
  10. 제5항에 있어서,
    상기 포인트 클라우드의 송수신을 위한 파라미터는, 상기 포인트 클라우드의 압축과 관련된 이미지 버퍼의 해상도 정보, 상기 이미지 버퍼의 종류 정보, 상기 포인트 클라우드의 개수 정보, 상기 포인트 클라우드의 전송 속도 정보, 상기 포인트 클라우드에 대한 패치의 크기 정보, 상기 포인트 클라우드의 개수 정보와 상기 포인트 클라우드에 대한 패치의 크기 정보 간 우선순위를 나타내는 정보 중 적어도 하나를 포함하는 방법.
  11. 무선 통신 시스템에서 송신 단말에 있어서,
    송수신부; 및
    오브젝트를 촬영함으로써 포인트 클라우드를 획득하고,
    상기 송수신부를 통해, 상기 포인트 클라우드의 송수신을 위한 파라미터를 포함하는 메시지를 수신 단말에게 전송하고, 상기 포인트 클라우드의 송수신을 위한 파라미터는, 상기 오브젝트의 방향과 관련된 파라미터 또는 상기 오브젝트와 관련된 공간 구역 파라미터 중 적어도 하나를 포함하고,
    상기 송수신부를 통해, 상기 수신 단말로부터, 상기 수신 단말의 적용 파라미터를 포함하는 응답 메시지를 수신하고, 상기 수신 단말의 적용 파라미터는, 상기 포인트 클라우드의 송수신을 위한 파라미터 및 상기 수신 단말의 채널 상태에 기초하여 결정되고,
    상기 수신 단말의 적용 파라미터에 기초하여, 상기 포인트 클라우드를 압축하고,
    상기 송수신부를 통해, 상기 압축된 포인트 클라우드를 상기 수신 단말에게 전송하는 적어도 하나의 프로세서;
    를 포함하는 송신 단말.
  12. 제11항에 있어서,
    상기 오브젝트의 방향과 관련된 파라미터는, 상기 오브젝트가 영상을 통해 상기 수신 단말에 의해 표시되는 경우, 상기 영상에서 상기 오브젝트의 표시 방향을 나타내고,
    상기 포인트 클라우드의 송수신을 위한 파라미터는, 상기 오브젝트의 방향과 관련된 파라미터의 사용 여부를 나타내는 지시자를 포함하는 송신 단말.
  13. 제11항에 있어서,
    상기 포인트 클라우드의 송수신을 위한 파라미터는, 상기 오브젝트와 관련된 공간 구역 파라미터의 사용 여부를 나타내는 지시자를 포함하고,
    상기 오브젝트와 관련된 공간 구역 파라미터는, 상기 오브젝트를 하나 이상의 영역으로 분할하는 방식을 나타내는 정보 또는 상기 하나 이상의 영역을 나타내는 정보 중 적어도 하나를 포함하는 송신 단말.
  14. 제11항에 있어서,
    상기 포인트 클라우드의 송수신을 위한 파라미터는, 상기 포인트 클라우드의 압축과 관련된 이미지 버퍼의 해상도 정보, 상기 이미지 버퍼의 종류 정보, 상기 포인트 클라우드의 개수 정보, 상기 포인트 클라우드의 전송 속도 정보, 상기 포인트 클라우드에 대한 패치의 크기 정보, 상기 포인트 클라우드의 개수 정보와 상기 포인트 클라우드에 대한 패치의 크기 정보 간 우선순위를 나타내는 정보 중 적어도 하나를 포함하는 송신 단말.
PCT/KR2021/008015 2020-06-29 2021-06-25 무선 통신 시스템에서 데이터의 송수신을 제어하기 위한 방법 및 장치 WO2022005116A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/013,756 US20230345030A1 (en) 2020-06-29 2021-06-25 Method and device for controlling transmission or reception of data in wireless communication system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0079527 2020-06-29
KR1020200079527A KR20220001312A (ko) 2020-06-29 2020-06-29 무선 통신 시스템에서 데이터의 송수신을 제어하기 위한 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2022005116A1 true WO2022005116A1 (ko) 2022-01-06

Family

ID=79315421

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/008015 WO2022005116A1 (ko) 2020-06-29 2021-06-25 무선 통신 시스템에서 데이터의 송수신을 제어하기 위한 방법 및 장치

Country Status (3)

Country Link
US (1) US20230345030A1 (ko)
KR (1) KR20220001312A (ko)
WO (1) WO2022005116A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220135482A (ko) 2021-03-30 2022-10-07 삼성전자주식회사 복수 개의 아키텍처들을 지원하는 통신 시스템에서 인스턴스 제공 방법
US20240259585A1 (en) * 2023-01-26 2024-08-01 Zoox, Inc. Systems and methods for encoding an image

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7039723B2 (en) * 2001-08-31 2006-05-02 Hinnovation, Inc. On-line image processing and communication system
KR20190052089A (ko) * 2016-09-19 2019-05-15 인터디지털 브이씨 홀딩스 인코포레이티드 명시야 데이터를 사용하여 장면을 표현하는 포인트 클라우드를 재구성하기 위한 방법 및 디바이스
KR20200007734A (ko) * 2018-07-13 2020-01-22 한국전자통신연구원 3d 포인트 클라우드 데이터의 부호화/복호화 방법 및 장치
US20200045288A1 (en) * 2018-07-31 2020-02-06 Intel Corporation Six degree of freedom video transcoding mechanism
KR20200035133A (ko) * 2017-09-06 2020-04-01 애플 인크. 포인트 클라우드 기하학적 압축

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7039723B2 (en) * 2001-08-31 2006-05-02 Hinnovation, Inc. On-line image processing and communication system
KR20190052089A (ko) * 2016-09-19 2019-05-15 인터디지털 브이씨 홀딩스 인코포레이티드 명시야 데이터를 사용하여 장면을 표현하는 포인트 클라우드를 재구성하기 위한 방법 및 디바이스
KR20200035133A (ko) * 2017-09-06 2020-04-01 애플 인크. 포인트 클라우드 기하학적 압축
KR20200007734A (ko) * 2018-07-13 2020-01-22 한국전자통신연구원 3d 포인트 클라우드 데이터의 부호화/복호화 방법 및 장치
US20200045288A1 (en) * 2018-07-31 2020-02-06 Intel Corporation Six degree of freedom video transcoding mechanism

Also Published As

Publication number Publication date
US20230345030A1 (en) 2023-10-26
KR20220001312A (ko) 2022-01-05

Similar Documents

Publication Publication Date Title
EP3972262A1 (en) Screencasting display method, and electronic apparatus
CN107302663B (zh) 一种图像亮度调整方法、终端及计算机可读存储介质
WO2021206515A1 (en) Offering media services through network edge
WO2022005116A1 (ko) 무선 통신 시스템에서 데이터의 송수신을 제어하기 위한 방법 및 장치
US9723261B2 (en) Information processing device, conference system and storage medium
CN110856019B (zh) 码率分配的方法、装置、终端及存储介质
US20060203080A1 (en) Communication terminals that vary a video stream based on how it is displayed
WO2022211476A1 (en) Method and apparatus for supporting teleconferencing and telepresence containing multiple 360 degree videos
WO2016039576A2 (ko) 무선 통신 시스템에서 다중 망 접속을 위한 장치 및 방법
WO2019199046A1 (ko) 무선 통신 시스템에서 오디오에 대한 메타데이터를 송수신하는 방법 및 장치
CN114610253A (zh) 一种投屏方法及设备
WO2022013326A1 (en) Viewport dependent delivery methods for omnidirectional conversational video
WO2016093623A1 (ko) Wfd에서 보조 컨텐츠를 출력하는 방법 및 장치
CN107240072B (zh) 一种屏幕亮度调节方法、终端和计算机可读存储介质
WO2018171265A1 (zh) 图像滤波方法及装置
CN115499579A (zh) 基于零秒延迟zsl的处理方法和装置
WO2021096063A1 (ko) 스트리밍 데이터를 제공하는 전자 장치 및 그 작동 방법
WO2012091526A2 (ko) 카메라를 구비한 휴대용 영상 통화 장치 및 그 방법
WO2021010496A1 (ko) 무선 av 시스템에서 적응적으로 rf 전송전력을 제어하는 장치 및 방법
WO2022169106A1 (ko) 미디어 스트림을 송수신하는 전자 장치 및 그 동작 방법
WO2022206771A1 (zh) 一种投屏方法、电子设备和系统
WO2020251250A1 (ko) 영상 스트리밍 방법 및 이를 지원하는 전자 장치
CN113141637B (zh) 一种多路径传输控制的方法及控制装置
WO2020022687A1 (ko) 영상을 전송하는 방법 및 장치, 영상을 수신하는 방법 및 장치
CN110913213A (zh) 视频质量评测处理的方法、装置及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21833989

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21833989

Country of ref document: EP

Kind code of ref document: A1