KR20220135483A - 이동 통신 시스템에서 영상 대화 서비스를 제공하기 위한 방법 및 장치 - Google Patents

이동 통신 시스템에서 영상 대화 서비스를 제공하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR20220135483A
KR20220135483A KR1020210041203A KR20210041203A KR20220135483A KR 20220135483 A KR20220135483 A KR 20220135483A KR 1020210041203 A KR1020210041203 A KR 1020210041203A KR 20210041203 A KR20210041203 A KR 20210041203A KR 20220135483 A KR20220135483 A KR 20220135483A
Authority
KR
South Korea
Prior art keywords
media
volumetric
line information
parameters
attribute
Prior art date
Application number
KR1020210041203A
Other languages
English (en)
Inventor
양현구
송재연
에릭 입
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020210041203A priority Critical patent/KR20220135483A/ko
Priority to CN202280025982.2A priority patent/CN117099363A/zh
Priority to EP22781447.2A priority patent/EP4264940A4/en
Priority to PCT/KR2022/003760 priority patent/WO2022211327A1/en
Priority to US17/657,076 priority patent/US11838488B2/en
Publication of KR20220135483A publication Critical patent/KR20220135483A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1101—Session protocols
    • H04L65/1104—Session initiation protocol [SIP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1069—Session establishment or de-establishment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/756—Media network packet handling adapting media to device capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

이동 통신 시스템에서 볼류메트릭 영상 통화 서비스를 위한 볼류메트릭 영상을 송신하고 수신하는 방법 및 장치를 개시한다. 상기 방법은, 상기 볼류메트릭 영상을 위한 볼류메트릭 영상 압축 방식을 결정하는 단계; 상기 결정된 볼류메트릭 영상 압축 방식에 대한 제1 미디어 파라미터들을 포함하는 제1 메시지를 상대 단말로 송신하는 단계; 상기 제1 메시지의 송신에 응답하여 제2 미디어 파라미터들을 포함하는 제2 메시지를 상기 상대 단말로부터 수신하는 단계; 및 상기 제2 미디어 파라미터들에 따라 압축된 볼류메트릭 영상을 상기 상대 단말로 송신하는 단계를 포함할 수 있다.

Description

이동 통신 시스템에서 영상 대화 서비스를 제공하기 위한 방법 및 장치{A METHOD AND AN APPARATUS FOR CONVERSATIONAL SERVICES IN A MOBILE COMMUNICATION SYSTEM}
다양한 실시예들은 미디어 컨텐츠를 사용하여 영상 대화 서비스를 제공하는 방법 및 장치에 관한 것이다.
증강 현실(augmented reality, AR)은 현실의 이미지나 배경에 3차원(또는, 2차원) 가상 이미지를 겹쳐서 하나의 영상으로 보여주는 기술이다. 실제 오브젝트들과 가상 오브젝트들을 혼합하는 증강 현실 기술은 사용자가 실제 환경의 오브젝트들을 볼 수 있게 하여 보다 나은 현실감과 부가 정보를 제공할 수 있다.
통신 기술이 발달함에 따라 다양한 장치 및 확장 현실(XR: eXtended Reality) 서비스 제공에 대한 수요가 증가하고 있다. 여기에서의 XR은, 가상 현실(VR: Virtual Reality), 증강 현실(AR) 또는 혼합 현실(MR: Mixed Reality) 중 적어도 하나를 포함할 수 있다. XR 서비스는, 예를 들어, 위치 기반 서비스 어플리케이션, 3D(Dimensions)로 구성된 XR 오브젝트를 기반으로 하는 XR 통화, XR 스트리밍 등을 포함할 수 있다. 여기에서 XR 통화는 일반적인 영상 및 음성 통화에 3D 오브젝트의 생성 및 재생 기능이 더해진 서비스를 의미하고, XR 스트리밍은 XR 장치가 서버로부터 XR 컨텐츠를 전송 받아 재생할 수 있도록 하는 서비스를 의미한다.
AR이란, 사용자가 눈으로 보는 현실 세계에, 실제로 존재하지 않는 오브젝트를 중첩하여 출력함으로써, 현실 세계를 보충하는 기술이다. 상기 오브젝트는 볼류메트릭(Volumetric) 영상의 형태로 생성, 저장 및 전송될 수 있다. 상기 볼류메트릭 영상은 일반적인 영상에 비하여 높은 연산 능력과 많은 네트워크 자원을 요구할 수 있다. AR 영상을 처리하는 단말들은 가벼운 안경 형태의 단말, 고글 형태의 단말, 별도의 외부 연산 장치가 제공되는 단말 등 다양한 폼 팩터를 가질 수 있으며, 폼 팩터에 따라 서로 다른 연산 능력을 가진다.
본 개시의 실시예들은 서로 다른 연산 능력을 가지는 단말 간에 AR 통화 서비스를 위한 방법 및 장치를 제공할 수 있다.
본 개시의 실시예들은, 네트워크 상황에 기반하여 AR 영상의 품질을 동적으로 제어하는 방법 및 장치를 제공할 수 있다.
본 개시의 실시예들은 증강현실(AR) 컨텐츠를 사용하여 대화 서비스를 제공함에 있어서 3D 영상에 대한 압축 기술을 상대 단말과 교섭하는 방법 및 장치를 제공할 수 있다.
본 개시의 실시예들은 3D 영상의 압축(compression)시 2D 변환 압축 방식과 장면(scene) 변화에 대한 파라미터를 구성하고, 상기 압축방식을 상대 단말과 교섭하는 방법 및 장치를 제공할 수 있다.
일 실시예에 따른 이동 통신 시스템에서 볼류메트릭 영상 통화 서비스를 위한 볼류메트릭 영상을 송신하는 방법은, 상기 볼류메트릭 영상을 위한 볼류메트릭 영상 압축 방식을 결정하는 단계; 상기 결정된 볼류메트릭 영상 압축 방식에 대한 제1 미디어 파라미터들을 포함하는 제1 메시지를 상대 단말로 송신하는 단계; 상기 제1 메시지의 송신에 응답하여 제2 미디어 파라미터들을 포함하는 제2 메시지를 상기 상대 단말로부터 수신하는 단계; 및 상기 제2 미디어 파라미터들에 따라 압축된 볼류메트릭 영상을 상기 상대 단말로 송신하는 단계를 포함할 수 있다.
일 실시예에 따른 이동 통신 시스템에서 볼류메트릭 영상 통화 서비스를 위한 볼류메트릭 영상을 수신하는 방법은, 상대 단말부터 상기 볼류메트릭 영상의 영상 압축 방식에 대한 제1 미디어 파라미터들을 포함하는 제1 메시지를 수신하는 단계; 상기 제1 메시지의 수신에 응답하여 제2 미디어 파라미터들을 포함하는 제2 메시지를 상기 상대 단말로 송신하는 단계; 및 상기 제2 미디어 파라미터들에 따라 압축된 볼류메트릭 영상을 상기 상대 단말로부터 수신하는 단계를 포함할 수 있다.
일 실시예에 따른 이동 통신 시스템에서 볼류메트릭 영상 통화 서비스를 위한 볼류메트릭 영상을 송신하는 사용자 단말의 장치는, 송수신부와, 상기 송수신부와 기능적으로 연결된 제어부를 포함하고, 상기 제어부는, 상기 볼류메트릭 영상을 위한 볼류메트릭 영상 압축 방식을 결정하고, 상기 결정된 볼류메트릭 영상 압축 방식에 대한 제1 미디어 파라미터들을 포함하는 제1 메시지를 상대 단말로 송신하고, 상기 제1 메시지의 송신에 응답하여 제2 미디어 파라미터들을 포함하는 제2 메시지를 상기 상대 단말로부터 수신하고, 상기 제2 미디어 파라미터들에 따라 압축된 볼류메트릭 영상을 상기 상대 단말로 송신하도록 구성될 수 있다.
일 실시예에 따른 이동 통신 시스템에서 볼류메트릭 영상 통화 서비스를 위한 볼류메트릭 영상을 수신하는 사용자 단말의 장치는, 송수신부와, 상기 송수신부와 기능적으로 연결된 제어부를 포함하고, 상기 제어부는, 상대 단말부터 상기 볼류메트릭 영상의 영상 압축 방식에 대한 제1 미디어 파라미터들을 포함하는 제1 메시지를 수신하고, 상기 제1 메시지의 수신에 응답하여 제2 미디어 파라미터들을 포함하는 제2 메시지를 상기 상대 단말로 송신하고, 상기 제2 미디어 파라미터들에 따라 압축된 볼류메트릭 영상을 상기 상대 단말로부터 수신하도록 구성될 수 있다.
개시된 실시예들에 따르면, 서로 다른 연산 능력을 가지는 단말 간의 미디어 파라미터들의 교섭을 통해 우수한 AR 통화 서비스를 제공할 수 있다.
도 1은 다양한 실시예들에 따른 증강 현실 장치들과 서버를 도시한 것이다.
도 2는 엘리먼트 기반 3D 모델 구조를 설명하기 위한 도면이다.
도 3은 장면 기반 3D 모델 구조를 설명하기 위한 도면이다.
도 4는 연속적인 3D 모델들로 구성된 볼류메트릭 영상을 설명하기 위한 도면이다.
도 5는 애니메이션 기반 볼류메트릭 영상을 설명하기 위한 도면이다.
도 6은 다양한 실시예에 따른 볼류메트릭 영상 대화 시스템을 설명하기 위한 도면이다.
도 7은 다양한 실시예에 따른 볼류메트릭 영상 대화를 위한 교섭 절차를 설명하기 위한 도면이다.
도 8은 다양한 실시예에 따른 볼류메트릭 영상의 비디오 기반 압축을 설명하기 위한 도면이다.
도 9는 다양한 실시예에 따른 볼류메트릭 영상의 장면 기반 압축을 설명하기 위한 도면이다.
도 10은 다양한 실시예에 따른 볼류메트릭 영상 복호기를 설명하기 위한 도면이다.
이하, 본 발명의 실시예를 첨부한 도면과 함께 상세히 설명한다.
도 1은 다양한 실시예들에 따른 증강 현실 장치들과 서버를 도시한 것이다.
도 1을 참조하면, 증강 현실 장치(130) 및 증강 현실 장치(140)는 동일한 회의에 참여하는 회의 참여자들이 소유하는 전자 장치일 수 있다. 다양한 실시예에 따라서, 증강 현실 장치(130) 및 증강 현실 장치(140) 중 적어도 하나는 회의에서 공유되는 미디어 컨텐츠를 디스플레이할 수 있다. 서버(110)는 복수의 증강 현실 장치(330, 340) 간의 통신을 제어하거나 상호 연결할 수 있다.
다양한 실시예에 따라서, 서버(110)는 증강 현실 장치(140)와 직접 통신을 수행할 수 있다. 다양한 실시예에 따라서, 서버(110)는 증강 현실 장치(130)와 상호작용하는 전자 장치(120)와 통신을 수행할 수 있다. 다양한 실시예에 따라서, 전자 장치(120)는 증강 현실 장치(130)에 표시될 내용을 결정하기 위한 적어도 하나의 연산을 수행할 수 있다. 다양한 실시예에 따라서, 서버(110)는 전자 장치(120)를 통해 증강 현실 장치(130)의 통신에 필요한 정보를 제어하거나 관리를 수신할 수 있다.
다양한 실시예에 따라서, 증강 현실 장치(130)는 회의에서 사용될 미디어 컨텐츠를 포함하는 데이터를 증강 현실 장치(140)에 전달할 수 있고, 증강 현실 장치(140)는 상기 수신된 데이터에 포함된 상기 미디어 컨텐츠를 출력(예를 들어 디스플레이)할 수 있다. 다양한 실시예에 따라서, 증강 현실 장치(140)는 상기 미디어 컨텐츠를 디스플레이함과 동시에, 회의 구성원들 간에 공유되지 않는, 증강 현실 장치(140)의 개인 컨텐츠를 더 디스플레이할 수 있다. 다양한 실시예에 따라서, 서버(110)가 회의에서 사용될 미디어 컨텐츠를 포함하는 데이터를 전자 장치(120)를 통해 증강 현실 장치(130)로 전송하거나 또는 증강 현실 장치(140)로 전송할 수 있다.
본 개시에서 언급되는 실시예들은 증강 현실 장치(130 또는 140)에서 수행되는 동작들을 위주로 설명될 것이나, 도 1에 도시된 바와 같이, 증강 현실 장치(130)는 전자 장치(120)를 통하여 서버(110)와 정보를 교환할 수 있으며, 이 경우 후술되는 실시예들에 포함되는 동작의 적어도 일부는 전자 장치(120) 또는 서버(310)에서 수행될 수 있다.
일 실시예에서 VR 및 AR을 비롯한 XR에서의 키 콘텐츠는 볼류메트릭 영상(volumetric video)일 수 있다. 오브젝트들 또는 공간을 실시간으로 캡처하여 3차원으로 영상을 기록(record)할 수 있다. 볼류메트릭 영상은 시간에 따라 변화하는 연속된 볼류메트릭 프레임들을 포함할 수 있다. 각 볼류메트릭 프레임은 특정한 시간에서 3차원 공간상에 존재하는 점들의 집합으로 간주할 수 있으며, 상기 점들은 예를 들어 색상 및 반사율(reflectance)과 같은 다양한 속성들을 가질 수 있다. 상기 볼류메트릭 프레임은 컨텐츠의 특성 및 응용에 따라 상이한 구조를 가지는 3D 모델로 저장 및 전송될 수 있다. 본 개시의 실시예들에서는 상기 3D 모델의 구조로 엘리먼트 기반 3D 모델 구조와 장면 기반 3D 모델 구조를 고려할 수 있다.
도 2는 엘리먼트 기반 3D 모델 구조를 설명하기 위한 도면이다. 여기에서는 엘리먼트 기반 3D 모델 구조의 일 예인 PLY 파일 포맷(205)을 예시하였다.
도 2를 참조하면, 상기 PLY 파일 포맷(205)은 3차원 공간상에 존재하는 오브젝트를 점들의 집합(Point Cloud)으로 간주하고, 상기 점들의 속성들(예를 들어 좌표 및/또는 색상을 포함할 수 있음)을 나타내는 엘리먼트들을 사용하여 상기 오브젝트를 3차원으로 표현하고 저장할 수 있다. 또한 상기 PLY 파일 포맷(205)는 부가적으로 상기 점들로 구성된 선 또는 면에 대한 정보를 제공하는 엘리먼트들을 포함할 수 있다.
도 3은 장면 기반 3D 모델 구조를 설명하기 위한 도면이다. 여기에서는 장면 기반 3D 모델 구조의 일 예인 gltf (Graphics Language Transmission Format) 포맷(305)을 예시하였다.
도 3을 참조하면, 상기 gltf 포맷(305)은 3차원 공간상의 장면(scene)을 공간 및 논리적으로 구조화하여 표현할 수 있다. 보다 구체적으로, 상기 scene은 트리 혹은 그래프 구조를 가지는 복수의 노드들(예를 들어 camera node, mesh node, skin node, material node, accessor node, texture node, bufferView node, sampler node, image node, 및/또는 buffer node를 포함함)로 구조화 되어 JSON(JavaScript object notation) 형식으로 표현될 수 있다. , 각 노드가 참조하는 실제 미디어 데이터는 상술한 엘리먼트 기반 3D 모델 구조(예를 들어 PLY 파일 포맷(205))로 기술(describe)될 수 있다.
<mesh> 노드에서 참조하는 2차원 벡터 값은 buffer 노드의 값과 관련될 수 있다. 예를 들어 <buffer> 노드는 바이트 단위의 값, "35"를 가질 수 있고, 이는 35 바이트의 버퍼 데이터를 의미할 수 있다. <bufferView> 노드는 <buffer> 노드에 의해 지정되는 버퍼 데이터의 한 세그먼트를 byteOffset=4 및 ByteLength=28로 정의할 수 있으며, 이는 4~32의 버퍼 데이터를 의미할 수 있다. <accessor> 노드는 부가적인 옵셋으로서 byteOffset=4를 포함할 수 있으며, 이는 8 ~ 32의 버퍼 데이터를 의미할 수 있다. 다른 예로서 <bufferView> 노드는 버퍼 데이터 중 엘리먼트들 간의 간격(stride)을 byteStride=12로서 지정할 수 있으며, 이는 8~16의 엘리먼트 및 20-28의 엘리먼트를 의미할 수 있다. <accessor> 노드는 상기 엘리먼트들이 2차원 플롯 벡터들임을 정의하기 위해 type="VEC2" 및 componentType=GL_FLOAT을 포함할 수 있다.
일 실시예에서 버퍼의 크기는 3D 오브젝트를 표현하는 점, 선, 면의 개수와 관련이 있고, 따라서 실제 물체를 캡처하여 3D 모델링하는 경우에 버퍼의 크기는 3D 모델의 품질을 결정하는 중요 요소가 된다.
상기 gltf 포맷(305)은 특정 노드를 정해진 방향으로 트랜스폼 시키는 형태로 애니메이션 기능을 제공할 수 있다. 일 예로 사람의 팔은 손, 전완, 상완을 각각 표현하는 3개의 노드로 구성된 트리로 모델링될 수 있으며, 손을 위쪽으로 이동 시키는 애니메이션 효과는 상기 3개의 노드들의 연결 관계를 사용하여 전완과 상완이 함께 움직이게 함으로써 구현될 수 있다.
상술한 3D 모델의 다양성으로 인하여 볼류메트릭 영상을 구성하는 볼류메트릭 프레임과 상기 볼류메트릭 프레임에 해당하는 정보가 포함된 3D 모델은 다양한 상관 관계를 가질 수 있다.
도 4는 연속적인 3D 모델들로 구성된 볼류메트릭 영상을 설명하기 위한 도면이다.
도 4를 참조하면, 연속적인 3D 모델들로 구성된 상기 볼류메트릭 영상(405)은 10개의 볼류메트릭 프레임들(410)로 구성되며, 상기 볼류메트릭 프레임들(410)은 각각 하나의 3D 모델(예를 들어 도 2의 엘리먼트 기반 3D 모델 또는 도 3의 장면 기반 3D 모델)과 연관될 수 있다.
도 5는 애니메이션 기반 볼류메트릭 영상을 설명하기 위한 도면이다.
도 5를 참조하면, 애니메이션 기반 3D 모델로 구성되는 상기 볼류메트릭 영상(505)은 4개의 볼류메트릭 프레임들(510)로 구성되며, 상기 4개의 볼류메트릭 프레임들(510)의 전부가 애니메이션 정보를 포함하는 하나의 3D 모델(예를 들어 도 2의 엘리먼트 기반 3D 모델 또는 도 3의 장면 기반 3D 모델)과 연관될 수 있다.
도 6은 다양한 실시예에 따른 볼류메트릭 영상 대화 시스템을 도시한 도면이다.
도 6을 참조하면, 상기 볼류메트릭 영상 대화 시스템은 2개 이상의 사용자 단말들(605, 655), 서비스 제어기(645) 및 전송 네트워크(650)를 포함할 수 있다. 상기 사용자 단말들(605, 655) 중 예를 들어 사용자 단말(605)은 네트워크 인터페이스(I/F)(640), 볼류메트릭 영상 제어기(610), 볼류메트릭 영상 복호기(620), 볼류메트릭 영상 부호화기(635), 볼류메트릭 영상 재생기(615), 볼류메트릭 영상 생성기(630) 중 적어도 하나를 포함할 수 있다. 여기서 네트워크 인터페이스(I/F)(640)는 송수신부로서 동작할 수 있다. 볼류메트릭 영상 제어기(610), 볼류메트릭 영상 복호기(620), 볼류메트릭 영상 부호화기(635), 볼류메트릭 영상 재생기(615), 볼류메트릭 영상 생성기(630) 중 적어도 하나는 제어부에 포함될 수 있다.
전송 네트워크(650)는 상기 사용자 단말들(605, 655)간 볼류메트릭 영상 대화를 위한 볼류메트릭 미디어 데이터를 운반하는 미디어 전송 경로를 포함하며, 서비스 제어기(645)는 상기 미디어 전송 경로를 통해 상기 볼류메트릭 영상 대화를 위한 실제 미디어 데이터를 교환하기 위해 필요한 일련의 동작들을 수행할 수 있다.
상기 볼류메트릭 영상 대화 서비스 제어기(645)가 수행하는 동작들은 상대 사용자 단말(예를 들어 655)의 네트워크 주소 파악 및 볼류메트릭 영상 대화를 위한 미디어 파라미터들의 교섭을 포함할 수 있다. 일 실시예로서 5G 시스템에서 IMS (IP Multimedia Subsystem) 기반 볼류메트릭 영상 대화 서비스를 제공한다면, 상기 볼류메트릭 영상 대화 서비스 제어기(645)의 동작들은 SIP (Session Initiation Protocol) 및 SDP (Session Description Protocol)를 사용하여 제공될 수 있다. 일 실시예로 볼류메트릭 영상 대화를 위한 미디어 파라미터들은 SDP를 사용하여 교섭될 수 있다.
도 7은 다양한 실시예에 따른 볼류메트릭 영상 대화를 위한 교섭 절차를 설명하기 위한 도면이다. 여기에서는 발신자(caller)로서 동작하는 사용자 단말(예를 들어 605)와 수신자(callee)로서 동작하는 사용자 단말(예를 들어 655) 간의 SDP 메시지들을 도시하였다.
도 7을 참조하면, 동작 705에서 발신자(caller)(605)는 송/수신하고자 하는 영상 및 음성에 대한 미디어 파라미터들을 포함하는 시그널링 정보를 포함하는 SDP 메시지를 수신자(callee)(655)에게 SDP를 사용하여 전달한다. 상기 SDP 메시지는 일 예로서 SDP Offer일 수 있다. 상기 미디어 파라미터들은 볼류메트릭 미디어 데이터의 코덱에 대한 정보와 비디오 해상도 중 적어도 하나를 포함할 수 있으며, 하나의 미디어에 대한 복수의 구성 정보(configuration information)를 포함할 수 있다.
동작 710에서 수신자(655)는 상기 SDP Offer 메시지를 통해 제공받은 미디어 파라미터들에 포함되는 복수의 구성 정보를 기반으로 수신자(655)의 처리 능력을 고려하여 최종적으로 사용할 적어도 하나의 구성 정보를 결정하고 상기 결정된 구성 정보를 발신자(605)에게 SDP 메시지를 사용하여 전달한다. 상기 SDP 메시지는 SDP Answer일 수 있다. 상기 SDP Answer 메시지는 SDP Offer에 포함되지 않은 구성 정보를 포함할 수 있다.
동작 715에서 발신자(605)는 상기 SDP Answer 메시지를 통해 제공받은 구성 정보에 동의하는 경우에는 통화를 개시할 수 있다. 도시하지 않을 것이나 발신자(605)가 상기 ADP Answer 메시지를 통해 제공받은 구성 정보에 동의하지 않는 경우, 발신자(605)는 상기 SDP Answer 메시지에 포함되는 구성 정보를 수정하여 재협상하기 위해 상기 동작 705 및 710을 다시 수행할 수 있다.
일 실시예에서 동작 715의 통화를 진행하는 중에 발신자(605) 또는 수신자(655)가 적어도 하나의 미디어 파라미터를 변경할 필요가 있을 경우, 발신자(605) 또는 수신자(655)는 동작 705 및 710을 포함하는 재협상(re-negotiation)을 수행하거나, RTCP (Real-Time Transport Control Protocol)을 사용하는 새로운 구성 정보를 교환할 수 있다. 일 실시예에서 어느 한 사용자 단말의 처리 능력이나 네트워크 용량에 영향을 주는 미디어 파라미터는 SDP 재협상을 통하여 교환될 수 있다. 일 실시예에서 어느 한 사용자 단말의 처리 능력이나 네트워크 용량에 영향을 주지 않거나 동적으로 변화 가능한 미디어 파라미터는 RTCP를 사용하여 교환될 수 있다.
상술한 바와 같이 볼류메트릭 영상은 사용된 3D 모델(예를 들어 도 2 또는 도 3에 따라 상이한 볼류메트릭 프레임 구조(예를 들어 도 4 또는 도 5)를 가질 수 있으며, 상기 3D 모델 또는 프레임 구조에 따라 볼류메트릭 영상의 압축 방식은 상이하게 결정될 수 있다.
상기 엘리먼트 기반 3D 모델 구조의 일 예인 PLY 파일 포맷이 사용되는 경우에, 볼류메트릭 영상은 도 4에 도시한 바와 같이 각각 PLY 파일들로 구성되는 일련의 볼류메트릭 프레임들(410)을 포함할 수 있다. 상기 PLY 파일로 표현된 3D 모델의 볼류메트릭 프레임들(410)은 시간축에서 상관 관계(correlation)을 가지므로, 비디오 기반 압축 도구들이 효율적으로 사용될 수 있다.
도 8은 다양한 실시예에 따른 볼류메트릭 영상의 비디오 기반 압축을 설명하기 위한 도면이다. 여기에서는 비디오 기반 압축의 일 예로 ISO/IEC 23090-5 Visual Volumetric Video-based Coding (V3C) and Video-based Point Cloud Compression (V-PCC) 규격을 지원하는 볼류메트릭 영상 부호화기(예를 들어 635)를 나타내었다.
도 8을 참조하면, 볼류메트릭 캡처 모듈(810)은 실제 오브젝트(805)를 반영하는 3D 모델 데이터를 생성하고, 프로젝션(projection) 모듈(815)은 상기 3D 모델 데이터를 Projection 과정을 거쳐 복수의(예를 들어 4개의) 서브스트림들로 분할하고, 상기 서브스트림들은 복수의(예를 들어 4개의) 코덱(820, 825, 830, 835)에 의해 각각 압축되며, 다중화기(840)은 상기 압축된 서브스트림들을 전송을 위하여 V3C 비트스트림으로 다중화할 수 있다. 일 실시예에서 상기 서브스트림들은 각각 Atlas 데이터, Occupancy 영상 데이터, Geometry 영상 데이터, Attribute 영상 데이터를 포함할 수 있다. 여기서 Occupancy, Geometry, 및 Attribute 영상 데이터를 포함하는 서브스트림들은 예를 들어 HEVC(high efficiency video coding) 또는 AVC(advanced video coding)와 같은 비디오 코덱을 사용하여 압축될 수 있다.
장면 기반 3D 모델 구조가 사용되는 경우에, 볼류메트릭 영상은 도 4와 도 5에 도시한 구조가 혼합된 구조를 가질 수 있다. 장면 기반 3D 모델의 일 예로 gltf 포맷(예를 들어 도 3)의 미디어 데이터는 장면 구조를 나타내는 JSON 문서와 실제 미디어 데이터를 포함할 수 있다. 일 실시예에서 도 4의 볼류메트릭 영상과 도 5의 볼류메트릭 영상은 각각 미디어 데이터의 갱신과 JSON 문서(document)의 갱신을 통해 구현될 수 있다.
도 9는 다양한 실시예에 따른 볼류메트릭 영상의 장면 기반 압축을 설명하기 위한 도면이다. 일 실시예에서 도시된 구성의 볼류메트릭 프레임 생성기(905)와 장면 기반 차분 3D 모델 생성기(910), 장면 기반 3D 모델 버퍼(915), 장면 구조 인코더(920) 및 미디어 인코더(935)는 도 6의 볼류메트릭 영상 부호화기(635)에 포함될 수 있다.
도 9를 참조하면, 볼류메트릭 프레임 생성기(905)는 일련의 볼류메트릭 프레임들을 생성할 수 있다. 장면 기반 차분 3D 모델 생성기(910)는 각 볼류메트릭 프레임에 대한 gltf 포맷의 장면 구조를 생성할 수 있다. 상기 장면 구조는 일 예로서 도 3과 같이, 3D 장면의 전체 컨텐츠를 기술(describe)하기 위해 상기 3D 장면을 구성하는 노드들 간의 구조적 관계(hierarchy)에 의해 주어질 수 있다. 상기 생성된 장면 구조는 장면 기반 3D 모델 버퍼(915)에 저장되는 한편, 장면 구조 인코더(920)로 입력될 수 있다. 장면 구조 인코더(920)는 장면 구조에 대한 차분(differential) 데이터를 JSON patch 문서의 형태로 출력할 수 있다. 미디어 인코더(925)는 주어진 비디오 인코딩 기술을 사용하여 인코딩된 미디어 데이터를 출력할 수 있다.
종래의 비디오 인코더는 입력 신호를 처리한 결과 시간적으로 연속된 부호화 데이터를 출력하는데 반하여, 본 개시의 일 실시예에 따른 상기 장면 기반 압축에서는 특정 시간에 대한 입력 신호(예를 들어 볼류메트릭 프레임)가 장면 구조 인코더(920), 혹은 미디어 인코더(925), 혹은 장면 구조 인코더(920)와 미디어 인코더(25) 모두에 의해 처리되어 전송을 위해 출력 될 수 있다. 따라서 상기 장면 구조 인코더(920)와 상기 미디어 인코더(925) 각각의 출력은 시간적으로 불연속적일 수 있다.
상기 장면 구조 인코더(920)와 미디어 인코더(925)의 출력 데이터가 각각의 스트림으로 저장 및 전송될 경우에, 상기 장면 구조 인코더(920)로부터 출력되는 장면 구조 정보(예를 들어 장면 구조에 대한 차분(differential) 데이터를 JSON patch 문서)는 상기 미디어 인코더(925)의 출력 데이터를 획득하기 위한 위치 정보를 포함할 수 있다. 일 예로 상기 위치 정보는 파일의 URL(uniform resource locator)이나, ISOBMFF(ISO base media file format)의 트랙 식별자 혹은 스트리밍 세션에 접속할 수 있는 정보 중 적어도 하나를 포함할 수 있다. 일 예로 상기 스트리밍 세션에 접속할 수 있는 정보는 IP 주소, 프로토콜 식별자, 포트 번호 중 적어도 하나를 포함할 수 있으며, 상기 프로토콜 식별자에 따라 프로토콜 페이로드 타입을 더 포함할 수 있다.
도 10은 다양한 실시예에 따른 볼류메트릭 영상 복호기의 구조를 나타낸다. 일 실시예에서 도시된 구성의 장면 구조 갱신기(1025), 볼류메트릭 프레임 생성기(1035), 디코더 파이프라인(1030), 버퍼들(1040, 1045)는 도 6의 볼류메트릭 영상 복호기(625)에 포함될 수 있다. 네트워크 인터페이스(640)는 네트워크(1005)를 통해 수신된 복수의 스트림들의 미디어 데이터를 볼류메트릭 영상 복호기(625)로 전달하고, 볼류메트릭 영상 복호기(625)는 후술되는 구성에 의해 상기 미딩 데이터를 복호할 수 있다.
도 10을 참조하면, 장면 구조 갱신기(1025)는 복수의 스트림들 중 적어도 하나를 통해 수신된 데이터에 포함되는 갱신된 장면 구조를 출력할 수 있다. 디코더 파이프라인(1030)은 상기 복수의 스트림들을 통해 수신된 미디어 데이터를 각각 복호하는 적어도 하나의 미디어 디코더를 포함할 수 있다. 각 미디어 디코더는 각 스트림에 대응하는 갱신된 미디어 데이터를 해당하는 버퍼(1040 또는 1045)로 출력할 수 있다. 볼류메트릭 프레임 생성기(1035)는 상기 갱신된 장면 구조와 버퍼들(1040, 1045)로부터 입력되는 갱신된 미디어 데이터 중 적어도 하나를 사용하여 볼류메트릭 프레임을 구성할 수 있다.
일 실시예에 따른 볼류메트릭 영상 대화 시스템에서 사용자 단말(605)은 SDP를 사용하여 상대 사용자 단말(655)과 미디어 파라미터들을 교섭할 수 있다. SDP에서, 미디어 데이터가 전송되는 세션은 m(media)-line에 의해 기술(describe)될 수 있다. 적어도 하나의 세션에 대한 미디어 파라미터들을 교섭하기 위해 전송되는 SDP 메시지(예를 들어 도 7의 SDP Offer 메시지 또는 SDP Answer 메시지)는, 적어도 하나의 m 라인과, 각각의 m-line에 대해 해당 세션으로 전송되는 미디어 데이터의 특성을 기술하기 위한 속성들을 나타내는 a(attribute) 라인에 대응하는 정보 엘리먼트들을 포함할 수 있다.
일 실시예에서 상기 m-line은 다음과 같은 형식을 가질 수 있다.
m=<media> <port> <proto> <fmt> ...
여기서 <media> 필드는 미디어 형식을 나타내고, 예를 들어 "audio", "video", 또는 "application"의 값을 가질 수 있다.
<port> 필드는 미디어 스트림이 전송되는 포트를 나타내고, 네트워크 및 <proto>로 정의되는 전송 프로토콜에 따라 다른 의미를 가질 수 있다.
<proto> 필드는 전송 프로토콜을 나타낼 수 있다.
<fmt> 필드는 미디어 포맷을 나타낼 수 있다.
일 실시예에 따른 볼류메트릭 영상 대화 시스템은 비디오 기반 압축 기술을 사용하여 볼류메트릭 영상을 제공할 수 있다. 상기 볼류메트릭 영상 데이터는 하나 혹은 복수의 세션으로 전송될 수 있다.
상기 볼류메트릭 영상 데이터가 하나의 세션으로 전송될 경우에, 상기 세션의 구성 정보를 협상하기 위해 전송되는 SDP 메시지는 예를 들어 다음 <표 1>과 같이 기술될 수 있다.
m=video 10000 RTP/AVPF 97 98
a=rtpmap:97 V3C
a=fmtp:97 CodecGroup1
a=rtpmap:98 V3C
a=fmtp:987 CodecGroup2
상기 SDP 메시지의 예에서 m 라인은 미디어 데이터의 세션을 식별하기 위한 정보(예를 들어 미디어 형식=video, 포트번호=1000, 프로토콜=RTP/AVPF, 미디어 포맷=97 및 98)를 담은 필드들을 포함할 수 있다. 첫번째 및 세번째 Attribute 라인들은 상기 m-line으로 기술되는 상기 세션으로 전송되는 미디어 포맷 97과 98의 미디어 데이터가 RTP(real time protocol) 연결을 사용하고, V3C로 식별되는 볼류메트릭 영상 압축 방식을 사용하였다는 것을 의미할 수 있다. 두번째 및 네번째 Attribute 라인들은 각각 97과 98로 식별되는 미디어 포맷에서 사용할 미디어 파라미터들의 그룹들을 의미하는 CodecGroup1과 CodecGroup2를 각각 포함한다. 상기 미디어 파라미터들은 해당 스트림의 미디어 압축에 사용된 코덱의 종류, Profile, 또는 Level 중 적어도 하나를 포함할 수 있다.
상기 볼류메트릭 영상 데이터가 두 개 이상의 세션으로 전송될 경우에, 상기 세션들의 구성 정보를 협상하기 위해 전송되는 SDP 메시지(예를 들어 도 7의 SDP Offer 메시지 또는 SDP Answer 메시지)는 예를 들어 다음 <표 2>와 같이 기술될 수 있다.
a= V3CGroup : Atl Occ Geo Att1 Att2
m=application 10000 TCP *
a=AtlParam
a= mid:Atl
m=video 10002 RTP / AVPF 97 98
a=rtpmap:97 HEVC
a=fmtp:97 profile-id=x; level-id=y;...
a=rtpmap:98 AVC
a=fmtp:98 profile-level-id=y;...
a= mid:Occ
m=video 10004 RTP / AVPF 99 100
a=rtpmap:99 HEVC
a=fmtp:99 profile-id=x; level-id=y;...
a=rtpmap:100 AVC
a=fmtp:100 profile-level-id=y;...
a= mid:Geo
m=video 10006 RTP / AVPF 101 102
a=rtpmap:101 HEVC
a=fmtp:101 profile-id=x; level-id=y;...
a=rtpmap:102 AVC
a=fmtp:102 profile-level-id=y;...
a= mid:Att1
m=video 10006 RTP / AVPF 103 104
a=rtpmap:103 HEVC
a=fmtp:103 profile-id=x; level-id=y;...
a=rtpmap:104 AVC
a=fmtp:104 profile-level-id=y;...
a= mid:Att2
상기 SDP 메시지의 예에서, 첫 번째 a 라인 "a=V3CGroup: Atl Occ Geo Att1 Att2"는 V3C로 식별되는 볼류메트릭 영상 압축 방식을 사용한 미디어 데이터의 서브스트림들이, Atl, Occ, Geo, Att1, 및 Att2의 mid(media id) 속성 값들을 각각 가지는 미디어 세션들을 통해 전송됨을 나타낸다. 여기서 Atl은 Atlas 정보를 의미하고, Occ는 Occupancy 영상 데이터를 의미하고, Geo는 Geometry 영상 데이터를 의미하고, Att1 및 Att2는 Attribute 영상 데이터를 의미할 수 있다. a=AltParam은 atlas 포맷에 특화된 파라미터들 및 V3C 비트스트림의 전체를 기술하기 위한 미디어 파라미터들을 포함할 수 있다. 상기 V3C 비트스트림 전체를 기술하기 위한 미디어 파라미터들은 일 예로 각각의 서브스트림에 사용된 코덱 파라미터들을 포함하는 CodecGroup, 그룹화된 미디어 세션 전체의 대역폭에 대한 정보, 압축된 3D 모델에 포함된 점들의 최대 개수, 또는 필수 attribute를 나타내는 식별자중 적어도 하나를 포함할 수 있다.
상기 <표 2>에서 "a=mid:Atl"은 다음 행의 m 라인이 기술하는 미디어 세션이 Atl 정보를 운반함을 의미할 수 있다. 상기 m 라인, "m=video 10002 RTP/AVPF 97 98"은 상기 미디어 세션의 미디어 형식이 video이고, 포트 번호는 10002이고, 프로토콜은 RTP/AVPF이며 미디어 포맷은 97 및 98로 식별됨을 의미할 수 있다. 상기 m 라인 이후의 a 라인들은 상기 미디어 세션과 관련된 미디어 파라미터들을 포함할 수 있다. "a=mid:Occ", "a=mid:Geo", 및 "a=mid:Att1"와, 그에 관련된 라인들에 대한 설명도 이와 유사하다.
일 실시예에 따른 볼류메트릭 영상 대화 시스템은 장면 기반 압축 기술을 사용하여 볼류메트릭 영상을 제공할 수 있다. 상기 장면 기반 압축 기술이 사용된 볼류메트릭 영상 데이터가 전송되는 세션들을 구성하기 위한 SDP 메시지는 예를 들어 다음 <표 3>과 같은 정보 엘리먼트들을 포함할 수 있다.
a= SDGroup : SD M1 M2
m=application 10000 TCP *
a=SDParam
a= mid:SD
m=video 10002 RTP / AVPF 97 98
a=rtpmap:97 HEVC
a=fmtp:97 profile-id=x; level-id=y;...
a=rtpmap:98 AVC
a=fmtp:98 profile-level-id=y;...
a= mid:M1
m=video 10004 RTP / AVPF 99 100
a=rtpmap:99 HEVC
a=fmtp:99 profile-id=x; level-id=y;...
a=rtpmap:100 AVC
a=fmtp:100 profile-level-id=y;...
a= mid:M2
상기 SDP 메시지의 예에서 첫 번째 a 라인, "a=SDGroup: SD M1 M2"는 SD(scene description)로 식별되는 볼류메트릭 영상 압축 방식을 사용한 미디어 데이터가 mid 속성 값으로 SD, 및 M1을 각각 가지는 미디어 세션들을 통해 전송됨을 나타낸다. a=SDParam은 SD 포맷에 특화된 파라미터들을 포함할 수 있다. 상기 SD 포맷에 특화된 파라미터들은 일 예로 MIME(multipurpose internet mail extensions) type 파라미터를 포함할 수 있다.
상기 <표 3>에서 "a=mid:SD"는 다음 행의 m라인이 기술하는 미디어 세션이 SD 포맷의 미디어 데이터를 운반함을 의미할 수 있다. 상기 m 라인, "video 10002 RTP/AVPF 97 98"은 상기 미디어 세션의 미디어 형식이 video이고 포트 번호는 10002이고, 프로토콜은 RTP/AVPF이며 미디어 포맷은 97 및 98로 식별됨을 의미할 수 있다. 상기 m 라인 이후의 a 라인들은 상기 미디어 세션과 관련된 미디어 파라미터들을 포함할 수 있다. "a=mid:M1" 및 그와 관련된 라인들에 대한 설명도 이와 유사하다.
상기 SDP 메시지의 예에서, "a=mid:M1" 및 "a=mid:M2"의 파라미터 M1과 M2는 상기 SD 포맷을 가지는 3D 모델에서 각각 "m=video 10002 RTP/AVPF" 및 "m=video 10004 RTP/AVPF"로 전송되는 미디어 스트림을 참조하기 위한 식별자로 사용될 수 있다. 일 실시예에서 상기 3D 모델에서 사용하는 미디어 스트림의 식별자는 예를 들어 "a=label: media1" 및 "a=label: media2"와 같은 별도의 속성 값들로서 SDP 메시지에 포함될 수 있다.
일 실시예에서, 상술한 파라미터들은 RTCP 피드백 메시지나 HTTP(hypertext transfer protocol) Restful API(application program interface)의 명령어에 포함되어 통화 도중에 전송될 수 있다.
일 실시예에서 사용자 단말은 데이터 채널을 사용하여 정적(static) 3D 모델의 미디어 데이터를 상대 사용자 단말에게 전송하다가, SDP re-invite를 사용하여 장면 기반 압축된 볼류메트릭 영상의 전달에 사용되기 위한 미디어 파라미터들을 교섭할 수 있다. 상기 교섭에 성공하면 교섭된 미디어 파라미터들을 기반으로 생성된 데이터를 상대 사용자 단말에게 전송할 수 있다. 다시 말해서 초기에 정적 3D 모델의 미디어 데이터는 데이터 채널을 사용하여 전달되며, 3D 모델의 갱신을 위한 미디어 데이터 전송 파라미터들은 데이터 채널을 통해 상대 사용자 단말에게 전달되거나, 또는 교섭을 위한 별도의 m-line을 포함하는 메시지를 통해 상대 사용자 단말에게 전달될 수 있다. 일 실시에에서 사용자 단말의 성능에 따라, SDP re-invite를 사용하는 교섭 절차를 수행하지 않고, 정적 3D 모델의 미디어 데이터를 전송하다가, 정적 3D 모델의 미디어 데이터 및 음성 데이터의 서비스를 사용하는 것이 가능할 수 있다.
일 실시예에 따른 이동 통신 시스템에서 볼류메트릭 영상 통화 서비스를 위한 볼류메트릭 영상을 송신하는 방법은, 상기 볼류메트릭 영상을 위한 볼류메트릭 영상 압축 방식을 결정하는 단계; 상기 결정된 볼류메트릭 영상 압축 방식에 대한 제1 미디어 파라미터들을 포함하는 제1 메시지를 상대 단말로 송신하는 단계; 상기 제1 메시지의 송신에 응답하여 제2 미디어 파라미터들을 포함하는 제2 메시지를 상기 상대 단말로부터 수신하는 단계; 및 상기 제2 미디어 파라미터들에 따라 압축된 볼류메트릭 영상을 상기 상대 단말로 송신하는 단계를 포함할 수 있다.
일 실시예에서, 상기 제1 및 제2 메시지들 중 적어도 하나는, 상기 볼류메트릭 영상 압축 방식을 사용하여 생성된 상기 볼류메트릭 영상의 미디어 데이터가 복수의 미디어 세션들을 통해 전송됨을 나타내는 제1 속성 라인 정보와, 상기 복수의 미디어 세션들의 전체를 기술하는 미디어 파라미터들을 포함하는 제2 속성 라인 정보와, 상기 복수의 미디어 세션들 중 제1 미디어 세션의 미디어 속성 값을 나타내는 제3 속성 라인 정보와, 상기 제3 속성 라인 정보와 관련되는 상기 제1 미디어 세션의 미디어 형식과 포트 번호와 프로토콜 및 미디어 포맷을 기술하는 제1 미디어 라인 정보와, 상기 제1 미디어 라인 정보와 관련되는 상기 제1 미디어 세션의 미디어 파라미터들을 포함하는 적어도 하나의 제4 속성 라인 정보를 포함할 수 있다.
일 실시예에서, 상기 제1 속성 라인 정보는, 상기 볼류메트릭 영상의 미디어 데이터가, Atlas 정보와, Occupancy 영상 데이터와, Geometry 영상 데이터와, 적어도 하나의 Attribute 영상 데이터의 미디어 속성 값들을 각각 가지는 상기 복수의 미디어 세션들을 통해 전송됨을 나타낼 수 있다.
일 실시예에서, 상기 제2 속성 라인 정보는, 상기 복수의 미디어 세션들을 통해 운반되는 서브스트림들에 사용된 코덱 파라미터들의 그룹과, 그룹화된 미디어 세션 전체의 대역폭에 대한 정보와 압축된 3차원(3D) 모델에 포함되는 점들의 최대 개수 및 필수 속성들 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 상기 제1 속성 라인 정보는, 상기 볼류메트릭 영상의 미디어 데이터가 SD로 식별되는 상기 볼류메트릭 영상 압축 방식을 사용하여 생성되고, SD 및 M1의 미디어 속성 값들을 각각 가지는 상기 복수의 미디어 세션들을 통해 전송됨을 나타내고, 상기 제2 속성 라인 정보는, SD 포맷에 특화된 적어도 하나의 미디어 파라미터를 포함할 수 있다.
일 실시예에서, 상기 제1 및 제2 메시지들 중 적어도 하나는, SDP Offer 메시지 또는 SDP Answer 메시지이거나, RTCP 피드백 메시지이거나, HTTP Restful API의 명령어일 수 있다.
일 실시예에 따른 이동 통신 시스템에서 볼류메트릭 영상 통화 서비스를 위한 볼류메트릭 영상을 수신하는 방법은, 상대 단말부터 상기 볼류메트릭 영상의 영상 압축 방식에 대한 제1 미디어 파라미터들을 포함하는 제1 메시지를 수신하는 단계; 상기 제1 메시지의 수신에 응답하여 제2 미디어 파라미터들을 포함하는 제2 메시지를 상기 상대 단말로 송신하는 단계; 및 상기 제2 미디어 파라미터들에 따라 압축된 볼류메트릭 영상을 상기 상대 단말로부터 수신하는 단계를 포함할 수 있다.
일 실시예에서, 상기 제1 및 제2 메시지들 중 적어도 하나는, 상기 볼류메트릭 영상 압축 방식을 사용하여 생성된 상기 볼류메트릭 영상의 미디어 데이터가 복수의 미디어 세션들을 통해 전송됨을 나타내는 제1 속성 라인 정보와, 상기 복수의 미디어 세션들의 전체를 기술하는 미디어 파라미터들을 포함하는 제2 속성 라인 정보와, 상기 복수의 미디어 세션들 중 제1 미디어 세션의 미디어 속성 값을 나타내는 제3 속성 라인 정보와, 상기 제3 속성 라인 정보와 관련되는 상기 제1 미디어 세션의 미디어 형식과 포트 번호와 프로토콜 및 미디어 포맷을 기술하는 제1 미디어 라인 정보와, 상기 제1 미디어 라인 정보와 관련되는 상기 제1 미디어 세션의 미디어 파라미터들을 포함하는 적어도 하나의 제4 속성 라인 정보를 포함할 수 있다.
일 실시예에서, 상기 제1 속성 라인 정보는, 상기 볼류메트릭 영상의 미디어 데이터가, Atlas 정보와, Occupancy 영상 데이터와, Geometry 영상 데이터와, 적어도 하나의 Attribute 영상 데이터의 미디어 속성 값들을 각각 가지는 상기 복수의 미디어 세션들을 통해 전송됨을 나타낼 수 있다.
일 실시예에서, 상기 제2 속성 라인 정보는, 상기 복수의 미디어 세션들을 통해 운반되는 서브스트림들에 사용된 코덱 파라미터들의 그룹과, 그룹화된 미디어 세션 전체의 대역폭에 대한 정보와 압축된 3차원(3D) 모델에 포함되는 점들의 최대 개수 및 필수 속성들 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 상기 제1 속성 라인 정보는, 상기 볼류메트릭 영상의 미디어 데이터가 SD(scene description)로 식별되는 상기 볼류메트릭 영상 압축 방식을 사용하여 생성되고, SD 및 M1의 미디어 속성 값들을 각각 가지는 상기 복수의 미디어 세션들을 통해 전송됨을 나타내고, 상기 제2 속성 라인 정보는, SD 포맷에 특화된 적어도 하나의 미디어 파라미터를 포함할 수 있다.
일 실시예에서, 상기 제1 및 제2 메시지들 중 적어도 하나는, SDP Offer 메시지 또는 SDP Answer 메시지이거나, RTCP 피드백 메시지이거나, HTTP Restful API의 명령어일 수 있다.
일 실시예에 따른 이동 통신 시스템에서 볼류메트릭 영상 통화 서비스를 위한 볼류메트릭 영상을 송신하는 사용자 단말의 장치는, 송수신부와, 상기 송수신부와 기능적으로 연결된 제어부를 포함하고, 상기 제어부는, 상기 볼류메트릭 영상을 위한 볼류메트릭 영상 압축 방식을 결정하고, 상기 결정된 볼류메트릭 영상 압축 방식에 대한 제1 미디어 파라미터들을 포함하는 제1 메시지를 상대 단말로 송신하고, 상기 제1 메시지의 송신에 응답하여 제2 미디어 파라미터들을 포함하는 제2 메시지를 상기 상대 단말로부터 수신하고, 상기 제2 미디어 파라미터들에 따라 압축된 볼류메트릭 영상을 상기 상대 단말로 송신하도록 구성될 수 있다.
일 실시예에 따른 이동 통신 시스템에서 볼류메트릭 영상 통화 서비스를 위한 볼류메트릭 영상을 수신하는 사용자 단말의 장치는, 송수신부와, 상기 송수신부와 기능적으로 연결된 제어부를 포함하고, 상기 제어부는, 상대 단말부터 상기 볼류메트릭 영상의 영상 압축 방식에 대한 제1 미디어 파라미터들을 포함하는 제1 메시지를 수신하고, 상기 제1 메시지의 수신에 응답하여 제2 미디어 파라미터들을 포함하는 제2 메시지를 상기 상대 단말로 송신하고, 상기 제2 미디어 파라미터들에 따라 압축된 볼류메트릭 영상을 상기 상대 단말로부터 수신하도록 구성될 수 있다.
본 문서에 개시된 다양한 실시예들을 구현하고 운영하며 수행하는 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(301)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(336) 또는 외장 메모리(338))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(340))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(301))의 프로세서(예: 프로세서(320))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

Claims (14)

  1. 이동 통신 시스템에서 볼류메트릭 영상 통화 서비스를 위한 볼류메트릭 영상을 송신하는 방법에 있어서,
    상기 볼류메트릭 영상을 위한 볼류메트릭 영상 압축 방식을 결정하는 단계;
    상기 결정된 볼류메트릭 영상 압축 방식에 대한 제1 미디어 파라미터들을 포함하는 제1 메시지를 상대 단말로 송신하는 단계;
    상기 제1 메시지의 송신에 응답하여 제2 미디어 파라미터들을 포함하는 제2 메시지를 상기 상대 단말로부터 수신하는 단계; 및
    상기 제2 미디어 파라미터들에 따라 압축된 볼류메트릭 영상을 상기 상대 단말로 송신하는 단계를 포함하는 것을 특징으로 하는 방법.
  2. 제 1 항에 있어서, 상기 제1 및 제2 메시지들 중 적어도 하나는,
    상기 볼류메트릭 영상 압축 방식을 사용하여 생성된 상기 볼류메트릭 영상의 미디어 데이터가 복수의 미디어 세션들을 통해 전송됨을 나타내는 제1 속성 라인 정보와,
    상기 복수의 미디어 세션들의 전체를 기술하는 미디어 파라미터들을 포함하는 제2 속성 라인 정보와,
    상기 복수의 미디어 세션들 중 제1 미디어 세션의 미디어 속성 값을 나타내는 제3 속성 라인 정보와,
    상기 제3 속성 라인 정보와 관련되는 상기 제1 미디어 세션의 미디어 형식과 포트 번호와 프로토콜 및 미디어 포맷을 기술하는 제1 미디어 라인 정보와,
    상기 제1 미디어 라인 정보와 관련되는 상기 제1 미디어 세션의 미디어 파라미터들을 포함하는 적어도 하나의 제4 속성 라인 정보를 포함하는 것을 특징으로 하는 방법.
  3. 제 2 항에 있어서, 상기 제1 속성 라인 정보는,
    상기 볼류메트릭 영상의 미디어 데이터가, Atlas 정보와, Occupancy 영상 데이터와, Geometry 영상 데이터와, 적어도 하나의 Attribute 영상 데이터의 미디어 속성 값들을 각각 가지는 상기 복수의 미디어 세션들을 통해 전송됨을 나타내는 것을 특징으로 하는 방법.
  4. 제 2 항에 있어서, 상기 제2 속성 라인 정보는,
    상기 복수의 미디어 세션들을 통해 운반되는 서브스트림들에 사용된 코덱 파라미터들의 그룹과, 그룹화된 미디어 세션 전체의 대역폭에 대한 정보와 압축된 3차원(3D) 모델에 포함되는 점들의 최대 개수 및 필수 속성들 중 적어도 하나를 포함하는 것을 특징으로 하는 방법.
  5. 제 2 항에 있어서, 상기 제1 속성 라인 정보는,
    상기 볼류메트릭 영상의 미디어 데이터가 SD(scene description)로 식별되는 상기 볼류메트릭 영상 압축 방식을 사용하여 생성되고, SD 및 M1의 미디어 속성 값들을 각각 가지는 상기 복수의 미디어 세션들을 통해 전송됨을 나타내고,
    상기 제2 속성 라인 정보는, SD 포맷에 특화된 적어도 하나의 미디어 파라미터를 포함하는 것을 특징으로 하는 방법.
  6. 제 1 항에 있어서, 상기 제1 및 제2 메시지들 중 적어도 하나는,
    SDP Offer 메시지 또는 SDP Answer 메시지이거나,
    RTCP 피드백 메시지이거나
    HTTP(hypertext transfer protocol) Restful API(application program interface)의 명령어인 것을 특징으로 하는 방법.
  7. 이동 통신 시스템에서 볼류메트릭 영상 통화 서비스를 위한 볼류메트릭 영상을 수신하는 방법에 있어서,
    상대 단말부터 상기 볼류메트릭 영상의 영상 압축 방식에 대한 제1 미디어 파라미터들을 포함하는 제1 메시지를 수신하는 단계;
    상기 제1 메시지의 수신에 응답하여 제2 미디어 파라미터들을 포함하는 제2 메시지를 상기 상대 단말로 송신하는 단계; 및
    상기 제2 미디어 파라미터들에 따라 압축된 볼류메트릭 영상을 상기 상대 단말로부터 수신하는 단계를 포함하는 것을 특징으로 하는 방법.
  8. 제 7 항에 있어서, 상기 제1 및 제2 메시지들 중 적어도 하나는,
    상기 볼류메트릭 영상 압축 방식을 사용하여 생성된 상기 볼류메트릭 영상의 미디어 데이터가 복수의 미디어 세션들을 통해 전송됨을 나타내는 제1 속성 라인 정보와,
    상기 복수의 미디어 세션들의 전체를 기술하는 미디어 파라미터들을 포함하는 제2 속성 라인 정보와,
    상기 복수의 미디어 세션들 중 제1 미디어 세션의 미디어 속성 값을 나타내는 제3 속성 라인 정보와,
    상기 제3 속성 라인 정보와 관련되는 상기 제1 미디어 세션의 미디어 형식과 포트 번호와 프로토콜 및 미디어 포맷을 기술하는 제1 미디어 라인 정보와,
    상기 제1 미디어 라인 정보와 관련되는 상기 제1 미디어 세션의 미디어 파라미터들을 포함하는 적어도 하나의 제4 속성 라인 정보를 포함하는 것을 특징으로 하는 방법.
  9. 제 8 항에 있어서, 상기 제1 속성 라인 정보는,
    상기 볼류메트릭 영상의 미디어 데이터가, Atlas 정보와, Occupancy 영상 데이터와, Geometry 영상 데이터와, 적어도 하나의 Attribute 영상 데이터의 미디어 속성 값들을 각각 가지는 상기 복수의 미디어 세션들을 통해 전송됨을 나타내는 것을 특징으로 하는 방법.
  10. 제 8 항에 있어서, 상기 제2 속성 라인 정보는,
    상기 복수의 미디어 세션들을 통해 운반되는 서브스트림들에 사용된 코덱 파라미터들의 그룹과, 그룹화된 미디어 세션 전체의 대역폭에 대한 정보와 압축된 3차원(3D) 모델에 포함되는 점들의 최대 개수 및 필수 속성들 중 적어도 하나를 포함하는 것을 특징으로 하는 방법.
  11. 제 8 항에 있어서, 상기 제1 속성 라인 정보는,
    상기 볼류메트릭 영상의 미디어 데이터가 SD(scene description)로 식별되는 상기 볼류메트릭 영상 압축 방식을 사용하여 생성되고, SD 및 M1의 미디어 속성 값들을 각각 가지는 상기 복수의 미디어 세션들을 통해 전송됨을 나타내고,
    상기 제2 속성 라인 정보는, SD 포맷에 특화된 적어도 하나의 미디어 파라미터를 포함하는 것을 특징으로 하는 방법.
  12. 제 7 항에 있어서, 상기 제1 및 제2 메시지들 중 적어도 하나는,
    SDP Offer 메시지 또는 SDP Answer 메시지이거나,
    RTCP 피드백 메시지이거나
    HTTP(hypertext transfer protocol) Restful API(application program interface)의 명령어인 것을 특징으로 하는 방법.
  13. 이동 통신 시스템에서 볼류메트릭 영상 통화 서비스를 위한 볼류메트릭 영상을 송신하는 사용자 단말의 장치에 있어서,
    송수신부와, 상기 송수신부와 기능적으로 연결된 제어부를 포함하고,
    상기 제어부는, 상기 볼류메트릭 영상을 위한 볼류메트릭 영상 압축 방식을 결정하고, 상기 결정된 볼류메트릭 영상 압축 방식에 대한 제1 미디어 파라미터들을 포함하는 제1 메시지를 상대 단말로 송신하고, 상기 제1 메시지의 송신에 응답하여 제2 미디어 파라미터들을 포함하는 제2 메시지를 상기 상대 단말로부터 수신하고, 상기 제2 미디어 파라미터들에 따라 압축된 볼류메트릭 영상을 상기 상대 단말로 송신하도록 구성되는 것을 특징으로 하는 장치.
  14. 이동 통신 시스템에서 볼류메트릭 영상 통화 서비스를 위한 볼류메트릭 영상을 수신하는 사용자 단말의 장치에 있어서,
    송수신부와, 상기 송수신부와 기능적으로 연결된 제어부를 포함하고,
    상기 제어부는, 상대 단말부터 상기 볼류메트릭 영상의 영상 압축 방식에 대한 제1 미디어 파라미터들을 포함하는 제1 메시지를 수신하고, 상기 제1 메시지의 수신에 응답하여 제2 미디어 파라미터들을 포함하는 제2 메시지를 상기 상대 단말로 송신하고, 상기 제2 미디어 파라미터들에 따라 압축된 볼류메트릭 영상을 상기 상대 단말로부터 수신하도록 구성되는 것을 특징으로 하는 장치.
KR1020210041203A 2021-03-30 2021-03-30 이동 통신 시스템에서 영상 대화 서비스를 제공하기 위한 방법 및 장치 KR20220135483A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020210041203A KR20220135483A (ko) 2021-03-30 2021-03-30 이동 통신 시스템에서 영상 대화 서비스를 제공하기 위한 방법 및 장치
CN202280025982.2A CN117099363A (zh) 2021-03-30 2022-03-17 用于在移动通信系统中提供对话服务的方法和装置
EP22781447.2A EP4264940A4 (en) 2021-03-30 2022-03-17 METHOD AND APPARATUS FOR PROVIDING CONVERSATION SERVICES IN A MOBILE COMMUNICATION SYSTEM
PCT/KR2022/003760 WO2022211327A1 (en) 2021-03-30 2022-03-17 Method and apparatus for providing conversational services in mobile communication system
US17/657,076 US11838488B2 (en) 2021-03-30 2022-03-29 Method and apparatus for providing conversational services in mobile communication system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210041203A KR20220135483A (ko) 2021-03-30 2021-03-30 이동 통신 시스템에서 영상 대화 서비스를 제공하기 위한 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20220135483A true KR20220135483A (ko) 2022-10-07

Family

ID=83449339

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210041203A KR20220135483A (ko) 2021-03-30 2021-03-30 이동 통신 시스템에서 영상 대화 서비스를 제공하기 위한 방법 및 장치

Country Status (5)

Country Link
US (1) US11838488B2 (ko)
EP (1) EP4264940A4 (ko)
KR (1) KR20220135483A (ko)
CN (1) CN117099363A (ko)
WO (1) WO2022211327A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220135483A (ko) * 2021-03-30 2022-10-07 삼성전자주식회사 이동 통신 시스템에서 영상 대화 서비스를 제공하기 위한 방법 및 장치

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040068583A1 (en) * 2002-10-08 2004-04-08 Monroe David A. Enhanced apparatus and method for collecting, distributing and archiving high resolution images
US7509425B1 (en) * 2002-01-15 2009-03-24 Dynamicsoft, Inc. Establishing and modifying network signaling protocols
WO2006014571A2 (en) * 2004-07-08 2006-02-09 Actuality Systems, Inc. System and method for rendering data associated with a 3-d scene description
KR101421587B1 (ko) * 2007-08-23 2014-07-22 삼성전자주식회사 무선 영상 전화 단말간의 선호 영상 규격을 결정하는 방법및 장치
US20100011012A1 (en) * 2008-07-09 2010-01-14 Rawson Andrew R Selective Compression Based on Data Type and Client Capability
US20110096699A1 (en) * 2009-10-27 2011-04-28 Sakhamuri Srinivasa Media pipeline for a conferencing session
US8649424B2 (en) * 2010-02-17 2014-02-11 Juniper Networks, Inc. Video transcoding using a proxy device
US9942580B2 (en) * 2011-11-18 2018-04-10 At&T Intellecutal Property I, L.P. System and method for automatically selecting encoding/decoding for streaming media
US8949466B1 (en) * 2012-02-08 2015-02-03 Excelfore Corporation System and method for adaptive compression
US9516268B2 (en) * 2014-03-28 2016-12-06 International Business Machines Corporation Maintaining audio video conference continuity
US20170163607A1 (en) * 2015-12-03 2017-06-08 Microsoft Technology Licensing, Llc Establishing a Communication Event Using Secure Signalling
US10708569B2 (en) * 2016-09-29 2020-07-07 Eric Wilson Turbine-Powered Pool Scrubber
GB2577024B (en) * 2017-06-09 2022-08-03 Displaylink Uk Ltd Using headset movement for compression
KR20220011688A (ko) 2019-05-20 2022-01-28 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 몰입형 미디어 콘텐츠 프레젠테이션 및 양방향 360° 비디오 통신
EP3973710A4 (en) * 2019-05-22 2023-05-03 Nokia Technologies Oy METHOD, DEVICE AND COMPUTER PROGRAM PRODUCT FOR ENCODING AND DECODING VOLUMETRIC VIDEO
US11696001B2 (en) * 2019-06-28 2023-07-04 Cox Communications, Inc. Enhanced immersive digital media
US11711544B2 (en) * 2019-07-02 2023-07-25 Apple Inc. Point cloud compression with supplemental information messages
EP4000276A1 (en) * 2019-07-16 2022-05-25 Apple Inc. Streaming of volumetric point cloud content based on session description protocols and real time protocols
US11159779B2 (en) * 2019-09-24 2021-10-26 At&T Intellectual Property I, L.P. Multi-user viewport-adaptive immersive visual streaming
KR20220046356A (ko) 2020-10-07 2022-04-14 삼성전자주식회사 이동 통신 시스템에서 컨텐츠를 렌더링하는 방법 및 장치
KR20220135483A (ko) * 2021-03-30 2022-10-07 삼성전자주식회사 이동 통신 시스템에서 영상 대화 서비스를 제공하기 위한 방법 및 장치

Also Published As

Publication number Publication date
EP4264940A4 (en) 2023-11-01
CN117099363A (zh) 2023-11-21
WO2022211327A1 (en) 2022-10-06
US11838488B2 (en) 2023-12-05
EP4264940A1 (en) 2023-10-25
US20220321861A1 (en) 2022-10-06

Similar Documents

Publication Publication Date Title
KR101575138B1 (ko) 무선 3d 스트리밍 서버
US20220329883A1 (en) Combining Video Streams in Composite Video Stream with Metadata
EP3973684A1 (en) Immersive media content presentation and interactive 360° video communication
US7398316B2 (en) Method and apparatus for keyhole video frame transmission during a communication session
US20040001091A1 (en) Method and apparatus for video conferencing system with 360 degree view
US11838488B2 (en) Method and apparatus for providing conversational services in mobile communication system
CN107211171B (zh) 一种通信架构内的用户设备及其实现方法和计算机程序产品
EP4156109A1 (en) Apparatus and method for establishing a three-dimensional conversational service
US11985181B2 (en) Orchestrating a multidevice video session
KR20220137938A (ko) 원격 단말용 원격 회의 및 텔레프레즌스를 위한 다중 오디오 믹싱 이득을 시그널링하기 위한 기술
KR20230006495A (ko) 몰입형 원격 회의 및 텔레프레즌스를 위한 다중 그룹화
Darlagiannis et al. Virtual collaboration and media sharing using COSMOS
Junior et al. A software-based solution for distributing and displaying 3d uhd films
JP7399549B2 (ja) リモート端末向けの遠隔会議およびテレプレゼンスにおいてオーディオミキシングゲインをシグナリングする手法
Lee et al. Overview of 3GPP standardization for 5G AR/MR experiences using glasses-type devices
WO2024100028A1 (en) Signalling for real-time 3d model generation
CN113473180B (zh) 一种基于无线的Cloud XR数据传输方法以及装置、存储介质、电子装置
CN113923396B (zh) 基于视频会议场景下的远程桌面控制方法、装置和介质
US20230239453A1 (en) Method, an apparatus and a computer program product for spatial computing service session description for volumetric extended reality conversation
WO2022207962A1 (en) A method, an apparatus and a computer program product for processing media data
US20240080477A1 (en) Method, An Apparatus and A Computer Program Product For Streaming Volumetric Video Content
WO2022124047A1 (ja) 情報処理装置、情報処理システム及び情報処理方法
Seligmann SmmmmS lient for Remote Rendered irtual Heality
Nguyen et al. A graphics adaptation framework and video streaming technique for 3D scene representation and interaction on mobile devices
KR20230118181A (ko) 제어 및 데이터 평면 채널을 사용하는 양방향 프레젠테이션데이터스트림