KR20220033445A

KR20220033445A - 몰입형 미디어를 처리하기 위한 방법 및 장치

Info

Publication number: KR20220033445A
Application number: KR1020210119629A
Authority: KR
Inventors: 에릭 입; 양현구; 송재연
Original assignee: 삼성전자주식회사
Priority date: 2020-09-09
Filing date: 2021-09-08
Publication date: 2022-03-16
Also published as: US20230064508A1; US11805156B2; US20220078215A1; US11503087B2

Abstract

본 개시는 4G 시스템 이후 보다 높은 데이터 전송률을 지원하기 위한 5G 통신 시스템을 IoT 기술과 융합하는 통신 기법 및 그 시스템에 관한 것이다. 본 개시는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스 (예를 들어, 스마트 홈, 스마트 빌딩, 스마트 시티, 스마트 카 혹은 커넥티드 카, 헬스 케어, 디지털 교육, 소매업, 보안 및 안전 관련 서비스 등)에 적용될 수 있다. 본 개시의 일 실시예에 따른 송신 장치의 방법은 수신 장치로, 어안(fisheye) 이미지와 연관된 파라미터의 협상을 위한 SDP(Session Description Protocol) offer 메시지를 전송하는 단계, 상기 수신 장치로부터, 상기 SDP offer 메시지에 포함된 제1 어안 이미지 관련 정보에 기초하여 생성된 제2 어안 이미지 관련 정보를 포함하는 SDP answer 메시지를 수신하는 단계를 포함한다.

Description

몰입형 미디어를 처리하기 위한 방법 및 장치 {METHOD AND APPARATUS FOR PROCESSING IMMERSIVE MEDIA}

본 개시는 미디어 처리에 관한 것으로, 보다 상세하게는, 몰입형 미디어를 처리하기 위한 방법 및 장치에 관한 것이다.

4G 통신 시스템 상용화 이후 증가 추세에 있는 무선 데이터 트래픽 수요를 충족시키기 위해, 개선된 5G 통신 시스템 또는 pre-5G 통신 시스템을 개발하기 위한 노력이 이루어지고 있다. 이러한 이유로, 5G 통신 시스템 또는 pre-5G 통신 시스템은 4G 네트워크 이후 (Beyond 4G Network) 통신 시스템 또는 LTE 시스템 이후 (Post LTE) 시스템이라 불리어지고 있다. 높은 데이터 전송률을 달성하기 위해, 5G 통신 시스템은 초고주파(mmWave) 대역 (예를 들어, 60기가(60GHz) 대역과 같은)에서의 구현이 고려되고 있다. 초고주파 대역에서의 전파의 경로손실 완화 및 전파의 전달 거리를 증가시키기 위해, 5G 통신 시스템에서는 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO), 전차원 다중입출력(Full Dimensional MIMO: FD-MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 및 대규모 안테나 (large scale antenna) 기술들이 논의되고 있다. 또한 시스템의 네트워크 개선을 위해, 5G 통신 시스템에서는 진화된 소형 셀, 개선된 소형 셀 (advanced small cell), 클라우드 무선 액세스 네트워크 (cloud radio access network: cloud RAN), 초고밀도 네트워크 (ultra-dense network), 기기 간 통신 (Device to Device communication: D2D), 무선 백홀 (wireless backhaul), 이동 네트워크 (moving network), 협력 통신 (cooperative communication), CoMP (Coordinated Multi-Points), 및 수신 간섭제거 (interference cancellation) 등의 기술 개발이 이루어지고 있다. 이 밖에도, 5G 시스템에서는 진보된 코딩 변조(Advanced Coding Modulation: ACM) 방식인 FQAM (Hybrid FSK and QAM Modulation) 및 SWSC (Sliding Window Superposition Coding)과, 진보된 접속 기술인 FBMC(Filter Bank Multi Carrier), NOMA(non orthogonal multiple access), 및SCMA(sparse code multiple access) 등이 개발되고 있다.

한편, 인터넷은 인간이 정보를 생성하고 소비하는 인간 중심의 연결 망에서, 사물 등 분산된 구성 요소들 간에 정보를 주고 받아 처리하는 IoT(Internet of Things, 사물인터넷) 망으로 진화하고 있다. 클라우드 서버 등과의 연결을 통한 빅데이터(Big data) 처리 기술 등이 IoT 기술에 결합된 IoE (Internet of Everything) 기술도 대두되고 있다. IoT를 구현하기 위해서, 센싱 기술, 유무선 통신 및 네트워크 인프라, 서비스 인터페이스 기술, 및 보안 기술과 같은 기술 요소 들이 요구되어, 최근에는 사물간의 연결을 위한 센서 네트워크(sensor network), 사물 통신(Machine to Machine, M2M), MTC(Machine Type Communication)등의 기술이 연구되고 있다. IoT 환경에서는 연결된 사물들에서 생성된 데이터를 수집, 분석하여 인간의 삶에 새로운 가치를 창출하는 지능형 IT(Internet Technology) 서비스가 제공될 수 있다. IoT는 기존의 IT(information technology)기술과 다양한 산업 간의 융합 및 복합을 통하여 스마트홈, 스마트 빌딩, 스마트 시티, 스마트 카 혹은 커넥티드 카, 스마트 그리드, 헬스 케어, 스마트 가전, 첨단의료서비스 등의 분야에 응용될 수 있다.

이에, 5G 통신 시스템을 IoT 망에 적용하기 위한 다양한 시도들이 이루어지고 있다. 예를 들어, 센서 네트워크(sensor network), 사물 통신(Machine to Machine, M2M), MTC(Machine Type Communication)등의 기술이 5G 통신 기술이 빔 포밍, MIMO, 및 어레이 안테나 등의 기법에 의해 구현되고 있는 것이다. 앞서 설명한 빅데이터 처리 기술로써 클라우드 무선 액세스 네트워크(cloud RAN)가 적용되는 것도 5G 기술과 IoT 기술 융합의 일 예라고 할 수 있을 것이다.

고해상도 비디오 멀티미디어(SD, HD, UHD)의 추구(pursuit)에 이어, 멀티미디어의 다음 몰입형 경험은 360도 비디오이다. 360도로 캡쳐링함으로써, 사용자는 컨텐트를 보는 동안 원하는 임의의 방향으로 볼 수 있다. 비록 압축을 위해 여전히 종래의 2D 비디오 코덱을 사용하고 있지만, 360도 비디오의 지원은 종단 간(end-to-end) 워크 플로우에서 새로운 기술을 요구하며, 이는 다음을 포함한다: 하나의 연속된 360 비디오를 생성하기 위한 스티칭(stiching) 기술; 미리-스티칭된(pre-stiched) 360 비디오뿐 아니라, 이러한 스티칭된 360 비디오를 지원하는 새로운 포맷; (region-wise 패킹과 같은) 이러한 포맷의 리던던시를 줄이기 위한 미디어 처리 기술; 새로운 딜리버리 프로토콜 및 (뷰포트 종속 딜리버리와 같은) 컨텐츠 딜리버리의 효율성을 증가시키기 위한 메커니즘.

비록 360도 비디오의 스트리밍에 대한 많은 작업(work)과 연구(research)가 있지만, 360도 비디오에 대한 대화형(conversational) 서비스가 아직 자세히 고려되지 않고 있다. IMS(IP Multimedia Subsystem)를 사용하는 대화형 멀티미디어 서비스에 대한 5G의 기존 인프라(infrastructure)를 사용함으로써, 미디어 및 사용 예(use case)의 각 새로운 형태에 대해 추가적인 파라미터 및 절차가 요구되지만, 멀티미디어의 다양한 형태가 지원될 수 있다.

본 개시는 어안(fisheye) 비디오/이미지를 제공하기 위한 방법 및 장치를 제공한다.

본 개시의 일 양상(aspect)에 따른 송신 장치의 방법에 있어서, 수신 장치로, 어안(fisheye) 이미지와 연관된 파라미터의 협상을 위한 SDP(Session Description Protocol) offer 메시지를 전송하는 단계; 및 상기 수신 장치로부터, 상기 SDP offer 메시지에 포함된 제1 어안 이미지 관련 정보에 기초하여 생성된 제2 어안 이미지 관련 정보를 포함하는 SDP answer 메시지를 수신하는 단계를 포함하며, 상기 제1 어안 이미지 관련 정보는 하나의 스트림 내에 패킹 가능한 최대 어안 이미지의 수를 지시하는 제1 최대 패킹 정보를 포함할 수 있다.

본 개시의 다른 양상 따른 수신 장치의 방법에 있어서, 송신 장치로부터, 어안(fisheye) 이미지와 연관된 파라미터의 협상을 위한 SDP(Session Description Protocol) offer 메시지를 수신하는 단계; 상기 SDP offer 메시지에 포함된 제1 어안 이미지 관련 정보에 기초하여, 제2 어안 이미지 관련 정보를 포함하는 SDP answer 메시지를 생성하는 단계; 및 상기 송신 장치로, 상기 SDP answer 메시지를 전송하는 단계를 포함하며, 상기 제1 어안 이미지 관련 정보는 하나의 스트림 내에 패킹 가능한 최대 어안 이미지의 수를 지시하는 제1 최대 패킹 정보를 포함할 수 있다.

본 개시의 또 다른 양상에 따른 송신 장치에 있어서, 트랜시버; 및 컨트롤러를 포함하며, 상기 컨트롤러는: 수신 장치로, 어안(fisheye) 이미지와 연관된 파라미터의 협상을 위한 SDP(Session Description Protocol) offer 메시지를 전송하고, 상기 수신 장치로부터, 상기 SDP offer 메시지에 포함된 제1 어안 이미지 관련 정보에 기초하여 생성된 제2 어안 이미지 관련 정보를 포함하는 SDP answer 메시지를 수신하도록 구성되며, 상기 제1 어안 이미지 관련 정보는 하나의 스트림 내에 패킹 가능한 최대 어안 이미지의 수를 지시하는 제1 최대 패킹 정보를 포함할 수 있다.

본 개시의 또 다른 양상에 따른 수신 장치에 있어서, 트랜시버; 및 컨트롤러를 포함하며, 상기 컨트롤러는: 송신 장치로부터, 어안(fisheye) 이미지와 연관된 파라미터의 협상을 위한 SDP(Session Description Protocol) offer 메시지를 수신하고, 상기 SDP offer 메시지에 포함된 제1 어안 이미지 관련 정보에 기초하여, 제2 어안 이미지 관련 정보를 포함하는 SDP answer 메시지를 생성하고, 상기 송신 장치로, 상기 SDP answer 메시지를 전송하도록 구성되며, 상기 제1 어안 이미지 관련 정보는 하나의 스트림 내에 패킹 가능한 최대 어안 이미지의 수를 지시하는 제1 최대 패킹 정보를 포함할 수 있다.

도 1a는 3G(third generation) 네트워크의 구조를 나타낸다.

도 1b는 LTE(long term evolution) 네트워크의 구조를 나타낸다.

도 2a는 본 개시의 일 실시예에 따른 VoLTE(voice over LTE) 지원 단말의 음성 및 비디오 코덱 및 RTP (Real-time Transport Protocol)/UDP (User Datagram Protocol)/IP (Internet Protocol) 프로토콜의 구조를 나타낸다.

도 2b는 본 개시의 일 실시예에 따른 CMR(Codec Mode Request) 메시지를 나타낸다.

도 3은 본 개시의 일 실시예에 따른 TMMBR(Temporary Maximum Media Bit-Rate Request) 메시지의 구조를 나타낸다.

도 4는 본 개시의 일 실시예에 따른 원형 어안(fisheye circular) 이미지 비디오를 전송하기 위한 5G(5th Generation) 네트워크의 구조를 나타낸다.

도 5는 본 개시의 일 실시예에 따른 fisheye circular 이미지 비디오를 전송하기 위한 5G 네트워크의 프로토콜 아키텍쳐를 나타낸다.

도 6a은 본 개시의 일 실시예에 따른 IP 멀티미디어 서브시스템을 사용하여 fisheye 카메라 기반 360도 비디오의 전송 방법/파라미터를 협상(negotiate)하고, 유선 및 무선 전송 경로(path)의 QoS를 보장(secure)하기 위한, 송신 단말(UE A) 및 수신 단말(UE B)에 대한 절차를 나타낸다.

도 6ba 및 6bb는 본 개시의 일 실시예에 따른 송신 단말에 의해 전송된 SDP offer로부터 SDP answer를 설정(establishing)하기 위한 수신 단말의 절차를 나타낸다.

도 7a는 본 개시의 일 실시예에 따른 360도 fisheye 비디오를 위한 미디어 워크 플로우를 나타낸다.

도 7b는 본 개시의 일 실시예에 따른 수신 단말이 송신 단말에 의해 송신된 SDP offer를 분석하고, SDP answer를 생성 및 전송하는 절차를 나타낸다.

도 8a는 본 개시의 일 실시예에 따른 SDP offer의 예를 나타낸다.

도 8b는 본 개시의 다른 실시예에 따른 SDP offer의 예를 나타낸다.

도 9는 본 개시의 일 실시예에 따른 RTCP(RTP Control Protocol)에 포함되는 TMMBR 메시지의 구조를 나타낸다.

도 10은 본 개시의 일 실시예에 따른 멀티-스트림 미디어 세션 설정의 경우의 SDP offer의 예를 나타낸다.

도 11은 본 개시의 일 실시예에 따른 송신 장치(단말)의 방법을 나타내는 흐름도이다.

도 12는 본 개시의 일 실시예에 따른 수신 장치(단말)의 방법을 나타내는 흐름도이다.

도 13은 일 실시예에 따른 UE(단말)의 블록도이다.

도 14는 일 실시예에 따른 기지국의 블록도이다.

도 15는 일 실시예에 따른, 네트워크 엔티티 (function)의 블록도이다.

본 개시의 실시예에 따르면, fisheye 이미지/비디오의 제공이 가능해진다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

이하, 본 개시의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.

실시 예를 설명함에 있어서 본 개시가 속하는 기술 분야에 익히 알려져 있고 본 개시와 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 개시의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.

마찬가지 이유로 첨부된 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 개략적으로 도시되었다. 또한, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 각 도면에서 동일한 또는 대응하는 구성요소에는 동일한 참조 번호를 부여하였다.

본 개시의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 개시는 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 개시의 실시 예들은 본 개시가 완전하도록 하고, 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 개시의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 개시는 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

이때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능할 수 있다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능할 수 있다.

또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행 예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능할 수 있다.

이때, 본 실시 예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일부 실시 예에 따르면 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다. 또한 일부 실시 예에 따르면, '~부'는 하나 이상의 프로세서를 포함할 수 있다.

본 명세서에서 사용하는 용어 '단말' 또는 '기기'는 이동국(MS), 사용자 장비(UE; User Equipment), 사용자 터미널(UT; User Terminal), 무선 터미널, 액세스 터미널(AT), 터미널, 가입자 유닛(Subscriber Unit), 가입자 스테이션(SS; Subscriber Station), 무선 기기(wireless device), 무선 통신 디바이스, 무선 송수신 유닛(WTRU; Wireless Transmit/Receive Unit), 이동 노드, 모바일 또는 다른 용어들로서 지칭될 수 있다. 단말의 다양한 실시 예들은 셀룰러 전화기, 무선 통신 기능을 가지는 스마트 폰, 무선 통신 기능을 가지는 개인 휴대용 단말기(PDA), 무선 모뎀, 무선 통신 기능을 가지는 휴대용 컴퓨터, 무선 통신 기능을 가지는 디지털 카메라와 같은 촬영장치, 무선 통신 기능을 가지는 게이밍 장치, 무선 통신 기능을 가지는 음악저장 및 재생 가전제품, 무선 인터넷 접속 및 브라우징이 가능한 인터넷 가전제품뿐만 아니라 그러한 기능들의 조합들을 통합하고 있는 휴대형 유닛 또는 단말기들을 포함할 수 있다. 또한, 단말은 M2M(Machine to Machine) 단말, MTC(Machine Type Communication) 단말/디바이스를 포함할 수 있으나, 이에 한정되는 것은 아니다. 본 명세서에서 상기 단말은 전자 장치 또는 단순히 장치라 지칭할 수도 있다.

이하 첨부된 도면을 참조하여 본 개시의 동작 원리를 상세히 설명한다. 하기에서 본 개시를 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 개시에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

본 개시는 멀티미디어 컨텐트 캡쳐링, 프로세싱, 프리-프로세싱, 포스트-프로세싱, 메타데이터 딜리버리, 딜리버리, fisheye circular 이미지 비디오를 포함하는 fisheye 360 비디오 컨텐트의 디코딩 및 렌더링에 관한 것이다. 본 개시에서, fisheye 이미지는 fisheye 이미지 비디오, fisheye 비디오, 360도 fisheye 이미지 비디오 또는 360도 fisheye 비디오를 지칭할 수 있다. 본 개시에서, fisheye circular 이미지는 fisheye circular 이미지 비디오, fisheye circular 비디오, 360도 fisheye circular 이미지 비디오 또는 360도 fisheye circular 비디오를 지칭할 수 있다.

360도 비디오는 일반적으로 HMD들(head mounted devices)을 사용하여 소비된다. 그러나, 컨텐트의 특성 때문에, 사용자는 한번에 전체 360 비디오를 볼 수 없고, 주어진 시간에 보여지는 뷰포트(vieport)만을 볼 수 있다. 이러한 이유로, 전체 스티칭 된(stitched) 360도 비디오는 360도 비디오를 보기에 충분히 높은 품질의 뷰포트를 위해 매우 높은 해상도(resolution)가 요구된다. 8K에서 스티칭 된 360도 비디오 조차도 4k 뷰포트를 지원하기 충분하지 않다.

360도 비디오의 고해상도 요구사항으로 인해, 딜리버리를 위한 대역폭을 절약하는 것을 시도하는 많은 기술이 있다. 이러한 메커니즘은, 대부분의 솔루션이 스트리밍을 위한 압축 및 캡슐화(encapsulation) 전에, 비디오의 region-wise 패킹과 같은 처리뿐 아니라, 비디오의 스티칭도 함께 요구하기 때문에, 콘텐츠를 미리 제작하는 사용 예(use cases)에 효과적이다. region-wise 패킹이 리던던시(redundancy)를 감소시키기에 효과적이지만, 뷰포트-종속(dependent) 딜리버리는 사용자의 뷰포트의 정확한 지식(accurate knowledge)을 요구하고, 또한, 뷰포트-종속 딜리버리를 위해 region-wise 패킹된 상이한 스트림에 의해 포함된 시야각(FoV: field of view)의 정확한 지식을 요구한다.

대화형 서비스는 양방향(two way) 통신을 지원하기 위해 매우 낮은 레이턴시(latency)를 요구하고, 위에 언급된 고품질 360도 비디오의 이용 시, 추가적인 챌린지가 발생한다. 360 비디오를 캡쳐하는 대부분의 카메라는 fisheye 렌즈를 이용하므로, 따라서, 다중(multiple) fisheye circular 이미지를 출력한다.

본 개시는 대화형 360도 비디오를 위한 fisheye circular 이미지의 딜리버리를 소개한다. SDP 시그널링을 위한 새로운 파라미터를 정의함으로써, 수신기(receiver)는 뷰어의 현재 뷰포트의 랜더링을 위해 요구되는 요구된 fisheye 이미지만을 요청할 수 있다. 요청이 수신기에 의해 수행되기 때문에, 송신기(sender)는 수신기의 뷰포트를 지속적으로(constantly) 알 필요가 없고, 따라서, 프로세싱 파워 및 대역폭을 모두 절약할 수 있다.

본 개시는 수신기가 자신의 뷰포트 정보를 발신자에게 지속적으로 보낼 필요 없이 대화형 360도 비디오 딜리버리를 가능하게 한다. 수신기에 의해 요구되는 fisheye circular 이미지의 서브셋(subset)만의 딜리버리를 가능하게 함으로써, 대역폭이 또한 절약될 수 있다. (필요하다면) 스티칭이 수신 엔티티에 의해 수행될 수 있다.

본 발명의 추가적인 양상 및 이점은 부분적으로 이해될 것이고, 아래의 설명으로부터 명백해질 것이며, 또는 본 발명의 실시로부터 잘 학습될 것이다.

도 1a는 3G 네트워크의 구조를 나타낸다.

도 1a의 실시예에서, 3G 네트워크 (100a)는 사용자 장치(UE) (110a), NodeB (120a), RNC(Radio Network Controller) (130a) 및 MSC(Mobile Switching Center) (140a)를 포함한다. 3G 네트워크 (100a)는 다른 모바일 통신 네트워크 및 PSTN(public switched telephone network)와 연결된다. 이러한 3G 네트워크 (100a)에서, 음성은 AMR(Adaptive Multi-Rate) 코덱을 이용하여 압축/복원되고(compressed/restored), AMR 코덱은 양방향 call 서비스를 제공하기 위해 단말 (UE) (110a) 및 MSC (140a)에 인스톨된다. MSC (140a)는 AMR 코덱으로 압축된 음성을 PCM(Pulse Code Modulation) 포맷으로 변환하고, 이를 PSTN으로 전송하거나, 그 반대도 마찬가지로, PSTN으로부터의 PCM 포맷 내의 음성을 전송하고, 이를 AMR 코덱으로 압축하고, 기지국 (NodeB) (120a)으로 전송한다. RNC (130a)는 CMC(Codec Mode Control) 메시지를 이용하여 실시간으로 UE (110a) 및 MSC (140a)에 인스톨된 음성 코덱의 call 비트 레이트를 제어할 수 있다.

그러나, 4G (LTE)에서 패킷-교환 네트워크(packet-switched network)가 도입됨에 따라, 음성 코덱은 단지 단말에 인스톨되고, 20ms의 인터벌로 압축된 음성 프레임은 기지국 또는 전송 경로의 중간에 위치된 네트워크 노드에서 복원되지 않고, 상대방 단말(counterpart terminal)로 전송된다.

도 1b는 LTE 네트워크의 구조를 나타낸다.

도 1b의 실시예에서, LTE(4G) 네트워크 (100b)은 UE (110b), eNodeB (120b, 130b) 및 S-GW(Serving Gateway)/P-GW(Packet Data Network Gateway) (140b, 150b).

도 1b의 실시예에서, 음성 코덱은 단지 UE (110b)에 인스톨되고, 각 단말(UE) (110b)은 CMR 메시지를 이용하여 상대방 단말의 음성 비트 레이트를 조정할 수 있다.

도 1b의 실시예에서, 기지국인, eNodeB (120b, 130b)는 RF 기능(function)을 전담하는(dedicated to) RRH(Remote Radio Head) (120b) 및 모뎀 디지털 신호 처리를 전담하는 DU(Digital Unit) (130b)로 구분된다. eNodeB (120b, 130b)는 S-GW (140b) 및 P-GW (150b)를 통해 IP 백본(backbone) 네트워크에 연결된다. IP 백본 네트워크는 다른 서비스 프로바이더의 이동 통신 네트워크 또는 인터넷에 연결된다.

도 2a는 본 개시의 일 실시예에 따른 VoLTE 지원 단말의 음성 및 비디오 코덱 및 RTP/UDP/IP 프로토콜의 구조를 나타낸다.

도 2a를 참조하면, 이 구조의 하단(bottom)에 위치한 IP 프로토콜 (23)은 프로토콜 구조의 상단에 위치한 PDCP (Packet Data Convergence Protocol)와 연결된다. 도 2a의 실시예에서, 미디어 데이터(예컨대, speech, video, text)는 RTP 프로토콜 (21)/UDP 프로토콜 (22)/ IP 프로토콜 (23)을 통해 전송된다. RTP/UDP/IP 헤더는 음성 및 비디오 코덱의 압축된 미디어 프레임(미디어 데이터)에 부가되고(attached), LTE 네트워크를 통해 상대방 단말에 전송된다. 또한, 상대방 단말은 네트워크로부터 압축되어 전송된 미디어 패킷(미디어 데이터)을 수신하고, 미디어를 복원하고, 스피커를 통해 듣고, 미디어를 디스플레이하고, 본다. 이때, 압축된 음성 및 비디오 패킷이 동시에 도착하지 않더라도, RTP 프로토콜 헤더의 타임스탬프 정보가 듣고 보기 위해 두 미디어를 동기화하기 위해 사용된다.

도 2b는 본 개시의 일 실시예에 따른 CMR 메시지를 나타낸다.

도 2b의 실시예에서, CMR 메시지는 call 동안 전송 상태의 변경에 따라 상대방 단말이 음성을 압축하는 비트 레이트를 조정하기 위해 사용되는 CMR 메시지일 수 있다.

도 2b를 참조하면, 도 2b의 상단 부분은 페이로드 포맷 (210)에 대응하고, CMR 필드 (211), ToC(Table of Contents) 필드 (212), 압축된 미디어 데이터를 포함하는 압축된 미디어 필드 (213) 및/또는 패딩 비트들을 포함하는 패딩 비트 필드 (214)를 포함한다.

도 2b에서, 4-비트 CMR 필드 (211)가 상대방 단말의 음성 코덱에 의해 사용될 것이 요청되는 비트 레이트를 디스플레이하기 위해 speech에 의해 지시된 음성 코덱에서 압축된 음성 프레임 (압축된 미디어 데이터)에 추가되고, 4-비트 ToC 필드 (212)가 압축 및 전송된 프레임(미디어 데이터)의 비트 레이트 및 타입을 지시하기 위해 추가된다. VoLTE는 AMR(Adaptive Multi-Rate), AMR-WB(Adaptive Multi-Rate Wideband), 및 EVS(Enhanced Voice Services)와 같은 음성 코덱을 지원한다.

CMR 메시지는 페이로드 프로토콜 외에 RTCP 프로토콜(RTP Control Protocol)을 통해 전송될 수도 있다.

도 3은 본 개시의 일 실시예에 따른 TMMBR 메시지의 구조를 나타낸다.

도 3을 참조하면, TMMBR 메시지는 상대방 단말에 인스톨된 이미지 코덱의 비트 레이트를 call 동안 동적으로 조정하기 위해, RTCP에 포함될 수 있다. 실시예에서, TMMBR 메시지는 Exp의 값을 지시하는 Exp 필드 (310) 및 Mantissa 의 값을 지시하는 Mantissa 필드 (320)를 포함한다. 이 메시지를 수신하는 UE(단말)는 Exp 필드 (310) 및 Mantissa 필드 (320)에 기초하여, 압축된 이미지의 비트 레이트를 "Mantissa Х 2Exp" bps 이하로 유지한다. 이 값은 비디오 call을 시작하기 전에 협상된 비트 레이트와 같거나 또는 작아야 한다.

도 4는 본 개시의 일 실시예에 따른 fisheye circular 이미지 비디오를 전송하기 위한 5G 네트워크의 구조를 나타낸다.

도 4의 실시예에서, fisheye circular 이미지 비디오는 360도 카메라에 의해 캡쳐링되고 생성될 수 있다.

도 4를 참조하면, 5G 네트워크 (400)은 UE (410), gNodeB (gNB) (420, 430) 및 UPF (User Plane Function) (440)를 포함할 수 있다. 실시예에서, UE (410)은 360도 카메라에 연결될 수 있다.

LTE의 eNodeB, S-GW 및 P-GW에 대응하는 5G 노드들은 gNB (410), UPF (440) 및 DN(Data Network)이다. fisheye circular 이미지는 기지국 (예컨대, gNB)을 통과하지 않고 비면허(unlicensed) 주파수 대역을 사용하는 LTE, 5G의 사이드링크 또는 Wi-Fi 다이렉트를 통해 전송될 수 있거나, 또는, USB-C 케이블을 통해 단말로 직접 전송될 수 있다. UWB-C가 사용되는 경우, 많은 양의 데이터가 에러 없이 낮은 레이트로 전송될 수 있고, 비디오는 카메라가 아닌 단말에서 압축될 수 있다.

도 5의 실시예에서, fisheye circular 이미지 비디오는 송신 단말 (장치)에 도달된(arrived) fisheye circular 이미지/비디오일 수 있다. 실시예에서, 송신 단말(장치)는 도 4의 UE 410일 수 있다.

카메라로부터의 fisheye circular 이미지는 송신자(송신 단말)와 수신자(수신 단말) 사이에 협상된 요구사항에 따라 패킹되고, 그 이후 (AVC 또는 HEVC와 같은) 비디오 코덱 (511)을 이용하여 압축되고, 수신 단말의 주소를 포함하는 RTP 및 인터넷 프로토콜(513)과 같은 다양한 전송 프로토콜(transport protocols)(512)을 사용하여 딜리버리되고, 5G NR(New Radio) 모뎀으로 전송되고, 업링크를 통해 수신 단말로 전송된다. LTE 모뎀의 프로토콜 구조와 달리, NR 모뎀은 PDCP의 상단에 위치하는 SDAP(Service Data Adaptation Protocol) (521)라 불리는 새로운 프로토콜을 갖는다.

수신 단말은 비디오 디코더에 제공되는(fed into) 압축된 비디오 스트림의 형태로 각 프로토콜의 헤더를 제거한 페이로드를 복원(recover)하고, 그후, 복원된 데이터는 (필요하다면) 스티칭되고, 3D 구(sphere) 모델로 투영되며(projected), 사용자의 현재 뷰포트에 매칭되는 뷰가 수신 단말에 연결된 HMD(head mounted display)와 같은 디스플레이 상에 랜더링된다. HMD는 단말에 연결되지 않고, 자체 통신 기능을 이용하여 이동 통신 네트워크에 직접 연결될 수 있다.

도 6a는 본 개시의 일 실시예에 따른 IP 멀티미디어 서브시스템(IMS)을 사용하여 fisheye 카메라 기반 360도 비디오의 전송 방법파라미터를 협상(negotiate)하고, 유선 및 무선 전송 경로(path)의 QoS를 보장하기 위한, 송신 단말(UE A) 및 수신 단말(UE B)에 대한 절차를 나타낸다.

도 6a의 실시예에서, IMS는 도 5에 도시된 IMS일 수 있다. 도 6a의 실시예에서, 송신 단말 (UE A) (610) 및 수신 단말 (UE B) (620)는 SDP 메시지(SDP offer 메시지 (631)/SDP answer 메시지 (641)를 사용하여 fisheye 이미지/비디오(예컨대, 360도 fisheye circular 이미지/비디오)에 대한 파라미터의 협상을 수행할 수 있다. 다시 말해, SDP 기반 협상이 송신 단말 (UE A) (610) 및 수신 단말 (UE B) (620) 사이에 fisheye 이미지/비디오에 대한 파라미터(들)을 협상하기 위해 수행될 수 있다.

도 6a를 참조하면, 송신 단말 (UE A) (610)은 SIP(Session Initiation Protocol) invite 메시지 내에, SDP 요청 메시지 (SDP offer 메시지) (631)를 UE A (610)에 할당된 IMS 노드를 갖는 P-CSCF(Proxy Call Session Control Function)로 전송한다. 이 메시지는 S-CSCF(Session Call Session Control Function) 및 I-CSCF(Interrogating Call Session Control Function)와 같은 노드들을 통해 상대방 단말에 연결된 IMS로 전송될 수 있고, 결국 수신 단말 (UE B)(620)로 전송될 수 있다.

수신 단말(UE B)(620)은 송신 단말(UE A)(610)에 의해 제안된 비트 레이트들 중에서 허용 가능한(acceptable) 비트 레이트 및 송신 방법을 선택할 수 있다. 수신 단말 (620)은 또한, 송신 단말(610)에 의해 제공된 것에 따라 fisheye circular 이미지/비디오의 원하는 구성(desired configuration)을 선택하고, 송신 단말(610)로 SDP answer 메시지(641)를 전송하기 위하여, SIP 183 메시지 (640) 내의 SDP answer 메시지(641) 내에 이 정보를 포함할 수 있다. 송신 단말(610)로 SDP answer 메시지(641)를 전송하는 프로세스에서, 각 IMS 노드는 이 서비스를 위해 요구되는 유선 및/또는 무선 네트워크의 전송 리소스를 예약하기 시작할 수 있고, point cloud 전송을 포함하는 세션의 모든 조건은 추가 절차를 통해 합의될 수 있다. 송신 단말 (610)은 모든 전송 섹션의 전송 리소스가 보장될 수 있음을 확인하고, 수신 단말(620)로 360도 fisheye 이미지를 전송할 수 있다.

도 6ba 및 6bb의 실시예에서, 송신 단말은 UE #1로 지칭될 수 있고, 수신 단말은 UE #2로 지칭될 수 있다.

자세한 절차는 아래와 같은 동작들 중 적어도 하나를 포함할 수 있다:

1. 동작 1에서, UE#1은 SDP 페이로드에 코덱(들)/fisheye 관련 파마미터(들)을 결정 및 삽입한다. 삽입된 코덱(들)/fisheye 관련 파마미터(들)은 UE#1의 단말 성능 및 이 세션을 지원 가능한 세션에 대한 사용자 선호도를 반영해야 한다. UE#1은 대역폭 요구사항 및 각 특성을 포함하는 SDP (SDP offer)를 만들고, 각 가능한 미디어 플로우에 대한 로컬 포트 넘버를 할당한다. 여러(multiple) 미디어 플로우가 제공될 수 있고, 각 미디어 플로우(m=line in SDP)에 대하여, 여러 코덱/fisheye 관련 파마미터의 선택이 제공될 수 있다.

2. 동작 2에서, UE#1은 이 SDP를 포함하는 초기 INVITE 메시지를 P-CSCF#1로 전송한다.

3. 동작 3에서, P-CSCF#1은 미디어 파라미터(컴포넌트)를 검사(examine)한다. 만일 P-CSCF#1가 (P-CSCF 로컬 정책, 또는 (이용 가능하다면) PCRF(Policy and Charging Rules Function)/PCF(Policy Control Function)로부터 온 대역폭 인증 제한 정보(bandwidth authorization limitation information에 기초하여) 미디어 파라미터가 IMS 세션 내에서 사용되는 것이 허용되지 않음을 확인한다면, 세션 시작 시도(session initiation attempt)를 거절한다. 이 거절은 IETF　RFC　3261　[12]에 지정된 절차들에 따라, P-CSCF#1의 네트워크의 로컬 정책에 의해 허용되는 미디어 파라미터를 이용하여 세션 시작을 재-시도하기 위해 발신(originating) UE(예컨대, UE #1)에 대한 충분한 정보를 포함하여야 한다.

도 6ba 및 6bb에 설명된 이 플로우에서, P-CSCF#1는 초기 세션 시작 시도가 계속되도록 허용한다.

NOTE　1: 이 단계에서, P-CSCF가 PCRF/PCF와 상호작용하여야 하는지 여부는 오퍼레이터 정책에 기초한다.

4. 동작 4에서, P-CSCF#1은 S-CSCF#1로 INVITE 메시지를 전달(forward)한다.

5. 동작 5에서, S-CSCF#1은 미디어 파라미터(컴포넌트)를 검사한다. 만일 S-CSCF#1이 로컬 정책 또는 발신(originating) 사용자의 가입자 프로파일에 기초하여 미디어 파라미터가 IMS 세션 내에서 사용되는 것이 허용하되지 않음을 확인한다면, 세션 시작 시도를 거절한다. 이 거절은 IETF　RFC　3261　[12]에 지정된 절차들에 따라, S-CSCF#1의 네트워크의 로컬 정책 및 발신 사용자의 가입자 프로파일에 의해 허용되는 미디어 파라미터를 이용하여 세션 시작을 재-시도하기 위해 발신 UE에 대한 충분한 정보를 포함하여야 한다.

도 6ba 및 6bb에 설명된 이 플로우에서, S-CSCF#1는 초기 세션 시작 시도가 계속되도록 허용한다.

6. 동작 6에서, S-CSCF#1 S-S 세션 플로우 절차를 통해, S-CSCF#2로 INVITE 메시지를 전달한다.

7. 동작 7에서, S-CSCF#2는 미디어 파라미터(컴포넌트)를 검사한다. 만일 S-CSCF#2가 로컬 정책 또는 종료(terminating) 사용자(예컨대, UE #2)의 가입자 프로파일에 기초하여, 미디어 파라미터가 IMS 세션 내에서 사용되는 것이 허용되지 않음을 확인한다면, 세션 시작 시도를 거절한다. 이 거절은 IETF　RFC　3261　[12]에 지정된 절차들에 따라, S-CSCF#2의 네트워크의 로컬 정책 및 발신 사용자의 가입자 프로파일에 의해 허용되는 미디어 파라미터를 이용하여 세션 시작을 재-시도하기 위해 종료 UE에 대한 충분한 정보를 포함하여야 한다. 도 6ba 및 6bb에 설명된 이 플로우에서, S-CSCF#2는 초기 세션 시작 시도가 계속되도록 허용한다.

8. 동작 8에서, S-CSCF#2는 P-CSCF#2로 INVITE 메시지를 전달한다.

9. 동작 9에서, P-CSCF#2는 미디어 파라미터(컴포넌트)를 검사(examine)한다. 만일 P-CSCF#2가 (P-CSCF 로컬 정책, 또는 (이용 가능하다면) PCRF/PCF로부터 온 대역폭 인증 제한 정보(bandwidth authorization limitation information에 기초하여) 미디어 파라미터가 IMS 세션 내에서 사용되는 것이 허용되지 않음을 확인한다면, 세션 시작 시도(session initiation attempt)를 거절한다. 이 거절은 IETF　RFC　3261　[12]에 지정된 절차들에 따라, P-CSCF#2의 네트워크의 로컬 정책에 의해 허용되는 미디어 파라미터를 이용하여 세션 시작을 재-시도하기 위해 발신(originating) UE에 대한 충분한 정보를 포함하여야 한다.

도 6ba 및 6bb에 설명된 이 플로우에서, P-CSCF#2는 초기 세션 시작 시도가 계속되도록 허용한다.

NOTE　2: 이 단계에서, P-CSCF가 PCRF/PCF와 상호작용하여야 하는지 여부는 오퍼레이터 정책에 기초한다.

10. 동작 10에서, P-CSCF#2는 INVITE 메시지를 UE#2로 전달한다.

11. 동작 11에서, UE#2는 이 세션에 대해 지원 가능한 코덱/fisheye 관련 파라미터들의 완전한 세트를 결정할 수 있다. UE#2는 INVITE 메시지 내의 SDP (SDP offer) 내에서 나타나는 것들과의 교집합(intersection)을 결정한다. 지원되지 않는 각 미디어 플로우에 대하여, UE#2는 port=0인 미디어(m=line)에 대한 SDP 엔트리를 삽입한다. 지원되는 각 미디어 플로우에 대하여, UE#2는 UE#1으로부터의 SDP 내의 것들과 동일한 코덱/fisheye 관련 파라미터들 및 할당된 포트를 갖는 SDP 엔트리를 삽입한다.

12. 동작 12에서, UE#2는 공통(common) 미디어 플로우 및 코덱/을 리스팅하는 SDP(SDP response/answer)를 P-CSCF#2로 반환한다.

13. 동작 13에서, P-CSCF#2는 나머지(remaining) 미디어 플로우 및 코덱/fisheye 관련 파라미터의 선택에 대한 QoS 리소스를 승인(authorize)한다.

14. 동작 14에서, P-CSCF#2는 SDP 응답/answer을 S-CSCF#2로 전달한다.

15. 동작 15에서, S-CSCF#2는 SDP 응답/answer을 S-CSCF#1로 전달한다.

16. 동작 16에서, S-CSCF#1는 SDP 응답/answer을 P-CSCF#1로 전달한다.

17. 동작 17에서, P-CSCF#1는 나머지(remaining) 미디어 플로우 및 코덱/fisheye 관련 파라미터의 선택에 대한 QoS 리소스를 승인(authorize)한다.

18. 동작 18에서, P-CSCF#1는 SDP 응답/answer을 UE#1로 전달한다.

19. 동작 19에서, UE#1은 어떤 미디어 플로우가 이 세션에 대하여 사용되어야 하는지를 결정하고, 어떤 코덱/fisheye 관련 파라미터가 이 미디어 플로우의 각각에 대하여 사용되어야 하는지를 결정한다. 하나 이상의 미디어 플로우가 있다면, 또는 미디어 플로우에 대한 코덱/fisheye 관련 파라미터의 하나 이상의 선택이 있다면, UE#1은 코덱/fisheye 관련 파라미터를 하나로 줄이기 위해 다른 offer를 전송함으로써, UE#2와 코덱들/fisheye 관련 파라미터들을 협상할 필요가 있다.

20-24. 동작 20-24에서, UE#1은 INVITE 요청에 의해 설정된 시그널링 경로에 따라, "Offered SDP" 메시지를 UE#2로 전송한다.

협상 결과 미디어 당 단일 코덱이 생성된다면, 다중-미디어 세션의 나머지 부분(remainder)은 단일 미디어/단일 코덱 세션과 완전히 동일하다.

도 7a는 본 개시의 일 실시예에 따른 360 fisheye 비디오를 위한 미디어 워크 플로우를 나타낸다.

도 7a의 실시예에서, 많은 수의 상이한 fisheye circular 이미지(360도 fisheye 비디오)가 360 비디오로 캡쳐링(710a)된다(예컨대, 도 7a(a)에 도시된 것처럼 4 개 또는 도 7a(b)에 도시된 것처럼 8개).

도 7a를 참조하면, 이 fisheye circular 이미지 비디오는 비디오 인코더에 의해 인코딩(730a)되기 전에 다양한 스트림 설정으로 패킹(720a)되는 것이 요구된다. 실시예에서, 송신 단말은 복수의 fisheye circular 이미지/비디오(360도 fisheye 비디오)를 단일 미디어 스트림(단일 이미지 프레임/픽쳐)로 패킹할 수 있고, 압축된/인코딩된 360 fisheye 비디오 비트스트림을 생성하기 위해, 패킹된 fisheye circular 이미지/비디오를 압축/인코딩할 수 있다.

압축된/인코딩된 360도 fisheye 비디오 스트림은 그 후, 도 7a에 설명된 것처럼 통신 네트워크(예컨대, 5G 네트워크)를 통해 딜리버리(740a)될 수 있고, 수신 단말에 의해 수신될 수 있다. 수신 단말에서, 압축된 비트 스트림은 압축 해제되고(uncompressed), (만일 필요하다면) 스티칭되고(stitched)될 수 있다. 그후, 사용자의 현재 뷰포트에 대한 원하는 FoV(field of view)가 HMD와 같은 디스플레이 상에 랜더링(750a)될 수 있다.

도 7b는 본 개시의 일 실시예에 다른 수신 단말이 송신 단말에 의해 송신된 SDP offer를 분석하고, SDP answer를 전송하는 절차를 나타낸다.

도 7b를 참조하면, 수신 단말은 예컨대, 도 6a 또는 도 6ba/bb에 도시된 절차에 따라 송신 단말에 의해 전송된 SDP offer를 수신할 수 있다.

도 7b를 참조하면, 동작 710b에서, 수신 단말은 SDP offer를 획득(fetch) 할 수 있다.

동작 720b에서, 수신 단말은 SDP offer 내의 b=AS를 수신/획득하고, b=AS가 허용되는지를 결정할 수 있다. 실시예에서, 수신 단말은 수신 단말에 허용된 최대 비트 레이트 값과 b=AS의 값을 비교함으로써, b=AS가 허용되는지를 결정할 수 있다. 여기서, b=AS는 AS(application specific) 대역폭 속성을 의미한다. 실시예로서, SDP offer 내의 b=AS는 송신 단말에 의해 지정된 대응 미디어(어플리케이션)와 관련된 최대 대역폭을 지시할 수 있다.

만일 수신 단말에 허용된 최대(maximum) 비트 레이트 값과 비교하여 b=AS의 값이 허용되지 않는(unacceptable) 경우, 동작 730b에서, 수신 단말은 그 값을 감소시킬 수 있고, 동작 720b에서, 수신 단말은 감소된 값이 허용되는지를 결정할 수 있다.

만일 b=AS의 값이 허용된다면, 동작 740b에서, 수신 단말은 이 값(허용된 값)에 기초하여 적당한(appropriate) 해상도를 선택할 수 있다.

동작 750b에서, 수신 단말은 maxpack 값이 허용되는지 여부를 결정할 수 있다. SDP offer 내의 Maxpack 값은 송신 단말에 의해 지원되는 것과 같은, 연관된 미디어 스트림 (비디오 스트림)을 통해 전송된 단일 프레임 픽쳐(picture)(단일 프레임/단일 스트림)로 패킹될 수 있는 최대 fisheye 이미지의 수를 나타낸다. 수신 단말의 요구사항에 의존하여, (fisheye 이미지 해상도, 스티칭 성능 등과 같은) 처리 제한 또는 재생 설정으로 인해, 수신 단말은 SDP offer에 지정된 maxpack의 값과 동일하거나, 작은 maxpack의 값을 선택할 수 있다 (maxpack에 대한 최소 값은 1이다.)

maxpack의 값이 허용되지 않는다면, 동작 760b에서, 수신 단말은 이 값을 감소시킬 수 있고, 동작 750b에서, 수신 단말은 감소된 값이 허용되는지 여부를 결정할 수 있다. maxpack의 값이 허용된다면, 허용된 값이 수신 단말에 대한 maxpack의 값으로 결정될 수 있다.

일단 maxpack이 결정/선택되면, 동작 770b에서, 수신 단말은, maxpack에 의해 결정된 수에 대응하는 fisheye 이미지/비디오의 수를 선택할 수 있다. 실시예로서, 선택된 fisheye 이미지/비디오는 뷰어(사용자)의 초기 뷰포트에 대응할 수 있다. 실시예로서, fisheye 이미지/비디오는 수신된 SDP offer에 리스팅된 것과 같은 식별자들을 사용하여 선택될 수 있다.

동작 790b에서, 수신 단말은 송신 단말로 SDP answer를 구성/전송할 수 있다.

상술한 SDP offer/answer의 다양한 예들은 도 8a, 8b 및 10을 참조하여 이하에서 설명한다.

8a는 본 개시의 일 실시예에 따른 SDP offer의 예를 나타낸다.

도 8a의 실시예에서, SDP offer는 단일 스트림 미디어 세션 설정(single stream media session configuration)의 경우에 송신 단말에 의해 전송된 SDP offer (SDP offer 메시지)일 수 있다.

도 8a를 참조하면, SDP offer는 SDP offer 내 미디어 디스크립션 (예: m=lines) 내에 SDP 속성 3gpp_fisheye (a=3gpp_fisheye) (810)을 포함할 수 있다. 이하에서는, SDP 속성 3gpp_fisheye (810) 및 SDP 속성 3gpp_fisheye (810) 에 포함된 파라미터들 (360도 fisheye 비디오 SDP 속성 파라미터들)에 기초하여 fisheye 이미지/비디오(또는, 360도 fisheye 비디오 스트림)을 식별하기 위한 동작이 설명된다.

<실시예 1: 360도 fisheye 비디오 스트림 식별>

SDP 속성(attribute) 3gpp_fisheye는 360도 fisheye 비디오 스트림을 지시/식별하기 위해 사용될 수 있다.

위 속성의 시맨틱은 아래와 같을 수 있다.

360도 fisheye 비디오/이미지를 지원하는 ITT4RT(Immersive Teleconferencing and Telepresence for Remote Terminals) (송신 및 수신) 클라이언트는 3gpp_fisheye 속성을 지원해야 하고, 다음 절차들을 지원해야 한다:

- SDF offer를 전송하는 경우, ITT4RT-Tx (송신) 클라이언트는 SDP offer 내 비디오에 대한 미디어 디스크립션(description) 내에 3gpp_fisheye 속성을 포함 시킨다.

- SDP answer를 전송하는 경우, ITT4RT-Rx (수신) 클라이언트는 3gpp_fisheye 속성이 SDP offer 내에서 수신되었다면, SDP answer 내 비디오에 대한 미디어 디스크립션 내에 3gpp_fisheye 속성을 포함 시킨다.

- SDP 내의 3gpp_fisheye 속성의 성공적인 협상 이후에, MTSI(Multimedia Telephony Service for IMS) 클라이언트는 HEVC 또는 AVC 규격(specifications)에 각각 정의된 것과 같은 fisheye omnidirectional video 특정 SEI 메시지와 함께(with) HEVC 또는 AVC를 포함하는 RTP-기반 비디오 스트림을 교환한다.

360도 투영된 비디오 및 360도 fisheye 비디오 모두를 지원하는 ITT4RT-Tx (송신) 클라이언트는 SDP offer 내에 3gpp_360video 및 3gpp_fisheye 속성들을 모두 포함할 수 있지만, ITT4RT-Rx (수신) 클라이언트는 단지 하나의 속성 (지원 또는 선택에 기초한, 3gpp_360video 및 3gpp_fisheye 속성들 중 하나)만을 SDP answer에 포함시킨다.

본 개시에서, ITT4RT는 ITT4RT 특징을 지원하는 MTSI 클라이언트이다. ITT4RT-Tx 클라이언트는 실감형(immersive) 비디오를 송신하는 것만 가능한(only capable of sending) ITT4RT 클라이언트이다. ITT4RT-Rx 클라이언트는 실감형 비디오를 수신하는 것만 가능한(only capable of receiving) ITT4RT 클라이언트이다. MTSI 클라이언트는 MTSI를 지원하는 단말 또는 네트워크 엔티티(예: MRFP (Media Resource Function Processor)) 내의 기능이다.

<실시예 2: 360도 fisheye 비디오 SDP 속성 파라미터>

미디어-라인 레벨 파라미터는 3gpp_fisheye 속성에 의해 식별된 것과 같은 fisheye 비디오 스트림을 설명하기 위할 뿐만 아니라, 360도 fisheye 비디오에 대한 ITT4RT-Tx (송신) 및 ITT4RT-Rx (수신) 클라이언트 사이의 세션 설정을 지원하기 위해 정의된다.

· 캡쳐링 단말에서 fisheye circular 비디오의 전체 수 (Total number of fisheye circular videos at the capturing terminal)

송신 단말의 카메라 설정에 의존하여, 360도 fisheye 비디오는 다중의(multiple) 상이한 fisheye circular 비디오로 구성될 수 있고, 각각은 상이한 fisheye 렌즈를 통해 캡쳐링된다.

- <fisheye>: ITT4RT-Tx(송신) 클라이언트에 의해 전송되는 SDP offer 내의 이 파라미터는 단말(예컨대, 촬영 단말)에서 카메라 설정에 의해 출력된 fisheye circular 비디오의 전체 수를 지시한다. (this parameter inside an SDP offer sent by an ITT4RT-Tx (sending) client indicates the total number of fisheye circular videos output by the camera configuration at the terminal)

· fisheye circular 비디오 정적(static) 파라미터 (Fisheye circular video static parameters)

SDP 협상 동안 ITT4RT-Rx (수신) 클라이언트가 원하는 fisheye circular 비디오의 빠른 선택을 가능하게 하기 위해, 다음 정적(static) 파라미터들이 각 fisheye circular 비디오에 대하여 정의된다. 이 파라미터는 ISO/IEC 23008-2 [119] 및 ISO/IEC 23090-2 [R1]에 정의된 것과 같은, video bitstream fisheye video information SEI 메시지로부터 정의된다.

- <fisheye-img> = <fisheye-img-1> ... <fisheye-img-N>

- <fisheye-img-X> = [<id-X> <azi> <ele> <til> <fov>] for 1 ≤ X ≤ N where:

o <id>: fisheye 비디오에 대한 식별자 (an identifier for the fisheye video fisheye)

o <azi>, <ele>: fisheye 비디오를 포함하는 circular 영역의 중심에 대응하는 구면 좌표계(spherical coordinates)를 지시하는 azimuth 및 elevation, 2^-16 degree 단위. azimuth의 값은 -180 * 2¹⁶ (i.e., -11 796 480) 에서 180 * 2¹⁶ - 1 (i.e., 11 796 479) 까지의 범위에 있어야 하고, elevation의 값은 -90 * 2¹⁶ (i.e., -5 898 240) 에서 90 * 2¹⁶ (i.e., 5 898 240) 까지의 범위에 있어야 함 (azimuth and elevation indicating the spherical coordinates that correspond to the centre of the circular region that contains the fisheye video, in units of 2^-16 degrees. The values for azimuth shall be in the range of -180 * 2¹⁶ (i.e., -11 796 480) to 180 * 2¹⁶ - 1 (i.e., 11 796 479), inclusive, and the values for elevation shall be in the range of -90 * 2¹⁶ (i.e., -5 898 240) to 90 * 2¹⁶ (i.e., 5 898 240), inclusive)

o <til>: fisheye 비디오에 대응하는 구 영역(sphere regions)의 tilt 각을 지시하는 tilt, 2^-16 degrees의 단위. tilt 의 값은 -180 * 2¹⁶ (i.e., -11 796 480) 에서 180 * 2¹⁶ - 1 (i.e., 11 796 479) 까지의 범위 내에 있어야 함. (tilt indicating the tilt angle of the sphere regions that corresponds to the fisheye video, in units of 2^-16 degrees. The values for tilt shall be in the range of -180 * 2¹⁶ (i.e., -11 796 480) to 180 * 2¹⁶ - 1 (i.e., 11 796 479), inclusive)

o <fov>: 코딩된 픽처 내의 fisheye 비디오에 대응하는 렌즈들의 시야각(FoV)를 지정하고, 2^-16 degrees 단위임. FOV는 0 에서 360 * 2¹⁶ (i.e., 23 592 960)까지의 범위 내에 있어야 함. (specifies the field of view of the lens that corresponds to the fisheye video in the coded picture, in units of 2^-16 degrees. The field of view shall be in the range of 0 to 360 * 2¹⁶ (i.e., 23 592 960), inclusive)

· fisheye circular 비디오의 스트림 패킹 (Stream packing of fisheye circular videos)

단말 장치 성능 및 대역폭 가용성(bandwidth availability)에 의존하여, 스트림 내의 fisheye circular 비디오의 패킹이 송신 및 수신 단말 사이에 협상될 수 있다.

- <maxpack>: SDP offer 내의 이 파라미터는 ITT4RT-Tx 클라이언트에 의해 비디오 스트림으로 패킹될 수 있는 fisheye 비디오의 최대 지원 수(maximum supported number)를 지시한다. SDP answer 내의 이 파라미터의 값은 ITT4RT-Rx 클라이언트에 의해 선택된 것과 같은, 패킹될 fisheye 비디오의 수를 지시한다. (this parameter inside an SDP offer indicates the maximum supported number of fisheye videos which can be packed into the video stream by the ITT4RT-Tx client. The value of this parameter inside an SDP answer indicates the number of fisheye videos to be packed, as selected by the ITT4RT-Rx client.)

이 속성에 대한 ABNF는 다음과 같다:

실시예 2-1 (실시예 2-1a에서, <fisheye>는 SDP offer에 mandatory로 포함되고, <fisheye-img-X>의 수가 항상 <fisheye>와 동일하며; 실시예 2-1b에서, <fisheye>는 <fisheye-img-X>의 수가 <fisheye>와 동일하지 않는 경우에만 존재한다.>

실시예 2-2 (이 실시예에서, <fisheye>는 SDP offer 내에 mandatory로 포함되고, <fisheye-img-X>의 수는 이 3gpp_fisheye 속성과 연관된 비디오 스트림 내의 fisheye 비디오의 수를 지시하고, <fisheye> 보다 작거나 같을 수 있다.)

실시예 2-3 (이 실시예에서, <fisheye>는 시그널링되지 않고, <fisheye-img-X>의 수는 이 3gpp_fisheye 속성과 연관된 비디오 스트림 내의 fisheye 비디오의 수를 지시하고, <fisheye>의 값을 암묵적으로(implicitly) 지시한다.)

<fisheye> 속성은 SDP answer에서 생략될 수 있다.

실시예 2-1 및 2-2에 대한 syntax를 따르는, 예시적인 SDP offer는 도 8a/b에 도시된다.

예로서, 360-도 fisheye 비디오를 단지 수신하는 (및 발신자에게 2D 비디오를 보낼 수 있는) 수신 단말은, recvonly 로 설정된 대응 m-line 내의 maxpack 값에 의해 선택된 수와 동일한 선택된 fisheye 비디오만을 포함하는 SDP answer로 응답한다.

도 8b는 본 개시의 다른 실시 예에 따른 SDP offer의 예이다.

도 8b의 실시예에서, SDP offer는 fisheye 비디오를 포함하는 SDP offer (SDP offer 메시지)일 수 있다.

도 8b의 실시예에서는, 4 개의 fisheye 이미지/비디오가 캡쳐링된 것으로 가정한다.

도 8b를 참조하면, SDP offer는 a=sendonly 에 대응하는 제1 미디어 디스크립션 (m=lines #1) 및 a=recvony 에 대응하는 제2 미디어 디스크립션 (m=lines #2)를 포함할 수 있다. 제1 미디어 디스크립션은 제1 SDP 속성인 3gpp_fisheye (a=3gpp_fisheye) (820) 및 제2 SDP 속성인 3gpp_fisheye (a=3gpp_fisheye) (830)을 포함할 수 있다.

도 8b의 820을 참조하면, 송신 단말이 a=sendonly에 해당하는 미디어에 대하여, 4개의 fisheye image를 캡쳐할 수 있지만 단일 스트림에 최대 2개의 fisheye image를 팩킹하여 전송할 것을 제안하고 있다. 마찬가지로, 도 8b의 830을 참조하면, 송신 단말이 a=recvonly에 해당하는 미디어에 대하여 단일 스트림에 최대 2개의 fisheye image를 팩킹하여 수신할 것을 제안하고 있다. 다만, 송신 단말이 수신 단말에서 fisheye image를 캡처할 렌즈의 특성을 알 수 없으므로 <fisheye> 와 <fisheye-img-X> 파라미터들은 이 케이스의 SDP offer에서 생략될 수 있다.

수신 단말이 도 8b에 예시된 Offer를 수신한 경우에 SDP answer를 생성하는 방법은 다음과 같이 예시될 수 있다.

1. fisheye video/이미지가 수신 단말에서 지원되지 않는 케이스 (케이스 1): 수신 단말은 통상적인(normal) SDP media negotiation과 동일하게 fisheye 비디오/이미지를 수신하지 않을 것을 시그널링할 수 있다 (예: port 번호를 0으로 설정).

2. fisheye 비디오/이미지의 수신이 지원되고, 수신 단말의 fisheye 비디오/이미지 처리 및 렌더링 성능의 특성들이 SDP offer 내의 해당 특성들과 동일한 케이스 (케이스 2): 수신 단말은 SDP Offer에서 제공된 4개의 <fisheye-img-X> 파라미터 중 최대 2개를 선택할 수 있고, SDP answer 내에 이 선택에 관련된 정보를 포함시키고, 해당 m=line을 recvonly로 설정할 수 있다. 선택된 <fisheye-img-X> 파라미터의 수는 또한, 수신 단말의 대역폭 가용성에 의존할 수 있다. 선택된 <fisheye-img-X> 파라미터는 사용자의 뷰포트에 따라 일반적으로 수신 단말이 원하는 FoV에 매칭된다. 예를 들면, 수신 단말은 SDP answer 내에 하나 또는 두 개의 <fisheye-img-X> 파라미터를 선택할 수 있다. 이 경우, SDP answer 내의 <maxpack> 파라미터는 1 혹은 2로 설정된다.

3. fisheye 비디오/이미지의 송신 및 수신이 지원되지만, 수신 단말의 fisheye 비디오/이미지 처리 및 렌더링 성능의 특성들이 SDP offer 내의 해당 특성들과 상이한 케이스 (케이스 3): 수신 단말은 a=sendonly 및 a=recvonly로 각각 설정된 두 개의 Fisheye video 미디어 라인(m=)으로 응답한다.

일 실시예에서, a=recvonly로 설정된 미디어 라인(Fisheye video 미디어 라인)에 대하여, 수신 단말은 케이스 2에 예시된 것과 동일하게 SDP offer에서 제공한 4개의 <fisheye-img-X> 파라미터 중 최대 2개를 선택하고, 이 선택에 관련된 정보를 SDP answer에 포함시킬 수 있다. 이 경우, SDP answer 내의 <maxpack> 파라미터는 2 혹은 1로 설정된다.

다른 실시예에서, a=sendonly로 설정된 미디어 라인에 대하여, 수신 단말은 은 수신 단말의 처리 능력 및/또는 (송신 단말의) camera/lens parameter를 고려하여 SDP answer 내에 미디어 라인(또는 SDP 속성 3gpp_fisheye)를 기술한다. 이 경우, 수신 단말에 의해 전송된 SDP answer의 a=sendonly로 설정된 미디어 라인의 교섭을 위하여, 추가적인 SDP 교환이 요구될 수 있다.

도 9는 본 개시의 일 실시예에 따른 RTCP에 포함되는 TMMBR 메시지의 구조를 나타낸다.

도 9의 실시예에서, TMMBR 메시지는 송신 및 수신 엔티티 사이에서 설정된 스트림 내의 상이한 fisheye 이미지 설정을 동적으로 요청하기 위해, 수신 엔티티에 의해 사용되는 360 fisheye 비디오 call 동안 RTCP에 포함될 수 있다.

도 9를 참조하면, TMMBR 메시지는 "N" 파라미터/필드 (910) 및/또는 "Fisheye image Ids" 파라미터/필드 (920)를 포함할 수 있다. 실시예에서, 4 비트가 "N" 파라미터 (910)에 할당될 수 있다. "N" 파라미터 (910)는 미디어 세션에서 현재 수신된 fisheye 이미지/비디오의 수를 나타낼 수 있다.

Fisheye image Ids 파라미터(920)는 수신 엔티티(단말)가 송신 엔티티로 요청하는 fisheye 이미지/비디오에 대한 식별자들을 포함한다. 각 식별자는 4 비트에 의해 표현될 수 있다.

도 10은 본 개시의 일 실시예에 따른 멀티-스트림 미디어 세션 설정의 경우에 송신 단말에 의해 전송되는 SDP offer를 나타낸다.

도 10을 참조하면, 각 미디어 라인은 도 8a 또는 8b와 동일한 파라미터들을 갖는, 하나의 fisheye 이미지/비디오만을 포함한다. group 속성(a=group) (1010)은 4개의 fisheye 이미지가 전체적으로 단일 360 카메라 설정을 구성함을 지시하는 4개의 미디어 라인을 그룹화하기 위해 사용된다.

도 11은 본 개시의 일 실시예에 따른 송신 장치의 방법을 나타내는 순서도이다.

도 11을 참조하면, 단계 1110에서, 송신 장치는 fisheye 이미지와 연관된 파라미터의 협상을 위한 SDP offer 메시지를 수신 장치로 전송할 수 있다.

단계 1120에서, 송신 장치는 SDP offer 메시지에 포함된 제1 fisheye 이미지 관련 정보에 기초하여 생성된 제2 fisheye 이미지 관련 정보를 포함하는 SDP answer 메시지를 수신할 수 있다.

실시예로서, 상기 제1 fisheye 이미지 관련 정보는 하나의 스트림 내에 패킹 가능한 최대 fisheye 이미지의 수를 지시하는 제1 최대 패킹 정보를 포함할 수 있다. 예를 들면, 상기 제1 fisheye 이미지 관련 정보는 위에 예시된 것과 같은, SDP offer 내의 SDP 속성 3gpp_fisheye (a=3gpp_fisheye)에 대응할 수 있다. 예를 들면, 제1 최대 패킹 정보는 위에 예시된 것과 같은, SDP offer 내의 <maxpack> 파라미터에 대응할 수 있다.

실시예로서, 상기 제1 fisheye 이미지 관련 정보는 촬영 단말(capturing terminal)에서 카메라 설정에 기초하여 출력된 fisheye 이미지들의 전체 수(total number)를 지시하는 제1 fisheye 정보를 포함할 수 있다. 예를 들면, 제1 fisheye 정보는 위에 예시된 것과 같은, SDP offer 내의 <fisheye> 파라미터에 대응할 수 있다.

실시예로서, 상기 제1 fisheye 이미지 관련 정보는 제1 fisheye 이미지 리스트 정보를 포함할 수 있다. 예를 들면, 제1 fisheye 이미지 리스트 정보는 위에 예시된 것과 같은, SDP offer 내의 <fisheye-img> 파라미터에 대응할 수 있다.

실시예로서, 상기 제1 fisheye 이미지 리스트 정보는 적어도 하나의 fisheye 이미지의 각각에 대한 제1 fisheye 이미지 정보를 포함하고, 상기 제1 fisheye 이미지 정보는 해당 fisheye 이미지에 대한 식별(id) 정보, 방위각(azimuth) 정보, 고각(elevation) 정보, 기울기(tilt) 정보 및 시야각(field of view) 정보를 포함할 수 있다. 예를 들면, 제1 fisheye 이미지 정보는 위에 예시된 것과 같은, SDP offer 내의 <fisheye-img-X> 파라미터에 대응할 수 있다.

실시예로서, 상기 제2 fisheye 이미지 관련 정보는 패킹될 fisheye 이미지의 수를 지시하는 제2 최대 패킹 정보를 포함하고, 상기 제2 최대 패킹 정보는 상기 제1 최대 패킹 정보에 기초하여 상기 수신 단말에서 생성될 수 있다. 예를 들면, 상기 제2 fisheye 이미지 관련 정보는 위에 예시된 것과 같은, SDP answer 내의 SDP 속성 3gpp_fisheye (a=3gpp_fisheye)에 대응할 수 있다. 예를 들면, 제2 최대 패킹 정보는 위에 예시된 것과 같은, SDP answer 내의 <maxpack> 파라미터에 대응할 수 있다.

실시예로서, 상기 제2 최대 패킹 정보의 값은 제1 fisheye 이미지 리스트 정보의 상기 제1 최대 패킹 정보의 값 보다 작거나 같을 수 있다.

실시예로서, 상기 제2 fisheye 이미지 관련 정보는 상기 제1 fisheye 이미지 리스트 정보의 상기 적어도 하나의 fisheye 이미지 중에서 선택된 하나 이상의 fisheye 이미지에 대한 정보를 포함할 수 있다. 예를 들면, 하나 이상의 선택된 fisheye 이미지에 대한 정보는 위에 예시된 것과 같은, SDP offer 내의 <fisheye-img-X> 파라미터들 중에서 선택된 적어도 하나의 <fisheye-img-X> 파라미터에 대응할 수 있다.

실시예로서, 송신 장치는 상기 수신 장치로, 상기 선택된 하나 이상의 상기 어안 이미지의 데이터를 포함하는 RTP(real-time transport protocol) 기반 비디오 스트림을 전송할 수 있고, 상기 RTP 기반 비디오 스트림은 어안 이미지 관련 SEI(Supplemental Enhancement Information) 메시지를 포함할 수 있다.

실시예로서, 상기 어안 이미지는 360도 원형 어안(fisheye circular) 비디오일 수 있다.

도 12는 본 개시의 일 실시예에 따른, 수신 장치의 방법을 나타내는 흐름도이다.

도 12를 참조하면, 단계 1210에서, 수신 장치는 송신 장치로부터 fisheye 이미지와 연관된 파라미터의 협상을 위한 SDP offer 메시지를 수신할 수 있다.

단계 1220에서, 수신 장치는 SDP offer 메시지에 포함된 제1 fisheye 이미지 관련 정보에 기초하여 제2 fisheye 이미지 관련 정보를 포함하는 SDP answer 메시지를 생성할 수 있다.

단계 1230에서, 수신 장치는 SDP answer 메시지를 송신 장치로 전송할 수 있다.

실시예로서, 수신 장치는 상기 송신 장치로부터, 상기 선택된 하나 이상의 상기 어안 이미지의 데이터를 포함하는 RTP(real-time transport protocol) 기반 비디오 스트림을 전송할 수 있고, 상기 RTP 기반 비디오 스트림은 어안 이미지 관련 SEI(Supplemental Enhancement Information) 메시지를 포함할 수 있다.

도 13은 본 개시의 일 실시예에 따른 UE (단말)의 블록도이다.

도 13을 참조하면, UE는 트랜시버(1310), 컨트롤러(1320) 및 스토리지(1330)을 포함할 수 있다. 본 개시에서, 컨트롤러(1320)는 회로, ASIC(application-specific integrated circuit) 또는 적어도 하나의 프로세서를 포함할 수 있다.

트랜시버 (1310)는 다른 엔티티로/로부터 신호를 송신/수신할 수 있다.

컨트롤러 (1320)는 실시예들에 따르 UE의 전반적인 동작을 제어할 수 있다. 예를 들면, 컨트롤러 (1320)는 위에서 설명된 도 4 내지 12의 동작들을 수행하기 위한 신호 흐름을 제어할 수 있다.

스토리지 (1330)은 트랜시버 (1310)를 통해 교환된 정보 및 컨트롤러 (1320)에 의해 생성된 정보 중 적어도 하나를 저장할 수 있다.

도 14는 본 개시의 일 실시예에 따른 기지국의 블록도이다.

도 14를 참조하면, 기지국은 트랜시버(1410), 컨트롤러(1420) 및 스토리지(1430)을 포함할 수 있다. 본 개시에서, 컨트롤러(1420)는 회로, ASIC(application-specific integrated circuit) 또는 적어도 하나의 프로세서를 포함할 수 있다. 예를 들면, 기지국은 NodeB, eNodeB, 또는 gNB일 수 있다.

트랜시버 (1410)는 UE 및 네트워크 엔티티로/로부터 신호를 송신/수신할 수 있다.

컨트롤러 (1420)는 실시예들에 따르 UE의 전반적인 동작을 제어할 수 있다. 예를 들면, 컨트롤러 (1420)는 위에서 설명된 도 4 내지 12의 동작들을 수행하기 위한 신호 흐름을 제어할 수 있다.

스토리지 (1430)은 트랜시버 (1410)를 통해 교환된 정보 및 컨트롤러 (1420)에 의해 생성된 정보 중 적어도 하나를 저장할 수 있다.

도 15는 본 개시의 일 실시예에 따른 네트워크 엔티티(기능)의 블록도이다.

도 15를 참조하면, 기지국은 트랜시버(1510), 컨트롤러(1520) 및 스토리지(1430)을 포함할 수 있다. 본 개시에서, 컨트롤러(1520)는 회로, ASIC(application-specific integrated circuit) 또는 적어도 하나의 프로세서를 포함할 수 있다. 예를 들면, 네트워크 엔티티(기능)은 P-CSCF, S-CSCF 또는 I-CSCF일 수 있다.

트랜시버 (1510)는 UE 및 기지국으로부터 신호를 송신/수신할 수 있다.

컨트롤러 (1520)는 실시예들에 따르 UE의 전반적인 동작을 제어할 수 있다. 예를 들면, 컨트롤러 (1520)는 위에서 설명된 도 4 내지 12의 동작들을 수행하기 위한 신호 흐름을 제어할 수 있다.

스토리지 (1530)은 트랜시버 (1510)를 통해 교환된 정보 및 컨트롤러 (1520)에 의해 생성된 정보 중 적어도 하나를 저장할 수 있다.

상술한 본 개시의 구체적인 실시 예들에서, 본 개시에 포함되는 구성 요소는 제시된 구체적인 실시 예에 따라 단수 또는 복수로 표현되었다. 그러나, 단수 또는 복수의 표현은 설명의 편의를 위해 제시한 상황에 적합하게 선택된 것으로서, 본 개시가 단수 또는 복수의 구성 요소에 제한되는 것은 아니며, 복수로 표현된 구성 요소라 하더라도 단수로 구성되거나, 단수로 표현된 구성 요소라 하더라도 복수로 구성될 수 있다.

한편 본 개시의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 개시의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 개시의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims

송신 장치의 방법에 있어서,
수신 장치로, 어안(fisheye) 이미지와 연관된 파라미터의 협상을 위한 SDP(Session Description Protocol) offer 메시지를 전송하는 단계; 및
상기 수신 장치로부터, 상기 SDP offer 메시지에 포함된 제1 어안 이미지 관련 정보에 기초하여 생성된 제2 어안 이미지 관련 정보를 포함하는 SDP answer 메시지를 수신하는 단계를 포함하며,
상기 제1 어안 이미지 관련 정보는 하나의 스트림 내에 패킹 가능한 최대 어안 이미지의 수를 지시하는 제1 최대 패킹 정보를 포함하는, 방법.
제1항에 있어서,
상기 제1 어안 이미지 관련 정보는 촬영 단말(capturing terminal)에서 카메라 설정에 기초하여 출력된 어안 이미지들의 전체 수(total number)를 지시하는 제1 어안 정보를 포함하는 방법.
제1항에 있어서,
상기 제1 어안 이미지 관련 정보는 제1 어안 이미지 리스트 정보를 포함하고, 상기 제1 어안 이미지 리스트 정보는 적어도 하나의 어안 이미지의 각각에 대한 제1 어안 이미지 정보를 포함하고, 상기 제1 어안 이미지 정보는 해당 어안 이미지에 대한 식별(id) 정보, 방위각(azimuth) 정보, 고각(elevation) 정보, 기울기(tilt) 정보 및 시야각(field of view) 정보를 포함하는, 방법.
제3항에 있어서,
상기 제2 어안 이미지 관련 정보는 패킹될 어안 이미지의 수를 지시하는 제2 최대 패킹 정보를 포함하고, 상기 제2 최대 패킹 정보는 상기 제1 최대 패킹 정보에 기초하여 상기 수신 장치에서 생성되는, 방법.
제4항에 있어서,
상기 제2 최대 패킹 정보의 값은 상기 제1 최대 패킹 정보의 값 보다 작거나 같은, 방법.
제4항에 있어서,
상기 제2 어안 이미지 관련 정보는 상기 제1 어안 이미지 리스트 정보의 상기 적어도 하나의 어안 이미지 중에서 선택된 하나 이상의 어안 이미지에 대한 정보를 포함하는, 방법.
제6항에 있어서,
상기 수신 장치로, 상기 선택된 하나 이상의 상기 어안 이미지의 데이터를 포함하는 RTP(real-time transport protocol) 기반 비디오 스트림을 전송하는 단계를 더 포함하고,
상기 RTP 기반 비디오 스트림은 어안 이미지 관련 SEI(Supplemental Enhancement Information) 메시지를 포함하는, 방법.
제1항에 있어서,
상기 어안 이미지는 360도 원형 어안(fisheye circular) 비디오인, 방법.
수신 장치의 방법에 있어서,
송신 장치로부터, 어안(fisheye) 이미지와 연관된 파라미터의 협상을 위한 SDP(Session Description Protocol) offer 메시지를 수신하는 단계;
상기 SDP offer 메시지에 포함된 제1 어안 이미지 관련 정보에 기초하여, 제2 어안 이미지 관련 정보를 포함하는 SDP answer 메시지를 생성하는 단계; 및
상기 송신 장치로, 상기 SDP answer 메시지를 전송하는 단계를 포함하며,
상기 제1 어안 이미지 관련 정보는 하나의 스트림 내에 패킹 가능한 최대 어안 이미지의 수를 지시하는 제1 최대 패킹 정보를 포함하는, 방법.
제9항에 있어서,
상기 제1 어안 이미지 관련 정보는 촬영 단말(capturing terminal)에서 카메라 설정에 기초하여 출력된 어안 이미지들의 전체 수(total number)를 지시하는 제1 어안 정보를 포함하는 방법.
제9항에 있어서,
상기 제1 어안 이미지 관련 정보는 제1 어안 이미지 리스트 정보를 포함하고, 상기 제1 어안 이미지 리스트 정보는 적어도 하나의 어안 이미지의 각각에 대한 제1 어안 이미지 정보를 포함하고, 상기 제1 어안 이미지 정보는 해당 어안 이미지에 대한 식별(id) 정보, 방위각(azimuth) 정보, 고각(elevation) 정보, 기울기(tilt) 정보 및 시야각(field of view) 정보를 포함하는, 방법.
제11항에 있어서,
상기 제2 어안 이미지 관련 정보는 패킹될 어안 이미지의 수를 지시하는 제2 최대 패킹 정보를 포함하고, 상기 제2 최대 패킹 정보는 상기 제1 최대 패킹 정보에 기초하여 상기 수신 장치에서 생성되는, 방법.
제12항에 있어서,
상기 제2 최대 패킹 정보의 값은 상기 제1 최대 패킹 정보의 값 보다 작거나 같은, 방법.
제12항에 있어서,
상기 제2 어안 이미지 관련 정보는 상기 제1 어안 이미지 리스트 정보의 상기 적어도 하나의 어안 이미지 중에서 선택된 하나 이상의 어안 이미지에 대한 정보를 포함하는, 방법.
제14항에 있어서,
상기 송신 장치로부터, 상기 선택된 하나 이상의 상기 어안 이미지의 데이터를 포함하는 RTP(real-time transport protocol) 기반 비디오 스트림을 수신하는 단계를 더 포함하고,
상기 RTP 기반 비디오 스트림은 어안 이미지 관련 SEI(Supplemental Enhancement Information) 메시지를 포함하는, 방법.
제9항에 있어서,
상기 어안 이미지는 360도 원형 어안(fisheye circular) 비디오인, 방법.
송신 장치에 있어서,
트랜시버; 및
컨트롤러를 포함하며, 상기 컨트롤러는:
수신 장치로, 어안(fisheye) 이미지와 연관된 파라미터의 협상을 위한 SDP(Session Description Protocol) offer 메시지를 전송하고,
상기 수신 장치로부터, 상기 SDP offer 메시지에 포함된 제1 어안 이미지 관련 정보에 기초하여 생성된 제2 어안 이미지 관련 정보를 포함하는 SDP answer 메시지를 수신하도록 구성되며,
상기 제1 어안 이미지 관련 정보는 하나의 스트림 내에 패킹 가능한 최대 어안 이미지의 수를 지시하는 제1 최대 패킹 정보를 포함하는, 송신 장치.
제17항에 있어서,
상기 제2 어안 이미지 관련 정보는 패킹될 어안 이미지의 수를 지시하는 제2 최대 패킹 정보를 포함하고, 상기 제2 최대 패킹 정보는 상기 제1 최대 패킹 정보에 기초하여 상기 수신 장치에서 생성되는, 송신 장치.
수신 장치에 있어서,
트랜시버; 및
컨트롤러를 포함하며, 상기 컨트롤러는:
송신 장치로부터, 어안(fisheye) 이미지와 연관된 파라미터의 협상을 위한 SDP(Session Description Protocol) offer 메시지를 수신하고,
상기 SDP offer 메시지에 포함된 제1 어안 이미지 관련 정보에 기초하여, 제2 어안 이미지 관련 정보를 포함하는 SDP answer 메시지를 생성하고,
상기 송신 장치로, 상기 SDP answer 메시지를 전송하도록 구성되며,
상기 제1 어안 이미지 관련 정보는 하나의 스트림 내에 패킹 가능한 최대 어안 이미지의 수를 지시하는 제1 최대 패킹 정보를 포함하는, 수신 장치.
제19항에 있어서,
상기 제2 어안 이미지 관련 정보는 패킹될 어안 이미지의 수를 지시하는 제2 최대 패킹 정보를 포함하고, 상기 제2 최대 패킹 정보는 상기 제1 최대 패킹 정보에 기초하여 상기 수신 장치에서 생성되는, 수신 장치.