KR20220058610A

KR20220058610A - 원격 단말들에 대한 몰입형 원격회의 및 텔레프레전스를 위한 상호작용 오버레이 취급

Info

Publication number: KR20220058610A
Application number: KR1020227011300A
Authority: KR
Inventors: 로히트 아비쉐크; 이라즈 소다가르
Original assignee: 텐센트 아메리카 엘엘씨
Priority date: 2020-08-11
Filing date: 2021-05-10
Publication date: 2022-05-09
Also published as: KR102586860B1; WO2022035482A1; JP7419529B2; US20220053176A1; EP4011062A4; US11431956B2; CN114503548A; JP2023502789A; EP4011062A1

Abstract

비디오 스트림들을 취급하기 위한 방법, 비일시적 컴퓨터 판독가능 매체, 및 컴퓨터 시스템이 제공된다. 방법은 360° 비디오 스트림을 수신하는 단계 - 360° 비디오 스트림은 다중 오버레이 파라미터를 포함함 - ; 다중 오버레이 파라미터가 제1 값일 때, 360° 비디오 스트림을 2개 이상의 오버레이로 오버레이하는 것이 사용자 단말에 의해 허가가능한 것을 결정하고, 사용자 단말에 의해, 360° 비디오 스트림을 2개 이상의 오버레이로 디스플레이하는 단계; 및 다중 오버레이 파라미터가 제2 값일 때, 360° 비디오 스트림을 2개 이상의 오버레이로 오버레이하는 것이 허가가능하지 않은 것을 결정하고 360° 비디오 스트림을 0 오버레이들 또는 1 오버레이로 디스플레이하는 단계를 포함할 수 있다.

Description

원격 단말들에 대한 몰입형 원격회의 및 텔레프레전스를 위한 상호작용 오버레이 취급

우선권 정보

본 출원은 2020년 8월 11일에 출원된 미국 가특허 출원 제63/064,252호, 및 2020년 11월 15일에 출원된 미국 특허 출원 제17/098,388호로부터의 우선권을 주장하며, 그 전체는 본원에 포함된다.

기술분야

개시는 일반적으로 데이터 처리의 분야에 관한 것으로, 특히 원격 단말들에 대한 몰입형 원격회의 및 텔레프레전스(ITT4RT)를 위한 다수의 상호작용 오버레이 취급과 같은 오버레이 취급에 관한 것이다. 예를 들어, 프로젠테이션/스크린 공유 스트림 또는 2차원(2D) 비디오가 디스플레이된 360° 비디오 스트림의 위에 오버레이로서 디스플레이되고 있을 때와 같이, 전방향 비디오 및 이미지들에 대한 다수의 상호작용 오버레이의 시그널링.

오버레이는 전방향 비디오, 이미지 아이템, 또는 뷰포트를 통해 렌더링되는 하나의 시각 미디어이다.

전방향 미디어 스트림이 사용될 때, 예를 들어, 머리 착용 디스플레이(head-mounted display)(HMD) 디바이스를 사용하면서, 사용자의 뷰포트에 대응하는 콘텐츠의 부분만이 렌더링되어, 사용자에게 미디어 스트림의 현실적 뷰를 제공한다.

실시예들은 비디오 데이터를 스트리밍하기 위한 방법, 시스템, 및 비일시적 컴퓨터 판독가능 매체에 관한 것이다. 일 양태에 따르면, 비디오 데이터를 스트리밍하기 위한 방법이 제공될 수 있다. 방법은 사용자 단말에 의해, 전자 디바이스 또는 서버로부터, 360° 비디오 스트림을 수신하는 단계 - 360° 비디오 스트림은 360° 비디오 스트림을 2개 이상의 오버레이로 오버레이하는 것이 사용자 단말에 의해 허가가능한지를 표시하는 다중 오버레이 파라미터를 포함함 - ; 사용자 단말에 의해, 360° 비디오 스트림을 디스플레이하는 단계; 다중 오버레이 파라미터가 제1 값일 때, 사용자 단말에 의해, 360° 비디오 스트림을 2개 이상의 오버레이로 오버레이하는 것이 사용자 단말에 의해 허가가능한 것을 결정하고, 사용자 단말에 의해, 360° 비디오 스트림을 2개 이상의 오버레이로 디스플레이하는 단계; 및 다중 오버레이 파라미터가 제2 값일 때, 사용자 단말에 의해, 360° 비디오 스트림을 2개 이상의 오버레이로 오버레이하는 것이 사용자 단말에 의해 허가가능하지 않은 것을 결정하고, 사용자 단말에 의해, 360° 비디오 스트림을 0 오버레이들 또는 1 오버레이로 디스플레이하는 단계를 포함할 수 있다.

제1 값은 제2 값과 상이할 수 있고, 오버레이 또는 오버레이들은 다른 비디오 스트림, 또는 이미지 중 하나 이상을 포함할 수 있다.

360° 비디오 스트림은 2개 이상의 오버레이 중 하나를 제1 오버레이와 오버랩하는 것이 허가가능한지를 표시하는 오버레이 오버랩 파라미터를 포함할 수 있다.

방법은 2개 이상의 오버레이 중 하나를 제1 오버레이와 오버랩하는 것이 허가가능한 것을 오버레이 오버랩 파라미터가 표시할 때 제1 오버레이를 360° 비디오 스트림과 오버랩하도록 중첩된 2개 이상의 오버레이 중 하나를 사용자 단말에 의해 디스플레이하는 단계를 추가로 포함할 수 있다.

360° 비디오 스트림은 2개 이상의 오버레이의 사용을 허용하는 콘텐츠 기반 속성을 포함할 수 있다.

360° 비디오 스트림은 사용자가 송신자의 스트림 정보를 다른 송신자들과 공유하도록 허용될 때 시그널링하는 플래그를 포함할 수 있다.

방법은 사용자 단말에 의해, 전자 디바이스 또는 서버로부터 요청을 수신하는 단계 - 요청은 원격회의 중의 하나 이상의 사용자가 미디어 스트림 속성들을 공유하기 위한 요청임 - ; 및 사용자 단말에 의해 전자 디바이스 또는 서버에, 사용자 단말이 공유를 인가하는 미디어 스트림 속성들에 관한 정보를 송신하는 단계를 추가로 포함할 수 있다.

사용자가 기꺼이 공유하는 미디어 스트림 속성들에 관한 정보는 송신자 ID에 대응하는 식별자(ID)를 포함한다.

방법은 적어도 하나의 송신자 ID를 적어도 하나의 오버레이 ID와 조합함으로써 전자 디바이스 또는 서버에 의해 고유 오버레이 ID를 할당하는 단계를 추가로 포함할 수 있다.

방법은 초기 제안 응답 협상 동안 또는 세션 동안 다중 오버레이 파라미터를 협상하는 단계를 추가로 포함할 수 있다.

다중 오버레이 파라미터는 360° 비디오 스트림의 세션 기술 프로토콜(session description protocol)(SDP)에서 제안될 수 있다.

방법은 초기 제안 응답 협상 동안 또는 세션 동안 오버레이 오버랩 파라미터를 협상하는 단계를 추가로 포함할 수 있다.

오버레이 오버랩 파라미터는 360° 비디오 스트림의 세션 기술 프로토콜(SDP)에서 제안될 수 있다.

방법은 초기 제안 응답 협상 동안 또는 세션 동안 콘텐츠 기반 속성을 협상하는 단계를 추가로 포함할 수 있다.

콘텐츠 기반 속성은 360° 비디오 스트림의 세션 기술 프로토콜(SDP)에서 제안될 수 있다.

방법은 사용자 단말에 의해 전자 디바이스 또는 서버에, 다른 사용자가 사용자 단말에 의해 공유되는 스트림 정보를 다른 전자 디바이스들과 공유하도록 인가되는지를 통신하는 단계를 추가로 포함할 수 있다.

방법은 전자 디바이스 또는 서버에 의해, 전자 디바이스 또는 서버에 의해 생성되는 임의의 오버레이 또는 오버레이들 외에 적어도 하나의 추가적인 오버레이를 다른 전자 디바이스들과 공유하는 단계를 추가로 포함할 수 있으며, 적어도 하나의 추가적인 오버레이는 대응하는 오버레이 비디오의 송신자가 오버레이의 공유를 인가한 오버레이들만을 포함한다.

일 실시예에 따르면, 화상 회의를 위한 컴퓨터 시스템이 제공될 수 있으며, 컴퓨터 시스템은 통신 인터페이스; 디스플레이; 컴퓨터 프로그램 코드를 저장하도록 구성된 하나 이상의 컴퓨터 판독가능 비일시적 저장 매체; 및 상기 컴퓨터 프로그램 코드에 액세스하고 상기 컴퓨터 프로그램 코드에 의해 명령되는 바와 같이 동작하도록 구성된 하나 이상의 컴퓨터 프로세서를 포함할 수 있다.

컴퓨터 프로그램 코드는 하나 이상의 컴퓨터 프로세서로 하여금 통신 인터페이스를 통해, 360° 비디오 스트림을 수신하게 하도록 구성된 수신 코드 - 360° 비디오 스트림은 360° 비디오 스트림을 2개 이상의 오버레이로 오버레이하는 것이 사용자 단말에 의해 허가가능한지를 표시하는 다중 오버레이 파라미터를 포함함 - ; 하나 이상의 컴퓨터 프로세서로 하여금 디스플레이를 제어하여 수신된 360° 비디오 스트림을 디스플레이하게 하도록 구성된 디스플레잉 코드; 하나 이상의 컴퓨터 프로세서로 하여금, 다중 오버레이 파라미터가 제1 값일 때, 360° 비디오 스트림을 2개 이상의 오버레이로 오버레이하는 것이 사용자 단말에 의해 허가가능한 것을 결정하게 하고, 디스플레이를 제어하여 360° 비디오 스트림을 2개 이상의 오버레이로 디스플레이하게 하도록 구성된 다중 오버레이 인가된 코드; 및 하나 이상의 컴퓨터 프로세서로 하여금, 다중 오버레이 파라미터가 제2 값일 때, 360° 비디오 스트림을 2개 이상의 오버레이로 오버레이하는 것이 사용자 단말에 의해 허가가능하지 않은 것을 결정하게 하고, 디스플레이를 제어하여 360° 비디오 스트림을 0 오버레이들 또는 1 오버레이로 디스플레이하게 하도록 구성된 다중 오버레이 비인가된 코드를 포함할 수 있다.

360° 비디오 스트림은 2개 이상의 오버레이 중 하나를 제1 오버레이와 오버랩하는 것이 허가가능한지를 표시하는 오버레이 오버랩 파라미터를 포함할 수 있고, 컴퓨터 프로그램 코드는 2개 이상의 오버레이 중 하나를 제1 오버레이와 오버랩하는 것이 허가가능한 것을 오버레이 오버랩 파라미터가 표시할 때, 하나 이상의 프로세서로 하여금 디스플레이를 제어하여 제1 오버레이를 360° 비디오 스트림과 오버랩하도록 중첩된 2개 이상의 오버레이 중 하나를 디스플레이하게 하도록 구성된 오버레이 오버랩 인가된 코드를 추가로 포함할 수 있다.

일 실시예에 따르면, 컴퓨터 프로그램이 저장된 비일시적 컴퓨터 판독가능 매체로서, 컴퓨터 프로그램은 하나 이상의 컴퓨터 프로세서로 하여금, 360° 비디오 스트림을 수신하게 하며, 360° 비디오 스트림은 360° 비디오 스트림을 2개 이상의 오버레이로 오버레이하는 것이 허가가능한지를 표시하는 다중 오버레이 파라미터를 포함하고; 디스플레이를 제어하여 수신된 360° 비디오 스트림을 디스플레이하게 하고; 다중 오버레이 파라미터가 제1 값일 때, 360° 비디오 스트림을 2개 이상의 오버레이로 오버레이하는 것이 허가가능한 것을 결정하게 하고, 디스플레이를 제어하여 360° 비디오 스트림을 2개 이상의 오버레이로 디스플레이하게 하고; 다중 오버레이 파라미터가 제2 값일 때, 360° 비디오 스트림을 2개 이상의 오버레이로 오버레이하는 것이 허가가능하지 않은 것을 결정하게 하고, 디스플레이를 제어하여 360° 비디오 스트림을 0 오버레이들 또는 1 오버레이로 디스플레이하게 하도록 구성되며, 제1 값은 제2 값과 상이할 수 있고, 오버레이 또는 오버레이들은 다른 비디오 스트림, 또는 이미지 중 하나 이상을 포함한다.

360° 비디오 스트림은 2개 이상의 오버레이 중 하나를 제1 오버레이와 오버랩하는 것이 허가가능한지를 표시하는 오버레이 오버랩 파라미터를 포함할 수 있고, 컴퓨터 프로그램은 2개 이상의 오버레이 중 하나를 제1 오버레이와 오버랩하는 것이 허가가능한 것을 오버레이 오버랩 파라미터가 표시할 때 하나 이상의 컴퓨터 프로세서로 하여금 디스플레이를 제어하여 제1 오버레이를 360° 비디오 스트림과 오버랩하도록 중첩된 2개 이상의 오버레이 중 하나를 디스플레이하게 하도록 추가로 구성될 수 있다.

이들 및 다른 목적들, 특징들 및 장점들은 첨부 도면들과 관련하여 판독되어야 하는, 예시적인 실시예들의 이하의 상세한 설명으로부터 분명해질 것이다. 도면들의 다양한 특징들은 예시들이 상세한 설명과 함께 본 기술분야의 통상의 기술자의 이해를 용이하게 하기 위한 명료성을 위한 것이므로 축척에 따라 도시되지 않는다. 도면들에서:
도 1은 몰입형 원격회의를 위한 에코시스템의 개략도이다.
도 2a는 MRF/MCU를 사용하지 않는 다수당사자 멀티컨퍼런스 룸 원격회의의 개략도이다.
도 2b는 MRF/MCU를 사용하는 다수당사자 멀티컨퍼런스 룸 원격회의의 개략도이다.
도 3a는 MRF/MCU를 사용하지 않는 단일 송신자로부터의 다수의 오버레이를 갖는 다수당사자 멀티컨퍼런스 룸 원격회의를 위한 파라미터 "use_multiple_flag"의 사용을 예시한다.
도 3b는 MRF/MCU를 사용하는 단일 송신자로부터의 다수의 오버레이를 갖는 다수당사자 멀티컨퍼런스 룸 원격회의를 위한 파라미터 "use_multiple_flag"의 사용을 예시한다.
도 4a는 MRF/MCU를 사용하지 않는 다중 송신자로부터의 다수의 오버레이를 갖는 다수당사자 멀티컨퍼런스 룸 원격회의를 위한 다른 오버레이들의 콘텐츠 기반 사용을 입증한다.
도 4b는 일 실시예에 따른 MRF/MCU를 사용하는 다중 송신자로부터의 다수의 오버레이를 갖는 다수당사자 멀티컨퍼런스 룸 원격회의를 위한 다른 오버레이들의 콘텐츠 기반 사용을 입증한다.
도 5는 일 실시예에 따른 컴퓨터 시스템의 개략도이다.
도 6은 화상 회의를 취급하기 위한 방법의 단계들을 예시하는 동작 흐름도를 도시한다.

청구된 구조들 및 방법들의 상세한 실시예들이 본원에 개시되지만; 개시된 실시예들은 다양한 형태들로 구체화될 수 있는 청구된 구조들 및 방법들을 예시할 뿐이라는 점이 이해될 수 있다. 그러나, 그들 구조들 및 방법들은 많은 상이한 형태들로 구체화될 수 있고 본원에 제시된 예시적인 실시예들에 제한되는 것으로 해석되지 않아야 한다. 오히려, 이들 예시적인 실시예들은 본 개시가 철저하고 완전하며 범위를 본 기술분야의 통상의 기술자들에게 완전히 전달하도록 제공된다. 설명에서, 널리 공지된 특징들 및 기술들의 상세들은 제시된 실시예들을 쓸데없이 모호하게 하는 것을 회피하기 위해 생략될 수 있다.

실시예들은 일반적으로 데이터 처리의 분야에 관한 것으로, 특히 전방향 비디오를 사용하는 화상 회의/원격회의에 관한 것이다. 이하의 설명된 예시적인 실시예들은 다른 것들 중에서, 전방향 비디오를 사용하여 화상 회의/원격회의를 취급하기 위해 시스템, 방법 및 컴퓨터 프로그램을 제공한다.

양태들은 다양한 실시예들에 따라 방법들, 장치(시스템들), 및 컴퓨터 판독가능 매체들의 흐름도 예시들 및/또는 블록도들을 참조하여 본원에 설명된다. 흐름도 예시들 및/또는 블록도들의 각각의 블록, 및 흐름도 예시들 및/또는 블록도들 내의 블록들의 조합들이 컴퓨터 판독가능 프로그램 명령어들에 의해 구현될 수 있다는 점이 이해될 것이다.

도 1은 일 실시예에 따라, 몰입형 원격회의 호출의 시나리오를 예시하며, 여기서 호출은 룸 A(101), 사용자 B(102), 및 사용자 C(103) 중에 조직된다. 일 실시예에 따르면, 룸 A는 전방향(360°) 카메라(104)를 갖는 회의 룸을 표현하고, 사용자 B 및 사용자 C는 HMD 디바이스 및 모바일 디바이스를 각각 사용하는 원격 참가자들이다. 이 경우에, 원격회의 호출 참가자들(사용자 B 및 사용자 C)은 그들 각각의 뷰포트 배향들에 관한 정보를 룸 A에 송신할 수 있으며, 이는 결국 그들에게 뷰포트 의존 스트림을 다시 송신할 수 있다.

도 2a는 일 실시예에 따라, 다수의 회의 룸 참가자(룸 A(2a01), 룸 X(2a02), 룸 Y(2a03), 룸 Z(2a04))를 포함하는 몰입형 원격회의 호출의 다른 시나리오를 예시한다. 일 실시예에 따르면, 사용자 B(2a06)는 비디오 스트림(예를 들어, 360° 비디오 스트림)을 보기 위해 HMD 디스플레이를 사용할 수 있고, 사용자 C(2a07)는 비디오 스트림을 보기 위해 모바일 디바이스를 사용할 수 있다. 사용자 B 및 사용자 C는 그들의 뷰포트 배향을 호스트 룸(예를 들어, 룸 A)에 송신할 수 있으며, 이는 결국 그들에게 뷰포트 의존 스트림을 송신한다.

일 실시예에 따르면, 도 2b에 도시된 바와 같이, 비디오 호출이 미디어 자원 기능(Media Resource Function)(MRF)/미디어 제어 유닛(Media Control Unit)(MCU)(2b05)을 사용하여 셋업되는 다른 시나리오가 있으며, MRF/MCU는 다수당사자 회의 호출에서 원격 단말들을 브리지하기 위한 미디어 관련 기능들을 제공하는 멀티미디어 서버들로서 도시된다. 그러나, MRF/MCU는 서버 외에 다른 전자 디바이스일 수 있다. 일 실시예에 따르면, 개별 회의 룸들에 대응하는 전자 디바이스들은 그들 각각의 비디오들을 MRF/MCU에 송신할 수 있다. 이들 비디오들은 특정 비디오를 스트리밍하는 사용자의 뷰포트에 관계없이 뷰포트 독립 비디오들이다(즉, 전체 360° 비디오는 MRF/MCU(예를 들어, 미디어 서버)에 송신됨). 미디어 서버는 사용자 B(2b06) 및 사용자 C(2b07)의 뷰포트 배향들을 수신하고 따라서 사용자 A 및 사용자 B에게 각각의 뷰포트 의존 스트림들을 송신할 수 있다.

게다가, 확장된 시나리오에서, 원격 사용자들은 회의 룸들(2a01 내지 2a04/2b01 내지 2b04)로부터 이용가능 360° 비디오들 중 하나를 선택하여 볼 수 있다. 이 경우에, 사용자는 스트리밍하고 싶은 비디오 및 그의 뷰포트 배향에 관한 정보(예를 들어, 요청)를 회의 룸 또는 MRF/MCU에 송신한다. 일 실시예에 따르면, 사용자는 액티브 스피커에 기초하여 하나의 룸으로부터 다른 룸으로의 전환을 트리거할 수 있다. 즉, 일 실시예에 따르면, 현재 음성 출력을 제공하고 있는 사용자 단말은 뷰포트 배향이 액티브 스피커에 대응하도록 뷰포트 배향을 결정하는데 사용될 수 있다. 게다가, 미디어 서버는 임의의 활성 사용자들을 갖지 않는 임의의 회의 룸으로부터 비디오 스트림을 수신하는 것을 정지시킬 수 있다.

도 2a 및 도 2b를 다시 참조하면, 프리젠테이션이 회의 룸 A에서 디스플레이되는 외에, 회의 룸 A 내의 임의의 참가자에 의해 공유되어 있을 때, 프리젠테이션은 또한 다른 사용자들(예를 들어, 스마트폰 또는 HMD 디바이스와 같은, 사용자들과 연관된 원격 단말들)에 대한 스트림으로서 브로드캐스팅될 수 있다.

일 실시예에 따르면, 스트림은 360° 비디오의 위에 오버레이될 수 있다. 일 실시예에 따르면, 오버레이들은 또한 2D 스트림들에 사용될 수 있다.

일 실시예에 따르면, ITT4RT에서의 사용을 위해 정의되는 적어도 2개의 유형의 오버레이 렌더링이 있을 수 있다. 제1 유형은 뷰포트 관련 오버레이일 수 있고, 제2 유형은 스피어 관련 2D 오버레이일 수 있다.

일 실시예에 따르면, "뷰포트 관련 오버레이들"에 대해, 이하의 파라미터들 중 하나 이상은 ITT4RT를 위해 정의될 수 있다: overlay_ID, overlay_rect_left_percent, overlay_rect_top_percent, overlay_rect_width_percent, overlay_rect_height_percent, relative_disparity_flag, disparity_in_percent, 및 disparity_in_pixels, name.

일 실시예에 따르면, 하나 이상의 파라미터는 이하와 같은, 오픈 모바일 액세스 추상 프레임워크(Open Mobile Access Abstract Framework)(OMAF) 사양들과 정렬되는 "스피어 관련 2차원 오버레이"를 위해 정의될 수 있다: overlay_ID, overlay_azimuth, overlay_elevation, overlay_tilt, overlay_azimuth_range, overlay_elevation_range, overlay_rot_yaw, overlay_rot_pitch, 및 overlay_rot_roll, region_depth_minus1, 및 timeline_change_flag, name.

오버레이들과의 사용자 상호작용들에 대해, 오버레이는 이하의 파라미터들 중 하나 이상을 추가적으로 분명히 포함할 수 있다: change_position_flag, change_depth_flag, switch_on_off_flag, change_opacity_flag, resize_flag, rotation_flag, change_position_flag, change_depth_flag, switch_on_off_flag, change_opacity_flag, resize_flag, 또는 rotation_flag, use_other_overlay_flag.

일 실시예에 따르면, 사용자가 360° 비디오의 위에 하나보다 많은 오버레이를 사용하도록 허용되는지를 지정하는 오버레이 파라미터가 사용될 수 있다.

일 실시예에 따르면, 오버레이 파라미터는 사용자가 2개 이상의 오버레이를 오버랩하도록 허용되는지를 정의하기 위해 사용될 수 있다.

일 실시예에 따르면, 오버레이 파라미터는 "user_other_overlay_flag"가 사용될 수 있는지에 기초하여 콘텐츠 기반 속성을 정의하기 위해 사용될 수 있다.

일 실시예에 따르면, 송신자는 가능한 조합들을 인식하기 위해 원격회의에서 다른 오버레이들의 정보를 획득하고, 송신자 식별자(ID) 및 오버레이 ID(들)의 조합을 사용하거나 송신자 ID 및 오버레이 ID(들)에 기초하여 고유 ID를 구축함으로써, 다른 송신자들의 오버레이들이 그 자신의 비디오와 조합될 수 있는지를 시그널링할 수 있다.

몰입형 원격회의에 대해, 다수의 오버레이 비디오 또는 이미지가 360° 비디오 상에 중첩될 때, 예컨대 이하의 정보가 포함될 수 있다:

a. 오버레이로서 사용되는 이미지 또는 비디오를 지정하는 오버레이 소스들

b. 오버레이가 뷰포트 또는 스피어에 대해 앵커링되는지를 설명하는 오버레이 렌더링 유형

c. 불투명과 같은 렌더링 성질들

d. 사용자 상호작용 성질들

도 2a 및 도 2b를 다시 참조하면, 전방향 카메라를 갖는 다수의 회의 룸이 원격회의에 있는 경우, 사용자는 몰입형 비디오로서 디스플레이되는 회의 룸들 중 하나로부터 비디오 스트림을 선택한다. 이제, 임의의 추가적인 프리젠테이션 재료/공유 스크린은 사용자가 스트리밍하고 있는 360° 비디오와 함께 사용될 때, 그것은 360° 비디오의 위에 오버레이로서 개별 스트림으로 송신된다.

일 실시예에 따르면, 도 3a에 도시된 바와 같이, 사용자(3a01)는 원격회의 룸 A(3a02)로부터, 자신의 전자 디바이스(예를 들어, HMD) 상에, 몰입형 비디오를 스트리밍하고 있다. 룸 A는 회의 룸 X(3a03) 및 룸 Y(3a04)에서 나오는 비디오 스트림들을 디스플레이하기 위해 스크린 공유를 사용할 수 있으며, 여기서 룸 X는 2D 비디오 스트림을 스트리밍하고 있고, 룸 Y는 프리젠테이션 스트림(예를 들어, 슬라이드쇼 프리젠테이션 또는 차트)을 스트리밍한다. 일 실시예에 따르면, 룸 X 및 룸 Y로부터의 스트림들은 또한 모든 다른 원격 사용자들에게 브로드캐스팅될 수 있다.

일 실시예에 따르면, 다수의 오버레이 플래그는 사용자가 하나보다 많은 오버레이를 디스플레이하는 것을 허용하기 위해 정의될 수 있다. 일 실시예에 따르면, 하나보다 많은 오버레이는 다른 사용자들뿐만 아니라 360° 비디오의 송신자로부터의 추가적인 오버레이를 포함할 수 있다.

다수의 오버레이 플래그가 1로 설정될 때, 360° 비디오를 스트리밍하는 사용자는 360° 비디오의 위에 다수의 오버레이를 사용하도록 허용될 수 있다.

일 실시예에 따르면, 다수의 오버레이 플래그가 0으로 설정될 때, 수신자에서의 사용자는 1 오버레이만을 사용할 수 있다. 물론, 0 및 1 외의 다른 값들이 사용될 수 있지만, 1 비트가 0 및 1을 사용하는 다수의 오버레이 플래그에 사용될 수 있다는 점이 주목된다.

일 실시예에 따르면, 다수의 오버레이 플래그 값은 360° 비디오의 송신자에 의해 설정될 수 있다.

일 실시예에 따르면, 다수의 오버레이 플래그는 초기 제안 응답 협상 동안 세션 기술 프로토콜(SDP)에서 제안될 수 있고 또한 세션들 동안 재협상될 수 있다.

다른 실시예에 따르면, 다수의 오버레이 플래그의 동일한 또는 유사한 사용은 도 3b에 도시된 바와 같이, MRF/MCU(3b06)가 호출을 셋업하기 위해 사용될 때, 사용될 수 있다.

동일한 또는 다른 실시예에서, 오버레이 오버랩 플래그와 같은 추가적인 플래그가 정의될 수 있다.

일 실시예에 따르면, 오버레이 오버랩 플래그는 사용자가 다른 송신자로부터의 오버레이들을 360° 비디오의 송신자에 의해 공유되는 오버레이들 위로 오버랩하도록 허용되는지를 표시할 수 있다.

일 실시예에 따르면, 디폴트에 의해, 오버레이 오버랩 플래그는 0과 동일할 수 있다.

일 실시예에 따르면, 오버레이 오버랩이 1로 설정될 때, 사용자는 다른 송신자로부터의 오버레이들을 360° 비디오의 송신자로부터의 오버레이 위로 오버랩할 수 있다.

일 실시예에 따르면, 파라미터는 360° 비디오의 송신자에 의해 설정될 수 있고 초기 제안 응답 협상 동안 제안될 수 있고 또한 세션들 동안 재협상될 수 있다.

동일한 또는 다른 실시예에 따르면, 클라이언트(예를 들어, 사용자 4a01)가 룸 A(룸 X로부터 스트림을 디스플레이하기 위해 스크린 공유를 사용함)로부터 360° 비디오 스트림을 사용하기를 원하지만, 또한 (룸 A에 의해 공유되는 스트림을 동시에 간소화하는 것에 더하여) 스트림들이 룸 A에 의해 공유되지 않는 룸 Z(4a05)로부터 오버레이를 사용하기를 원하는 시나리오를 고려할 때, 도 4a를 언급한다.

일 실시예에 따르면, 사용자들이 360° 비디오의 송신자에 의해 공유되지 않는 다른 송신자들로부터 오버레이들을 사용하도록 허용되는지를 지정하는 플래그 "use_other_overlay_flag"가 사용될 수 있다.

일 실시예에 따르면, 플래그 "use_other_overlay_flag"의 값은 360° 비디오가 스트리밍되고 있는 송신자에 의해 설정될 수 있다.

일 실시예에 따르면, "use_other_overlay_flag"는 360°의 송신자가 공유하고 있는 오버레이의 콘텐츠 유형에 기초할 수 있다.

일 실시예에 따르면, 콘텐츠 유형은 송신자가 공유하고 있는 각각의 오버레이에 대해 m= line 하에 속성 "a= permissible_content"를 포함함으로써 SDP 시그널링에서 초기 제안 응답 협상 동안 정의될 수 있다.

일 실시예에 따르면, 오버레이 플래그들의 유사한 또는 동일한 콘텐츠 유형 정의 및 사용은 비디오 호출을 셋업하기 위해 사용되는 도 4b의 실시예(들)에 사용될 수 있다.

동일한 또는 다른 실시예에서, 원격회의 호출이 개시될 때 360° 비디오의 송신자는 미디어 스트림 속성들의 수신에 대해 문의하는 요청을 회의의 모든 다른 사용자들에게 송신할 수 있다. 이것은 각각의 사용자가 원격회의에서 수신할 수 있는 모든 오버레이들의 콘텐츠 유형들에 대해 알기 위한 것이다. 사용자들은 그것의 정보를 송신자와 공유하거나 공유하지 않는 것을 원할 수 있다. 이것은 사용자들의 보안 양태에 기초할 수 있다.

일 실시예에 따르면, 송신자는 사용자가 또한 이 정보를 다른 송신자들/사용자들과 공유하도록 허용되는지를 시그널링할 수 있다. 그것이 허용되지 않을 때, 사용자는 송신자의 스트림들을 다른 송신자들과 공유하지 않을 수 있다.

일 실시예에 따르면, 송신자가 다른 송신자로부터 스트림들의 정보를 포함하는 사용자로부터의 대답을 수신할 때, 송신자는 글로벌 고유 오버레이 ID(들)를 원격회의 세션 내의 모든 오버레이들에 할당하기 위해 각각의 오버레이 ID와 함께 각각의 송신자 ID를 사용할 수 있다.

일 실시예에 따르면, 글로벌 고유 ID들의 구축은 모든 송신자들 및 사용자들과 공유될 수 있어, 글로벌 고유 ID들은 모든 엔티티들에 의해 파싱되고 처리될 수 있다.

동일한 또는 유사한 실시예에 따르면, 송신자는 사용자가 그것의 비디오 스트림들을 다른 송신자들에 통신하는 것을 허용할 때, 송신자는 송신자가 사용자와 통신(예를 들어, 사용자에게 송신)할 때 "share_streams_info_allowed" 플래그를 설정할 수 있다.

동일한 실시예에서, 사용자들이 속성들을 공유하기 위한 송신자의 요청을 수락하면, 그것은 또한 다른 오버레이들이 미디어 스트림과 함께 사용될 수 있는 경우 통신하기 위해 플래그들 "multiple_overlay_flag", "overlay_overlap_flag"을 포함할 수 있다.

동일한 또는 유사한 실시예에서, 사용자(들)가 사용자 속성들(또는 송신자 속성들)을 공유하기 위한 송신자의 요청을 수락할 때, 미디어 스트림과 함께 사용될 수 있는 허가가능 콘텐츠 유형을 지정하는 속성이 포함될 수 있다.

일 실시예에 따르면, 송신자는 미디어 스트림들에 대한 사용자들로부터의 대답을 수신한 후에, 다른 오버레이들의 속성들에 기초할 수 있는 선택된 오버레이들만을 사용자에게 송신할 수 있다.

사용자들의 상호작용이 위의 기재에서 설명되었지만, 사용자 상호작용들이 스마트폰 또는 HMD 디바이스와 같은, 전자 디바이스들에 의해 용이하게 된다는 점이 주목된다. 따라서, 명세서는 액션을 수행하도록 허용되는 사용자를 설명할 때, 개시는 사용자가 사용하고 있는 사용자와 연관된 원격 단말(예를 들어, 비디오 호출로 다이얼된 원격 단말)에 관한 것이며, 그것은 액션을 수행하도록 허용된다(또는 허용되지 않음).

위에 설명된, 몰입형 원격회의 및 텔레프레전스에 대한 오버레이 취급을 위한 기술들은 컴퓨터 판독가능 명령어들을 사용하는 컴퓨터 소프트웨어로서 구현되고 하나 이상의 컴퓨터 판독가능 매체에 물리적으로 저장될 수 있다. 예를 들어, 도 5는 개시된 발명 대상의 특정 실시예들을 구현하는데 적절한 컴퓨터 시스템(500)을 도시한다.

컴퓨터 소프트웨어는 직접적으로, 또는 해석, 마이크로 코드 실행 등을 통해, 컴퓨터 중앙 처리 유닛들(central processing units)(CPUs), 그래픽 처리 유닛들(Graphics Processing Units)(GPUs) 등에 의해 실행될 수 있는 명령어들을 포함하는 코드를 생성하기 위해 어셈블리, 컴파일화, 링킹, 또는 유사한 메커니즘들을 겪을 수 있는, 임의의 적절한 머신 코드 또는 컴퓨터 언어를 사용하여 코딩될 수 있다.

명령어들은 예를 들어, 개인용 컴퓨터들, 태블릿 컴퓨터들, 서버들, 스마트폰들, 게임 디바이스들, 사물 인터넷 디바이스들 등을 포함하는, 다양한 유형들의 컴퓨터들 또는 그것의 구성요소들 상에 실행될 수 있다.

컴퓨터 시스템(500)에 대해 도 5에 도시된 구성요소들은 본질적으로 예시적이고 본 개시의 실시예들을 구현하는 컴퓨터 소프트웨어의 사용 또는 기능의 범위에 관한 임의의 제한을 시사하도록 의도되지 않는다. 구성요소들의 구성은 컴퓨터 시스템(500)의 예시적인 실시예에 예시된 구성요소들 중 어느 하나 또는 조합에 관련된 임의의 종속성 또는 요건을 갖는 것으로 해석되지 않아야 한다.

컴퓨터 시스템(500)은 특정 인간 인터페이스 입력 디바이스들을 포함할 수 있다. 그러한 인간 인터페이스 입력 디바이스는 예를 들어, 촉각 입력(예컨대, 키스트로크들, 스와이프들, 데이터 글러브 이동들), 오디오 입력(예컨대, 음성, 박수), 시각 입력(예컨대, 제스처들), 후각 입력을 통한 하나 이상의 인간 사용자에 의한 입력에 응답할 수 있다. 인간 인터페이스 디바이스들은 또한 오디오(예컨대, 스피치, 뮤직, 주변 사운드), 이미지들(예컨대, 스캐닝된 이미지들, 스틸 이미지 카메라로부터 획득된 사진 이미지들), 비디오(예컨대, 2차원 비디오, 입체 비디오를 포함하는 3차원 비디오)와 같은, 인간에 의한 의식적인 입력에 반드시 직접 관련되는 것은 아닌 특정 미디어를 캡처하기 위해 사용될 수 있다.

실시예들에 따르면, 입력 인간 인터페이스 디바이스들은 키보드(501), 마우스(502), 트랙패드(503), 터치 스크린(510), 데이터 글러브, 조이스틱(505), 마이크로폰(506), 스캐너(507), 또는 카메라(508) 중 하나 이상을 포함할 수 있다.

일 실시예에 따르면, 컴퓨터 시스템(500)은 또한 특정 인간 인터페이스 출력 디바이스들을 포함할 수 있다. 그러한 인간 인터페이스 출력 디바이스들은 예를 들어, 촉각 출력, 사운드, 광, 및 냄새/맛을 통해 하나 이상의 인간 사용자의 감각들을 자극하고 있을 수 있다. 그러한 인간 인터페이스 출력 디바이스들은 하나 이상의 촉각 출력 디바이스(예를 들어 터치 스크린(510), 데이터 글러브, 또는 조이스틱(505)에 의한 촉각 피드백이지만, 또한 입력 디바이스들의 역할을 하지 않는 촉각 피드백 디바이스들이 있을 수 있음), 오디오 출력 디바이스들(예컨대, 스피커들(509), 헤드폰들), 시각 출력 디바이스들(예컨대, 음극선관(Cathode-ray tube)(CRT) 스크린들, 액정 디스플레이(liquid crystal display)(LCD) 스크린들, 플라즈마 스크린들, 발광 다이오드(light emitting diode)(LED), 예컨대 유기 LED(OLED) 스크린들을 포함하는 스크린들(510) - 각각은 터치 스크린 입력 능력을 갖거나 갖지 않고, 각각은 촉각 피드백 능력을 갖거나 갖지 않으며 그의 일부는 입체 출력과 같은 수단을 통해 2차원 시각 출력 또는 3차원 초과 출력을 출력 가능할 수 있음 - ; 가상 현실 안경들, 홀로그래픽 디스플레이들 및 스모크 탱크들), 및 프린터들을 포함할 수 있다.

일 실시예에 따르면, 컴퓨터 시스템(500)은 또한 인간 액세스가능 저장 디바이스들 및 그들의 연관된 매체들 예컨대 콤팩트 디스크(compact disc)(CD) 판독 전용 메모리(Read-Only Memory)(ROM)/판독/기입 메모리(RW), 또는 디지털 다기능 디스크(Digital Versatile Disc)(DVD) ROM/RW를 포함할 수 있거나 CD/DVD 또는 유사한 매체들(521)과 CD/DVD ROM/RW(520)의 조합을 포함하는 광학 매체가 사용될 수 있다. 추가적으로 또는 대안적으로, 이하 중 하나 이상은 저장에 사용될 수 있다: 섬 드라이브(522), 제거식 하드 드라이브 또는 고체 상태 드라이브(solid-state drive)(SSD)(523), 레거시 자기 매체들 예컨대 테이프 및 플로피 디스크, 전문 ROM/주문형 집적 회로(Application Specific Integrated Circuit)(ASIC)/프로그램가능 로직 디바이스(programmable logic device)(PLD) 기반 디바이스들 예컨대 보안 동글들 등.

본 기술분야의 통상의 기술자들은 또한 현재 개시된 발명 대상과 관련하여 사용되는 바와 같은 용어 "컴퓨터 판독가능 매체"가 전송 매체들, 반송파들, 또는 다른 일시적 신호들을 포함하지 않는 것을 이해해야 한다. 즉, 컴퓨터 판독가능 매체는 비일시적 컴퓨터 판독가능 매체에 관한 것이다.

일 실시예에 따르면, 컴퓨터 시스템(500)은 또한 하나 이상의 통신 네트워크에 대한 인터페이스를 포함할 수 있다. 네트워크들은 예를 들어, 무선, 유선, 광일 수 있다. 네트워크들은 또한 근거리, 광역, 대도시권, 차량 및 산업용, 실시간, 지연 허용 등일 수 있다. 네트워크들의 예들은 이더넷과 같은 근거리 네트워크들, 무선 근거리 네트워크들(local area networks)(LANs), 이동 통신 세계화 시스템(Global System for Mobile communications)(GSM), 제3세대(3G), 제4세대(4G), 제5세대(5G), 롱 텀 에볼루션(Long-Term Evolution)(LTE), 또는 임의의 다른 통신 표준을 포함하는 셀룰러 네트워크들, 케이블 TV, 위성 TV, 및 지상파 방송 TV를 포함하는 유선 또는 무선 광역 디지털 네트워크들을 통한 텔레비전(TV), 계측 제어기 통신망 버스(Controller Area Network bus)(CANBus)을 포함하는 차량 및 산업용 등을 포함한다. 특정 네트워크들은 특정 일반 목적 데이터 포트들 또는 주변 버스들(549)(예를 들어, 컴퓨터 시스템(500)의 범용 직렬 버스(universal serial bus)(USB) 포트들과 같음)에 부착되는 외부 네트워크 인터페이스 어댑터들을 통상 필요로 하고; 다른 것들은 아래에 설명되는 바와 같은 시스템 버스(예를 들어 개인용 컴퓨터(PC) 컴퓨터 시스템으로의 이더넷 인터페이스 또는 스마트폰 컴퓨터 시스템으로의 셀룰러 네트워크 인터페이스)에 부착함으로써 컴퓨터 시스템(500)의 코어에 통상 통합된다. 이들 네트워크들 중 어느 것을 사용하면, 컴퓨터 시스템(500)은 다른 엔티티들과 통신할 수 있다. 그러한 통신은 예를 들어 근거리 또는 광역 디지털 네트워크들을 사용하여 다른 컴퓨터 시스템들에 대해 단방향 수신 전용(예를 들어, 방송 TV), 단방향 송신 전용(예를 들어, CANbus 대 특정 CANbus 디바이스들), 또는 양방향일 수 있다. 특정 프로토콜들 및 프로토콜 스택들은 위에 설명된 바와 같이, 그들 네트워크들 및 네트워크 인터페이스들 각각 상에 사용될 수 있다.

상술한 인간 인터페이스 디바이스들, 인간 액세스가능 저장 디바이스들, 및 네트워크 인터페이스들은 컴퓨터 시스템(500)의 코어(540)에 부착될 수 있다.

코어(540)는 하나 이상의 중앙 처리 유닛들(CPU)(541), 그래픽 처리 유닛들(GPU)(542), 필드 프로그램가능 게이트 영역들(Field Programmable Gate Areas)(FPGA)(543)의 형태인 전문 프로그램가능 처리 유닛들, 특정 작업들을 위한 하드웨어 가속기들(544) 등을 포함할 수 있다. 이들 디바이스들은 판독 전용 메모리(ROM)(545), 랜덤 액세스 메모리(546), 내부 대량 스토리지 예컨대 내부 비사용자 액세스가능 하드 드라이브들, SSD들, 및 유사한 것(547)과 함께, 시스템 버스(548)를 통해 연결될 수 있다. 일부 컴퓨터 시스템들에서, 시스템 버스(548)는 추가적인 중앙 처리 유닛들(CPUs), 그래픽 처리 유닛들(GPU) 등에 의한 확장들을 가능하게 하기 위해 하나 이상의 물리적 플러그의 형태로 액세스가능할 수 있다. 주변 디바이스들은 코어의 시스템 버스(548)에 직접적으로, 또는 주변 버스(549)를 통해 부착될 수 있다. 주변 버스에 대한 아키텍처들은 주변 구성요소 상호연결(peripheral component interconnect)(PCI), USB 등을 포함할 수 있다.

CPU들(541), GPU들(542), FPGA들(543), 및 가속기들(544)은 조합하여, 상술한 컴퓨터 코드를 구성할 수 있는 특정 명령어들을 실행할 수 있다. 그러한 컴퓨터 코드는 ROM(545) 또는 랜덤 액세스 메모리(Random Access Memory)(RAM)(546)에 저장될 수 있다. 전이 데이터는 또한 RAM(546)에 저장될 수 있는 반면, 영구 데이터는 예를 들어, 내부 대량 스토리지(547)에 저장될 수 있다. 메모리 디바이스들 중 어느 것에 대한 고속 저장 및 검색은 캐시 메모리의 사용을 가능하게 될 수 있으며, 이는 하나 이상의 CPU(541), GPU(542), 대량 스토리지(547), ROM(545), RAM(546) 등과 밀접히 연관될 수 있다.

컴퓨터 판독가능 매체는 다양한 컴퓨터에 의해 구현되는 동작들을 수행하기 위한 컴퓨터 코드를 가질 수 있다. 매체들 및 컴퓨터 코드는 본 개시의 목적들을 위해 특별히 디자인되고 구성될 수 있거나, 컴퓨터 소프트웨어 기술분야의 통상의 기술자들에게 널리 공지되어 있고 이용가능한 종류일 수 있다.

제한이 아닌 일 예로서, 아키텍처(500), 및 구체적으로 코어(540)를 갖는 컴퓨터 시스템은 프로세서(들)(CPU들, GPU들, FPGA, 가속기들 등을 포함함)가 하나 이상의 유형의 컴퓨터 판독가능 매체에 구체화되는 소프트웨어를 실행하는 결과로서 기능성을 제공할 수 있다. 그러한 컴퓨터 판독가능 매체는 코어-내부 대량 스토리지(547) 또는 ROM(545)과 같은, 비일시적 성질인 코어(540)의 특정 스토리지뿐만 아니라, 위에 도입된 바와 같은 사용자 액세스가능 대량 스토리지와 연관된 매체들일 수 있다. 본 개시의 다양한 실시예들을 구현하는 소프트웨어는 그러한 디바이스들에 저장되고 코어(540)에 의해 실행될 수 있다. 컴퓨터 판독가능 매체는 특정 요구들에 따라, 하나 이상의 메모리 디바이스 또는 칩을 포함할 수 있다. 소프트웨어는 코어(540) 및 구체적으로 그 안의 프로세서들(CPU, GPU, FPGA 등을 포함함)로 하여금 RAM(546)에 저장된 데이터 구조들을 정의하는 것 및 소프트웨어에 의해 정의된 프로세스들에 따라 그러한 데이터 구조들을 수정하는 것을 포함하는, 본원에 설명된 특정 프로세스들 또는 특정 프로세스들의 특정 부분들을 실행하게 할 수 있다. 추가적으로 또는 대안으로서, 컴퓨터 시스템은 회로(예를 들어, 가속기(544))에 로직 하드와이어되거나 그렇지 않으면 구체화되는 결과로서 기능성을 제공할 수 있으며, 이는 본원에 설명된 특정 프로세스들 또는 특정 프로세스들의 특정 부분들을 실행하기 위해 소프트웨어 대신에 또는 소프트웨어와 함께 동작할 수 있다. 소프트웨어에 대한 참조는 적절한 경우에, 로직을 포함할 수 있고, 그 역도 또한 마찬가지이다. 컴퓨터 판독가능 매체에 대한 참조는 적절한 경우에, 실행을 위한 소프트웨어를 저장하는 회로(예컨대, 집적 회로(integrated circuit)(IC)), 실행을 위한 로직을 구체화하는 회로, 또는 둘 다를 포함할 수 있다. 본 개시는 하드웨어 및 소프트웨어의 임의의 적절한 조합을 포함한다.

본 개시가 수개의 예시적인 실시예들을 설명했지만, 개시의 범위 내에 있는, 변경들, 순열들, 및 다양한 치환 균등물들이 있다. 따라서, 본 기술분야의 통상의 기술자들은 본원에 명시적으로 도시되거나 설명되지 않지만, 개시의 원리들을 구체화하고 따라서 그것의 사상 및 범위 내에 있는 다수의 시스템 및 방법을 고안할 수 있다는 점이 이해될 것이다.

이제 도 6을 참조하면, 화상 회의를 위한 방법(600)의 단계들을 예시하는 동작 흐름도가 도시된다. 일부 구현들에서, 하나 이상의 프로세스 블록은 컴퓨터 및 서버에 의해 수행될 수 있다. 일부 구현들에서, 하나 이상의 프로세스 블록은 컴퓨터 및 서버에서 분리되거나 이들을 포함하는 다른 디바이스 또는 디바이스들의 그룹에 의해 수행될 수 있다.

실시예들은 화상 회의를 위한 방법, 시스템, 및 비일시적 컴퓨터 판독가능 매체에 관한 것이다.

도 6에 도시된 바와 같이, 비디오 데이터를 스트리밍하기 위한 방법이 제공될 수 있다.

도 6에 도시된 바와 같이, 방법은 이하를 포함할 수 있다:

동작 601: 사용자 단말에 의해, 전자 디바이스 또는 서버로부터, 360° 비디오 스트림을 수신하며, 360° 비디오 스트림은 360° 비디오 스트림을 2개 이상의 오버레이로 오버레이하는 것이 사용자 단말에 의해 허가가능한지를 표시하는 다중 오버레이 파라미터를 포함하고;

동작 602: 사용자 단말에 의해, 360° 비디오 스트림을 디스플레이하고;

동작 603: 360° 비디오 스트림을 2개 이상의 오버레이로 오버레이하는 것이 사용자 단말에 의해 실제로 허가가능한 것을 다중 오버레이 파라미터가 실제로 표시하는지의 여부를 결정한다.

동작 604: 다중 오버레이 파라미터가 제1 값일 때, 사용자 단말에 의해, 360° 비디오 스트림을 2개 이상의 오버레이로 오버레이하는 것이 사용자 단말에 의해 허가가능한 것을 결정하고, 사용자 단말에 의해, 360° 비디오 스트림을 2개 이상의 오버레이로 디스플레이하고;

동작 605: 다중 오버레이 파라미터가 제2 값일 때, 사용자 단말에 의해, 360° 비디오 스트림을 2개 이상의 오버레이로 오버레이하는 것이 사용자 단말에 의해 허가가능하지 않은 것을 결정하고, 사용자 단말에 의해, 360° 비디오 스트림을 0 오버레이들 또는 1 오버레이로 디스플레이한다.

다중 오버레이 파라미터는 360° 비디오 스트림의 세션 기술 프로토콜(SDP)에서 제안될 수 있다.

일 실시예에 따르면, 컴퓨터 프로그램을 저장한 비일시적 컴퓨터 판독가능 매체로서, 컴퓨터 프로그램은 하나 이상의 컴퓨터 프로세서로 하여금, 360° 비디오 스트림을 수신하게 하며, 360° 비디오 스트림은 360° 비디오 스트림을 2개 이상의 오버레이로 오버레이하는 것이 허가가능한지를 표시하는 다중 오버레이 파라미터를 포함하고; 디스플레이를 제어하여 수신된 360° 비디오 스트림을 디스플레이하게 하고; 다중 오버레이 파라미터가 제1 값일 때, 360° 비디오 스트림을 2개 이상의 오버레이로 오버레이하는 것이 허가가능한 것을 결정하게 하고, 디스플레이를 제어하여 360° 비디오 스트림을 2개 이상의 오버레이로 디스플레이하게 하고; 다중 오버레이 파라미터가 제2 값일 때, 360° 비디오 스트림을 2개 이상의 오버레이로 오버레이하는 것이 허가가능하지 않은 것을 결정하게 하고, 디스플레이를 제어하여 360° 비디오 스트림을 0 오버레이들 또는 1 오버레이로 디스플레이하게 하도록 구성되며, 제1 값은 제2 값과 상이할 수 있고, 오버레이 또는 오버레이들은 다른 비디오 스트림, 또는 이미지 중 하나 이상을 포함한다.

흐름도들(예를 들어, 도 6)은 일 구현의 예시만을 제공하고 상이한 실시예들이 어떻게 구현될 수 있는지에 대한 임의의 제한들을 암시하지 않는다는 점이 이해될 수 있다. 도시된 환경들에 대한 많은 수정들은 디자인 및 구현 요건들에 기초하여 이루어질 수 있다.

위에 설명된 기술들은 하나 이상의 컴퓨터 판독가능 매체(예를 들어, 하드 디스크 드라이브)에 물리적으로 저장될 수 있는 컴퓨터 판독가능 명령어들을 갖는 컴퓨터 소프트웨어를 실행할 수 있는 하나 이상의 프로세서에 의해 구현될 수 있다. 예를 들어, 도 5는 개시된 발명 대상의 특정 실시예들을 구현하는데 적절한 컴퓨터 시스템을 도시한다.

컴퓨터 소프트웨어는 직접적으로, 또는 해석, 마이크로 코드 실행 등을 통해, 컴퓨터 중앙 처리 유닛들(CPUs), 그래픽 처리 유닛들(GPUs) 등에 의해 실행될 수 있는 명령어들을 포함하는 코드를 생성하기 위해 어셈블리, 컴파일화, 링킹, 또는 유사한 메커니즘들을 겪을 수 있는, 임의의 적절한 머신 코드 또는 컴퓨터 언어를 사용하여 코딩될 수 있다.

명령어들은 예를 들어, 개인용 컴퓨터들, 태블릿 컴퓨터들, 서버들, 스마트폰들, 게임 디바이스들, 사물 인터넷(IoT) 디바이스들 등을 포함하는, 다양한 유형들의 컴퓨터들 또는 그것의 구성요소들 상에 실행될 수 있다.

일부 실시예들은 임의의 가능한 기술적 상세 레벨의 통합에서 시스템, 방법, 및/또는 컴퓨터 판독가능 매체에 관한 것일 수 있다. 컴퓨터 판독가능 매체는 프로세서로 하여금 동작들을 수행하게 하기 위한 컴퓨터 판독가능 프로그램 명령어들을 갖는 컴퓨터 판독가능 비일시적 저장 매체(또는 매체들)를 포함할 수 있다.

컴퓨터 판독가능 저장 매체는 명령어 실행 디바이스에 의해 사용하기 위한 명령어들을 유지하고 저장할 수 있는 유형의 디바이스일 수 있다. 컴퓨터 판독가능 저장 매체는 예를 들어, 전자 저장 디바이스, 자기 저장 디바이스, 광 저장 디바이스, 전자기 저장 디바이스, 반도체 저장 디바이스, 또는 상술한 것의 임의의 적절한 조합일 수 있지만, 이들에 제한되지 않는다. 컴퓨터 판독가능 저장 매체의 더 구체적인 예들의 비소모적 리스트는 이하를 포함한다: 휴대용 컴퓨터 디스켓, 하드 디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 소거가능 프로그램가능 판독 전용 메모리(EPROM 또는 플래시 메모리), 정적 랜덤 액세스 메모리(static random access memory)(SRAM), 휴대용 콤팩트 디스크 판독 전용 메모리(CD-ROM), 디지털 다가능 디스크(DVD), 메모리 스틱, 플로피 디스크, 기계적으로 인코딩된 디바이스 예컨대 명령어들을 기록한 그루브 내의 펀치 카드들 또는 상승된 구조들, 및 상술한 것의 임의의 적절한 조합. 컴퓨터 판독가능 저장 매체는 본원에서 사용되는 바와 같이, 일시적 신호들 자체, 예컨대 라디오 파들 또는 다른 자유 전파 전자기 파들, 도파로 또는 다른 전송 매체들을 통해 전파되는 전자기 파들(예를 들어, 광섬유 케이블을 통과하는 광 펄스들), 또는 와이어를 통해 송신되는 전기 신호들인 것으로 해석되지 않아야 한다.

본원에 설명된 컴퓨터 판독가능 프로그램 명령어들은 컴퓨터 판독가능 저장 매체로부터 각각의 컴퓨팅/처리 디바이스들로 또는 네트워크, 예를 들어, 인터넷, 근거리 네트워크, 광역 네트워크 및/또는 무선 네트워크를 통해 외부 컴퓨터 또는 외부 저장 디바이스로 다운로드될 수 있다. 네트워크는 구리 전송 케이블들, 광 송신 섬유들, 무선 전송, 라우터들, 방화벽들, 스위치들, 게이트웨이 컴퓨터들 및/또는 에지 서버들을 포함할 수 있다. 각각의 컴퓨팅/처리 디바이스 내의 네트워크 어댑터 카드 또는 네트워크 인터페이스는 네트워크로부터 컴퓨터 판독가능 프로그램 명령어들을 수신하고 각각의 컴퓨팅/처리 디바이스 내의 컴퓨터 판독가능 저장 매체에 저장을 위해 컴퓨터 판독가능 프로그램 명령어들을 전송한다.

동작들을 수행하기 위한 컴퓨터 판독가능 프로그램 코드/명령어들은 어셈블러 명령어들, 명령어 집합 아키텍처(instruction-set-architecture)(ISA) 명령어들, 머신 명령어들, 머신 의존 명령어들, 마이크로코드, 펌웨어 명령어들, 상태 설정 데이터, 집적 회로를 위한 구성 데이터, 또는 스몰토크, C++ 등과 같은 객체 지향 프로그래밍 언어, 및 "C" 프로그래밍 언어 또는 유사한 프로그래밍 언어들과 같은 절차적 프로그래밍 언어들을 포함하는, 하나 이상의 프로그래밍 언어의 임의의 조합으로 기입된 원시 코드 또는 목적 코드일 수 있다. 컴퓨터 판독가능 프로그램 명령어들은 사용자의 컴퓨터 상에 전체적으로, 사용자의 컴퓨터 상에 부분적으로, 독립형 소프트웨어 패키지로서, 사용자의 컴퓨터 상에 부분적으로 그리고 원격 컴퓨터 상에 부분적으로 또는 원격 컴퓨터 또는 서버 상에 전체적으로 실행할 수 있다. 후자의 시나리오에서, 원격 컴퓨터는 근거리 네트워크(LAN) 또는 광역 네트워크(WAN)를 포함하는, 임의의 유형의 네트워크를 통해 사용자의 컴퓨터에 연결될 수 있거나, 연결은 외부 컴퓨터에 (예를 들어, 인터넷 서비스 제공자를 사용하여 인터넷을 통해) 이루어질 수 있다. 일부 실시예들에서, 예를 들어, 프로그램가능 로직 회로, 필드 프로그램가능 게이트 어레이들(field-programmable gate arrays)(FPGA), 또는 프로그램가능 로직 어레이들(programmable logic arrays)(PLA)을 포함하는 전자 회로는 양태들 또는 동작들을 수행하기 위해, 전자 회로를 개인화하도록 컴퓨터 판독가능 프로그램 명령어들의 상태 정보를 이용함으로써 컴퓨터 판독가능 프로그램 명령어들을 실행할 수 있다.

이들 컴퓨터 판독가능 프로그램 명령어들은 머신을 생성하기 위해 일반 목적 컴퓨터, 특수 목적 컴퓨터, 또는 다른 프로그램가능 데이터 처리 장치의 프로세서에 제공될 수 있어, 컴퓨터 또는 다른 프로그램가능 데이터 처리 장치의 프로세서를 통해 실행하는 명령어들은 흐름도 및/또는 블록도 블록 또는 블록들에 지정된 기능들/액트들을 구현하기 위한 수단을 생성한다. 이들 컴퓨터 판독가능 프로그램 명령어들은 또한 컴퓨터, 프로그램가능 데이터 처리 장치, 및/또는 다른 디바이스들에 특정 방식으로 기능하도록 지시할 수 있는 컴퓨터 판독가능 저장 매체에 저장될 수 있어, 명령어들을 저장한 컴퓨터 판독가능 저장 매체는 흐름도 및/또는 블록도 블록 또는 블록들에 지정된 기능/액트의 양태들을 구현하는 명령어들을 포함하는 제조 물품을 포함한다.

컴퓨터 판독가능 프로그램 명령어들은 또한 컴퓨터, 다른 프로그램가능 데이터 처리 장치, 또는 다른 디바이스 위로 로딩되어 일련의 동작 단계들이 컴퓨터, 다른 프로그햄가능 장치 또는 다른 디바이스 상에 수행되게 하여 컴퓨터에 의해 구현되는 프로세스를 생성할 수 있어, 컴퓨터, 다른 프로그햄가능 장치, 또는 다른 디바이스 상에 실행하는 명령어들은 흐름도 및/또는 블록도 블록 또는 블록들에 지정된 기능들/액트들을 구현한다.

도면들 내의 흐름도 및 블록도들은 다양한 실시예들에 따른 시스템들, 방법들, 및 컴퓨터 판독가능 매체들의 가능한 구현들의 아키텍처, 기능성, 및 동작을 예시한다. 이와 관련하여, 흐름도 또는 블록도들 내의 각각의 블록은 모듈, 세그먼트, 또는 명령어들의 일부를 표현할 수 있으며, 이는 지정된 논리 기능(들)을 구현하기 위한 하나 이상의 실행가능 명령어를 포함한다. 방법, 컴퓨터 시스템, 및 컴퓨터 판독가능 매체는 도면들에 도시된 것들보다 추가적인 블록들, 더 적은 블록들, 상이한 블록들, 또는 상이하게 배열된 블록들을 포함할 수 있다. 일부 대안 구현들에서, 블록들에 주목된 기능들은 도면들에 주목된 순서 밖에서 발생할 수 있다. 예를 들어, 계속하여 도시된 2개의 블록은 실제로, 동시에 또는 실질적으로 동시에 실행될 수 있거나, 블록들은 수반되는 기능성에 따라, 때때로 역 순서로 실행될 수 있다. 또한 블록도들 및/또는 흐름도 예시의 각각의 블록, 및 블록도들 및/또는 흐름도 예시 내의 블록들의 조합들은 지정된 기능들 또는 액트들을 수행하거나 특수 목적 하드웨어 및 컴퓨터 명령어들의 조합들을 수행하는 특수 목적 하드웨어 기반 시스템들에 의해 구현될 수 있다는 점이 주목될 것이다.

본원에 설명된 시스템들 및/또는 방법들은 상이한 형태들의 하드웨어, 펌웨어, 또는 하드웨어 및 소프트웨어의 조합으로 구현될 수 있는 것이 분명할 것이다. 이들 시스템들 및/또는 방법들을 구현하기 위해 사용되는 실제 전문 제어 하드웨어 또는 소프트웨어 코드는 구현들을 제한하지 않는다. 따라서, 시스템들 및/또는 방법들의 동작 및 작용은 특정 소프트웨어 코드에 대한 참조 없이 본원에 설명되었다-소프트웨어 및 하드웨어는 본원에서의 설명에 기초하여 시스템들 및/또는 방법들을 구현하도록 디자인될 수 있다는 점이 이해된다.

본원에 사용되는 어떠한 요소, 액트, 또는 명령어도 그와 같이 명시적으로 설명되지 않는 한 중요하거나 필수적인 것으로 해석되지 않아야 한다. 또한, 본원에서 사용되는 바와 같이, 관사들("a" 및 "an")은 하나 이상의 아이템을 포함하는 것으로 의도되고, "하나 이상"과 교환가능하게 사용될 수 있다. 더욱이, 본원에서 사용되는 바와 같이, 용어 "세트"는 하나 이상의 아이템(예를 들어, 관련 아이템들, 비관련 아이템들, 관련 및 비관련 아이템들의 조합 등)을 포함하는 것으로 의도되고, "하나 이상"과 교환가능하게 사용될 수 있다. 하나의 아이템만이 의도되는 경우, 용어 "하나의" 또는 유사한 언어가 사용된다. 또한, 본원에서 사용되는 바와 같이, 용어들 "갖고 있다", "갖는다", "갖는" 등은 개방형 용어들인 것으로 의도된다. 게다가, 구 "에 기초하여"는 달리 명시적으로 진술되지 않는 한 "에 적어도 부분적으로 기초하여"를 의미하는 것으로 의도된다.

다양한 양태들 및 실시예들의 설명들은 예시의 목적들을 위해 제시되었지만, 총망라하는 것 또는 개시된 실시예들에 제한되는 것으로 의도되지 않는다. 특징들의 조합들이 청구항들에 나열되고/되거나 명세서에 개시되어 있지만, 이들 조합들은 가능한 구현들의 개시를 제한하는 것으로 의도되지 않는다. 실제로, 이들 특징들 중 다수는 청구항들에 구체적으로 나열되지 않고/않거나 명세서에 개시되지 않은 방식들로 조합될 수 있다. 아래에 리스트되는 각각의 종속항이 하나의 청구항에만 직접 의존할 수 있지만, 가능한 구현들의 개시는 청구항 세트 내의 모든 다른 청구항과 조합하여 각각의 종속항을 포함한다. 많은 수정들 및 변화들은 설명된 실시예들의 범위로부터 벗어나지 않고 본 기술분야의 통상의 기술자들에게 분명할 것이다. 본원에서 사용되는 전문용어는 시장에서 발견되는 기술들에 비해 실시예들, 실제적 적용 또는 기술적 개선의 원리들을 가장 잘 설명하거나, 본 기술분야의 다른 통상의 기술자들이 본원에 개시된 실시예들을 이해할 수 있게 하도록 선택되었다.

Claims

방법으로서,
사용자 단말에 의해, 전자 디바이스 또는 서버로부터, 360° 비디오 스트림을 수신하는 단계 - 상기 360° 비디오 스트림은 상기 360° 비디오 스트림을 2개 이상의 오버레이로 오버레이하는 것이 상기 사용자 단말에 의해 허가가능한지를 표시하는 다중 오버레이 파라미터를 포함함 - ;
상기 사용자 단말에 의해, 상기 360° 비디오 스트림을 디스플레이하는 단계;
상기 다중 오버레이 파라미터가 제1 값일 때, 상기 사용자 단말에 의해, 상기 360° 비디오 스트림을 2개 이상의 오버레이로 오버레이하는 것이 상기 사용자 단말에 의해 허가가능한 것을 결정하고, 상기 사용자 단말에 의해, 상기 360° 비디오 스트림을 상기 2개 이상의 오버레이로 디스플레이하는 단계; 및
상기 다중 오버레이 파라미터가 제2 값일 때, 상기 사용자 단말에 의해, 상기 360° 비디오 스트림을 2개 이상의 오버레이로 오버레이하는 것이 상기 사용자 단말에 의해 허가가능하지 않은 것을 결정하고, 상기 사용자 단말에 의해, 상기 360° 비디오 스트림을 0 오버레이들 또는 1 오버레이로 디스플레이하는 단계를 포함하며,
상기 제1 값은 상기 제2 값과 상이하고,
상기 오버레이 또는 오버레이들은 다른 비디오 스트림, 또는 이미지 중 하나 이상을 포함하는, 방법.
제1항에 있어서,
상기 360° 비디오 스트림은 상기 2개 이상의 오버레이 중 하나를 제1 오버레이와 오버랩하는 것이 허가가능한지를 표시하는 오버레이 오버랩 파라미터를 포함하고,
상기 방법은,
상기 2개 이상의 오버레이 중 하나를 상기 제1 오버레이와 오버랩하는 것이 허가가능한 것을 상기 오버레이 오버랩 파라미터가 표시할 때 상기 제1 오버레이를 상기 360° 비디오 스트림과 오버랩하도록 중첩된 2개 이상의 오버레이 중 하나를 상기 사용자 단말에 의해 디스플레이하는 단계를 추가로 포함하는, 방법.
제1항에 있어서, 상기 360° 비디오 스트림은 상기 2개 이상의 오버레이의 사용을 허용하는 콘텐츠 기반 속성을 포함하는, 방법.
제1항에 있어서, 상기 360° 비디오 스트림은 상기 사용자가 송신자의 스트림 정보를 다른 송신자들과 공유하도록 허용될 때 시그널링하는 플래그를 포함하는, 방법.
제1항에 있어서,
상기 사용자 단말에 의해, 상기 전자 디바이스 또는 서버로부터 요청을 수신하는 단계 - 상기 요청은 원격회의 중의 하나 이상의 사용자가 미디어 스트림 속성들을 공유하기 위한 요청임 - ; 및
상기 사용자 단말에 의해 상기 전자 디바이스 또는 서버에, 상기 사용자 단말이 공유를 인가하는 미디어 스트림 속성들에 관한 정보를 송신하는 단계를 추가로 포함하는, 방법.
제5항에 있어서, 상기 사용자가 기꺼이 공유하는 미디어 스트림 속성들에 관한 정보는 송신자 ID에 대응하는 식별자(ID)를 포함하는, 방법.
제6항에 있어서,
적어도 하나의 송신자 ID를 적어도 하나의 오버레이 ID와 조합함으로써 상기 전자 디바이스 또는 서버에 의해 고유 오버레이 ID를 할당하는 단계를 추가로 포함하는, 방법.
제1항에 있어서, 초기 제안 응답 협상 동안 또는 세션 동안 상기 다중 오버레이 파라미터를 협상하는 단계를 추가로 포함하는, 방법.
제1항에 있어서, 상기 다중 오버레이 파라미터는 상기 360° 비디오 스트림의 세션 기술 프로토콜(SDP)에서 제안되는, 방법.
제2항에 있어서, 초기 제안 응답 협상 동안 또는 세션 동안 상기 오버레이 오버랩 파라미터를 협상하는 단계를 추가로 포함하는, 방법.
제2항에 있어서, 상기 오버레이 오버랩 파라미터는 상기 360° 비디오 스트림의 세션 기술 프로토콜(SDP)에서 제안되는, 방법.
제3항에 있어서, 초기 제안 응답 협상 동안 또는 세션 동안 상기 콘텐츠 기반 속성을 협상하는 단계를 추가로 포함하는, 방법.
제3항에 있어서, 상기 콘텐츠 기반 속성은 상기 360° 비디오 스트림의 세션 기술 프로토콜(SDP)에서 제안되는, 방법.
제4항에 있어서, 상기 사용자 단말에 의해 상기 전자 디바이스 또는 서버에, 다른 사용자가 상기 사용자 단말에 의해 공유되는 스트림 정보를 다른 전자 디바이스들과 공유하도록 인가되는지를 통신하는 단계를 추가로 포함하는, 방법.
제5항에 있어서, 상기 사용자 단말에 의해 상기 전자 디바이스 또는 서버에, 다른 사용자가 상기 사용자 단말에 의해 공유되는 스트림 정보를 다른 전자 디바이스들과 공유하도록 인가되는지를 통신하는 단계를 추가로 포함하는, 방법.
제14항에 있어서, 상기 전자 디바이스 또는 서버에 의해, 상기 전자 디바이스 또는 서버에 의해 생성되는 임의의 오버레이 또는 오버레이들 외에 적어도 하나의 추가적인 오버레이를 상기 다른 전자 디바이스들과 공유하는 단계를 추가로 포함하며, 상기 적어도 하나의 추가적인 오버레이는 대응하는 오버레이 비디오의 송신자가 상기 오버레이의 공유를 인가한 오버레이들만을 포함하는, 방법.
화상 회의를 위한 사용자 단말로서, 컴퓨터 시스템은,
통신 인터페이스;
디스플레이;
컴퓨터 프로그램 코드를 저장하도록 구성된 하나 이상의 컴퓨터 판독가능 비일시적 저장 매체; 및
상기 컴퓨터 프로그램 코드에 액세스하고 상기 컴퓨터 프로그램 코드에 의해 명령되는 바와 같이 동작하도록 구성된 하나 이상의 컴퓨터 프로세서를 포함하며, 상기 컴퓨터 프로그램 코드는,
상기 하나 이상의 컴퓨터 프로세서로 하여금 상기 통신 인터페이스를 통해, 360° 비디오 스트림을 수신하게 하도록 구성된 수신 코드 - 상기 360° 비디오 스트림은 상기 360° 비디오 스트림을 2개 이상의 오버레이로 오버레이하는 것이 상기 사용자 단말에 의해 허가가능한지를 표시하는 다중 오버레이 파라미터를 포함함 - ;
상기 하나 이상의 컴퓨터 프로세서로 하여금 상기 디스플레이를 제어하여 상기 수신된 360° 비디오 스트림을 디스플레이하게 하도록 구성된 디스플레잉 코드;
상기 하나 이상의 컴퓨터 프로세서로 하여금, 상기 다중 오버레이 파라미터가 제1 값일 때, 상기 360° 비디오 스트림을 2개 이상의 오버레이로 오버레이하는 것이 상기 사용자 단말에 의해 허가가능한 것을 결정하게 하고, 상기 디스플레이를 제어하여 상기 360° 비디오 스트림을 상기 2개 이상의 오버레이로 디스플레이하게 하도록 구성된 다중 오버레이 인가된 코드; 및
상기 하나 이상의 컴퓨터 프로세서로 하여금, 상기 다중 오버레이 파라미터가 제2 값일 때, 상기 360° 비디오 스트림을 2개 이상의 오버레이로 오버레이하는 것이 상기 사용자 단말에 의해 허가가능하지 않은 것을 결정하게 하고, 상기 디스플레이를 제어하여 상기 360° 비디오 스트림을 0 오버레이들 또는 1 오버레이로 디스플레이하게 하도록 구성된 다중 오버레이 비인가된 코드를 포함하며,
상기 제1 값은 상기 제2 값과 상이하고,
상기 오버레이 또는 오버레이들은 다른 비디오 스트림, 또는 이미지 중 하나 이상을 포함하는, 사용자 단말.
제17항에 있어서,
상기 360° 비디오 스트림은 상기 2개 이상의 오버레이 중 하나를 제1 오버레이와 오버랩하는 것이 허가가능한지를 표시하는 오버레이 오버랩 파라미터를 포함하고,
상기 컴퓨터 프로그램 코드는 상기 2개 이상의 오버레이 중 하나를 상기 제1 오버레이와 오버랩하는 것이 허가가능한 것을 상기 오버레이 오버랩 파라미터가 표시할 때, 하나 이상의 프로세서로 하여금 상기 디스플레이를 제어하여 상기 제1 오버레이를 상기 360° 비디오 스트림과 오버랩하도록 중첩된 2개 이상의 오버레이 중 하나를 디스플레이하게 하도록 구성된 오버레이 오버랩 인가된 코드를 추가로 포함하는, 컴퓨터 시스템.
비디오 호출을 취급하기 위한 컴퓨터 프로그램이 저장된 비일시적 컴퓨터 판독가능 매체로서,
상기 컴퓨터 프로그램은, 하나 이상의 컴퓨터 프로세서로 하여금,
360° 비디오 스트림을 수신하게 하며, 상기 360° 비디오 스트림은 상기 360° 비디오 스트림을 2개 이상의 오버레이로 오버레이하는 것이 허가가능한지를 표시하는 다중 오버레이 파라미터를 포함하고;
디스플레이를 제어하여 상기 수신된 360° 비디오 스트림을 디스플레이하게 하고;
상기 다중 오버레이 파라미터가 제1 값일 때, 상기 360° 비디오 스트림을 2개 이상의 오버레이로 오버레이하는 것이 허가가능한 것을 결정하게 하고, 상기 디스플레이를 제어하여 상기 360° 비디오 스트림을 상기 2개 이상의 오버레이로 디스플레이하게 하고;
상기 다중 오버레이 파라미터가 제2 값일 때, 상기 360° 비디오 스트림을 2개 이상의 오버레이로 오버레이하는 것이 허가가능하지 않은 것을 결정하게 하고, 상기 디스플레이를 제어하여 상기 360° 비디오 스트림을 0 오버레이들 또는 1 오버레이로 디스플레이하게 하도록 구성되며,
상기 제1 값은 상기 제2 값과 상이하고,
상기 오버레이 또는 오버레이들은 다른 비디오 스트림, 또는 이미지 중 하나 이상을 포함하는, 비일시적 컴퓨터 판독가능 매체.
제19항에 있어서,
상기 360° 비디오 스트림은 상기 2개 이상의 오버레이 중 하나를 제1 오버레이와 오버랩하는 것이 허가가능한지를 표시하는 오버레이 오버랩 파라미터를 포함하고,
상기 컴퓨터 프로그램은 상기 2개 이상의 오버레이 중 하나를 상기 제1 오버레이와 오버랩하는 것이 허가가능한 것을 상기 오버레이 오버랩 파라미터가 표시할 때 상기 하나 이상의 컴퓨터 프로세서로 하여금 상기 디스플레이를 제어하여 상기 제1 오버레이를 상기 360° 비디오 스트림과 오버랩하도록 중첩된 2개 이상의 오버레이 중 하나를 디스플레이하게 하도록 추가로 구성되는, 비일시적 컴퓨터 판독가능 매체.