KR20220038176A - 원격 단말을 위한 몰입형 원격 회의 및 텔레프레즌스를 위한 오버레이 처리용 파라미터 - Google Patents

원격 단말을 위한 몰입형 원격 회의 및 텔레프레즌스를 위한 오버레이 처리용 파라미터 Download PDF

Info

Publication number
KR20220038176A
KR20220038176A KR1020227007778A KR20227007778A KR20220038176A KR 20220038176 A KR20220038176 A KR 20220038176A KR 1020227007778 A KR1020227007778 A KR 1020227007778A KR 20227007778 A KR20227007778 A KR 20227007778A KR 20220038176 A KR20220038176 A KR 20220038176A
Authority
KR
South Korea
Prior art keywords
overlay
parameter
computer
immersive
session
Prior art date
Application number
KR1020227007778A
Other languages
English (en)
Other versions
KR102566276B1 (ko
Inventor
로힛 아비쉐크
이라즈 소다가르
Original Assignee
텐센트 아메리카 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 텐센트 아메리카 엘엘씨 filed Critical 텐센트 아메리카 엘엘씨
Publication of KR20220038176A publication Critical patent/KR20220038176A/ko
Application granted granted Critical
Publication of KR102566276B1 publication Critical patent/KR102566276B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • H04N7/157Conference systems defining a virtual conference space and using avatars or agents
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

화상 회의를 위한 방법, 컴퓨터 프로그램 및 컴퓨터 시스템이 제공된다. 몰입형 원격 회의 세션과 연관된 비디오 데이터가 수신된다. 비디오 데이터와 연관된 파라미터가 식별되며, 이에 의해 파라미터는 몰입형 원격 회의 세션과 연관된 오버레이 데이터를 지정한다. 비디오 데이터는 식별된 파라미터에 기초하여 하나 이상의 오버레이와 함께 디스플레이된다.

Description

원격 단말을 위한 몰입형 원격 회의 및 텔레프레즌스를 위한 오버레이 처리용 파라미터
본 출원은 2020년 6월 15일에 출원된 미국 가특허 출원 제63/039,336호 및 2020년 11월 11일에 출원된 미국 특허 출원 제17/095,239호의 우선권을 주장하며, 이들 둘 다 그 전체가 참조로서 본 명세서에 포함된다.
개시된 주제는 원격 단말을 위한 몰입형 원격 회의 및 텔레프레즌스(Immersive Teleconferencing and Telepresence for Remote Terminal, ITT4RT)를 위한 오버레이 처리에 관한 것으로, 보다 구체적으로는 예를 들어 프리젠테이션/스크린 공유 스트림 또는 2D 비디오를 360 비디오 스트림 위의 오버레이로 보는 전방향 비디오 및 이미지에 대한 오버레이의 시그널링에 관한 것이다.
전방향 미디어 스트림을 사용하는 경우, 머리 장착 디스플레이(Head Mounted Display, HMD)를 사용하는 동안 사용자의 시점에 대응하는 컨텐츠의 일부만이 렌더링되어 사용자에게 미디어 스트림의 사실적인 뷰를 제공한다.
도 1은 A(101), B(102) 및 C(103) 사이에서 호(call)가 조직되는 몰입형 원격 회의 호에 대한 기존 시나리오(시나리오 1)를 도시한다. 여기서 A는 전방향 카메라(104)가 있는 회의실을 나타내고, B와 C는 각각 HMD와 모바일 장치를 사용하는 원격 참가자이다. 이 경우, 참가자 B 및 C는 뷰포트 방향을 A에게 전송하고 차례로 뷰포트 종속 스트림을 전송한다.
확장된 시나리오(시나리오 2)는 다수의 회의실(2a01, 2a02, 2a03, 2a04)로 구성된 도 2a에 도시되어 있다. 사용자 B(2a06)는 비디오를 보기 위해 HMD를 사용하고, 사용자 C(2a07)는 스트림을 보기 위해 모바일 장치를 사용한다. B와 C는 뷰포트 방향을 회의실로 전송하고 차례로 뷰포트 종속 스트림을 전송한다. 또 다른 시나리오는 도 2b에 도시된 바와 같이 호가 MRF/MCU(2b05)를 사용하여 설정되는 경우이며, 여기서 미디어 자원 기능(Media Resource Function, MRF) 및 미디어 제어 유닛(Media Control Unit, MCU)은 다자간 회의 호에서 단말을 연결하기 위한 미디어 관련 기능을 제공하는 멀티미디어 서버이다. 여기서, 회의실은 각각의 비디오를 MRF/MCU로 전송한다. 이러한 비디오는 뷰포트 독립 비디오이다. 즉, 전체 360도 비디오는 특정 비디오를 스트리밍하는 사용자의 뷰포트에 관계없이 미디어 서버로 전송된다. 미디어 서버는 사용자(B(2b06) 및 C(2b07))의 뷰포트 방향을 수신하고 그에 따라 뷰포트 종속 스트림을 전송한다.
또한, 확장된 시나리오에서, 원격 사용자는 시청할 회의실(2a01-2a04/2b01-2b04)로부터 사용 가능한 360도 비디오 중 하나를 선택할 수 있다. 이 경우, 사용자는 스트리밍하려는 비디오 및 그의 뷰포트 방향에 대한 정보를 회의실 또는 MRF/MCU로 전송한다. 사용자는 활성 화자에 기초하여 하나의 회의실로부터 다른 회의실로의 전환을 트리거할 수 있다. 또한, 미디어 서버는 활성 사용자가 없는 임의의 회의실로부터 비디오 스트림 수신을 일시 중지할 수 있다.
ISO 23090-2는 오버레이를 "전방향 비디오 또는 이미지 아이템 또는 뷰포트를 통해 렌더링되는 시각적 미디어 조각"으로 정의한다. 이제 다시 도 2a/2b를 참조하면, 회의실 A의 참가자에 의해 임의의 프리젠테이션이 공유되고 있는 경우 회의실 A에 디스플레이되고 있는 것 외에도 이러한 프리젠테이션은 또한 다른 사용자에게 스트림으로 브로드캐스트된다. 이러한 스트림은 360도 비디오 위에 오버레이될 수 있다. 또한, 오버레이는 2D 스트림에도 사용될 수 있다.
ITT4RT의 사용을 위해 정의된 오버레이 렌더링에는 두 가지 유형이 있을 수 있다.
ㆍ 뷰포트 관련 오버레이
ㆍ 구체(sphere) 관련 2D 오버레이
다음의 파라미터는 OMAF 사양과 일치하는 "구체 관련 2차원 오버레이"에 대해 정의될 수 있다:
overlay_ID, overlay_azimuth, overlay_elevation, overlay_tilt, overlay_azimuth_range, overlay_elevation_range, overlay_rot_yaw, overlay_rot_pitch, 및 overlay_rot_roll, region_depth_minus1, timer_change_flag, name
"뷰포트 관련 오버레이"의 경우, 다음의 파라미터가 ITT4RT에 대해 정의될 수 있다.
overlay_ID, overlay_rect_left_percent, overlay_rect_top_percent, overlay_rect_width_percent, overlay_rect_height_percent, relative_disparity_flag, disparity_in_percent, disparity_in_pixels, name.
오버레이와의 사용자 상호작용과 관련하여, 오버레이는 신호적으로 다음의 파라미터를 추가로 포함할 수 있다.
change_position_flag, change_depth_flag, switch_on_off_flag, change_opacity_flag, resize_flag, rotation_flag, change_position_flag, change_depth_flag, switch_on_off_flag, change_opacity_flag, resize_flag, rotation_flag.
실시예는 화상 회의를 위한 방법, 시스템 및 컴퓨터 판독 가능 매체에 관한 것이다. 일 측면에 따르면, 화상 회의를 위한 방법이 제공된다. 이 방법은 몰입형 원격 회의 세션과 연관된 비디오 데이터를 수신하는 단계를 포함할 수 있다. 비디오 데이터와 연관된 파라미터가 식별되며, 이에 의해 파라미터는 몰입형 원격 회의 세션과 연관된 오버레이 데이터를 지정한다. 비디오 데이터는 식별된 파라미터에 기초하여 하나 이상의 오버레이와 함께 디스플레이된다.
다른 측면에 따르면, 화상 회의를 위한 컴퓨터 시스템이 제공된다. 컴퓨터 시스템은 하나 이상의 프로세서, 하나 이상의 컴퓨터 판독 가능한 메모리, 하나 이상의 컴퓨터 판독 가능한 유형의 저장 장치, 및 하나 이상의 메모리 중 적어도 하나를 통해 하나 이상의 프로세서의 적어도 하나에 의한 실행을 위해 하나 이상의 저장 장치 중 적어도 하나에 저장된 프로그램 명령을 포함할 수 있으며, 이에 의해 컴퓨터 시스템은 방법을 수행할 수 있다. 이 방법은 몰입형 원격 회의 세션과 연관된 비디오 데이터를 수신하는 단계를 포함할 수 있다. 비디오 데이터와 연관된 파라미터가 식별되며, 이에 의해 파라미터는 몰입형 원격 회의 세션과 연관된 오버레이 데이터를 지정한다. 비디오 데이터는 식별된 파라미터에 기초하여 하나 이상의 오버레이와 함께 디스플레이된다.
또 다른 측면에 따르면, 화상 회의를 위한 컴퓨터 판독 가능 매체가 제공된다. 컴퓨터 판독 가능 매체는 하나 이상의 컴퓨터 판독 가능 저장 장치 및 하나 이상의 유형의 저장 장치 중 적어도 하나에 저장된 프로그램 명령을 포함할 수 있으며, 프로그램 명령은 프로세서에 의해 실행 가능하다. 프로그램 명령은 그에 따라 몰입형 원격 회의 세션과 연관된 비디오 데이터를 수신하는 것을 포함할 수 있는 방법을 수행하기 위해 프로세서에 의해 실행 가능하다. 비디오 데이터와 연관된 파라미터가 식별되며, 이에 의해 파라미터는 몰입형 원격 회의 세션과 연관된 오버레이 데이터를 지정한다. 비디오 데이터는 식별된 파라미터에 기초하여 하나 이상의 오버레이와 함께 디스플레이된다.
이들 및 다른 목적, 특징 및 이점은 첨부 도면과 관련하여 읽혀질 예시적인 실시예의 다음의 상세한 설명으로부터 명백해질 것이다. 도면의 다양한 특징은 예시가 상세한 설명과 함께 당업자의 이해를 용이하게 하기 위한 명료함을 위한 것이기 때문에 축척에 맞지 않다. 도면에서:
도 1은 몰입형 원격 회의를 위한 에코시스템의 개략도이다.
도 2a는 MRF/MCU가 없는 다자간 다자 회의실 원격 회의의 개략도이다.
도 2b는 MRF/MCU가 있는 다자간 다자 회의실 원격 회의의 개략도이다.
도 3a 및 3b는 MRF/MCU가 없는 단일 전송자로부터의 오버레이가 있는 다자간 다자 회의실 원격 회의를 도시한다.
도 4a는 MRF/MCU가 없는 다수 전송자로부터의 오버레이가 있는 다자간 다자회의실 원격 회의이다.
도 4b는 MRF/MCU가 있는 다수 전송자의 오버레이가 있는 다자간 다자 회의실 원격 회의이다.
도 5는 몰입형 원격 회의를 위한 프로그램에 의해 수행되는 단계를 도시한 작동 흐름도이다.
도 6은 컴퓨터 시스템의 개략도이다.
청구된 구조 및 방법의 상세한 실시예가 여기에 개시되어 있으나, 그러나, 개시된 실시예는 단지 다양한 형태로 구현될 수 있는 청구된 구조 및 방법의 예시인 것으로 이해될 수 있다. 그러나, 이러한 구조 및 방법은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명되는 예시적인 실시예로 한정되는 것으로 해석되어서는 안 된다. 오히려, 이러한 예시적인 실시예는 본 개시가 철저하고 완전하며 본 기술 분야의 당업자에게 그 범위를 충분히 전달할 수 있도록 제공된다. 설명에서, 잘 알려진 특징 및 기술의 세부사항은 제시된 실시예를 불필요하게 모호하게 하는 것을 피하기 위해 생략될 수 있다.
측면은 다양한 실시예에 따른 방법, 장치(시스템), 및 컴퓨터 판독 가능 매체의 흐름도 예시 및/또는 블록도를 참조하여 여기에서 설명된다. 흐름도 예시 및/또는 블록도의 각각의 블록, 및 흐름도 예시 및/또는 블록도의 블록 조합은 컴퓨터 판독 가능 프로그램 명령에 의해 구현될 수 있음이 이해될 것이다.
본 개시는 수신기에서 사용자가 사용할 수 있는 오버레이의 최대 개수를 정의하기 위해 오버레이 파라미터를 도입한다.
본 개시는 전송자가 공유하고 있는 오버레이의 리스트를 정의하기 위해 오버레이 파라미터를 도입한다.
본 개시는 전송자가 공유하고 있고 수신자측의 사용자가 사용하기를 원하는 오버레이의 리스트를 정의하기 위해 오버레이 파라미터를 도입한다.
본 개시는 수신자측의 사용자가 360도 비디오 위에 360도 비디오의 전송자에 의해 공유되는 것과 다른 스트림의 오버레이를 사용하도록 허용되는지를 정의하기 위해 오버레이 파라미터를 도입한다.
본 개시는 수신자측의 사용자가 360도 비디오의 전송자에 의해 공유되는 것을 갖는 오버레이를 사용할 수 있는 허용된 전송자의 리스트를 정의하기 위해 오버레이 파라미터를 도입한다.
몰입형 원격 회의와 관련하여, 오버레이 비디오 또는 이미지가 360도 비디오에 중첩되는 경우,
ㆍ 오버레이로서 사용되는 이미지 또는 비디오를 지정하는 오버레이 소스
ㆍ 오버레이가 뷰포트 또는 구체를 기준으로 고정되어 있는지를 설명하는 오버레이 렌더링 유형
ㆍ 불투명도와 같은 렌더링 속성
ㆍ 사용자 상호작용 속성
다시 도 2a-2b를 참조하면, 여기서 전방향 카메라가 있는 다수의 회의실이 원격 회의 중에 있고, 사용자는 몰입형 비디오로서 디스플레이될 회의실 중 하나의 비디오 스트림을 선택한다. 이제, 사용자가 스트리밍하는 360도 비디오와 함께 추가 프리젠테이션 재료/공유 화면이 사용되는 경우, 그것은 360도 비디오 위에 오버레이로서 별도의 스트림으로서 전송된다.
실시예에서, 도 3a 및 3b를 참조하며, 여기서 사용자(3a01, 3b01)는 원격 회의실 A(3a02, 3b02)로부터 그의 HMD 상에 몰입형 비디오를 스트리밍한다. 회의실 A는 화면 공유를 사용하여 회의실 X(3a03, 3b03), Y(3a04, 3b04) 및 Z(3a05, 3b05)에서 오는 비디오 스트림을 디스플레이하며, 여기서 X는 2D 비디오 스트림을 스트리밍하고, Y 및 Z는 프리젠테이션 스트림을 스트리밍한다. X, Y 및 Z로부터의 스트림은 다른 모든 원격 사용자에게도 브로드캐스트된다. 사용자는 사용자가 지원할 수 있는 최대 오버레이 개수로 정의될 수 있는 파라미터 "max_overlay"를 사용할 수 있다. 이러한 값은 사용자의 자원 가용성을 기반으로 할 수 있다. 이러한 용량은 초기 제안-응답 협상 중에 세션 기술 프로토콜(Session Description Protocol, SDP)에서 제공될 수 있으며 또한 장치의 배터리 소모, 대역폭 가용성 등과 같은 사용자의 자원 가용성의 변경에 따라 세션 중에 협상될 수도 있다. max_overlay = 0인 경우는 수신자가 오버레이를 지원하지 않는 시나리오를 위해 예약되어 있다. MRF/MCU(3b06)가 호를 설정하는 데 사용되는 경우 동일한 사항이 도 3b에서 설명된다.
동일하거나 또는 다른 실시예에서, 추가 파라미터 "list_overlay"가 정의되며, 이는 전송자가 공유하고 있는 (그들의 오버레이 id, overlay_ids를 나열함으로써) 오버레이의 리스트를 포함할 수 있다. 이것은 전송자에 의해 수신자에게 전송될 수 있고, 수신자는 리스트에서 스트리밍될 오버레이를 선택하고 축소된 리스트를 전송자에게 전송할 수 있다. 이러한 파라미터는 초기 제안-응답 협상 중에 협상되거나 또는 세션 중에 재협상될 수 있으며 SDP에서 제공된다. list_overlay = 0인 경우는 오버레이가 수신자에 의해 지원되지 않는 시나리오, 즉 max_overlay가 0일 때를 위해 예약되어 있다. 전송자에 의해 전송되는 오버레이 전체 개수는 max_overlay 값보다 작아야 한다.
동일하거나 또는 다른 실시예에서, 오버레이의 리스트를 전송하는 것 외에, 전송자는 또한 "list_overlay" 파라미터에 포함될 수 있는 오버레이 우선순위를 전송할 수 있다. 이러한 우선순위는 전송자에 의해 설정되며 스트림의 컨텐츠에 기초한다. 예를 들어, 프리젠테이션을 위한 임의의 지원 재료는 임의의 다른 회의실로부터의 2D 비디오와 비교하여 더 높은 우선순위가 부여될 것이다. 이 외에도, 전송자는 또한 선택적으로 각각의 오버레이에 대한 대역폭 및 디코딩 계산 요구사항을 전송할 수도 있다. list_overlay가 0과 같은 것은 전송자가 사용자에게 오버레이 리스트를 전송하지 않고 결과적으로 사용자가 오버레이를 수신하지 않는 경우의 시나리오를 위해 예약되어 있다. 사용자는 전송자로부터 오버레이 리스트를 수신하면 지원할 수 있는 오버레이 리스트로 응답할 것이다. 이것은 오버레이 우선순위와 전송자에 의해 전송된 오버레이 특성은 물론 수신자의 컴퓨팅 자원 및 수신자를 위해 사용 가능한 네트워크 대역폭을 기반으로 할 수 있다. 이것은 "list _overlay" 파라미터에서 정의될 수 있다. 이러한 파라미터는 초기 제안-응답 협상 또는 세션 중에 협상될 수 있으며 SDP에서 제공된다. 세션 중에 사용자의 대역폭이 감소되는 시나리오를 고려하다. 이 경우, "max_overlay" 및 선택적으로 "list_overlay" 파라미터가 재협상될 수 있으며 결과적으로 list _overlay의 값이 감소할 수 있다.
다른 실시예에서, 클라이언트가 A로부터의 360도 비디오 스트림을 사용하고자 하지만, 스트림이 A에 의해 공유되지 않는 Y(4a304) 및 Z(4a305)로부터의 오버레이를 사용하고자 하는 경우의 시나리오를 고려하는 경우 도 4a를 참조한다. 이 경우, 클라이언트는 360도 비디오 스트림의 전송자가 A로부터의 360도 비디오 스트림과 함께 다른 소스로부터의 오버레이를 사용하여 비디오에서 스트리밍될 수 있는지 알아야 한다. 그렇게 하기 위해, "use_other_overlay_flag" 파라미터가 추가될 수 있다. use_other_overlay_flag는 1로 설정되는 경우, 사용자가 360도 비디오의 전송자에 의해 공유되지 않는 다른 전송자의 오버레이를 사용하는 것이 허용됨을 지정한다. 이러한 값은 360도 비디오가 스트리밍되는 전송자에 의해 설정될 수 있다. MRF/MCU(4b06)가 호를 설정하는 데 사용되는 경우 동일한 것이 도 4b에서 설명된다. 값이 0인 "use_other_overlay_flag"는 수신자가 이러한 전송자의 비디오 스트림과 함께 다른 전송자의 오버레이를 사용하는 것을 허용하지 않음을 의미한다.
동일하거나 또는 다른 실시예에서, use_other_overlay_flag가 1과 같은 경우, 전송자는 그들의 오버레이가 자신의 360도 비디오 스트림과 함께 사용될 수 있는 다른 전송자의 리스트를 수신자에게 전송할 수 있다. 이는 "list_allowed_sender_overlays" 파라미터를 사용하여 정의될 수 있다. use_other_overlay_flag가 0인 경우, 사용자는 스트림이 360도 비디오 스트림 전송자에 의해 공유되지 않는 다른 원격 사용자/회의실로부터의 스트림을 오버레이할 수 없다.
동일하거나 또는 다른 실시예에서, 상기 언급된 파라미터는 뷰포트 관련 오버레이 뿐만 아니라 구체 관련 2차원 오버레이의 렌더링을 위해 사용될 수 있다.
전술한 몰입형 원격 회의 및 텔레프레즌스를 위한 오버레이 처리 기술에 대한 기술은 컴퓨터 판독 가능 명령을 사용하여 컴퓨터 소프트웨어로서 구현될 수 있고 하나 이상의 컴퓨터 판독 가능 매체에 물리적으로 저장될 수 있다. 예를 들어, 도 6은 개시된 주제의 특정 실시예를 구현하기에 적합한 컴퓨터 시스템(600)을 도시한다.
컴퓨터 소프트웨어는 임의의 적절한 기계 코드 또는 컴퓨터 언어를 사용하여 코딩될 수 있으며, 이는 어셈블리, 컴파일, 링크 또는 유사한 메커니즘 하에서 컴퓨터 중앙 처리 장치(CPU), 그래픽 처리 장치(GPU) 등에 의해, 직접 또는 해석, 마이크로 코드 실행 등을 통해 실행될 수 있는 명령을 포함하는 코드를 생성한다.
명령은 예를 들어 개인용 컴퓨터, 태블릿 컴퓨터, 서버, 스마트폰, 게임 장치, 사물 인터넷 장치 등을 포함하는 다양한 유형의 컴퓨터 또는 그 컴포넌트에서 실행될 수 있다.
이제 도 5를 참조하면, 코어텐션(co-attention) 점수에 기초하여 쿼리를 매칭하는 프로그램에 의해 수행되는 방법(500)을 도시한 작동 흐름도가 도시되어 있다.
단계 602에서, 이 방법(500)은 몰입형 원격 회의 세션과 연관된 비디오 데이터를 수신하는 단계를 포함한다.
단계 604에서, 이 방법(500)은 비디오 데이터와 연관된 파라미터를 식별하는 단계를 포함하며, 이에 의해 파라미터는 몰입형 원격 회의 세션과 연관된 오버레이 데이터를 지정한다.
단계 606에서, 이 방법(500)은 식별된 파라미터에 기초하여 하나 이상의 오버레이와 함께 비디오 데이터를 디스플레이하는 단계를 포함한다.
도 5는 단지 하나의 구현의 예시를 제공하고 상이한 실시예가 구현될 수 있는 방법과 관련하여 어떠한 제한도 의미하지 않는다는 것이 이해될 수 있다. 설명된 환경에 대한 많은 수정은 설계 및 구현 요구사항에 기초하여 이루어질 수 있다.
컴퓨터 시스템(600)에 대해 도 6에 도시된 컴포넌트는 본질적으로 예시적이며 본 개시의 실시예를 구현하는 컴퓨터 소프트웨어의 사용 또는 기능의 범위에 대한 어떠한 제한도 제안하려는 것이 아니다. 컴포넌트의 구성은 컴퓨터 시스템(600)의 예시적인 실시예에서 예시된 컴포넌트의 임의의 하나 또는 조합과 관련된 임의의 종속성 또는 요구사항을 갖는 것으로 해석되어서는 안된다.
컴퓨터 시스템(600)은 특정 인간 인터페이스 입력 장치를 포함할 수 있다. 이러한 인간 인터페이스 입력 장치는, 예를 들어 촉각 입력(키 입력, 스와이프(swipe), 데이터 장갑 움직임과 같음), 오디오 입력(음성, 박수와 같음), 시각적 입력(제스처와 같음), 후각 입력(미도시)을 통해 한 명 이상의 인간 사용자에 의한 입력에 응답할 수 있다. 인간 인터페이스 장치는 또한 오디오(음성, 음악, 주변 소리와 같음), 이미지(스캔된 이미지, 정지 이미지 카메라로부터 획득되는 사진 이미지와 같음), 비디오(2차원 비디오, 입체 비디오를 포함하는 3차원 비디오와 같음)와 같이 인간에 의한 의식적 입력과 직접 관련이 없는 특정 미디어를 캡처하는 데 사용될 수도 있다.
입력 인간 인터페이스 장치는 키보드(501), 마우스(502), 트랙 패드(503), 터치 스크린(510), 데이터 장갑(미도시), 조이스틱(505), 마이크(506), 스캐너(507), 카메라(508) 중 하나 이상(각각 설명된 것 중 하나만)을 포함할 수 있다.
컴퓨터 시스템(600)은 또한 특정 인간 인터페이스 출력 장치를 포함할 수 있다. 이러한 인간 인터페이스 출력 장치는, 예를 들어 촉각 출력, 소리 빛 및 냄새/맛을 통해 한 명 이상의 인간 사용자의 감각을 자극할 수 있다. 이러한 인간 인터페이스 출력 장치는, 촉각 출력 장치(예를 들어, 터치 스크린(510), 데이터 장갑(미도시) 또는 조이스틱(505)에 의한 촉각 피드백이지만, 입력 장치로서 기능하지 않는 촉각 피드백 장치일 수도 있음), 오디오 출력 장치(스피커(509), 헤드폰(미도시)과 같음), 시각적 출력 장치(CRT 스크린, LCD 스크린, 플라즈마 스크린, OLED 스크린을 포함하는 스크린(1710)과 같으며, 이들 각각은 터치 스크린 입력 기능을 가지고 있을 수도 없을 수도 있고, 촉각 피드백 기능을 가지고 있을 수도 없을 수도 있으며, 일부는 2차원 시각적 출력 또는 스테레오 그래픽 출력, 가상 현실 안경(미도시), 홀로그래픽 디스플레이 및 스모크 탱크(smoke tank)(미도시)와 같은 수단을 통한 3차원 출력이 가능할 수 있음) 및 프린터(미도시)를 포함할 수 있다.
컴퓨터 시스템(600)은 또한 인간이 액세스할 수 있는 저장 장치 및 CD/DVD를 가진 CD/DVD ROM/RW(520)를 포함하는 광학 매체 및 유사 매체(521), 썸 드라이브(thumb-drive)(522), 탈착식 하드 드라이브 또는 솔리드 스테이트 드라이브(523), 테이프 및 플로피 디스크(미도시)와 같은 레거시 자기 매체, 보안 동글(미도시)과 같은 특수 ROM/ASIC/PLD 기반 장치 등과 같은 연관 매체를 포함할 수 있다.
통상의 기술자는 또한 현재 개시된 주제와 관련하여 사용되는 "컴퓨터 판독 가능 매체"라는 용어가 전송 매체, 반송파 또는 다른 일시적 신호를 포함하지 않는다는 것을 이해해야 한다.
컴퓨터 시스템(600)은 또한 하나 이상의 통신 네트워크에 대한 인터페이스를 포함할 수 있다. 네트워크는, 예를 들어 무선, 유선, 광일 수 있다. 네트워크는 또한 로컬, 광역, 대도시, 차량 및 산업, 실시간, 지연 허용 등일 수 있다. 네트워크의 예로는 이더넷, 무선 LAN과 같은 LAN, GSM, 3G, 4G, 5G, LTE 등을 포함하는 셀룰러 네트워크, 케이블 TV, 위성 TV 및 지상파 방송 TV를 포함하는 TV 유선 또는 무선 광역 디지털 네트워크, CANBus를 포함하는 차량 및 산업용 등이 포함된다. 특정 네트워크는 일반적으로 특정 범용 데이터 포트 또는 주변장치 버스(449)(예를 들어, 컴퓨터 시스템(600)의 USB 포트)에 부착된 외부 네트워크 인터페이스 어댑터를 필요로 하고, 다른 것들은 일반적으로 아래에서 설명된 바와 같이 시스템 버스에 대한 부착에 의해 컴퓨터 시스템(600)의 코어에 통합된다(예를 들어, PC 컴퓨터 시스템에 대한 이더넷 인터페이스 또는 스마트폰 컴퓨터 시스템에 대한 셀룰러 네트워크 인터페이스). 이러한 네트워크 중 어느 하나를 사용하면, 컴퓨터 시스템(600)은 다른 엔티티와 통신할 수 있다. 이러한 통신은 단방향, 수신 전용(예를 들어, 방송 TV), 단방향 전송 전용(예를 들어, CANbus에서 특정 CANbus 장치로) 또는 양방향, 예를 들어 로컬 또는 광역 디지털 네트워크를 사용하는 다른 컴퓨터 시스템일 수 있다. 특정 프로토콜 및 프로토콜 스택은 상기한 바와 같이, 각각의 네트워크 및 네트워크 인터페이스에서 사용될 수 있다.
앞서 언급한 인간 인터페이스 장치, 인간이 액세스할 수 있는 저장 장치 및 네트워크 인터페이스는 컴퓨터 시스템(600)의 코어(540)에 부착될 수 있다.
코어(540)는 하나 이상의 중앙 처리 장치(CPU)(541), 그래픽 처리 장치(GPU)(542), FPGA(Field Programmable Gate Areas)(543) 형태의 특수 프로그램 가능 처리 유닛(543), 특정 태스크에 대한 하드웨어 가속기(544) 등을 포함할 수 있다. 읽기 전용 메모리(Read-only memory, ROM)(545), 랜덤 액세스 메모리(Random-access memory)(546), 내부 비-사용자 액세스 가능 하드 드라이브, SSD 등과 같은 내부 대용량 저장소(547)와 함께 이러한 장치는 시스템 버스(548)를 통해 연결될 수 있다. 일부 컴퓨터 시스템에서, 시스템 버스(548)는 추가 CPU, GPU 등에 의한 확장을 가능하게 하기 위해 하나 이상의 물리적 플러그의 형태로 액세스할 수 있다. 주변 장치는 코어의 시스템 버스(548)에 직접 연결되거나 또는 주변 장치 버스(549)를 통해 연결될 수 있다. 주변장치 버스에 대한 아키텍처는 PCI, USB 등을 포함한다.
CPU(541), GPU(542), FPGA(543) 및 가속기(544)는 조합하여 전술한 컴퓨터 코드를 구성할 수 있는 특정 명령을 실행할 수 있다. 이 컴퓨터 코드는 ROM(545) 또는 RAM(546)에 저장될 수 있다. 일시적 데이터는 RAM(546)에 저장될 수도 있지만, 반면에 영구적 데이터는 예를 들어 내부 대용량 저장소(547)에 저장될 수 있다. 하나 이상의 CPU(541), GPU(542), 대용량 스토리지(547), ROM(545), RAM(546) 등과 밀접하게 연관될 수 있는 캐시 메모리의 사용을 통해 모든 메모리 장치에 대한 빠른 저장 및 검색이 가능해질 수 있다.
컴퓨터 판독 가능 매체는 다양한 컴퓨터 구현 작동을 수행하기 위한 컴퓨터 코드를 가질 수 있다. 매체 및 컴퓨터 코드는 본 개시의 목적을 위해 특별히 설계되고 구성된 것일 수 있거나, 또는 그들은 컴퓨터 소프트웨어 분야의 숙련자에게 잘 알려져 있고 이용 가능한 종류일 수 있다.
예로서 그리고 제한없이, 아키텍처(500)를 갖는 컴퓨터 시스템, 구체적으로 코어(540)는 하나 이상의 유형의 컴퓨터 판독 가능 매체에 구현된 소프트웨어를 실행하는 프로세서(CPU, GPU, FPGA, 가속기 등을 포함함)의 결과로서 기능을 제공할 수 있다. 이러한 컴퓨터 판독 가능 매체는 위에서 소개한 사용자 액세스 가능 대용량 저장소와 연관된 매체일 수 있으며, 코어 내부 대용량 저장소(547) 또는 ROM(545)과 같은 비 일시적 특성을 가진 코어(540)의 특정 저장소일 수 있다. 본 개시의 다양한 실시예를 구현하는 소프트웨어는 이러한 장치에 저장되고 코어(540)에 의해 실행될 수 있다. 컴퓨터 판독 가능 매체는 특정 요구에 따라 하나 이상의 메모리 장치 또는 칩을 포함할 수 있다. 소프트웨어는 코어(540) 및 특히 그 안의 프로세서(CPU, GPU, FPGA 등을 포함함)가 RAM(546)에 저장된 데이터 구조를 정의하는 것과 소프트웨어에 의해 정의된 프로세스에 따라 그러한 데이터 구조를 수정하는 것을 포함하여 여기에서 설명된 특정 프로세스 또는 특정 프로세스의 특정 부분을 실행하도록 할 수 있다. 추가적으로 또는 다르게는, 컴퓨터 시스템은 여기에서 설명된 특정 프로세스나 특정 프로세스의 특정 부분을 실행하기 위해 소프트웨어 대신 또는 소프트웨어와 함께 작동할 수 있는 회로(예를 들어, 가속기(544))에 고정되거나 다른 방식으로 구현된 로직의 결과로 기능을 제공할 수 있다. 소프트웨어에 대한 참조는 로직을 포함할 수 있으며, 적절한 경우에 그 반대도 마찬가지이다. 컴퓨터 판독 가능 매체에 대한 참조는 실행을 위한 소프트웨어를 저장하는 회로(집적 회로(integrated circuit, IC)와 같음), 실행을 위한 로직을 구현하는 회로 또는 적절한 경우 둘 다를 포함할 수 있다. 본 개시는 하드웨어 및 소프트웨어의 임의의 적절한 조합을 포함한다.
일부 실시예는 통합의 임의의 가능한 기술적 상세 수준에서 시스템, 방법, 및/또는 컴퓨터 판독가능 매체에 관한 것일 수 있다. 컴퓨터 판독 가능 매체는 프로세서로 하여금 작동을 수행하게 하기 위한 컴퓨터 판독 가능 프로그램 명령을 갖는 컴퓨터 판독 가능 비일시적 저장 매체들(또는 매체)를 포함할 수 있다.
컴퓨터 판독 가능 저장 매체는 명령 실행 장치에 의해 사용하기 위한 명령을 유지하고 저장할 수 있는 유형의 장치일 수 있다. 컴퓨터 판독 가능 저장 매체는 예를 들어 전자 저장 장치, 자기 저장 장치, 광학 저장 장치, 전자기 저장 장치, 반도체 저장 장치, 또는 이들의 임의의 적절한 조합일 수 있지만, 이에 제한되지 않는다. 컴퓨터 판독 가능 저장 매체의 보다 구체적인 예의 비 배타적인 리스트는 휴대용 컴퓨터 디스켓, 하드 디스크, 랜덤 액세스 메모리(RAM), 읽기 전용 메모리(ROM), EPROM(erasable programmable read-only memory, 또는 플래시 메모리), SRAM(static random access memory), CD-ROM(portable compact disc read-only memory), DVD(digital versatile disk), 메모리 스틱, 플로피 디스크, 펀치 카드 또는 명령이 기록된 홈(groove)의 융기 구조(raised structure)와 같은 기계적으로 인코딩된 장치, 및 전술한 것의 임의의 적절한 조합을 포함한다. 여기에서 사용된 바와 같이. 컴퓨터 판독 가능 저장 매체는 전파 또는 기타 자유롭게 전파하는 전자기파, 도파관 또는 기타 전송 매체를 통해 전파하는 전자기파(예를 들어, 광섬유 케이블을 통과하는 광 펄스), 또는 와이어를 통해 전송되는 전기 신호와 같은, 일시적인 신호 그 자체로 해석되어서는 안된다.
여기에서 기술된 컴퓨터 판독 가능 프로그램 명령은, 컴퓨터 판독 가능 저장 매체로부터 각각의 컴퓨팅/처리 장치로, 또는 네트워크, 예를 들어, 인터넷, 근거리 통신망, 광역 네트워크 및 무선 네트워크를 통해 외부 컴퓨터 또는 외부 저장 장치로 다운로드될 수 있다. 네트워크는 구리 전송 케이블, 광 전송 섬유, 무선 전송, 라우터, 방화벽, 스위치, 게이트웨이 컴퓨터 및/또는 에지 서버를 포함할 수 있다. 각각의 컴퓨팅/처리 장치의 네트워크 어댑터 카드 또는 네트워크 인터페이스는 네트워크로부터 컴퓨터 판독 가능 프로그램 명령을 수신하고, 각각의 컴퓨팅/처리 장치 내의 컴퓨터 판독 가능 저장 매체에 저장하기 위해 컴퓨터 판독 가능 프로그램 명령을 전달한다.
작동을 수행하기 위한 컴퓨터 판독 가능 프로그램 코드/명령은, 어셈블러 명령, 명령 세트 아키텍처(instruction-set-architecture, ISA) 명령, 기계 명령, 기계 종속 명령, 마이크로코드, 펌웨어 명령, 상태 설정 데이터, 집적 회로용 구성 데이터 또는 Smalltalk, C++ 등과 같은 객체 지향 프로그래밍 언어 및 "C" 프로그래밍 언어 또는 유사한 프로그래밍 언어와 같은 절차적 프로그래밍 언어를 포함하는 하나 이상의 프로그래밍 언어의 임의의 조합으로 작성된 소스 코드 또는 객체 코드일 수 있다. 컴퓨터 판독 가능 프로그램 명령은 사용자의 컴퓨터에서 전적으로, 사용자의 컴퓨터에서 부분적으로, 독립 실행형 소프트웨어 패키지로서, 사용자의 컴퓨터에서 부분적으로 그리고 원격 컴퓨터에서 부분적으로 또는 원격 컴퓨터 또는 서버에서 전체적으로 실행될 수 있다. 후자의 시나리오에서, 원격 컴퓨터는 LAN(Local Area Network) 또는 WAN(Wide Area Network)을 포함하는 임의의 유형의 네트워크를 통해 사용자의 컴퓨터에 연결될 수 있거나, 또는 그 연결은 (예를 들어 인터넷 서비스 공급자를 사용하여 인터넷을 통해) 외부 컴퓨터에 대해 수행될 수 있다. 일부 실시예에서, 예를 들어 프로그램 가능 논리 회로, FPGA(field-programmable gate arrays), 또는 PLA(programmable logic arrays)를 포함하는 전자 회로는, 측면이나 작동을 수행하기 위해, 컴퓨터 판독 가능 프로그램 명령의 상태 정보를 활용하여 전자 회로를 개인화하는 것에 의해 컴퓨터 판독 가능 프로그램 명령을 실행할 수 있다.
이러한 컴퓨터 판독 가능 프로그램 명령은 범용 컴퓨터, 특수 목적 컴퓨터 또는 기타 프로그램 가능한 데이터 처리 장치의 프로세서에 제공되어 기계를 생성할 수 있으므로, 컴퓨터의 프로세서 또는 기타 프로그램 가능한 데이터 처리 장치를 통해 실행되는 이러한 명령은 흐름도 및/또는 블록도 블록 또는 블록들에 지정된 기능/행동을 구현하기 위한 수단을 생성한다. 이들 컴퓨터 판독 가능 프로그램 명령은 또한 컴퓨터, 프로그램 가능한 데이터 처리 장치, 및/또는 다른 장치가 특정 방식으로 기능하도록 지시할 수 있는 컴퓨터 판독 가능 저장 매체에 저장될 수 있으므로, 명령을 저장하는 컴퓨터 판독 가능 저장 매체는 흐름도 및/또는 블록도 블록 또는 블록들에 지정된 기능/행동의 측면을 구현하는 명령을 포함하는 제조 물품을 포함한다.
컴퓨터 판독 가능 프로그램 명령은 또한 컴퓨터, 다른 프로그램 가능한 데이터 처리 장치 또는 다른 장치에 로딩되어, 컴퓨터, 다른 프로그램 가능한 장치 또는 다른 장치에서 일련의 작동 단계가 수행되어 컴퓨터 구현 프로세스를 생성하므로, 컴퓨터, 다른 프로그램 가능한 장치 또는 다른 장치에서 실행되는 명령이 흐름도 및/또는 블록도 블록 또는 블록들에 지정된 기능/행동을 구현할 수 있다.
도면의 흐름도 및 블록도는 다양일 실시예에 따른 시스템, 방법, 및 컴퓨터 판독 가능 매체의 가능한 구현의 아키텍처, 기능 및 작동을 예시한다. 이와 관련하여, 흐름도 또는 블록도의 각각의 블록은 모듈, 세그먼트, 또는 특정 논리 기능(들)을 구현하기 위한 하나 이상의 실행 가능한 명령을 포함하는 명령의 일부를 나타낼 수 있다. 방법, 컴퓨터 시스템, 및 컴퓨터 판독 가능 매체는 도면에 도시된 것보다 추가적인 블록, 더 적은 블록, 상이한 블록, 또는 다르게 배열된 블록을 포함할 수 있다. 일부 대안적인 구현에서, 블록에 언급된 기능은 도면에 언급된 순서와 다르게 발생할 수 있다. 예를 들어, 연속적으로 도시된 2개의 블록은 실제로 동시에 또는 실질적으로 동시에 실행될 수 있거나, 또는 관련된 기능에 따라 블록이 때때로 역순으로 실행될 수 있다. 또한, 블록도 및/또는 흐름도 예시의 각각의 블록과, 블록도 및/또는 흐름도 예시의 블록 조합은, 지정된 기능 또는 행동을 수행하거나 또는 특수 목적 하드웨어와 컴퓨터 명령의 조합을 수행하는 특수 목적 하드웨어 기반 시스템에 의해 구현될 수 있다.
여기에서 설명된 시스템 및/또는 방법은 하드웨어, 펌웨어, 또는 하드웨어와 소프트웨어의 조합의 다른 형태로 구현될 수 있음이 명백할 것이다. 이러한 시스템 및/또는 방법을 구현하는 데 사용되는 실제 특수 제어 하드웨어 또는 소프트웨어 코드는 구현을 제한하지 않는다. 따라서, 시스템 및/또는 방법의 작동 및 가동(behavior)은 특정 소프트웨어 코드를 참조하지 않고 여기에서 설명되었으며, 소프트웨어 및 하드웨어는 여기에서의 설명에 기반하여 시스템 및/또는 방법을 구현하도록 설계될 수 있음을 이해해야 한다.
여기에 사용된 어떤 엘리먼트, 동작 또는 명령도 그렇게 명시적으로 설명되지 않는 한 중요하거나 필수적인 것으로 해석되어서는 안 된다. 또한, 여기에서 사용된 바와 같이, 관사 "a" 및 "an"은 하나 이상의 아이템을 포함하도록 의도되며, "하나 이상"과 상호교환적으로 사용될 수 있다. 또한, 여기에서 사용된 바와 같이, 용어 "세트"는 하나 이상의 아이템(예를 들어, 관련된 아이템, 관련되지 않은 아이템, 관련되고 그리고 관련되지 않은 아이템의 조합 등)을 포함하도록 의도되며, "하나 이상"과 상호 교환적으로 사용될 수 있다. 하나의 아이템만 의도된 경우, 용어 "하나" 또는 유사한 언어가 사용된다. 또한, 여기에서 사용된 바와 같이, 용어 "갖다(has)", "갖다(have)", "가지는(having)" 등은 개방형 용어(open-ended term)로 의도된다. 또한, "~에 기초하여"라는 문구는 달리 명시적으로 언급되지 않는 한 "적어도 부분적으로 ~에 기초하여"를 의미하도록 의도된다.
다양한 측면 및 실시예에 대한 설명은 예시의 목적으로 제시되었지만, 개시된 실시예로 완전하거나 제한되도록 의도되지 않는다. 특징들의 조합이 청구범위에 언급되거나 그리고/또는 명세서에 개시되더라도, 이러한 조합은 가능한 구현의 개시를 제한하도록 의도되지 않는다. 사실, 이들 특징 중 다수는 구체적으로 청구범위에 언급되지 않거나 그리고/또는 명세서에 개시되지 않은 방식으로 조합될 수 있다. 아래에 나열된 각각의 종속 청구항은 하나의 청구항에만 직접적으로 의존할 수 있지만 가능한 구현의 개시는 청구항 세트의 다른 모든 청구항과 조합된 각각의 종속 청구항을 포함한다. 기술된 실시예의 범위를 벗어나지 않으면서 많은 수정 및 변형이 당업자에게 명백할 것이다. 여기에서 사용된 용어는 실시예의 원리, 시장에서 발견되는 기술에 대한 실질적인 응용 또는 기술적 개선을 가장 잘 설명하거나, 또는 당업자가 여기에 개시된 실시예를 이해할 수 있게 하기 위해 선택되었다.

Claims (20)

  1. 프로세서에 의해 실행 가능한 화상 회의를 위한 방법으로서,
    몰입형 원격 회의 세션과 연관된 비디오 데이터를 수신하는 단계;
    상기 비디오 데이터와 연관된 파라미터를 식별하는 단계 ― 상기 파라미터는 상기 몰입형 원격 회의 세션과 연관된 오버레이 데이터를 지정함 ―; 및
    식별된 파라미터에 기초하여 하나 이상의 오버레이와 함께 상기 비디오 데이터를 디스플레이하는 단계
    를 포함하는 화상 회의를 위한 방법.
  2. 제1항에 있어서,
    상기 파라미터는 세션 기술 프로토콜(Session Description Protocol, SDP)을 제공받을 수 있는,
    화상 회의를 위한 방법.
  3. 제1항에 있어서,
    상기 파라미터는 초기 제안-응답 협상 동안 또는 상기 몰입형 원격 회의 세션 동안 협상되는,
    화상 회의를 위한 방법.
  4. 제1항에 있어서,
    상기 파라미터는 오버레이의 최대 개수를 정의하고 특정 시간에 오버레이 인스턴스의 개수를 제한하는,
    화상 회의를 위한 방법.
  5. 제1항에 있어서,
    상기 파라미터는 주어진 시간 인스턴스에서 전송자에 의해 공유되는 오버레이 id의 리스트를 정의하는,
    화상 회의를 위한 방법.
  6. 제1항에 있어서,
    상기 파라미터는 주어진 시간 인스턴스에서 전송자에 의해 공유되고 수신자에 의해 지원되는 오버레이 id의 리스트를 정의하는,
    화상 회의를 위한 방법.
  7. 제1항에 있어서,
    상기 파라미터는 수신된 것이 전송자에 의해 공유되는 오버레이 이외의 오버레이를 사용하도록 허용되는지 여부를 정의하는,
    화상 회의를 위한 방법.
  8. 제1항에 있어서,
    상기 파라미터는 수신자가 오버레이를 수신하고 사용할 수 있는 허용된 전송자의 리스트를 정의하는,
    화상 회의를 위한 방법.
  9. 신경망 모델을 압축하기 위한 컴퓨터 시스템으로서,
    컴퓨터 프로그램 코드를 저장하도록 구성된 하나 이상의 컴퓨터 판독 가능 비일시적 저장 매체; 및
    상기 컴퓨터 프로그램 코드를 액세스하고 상기 컴퓨터 프로그램 코드에 의해 명령된 대로 작동하도록 구성된 하나 이상의 컴퓨터 프로세서
    를 포함하며,
    상기 컴퓨터 프로그램 코드는,
    상기 하나 이상의 컴퓨터 프로세서로 하여금 몰입형 원격 회의 세션과 연관된 비디오 데이터를 수신하도록 구성된 수신 코드;
    상기 하나 이상의 컴퓨터 프로세서로 하여금 상기 비디오 데이터와 연관된 파라미터를 식별하도록 구성된 식별 코드 ― 상기 파라미터는 상기 몰입형 원격 회의 세션과 연관된 오버레이 데이터를 지정함 ―; 및
    상기 하나 이상의 컴퓨터 프로세서로 하여금 식별된 파라미터에 기초하여 하나 이상의 오버레이와 함께 상기 비디오 데이터를 디스플레이하도록 구성된 디스플레이 코드
    를 포함하는, 컴퓨터 시스템.
  10. 제9항에 있어서,
    상기 파라미터는 세션 기술 프로토콜(SDP)을 제공받을 수 있는,
    컴퓨터 시스템.
  11. 제9항에 있어서,
    상기 파라미터는 초기 제안-응답 협상 동안 또는 상기 몰입형 원격 회의 세션 동안 협상되는,
    컴퓨터 시스템.
  12. 제9항에 있어서,
    상기 파라미터는 오버레이의 최대 개수를 정의하고 특정 시간에 오버레이 인스턴스의 개수를 제한하는,
    컴퓨터 시스템.
  13. 제9항에 있어서,
    상기 파라미터는 주어진 시간 인스턴스에서 전송자에 의해 공유되는 오버레이 id의 리스트를 정의하는,
    컴퓨터 시스템.
  14. 제9항에 있어서,
    상기 파라미터는 주어진 시간 인스턴스에서 전송자에 의해 공유되고 수신자에 의해 지원되는 오버레이 id의 리스트를 정의하는,
    컴퓨터 시스템.
  15. 제9항에 있어서,
    상기 파라미터는 수신된 것이 전송자에 의해 공유되는 오버레이 이외의 오버레이를 사용하도록 허용되는지 여부를 정의하는,
    컴퓨터 시스템.
  16. 제9항에 있어서,
    상기 파라미터는 수신자가 오버레이를 수신하고 사용할 수 있는 허용된 전송자의 리스트를 정의하는,
    컴퓨터 시스템.
  17. 비일시적 컴퓨터 판독 가능 매체로서,
    신경망 모델을 압축하기 위한 컴퓨터 프로그램이 저장되고,
    상기 컴퓨터 프로그램은 하나 이상의 컴퓨터 프로세서로 하여금,
    몰입형 원격 회의 세션과 연관된 비디오 데이터를 수신하고,
    상기 비디오 데이터와 연관된 파라미터를 식별하며 ― 상기 파라미터는 상기 몰입형 원격 회의 세션과 연관된 오버레이 데이터를 지정함 ―,
    식별된 파라미터에 기초하여 하나 이상의 오버레이와 함께 상기 비디오 데이터를 디스플레이하도록
    구성되는, 비일시적 컴퓨터 판독 가능 매체.
  18. 제17항에 있어서,
    상기 파라미터는 세션 기술 프로토콜(SDP)을 제공받을 수 있는,
    비일시적 컴퓨터 판독 가능 매체.
  19. 제17항에 있어서,
    상기 파라미터는 초기 제안-응답 협상 동안 또는 상기 몰입형 원격 회의 세션 동안 협상되는,
    비일시적 컴퓨터 판독 가능 매체.
  20. 제17항에 있어서,
    상기 파라미터는 오버레이의 최대 개수를 정의하고 특정 시간에 오버레이 인스턴스의 개수를 제한하는,
    비일시적 컴퓨터 판독 가능 매체.
KR1020227007778A 2020-06-15 2021-04-12 원격 단말을 위한 몰입형 원격 회의 및 텔레프레즌스를 위한 오버레이 처리용 파라미터 KR102566276B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063039336P 2020-06-15 2020-06-15
US63/039,336 2020-06-15
US17/095,239 US11381777B2 (en) 2020-06-15 2020-11-11 Parameters for overlay handling for immersive teleconferencing and telepresence for remote terminals
US17/095,239 2020-11-11
PCT/US2021/026798 WO2021257167A1 (en) 2020-06-15 2021-04-12 Parameters for overlay handling for immersive teleconferencing and telepresence for remote terminals

Publications (2)

Publication Number Publication Date
KR20220038176A true KR20220038176A (ko) 2022-03-25
KR102566276B1 KR102566276B1 (ko) 2023-08-10

Family

ID=78826327

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227007778A KR102566276B1 (ko) 2020-06-15 2021-04-12 원격 단말을 위한 몰입형 원격 회의 및 텔레프레즌스를 위한 오버레이 처리용 파라미터

Country Status (6)

Country Link
US (2) US11381777B2 (ko)
EP (1) EP4008103B1 (ko)
JP (1) JP7411791B2 (ko)
KR (1) KR102566276B1 (ko)
CN (1) CN114830636A (ko)
WO (1) WO2021257167A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11924393B2 (en) * 2021-01-22 2024-03-05 Valeo Comfort And Driving Assistance Shared viewing of video among multiple users
US20230254447A1 (en) * 2022-02-07 2023-08-10 Tencent America LLC Session description protocol (sdp) signaling of occlude-free regions in 360 video conferencing
US11983822B2 (en) 2022-09-02 2024-05-14 Valeo Comfort And Driving Assistance Shared viewing of video with prevention of cyclical following among users

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050144279A1 (en) * 2003-12-31 2005-06-30 Wexelblat David E. Transactional white-listing for electronic communications
US20180203577A1 (en) * 2017-01-16 2018-07-19 Microsoft Technology Licensing, Llc Switch view functions for teleconference sessions
US20190104326A1 (en) * 2017-10-03 2019-04-04 Qualcomm Incorporated Content source description for immersive media data
KR20190138758A (ko) * 2018-06-06 2019-12-16 엘지전자 주식회사 360 비디오 시스템에서 오버레이 미디어 처리 방법 및 그 장치

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5896128A (en) * 1995-05-03 1999-04-20 Bell Communications Research, Inc. System and method for associating multimedia objects for use in a video conferencing system
JP4766696B2 (ja) 2007-03-06 2011-09-07 日本電信電話株式会社 インタフェース装置およびインタフェースシステム
US8373741B2 (en) * 2009-11-20 2013-02-12 At&T Intellectual Property I, Lp Apparatus and method for collaborative network in an enterprise setting
US10045065B2 (en) * 2014-09-05 2018-08-07 Qualcomm Incorporated Synchronization and control of overlay contents for video streaming in a wireless communication system
US10388072B2 (en) * 2016-10-31 2019-08-20 Verizon Patent And Licensing Inc. Methods and systems for dynamically customizing a scene for presentation to a user
US10769438B2 (en) 2017-05-23 2020-09-08 Samsung Electronics Company, Ltd. Augmented reality
US10931930B2 (en) 2018-07-06 2021-02-23 Mediatek Singapore Pte. Ltd. Methods and apparatus for immersive media content overlays
WO2020072820A1 (en) 2018-10-04 2020-04-09 GumGum, Inc. Overlaying content within live streaming video

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050144279A1 (en) * 2003-12-31 2005-06-30 Wexelblat David E. Transactional white-listing for electronic communications
US20180203577A1 (en) * 2017-01-16 2018-07-19 Microsoft Technology Licensing, Llc Switch view functions for teleconference sessions
US20190104326A1 (en) * 2017-10-03 2019-04-04 Qualcomm Incorporated Content source description for immersive media data
KR20190138758A (ko) * 2018-06-06 2019-12-16 엘지전자 주식회사 360 비디오 시스템에서 오버레이 미디어 처리 방법 및 그 장치

Also Published As

Publication number Publication date
US20210392293A1 (en) 2021-12-16
US20220303503A1 (en) 2022-09-22
US11381777B2 (en) 2022-07-05
CN114830636A (zh) 2022-07-29
EP4008103A1 (en) 2022-06-08
JP2022553019A (ja) 2022-12-21
EP4008103A4 (en) 2022-10-12
KR102566276B1 (ko) 2023-08-10
WO2021257167A1 (en) 2021-12-23
EP4008103B1 (en) 2024-04-10
JP7411791B2 (ja) 2024-01-11

Similar Documents

Publication Publication Date Title
KR102566276B1 (ko) 원격 단말을 위한 몰입형 원격 회의 및 텔레프레즌스를 위한 오버레이 처리용 파라미터
WO2019005342A1 (en) MOBILE AMBIROPHONE AUDIO DATA (MOA) FOR COMPUTER-AIDED REALITY SYSTEMS
US20200089466A1 (en) An Apparatus and Associated Methods in the Field of Virtual Reality
US10805570B2 (en) System and method for streaming multimedia data
US11662975B2 (en) Method and apparatus for teleconference
US11223662B2 (en) Method, system, and non-transitory computer readable record medium for enhancing video quality of video call
US11943073B2 (en) Multiple grouping for immersive teleconferencing and telepresence
US20220311814A1 (en) Techniques for signaling multiple audio mixing gains for teleconferencing and telepresence for remote terminals
KR102586860B1 (ko) 원격 단말들에 대한 몰입형 원격회의 및 텔레프레전스를 위한 상호작용 오버레이 취급
US20170048532A1 (en) Processing encoded bitstreams to improve memory utilization
JP7399549B2 (ja) リモート端末向けの遠隔会議およびテレプレゼンスにおいてオーディオミキシングゲインをシグナリングする手法
GB2568726A (en) Object prioritisation of virtual content
JP2023523847A (ja) リモート端末のためのテレビ会議およびテレプレゼンスにおけるビューポート共有時の乗り物酔いを鎮静化するための方法、装置、およびコンピュータプログラム
KR20220062060A (ko) 폴백 비트스트림을 사용한 뷰포트 기반 스트리밍을 위한 비트스트림 구조
KR20230124052A (ko) 360 화상 회의에서 폐색없는 영역들을 시그널링하기위한 방법 및 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant