KR20220164777A - 라이브 업링크 스트리밍 프레임워크(flus) 및 5g 애플리케이션 기능(af)을 사용한 네트워크 기반 미디어 처리(nbmp) 배포 - Google Patents

라이브 업링크 스트리밍 프레임워크(flus) 및 5g 애플리케이션 기능(af)을 사용한 네트워크 기반 미디어 처리(nbmp) 배포 Download PDF

Info

Publication number
KR20220164777A
KR20220164777A KR1020227038757A KR20227038757A KR20220164777A KR 20220164777 A KR20220164777 A KR 20220164777A KR 1020227038757 A KR1020227038757 A KR 1020227038757A KR 20227038757 A KR20227038757 A KR 20227038757A KR 20220164777 A KR20220164777 A KR 20220164777A
Authority
KR
South Korea
Prior art keywords
flus
5gms
nbmp
sink
source
Prior art date
Application number
KR1020227038757A
Other languages
English (en)
Inventor
이라즈 소다가르
Original Assignee
텐센트 아메리카 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 텐센트 아메리카 엘엘씨 filed Critical 텐센트 아메리카 엘엘씨
Publication of KR20220164777A publication Critical patent/KR20220164777A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/765—Media network packet handling intermediate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/10—Architectures or entities
    • H04L65/1063—Application servers providing network services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1069—Session establishment or de-establishment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/611—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for multicast or broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

라이브 업링크 스트리밍 프레임워크(FLUS) 및 5세대 미디어 스트리밍(5GMS) 애플리케이션 기능(AF)을 사용한 네트워크 기반 미디어 처리(NBMP) 배포 방법은 5GMS 애플리케이션 제공자에 의해 5GMS AF와, 5GMS 애플리케이션 제공자가 네트워크 기반 미디어 처리를 위해 5GMS AF를 구성하는, 프로비저닝 세션을 설정하는 단계, 5GMS AF에 의해 네트워크 기반 미디어 처리를 위해 FLUS 싱크를 구성하는 단계, FLUS 소스 발견 프로세스 동안 FLUS 소스에 의해 FLUS 싱크를 선택하는 단계, FLUS 소스에 의해 FLUS 싱크와 FLUS 세션을 설정하는 단계, 및 업링크 스트리밍의 미디어 콘텐츠가 네트워크 기반 미디어 처리를 사용하여 처리되는 FLUS 싱크로 FLUS 소스에 의해 업링크 스트리밍을 시작하는 단계를 포함할 수 있다.

Description

라이브 업링크 스트리밍 프레임워크(FLUS) 및 5G 애플리케이션 기능(AF)을 사용한 네트워크 기반 미디어 처리(NBMP) 배포
참조에 의한 포함
본 개시내용은, 2020년 12월 4일에 출원된 미국 가출원 제63/121,830호, “Deployment Methods of NBMP with FLUS and 5G Application Function”에 대한 우선권을 주장하는, 2021년 9월 10일에 출원된 미국 특허 출원 제17/472,297호 “Network-Based Media Processing (NBMP) Deployment with Framework for Live Uplink Streaming (FLUS) and 5G Application Function (AF)”에 대한 우선권을 주장한다. 선행 출원들의 개시내용들은 참조에 의해 그 전체가 본 명세서에 포함된다.
기술분야
본 개시내용은 5G 미디어 스트리밍(5GMS) 아키텍처를 통한 라이브 업링크 스트리밍 프레임워크(framework for live uplink streaming, FLUS)를 사용한 네트워크 기반 미디어 처리(NBMP)에 관한 것이다.
본 명세서에서 제공되는 배경기술 설명은 본 개시내용의 맥락을 전반적으로 제시하기 위한 것이다. 이 배경기술 섹션에 설명되어 있는 정도까지의, 현재 기명된 발명자들의 연구는 물론, 출원 당시에 종래 기술로서 달리 자격이 없을 수 있는 설명의 양상들이 명시적으로도 암시적으로도 본 개시내용에 대한 종래 기술로서 인정되지 않는다.
멀티미디어 서비스 제공자들은 자신의 고객들에게 도달하기 위해 자신의 서비스들을 다수의 클라우드 및 네트워크 서비스 제공자들에 적응시켜야 하는 과제에 직면해 있다. 이러한 클라우드 및 네트워크 서비스 제공자들은 종종 자신의 고객들에게 컴퓨트 자원들을 할당하기 위해 자체 애플리케이션 프로그래밍 인터페이스들(API들)을 정의한다. 단편화를 해결하고 임의의 클라우드 플랫폼에서 및 임의의 IP 네트워크에서 미디어 처리를 수행하는 통합된 방식을 제공하기 위해 네트워크 기반 미디어 처리(NBMP) 표준이 개발되고 있다. NBMP는 기성의 미디어 처리 기능들의 구현들을 사용하고 이들을 합성하여 미디어 처리 작업 흐름을 생성할 수 있는 작업 흐름 관리자를 정의한다.
3GPP(3rd Generation Partnership Project)는 5G 미디어 스트리밍(5GMS) 아키텍처에 대한 표준들을 개발하였다. 5GMS 아키텍처는 모바일 네트워크 사업자(MNO) 및 제3자 다운링크 및 업링크 미디어 스트리밍 서비스들을 포함하는 서비스들을 지원할 수 있다. 5GMS 아키텍처는 관련 네트워크 및 사용자 장비(UE) 기능들 및 API들을 제공한다.
3GPP는 또한 최종 사용자가 라이브 피드들을 네트워크 또는 다른 최종 사용자에게 스트리밍할 수 있도록 하는 서비스들을 셋업하는 데 사용될 수 있는 라이브 업링크 스트리밍 프레임워크(FLUS)를 개발하였다.
본 개시내용의 양상들은 라이브 업링크 스트리밍 프레임워크(FLUS) 및 5세대 미디어 스트리밍(5GMS) 애플리케이션 기능(AF)을 사용한 네트워크 기반 미디어 처리(NBMP) 배포 방법을 제공한다. 이 방법은 5GMS 애플리케이션 제공자에 의해 5GMS AF와, 5GMS 애플리케이션 제공자가 네트워크 기반 미디어 처리를 위해 5GMS AF를 구성하는, 프로비저닝 세션을 설정하는 단계, 5GMS AF에 의해 네트워크 기반 미디어 처리를 위해 FLUS 싱크를 구성하는 단계, FLUS 소스 발견 프로세스 동안 FLUS 소스에 의해 FLUS 싱크를 선택하는 단계, FLUS 소스에 의해 FLUS 싱크와 FLUS 세션을 설정하는 단계, 및 업링크 스트리밍의 미디어 콘텐츠가 네트워크 기반 미디어 처리를 사용하여 처리되는 FLUS 싱크로 FLUS 소스에 의해 업링크 스트리밍을 시작하는 단계를 포함할 수 있다.
일 실시예에서, 5GMS 애플리케이션 제공자는 네트워크 기반 미디어 처리에 대응하는 NBMP 작업 흐름 설명 문서(workflow description document, WDD)를 사용하여 5GMS AF를 구성할 수 있다. 일 예에서, 5GMS AF에 의해 FLUS 싱크를 구성하는 단계는 FLUS 싱크를 구성하는 단계 및 네트워크 기반 미디어 처리에 대응하는 NBMP WDD에 기초하여 FLUS 싱크에서 NBMP 작업 흐름을 인스턴스화하는 단계를 포함할 수 있다. 일 실시예에서, 5GMS AF에 의해 FLUS 싱크를 구성하는 단계는 5GMS AF에 의해 FLUS 소스의 주소 및 네트워크 기반 미디어 처리에 대응하는 NBMP WDD를 FLUS 싱크에게 제공하는 단계를 포함하며, 여기서 네트워크 기반 미디어 처리를 위한 NBMP 작업 흐름의 인스턴스화가 FLUS 싱크에서 수행되지 않는다.
일 실시예에서, FLUS 소스 발견 프로세스는 5GMS AF에 의해 FLUS 싱크를 FLUS 싱크 발견 서버에 게시하는 단계, 및 FLUS 소스에 의해 FLUS 싱크 발견 서버에 나열된 하나 이상의 FLUS 싱크 중에서 FLUS 싱크를 발견하는 단계를 포함할 수 있으며, 여기서 FLUS 소스는 FLUS 싱크가 네트워크 기반 미디어 처리를 수행할 수 있다는 FLUS 싱크 발견 서버 상의 정보에 기초하여 FLUS 싱크를 선택한다.
일 실시예에서, FLUS 소스에 의해 FLUS 싱크와 FLUS 세션을 설정하는 단계는 사용자 장비(UE)에 있는 5GMS 인식 애플리케이션에 의해 네트워크 기반 미디어 처리를 위한 NBMP 작업 흐름의 인스턴스화를 요청하는 단계, 및 UE에 있는 FLUS 소스에 의해 네트워크 기반 미디어 처리를 위한 NBMP 작업 흐름의 인스턴스화에 대한 요청을 FLUS 싱크에게 전송하는 단계 - NBMP 작업 흐름에 대응하는 NBMP WDD는 요청에 포함됨 - 를 포함한다.
일 실시예에서, FLUS 소스에 의해 FLUS 싱크와 FLUS 세션을 설정하는 단계는, FLUS 싱크가 5GMS AF에 의해 FLUS 소스의 주소 및 네트워크 기반 미디어 처리에 대응하는 NBMP WDD를 사용하여 구성될 때, FLUS 소스의 주소를 포함하는 FLUS 소스로부터의 FLUS 세션을 설정하라는 요청에 응답하여, FLUS 싱크에 의해 NBMP WDD에 기초하여 NBMP 작업 흐름을 인스턴스화하는 단계를 포함한다.
본 개시내용의 양상들은 FLUS 및 5GMS AF를 사용한 다른 NBMP 배포 방법을 제공한다. 이 방법은 FLUS 소스에서 FLUS 싱크가 네트워크 기반 미디어 처리를 위해 구성되어 있다는 시그널링을 5GMS 애플리케이션 제공자로부터 수신하는 단계, FLUS 소스에 의해 FLUS 싱크와 FLUS 세션을 설정하는 단계, 및 FLUS 소스로부터 미디어 콘텐츠가 네트워크 기반 미디어 처리를 사용하여 처리되는 FLUS 싱크로 미디어 콘텐츠를 스트리밍하기 위해 FLUS 소스에 의해 FLUS 싱크와 업링크 미디어 스트리밍 세션을 시작하는 단계를 포함할 수 있다.
본 개시내용의 양상들은 FLUS 및 5GMS AF를 사용한 다른 NBMP 배포 방법을 제공한다. 이 방법은 FLUS 싱크에서 네트워크 기반 미디어 처리를 위한 구성을 5GMS AF로부터 수신하는 단계, 사용자 장비(UE)에 있는 FLUS 소스로부터의 요청을 수신하는 것에 응답하여 FLUS 소스와 FLUS 싱크 사이에 FLUS 세션을 설정하는 단계, 및 FLUS 싱크에서 업링크 미디어 스트리밍의 미디어 콘텐츠를 FLUS 소스로부터 수신하는 단계를 포함할 수 있다. 업링크 미디어 스트리밍의 미디어 콘텐츠는 네트워크 기반 미디어 처리를 사용하여 처리된다.
개시된 주제의 추가의 특징들, 본질 및 다양한 장점들은 이하의 상세한 설명 및 첨부 도면들로부터 보다 명백해질 것이다.
도 1은 본 개시내용의 실시예에 따른 예시적인 네트워크 기반 미디어 처리(NBMP) 시스템(100)을 도시한다.
도 2는 본 개시내용의 실시예에 따른 예시적인 작업 흐름을 도시한다.
도 3은 5세대 미디어 스트리밍(5GMS) 시스템(300)의 예를 도시한다.
도 4는 업링크 스트리밍 서비스를 제공하기 위한 라이브 업링크 스트리밍 프레임워크(FLUS) 시스템(400)의 예를 도시한다.
도 5는 본 개시내용의 실시예에 따른 네트워크 기반 미디어 처리 시스템(500)을 도시한다.
도 6은 본 개시내용의 실시예에 따른 네트워크 기반 미디어 처리 프로세스(600)를 도시한다.
도 7은 본 개시내용의 실시예에 따른 FLUS 및 5GMS 애플리케이션 기능(AF)을 사용한 NBMP 배포 프로세스(700)를 도시한다.
도 8은 본 개시내용의 실시예에 따른 FLUS 및 5GMS AF를 사용한 NBMP 배포 프로세스(800)를 도시한다.
도 9은 본 개시내용의 실시예에 따른 FLUS 및 5GMS AF를 사용한 NBMP 배포 프로세스(900)를 도시한다.
도 10은 개시된 주제의 특정 실시예들을 구현하기에 적합한 컴퓨터 시스템(1000)을 도시한다.
MPEG(Moving Picture Experts Group) NBMP(Network-Based Media Processing) 프로젝트는 네트워크 기반 미디어 처리를 위한 표준: ISO/IEC JTC1/SC29/WG11/N19062, January 2020, Brussels, BE, FDIS/ 23090-8, Network-Based Media Processing을 개발하였다. 이 NBMP 표준은 참조에 의해 그 전체가 본 명세서에 포함된다.
3GPP(3rd Generation Partnership Project)는 5G 미디어 스트리밍 아키텍처(5GMSA)를 규정하는 표준: 3GPP TS 26.501, 5G Media Streaming (5GMS), General description and architecture (version 16.4.0, Release 16)을 개발하였다. 이 5GMSA 표준은 참조에 의해 그 전체가 본 명세서에 포함된다. 5GMSA는 5G 네트워크로부터 디바이스들로의 및 그 반대로의 미디어의 다운링크 및 업링크 스트리밍을 위한 일반 아키텍처를 제공한다.
3GPP는 또한 라이브 업링크 스트리밍 프레임워크(FLUS)를 규정하는 표준: 3GPP TS 26.238, Uplink Streaming (version 16.2.0, Release 16)을 개발하였다. 이 FLUS 표준은 참조에 의해 그 전체가 본 명세서에 포함된다. FLUS는 MTSI(multimedia telephony service for IP multimedia subsystem) 및 비-MTSI 단말들을 위한 5G 네트워크에서의 업링크 스트리밍을 제공한다.
NBMP 시스템에서, NBMP 소스는 미디어 작업 흐름을 생성, 실행, 관리, 및 모니터링하기 위해 작업 흐름 관리자에게 작업 흐름 설명을 제공하는 엔티티일 수 있다. NBMP 소스와 작업 흐름 관리자 사이의 상호작용은 한 세트의 NBMP 동작 API들을 통해 이루어진다. 5GMSA에서, 미디어 스트림들의 소스 디바이스는 네트워크에서 애플리케이션 기능/애플리케이션 서버(AF/AS) 쌍과 업링크 세션을 설정할 수 있다. 수신 디바이스는 또한 네트워크로부터 콘텐츠를 스트리밍/다운로드하기 위해 AF/AS 쌍과 다운링크 세션을 설정한다. FLUS 시스템에서, FLUS 프로토콜은 소스 디바이스로부터 네트워크로 멀티미디어 콘텐츠를 업링크 스트리밍하고 해당 콘텐츠를 하나 이상의 목적지로 전송/분배하기 위한 메커니즘을 제공할 수 있다.
본 개시내용은 FLUS 및 5G 애플리케이션 기능(예를 들면, 5GMS AF)을 사용한 네트워크 기반 미디어 처리를 사용하기 위한 다양한 배포 시나리오들을 설명한다.
I. 네트워크 기반 미디어 처리
NBMP는 임의의 클라우드 또는 에지 컴퓨팅 플랫폼에서 미디어 처리 작업 흐름들을 셋업하고 관리하기 위한 추상화 계층을 지정한다. NBMP는 콘텐츠 및 서비스 제공자들이 네트워크/클라우드에서 자신의 콘텐츠에 대한 미디어 처리를 설명, 배포, 및 제어할 수 있도록 한다. NBMP 작업 흐름들은 미디어 소스로부터의 들어오는 미디어 및 메타데이터를 처리하고 처리된 미디어 및 메타데이터 스트림들 - 이들은 후속적으로 미디어 싱크들에 의한 소비를 위해 게시됨 - 을 생성하기 위해 유향 비순환 그래프(direct acyclic graph)를 구축하도록 연결되는 다수의 미디어 처리 태스크들로 구성된다.
NBMP 프레임워크는 네트워크에서의(예를 들면, 클라우드 플랫폼에서의) 미디어 처리를 초기화하고 제어하는 데 이용될 수 있다. 예를 들어, NBMP 소스는 요청된 미디어 처리를 설명하고 미디어 데이터의 성질과 포맷에 관한 정보를 제공한다. 그에 응답하여, NBMP 작업 흐름 관리자는 미디어 처리 작업 흐름을 설정하고 작업 흐름이 준비되었음을 NBMP 소스에 통보할 수 있으며, 요청된 미디어 처리가 시작될 수 있다. 미디어 소스(들)는 이어서 처리를 위해 미디어를 네트워크로 전송하기 시작할 수 있다.
NBMP 작업 흐름은, 각각이 잘 정의된 미디어 처리 동작을 수행하는, 미디어 처리 태스크들의 연결 그래프(connected graph)로서 이해될 수 있다. 작업 흐름 관리자는 각각의 태스크는 물론 작업 흐름 출력을 구성하고 모니터링하는 것에 의해 작업 흐름의 올바른 동작을 보장한다. 작업 흐름 관리자는, NBMP 소스로부터 수신되는 작업 흐름 설명에 기초하여, 미디어 처리 기능들을 선택하고 선택된 기능들을 태스크들로서 인스턴스화하는 것을 책임지고 있다.
도 1은 본 개시내용의 실시예에 따른 예시적인 NBMP 시스템(100)을 도시한다. NBMP 시스템(100)은 스트리밍, 파일 전달, 푸시 기반 점진적 다운로드, 하이브리드 전달, 다중 경로, 및 이종 네트워크 환경들과 같은 기존의 미디어 전달 방법들을 지원할 수 있다. NBMP 시스템(100)은 또한 네트워크 지원 미디어 품질 향상(예를 들면, 가상 현실(VR) 스티칭, 비디오 업스케일링, 적응적 스트리밍을 위한 모바일 에지 인코딩, 및 콘텐츠 인식 클라우드 트랜스코딩), 네트워크 지원 미디어 분배(예를 들면, 라이브 미디어 수집, 온라인 트랜스코딩 및 미디어 인식 캐싱), 네트워크 지원 미디어 합성(예를 들면, 증강 비디오 스트리밍 및 맞춤형 미디어 합성), 몰입형 미디어 핸들링(예를 들면, 네트워크 통합(network aggregated) 포인트 클라우드 미디어) 등과 같은 다양한 클라우드 기반 미디어 처리 능력들을 제공하는 것에 의해 새로 등장하는 미디어 애플리케이션들을 가능하게 할 수 있다.
도시된 바와 같이, NBMP 시스템(100)은 NBMP 소스(101), NBMP 작업 흐름 관리자(103), 기능 리포지토리(105), 미디어 소스(111), 데이터 처리 엔티티(MPE)(113), 및 미디어 싱크(115)를 포함할 수 있다. NBMP 시스템(100)은 추가적인 미디어 소스(들), 미디어 싱크(들) 및/또는 MPE들을 포함할 수 있다.
NBMP 소스(101)는 미디어 처리 엔티티(113)에 의해 수행될 미디어 처리 동작들을 설명하거나 달리 표시할 수 있다. 기능 리포지토리(105)는 다양한 미디어 처리 기능들을 저장할 수 있다. NBMP 소스(101) 및 NBMP 작업 흐름 관리자(103)는 기능 리포지토리(105)로부터 미디어 처리 기능들을 검색할 수 있다. 미디어 처리 기능 또는 기능은 360 비디오 스트리밍 서비스에서의 스티칭 프로세스, 비디오 전달 서비스에서의 인공 지능(AI) 기반 비디오 업스케일링 프로세스 등과 같은, 특정 미디어 처리 프로세스를 수행하는 데 사용될 수 있다.
미디어 처리 태스크 또는 태스크는 MPE(113)에 의해 실행되는 기능의 런타임 인스턴스일 수 있다. NBMP 작업 흐름 또는 작업 흐름은 요청된 미디어 처리를 달성하는 하나 이상의 연결된 태스크(들)의 그래프(예를 들면, 유향 비순환 그래프(directed acyclic graph, DAG))에 의해 표현될 수 있다. NBMP 작업 흐름 관리자(103) 또는 작업 흐름 관리자(103)는, 예를 들어, 작업 흐름 설명 문서(WDD)에 기초하여, 작업 흐름을 생성, 제어, 관리 및 모니터링하기 위해 태스크(들)를 프로비저닝하고 태스크(들)를 연결시킬 수 있다.
미디어 소스(111)는 작업 흐름에 의해 처리될 미디어 콘텐츠(예를 들면, 미디어 데이터, 보충 정보)를 제공할 수 있다. 보충 정보는 미디어 데이터에 관련된 메타데이터 또는 보조 정보를 포함할 수 있다. 미디어 소스(111)는 작업 흐름에 입력을 제공할 수 있다. 미디어 싱크(115)는 작업 흐름의 출력을 소비할 수 있다. MPE(113)는 미디어 콘텐츠를 처리하기 위해 하나 이상의 미디어 처리 태스크(들)를 실행할 수 있다.
도 1에 도시된 바와 같이, NBMP 시스템(100) 내의 상이한 엔티티들(예를 들면, NBMP 소스(101), 작업 흐름 관리자(103) 및 MPE(113))은 미디어 서비스 요청들을 호출하고 그에 응답하는 데 API들을 사용할 수 있다. API들은 NBMP 작업 흐름 API(또는 작업 흐름 API), 기능 발견 API, 및 태스크 API를 포함할 수 있다. 작업 흐름 API는 NBMP 소스(101)와 작업 흐름 관리자(103) 사이의 인터페이스를 제공할 수 있다. 태스크 API는 작업 흐름 관리자(103)와 미디어 처리 태스크들 사이의 인터페이스를 제공할 수 있다. 기능 발견 API는 작업 흐름 관리자(103)/NBMP 소스(101)와 기능 리포지토리(105) 사이의 인터페이스를 제공할 수 있다.
위에서 설명된 NBMP 인터페이스들은 네트워크에서의 미디어 처리 작업 흐름들을 생성하고 제어하는 데 사용될 수 있다. NBMP 시스템(100)은 제어 평면과 미디어 평면(또는 미디어 데이터 평면)으로 분할될 수 있다. 제어 평면은 작업 흐름 API, 기능 발견 API, 및 태스크 API를 포함할 수 있다.
작업 흐름 API는 미디어 처리 작업 흐름을 생성하고 제어하기 위해 NBMP 소스(101)에 의해 사용될 수 있다. NBMP 소스(101)는 네트워크에서의 미디어 처리를 구성하고 제어하기 위해 작업 흐름 관리자(103)와 통신하는 데 작업 흐름 API를 사용할 수 있다. NBMP 소스(101)가 작업 흐름 API의 동작에 작업 흐름 자원(WR)을 포함시키는 것에 의해 요청을 작업 흐름 관리자(103)에게 송신할 때, 작업 흐름 관리자(103)는 WR, 포함된 WDD 및 대응하는 디스크립터들을 파싱하고, 요청된 동작에 따라 적절한 액션들을 취할 수 있다. 이어서, 작업 흐름 관리자(103)는 요청에 응답으로 확인응답할 수 있다. 작업 흐름 API 동작들은 작업 흐름을 생성하는 것(예를 들면, CreateWorkflow), 작업 흐름을 업데이트하는 것(예를 들면, UpdateWorkflow), 작업 흐름을 삭제하는 것(예를 들면, DeleteWorkflow), 작업 흐름을 검색하는 것(예를 들면, RetrieveWorkflow) 등을 포함할 수 있다.
기능 발견 API는 작업 흐름 관리자(103) 및/또는 NBMP 소스(101)가 미디어 처리 작업 흐름의 일부로서 로딩될 수 있는 미디어 처리 기능들을 발견하기 위한 수단을 제공할 수 있다.
태스크 API는 런타임 시에 태스크(들)(예를 들면, MPE(113)에 의해 실행되는 태스크 1 및 태스크 2)를 구성하고 모니터링하기 위해 작업 흐름 관리자(103)에 의해 사용될 수 있다. 태스크 API는, 예를 들어, 태스크를 위한 자원들이 MPE(113)에 할당된 후에, 작업 흐름 관리자(103)에 의한 미디어 처리 태스크들의 구성을 위한 인터페이스(들)를 정의할 수 있다. 태스크 API 동작들은 태스크를 생성하는 것(예를 들면, CreateTask), 태스크를 업데이트하는 것(예를 들면, UpdateTask), 태스크를 가져오는 것(예를 들면, GetTask), 태스크를 삭제하는 것(예를 들면, DeleteTask) 등을 포함할 수 있다.
미디어 평면에서, NBMP 소스(111)와 태스크(들) 사이는 물론 태스크들 사이의 미디어 포맷들, 메타데이터, 및 보충 정보 포맷들이 정의될 수 있다.
작업 흐름 설명(WD)은 NBMP 소스(101)로부터 작업 흐름 관리자(103)로 전달될 수 있다. WD는 작업 흐름에 대한 입력 데이터 및 출력 데이터, 기능들 및 다른 요구사항들과 같은 정보를 설명할 수 있다.
작업 흐름 관리자(103)는 NBMP 소스(101)로부터 WDD를 수신할 수 있고 요청된 미디어 처리를 위한 작업 흐름을 구축할 수 있다. 작업 흐름 절차에서, 미디어 처리 기능들이, 예를 들어, 기능 리포지토리(105)로부터 선택될 수 있으며, 이어서 대응하는 미디어 처리 태스크들이 구성되고 하나 이상의 MPE(예를 들면, MPE(113)를 포함함)의 세트에게 분배될 수 있다.
기능 리포지토리(105)에 의해 제공되는 한 세트의 기능들은 NBMP 소스(101) 및 작업 흐름 관리자(103)에 의해 판독될 수 있다. 일 실시예에서, NBMP 소스(101)는 기능 리포지토리(105)에 있는 한 세트의 기능들을 사용하는 작업 흐름의 생성을 요청한다. 그에 따라, NBMP 소스(101)는 작업 흐름에 대한 기능들을 선택하도록 구성된다. NBMP 소스(101)는 아래에서 설명되는 바와 같이 작업 흐름의 생성을 요청할 수 있다. NBMP 소스(101)는 작업 흐름을 생성하는 데 이용되는 미디어 처리 태스크들에 대한 설명을 사용할 수 있으며, 미디어 처리 태스크들의 입력들과 출력들의 연결을 정의하는 연결 맵을 지정할 수 있다. 작업 흐름 관리자(103)가 NBMP 소스(101)로부터 상기 정보를 수신할 때, 작업 흐름 관리자(103)는 각자의 기능 이름들에 기초하여 미디어 처리 태스크들을 인스턴스화할 수 있고 연결 맵에 따라 미디어 처리 태스크들을 연결시킬 수 있다.
대안적으로, NBMP 소스(101)는 작업 흐름 관리자(103)가 작업 흐름을 구성하는 데 이용할 수 있는 한 세트의 키워드들을 사용하여 작업 흐름의 생성을 요청할 수 있다. 그에 따라, NBMP 소스(101)는 작업 흐름에 삽입될 한 세트의 기능들을 알지 못할 수 있다. NBMP 소스(101)는 아래에서 설명되는 바와 같이 작업 흐름의 생성을 요청할 수 있다. NBMP 소스(101)는 작업 흐름 관리자(103)가 적절한 기능들을 찾는 데 이용할 수 있는 한 세트의 키워드들을 사용할 수 있으며 적합한 작업 흐름 설명을 사용하여 작업 흐름의 요구사항들을 지정할 수 있다.
작업 흐름 관리자(103)가 NBMP 소스(101)로부터 상기 정보(예를 들면, 한 세트의 키워드들)를 수신할 때, 작업 흐름 관리자(103)는, 예를 들어, 처리 디스크립터에 지정된 키워드들을 사용하여 적절한 기능들을 탐색하는 것에 의해 작업 흐름을 생성할 수 있다. 이어서 작업 흐름 관리자(103)는 작업 흐름 설명 내의 다른 디스크립터들을 사용하여 미디어 처리 태스크들을 프로비저닝하고 미디어 처리 태스크들을 연결시켜 최종 작업 흐름을 생성할 수 있다.
작업 흐름 관리자(103)의 처리 모델은 아래에서 설명된다.
작업 흐름 관리자(103)는 아래와 같이 이용 가능한 미디어 처리 기능들을 발견할 수 있다. NBMP 기능 리포지토리(105)는 요청된 처리를 수행할 수 있는 미디어 처리 기능에 대해 외부 엔티티들이 조회할 수 있도록 하기 위한 기능 발견 인터페이스(또는 API)를 제공할 수 있다. 작업 흐름 관리자(103)는 탐색 가능한 미디어 처리 기능들의 목록을 제공하는 디렉토리 서비스에 액세스할 수 있다. 작업 흐름 관리자(103)는 작업 흐름에 대한 적절한 기능들을 찾기 위해 작업 흐름 설명 내의 미디어 처리 태스크들에 대한 설명을 사용할 수 있다.
작업 흐름에 대한 미디어 처리 태스크들의 선택은 아래에서 설명될 수 있다. 미디어 처리에 대한 요청이 NBMP 소스(101)로부터 수신될 때, 작업 흐름 관리자(103)는 작업 흐름을 수행할 수 있는 모든 이용 가능한 기능들의 목록을 찾기 위해 기능 리포지토리(105)를 탐색할 수 있다. NBMP 소스(101)로부터의 작업 흐름 설명을 사용하여, 작업 흐름 관리자(103)는, NBMP 소스(101)로부터의 미디어 처리에 대한 정보에 의존할 수 있는, 작업 흐름을 구현할 기능들을 기능 리포지토리(105)로부터 찾을 수 있다. 미디어 처리에 대한 정보는 입력 및 출력 설명, 요청된 처리에 대한 설명, 및 기능 디렉토리(105)에 있는 기능들에 대한 다른 디스크립터들 내의 정보를 포함할 수 있다. 작업 흐름에 포함될 적절한 미디어 처리 태스크들에 소스 요청들을 매핑하는 것은 네트워크에서의 NBMP의 구현의 일부일 수 있다. 태스크 생성 시에 입력 포트 이름들 및 출력 포트 이름들을 사용하여 입력 소스들을 참조하고 링크시키기 위해, 입력 포트들 및 출력 포트들이 입력 스트림들을 참조하는 데 사용될 수 있다.
태스크들로서 인스턴스화될 적절한 기능들에 대한 탐색은 기능 발견 API를 사용하여 작업 흐름 관리자(103)에 의해 수행될 수 있다. 대안적으로, 작업 흐름 관리자(103)는 기능 발견 API를 사용하여 기능 리포지토리(105)에서 일부 또는 모든 적합한 기능들의 상세 정보를 검색할 수 있다. 작업 흐름 관리자(103)는 이어서 NBMP 소스(101)로부터의 미디어 처리에 대한 정보를 각각의 기능의 상이한 디스크립터들과 비교할 수 있다.
선택된 미디어 처리 태스크들이 작업 흐름에 구성될 수 있다. 작업 흐름에 포함될 기능들이 식별될 때, NBMP 작업 흐름 관리자(103)는 기능들을 각자의 태스크들로서 인스턴스화하고 태스크들이 작업 흐름에 추가될 수 있도록 태스크들을 구성할 수 있다. NBMP 작업 흐름 관리자(103)는 NBMP 소스(101)로부터의 미디어 처리 정보로부터 구성 데이터를 추출하고 대응하는 태스크들을 구성할 수 있다. 태스크들의 구성은 태스크 API(예를 들면, NBMP 태스크 API)를 사용하여 수행될 수 있다.
태스크 할당 및 분배는 아래에서 설명된다. 작업 흐름 관리자(103)는 작업 흐름을 사용하여 처리 배포를 수행하고 미디어 처리 엔티티들을 구성할 수 있다. 일 예에서, 계산 집약적인 미디어 처리 요청들의 경우, 작업 흐름 관리자(103)는 다수의 계산 인스턴스들을 셋업하고 다수의 계산 인스턴스들 간에 작업 부하를 분배할 수 있다. 따라서, 작업 흐름 관리자(103)는 필요에 따라 다수의 계산 인스턴스들을 연결시켜 구성할 수 있다. 일 예에서, 작업 흐름 관리자(103)는 동일한 태스크를 다수의 인스턴스들에 할당하고, 선택된 스케줄링 메커니즘을 사용하여 다수의 인스턴스들 간에 작업 부하를 분배하기 위해 로드 밸런서(load balancer)를 프로비저닝한다. 대안적인 예에서, 작업 흐름 관리자(103)는 동일한 태스크의 상이한 동작들을 상이한 인스턴스들(예를 들면, 병렬 동작들)에 할당한다. 위에서 설명된 예들 양쪽 모두에서, 작업 흐름 관리자(103)는 인스턴스들 간의 작업 흐름 경로들을 셋업할 수 있고, 따라서 적합한 작업 부하가 성공적으로 실현될 수 있다. 작업 흐름 관리자(103)는 처리된 미디어 데이터/스트림들을 작업 흐름 그래프에서의 다음 태스크로 푸시(push)하도록(또는 이들이 풀 메커니즘(pull mechanism)을 통해 이용 가능하게 되도록) 태스크들을 구성할 수 있다.
작업 흐름 관리자(103)가 NBMP 소스(101)로부터 WDD를 수신할 때, 작업 흐름 관리자(103)는 작업 흐름에 삽입될 미디어 처리 기능들의 선택을 수행할 수 있다. 작업 흐름에 포함할 태스크들의 목록이 작성될 때, 작업 흐름 관리자(103)는 이어서 작업 흐름을 준비하기 위해 태스크들을 연결시킬 수 있다.
작업 흐름 관리자(103)는, 예를 들어, 그래프(예를 들면, DAG)에 의해 표현되는 바와 같은, 작업 흐름을 생성할 수 있다. 도 2는 본 개시내용의 실시예에 따른 그래프(예를 들면, DAG)(200)의 예를 도시한다. DAG(200)는 복수의 노드들(T1 내지 T6) 및 복수의 링크들(또는 연결들)(202 내지 208)을 포함할 수 있다. 일 예에서, DAG(200)는 작업 흐름(200)을 나타낸다.
DAG(200)의 각각의 노드는 작업 흐름(200)에서의 미디어 처리 태스크를 나타낼 수 있다. DAG(200A)에서 제1 노드(예를 들면, 노드(T1))를 제2 노드(예를 들면, 노드(T2))에 연결시키는 링크(예를 들면, 링크(202))는 제1 노드(예를 들면, 노드(T1))의 출력을 제2 노드(예를 들면, 노드(T2))에 대한 입력으로서 전송하는 것을 나타낼 수 있다.
일반적으로, 작업 흐름은 임의의 적합한 수의 입력(들)(또는 작업 흐름 입력(들)) 및 임의의 적합한 수의 출력(들)(또는 작업 흐름 출력(들))을 포함할 수 있다. 작업 흐름 입력(들)은 미디어 소스(111), 다른 작업 흐름(들) 및/또는 기타 등등에 연결될 수 있고, 작업 흐름 출력(들)은 미디어 싱크(115), 다른 작업 흐름(들) 및/또는 기타 등등에 연결될 수 있다. 작업 흐름(200)은 입력(201)과 출력들(209 및 210)을 갖는다. 일부 실시예들에서, 작업 흐름(200)은 중간 노드들로부터의 하나 이상의 출력을 가질 수 있다.
Ⅱ. 5G 미디어 스트리밍(5GMS) 시스템
5G 미디어 스트리밍(5GMS) 시스템은 MNO 및 제3자 다운링크 또는 업링크 미디어 스트리밍 서비스들을 포함한 서비스들을 지원할 수 있다. 5GMS 시스템은 관련 네트워크 및 UE 기능들 및 API들을 제공할 수 있다. 5GMS 시스템은 5G MNO들과 콘텐츠 제공자들 사이의 다양한 통합 정도들을 사용하여 상이한 배포들을 가능하게 하는 독립적인 컴포넌트들로 기능적으로 분할될 수 있다.
일반적으로, 본 개시내용의 맥락에서의 스트리밍은 시간 연속적인 미디어 콘텐츠를 주된 미디어로서 전달하는 것으로서 정의될 수 있다. 미디어 콘텐츠는 주로 단일 방향으로 송신되며 수신되는 대로 소비될 수 있다. 추가적으로, 미디어 콘텐츠는 생성되는 대로 스트리밍 - 라이브 스트리밍(live streaming)이라고 지칭됨 - 될 수 있다. 이미 생성되어 있는 콘텐츠가 스트리밍되는 경우, 이는 주문형 스트리밍(on-demand streaming)이라고 지칭된다.
도 3은 5GMS 시스템(300)의 예를 도시한다. 시스템(300)은 사용자 장비(UE)(301) 및 데이터 네트워크(DN)(302)를 포함할 수 있다. 시스템(300)은 다운링크 미디어 스트리밍 서비스들 또는 업링크 미디어 스트리밍 서비스들 중 어느 하나, 또는 양쪽 모두를 지원하는 애플리케이션 기능들(AF들), 애플리케이션 서버들(AS들), 및 인터페이스들의 어셈블리일 수 있다. 다운링크 스트리밍의 경우, DN(302)은 미디어의 발신지이고, UE(301)는 소비 디바이스로서 역할한다. 업링크 스트리밍의 경우, UE(301)는 미디어의 발신지이고, DN(302)은 소비 엔티티로서 역할한다. 도 3의 예에서, 시스템(300)은 업링크 미디어 스트리밍 서비스들을 지원하는 시스템인 것으로 도시되어 있다. 시스템(300)의 컴포넌트들은 5GS의 일부인 MNO에 의해 및/또는 5GMS 애플리케이션 제공자에 의해 제공될 수 있다.
일부 예들에서, UE(301)는 5GMS 인식 애플리케이션(310) 및 5GMS 클라이언트(320)를 포함할 수 있다. 5GMS 클라이언트(320)는 미디어 세션 핸들러(321) 및 미디어 스트리머(322)를 포함할 수 있다. DN(302)은 5GMS 애플리케이션 제공자(330), 5GMS 애플리케이션 기능(AF)(340), 및 5GMS 애플리케이션 서버(AS)(350)를 포함할 수 있다. 시스템(300)은 2 개의 5G 기능(예를 들면, 3GPP 5G 표준들에 의해 지정됨): 네트워크 노출 기능(NEF)(361) 및 정책 제어 기능(PCF)(362)을 더 포함할 수 있다. 해당 요소들은 도 3에 도시된 바와 같이 함께 결합된다.
5GMS 애플리케이션 제공자(330)는 스트리밍 서비스들을 위해 5GMS 시스템(300)을 이용한다. 5GMS 애플리케이션 제공자(330)는 5GMS 시스템(300)에서 정의되는 인터페이스들 및 API들을 사용하여 5GMS 클라이언트(320) 및 네트워크 기능들(340 및 350)을 사용하기 위해 UE(301) 상의 5GMS 인식 애플리케이션(310)을 제공하거나 이와 연관된다. 예를 들어, 5GMS 클라이언트(320)는 전형적으로 5GMS 인식 애플리케이션(310)(예를 들면, 앱)에 의해 제어되며, 5GMS 인식 애플리케이션(310)은 애플리케이션 또는 콘텐츠 서비스 제공자 특정 로직을 구현하고 미디어 세션이 설정될 수 있도록 한다. 예를 들어, 5GMS 애플리케이션 제공자(330)는 5GMS 인식 애플리케이션들로부터 미디어를 스트리밍하기 위해 5GMS 시스템(300)을 사용하는 애플리케이션 또는 콘텐츠 특정 미디어 기능(예를 들면, 미디어 저장, 소비, 트랜스코딩, 및 재분배)일 수 있다.
5GMS AF(340)는 3GPP TS 23.501, “System architecture for the 5G System (5GS)”, clause 6.2.10에 정의된 것과 유사하고 5G 미디어 스트리밍에 전용된 AF일 수 있다. 예를 들어, 5GMS AF(340)는 UE 상의 미디어 세션 핸들러(321)에게 및/또는 5GMS 애플리케이션 제공자에게 다양한 제어 기능들을 제공하는 애플리케이션 기능일 수 있다. 5GMS AF(340)는 또한 상이한 정책 또는 과금 기능(PCF) 처리에 대한 요청을 중계 또는 개시할 수 있거나 NEF(361)를 통해 다른 네트워크 기능들과 상호작용할 수 있다. 하나 이상의 API를 각각 노출시키는, 다수의 5GMS AF들이 배포에 존재하고 DN(302) 내에 상주할 수 있다.
5GMS AS(350)는, 미디어 기능들을 호스팅하는 애플리케이션 서버와 같은, 5G 미디어 스트리밍에 전용된 AS일 수 있다. 다양한 예들에서, 5GMS AS들의 상이한 실현들, 예를 들어, 콘텐츠 전달 네트워크(CDN)가 있을 수 있다. 5GMS AF(340) 및 5GMS AS(350)는 데이터 네트워크(DN) 기능들이며 TS 23.501에 정의된 바와 같은 N6 인터페이스를 통해 UE(301)와 통신한다.
5GMS 클라이언트(320)는 5G 미디어 스트리밍에 전용된 UE 내부 기능일 수 있다. 예를 들어, 5GMS 클라이언트(320)는 잘 정의된 인터페이스들/API들을 통해 액세스될 수 있는 5GMS 업링크 서비스의 발신자일 수 있다.
5GMS 미디어 스트리머(322)는 5GMS 애플리케이션 제공자(330)의 AS 기능(350)으로의 스트리밍 미디어 콘텐츠의 업링크 전달을 가능하게 하는 UE 기능일 수 있다. 5GMS 미디어 스트리머(322)는 미디어 캡처 및 후속 스트리밍을 위한 5GMS 인식 애플리케이션(310) 및 미디어 세션 제어를 위한 미디어 세션 핸들러(321) 양쪽 모두와 상호작용할 수 있다. 예를 들어, 5GMS 미디어 스트리머는 제공된 입력 디바이스들에서 미디어를 캡처한다. 5GMS 미디어 스트리머는 캡처, 일시 중지, 및 중지와 같은 일부 기본 컨트롤들을 5GMS 인식 애플리케이션(310)에 노출시킨다. 일 예에서, 5GMS AF(340)는 NEF 지원(NEF-enabled) API 액세스를 위해 NEF(361)와 상호작용할 수 있다. 예를 들어, 5GMS AF(340)는 NEF(361)를 사용하여 PCF(362)와 상호작용할 수 있다.
미디어 세션 핸들러(321)는 미디어 세션의 전달을 설정, 제어, 및 지원하기 위해 5GMS AF(340)와 통신하는 UE(301) 상의 기능일 수 있다. 미디어 세션 핸들러(321)는 5GMS 인식 애플리케이션(310)에 의해 사용될 수 있는 API들을 노출시킨다.
일부 예들에서, 시스템(300)에서 5G 업링크 미디어 스트리밍을 위해 다음과 같은 인터페이스들이 정의된다:
- M1(5GMS 프로비저닝 API): 5G 미디어 스트리밍 업링크 스트리밍 시스템의 사용을 프로비저닝하고 피드백을 획득하기 위해 5GMS AF(340)에 의해 노출되는 외부 API.
- M2(5GMS 게시 API): 신뢰할 수 있는 DN 내의 5GMS AS(350)가 스트리밍 서비스를 위한 콘텐츠를 수신하기 위해 선택될 때 사용되는, 5GMS AS(350)에 의해 노출되는 선택적인 외부 API.
- M3(내부): 신뢰할 수 있는 DN 내의 5GMS AS(350)에서 호스팅되는, 콘텐츠에 대한 정보를 교환하는 데 사용되는 내부 API.
- M4(업링크 미디어 스트리밍 API들): 미디어 콘텐츠를 스트리밍하기 위해 5GMS AS(350)에 의해 미디어 스트리머(322)에 노출되는 API들.
- M5(미디어 세션 핸들링 API): 적절한 보안 메커니즘들(예를 들면, 권한부여 및 인증, 및 QoE 메트릭 보고)을 또한 포함하는 미디어 세션 핸들링, 제어 및 지원을 위해 5GMS AF(340)에 의해 미디어 세션 핸들러(321)에 노출되는 API들.
- M6(UE 미디어 세션 핸들링 API들): 5GMS 기능들을 사용하기 위해 미디어 세션 핸들러(321)에 의해 5GMS 인식 애플리케이션에 노출될 수 있는 API들.
- M7(UE 미디어 스트리머 API들): 측정되고 로깅될 QoE 메트릭의 구성, 및 메트릭 측정 로그들의 수집을 포함하여, 미디어 스트리머(322)를 사용하기 위해 미디어 스트리머(322)에 의해 5GMS 인식 애플리케이션(310) 및 미디어 세션 핸들러(321)에 노출될 수 있는 API들.
- M8(애플리케이션 API): 예를 들어, 5GMS 인식 애플리케이션에 서비스 액세스 정보를 제공하기 위해, 5GMS 인식 애플리케이션(310)과 5GMS 애플리케이션 제공자(330) 사이의 정보 교환을 위해 사용되는 애플리케이션 인터페이스.
다양한 예들에서, UE(301)는 개별적으로 사용될 수 있거나 5GMS 인식 애플리케이션(310)에 의해 개별적으로 제어될 수 있는 많은 상세한 하위 기능들을 포함할 수 있다.
5GMS 인식 애플리케이션(310)은 많은 기능들을 포함할 수 있다. 예들은 주변기기 발견, 통지들, 및 소셜 네트워크 통합을 포함한다. 5GMS 인식 애플리케이션(310)은 5GMS 클라이언트(320)에 의해 제공되는 것들과 동등한 기능들을 또한 포함할 수 있고 5GMS 클라이언트 기능들의 서브세트만을 사용할 수 있다.
예를 들어, 미디어 스트리머(322)는 다음과 같은 기능들을 포함할 수 있다:
- 미디어 캡처: 아날로그 미디어 신호를 디지털 미디어 데이터로 변환하는, 비디오 카메라들 또는 마이크로폰들과 같은, 디바이스들.
- 미디어 인코더(들): 미디어 데이터를 압축한다.
- 메트릭 측정 및 로깅: 메트릭 구성에 따라 미디어 스트리머(322)에 의한 QoE 메트릭 측정 및 로깅의 실행.
- 미디어 업스트림 클라이언트: 인코딩된 미디어 데이터를 캡슐화하고 이를 업스트림으로 푸시한다. 일부 예들에서, 미디어 업스트림 클라이언트 기능은 3GPP TS 26.238: “Uplink Streaming”에서 지정된 FLUS 소스에서의 FLUS 미디어 기능에 매핑된다.
예를 들어, 미디어 세션 핸들러(321)는 다음과 같은 기능들을 포함할 수 있다:
- 메트릭 수집 및 보고: 메트릭 구성에 따라, 5GMS AF(340)에의 후속 메트릭 보고를 위해 미디어 세션 핸들러(321)에 의해 미디어 스트리머(322)로부터의 QoE 메트릭 측정 로그들의 수집의 실행.
- 네트워크 지원: 비트 레이트 추천(또는 처리량 추정) 및/또는 전달 부스트의 형태로 네트워크에 의해 5GMS 클라이언트(320) 및 미디어 스트리머(322)에게 제공되는 업링크 스트리밍 전달 지원 기능들. 네트워크 지원 기능은 5GMS AF(340) 또는 액세스 네트워크 비트레이트 추천(ANBR) 기반 RAN 시그널링 메커니즘들에 의해 지원될 수 있다. 일 예에서, 이 기능은 3GPP TS 26.238: “Uplink Streaming”에서 지정되는 FLUS 지원 기능에 매핑된다.
- 미디어 원격 제어: 5GMS AF(340)로부터 제어 명령들을 수신한다.
- 핵심 기능: 업링크 스트리밍 수신을 위해 5GMS AS(350)를 구성한다. 일 예에서, 이 기능은 3GPP TS 26.238: “Uplink Streaming”에서 지정되는 FLUS 소스 내의 FLUS 제어 기능에 매핑된다.
업링크 미디어 스트리밍을 위한 프로세스에서, 시스템(300)의 사용자는 5GMS 클라이언트(320)와 5GMS AS(350) 사이의 세션들을 생성, 수정, 삭제할 수 있다. 일 예에서, 5GMS AF(340)는 자원 예약들을 위해 5GMS AS(350)를 선택하고 그와 상호작용할 수 있다. 예를 들어, 5GMS AS(350)는 M2 및 M4 자원들을 할당하고 자원 식별자들을 다시 5GMS AF(340)에 통신할 수 있다. 5GMS AF(340)는 미디어 세션 핸들링, 이제스트(egest), 및 업링크 스트리밍을 위한 (자원 식별자들의 형태의) 프로비저닝된 자원들에 관한 정보를 5GMS 애플리케이션 제공자(330)에게 제공한다. 미디어 세션 핸들링 및 업링크 스트리밍을 위한 자원 식별자들은 일 예에서 선택된 특징들에 액세스하기 위해 5GMSu 클라이언트에게 제공된다.
일 예에서, 5GMS 클라이언트(320)는 자신의 업링크 스트리밍 세션을 활성화시키는 것에 의해 업링크 스트리밍을 시작할 수 있다. 업링크 스트리밍 세션은 5GMS 인식 애플리케이션(310)이 업링크 스트리밍 서비스의 전송을 활성화시키는 시간부터 그의 종료 때까지 활성이다.
일 예에서, 5GMS 인식 애플리케이션(310)은 업링크 스트리밍 미디어를 전송하기 전에 5GMS 애플리케이션 제공자(330)로부터 애플리케이션 메타데이터를 수신한다. 애플리케이션 메타데이터는 서비스 액세스 정보를 포함할 수 있으며, 이 서비스 액세스 정보는 5GMS 클라이언트(320)가 업링크 스트리밍 세션을 시작하기 위한 진입점으로서 역할한다. 5GMS 클라이언트(320)는 (표준화되지 않은 인터페이스를 사용하여) 5GMS 애플리케이션 제공자(330)로부터 서비스 액세스 정보를 수신하거나 원격 제어 세션에 대한 지시들을 수신할 수 있다. 예를 들어, 원격 제어가 활성화될 때, 5GMS 클라이언트(320)는 5GMS AF(350)에 의해 원격으로 구성되고 제어된다.
일 실시예에서, 시스템(300)을 사용하는 업링크 스트리밍 프로세스는 다음과 같이 수행될 수 있다. 제1 단계에서, 5GMS 애플리케이션 제공자(330)는 프로비저닝 세션을 생성하고 시스템(300)의 사용을 프로비저닝하기 시작한다. 설정 단계 동안, 사용되는 특징들이 협상되고, 세부 구성들이 시스템(300) 내의 요소들에 걸쳐 교환된다. 5GMS 애플리케이션 제공자(330)는 M5(미디어 세션 핸들링)에 대한 서비스 액세스 정보를 수신하고, 미디어 콘텐츠 수신이 협상될 때, M2(이제스트) 및 M4(업링크 스트리밍)에 대한 서비스 액세스 정보를 수신한다. 이 정보는 5GMS 클라이언트(320)가 서비스에 액세스하는 데 필요하다. 프로비저닝에 따라, 원격 구성 정보만이 제공될 수 있다.
제2 단계에서, 5GMS AF(340)와 5GMS AS(350)가 동일한 제공자(예를 들면, MNO)에 의해 운용될 때, 예를 들어, 5GMS 이제스트 및 업링크 스트리밍 자원들을 할당하기 위해, 5GMS AF(340)와 5GMS AS(350) 사이에 상호작용들이 있을 수 있다. 5GMS AS(340)는 할당된 자원들에 대한 자원 식별자들을 5GMS AF(340)에게 제공하고, 5GMS AF(340)는 이어서 이 정보를 5GMS 애플리케이션 제공자(330)에게 제공한다. 제3 단계에서, 5GMS 애플리케이션 제공자는 서비스 공지 정보를 5GMS 인식 애플리케이션(310)에게 제공한다. 이것은 파라미터들의 수동 입력을 포함할 수 있다. 서비스 공지는 전체 서비스 액세스 정보(즉, 미디어 세션 핸들링(M5) 및 미디어 스트리밍 액세스(M4)에 대한 세부 사항들) 또는 원격 구성 및 제어 주소(5GMS AF URL)만 중 어느 하나를 포함할 수 있다. 후자의 경우에, 5GMS 클라이언트(320)는 추후 단계에서 서비스 액세스 정보를 검색한다.
제4 단계에서, 5GMS 인식 애플리케이션(310)은 5GMS 클라이언트(320)를 구성하고 시작한다. 제5 단계에서, 5GMS 인식 애플리케이션이 스트리밍 서비스 전송을 활성화시키기로 결정할 때, 서비스 액세스 정보가 5GMS 클라이언트(320)에게 제공된다. 원격 구성 및 제어가 활성화될 때, 5GMS AF는 5GMS 클라이언트를 원격으로 구성하고 제어한다. 제6 단계에서, 구성들에 따라, 5GMS 클라이언트(320)는 5GMS AF(340)를 향해 미디어 세션 핸들링 API를 사용한다. 미디어 세션 핸들링 API는 상이한 정책 및 과금 처리들 또는 5GMS AF 기반 네트워크 지원을 요청하는 데 사용된다. 제7 단계에서, 5GMS 클라이언트(320)는 업링크 스트리밍 세션을 활성화시키기 시작한다. 마지막 단계에서, 5GMS AS(350)는 5GMS 애플리케이션 제공자를 향해 콘텐츠를 게시한다.
일 예에서, 미디어 스트리머(322)와 5GMS AS(350) 사이의 업링크 스트리밍 세션은 다음과 같이 설정될 수 있다. 프로비저닝 동안, 미디어 스트리머(322)에, 5GMS AF 및 5GMS AS 주소들과 같은, 기본 정보가 프로비저닝된다. 일부 디바이스들의 경우, 원격 제어 정보만이 프로비저닝되고, 모든 추가 파라미터들은 원격 제어기로부터 검색된다. 5GMS 인식 애플리케이션(310)은 업링크 미디어 스트리밍을 시작하고, 일부 예들에서, 미디어 스트리밍 엔트리를 미디어 스트리머(322)에게 제공한다.
원격 제어가 프로비저닝될 때, 원격 제어를 위한 전송 세션이 설정된다. 5GMS 클라이언트(320)는 들어오는 원격 제어 명령들을 기다리기 시작한다. 5GMS 클라이언트(320)는 (지금 또는 타임스탬프에 따라) 업링크 스트리밍을 시작하라는 원격 제어 명령들을 수신한다. 원격 제어 명령은 5GMS AS(350) 등의 세부 사항들을 포함할 수 있다. 5GMS 클라이언트는 업링크 전송 세션을 설정한다. 5GMS 클라이언트(320)는 업링크 미디어 스트리밍 세션을 설정한다.
클라이언트 지원이 프로비저닝될 때, 5GMS 클라이언트(320)는 프로비저닝된 5GMS AF(들)에 대한 지원 채널을 설정한다. (예를 들면, QoS 또는 과금을 위해) 서버 지원이 요망될 때, 5GMS AS(350)는 5GMS AF(340)와 지원 세션을 설정한다.
일부 예들에서, 5GMS 애플리케이션 제공자(330)는 자신의 미디어 데이터에 대해 수행될 미디어 처리를 요청할 수 있다. 이것은 업링크 또는 다운링크 스트리밍의 일부로서 인스턴스화될 수 있다. 업링크의 경우, 일 예에서, 3GPP TS 26.238에 의해 지정되는 바와 같은 FLUS는 FLUS 세션 생성 요청의 일부로서 요구된 미디어 처리를 설명하기 위한 대책들을 제공한다. 미디어 처리는, 복합 미디어 처리 작업 흐름들을 구축하기 위해 함께 결합될 수 있는, 한 세트의 5GMS AS(들)에 의해 수행될 수 있다. 5GMS AF(340)는 미디어 처리를 조율할 수 있고 세션에 대한 적절한 QoS 및 트래픽 핸들링이 제공되도록 보장한다.
일부 예들에서, FLUS는 업링크 미디어 처리 프로비저닝에 사용된다. 일 예에서, FLUS는 FLUS 소스에 의한 미디어 처리를 FLUS 싱크에 프로비저닝하는 데 사용된다. FLUS 싱크는 FLUS 5GMS AF와 FLUS 5GMS AS로 이루어져 있을 수 있다. 5GMS AF는 제공된 미디어 처리 문서(예를 들면, NBMP WDD)에 따라 미디어의 처리를 수행하도록 5GMS AS에 지시한다. 대안적으로, 5GMS AF는 다수의 5GMS AS(들) 간에 미디어 처리 부하를 공유하도록 제어할 수 있다.
일 예에서, 업링크 네트워크 기반 미디어 처리 프로세스는 다음과 같은 단계들을 포함할 수 있다. 제1 단계에서, 업링크 스트리밍 구성이 셋업된다. 5GMS 애플리케이션 제공자(330)는 FLUS 세션을 시작하라는 요청을 5GMS AF(340)에게 송신한다. 요청은 5GMS AS(350)에 의해 수행되어야 하는 미디어 처리에 대한 설명을 포함한다. 구성에 따라, 하나 또는 다수의 5GMS AS(들)가 관여될 수 있다.
제2 단계에서, 5GMSu AS(들)가 프로비저닝된다. 5GMS AF(340)는 미디어 처리 설명을 파싱하고, 요청된 처리를 수행할 5GMS AS(350)를 프로비저닝한다. 요청된 처리가 수락되지 않는 경우, 세션 생성이 실패한다. 제3 단계에서, 5GMS AS(350)가 준비된다. 5GMS AS(350)는 올바른 구성을 확인하고, 요청된 바와 같이 미디어를 수신하고 처리할 준비가 되었음을 5GMS AF(340)에게 통보한다.
제4 단계에서, 5GMS AF(340)는 업링크 스트리밍 구성의 성공적인 생성을 5GMS 애플리케이션 제공자(330)에게 확인해 준다. 제5 단계에서, 업링크 스트리밍 세션이 시작된다. 이 세션은 5GMS 클라이언트(320)에서 트리거된다. 제6 단계에서, 미디어 콘텐츠가 5GMS 클라이언트(320)로부터 5GMS AS(350)로 스트리밍된다. 5GMS AS(350)는 프로비저닝된 미디어 처리에 기초하여 수신된 미디어를 처리한다.
III. 라이브 업링크 스트리밍 프레임워크(FLUS)
라이브 업링크 스트리밍 프레임워크(FLUS)는 소스 엔티티로부터 싱크 엔티티로의 라이브 미디어 스트리밍을 가능하게 한다. FLUS는 IP 멀티미디어 서브시스템(IMS) 기반 및 비-IMS 기반 인스턴스화를 제공한다. IMS/MTSI 기반 인스턴스화는 2 개의 UE 사이에 또는 사업자 네트워크들 내에서 및 그 전체에 걸쳐 소스 엔티티와 싱크 엔티티 사이에 라이브 미디어 스트리밍을 설정하는 것을 가능하게 한다. 음성 또는 비디오 미디어에 대한 제한된 QoS 유형들이 사용되는 MTSI와 비교하여, FLUS는, 예를 들어, 최대 지연, 가용 대역폭 또는 타깃 패킷 손실률에서 보다 넓은 범위의 QoS 동작을 제공할 수 있다. 비-IMS 기반 인스턴스화에서는, RESTful API를 통해 제어되고 다른 미디어 평면 프로토콜들(즉, IMS 또는 MTSI 기반이 아님)을 지원하는 보다 일반적인 프레임워크로서 FLUS를 작동시키는 것이 가능하다.
FLUS 소스 엔티티와 FLUS 싱크 엔티티는 미디어 핸들링(예를 들면, 시그널링, 전송, 패킷 손실 핸들링, 및 적응)을 통해 음성/오디오, 비디오, 및 텍스트의 포인트 투 포인트 전송을 지원할 수 있다. FLUS는 서비스 제공의 유연성을 가능하게 하면서 예측 가능한 미디어 품질로 안정적이고 상호 운용 가능한 서비스를 제공할 수 있다. 단일 UE에 내장될 수 있거나 UE와 별도의 오디오 비주얼 캡처 디바이스들 사이에 분산될 수 있는 FLUS 소스 엔티티는 이 문서에서 지정되는 특징들 전부 또는 그 서브세트를 지원할 수 있다.
일반적인 프레임워크로서 사용될 때, FLUS 세션을 설정하기 위한 FLUS 제어 평면(F-C) 절차들이 사용된다. 예를 들어, 미디어 포맷들 및 코덱들의 구성은 각자의 서비스의 요구사항들을 따를 수 있다. 3GPP IMS/MTSI 서비스의 일부로서 제공될 때, FLUS 소스 및 FLUS 싱크 엔티티들은 IMS 제어 평면 및 미디어 평면 절차들을 지원할 수 있다. 예를 들어, 서비스 품질은 MTSI 서비스 정책에 의해 결정될 수 있다.
도 4는 업링크 스트리밍 서비스를 제공하기 위한 FLUS 시스템(400)의 예를 도시한다. 시스템(400)은 UE(401) 및 데이터 네트워크(402)를 포함할 수 있다. UE(401)는 FLUS 소스(410) 및 캡처 디바이스들(460)을 포함할 수 있다. FLUS 소스(410)는 제어 소스(411), 미디어 소스(412), 및 원격 제어 타깃(413)을 포함할 수 있다. 데이터 네트워크(402)는 싱크 발견 서버(420), FLUS 싱크(430), 원격 제어기(440), 처리 기능(451), 및 분배 기능(452)을 포함할 수 있다. FLUS 싱크(430)는 제어 싱크(431) 및 미디어 싱크(432)를 포함할 수 있다. 해당 요소들은 도 4에 도시된 바와 같이 함께 결합된다. 추가적으로, 도 4에서의 기능들 또는 요소들은 동일한 물리적 디바이스에 위치할 필요가 없으며, 다수의 물리적 디바이스들에 걸쳐 분산되어 다른 인터페이스들을 통해 상호연결될 수 있다.
일 예에서, FLUS 소스(410)는 하나 이상의 캡처 디바이스(460)로부터 미디어 콘텐츠를 수신한다. 캡처 디바이스들(460)은 UE(401)의 일부일 수 있거나 UE(401)에 연결될 수 있다. FLUS 싱크(430)는 미디어 콘텐츠를 처리 기능(451) 또는 분배 기능(452)으로 포워딩할 수 있다. 일부 예들에서, FLUS 싱크(430)는 미디어 게이트웨이 기능(MGW) 및/또는 5G 애플리케이션 기능(AF)으로서 역할할 수 있다. 싱크 발견 서버는 FLUS 소스(410)가 이용 가능한 FLUS 싱크들을 발견하기 위한 기능을 제공할 수 있다. FLUS 싱크(430)는 자신의 능력들 및 FLUS 세션들을 조회하는 기능을 제공한다. 일 예에서, FLUS 소스(410)와 FLUS 싱크(430)는 서로 상호 인증하고 권한을 부여할 수 있다.
일부 예들에서, 제어 소스(411) 및 제어 싱크(431)의 제어 평면 기능은 후속 다운스트림 분배, FLUS 미디어 인스턴스화 선택, 및 미디어 세션에 대한 정적 메타데이터의 구성을 위해 업로드된 미디어의 FLUS 싱크(430)에 의한 연관된 처리를 포함한다. FLUS 소스(410) 상의 원격 제어 타깃(413)은 원격 제어기(440)로부터 제어 메시지들을 수신할 수 있다. 메시지들은 FLUS 소스(410) 내의 미디어 소스(412)의 거동에 영향을 미친다. 원격 제어 타깃(413)에게 발행되는 명령들의 예들은 FLUS 소스(410)에서의 미디어 업스트리밍 프로세스의 시작 또는 중지이다. FLUS 사용자 평면 기능은 하나 이상의 미디어 세션의 셋업 및 미디어 스트림들을 통한 후속 미디어 데이터 전송을 포함한다.
일부 예들에서, 제어 소스(411)는 FLUS 미디어 인스턴스화를 선택하고, FLUS 세션에 존재하는 각각의 미디어 세션과 연관된 정적 메타데이터를 프로비저닝하며, 처리 및 분배 하위 기능들(451 및 452)을 발견, 선택 및 구성하도록 구성될 수 있다. 원격 제어기(440)는 미디어 싱크 정보를 FLUS 소스에게 제공하고, FLUS 미디어 인스턴스화를 선택하며, 캡처 디바이스 설정들 및 다른 FLUS 소스 파라미터들을 결정하도록 구성될 수 있다.
하나의 FLUS 세션에 대해 다수의 미디어 스트림들이 설정될 수 있다. 미디어 스트림은 단일 콘텐츠 유형(예를 들면, 오디오)의 미디어 컴포넌트들, 또는 상이한 콘텐츠 유형들(예를 들면, 오디오 및 비디오)의 미디어 컴포넌트들을 포함할 수 있다. FLUS 세션은 동일한 콘텐츠 유형, 예를 들어, 다수의 비디오 미디어 스트림들을 포함하는 하나 초과의 미디어 스트림으로 구성될 수 있다.
일반적으로, FLUS 싱크가 UE에 위치하고 UE가 수신된 미디어 콘텐츠를 직접 렌더링할 때, FLUS 세션은 암시적으로 존재할 수 있다. 예를 들어, FLUS 싱크는 IMS/MTSI를 통해 실현될 수 있다. FLUS 싱크가 네트워크 측에 위치하고 미디어 게이트웨이 기능을 제공할 때, FLUS 세션은 미디어 세션 인스턴스화를 선택하고 임의의 처리 및 분배 관련 하위 기능들을 구성하는 데 사용된다. 일부 예들에서, MPEG NBMP 작업 흐름 설명 문서(WDD)는 FLUS 소스로부터 수신된 미디어 컴포넌트들에 대해 수행될 FLUS 싱크에서의 미디어 처리 태스크들을 설명하는 데 사용될 수 있다.
일 예에서, FLUS 세션 설정 절차는 FLUS 세션 자원을 생성할 수 있으며, FLUS 세션 자원은 이어서, 예를 들어, 미디어 세션 인스턴스화의 선택을 결과하는 FLUS 세션 업데이트 절차를 통해 구성된다. FLUS 세션 업데이트 절차는 다음과 같은 FLUS 세션 구성 파라미터들: 미디어 세션 인스턴스화의 선택, 세션 특정 메타데이터의 프로비저닝, FLUS 싱크가 수행해야 하는 미디어 데이터의 처리에 대한 설명(예를 들면, NBMP WDD)을 설정하는 것, 및 미디어 데이터에 대한 분배 및 저장 옵션들의 구성을 포함한다.
일 예에서, FLUS 소스(410)는 FLUS 싱크(430)의 능력들을 발견할 수 있다. FLUS 싱크(430)의 능력들은 다양한 처리 능력들 및 분배 능력들을 포함할 수 있다. 처리 능력들의 예들은 이하를 포함한다:
- 지원되는 입력 포맷들, 코덱들 및 코덱 프로파일들/레벨들, 해상도들, 프레임 레이트들,
- 포맷들, 출력 코덱들, 코덱 프로파일들/레벨들, 비트레이트들 등을 사용한 트랜스코딩,
- 출력 포맷을 사용한 재포맷팅,
- 입력 미디어 스트림들의 조합(예를 들면, 네트워크 기반 스티칭, 믹싱),
- 미디어의 인식 또는 합성.
분배 능력들의 예들은 이하를 포함한다:
- 저장 능력들,
- CDN 오리진(CDN Origin) 능력들 및 CDN 오리진 서버(CDN Origin Server) 기본 URL들,
- 지원되는 포워딩 프로토콜 및 연관된 보안 절차들을 포함하는, 포워딩.
일부 예들에서, FLUS는 상이한 소스 시스템들을 지원한다. 소스 시스템 설명은 캡처된 미디어 소스들 및 이들의 상호 관계들에 대한 메타데이터를 포함하고, FLUS 싱크가 수신된 미디어 스트림들을 적절하게 해석하고 처리할 수 있도록 FLUS 싱크에 이용 가능하게 된다. 소스 시스템은 고유 식별자에 의해 식별된다. 해당 식별자 및 대응하는 소스 시스템 설명은 FLUS 세션 설정 및/또는 업데이트 절차들 동안 FLUS 싱크에게 제공된다. FLUS 소스와 FLUS 싱크 사이의 상호작용들은 HTTP 기반 RESTful API 요청/응답 메커니즘들에 기초할 수 있다.
MPEG NBMP 작업 흐름 설명 문서(WDD)는 FLUS 소스(410)로부터 수신된 미디어 컴포넌트들에 대해 수행될 FLUS 싱크(430)에서의 미디어 처리 태스크들을 설명하는 데 사용될 수 있다. NBMP WDD는 FLUS 싱크 구성 속성들의 일부로서 시그널링될 수 있다. 예를 들어, 제어 소스(411)는 FLUS 싱크 구성 속성들 가져오기(Get FLUS sink configuration properties) 절차를 사용하여 현재 FLUS 싱크 구성을 먼저 페치할 수 있다. 제어 소스(411)는 FLUS 싱크 구성 자원의 속성들을 수정한다. 이 절차는 개별 속성들 또는 모든 속성들의 수정을 가능하게 할 수 있다. 싱크 구성 자원을 수신하는 것에 응답하여, 제어 싱크(431)는 FLUS 싱크 구성의 ID에 의해 식별되는 자원을 업데이트한다.
IV. 라이브 업링크 스트리밍 프레임워크(FLUS) 및 5G 애플리케이션 기능(AF)을 사용한 NBMP 배포
도 5는 본 개시내용의 실시예에 따른 네트워크 기반 미디어 처리 시스템(500)을 도시한다. 시스템(500)은 5GMS 시스템(300), FLUS 시스템(400), 및 NBMP 시스템(100)에 기초할 수 있다. 시스템(500)에서, 5GMS 아키텍처, FLUS 아키텍처, 및 NBMP 프레임워크는 함께 결합되어 네트워크 기반 미디어 처리의 배포를 실현한다. 이 3 개의 아키텍처 또는 프레임워크의 프로토콜들은 상이한 레벨들에서 작동할 수 있다. 하위 레벨 프로토콜은 상위 레벨 프로토콜에 서비스들을 제공할 수 있다.
시스템(500)은 UE(501) 및 DN(502)을 포함할 수 있다. UE는 5GMS 인식 애플리케이션(510) 및 5GMS 클라이언트(520)를 포함할 수 있다. 5GMS 클라이언트(520)는 미디어 세션 핸들러(521) 및 FLUS 소스(522)를 포함할 수 있다. DN(502)은 5GMS 애플리케이션 제공자(530), 5GMS AF(540), FLUS 싱크(550), 및 미디어 싱크(560)를 포함할 수 있다. FLUS 싱크(550)는 미디어 처리 서비스(MPS) 모듈(551)을 포함할 수 있다. 해당 요소들은 도 5에 도시된 바와 같이 함께 결합될 수 있다.
다양한 배포 시나리오들에서, FLUS 소스(522)의 기능들은 다수의 방식들로 구현될 수 있다. 일 예에서, FLUS 소스(522)는, 미디어 스트리머(322)와 같은, 미디어 스트리머의 일부로서 구현된다. 일 예에서, FLUS 소스(522)는 미디어 스트리머로서 구현되고 미디어 스트리머(322)의 기능과 유사한 기능들을 수행한다. 일 예(도 5에 도시되지 않음)에서, FLUS 소스(522)의 기능들은 미디어 스트리머(예를 들면, 미디어 스트리머(322)) 및 미디어 세션 핸들러(예를 들면, 미디어 세션 핸들러(321))에 분산된다.
유사하게, 다양한 배포 시나리오들에서, FLUS 싱크(550)의 기능들은 다수의 방식들로 구현될 수 있다. 일 예에서, FLUS 싱크(550)는, 5GMS AS(350)와 같은, 5G 애플리케이션 서버(5GAS)의 일부로서 구현된다. 일 예에서, FLUS 싱크(550) 또는 FLUS 싱크(550)의 일부는 5GAS로서 구현된다. 일 예에서, FLUS 싱크(550)의 기능들은 5GMS AF(예를 들면, 5GAF(340)) 및 5GMS AS(예를 들면, 5GMS AS(350))에 분산될 수 있다.
일부 예들에서, 시스템(500) 내의 요소들(501/502/510/520/521/522/530/540/550)은, 제각기, 도 3의 예에서의 요소들(301/302/310/320/321/322 /330/340/350)과 유사하게 기능하고 작동할 수 있다. 예를 들어, 5GMS 아키텍처에 대해 정의되는 프로토콜들 및 API들은 FLUS 관련 및 NBMP 관련 동작들을 지원하기 위해 시스템(500)에서 사용될 수 있다.
일부 예들에서, 시스템(500) 내의 요소들(522 및 550)은, 제각기, 도 4의 예에서의 요소들(410 및 430)과 유사하게 기능하고 작동할 수 있다. 예를 들어, FLUS 아키텍처에 대해 정의되는 프로토콜들 및 API들은 FLUS 관련 동작들을 위해 시스템(500)에서 사용될 수 있다. 일부 예들에서, 시스템(500) 내의 MPS 모듈(551) 및 미디어 싱크(560)는, 제각기, 도 1의 예에서의 미디어 처리 엔티티(113) 및 미디어 싱크(115)와 유사하게 기능하고 작동할 수 있다.
도 6은 본 개시내용의 실시예에 따른 네트워크 기반 미디어 처리 프로세스(600)를 도시한다. 프로세스(600)는 단계들(S610 내지 S670)을 포함할 수 있다. 프로세스(600)는 네트워크 기반 미디어 처리 시스템(609) 내의 한 세트의 요소들에 걸쳐 수행될 수 있다. 해당 요소들은 5GMS 애플리케이션 제공자(601), FLUS 소스(602), 5GMS AF(603), FLUS 싱크(604), 및 FLUS 싱크 발견 서버(605)를 포함할 수 있다.
일 예에서, 요소들(601 내지 604)은, 제각기, 요소들(530/522/540/550)에 대응할 수 있으며, 도 5에 도시된 바와 같이 배포될 수 있다. 다른 예들에서, 요소들(601 내지 604)은 도 5에 도시된 것과 상이하게 배포될 수 있다. 예를 들어, FLUS 소스(602)의 하위 기능들은 미디어 세션 핸들러 및 FLUS 소스에 분산될 수 있다. FLUS 싱크(604)의 하위 기능들은 5GAF 및 5GAF에 분산될 수 있다. MPS 모듈은 FLUS 싱크(604)와 별개일 수 있으며, 이는 FLUS 싱크(550)가 MPS 모듈(551)을 포함하는 것과 상이하다.
(S610)에서, 5GMS 애플리케이션 제공자(601)는 5GMS AF(603)를 구성하기 위해 5GMS AF(603)와 프로비저닝 세션을 설정할 수 있다. 예를 들어, QoS 요구사항 관련 파라미터들이 5GMS AF(603)에게 제공될 수 있다. 처리 템플릿이 5GMS AF(603)에게 제공될 수 있다. 예를 들어, 처리 템플릿은 각자의 네트워크 기반 미디어 처리에 필요한 자원들(예를 들면, CPU, 메모리 등)을 지정할 수 있다. 추가적으로 및 선택적으로, 의도된 네트워크 기반 미디어 처리에 대한 설명이 5GMS AF(603)에게 제공될 수 있다. 일 예에서, 설명은 NBMP WDD의 형태를 취할 수 있다.
(S620)에서, 5GMS AF(603)는 5GMS 애플리케이션 제공자(601)로부터 수신되는 구성들에 기초하여 FLUS 싱크(604)를 구성할 수 있다. 예를 들어, 5GMS 애플리케이션 제공자(601)로부터 수신되는 QoS 구성에 기초하여, 5GMS AF(603)는 미디어 콘텐츠를 FLUS 소스(602)로부터 FLUS 싱크(604)로 전송하기 위한 네트워크 자원들을 준비하도록 각자의 5G 기능들에 명령할 수 있다. 처리 템플릿에 기초하여, 5GMS AF(603)는 의도된 네트워크 기반 미디어 처리를 위한 계산 자원들을 준비하도록 FLUS 싱크(604)에 명령할 수 있다. 다양한 배포 시나리오들에서, FLUS 싱크(604)를 구성하기 위한 상이한 옵션들이 있을 수 있다.
제1 사례에서, 5GMS AF(603)는 단일 FLUS 싱크(예를 들면, FLUS 싱크(604))를 구성하고 FLUS 싱크(604)에서 NBMP 작업 흐름을 인스턴스화할 수 있다. 예를 들어, NBMP WDD는 5GMS AF(603) 또는 5GMS 애플리케이션 제공자(601)로부터 FLUS 싱크(604)에 수신될 수 있다. 이 NBMP WDD에 기초하여, NBMP 작업 흐름이 FLUS 싱크(604) 내의 MPS 모듈에서 개시될 수 있다.
제2 사례에서, 5GMS AF(603)는 하나 이상의 FLUS 싱크를 구성할 수 있다. 그렇지만, NBMP WDD가 5GMS AF(603)로부터 수신되지 않으며, NBMP 작업 흐름이 하나 이상의 FLUS 싱크에서 인스턴스화되지 않는다.
제3 사례에서, 5GMS AF(603)는 하나 이상의 FLUS 싱크를 구성하고 FLUS 소스(602)의 주소를 다수의 FLUS 싱크들 각각에게 제공할 수 있다. 그렇지만, NBMP 작업 흐름이 해당 FLUS 싱크들에서 인스턴스화되지 않는다. NBMP WDD가 해당 FLUS 싱크들에 구성될 수 있다.
제4 사례에서, 상이한 UE 그룹들에 대응하여, 다수의 FLUS 싱크들이 제1, 제2, 및 제3 사례들에 대응하는 방법들을 사용하여 구성될 수 있다. 예를 들어, 제1 UE 그룹에 대해, 제1 사례에서의 구성이 각각의 UE에 대해 수행될 수 있다. 구성된 FLUS 싱크의 주소는 대응하는 UE에서의 5GMS 애플리케이션과 5GMS 애플리케이션 제공자(601) 사이의 통신을 통해 또는 FLUS 싱크 발견 서버(605)를 통해 대응하는 UE에게 통보될 수 있다.
제2 UE 그룹에 대해, 제2 사례에서의 구성이 FLUS 싱크 발견 서버(605)에 후속적으로 게시될 수 있는 다수의 FLUS 싱크들에 걸쳐 수행될 수 있다. 제2 UE 그룹 내의 각각의 UE는 FLUS 싱크 발견 서버(605)에 나열된 다수의 후보들 중에서 하나의 FLUS 싱크를 발견하고 선택할 수 있다.
제3 UE 그룹에 대해, 제2 UE 그룹과 유사하게, 제3 사례에서의 구성이 FLUS 싱크 발견 서버(605)에 후속적으로 게시될 수 있는 다수의 FLUS 싱크들에 걸쳐 수행될 수 있다. 제3 UE 그룹 내의 각각의 UE는 FLUS 싱크 발견 서버(605)에 나열된 다수의 후보들 중에서 하나의 FLUS 싱크를 발견하고 선택할 수 있다.
(S630)에서, 5GMS AF(603)는 이용 가능한 싱크들을 FLUS 싱크 발견 서버(605)에 게시할 수 있다. 예를 들어, 이미 구성된 FLUS 싱크들은 FLUS 싱크 발견 서버(605)에 나열되어 있을 수 있다. 각각의 나열된 FLUS 싱크에 대한 능력들 및/또는 구성들이 제공될 수 있다.
(S640)에서, 5GMS 애플리케이션 제공자(601)는 FLUS 싱크가 네트워크 기반 미디어 처리 프로세스를 개시할 준비가 되었음을 FLUS 소스(602)를 갖는 UE에서의 5GMS 애플리케이션(도 6에 도시되지 않음)에 시그널링할 수 있고, FLUS 세션이 개시될 수 있다.
(S650)에서, 5GMS FLUS 소스(602)는 FLUS 싱크 발견 서버(605)에 나열된 후보 FLUS 싱크들 중에서 FLUS 싱크를 선택하기 위해 FLUS 싱크 발견 프로세스를 수행할 수 있다. 예를 들어, 5GMS FLUS 소스(602)는 능력 및/또는 구성 정보를 얻기 위해 FLUS 싱크 발견 서버(605)를 조회할 수 있다. 해당 정보에 기초하여, 후보 FLUS 싱크가 선택될 수 있다.
(S660)에서, 5GMS FLUS 소스(602)는 선택된 FLUS 싱크와 연결(세션)을 설정할 수 있다. 시스템(609)의 배포 및 구성 시나리오들에 따라, 상이한 동작들이 수행될 수 있다.
(S620)에서의 제1 사례에 대응하는 제1 시나리오에서, NBMP 작업 흐름은 5GMS AF(603)에 의해 FLUS 싱크(604)에 이미 인스턴스화되었다. 예를 들어, 5GMS 애플리케이션 제공자(601)에 의해 제어되면서, NBMP 작업 흐름은 FLUS 소스(602)로부터 스트리밍되는 미디어 콘텐츠에 대한 의도된 미디어 처리를 할 수 있다. FLUS 소스(602)는, NBMP WDD를 전송하거나 NBMP 작업 흐름을 인스턴스화하기 위한 추가적인 동작들 없이, FLUS 프로토콜들에 기초하여 FLUS 싱크(604)와 세션을 설정할 수 있다.
(S620)에서의 제2 사례에 대응하는 제2 시나리오에서, FLUS 싱크(604)가 구성되고, 미디어 처리를 위한 자원들이 할당되었다. 그렇지만, NBMP 작업 흐름은 인스턴스화되지 않는다. 이 시나리오에서, FLUS 싱크(604)와 세션을 설정하는 동안, FLUS 소스(602)는 NBMP 작업 흐름의 인스턴스화를 요청할 수 있다. NBMP WDD는 요청에 포함될 수 있다. 이에 응답하여, FLUS 싱크(604)는 수신된 NBMP WDD에 기초하여 NBMP 작업 흐름을 인스턴스화할 수 있다.
(S620)에서의 제2 사례에서 다수의 FLUS 싱크들이 구성되고 FLUS 싱크 발견 서버(605)에 나열될 때, FLUS 소스(602)는 (S650)에서의 FLUS 싱크 발견 프로세스 동안 세션을 설정하기 위해 다수의 나열된 FLUS 싱크들 중 하나를 선택할 수 있다.
(S620)에서의 제3 사례에 대응하는 제3 시나리오에서, FLUS 싱크(604)는 이전에 그에 구성된 FLUS 소스(602)의 주소 및 이 주소와 연관된 NBMP WDD를 이미 가지고 있다. FLUS 소스(602)와 FLUS 싱크(604) 사이에 세션이 설정되고 있는 동안, FLUS 소스(602)는 NBMP WDD를 시그널링하지 않고 자신의 주소를 FLUS 싱크(604)에게 제공할 수 있다. FLUS 소스(602)의 주소를 수신할 시에, FLUS 싱크(604)는 FLUS 소스(602)의 주소와 연관된 이용 가능한 NBMP WDD를 사용하여 NBMP 작업 흐름을 인스턴스화할 수 있다.
위의 세 가지 배포 시나리오를 비교할 때 상이한 기술 장점들과 단점들이 있을 수 있다. 제1 시나리오는, 계산 자원 점유(사용자가 없는 경우에도 항상 점유됨)의 대가로, 보다 높은 응답 속도(활성 미디어 처리 작업 흐름이 즉각 이용 가능하기 때문임) 및 단순화된 API(NBMP WDD의 시그널링 없음)를 갖는다. 제2 시나리오는 보다 낮은 레벨의 계산 자원 점유, 보다 복잡한 API, 및 보다 낮은 응답 속도를 갖는다. 제3 시나리오는 단순화된 API 또는 시그널링 프로토콜(주소는 요구된 미디어 처리를 표시하는 데 사용되고 NBMP WDD의 시그널링 없음), 보다 낮은 레벨의 계산 자원들, 및 보다 낮은 응답 속도를 갖는다.
추가적으로, 제1 시나리오 배포는 특정 UE에 대한 특정 FLUS 싱크에서 네트워크 기반 미디어 처리를 제공하는 데 사용될 수 있다. 대조적으로, 제2 및 제3 배포 시나리오들에서는 다수의 FLUS 싱크들이 미리 구성되고 FLUS 싱크 발견 서버에 나열될 수 있다. 다수의 UE들 각각은 의도된 네트워크 기반 미디어 처리를 요청하기 위해 적합한 FLUS 싱크를 선택할 수 있다.
(S670)에서, FLUS 소스(602)는 FLUS 소스(602)로부터 FLUS 싱크(604)로 미디어 콘텐츠를 스트리밍하기 위해 업링크 미디어 스트리밍 세션을 시작한다. 미디어 콘텐츠는 NBMP 작업 흐름에 입력되고 의도된 네트워크 기반 미디어 처리를 사용하여 처리된다. NBMP 작업 흐름으로부터의 출력은 후속적으로 복수의 미디어 싱크들(예를 들면, UE들)에게 분배될 수 있거나 5GMS 애플리케이션 제공자(601)에게 전송될 수 있다. (S670) 이후에 프로세스(600)는 종료될 수 있다.
도 7은 본 개시내용의 실시예에 따른 FLUS 및 5GMS AF를 사용한 NBMP 배포 프로세스(700)를 도시한다. 프로세스(700)는 (S701)에서 시작하여 (S710)으로 진행할 수 있다.
(S710)에서, 5GMS 애플리케이션 제공자에 의해 5GMS AF와 프로비저닝 세션이 설정될 수 있다. 프로비저닝 프로세스 동안, 5GMS 애플리케이션 제공자는 네트워크 기반 미디어 처리를 위해 5GMS AF를 구성한다. 예를 들어, 5GMS 애플리케이션 제공자는 QoS 파라미터들 및 처리 템플릿들을 5GMS AF에게 제공할 수 있다. 일 예에서, 5GMS 애플리케이션 제공자는 5GMS AF를 통해 네트워크 기반 미디어 처리를 셋업하기 위한 NBMP 작업 흐름 설명 문서(WDD)를 5GMS AF에게 제공한다. 일 예에서, 5GMS 애플리케이션 제공자는 네트워크 기반 미디어 처리에 대응하는 NBMP WDD를 제공하는 것에 의해 미디어 프로세스를 구성하도록 5GMS AF에게 요청하고, 5GMS AF는 NBMP WDD에 기초하여 FLUS 싱크를 구성하고 FLUS 싱크에서 NBMP 작업 흐름을 인스턴스화한다.
(S720)에서, FLUS 싱크가 5GMS AF에 의해 네트워크 기반 미디어 처리를 위해 구성될 수 있다. 일 예에서, 5GMS 애플리케이션 제공자는 네트워크 기반 미디어 처리에 대응하는 NBMP 작업 흐름 설명 문서(WDD)를 사용하여 5GMS AF를 구성한다. 그에 따라 5GMS AF는 네트워크 기반 미디어 처리에 대응하는 NBMP WDD에 기초하여 FLUS 싱크를 구성하고 FLUS 싱크에서 NBMP 작업 흐름을 인스턴스화한다.
다른 예에서, 5GMS AF는 FLUS 소스의 주소 및 네트워크 기반 미디어 처리에 대응하는 NBMP WDD를 FLUS 싱크에게 제공한다. 그렇지만, 네트워크 기반 미디어 처리를 위한 NBMP 작업 흐름의 인스턴스화가 FLUS 싱크에서 수행되지 않는다.
(S730)에서, FLUS 싱크가 FLUS 소스 발견 프로세스 동안 FLUS 소스에 의해 선택된다. 예를 들어, NBMP 미디어 처리를 할 수 있는 FLUS 싱크는 5GMS AF에 의해 FLUS 싱크 발견 서버에 게시될 수 있다. FLUS 소스는 FLUS 싱크 발견 서버에 나열된 하나 이상의 FLUS 싱크 중에서 FLUS 싱크를 발견할 수 있다. FLUS 소스는 FLUS 싱크가 네트워크 기반 미디어 처리를 수행할 수 있다는 FLUS 싱크 발견 서버 상의 정보에 기초하여 FLUS 싱크를 선택한다.
(S740)에서, FLUS 소스에 의해 FLUS 싱크와 FLUS 세션이 설정될 수 있다. 일 예에서, UE에 있는 5GMS 인식 애플리케이션은 FLUS 소스를 통해 네트워크 기반 미디어 처리를 위한 NBMP 작업 흐름의 인스턴스화를 요청할 수 있다. 그에 따라, UE에 있는 FLUS 소스는 네트워크 기반 미디어 처리를 위한 NBMP 작업 흐름의 인스턴스화에 대한 요청을 FLUS 싱크에게 전송할 수 있으며 NBMP 작업 흐름에 대응하는 NBMP WDD는 요청에 포함된다. FLUS 소스로부터 요청을 수신하는 것에 응답하여, FLUS 싱크는 NBMP WDD에 기초하여 NBMP 작업 흐름을 인스턴스화할 수 있다.
다른 예에서, FLUS 싱크는 5GMS AF에 의해 FLUS 소스의 주소 및 네트워크 기반 미디어 처리에 대응하는 NBMP WDD를 사용하여 구성된다. 그러한 구성에 따라, FLUS 소스의 주소를 포함하는 FLUS 소스로부터의 FLUS 세션을 설정하라는 요청에 응답하여, FLUS 싱크는 NBMP WDD에 기초하여 NBMP 작업 흐름을 인스턴스화할 수 있다.
(S750)에서, FLUS 소스에 의해 FLUS 싱크로의 업링크 스트리밍이 시작될 수 있다. FLUS 싱크에서, 업링크 스트리밍의 미디어 콘텐츠가 네트워크 기반 미디어 처리를 사용하여 처리될 수 있다. 프로세스(700)는 (S799)로 진행하여 (S799)에서 종료될 수 있다.
도 8은 본 개시내용의 실시예에 따른 FLUS 및 5GMS AF를 사용한 NBMP 배포 프로세스(800)를 도시한다. 프로세스(800)는 FLUS 소스에 의해 수행될 수 있다. 프로세스(800)는 (S801)에서 시작하여 (S810)으로 진행할 수 있다.
(S810)에서, 시그널링이 5GMS 애플리케이션 제공자로부터 FLUS 소스에 수신될 수 있다. 시그널링은 FLUS 싱크가 네트워크 기반 미디어 처리를 위해 구성되어 있음을 나타낼 수 있다.
(S820)에서, FLUS 소스에 의해 FLUS 싱크와 FLUS 세션이 설정될 수 있다. 일부 예들에서, NBMP 작업 흐름은 네트워크 기반 미디어 처리를 수행하기 위한 NBMP WDD에 기초하여 FLUS 싱크에서 인스턴스화될 수 있다.
(S830)에서, FLUS 소스로부터 FLUS 싱크로 미디어 콘텐츠를 스트리밍하기 위해 FLUS 소스에 의해 FLUS 싱크와 업링크 미디어 스트리밍 세션이 시작될 수 있다. 미디어 콘텐츠는 FLUS 싱크에서 네트워크 기반 미디어 처리를 사용하여 처리된다. 프로세스(800)는 (S899)로 진행하여 (S899)에서 종료될 수 있다.
도 9는 본 개시내용의 실시예에 따른 FLUS 및 5GMS AF를 사용한 NBMP 배포 프로세스(900)를 도시한다. 프로세스(900)는 FLUS 싱크에 의해 수행될 수 있다. 프로세스(900)는 (S901)에서 시작하여 (S910)으로 진행할 수 있다.
(S910)에서, 5GMS AF로부터 네트워크 기반 미디어 처리를 위한 구성이 FLUS 싱크에 수신될 수 있다.
(S920)에서, FLUS 소스로부터 요청을 수신하는 것에 응답하여 UE에 있는 FLUS 소스와 FLUS 싱크 사이에 FLUS 세션이 설정될 수 있다.
(S930)에서, 업링크 미디어 스트리밍의 미디어 콘텐츠가 FLUS 소스로부터 FLUS 싱크에 수신될 수 있다. 업링크 미디어 스트리밍의 미디어 콘텐츠는 네트워크 기반 미디어 처리를 사용하여 처리될 수 있다. 프로세스(900)는 (S999)로 진행하여 (S999)에서 종료될 수 있다.
V. 컴퓨터 시스템
본 명세서에서 개시되는 방법들, 실시예들, 엔티티들, 또는 기능들은 처리 회로부(예를 들면, 하나 이상의 프로세서 또는 하나 이상의 집적 회로)에 의해 구현될 수 있다. 일 예에서, 하나 이상의 프로세서는 본 명세서에서 개시되는 방법들, 실시예들, 또는 기능들을 수행하기 위해 비일시적 컴퓨터 판독 가능 매체에 저장된 프로그램을 실행한다. 프로그램은 하나 이상의 CPU, GPU 등에 의해 직접 또는 인터프리테이션(interpretation), 마이크로 코드 실행 등을 통해 실행될 수 있는 명령어들을 포함하는 코드를 생성하기 위해 어셈블리, 컴파일, 링킹 등 메커니즘들을 거칠 수 있는 임의의 적합한 머신 코드 또는 컴퓨터 언어를 사용하여 코딩될 수 있다. 명령어들은, 예를 들어, 개인용 컴퓨터들, 태블릿 컴퓨터들, 서버들, 스마트폰들, 게이밍 디바이스들, 사물 인터넷 디바이스들 등을 포함한, 다양한 유형들의 컴퓨터들 또는 그의 컴포넌트들에서 실행될 수 있다.
도 10은 개시된 주제의 특정 실시예들을 구현하기에 적합한 컴퓨터 시스템(1000)을 도시한다. 컴퓨터 시스템(1000)에 대해 도 10에 도시된 컴포넌트들은 본질적으로 예시적인 것이며, 본 개시내용의 실시예들을 구현하는 컴퓨터 소프트웨어의 사용 또는 기능의 범위에 대한 어떠한 제한도 암시하도록 의도되지 않는다. 컴포넌트들의 구성이 컴퓨터 시스템(1000)의 예시적인 실시예에 예시되는 컴포넌트들 중 임의의 것 또는 이들의 임의의 조합에 관련된 임의의 종속성 또는 요구사항을 갖는 것으로 해석되어서는 안된다.
컴퓨터 시스템(1000)은 특정 인간 인터페이스 입력 디바이스들을 포함할 수 있다. 그러한 인간 인터페이스 입력 디바이스는, 예를 들어, 촉각적 입력(예컨대, 키스트로크들, 스와이프들, 데이터 글러브 움직임들), 오디오 입력(예컨대, 음성, 박수), 시각적 입력(예컨대, 제스처들), 후각적 입력(묘사되지 않음)을 통한 한 명 이상의 인간 사용자에 의한 입력에 응답할 수 있다. 인간 인터페이스 디바이스들은 또한, 오디오(예컨대, 음성, 음악, 주변 소리), 이미지들(예컨대, 스캔된 이미지들, 정지 이미지 카메라로부터 획득되는 사진 이미지들), 비디오(예컨대, 2차원 비디오, 입체 비디오를 포함한 3차원 비디오)와 같은, 인간에 의한 의식적인 입력에 반드시 직접 관련되지는 않는 특정 미디어를 캡처하는 데 사용될 수 있다.
입력 인간 인터페이스 디바이스들은 키보드(1001), 마우스(1002), 트랙패드(1003), 터치 스크린(1010), 데이터 글러브(도시되지 않음), 조이스틱(1005), 마이크로폰(1006), 스캐너(1007), 카메라(1008) 중 하나 이상(각각이 하나만 묘사되어 있음)을 포함할 수 있다.
컴퓨터 시스템(1000)은 특정 인간 인터페이스 출력 디바이스들을 또한 포함할 수 있다. 그러한 인간 인터페이스 출력 디바이스들은, 예를 들어, 촉각적 출력, 소리, 빛, 및 냄새/맛을 통해 한 명 이상의 인간 사용자의 감각들을 자극할 수 있다. 그러한 인간 인터페이스 출력 디바이스들은 촉각적 출력 디바이스들(예를 들어, 터치 스크린(1010), 데이터 글러브(도시되지 않음), 또는 조이스틱(1005)에 의한 촉각적 피드백, 그러나 입력 디바이스들로서 역할하지 않는 촉각적 피드백 디바이스들도 있을 수 있음), 오디오 출력 디바이스들(예컨대, 스피커들(1009), 헤드폰들(묘사되지 않음)), 시각적 출력 디바이스들(예컨대, CRT 스크린들, LCD 스크린들, 플라스마 스크린, OLED 스크린을 포함하는 스크린들(1010), 각각이 터치 스크린 입력 능력을 갖거나 갖지 않고, 각각이 촉각적 피드백 능력을 갖거나 갖지 않음 - 이들 중 일부는 2차원 시각적 출력 또는 입체 출력과 같은 수단을 통한 3차원 초과의 출력을 출력할 수 있을 수 있음 -; 가상 현실 안경(묘사되지 않음), 홀로그래픽 디스플레이들 및 연기 탱크(smoke tank)들(묘사되지 않음)), 및 프린터들(묘사되지 않음)을 포함할 수 있다.
컴퓨터 시스템(1000)은 CD/DVD 등 매체들(1021)을 갖는 CD/DVD ROM/RW(1020)를 포함한 광학 매체들, 썸 드라이브(thumb-drive)(1022), 이동식 하드 드라이브 또는 솔리드 스테이트 드라이브(1023), 테이프 및 플로피 디스크(묘사되지 않음)와 같은 레거시 자기 매체들, 보안 동글들(도시되지 않음)과 같은 특수 ROM/ASIC/PLD 기반 디바이스들 등과 같은 인간 액세스 가능 저장 디바이스들 및 이들과 연관된 매체들을 또한 포함할 수 있다.
본 기술 분야의 통상의 기술자는 또한 현재 개시된 주제와 관련하여 사용되는 바와 같은 "컴퓨터 판독 가능 매체들"이라는 용어가 전송 매체들, 반송파들, 또는 다른 일시적인 신호들을 포괄하지 않는다는 것을 이해해야 한다.
컴퓨터 시스템(1000)은 하나 이상의 통신 네트워크(1055)에 대한 인터페이스(1054)를 또한 포함할 수 있다. 네트워크들은, 예를 들어, 무선, 유선, 광학일 수 있다. 네트워크들은 또한 로컬, 광역, 대도시, 차량용 및 산업용, 실시간, 지연 허용(delay-tolerant) 등일 수 있다. 네트워크들의 예들은 이더넷, 무선 LAN들과 같은 로컬 영역 네트워크들, GSM, 3G, 4G, 5G, LTE 등을 포함하는 셀룰러 네트워크들, 케이블 TV, 위성 TV, 및 지상파 방송 TV를 포함하는 TV 유선 또는 무선 광역 디지털 네트워크들, CANBus를 포함하는 차량용 및 산업용 등을 포함한다. 특정 네트워크들은 통상적으로 (예를 들어, 컴퓨터 시스템(1000)의 USB 포트들과 같은) 특정 범용 데이터 포트들 또는 주변 버스들(1049)에 접속된 외부 네트워크 인터페이스 어댑터들을 필요로 하며; 다른 네트워크들은 통상적으로 아래에서 설명되는 바와 같이 시스템 버스에 대한 접속에 의해 컴퓨터 시스템(1000)의 코어에 통합된다(예를 들어, 이더넷 인터페이스가 PC 컴퓨터 시스템에 통합되거나 셀룰러 네트워크 인터페이스가 스마트폰 컴퓨터 시스템에 통합됨). 이러한 네트워크들 중 임의의 것을 사용하여, 컴퓨터 시스템(1000)은 다른 엔티티들과 통신할 수 있다. 그러한 통신은 단방향, 수신 전용(예를 들어, 방송 TV), 단방향 송신 전용(예를 들어, CANbus로부터 특정 CANbus 디바이스들로), 또는 양방향(예를 들어, 로컬 영역 또는 광역 디지털 네트워크들을 사용하여 다른 컴퓨터 시스템들로)일 수 있다. 본 명세서에서 설명된 바와 같이 특정 프로토콜들 및 프로토콜 스택들이 해당 네트워크들 및 네트워크 인터페이스들 각각에서 사용될 수 있다.
전술한 인간 인터페이스 디바이스들, 인간 액세스 가능 저장 디바이스들, 및 네트워크 인터페이스들은 컴퓨터 시스템(1000)의 코어(1040)에 접속될 수 있다.
코어(1040)는 하나 이상의 중앙 처리 유닛(CPU)(1041), 그래픽 처리 유닛(GPU)(1042), FPGA(Field Programmable Gate Areas)(1043) 형태의 특수 프로그래밍 가능 처리 유닛, 특정 태스크들을 위한 하드웨어 가속기(1044), 그래픽 어댑터(1050) 등을 포함할 수 있다. 판독 전용 메모리(ROM)(1045), 랜덤 액세스 메모리(1046), 내부 비-사용자 액세스 가능 하드 드라이브들, SSD들 등과 같은 내부 대용량 저장소(1047)와 함께, 이러한 디바이스들은 시스템 버스(1048)를 통해 연결될 수 있다. 일부 컴퓨터 시스템들에서, 시스템 버스(1048)는 추가적인 CPU들, GPU들 등에 의한 확장을 가능하게 하기 위해 하나 이상의 물리적 플러그의 형태로 액세스 가능할 수 있다. 주변 디바이스들은 코어의 시스템 버스(1048)에 직접 접속되거나 주변 버스(1049)를 통해 접속될 수 있다. 일 예에서, 스크린(1010)은 그래픽 어댑터(1050)에 연결될 수 있다. 주변 버스에 대한 아키텍처들은 PCI, USB 등을 포함한다.
CPU들(1041), GPU들(1042), FPGA들(1043), 및 가속기들(1044)은, 조합하여, 전술한 컴퓨터 코드를 구성할 수 있는 특정 명령어들을 실행할 수 있다. 해당 컴퓨터 코드는 ROM(1045) 또는 RAM(1046)에 저장될 수 있다. 과도적인 데이터가 또한 RAM(1046)에 저장될 수 있는 반면, 영구적인 데이터는 내부 대용량 저장소(1047)에 저장될 수 있다. 하나 이상의 CPU(1041), GPU(1042), 대용량 저장소(1047), ROM(1045), RAM(1046) 등과 밀접하게 연관될 수 있는 캐시 메모리의 사용을 통해 메모리 디바이스들 중 임의의 것에 대한 빠른 저장 및 검색이 가능할 수 있다.
컴퓨터 판독 가능 매체들은 다양한 컴퓨터 구현 동작들을 수행하기 위한 컴퓨터 코드를 가질 수 있다. 매체들 및 컴퓨터 코드는 본 개시내용의 목적들을 위해 특별히 설계되고 구성된 것일 수 있거나, 컴퓨터 소프트웨어 분야의 통상의 기술자에게 잘 알려져 있고 이용 가능한 종류일 수 있다.
제한이 아닌 예로서, 아키텍처를 갖는 컴퓨터 시스템(1000), 특히 코어(1040)는 프로세서(들)(CPU들, GPU들, FPGA들, 가속기들 등을 포함함)가 하나 이상의 유형적인 컴퓨터 판독 가능 매체에 구체화된 소프트웨어를 실행한 결과로서 기능을 제공할 수 있다. 그러한 컴퓨터 판독 가능 매체들은 위에서 소개된 바와 같은 사용자 액세스 가능 대용량 저장소는 물론, 코어 내부 대용량 저장소(1047) 또는 ROM(1045)과 같은, 비일시적인 코어(1040)의 특정 저장소와 연관된 매체들일 수 있다. 본 개시내용의 다양한 실시예들을 구현하는 소프트웨어는 그러한 디바이스들에 저장되고 코어(1040)에 의해 실행될 수 있다. 컴퓨터 판독 가능 매체는, 특정 요구들에 따라, 하나 이상의 메모리 디바이스 또는 칩을 포함할 수 있다. 소프트웨어는 코어(1040) 및 특히 그 내부의 프로세서들(CPU, GPU, FPGA 등을 포함함)로 하여금, RAM(1046)에 저장된 데이터 구조들을 정의하는 것 및 소프트웨어에 의해 정의되는 프로세스들에 따라 그러한 데이터 구조들을 수정하는 것을 포함하여, 위에서 설명된 특정 프로세스들 또는 특정 프로세스들의 특정 부분들을 실행하게 할 수 있다. 추가적으로 또는 대안으로서, 컴퓨터 시스템은, 본 명세서에서 설명되는 특정 프로세스들 또는 특정 프로세스들의 특정 부분들을 실행하기 위해 소프트웨어 대신에 또는 소프트웨어와 함께 작동할 수 있는, 회로(예를 들어, 가속기(1044))에 고정 배선되거나 다른 방식으로 구체화되는 로직의 결과로서 기능을 제공할 수 있다. 소프트웨어에 대한 언급은 로직을 포괄할 수 있으며, 적절한 경우, 그 반대의 경우도 마찬가지이다. 컴퓨터 판독 가능 매체들에 대한 언급은 실행을 위한 소프트웨어를 저장하는 회로(예컨대, 집적 회로(IC)), 실행을 위한 로직을 구체화하는 회로, 또는, 적절한 경우, 양쪽 모두를 포괄할 수 있다. 본 개시내용은 하드웨어와 소프트웨어의 임의의 적합한 조합을 포괄한다.
본 개시내용이 여러 예시적인 실시예들을 설명하였지만, 본 개시내용의 범위 내에 속하는 변경들, 치환들, 및 다양한 대체 등가물들이 있다. 따라서, 본 기술 분야의 통상의 기술자가, 본 명세서에서 명시적으로 도시되거나 설명되지는 않았지만, 본 개시내용의 원리들을 구체화하고 따라서 본 개시내용의 사상 및 범위 내에 있는 수많은 시스템들 및 방법들을 고안할 수 있다는 것이 이해될 것이다.

Claims (20)

  1. 라이브 업링크 스트리밍 프레임워크(FLUS) 및 5세대 미디어 스트리밍(5GMS) 애플리케이션 기능(AF)을 사용한 네트워크 기반 미디어 처리(NBMP) 배포의 방법으로서,
    5GMS 애플리케이션 제공자에 의해 상기 5GMS AF와, 상기 5GMS 애플리케이션 제공자가 네트워크 기반 미디어 처리를 위해 상기 5GMS AF를 구성하는, 프로비저닝 세션을 설정하는 단계;
    상기 5GMS AF에 의해 상기 네트워크 기반 미디어 처리를 위해 FLUS 싱크를 구성하는 단계;
    FLUS 소스 발견 프로세스 동안 FLUS 소스에 의해 상기 FLUS 싱크를 선택하는 단계;
    상기 FLUS 소스에 의해 상기 FLUS 싱크와 FLUS 세션을 설정하는 단계; 및
    상기 업링크 스트리밍의 미디어 콘텐츠가 상기 네트워크 기반 미디어 처리를 사용하여 처리되는 상기 FLUS 싱크로 상기 FLUS 소스에 의해 업링크 스트리밍을 시작하는 단계
    를 포함하는, 방법.
  2. 제1항에 있어서, 상기 5GMS 애플리케이션 제공자는 5GMS AF를 통해 상기 네트워크 기반 미디어 처리를 셋업하기 위한 NBMP 작업 흐름 설명 문서(WDD)를 상기 5GMS AF에게 제공하는, 방법.
  3. 제2항에 있어서, 상기 5GMS AF에 의해 상기 FLUS 싱크를 구성하는 단계는:
    상기 FLUS 싱크를 구성하는 단계; 및
    상기 네트워크 기반 미디어 처리에 대응하는 상기 NBMP WDD에 기초하여 상기 FLUS 싱크에서 NBMP 작업 흐름을 인스턴스화하는 단계를 포함하는, 방법.
  4. 제1항에 있어서, 상기 5GMS AF에 의해 상기 FLUS 싱크를 구성하는 단계는:
    상기 5GMS AF에 의해 상기 FLUS 소스의 주소 및 상기 네트워크 기반 미디어 처리에 대응하는 NBMP WDD를 상기 FLUS 싱크에게 제공하는 단계를 포함하며, 상기 네트워크 기반 미디어 처리를 위한 NBMP 작업 흐름의 인스턴스화가 상기 FLUS 싱크에서 수행되지 않는, 방법.
  5. 제1항에 있어서, 상기 FLUS 소스 발견 프로세스는:
    상기 5GMS AF에 의해 NBMP 미디어 처리를 할 수 있는 상기 FLUS 싱크를 FLUS 싱크 발견 서버에 게시하는 단계; 및
    상기 FLUS 소스에 의해 상기 FLUS 싱크 발견 서버에 나열된 하나 이상의 FLUS 싱크 중에서 상기 FLUS 싱크를 발견하는 단계를 포함하며, 상기 FLUS 소스는 상기 FLUS 싱크가 상기 네트워크 기반 미디어 처리를 수행할 수 있다는 상기 FLUS 싱크 발견 서버 상의 정보에 기초하여 상기 FLUS 싱크를 선택하는, 방법.
  6. 제1항에 있어서, 상기 FLUS 소스에 의해 상기 FLUS 싱크와 상기 FLUS 세션을 설정하는 단계는:
    사용자 장비(UE)에 있는 5GMS 인식 애플리케이션에 의해 FLUS 소스를 통해 상기 네트워크 기반 미디어 처리를 위한 NBMP 작업 흐름의 인스턴스화를 요청하는 단계; 및
    상기 UE에 있는 상기 FLUS 소스에 의해 상기 네트워크 기반 미디어 처리를 위한 상기 NBMP 작업 흐름의 상기 인스턴스화에 대한 요청을 상기 FLUS 싱크에게 전송하는 단계 - 상기 NBMP 작업 흐름에 대응하는 NBMP WDD는 상기 요청에 포함됨 - 를 포함하는, 방법.
  7. 제1항에 있어서, 상기 FLUS 소스에 의해 상기 FLUS 싱크와 상기 FLUS 세션을 설정하는 단계는:
    상기 FLUS 싱크가 상기 5GMS AF에 의해 상기 FLUS 소스의 주소 및 상기 네트워크 기반 미디어 처리에 대응하는 상기 NBMP WDD를 사용하여 구성될 때, 상기 FLUS 소스의 상기 주소를 포함하는 상기 FLUS 소스로부터의 상기 FLUS 세션을 설정하라는 요청에 응답하여, 상기 FLUS 싱크에 의해 NBMP WDD에 기초하여 NBMP 작업 흐름을 인스턴스화하는 단계를 포함하는, 방법.
  8. 라이브 업링크 스트리밍 프레임워크(FLUS) 및 5세대 미디어 스트리밍(5GMS) 애플리케이션 기능(AF)을 사용한 네트워크 기반 미디어 처리(NBMP) 배포의 방법으로서,
    FLUS 소스에서 FLUS 싱크가 네트워크 기반 미디어 처리를 위해 구성되어 있다는 시그널링을 5GMS 애플리케이션 제공자로부터 수신하는 단계;
    상기 FLUS 소스에 의해 상기 FLUS 싱크와 FLUS 세션을 설정하는 단계; 및
    상기 FLUS 소스로부터 미디어 콘텐츠가 상기 네트워크 기반 미디어 처리를 사용하여 처리되는 상기 FLUS 싱크로 상기 미디어 콘텐츠를 스트리밍하기 위해 상기 FLUS 소스에 의해 상기 FLUS 싱크와 업링크 미디어 스트리밍 세션을 시작하는 단계
    를 포함하는, 방법.
  9. 제8항에 있어서,
    상기 FLUS 소스에서 상기 시그널링을 상기 5GMS 애플리케이션 제공자로부터 수신하는 것에 응답하여 FLUS 싱크 발견 서버에 나열된 한 세트의 후보 FLUS 싱크들 중에서 상기 FLUS 싱크를 선택하기 위해 상기 FLUS 소스에 의해 FLUS 싱크 발견 프로세스를 수행하는 단계 - 상기 FLUS 싱크의 상기 선택은 상기 FLUS 싱크가 상기 네트워크 기반 미디어 처리를 수행할 수 있는지 여부에 기초함 -
    를 더 포함하는, 방법.
  10. 제8항에 있어서, 상기 FLUS 소스에 의해 상기 FLUS 싱크와 상기 FLUS 세션을 설정하는 단계는:
    상기 네트워크 기반 미디어 처리를 위한 NBMP 작업 흐름의 인스턴스화에 대한, 사용자 장비(UE)에 있는 5GMS 인식 애플리케이션에 의한, 요청에 응답하여 상기 UE에 있는 상기 FLUS 소스에 의해 상기 네트워크 기반 미디어 처리를 위한 상기 NBMP 작업 흐름의 상기 인스턴스화에 대한 요청을 상기 FLUS 싱크에게 전송하는 단계 - 상기 NBMP 작업 흐름에 대응하는 NBMP WDD는 상기 요청에 포함됨 - 를 포함하는, 방법.
  11. 제8항에 있어서, 상기 FLUS 소스에 의해 상기 FLUS 싱크와 상기 FLUS 세션을 설정하는 단계는:
    상기 FLUS 소스로부터의 상기 FLUS 세션을 설정하라는 요청 - 상기 요청은 상기 FLUS 소스의 주소를 포함함 - 을 상기 FLUS 싱크로 전송하는 단계를 포함하며,
    상기 FLUS 싱크는 상기 FLUS 소스의 상기 주소 및 상기 네트워크 기반 미디어 처리에 대응하는 NBMP WDD를 사용하여 구성되고, 상기 FLUS 소스로부터의 상기 FLUS 세션을 설정하라는 상기 요청에 응답하여, 상기 대응하는 NBMP WDD에 기초하여 NBMP 작업 흐름을 인스턴스화하는, 방법.
  12. 제8항에 있어서, 5GMS 애플리케이션 제공자는 상기 네트워크 기반 미디어 처리에 대응하는 NBMP 작업 흐름 설명 문서(WDD)를 제공하는 것에 의해 미디어 프로세스를 구성하도록 상기 5GMS AF에게 요청하고, 상기 5GMS AF는 상기 NBMP WDD에 기초하여 상기 FLUS 싱크를 구성하고 상기 FLUS 싱크에서 NBMP 작업 흐름을 인스턴스화하는, 방법.
  13. 제8항에 있어서, 상기 5GMS AF는 상기 FLUS 소스의 주소 및 상기 네트워크 기반 미디어 처리에 대응하는 NBMP WDD를 상기 FLUS 싱크에게 제공하고, 상기 네트워크 기반 미디어 처리를 위한 NBMP 작업 흐름의 인스턴스화가 상기 FLUS 싱크에서 수행되지 않는, 방법.
  14. 라이브 업링크 스트리밍 프레임워크(FLUS) 및 5세대 미디어 스트리밍(5GMS) 애플리케이션 기능(AF)을 사용한 네트워크 기반 미디어 처리(NBMP) 배포의 방법으로서,
    FLUS 싱크에서 네트워크 기반 미디어 처리를 위한 구성을 상기 5GMS AF로부터 수신하는 단계;
    사용자 장비(UE)에 있는 FLUS 소스로부터의 요청을 수신하는 것에 응답하여 상기 FLUS 소스와 상기 FLUS 싱크 사이에 FLUS 세션을 설정하는 단계; 및
    상기 FLUS 싱크에서 업링크 미디어 스트리밍의 미디어 콘텐츠를 상기 FLUS 소스로부터 수신하는 단계 - 상기 업링크 미디어 스트리밍의 상기 미디어 콘텐츠는 상기 네트워크 기반 미디어 처리를 사용하여 처리됨 -
    를 포함하는, 방법.
  15. 제14항에 있어서, 상기 FLUS 싱크에서 상기 네트워크 기반 미디어 처리를 위한 상기 구성을 상기 5GMS AF로부터 수신하는 단계는:
    상기 네트워크 기반 미디어 처리에 대응하는 NBMP 작업 흐름 설명 문서(WDD)를 수신하는 단계; 및
    상기 네트워크 기반 미디어 처리에 대응하는 상기 NBMP WDD에 기초하여 상기 FLUS 싱크에서 NBMP 작업 흐름을 인스턴스화하는 단계를 포함하는, 방법.
  16. 제14항에 있어서, 상기 FLUS 싱크에서 상기 네트워크 기반 미디어 처리를 위한 상기 구성을 상기 5GMS AF로부터 수신하는 단계는:
    상기 FLUS 싱크에서 상기 FLUS 소스의 주소 및 상기 네트워크 기반 미디어 처리에 대응하는 NBMP WDD를 상기 5GMS AF로부터 수신하는 단계를 포함하며, 상기 네트워크 기반 미디어 처리를 위한 NBMP 작업 흐름의 인스턴스화가 상기 FLUS 싱크에서 수행되지 않는, 방법.
  17. 제14항에 있어서, 상기 UE에 있는 상기 FLUS 소스로부터의 상기 요청을 수신하는 것에 응답하여 상기 FLUS 소스와 상기 FLUS 싱크 사이에 상기 FLUS 세션을 설정하는 단계는:
    상기 FLUS 싱크에서 상기 네트워크 기반 미디어 처리를 위한 NBMP 작업 흐름의 인스턴스화에 대한 요청을 상기 FLUS 소스로부터 수신하는 단계 - 상기 NBMP 작업 흐름에 대응하는 NBMP WDD는 상기 요청에 포함됨 -; 및
    상기 요청에 포함된 상기 NBMP 작업 흐름에 대응하는 상기 NBMP WDD에 기초하여 상기 네트워크 기반 미디어 처리를 위한 상기 NBMP 작업 흐름을 인스턴스화하는 단계를 포함하는, 방법.
  18. 제14항에 있어서, 상기 UE에 있는 상기 FLUS 소스로부터의 상기 요청을 수신하는 것에 응답하여 상기 FLUS 소스와 상기 FLUS 싱크 사이에 상기 FLUS 세션을 설정하는 단계는:
    상기 FLUS 싱크에서 상기 FLUS 세션을 설정하라는 요청을 상기 FLUS 소스로부터 수신하는 단계 - 상기 요청은 상기 FLUS 소스의 주소를 포함함 -,
    상기 네트워크 기반 미디어 처리에 대응하는 NBMP WDD에 기초하여 상기 FLUS 싱크에서 NBMP 작업 흐름을 인스턴스화하는 단계 - 상기 FLUS 싱크는 상기 FLUS 소스의 상기 주소 및 상기 네트워크 기반 미디어 처리에 대응하는 상기 NBMP WDD를 사용하여 이전에 구성됨 - 를 포함하는, 방법.
  19. 제14항에 있어서, 5GMS 애플리케이션 제공자는 상기 네트워크 기반 미디어 처리에 대응하는 NBMP 작업 흐름 설명 문서(WDD)를 사용하여 상기 5GMS AF를 구성하는, 방법.
  20. 제14항에 있어서, 상기 FLUS 소스는 FLUS 싱크 발견 서버에 나열된 하나 이상의 FLUS 싱크 중에서 상기 FLUS 싱크를 발견하고, 상기 FLUS 소스는 상기 FLUS 싱크가 상기 네트워크 기반 미디어 처리를 수행할 수 있다는 상기 FLUS 싱크 발견 서버 상의 정보에 기초하여 상기 FLUS 싱크를 선택하는, 방법.
KR1020227038757A 2020-12-04 2021-09-22 라이브 업링크 스트리밍 프레임워크(flus) 및 5g 애플리케이션 기능(af)을 사용한 네트워크 기반 미디어 처리(nbmp) 배포 KR20220164777A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063121830P 2020-12-04 2020-12-04
US63/121,830 2020-12-04
US17/472,297 US11750676B2 (en) 2020-12-04 2021-09-10 Network-based media processing (NBMP) deployment with framework for live uplink streaming (FLUS) and 5G application function (AF)
US17/472,297 2021-09-10
PCT/US2021/051558 WO2022119617A1 (en) 2020-12-04 2021-09-22 Network-based media processing (nbmp) deployment with framework for live uplink streaming (flus) and 5g application function (af)

Publications (1)

Publication Number Publication Date
KR20220164777A true KR20220164777A (ko) 2022-12-13

Family

ID=81848327

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227038757A KR20220164777A (ko) 2020-12-04 2021-09-22 라이브 업링크 스트리밍 프레임워크(flus) 및 5g 애플리케이션 기능(af)을 사용한 네트워크 기반 미디어 처리(nbmp) 배포

Country Status (6)

Country Link
US (1) US11750676B2 (ko)
EP (1) EP4104505A4 (ko)
JP (1) JP7466684B2 (ko)
KR (1) KR20220164777A (ko)
CN (1) CN115349248B (ko)
WO (1) WO2022119617A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11829811B2 (en) * 2021-09-17 2023-11-28 International Business Machines Corporation Systems and methods for exchanging electronic data

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11190554B2 (en) 2017-06-20 2021-11-30 Samsung Electronics Co., Ltd. System and method for discovery and access of uplink services
US11765404B2 (en) 2018-11-02 2023-09-19 Apple Inc. Systems, methods, and devices for enabling live media production services
WO2020102296A1 (en) 2018-11-13 2020-05-22 Sony Corporation Methods and devices for establishing a streaming session in a framework for live uplink streaming
JP2022051975A (ja) * 2019-02-12 2022-04-04 ソニーグループ株式会社 情報処理装置および情報処理方法
US11496532B2 (en) * 2020-04-10 2022-11-08 Samsung Electronics Co., Ltd. Offering media services through network edge
CN111586601B (zh) * 2020-04-24 2024-03-29 腾讯科技（深圳）有限公司 网络辅助信息提供方法及相关设备

Also Published As

Publication number Publication date
JP7466684B2 (ja) 2024-04-12
EP4104505A4 (en) 2023-06-21
US11750676B2 (en) 2023-09-05
WO2022119617A1 (en) 2022-06-09
CN115349248B (zh) 2023-12-26
EP4104505A1 (en) 2022-12-21
CN115349248A (zh) 2022-11-15
US20220182435A1 (en) 2022-06-09
JP2023518308A (ja) 2023-04-28

Similar Documents

Publication Publication Date Title
US11496532B2 (en) Offering media services through network edge
WO2021213035A1 (zh) 网络辅助信息提供方法、装置、电子设备及计算机可读存储介质
US11516628B2 (en) Media streaming with edge computing
CN111586601B (zh) 网络辅助信息提供方法及相关设备
US11916734B2 (en) Third party network and network slice management
TW201419792A (zh) 裝置定向能力交換信令以及回應裝置定向的多媒體內容之伺服器調適
EP2933982B1 (en) Media stream transfer method and user equipment
JP7449382B2 (ja) ５ｇのｆｌｕｓ制御を介したｎｂｍｐ展開のための方法
Li et al. 6G cloud-native system: Vision, challenges, architecture framework and enabling technologies
US11750676B2 (en) Network-based media processing (NBMP) deployment with framework for live uplink streaming (FLUS) and 5G application function (AF)
KR20230010711A (ko) 사용자 생성 콘텐츠의 라이브 스트리밍을 위해 5g 에지 애플리케이션 서버들을 이용하기 위한 방법
US20210289015A1 (en) Dynamic multiple endpoint generation
US20220329635A1 (en) Method and apparatus for media session management for service enabler architecture layer (seal) architecture
WO2022206626A1 (zh) 一种增强现实通信的方法、装置及系统
JP5991734B2 (ja) 撮像装置、情報処理方法及びプログラム
KR20230116939A (ko) 5g ar/mr 인지 경험을 5g 디바이스들에 전달하기 위한방법 및 장치
JP2023547836A (ja) ピアツーピア・メディア・パラメータ・ネゴシエーションのためのバーティカルアプリケーション層サーバの動作可能化
CN115516439A (zh) 5g网络中应用提供商的媒体流式传输内容准备的方法
JP7492647B2 (ja) 断片化ｍｐ４を活用したｈｔｔｐベースのメディアストリーミングサービス
WO2023087925A1 (zh) 电信通讯方法、电子设备及存储介质
CN117063451A (zh) 针对对等媒体参数协商启用垂直应用层服务
JP2024516646A (ja) ５ｇｍｓ認識アプリケーションによるエッジ・サーバー発見およびインスタンス化のトリガーのための方法、装置および媒体
WO2023217927A1 (en) An apparatus for providing synchronized input
CN116233350A (zh) 一种会议控制方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal