KR20210004877A - 미디어 데이터 프로세싱 방법 및 장치 - Google Patents

미디어 데이터 프로세싱 방법 및 장치 Download PDF

Info

Publication number
KR20210004877A
KR20210004877A KR1020200082077A KR20200082077A KR20210004877A KR 20210004877 A KR20210004877 A KR 20210004877A KR 1020200082077 A KR1020200082077 A KR 1020200082077A KR 20200082077 A KR20200082077 A KR 20200082077A KR 20210004877 A KR20210004877 A KR 20210004877A
Authority
KR
South Korea
Prior art keywords
media data
media
present
processing
delay
Prior art date
Application number
KR1020200082077A
Other languages
English (en)
Inventor
임성용
서정일
엄기문
이희경
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20210004877A publication Critical patent/KR20210004877A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명의 실시예에 따른 미디어 데이터 프로세싱 방법은, 미디어 데이터를 수신하는 단계, 상기 미디어 데이터와 메타데이터 스트림 사이의 관계 정보를 이용하여 상기 미디어 데이터에 대한 메타데이터를 획득하는 단계, 및 상기 미디어 데이터 및 상기 메타데이터를 이용하여 생성되는 워크플로우의 복수의 태스크들을 복수의 딜레이 파라미터들을 이용하여 실행함으로써, 상기 미디어 데이터를 프로세싱하는 단계를 포함하되, 상기 관계 정보는 상기 미디어 데이터의 식별자 정보를 포함하고 제1 디스크립터에 정의되며, 상기 복수의 딜레이 파라미터들은 상기 복수의 태스크들 중 적어도 하나의 식별자 정보를 포함하고 제2 디스크립터에 정의될 수 있다.

Description

미디어 데이터 프로세싱 방법 및 장치{METHOD AND APPARATUS FOR PROCESSING MEDIA DATA}
본 발명은 미디어 데이터 프로세싱 방법 및 장치에 관한 것이다. 구체적으로, NBMP(Network-Based Media Processing)를 기반으로 미디어 데이터를 프로세싱하기 위한 부가 정보를 제공하는 방법 및 장치에 관한 것이다.
최근 네트워크 상에서 미디어 데이터를 보다 효율적으로 프로세싱하기 위한 다양한 연구가 진행되고 있다. 미디어 데이터는 다양한 센서를 이용하여 오디오, 비디오 등과 같은 디지털 형태로 획득될 수 있다. 미디어 데이터는 MPEG 등 표준화 단체에서 정의하는 포맷에 따를 수 있다.
본 발명은 프로세싱 효율이 향상된 미디어 데이터 프로세싱 방법 및 장치를 제공하는 것을 목적으로 한다.
또한, 본 발명은 NBMP 시스템에서 미디어 데이터와 메타데이터 스트림 사이의 관계 정보를 이용한 미디어 데이터 프로세싱 방법 및 장치를 제공하는 것을 목적으로 한다.
또한, 본 발명은 NBMP 시스템에서 소정의 딜레이 파라미터를 이용한 미디어 데이터 프로세싱 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명의 실시예들에 따른 미디어 데이터 프로세싱 방법은, 미디어 데이터를 수신하는 단계, 상기 미디어 데이터와 메타데이터 스트림 사이의 관계 정보를 이용하여 상기 미디어 데이터에 대한 메타데이터를 획득하는 단계, 및 상기 미디어 데이터 및 상기 메타데이터를 이용하여 생성되는 워크플로우의 복수의 태스크들을 복수의 딜레이 파라미터들을 이용하여 실행함으로써, 상기 미디어 데이터를 프로세싱하는 단계를 포함하되, 상기 관계 정보는 상기 미디어 데이터의 식별자 정보를 포함하고 제1 디스크립터에 정의되며, 상기 복수의 딜레이 파라미터들은 상기 복수의 태스크들 중 적어도 하나의 식별자 정보를 포함하고 제2 디스크립터에 정의될 수 있다.
본 발명의 실시예들에 따른 미디어 데이터 프로세싱 방법 및 장치는, 미디어 데이터와 메타데이터 스트림 사이의 관계 정보에 기초하여 미디어 데이터를 프로세싱함으로써, 미디어 데이터와 메타데이터 스트림을 동기화시키기 위한 별도의 파싱 동작을 생략할 수 있다.
또한, 본 발명의 실시예들에 따른 미디어 데이터 프로세싱 방법 및 장치는, 소정의 딜레이 파라미터를 이용하여 복수의 태스크들을 실행함으로써, 컴퓨팅 리소스 사용을 최적화할 수 있다.
본 발명의 다양하면서도 유익한 장점 및 효과는 상술한 내용에 한정되지 않으며, 본 발명의 구체적인 실시예를 설명하는 과정에서 보다 쉽게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예들에 따른 미디어 데이터 프로세싱 방법을 실행할 수 있는 미디어 데이터 시스템을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 미디어 데이터 프로세싱 방법에서 딜레이 파라미터를 적용하는 방법을 설명하기 위한 도면이다.
도 3 내지 도 5는 본 발명의 일 실시예에 따른 미디어 데이터 프로세싱 방법을 나타낸 흐름도들이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다. 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다. 후술하는 예시적 실시예들에 대한 상세한 설명은, 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 실시예를 실시할 수 있기에 충분하도록 상세히 설명된다. 다양한 실시예들은 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 실시예의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 예시적 실시예들의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다.
본 발명에서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 발명의 어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 발명에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 즉, 본 발명에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.
본 발명의 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.
이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략하고, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 미디어 데이터 프로세싱 방법을 실행할 수 있는 미디어 데이터 시스템을 나타낸 도면이다.
도 1을 참조하면, 미디어 데이터 시스템(1)은 미디어 데이터를 프로세싱하여 재생할 수 있다. 일부 예에서, 미디어 데이터 시스템(1)은 네트워크 기반의 미디어 프로세싱(Network-Based Media Processing: NBMP) 시스템일 수 있다.
미디어 데이터 시스템(1)은 미디어 소스 엔티티(10), 미디어 프로세싱 엔티티(20) 및 미디어 싱크 엔티티(30)를 포함할 수 있다.
미디어 소스 엔티티(10)는 로우(raw) 미디어 데이터를 제공하는 개체를 포함할 수 있다. 예컨대, 미디어 소스 엔티티(10)는 오디오, 비디오 등을 생성 및/또는 저장할 수 있는 디지털 카메라, 마이크로폰, 인코더, 저장장치 등을 포함할 수 있다.
미디어 소스 엔티티(10)는 제1 포맷을 갖는 미디어 데이터를 생성하여 미디어 프로세싱 엔티티(20)로 전송할 수 있다. 일부 예에서, 제1 포맷은 MPEG(Moving Picture Experts Group) 표준에서 정의하는 NBMP 포맷일 수 있다.
제1 포맷을 갖는 미디어 데이터는 미디어 리소스(media resources), 부가 정보(supplementary information) 및 워크플로우 디스크립션(workflow description)을 포함할 수 있다. 미디어 리소스는 로우 데이터 비트스트림, 압축 스트림, 패키지드(packaged) 스트림, 인코디드(encoded) 데이터, 패키지드 데이터 등을 포함할 수 있다. 부가 정보는 각종 시스템 정보로서, 메타데이터, 사이드 정보 등을 포함할 수 있다. 워크플로우 디스크립션은 워크플로우를 활성화하는 정보로서, 자바 스크립트, 서버 매니페스트(server manifest), 미디어 프로세싱을 위한 인스트럭션(instructions) 및 요구사항(requirements), QoS/QoE 피드백 리포팅, 미디어 프로세싱을 위한 설정 정보(configuration) 등을 포함할 수 있다.
미디어 프로세싱 엔티티(20)는 미디어 소스 엔티티(10)로부터 전송된 미디어 데이터를 프로세싱할 수 있다. 미디어 프로세싱 엔티티(20)는 미디어 데이터를 프로세싱하기 위해 하나 이상의 태스크들을 실행할 수 있다.
미디어 프로세싱 엔티티(20)는 컨트롤 기능 블록(21) 및 프로세싱 기능 블록(23)을 포함할 수 있다. 컨트롤 기능 블록(21)은 하나 이상의 태스크들 및 워크플로우를 제어 및 관리하는 기능을 제공할 수 있다. 프로세싱 기능 블록(23)은 컨트롤 기능 블록(21)이 생성하는 인스트럭션에 기초하여 하나 이상의 태스크들을 실행하는 기능을 제공할 수 있다.
미디어 프로세싱 엔티티(20)는 워크플로우 매니저(workflow manager)에 의해 생성되는 워크플로우의 하나 이상의 태스크들을 실행할 수 있다. 일부 예에서, 워크플로우 매니저는 미디어 프로세싱 엔티티(20)와는 별도의 개체로 구현될 수 있다.
현재 MPEG 표준에 따른 NBMP 시스템에서, 입력 디스크립터(input descriptor)는 미디어 데이터와 메타데이터 스트림 사이의 관계 정보를 포함하지 않는다. 코릴레이션 타임 스탬프(correlation timestamps)를 사용하는 복수의 타임 라인들 사이의 시간 동기화 방법을 포함하는 MORE(Media ORchEstration) 메타데이터는, 미디어 데이터 스트림과 연관되어야 한다. 하지만, 현재 MPEG 표준문서에서는 MORE 메타데이터를 기술할 뿐, 미디어 데이터와 메타데이터 스트림 사이의 관계 정보를 정의하지 않는다. 따라서, 워크플로우 매니저는 미디어 데이터의 프로세싱에 필요한 메타데이터 스트림을 특정하기 위하여 메타데이터 스트림을 파싱해야 하므로, 연산량이 증가하게 되는 문제가 있다.
이와 같은 문제를 해결하기 위하여, 본 발명의 일 실시예에 따른 미디어 데이터 프로세싱 방법에 따르면, 미디어 데이터와 메타데이터 스트림 사이의 관계 정보에 기초하여 미디어 데이터를 프로세싱함으로써, 미디어 데이터와 메타데이터 스트림을 동기화시키기 위한 별도의 파싱 동작을 생략할 수 있다.
일 실시예에서, 미디어 데이터와 메타데이터 스트림 사이의 관계 정보는 입력 디스크립터(input descriptor)에 정의될 수 있다. 예컨대, NBMP 시스템에서, 미디어 데이터와 메타데이터 스트림 사이의 관계 정보는, 표 1과 같이 “SubClause 9.2 in CD document for NBMP”에서 규정하는 입력 디스크립터의 “RelevantMediaStreamID” 파라미터로서 정의될 수 있다. “RelevantMediaStreamID” 파라미터는 메타데이터 스트림과 연관된 미디어 데이터의 식별자(ID) 정보를 포함할 수 있다.
Figure pat00001
또한, 일 실시예에서, 미디어 데이터와 메타데이터 스트림 사이의 관계 정보는 요구사항 디스크립터(requirement descriptors)에 정의될 수 있다. 예컨대, NBMP 시스템에서, 미디어 데이터와 메타데이터 스트림 사이의 관계 정보는, 표 2와 같이 “SubClause 9.6 in CD document for NBMP”에서 규정하는 요구사항 디스크립터 내의 “Media correlation timeline requirements” 파라미터로서 정의될 수 있다. “Media correlation timeline requirements” 파라미터는 복수의 메타데이터 파라미터들(“Correlation metadata schema”, “Correlation metadata stream id”, “Correlation metadata stream location url” 등), 및 메타데이터 스트림과 연관된 미디어 데이터(또는, 미디어 스트림)의 식별자(“Relevant input media stream ids”) 정보를 포함할 수 있다.
Figure pat00002
워크플로우 매니저는 미디어 데이터와 메타데이터 스트림 사이의 관계 정보에 기초하여 워크플로우를 구성하고, 미디어 데이터 및 이와 연관된 메타데이터 스트림을 미디어 프로세싱 엔티티(20)로 전송할 수 있다. 그 결과, 미디어 데이터와 시간 동기화된 메타데이터 스트림을 탐색하기 위한 별도의 파싱 작업을 생략할 수 있으므로, 연산량을 감소시켜 컴퓨팅 리소스 사용을 최적화할 수 있다.
미디어 프로세싱 엔티티(20)는 미디어 데이터를 어플리케이션 프로그래밍 인터페이스(APIs)를 통해 미디어 소스 엔티티(10) 및/또는 다른 미디어 프로세싱 엔티티(20a)와 데이터를 교환할 수 있다.
미디어 프로세싱 엔티티(20)는 프로세싱된 미디어 데이터를 제2 포맷으로 변환하여 미디어 싱크 엔티티(30)로 전송할 수 있다. 일부 예에서, 제2 포맷은 퍼블리쉬(publish) 포맷으로 지칭될 수 있으며, CMAF, DASH, MPU, HLS, MPEG-2 TS 등을 포함할 수 있다. 또한, 일부 예에서, 미디어 프로세싱 엔티티(20)는 다운로드, DASH, MMT 등과 같은 전송 수단을 이용하여 미디어 데이터를 미디어 싱크 엔티티(30)로 전송할 수 있다.
미디어 싱크 엔티티(30)는 미디어 프로세싱 엔티티(20)로부터 전송된 미디어 데이터를 소비하는 개체를 포함할 수 있다. 예컨대, 미디어 싱크 엔티티(30)는 미디어 데이터 재생 장치 등을 포함할 수 있다.
도 2는 본 발명의 일 실시예에 따른 미디어 데이터 프로세싱 방법에서 딜레이 파라미터를 적용하는 방법을 설명하기 위한 도면이다.
설명의 편의를 위해 도 2를 도 1과 함께 참조하면, 워크플로우 매니저는 미디어 데이터를 프로세싱하기 위해 제1 내지 제3 태스크들(Task1-Task3)을 생성할 수 있다. 워크플로우 매니저는 미디어 프로세싱 엔티티(20)와는 별도의 개체로서 구현될 수 있으며, “Create Task API”를 통해 제1 내지 제3 태스크들(Task1-Task3)을 순차적으로 생성할 수 있다. 워크플로우 매니저는 제1 내지 제3 태스크들(Task1-Task3)을 이용하여 워크플로우를 구성할 수 있다.
미디어 프로세싱 엔티티(20)는 시작시간 정보(Start time) 및 딜레이 파라미터를 이용하여 제1 내지 제3 태스크들(Task1-Task3)을 실행할 수 있다. 딜레이 파라미터는 워크플로우에 대한 엔드-투-엔드 딜레이 파라미터(Delay for Workflow), 각각의 태스크에 대한 딜레이 파라미터(Delay for tasks) 및 리소스 실행시간 파라미터(Execution time)를 포함할 수 있다.
NBMP 시스템에서, 시작시간 정보는 프로세싱 디스크립터에 정의되고, 딜레이 파라미터는 요구사항 디스크립터에 정의될 수 있다. 또한, NBMP 시스템에서, 리소스 실행시간 파라미터는 일반 디스크립터(general descriptor)에 정의될 수 있다.
미디어 데이터를 프로세싱하기 위해 복수의 태스크들을 실행하는 경우, 딜레이 파라미터를 적용하기 위해 태스크를 특정해야 하므로 연산량이 증가하는 문제가 있다.
이와 같은 문제를 해결하기 위하여, 본 발명의 일 실시예에 따른 미디어 데이터 프로세싱 방법에 따르면, 미디어 프로세싱 엔티티(20)는 워크플로우 및 태스크 별로 딜레이 디스크립터에 정의되는 복수의 딜레이 파라미터들을 이용하여 복수의 태스크들을 실행할 수 있다.
예컨대, NBMP 시스템에서, 제1 내지 제3 딜레이 파라미터들이 표 3과 같이 딜레이 디스크립터에 각각 정의될 수 있다. 표 3을 참조하면, 제1 파라미터(number 타입의 “delay” 파라미터)는 태스크 식별자 정보를 포함하지 않으며, 워크플로우에 대한 엔드-투-엔드 딜레이 정보를 포함할 수 있다. 제2 파라미터(string 및 number 타입의 “delay” 파라미터)는 태스크 식별자 정보(“Task_id”)를 포함하며, 각각의 태스크의 딜레이 정보를 포함할 수 있다. 또한, 제3 파라미터(string 및 number 타입의 “starting_delay” 파라미터)는 태스크 식별자 정보(“Task_id”)를 포함하며, 각각의 태스크의 시작 딜레이 정보를 포함할 수 있다.
Figure pat00003
미디어 프로세싱 엔티티(20)는, 태스크 식별자 정보를 포함하지 않는 제1 딜레이 파라미터(number 타입의 “delay” 파라미터)를 이용하여 워크플로우에 대해 엔드-투-엔드 딜레이를 적용할 수 있다. 또한, 미디어 프로세싱 엔티티(20)는 태스크 식별자 정보를 포함하는 제2 및 제3 딜레이 파라미터들(string 및 number 타입의 “delay” 파라미터, string 및 number 타입의 “starting_delay” 파라미터)을 이용하여 각각의 태스크에 대해 딜레이를 적용할 수 있다.
이와 같이, 본 발명의 일 실시예에 따른 미디어 데이터 프로세싱 방법에 따르면, 태스크 식별자 정보를 포함하고 디스크립터에 정의되는 복수의 딜레이 파라미터들을 이용하여 복수의 태스크들을 실행함으로써, 컴퓨팅 리소스 사용을 최적화할 수 있다.
이하, 도 3 내지 도 5를 참조하여, 본 발명의 일 실시예에 따른 미디어 데이터 프로세싱 방법을 상세하게 설명하기로 한다.
도 3은 본 발명의 일 실시예에 따른 미디어 데이터 프로세싱 방법을 나타낸 흐름도이다.
설명의 편의를 위해 도 3을 도 1과 함께 참조하면, 단계 S310에서, 워크플로우 매니저는 미디어 소스 엔티티(10)로부터 미디어 데이터를 수신할 수 있다. 일부 예에서, 워크플로우 매니저는 미디어 소스 엔티티(10) 및 미디어 프로세싱 엔티티(20)와는 별도의 개체로 구현될 수 있다.
단계 S320에서, 워크플로우 매니저는 미디어 데이터와 메타데이터 스트림 사이의 관계 정보를 이용하여 미디어 데이터의 프로세싱에 필요한 메타데이터를 획득할 수 있다.
일 실시예에서, 미디어 데이터와 메타데이터 스트림 사이의 관계 정보는 입력 디스크립터(input descriptor) 및 요구사항 디스크립터(requirement descriptor) 중 어느 하나에 정의될 수 있다.
일 실시예에서, 미디어 데이터와 메타데이터 스트림 사이의 관계 정보는 메타데이터 스트림과 연관된 미디어 데이터의 식별자 정보를 포함할 수 있다.
단계 S330에서, 워크플로우 매니저는 획득된 메타데이터를 이용하여 하나 이상의 태스크들을 포함하는 워크플로우를 생성할 수 있다. 그리고, 미디어 프로세싱 엔티티(20)는 워크플로우의 하나 이상의 태스크들을 실행함으로써 미디어 데이터를 프로세싱할 수 있다. 그리고, 미디어 프로세싱 엔티티(20)는 프로세싱된 미디어 데이터를 미디어 싱크 엔티티(30)로 전송할 수 있다.
도 4는 본 발명의 일 실시예에 따른 미디어 데이터 프로세싱 방법을 나타낸 흐름도이다.
설명의 편의를 위해 도 4를 도 1과 함께 참조하면, 단계 S410에서, 워크플로우 매니저는 미디어 소스 엔티티(10)로부터 미디어 데이터를 수신할 수 있다. 일부 예에서, 워크플로우 매니저는 미디어 소스 엔티티(10) 및 미디어 프로세싱 엔티티(20)와는 별도의 개체로 구현될 수 있다.
단계 S420에서, 미디어 프로세싱 엔티티(20)는 워크플로우 매니저에 의해 생성되는 워크플로우 및 복수의 태스크들의 딜레이 정보를 획득할 수 있다.
일 실시예에서, 딜레이 정보는 워크플로우에 적용되는 제1 딜레이 파라미터와 복수의 태스크들 각각에 적용되는 제2 및 제3 딜레이 파라미터로들부터 획득될 수 있다.
일 실시예에서, 제1 내지 제3 딜레이 파라미터들은 딜레이 디스크립터(delay descriptor)에 정의될 수 있다.
일 실시예에서, 제1 딜레이 파라미터는 워크플로우의 엔드-투-엔드(end-to-end) 딜레이 정보를 포함할 수 있다. 또한, 제2 및 제3 딜레이 파라미터들은 복수의 태스크들 중 적어도 하나의 식별자 정보를 포함할 수 있다.
단계 S430에서, 미디어 프로세싱 엔티티(20)는 딜레이 정보를 이용하여 워크플로우의 복수의 태스크들을 실행함으로써 미디어 데이터를 프로세싱할 수 있다. 그리고, 미디어 프로세싱 엔티티(20)는 프로세싱된 미디어 데이터를 미디어 싱크 엔티티(30)로 전송할 수 있다.
도 5는 본 발명의 일 실시예에 따른 미디어 데이터 프로세싱 방법을 나타낸 흐름도이다.
설명의 편의를 위해 도 5를 도 1과 함께 참조하면, 단계 S510에서, 워크플로우 매니저는 미디어 소스 엔티티(10)로부터 미디어 데이터를 수신할 수 있다. 일부 예에서, 워크플로우 매니저는 미디어 소스 엔티티(10) 및 미디어 프로세싱 엔티티(20)와는 별도의 개체로 구현될 수 있다.
단계 S520에서, 워크플로우 매니저는 미디어 데이터와 메타데이터 스트림 사이의 관계 정보를 이용하여 미디어 데이터의 프로세싱에 필요한 메타데이터를 획득할 수 있다.
미디어 데이터와 메타데이터 스트림 사이의 관계 정보는 제1 디스크립터에 정의될 수 있다. 일 실시예에서, 제1 디스크립터는 입력 디스크립터(input descriptor) 및 요구사항 디스크립터(requirement descriptor) 중 어느 하나일 수 있다. 또한, 미디어 데이터와 메타데이터 스트림 사이의 관계 정보는 메타데이터 스트림과 연관된 미디어 데이터의 식별자 정보를 포함할 수 있다. 미디어 데이터와 메타데이터 스트림 사이의 관계 정보의 구체적인 일 예는 표 1 및 표 2를 참조하여 전술한 바와 같다.
단계 S530에서, 미디어 프로세싱 엔티티(20)는 미디어 데이터 및 메타데이터에 기초하여 생성되는 워크플로우 및 복수의 태스크들에 대한 딜레이 정보를 획득할 수 있다.
워크플로우 및 복수의 태스크들에 대한 딜레이 정보는 제2 디스크립터에 복수의 딜레이 파라미터들로 정의될 수 있다. 일 실시예에서, 제2 디스크립터는 딜레이 디스크립터(delay descriptor)일 수 있다.
일 실시예에서, 복수의 딜레이 파라미터들은 워크플로우의 엔드-투-엔드(end-to-end) 딜레이 정보를 포함하는 제1 딜레이 파라미터를 포함할 수 있다. 또한, 복수의 딜레이 파라미터들은 복수의 태스크들 중 적어도 하나의 식별자 정보 및 컴퓨팅 리소스 관리를 위한 딜레이 요구사항 정보를 포함하는 제2 딜레이 파라미터를 포함할 수 있다. 또한, 복수의 딜레이 파라미터들은 복수의 태스크들 중 적어도 하나의 식별자 정보 및 시작 딜레이 정보를 포함하는 제3 딜레이 파라미터를 포함할 수 있다. 복수의 딜레이 파라미터들의 구체적인 일 예는 표 3을 참조하여 전술한 바와 같다.
미디어 프로세싱 엔티티(20)는 미디어 데이터 및 메타데이터에 기초하여 생성되는 워크플로우의 복수의 태스크들을 복수의 딜레이 파라미터를 이용하여 실행함으로써, 미디어 데이터를 프로세싱할 수 있다. 그리고, 미디어 프로세싱 엔티티(20)는 프로세싱된 미디어 데이터를 미디어 싱크 엔티티(30)로 전송할 수 있다.
상술한 실시예들에서, 방법들은 일련의 단계 또는 유닛으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
상술한 실시예들은 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 프로세싱을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며,본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허 청구 범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.
1: 미디어 데이터 시스템
10: 미디어 소스 엔티티 20, 20a: 미디어 프로세싱 엔티티
30: 미디어 싱크 엔티티
21: 컨트롤 기능 블록 23: 프로세싱 기능 블록

Claims (1)

  1. 미디어 데이터를 수신하는 단계;
    상기 미디어 데이터와 메타데이터 스트림 사이의 관계 정보를 이용하여 상기 미디어 데이터에 대한 메타데이터를 획득하는 단계; 및
    상기 미디어 데이터 및 상기 메타데이터에 기초하여 생성되는 워크플로우의 복수의 태스크들을 복수의 딜레이 파라미터들을 이용하여 실행함으로써, 상기 미디어 데이터를 프로세싱하는 단계를 포함하되,
    상기 관계 정보는, 상기 미디어 데이터의 식별자 정보를 포함하고 제1 디스크립터에 정의되며,
    상기 복수의 딜레이 파라미터들은, 상기 복수의 태스크들 중 적어도 하나의 식별자 정보를 포함하고 제2 디스크립터에 정의되는
    미디어 데이터 프로세싱 방법.
KR1020200082077A 2019-07-04 2020-07-03 미디어 데이터 프로세싱 방법 및 장치 KR20210004877A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190080819 2019-07-04
KR20190080819 2019-07-04

Publications (1)

Publication Number Publication Date
KR20210004877A true KR20210004877A (ko) 2021-01-13

Family

ID=74142692

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200082077A KR20210004877A (ko) 2019-07-04 2020-07-03 미디어 데이터 프로세싱 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20210004877A (ko)

Similar Documents

Publication Publication Date Title
US10911789B2 (en) Automatic failover for live video streaming
US11537562B2 (en) Auxiliary manifest file to provide timed metadata
JP5897134B2 (ja) モバイルマルチメディアリアルタイムトランスコーディングシステム、装置、記憶媒体、および方法
KR102009124B1 (ko) 이벤트 스트리밍 프레젠테이션 확립
US10484737B2 (en) Methods and systems for instantaneous asynchronous media sharing
US10114689B1 (en) Dynamic playlist generation
KR102330088B1 (ko) 매니페스트 속성을 이용하여 미디어 자산을 필터링하는 시스템
US20050021590A1 (en) Resolving a distributed topology to stream data
US20240163464A1 (en) Dynamic decoder configuration for live transcoding
US10880353B2 (en) Systems and methods for cloud storage direct streaming
CN113661692B (zh) 接收媒体数据的方法、装置和非易失性计算机可读存储介质
CN113767639A (zh) 基于http的动态自适应流传输的方法和装置
EP3177026B1 (en) Reception device, reception method, transmission device, and transmission method
US20220167043A1 (en) Method and system for playing streaming content
KR20210004877A (ko) 미디어 데이터 프로세싱 방법 및 장치
JP2017527161A (ja) クラウドストリーミング基盤放送連動型サービスシステム、放送連動型サービスクライアント装置、トリガーコンテンツ提供サーバー及びこれを利用した方法
Heinzl et al. A scalable service-oriented architecture for multimedia analysis, synthesis and consumption
US20230038275A1 (en) Techniques for Providing a Content Stream Based on a Delivered Stream of Content
EP3419294B1 (en) Imaging apparatus, processing method for imaging apparatus, and storage medium
KR102153554B1 (ko) 미디어 데이터의 처리를 위한 mmt 장치 및 방법
US20240086451A1 (en) Information processing apparatus, reception apparatus, information processing method, and storage medium
JP2017143475A (ja) 配信管理装置、受信装置、分散処理システム、及びプログラム
KR102432376B1 (ko) 콘텐츠 재생 방법 및 시스템
US10320873B1 (en) Newsroom production system with syndication feature
JP6555030B2 (ja) 情報機器