KR20230053243A - 분산형 병렬 인코딩 방법 및 장치 - Google Patents

분산형 병렬 인코딩 방법 및 장치 Download PDF

Info

Publication number
KR20230053243A
KR20230053243A KR1020210136556A KR20210136556A KR20230053243A KR 20230053243 A KR20230053243 A KR 20230053243A KR 1020210136556 A KR1020210136556 A KR 1020210136556A KR 20210136556 A KR20210136556 A KR 20210136556A KR 20230053243 A KR20230053243 A KR 20230053243A
Authority
KR
South Korea
Prior art keywords
video content
encoding
data chunk
quality
data
Prior art date
Application number
KR1020210136556A
Other languages
English (en)
Inventor
박성수
문정미
김재일
황태승
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020210136556A priority Critical patent/KR20230053243A/ko
Publication of KR20230053243A publication Critical patent/KR20230053243A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

분산형 병렬 인코딩 방법 및 장치를 개시한다.
본 발명의 일 측면에 의하면, 적어도 하나의 컴퓨팅 장치에 의해 구현되며, 비디오 콘텐츠를 병렬적으로 인코딩하기 위한 방법에 있어서, 비디오 콘텐츠에 대한 초기 인코딩 프로파일을 획득하는 과정, 상기 비디오 콘텐츠로부터 분할된 복수의 데이터 청크를 복수의 인코더에 할당함으로써, 상기 복수의 데이터 청크를 상기 초기 인코딩 프로파일에 기초하여 병렬적으로 인코딩하는 과정, 각 인코딩된 데이터 청크의 품질에 기초하여, 상기 복수의 데이터 청크 중 다시 인코딩할 적어도 하나의 데이터 청크를 결정하는 과정, 상기 적어도 하나의 데이터 청크를 다시 인코딩하는 과정, 및 복수의 인코딩된 데이터 청크를 병합하는 과정을 포함하는 방법을 제공한다.

Description

분산형 병렬 인코딩 방법 및 장치{Device and Method for Performing Distributed Parallel-Encoding}
본 발명의 실시예들은 분산 인코딩 방법 및 장치에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 발명에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
최근 주문형 비디오(Video On Demand, VOD) 시스템 및 실시간 스트리밍 서비스와 같은 미디어 서비스가 확대되고 있다.
미디어 서비스를 제공하는 시스템에서 서버는 사용자의 요청에 따라 미디어 콘텐츠를 압축하고, 압축된 미디어 콘텐츠를 사용자 단말에 제공한다. 사용자 단말은 압축된 미디어 콘텐츠로부터 원본 미디어 콘텐츠를 복원한다.
일반적으로, 미디어 콘텐츠를 관리하는 서버 외에 별도의 인코딩 서버를 두어 MPEG2 또는 H.264와 같은 압축 알고리즘을 미디어 콘텐츠에 적용하고 있다. 특히, 미디어 콘텐츠 중 비디오 콘텐츠에 관한 인코딩 및 디코딩은 많은 연산 자원을 소모하므로, 종래에는 고성능을 갖춘 하나의 전용 서버에 하나의 미디어 콘텐츠를 할당하여 인코딩하였다.
하지만, 트랜스코딩을 수행하는 전용 서버와 콘텐츠를 1:1로 매핑하는 시스템에서는 고화질의 VOD 서비스나 실시간 스트리밍 서비스를 제공하는 데 한계가 있다. 즉, 종래의 시스템에서는 인코딩 및 디코딩을 수행하는 데 소요되는 시간의 증가로 원활한 서비스를 제공하지 못하는 문제점이 있다.
나아가, 다양한 환경에 있는 사용자들에게 일관된 품질의 미디어 서비스에 대한 수요가 증가하고 있다. 이러한 수요를 충족시키기 위해서는, 각 사용자의 환경을 고려하여 원본 미디어 콘텐츠를 압축할 필요가 있다. 즉, 사용자 단말의 성능, 디스플레이 정보, 네트워크 상태, 서비스 시나리오 등 다양한 환경을 고려하여 미디어 콘텐츠를 트랜스코딩(transcoding)할 필요가 있다.
여기서, 트랜스코딩은 원본 미디어 콘텐츠를 사용자의 환경에 맞도록 다른 포맷(format)으로 변환하거나, 원본 미디어 콘텐츠의 해상도, 프레임 레이트(frame rate), 비트레이트(bitrate) 등을 변경하는 것을 의미한다. 즉, 트랜스코딩은 제작자에 의해 만들어진 비디오 데이터와 오디오 데이터를 사용자가 시청할 수 있는 형태로 변환하는 과정을 의미한다.
이처럼, 트랜스코딩을 수행하는 전용 서버와 콘텐츠를 1:1로 매핑하는 시스템에서는 사용자들의 다양한 환경과 고품질의 미디어 서비스를 제공하는 데 한계가 있다.
본 발명의 실시예들은, 비디오 콘텐츠를 복수의 데이터 청크(chunk)로 분할하고 복수의 인코더에 할당하여 분할된 비디오 콘텐츠를 병렬적으로 인코딩하기 위한 방법 및 장치를 제공하는 데 주된 목적이 있다.
본 발명의 다른 실시예들은, 양자화 파라미터가 아니라 각 인코더에 의해 인코딩된 데이터 청크들의 품질을 기준으로 인코딩 프로파일을 갱신하여 다시 인코딩함으로써, 비디오 콘텐츠의 품질을 개선하기 위한 방법 및 장치를 제공하는 데 일 목적이 있다.
본 발명의 다른 실시예들은, 복수의 데이터 청크에 동일한 초기 인코딩 프로파일을 적용하되, 각 인코딩된 데이터 청크의 품질에 기초하여 인코딩 프로파일을 갱신하고, 비디오 콘텐츠를 구간별로 다시 인코딩함으로써, 비디오 콘텐츠의 품질을 적응적으로 개선하기 위한 방법 및 장치를 제공하는 데 일 목적이 있다.
본 발명의 다른 실시예들은, 인코딩 장치는 비디오 콘텐츠로부터 분할된 데이터 청크들 간 경계에서 품질 차이를 감소시켜 부자연스러운 영상 재생을 방지하기 위한 방법 및 장치를 제공하는 데 일 목적이 있다.
본 발명의 일 측면에 의하면, 적어도 하나의 컴퓨팅 장치에 의해 구현되며, 비디오 콘텐츠를 병렬적으로 인코딩하기 위한 방법에 있어서, 비디오 콘텐츠에 대한 초기 인코딩 프로파일을 획득하는 과정, 상기 비디오 콘텐츠로부터 분할된 복수의 데이터 청크를 복수의 인코더에 할당함으로써, 상기 복수의 데이터 청크를 상기 초기 인코딩 프로파일에 기초하여 병렬적으로 인코딩하는 과정, 각 인코딩된 데이터 청크의 품질에 기초하여, 상기 복수의 데이터 청크 중 다시 인코딩할 적어도 하나의 데이터 청크를 결정하는 과정, 상기 적어도 하나의 데이터 청크를 다시 인코딩하는 과정, 및 복수의 인코딩된 데이터 청크를 병합하는 과정을 포함하는 방법을 제공한다.
본 실시예의 다른 측면에 의하면, 명령어들을 저장하는 메모리, 및 적어도 하나의 프로세서를 포함하되, 상기 적어도 하나의 프로세서는 상기 명령어들을 실행함으로써, 비디오 콘텐츠에 대한 초기 인코딩 프로파일을 획득하고, 상기 비디오 콘텐츠로부터 분할된 복수의 데이터 청크를 복수의 인코더에 할당함으로써, 상기 복수의 데이터 청크를 상기 초기 인코딩 프로파일에 기초하여 병렬적으로 인코딩하고, 각 인코딩된 데이터 청크의 품질에 기초하여, 상기 복수의 데이터 청크 중 다시 인코딩할 적어도 하나의 데이터 청크를 결정하고, 상기 적어도 하나의 데이터 청크를 다시 인코딩하고, 복수의 인코딩된 데이터 청크를 병합하는 장치를 제공한다.
이상에서 설명한 바와 같이 본 발명의 일 실시예에 의하면, 비디오 콘텐츠를 복수의 데이터 청크로 분할하고 복수의 인코더에 할당하여 분할된 비디오 콘텐츠를 병렬적으로 인코딩함으로써, 인코딩에 소요되는 시간을 줄일 수 있다.
본 발명의 다른 실시예에 의하면, 각 인코더에 의해 인코딩된 데이터 청크들의 품질이 품질 기준에 미달되는 경우, 인코딩 프로파일s을 갱신하여 다시 인코딩함으로써, 비디오 콘텐츠의 품질을 개선할 수 있다.
본 발명의 다른 실시예에 의하면, 복수의 데이터 청크에 동일한 초기 인코딩 프로파일을 적용하되, 각 인코딩된 데이터 청크의 품질이 품질 기준에 미달되는 경우, 인코딩 프로파일을 갱신하고, 비디오 콘텐츠를 구간별로 다시 인코딩함으로써, 비디오 콘텐츠의 품질을 적응적으로 개선할 수 있다.
본 발명의 다른 실시예에 의하면, 인코딩 장치는 비디오 콘텐츠로부터 분할된 데이터 청크들 간 경계에서 품질 차이를 감소시켜 부자연스러운 영상 재생을 방지하고, 영상의 자연스러운 재생을 통해 사용자에게 만족감을 줄 수 있다.
도 1은 본 발명의 일 실시예에 따른 트랜스코딩 과정을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 트랜스코딩 시스템의 구성을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 분산형 병렬 트랜스코딩 시스템을 나타낸 구성도다.
도 4는 본 발명의 일 실시예에 따른 병렬 트랜스코딩 과정을 도시한 순서도다.
도 5는 본 발명의 일 실시예에 따른 분석부의 동작 과정을 나타낸 순서도다.
도 6은 본 발명의 일 실시예에 따른 트랜스코딩부의 동작 과정을 나타낸 순서도다.
도 7은 본 발명의 일 실시예에 따른 병합부의 동작 과정을 나타낸 순서도다.
도 8은 본 발명의 일 실시예에 따른 제어부의 동작 과정을 나타낸 순서도다.
도 9는 본 발명의 일 실시예에 따른 타이틀 단위 인코딩 과정을 나타낸 순서도다.
도 10은 본 발명의 일 실시예에 따른 분산형 병렬 인코딩 방법에 있어서 타이틀 단위 인코딩 과정을 나타낸 순서도다.
도 11은 본 발명의 일 실시예에 따른 인코딩 과정을 나타낸 순서도다. 도 12는 본 발명의 일 실시예에 따른 영상 품질 곡선을 나타낸 그래프다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면 상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 '포함', '구비'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 '~부', '모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1은 본 발명의 일 실시예에 따른 트랜스코딩 과정을 나타낸 도면이다.
도 1을 참조하면, 디멀티플렉서(de-multiplexer, 100), 비디오 트랜스코더(110), 오디오 트랜스코더(120) 및 멀티플렉서(multiplexer, 130)가 도시되어 있다. 도 1에 도시된 구성들은 클라우드 컴퓨팅 환경인 클라우드 서버에 포함될 수 있다.
입력 영상은 비디오 콘텐츠 및 오디오 콘텐츠를 포함하는 데이터이며, 인코딩된 상태로 수신된다. 입력 영상은 디멀티플렉서(100)에 입력되어 비디오 콘텐츠와 오디오 콘텐츠로 나뉘어진다. 비디오 콘텐츠는 비디오 트랜스코더(110)에 입력되고, 오디오 콘텐츠는 오디오 트랜스코더(120)에 입력된다.
입력된 비디오 콘텐츠는 인코딩된 상태이므로, 비디오 트랜스코더(110)는 디코더를 이용하여 인코딩된 비디오 콘텐츠를 디코딩한다. 비디오 트랜스코더(110)는 디코딩된 비디오 콘텐츠를 사용자 단말의 환경 및 네트워크 상태를 고려하여 인코딩 파라미터들을 설정한다. 예를 들면, 사용자 단말의 성능, 디스플레이 환경, 네트워크 상태, 서비스 시나리오 등을 고려하여, 비디오 트랜스코더(110)는 입력 영상의 코덱을 다른 종류의 코덱으로 변환하거나 해상도, 입력 영상의 프레임 레이트(frame rate), 비트레이트(bitrate), 파일 포맷, 미디어 컨테이너 등을 변경하여 인코딩 파라미터들을 설정할 수 있다. 여기서, 프레임은 비디오 콘텐츠를 구성하는 이미지 또는 이미지의 표현으로서, 픽처(picture)와 혼용될 수 있다. 비디오 트랜스코더(110)는 설정된 인코딩 파라미터들 및 인코더를 이용하여 디코딩된 비디오 콘텐츠를 인코딩한다.
비디오 콘텐츠와 마찬가지로, 오디오 콘텐츠는 오디오 트랜스코더(120)에 의해 디코딩 된 후 다시 인코딩된다.
인코딩된 비디오 콘텐츠 및 인코딩된 오디오 콘텐츠는 멀티플렉서(130)에 입력되어 하나의 출력 영상으로 병합된다.
사용자 단말은 서버에 입력되는 입력 영상을 그대로 수신하는 것이 아니라, 사용자 단말의 환경 및 네트워크 상태 등을 고려하여 트랜스코딩된 출력 영상을 수신한다. 이를 통해, 사용자는 사용자 단말에 적합하도록 트랜스코딩된 출력 영상을 시청할 수 있다.
도 2는 본 발명의 일 실시예에 따른 트랜스코딩 시스템의 구성을 나타낸 도면이다.
도 2를 참조하면, 서버(200), 비디오 콘텐츠(202), 서버 비디오 코덱(204), 오디오 콘텐츠(206), 서버 오디오 코덱(208), 컨테이너(210), 사용자 단말(220), 단말 비디오 코덱(212), 단말 오디오 코덱(214), 및 출력 영상(230)이 도시되어 있다.
비디오 콘텐츠(202)는 카메라에 의해 촬영된 비디오 데이터이고, 오디오 콘텐츠(2206)는 마이크에 의해 수집된 오디오 데이터이다. 이하에서, 미디어 콘텐츠는 비디오 콘텐츠(202)와 오디오 콘텐츠(206) 모두를 포함하는 구성으로 지칭된다.
서버(200)는 비디오 콘텐츠(202)를 미리 저장해 놓거나, 네트워크를 통해 실시간으로 수신할 수 있다. 서버(200)는 비디오 코덱(204)을 이용하여 비디오 콘텐츠(202)를 디코딩 및 인코딩한다. 서버(200)는 비디오 콘텐츠(202)를 압축하여 인코딩한다.
여기서, 코덱 종류의 예시로써, 비디오 콘텐츠(202)를 압축하는 데 이용되는 코덱 포맷(format)은 MPEG(Moving Picture Experts Group)에서 표준화한 MPEG-1, MPEG-2, MPEG-4, MPEG-7, MPEG-21 등이 있다. 이러한 코덱 포맷은 2차원 공간 상에서 중복되는 픽셀을 제거함으로써, 비디오 콘텐츠(202)를 압축한다. 이를 위해, 시간 축의 화상 신호를 주파수 축으로 변환하는 이산 코사인 변환(Discrete Cosine Transform, DCT)이 적용된다. 또한, 프레임 단위의 압축뿐만 아니라 프레임 간의 연관성을 이용한 압축 방법이 적용된다. 이때, 비디오 시퀀스(sequence)가 갖는 시간 축 상의 중복을 없애기 위해 움직임 보상 방법이 더 적용될 수 있다. 움직임 보상 방법은 2 장의 프레임 메모리를 이용하여 쌍방향 예측을 수행하는 것을 의미한다. 또한, 임의 접근(Random access)를 가능하도록 하기 위해 픽처 그룹(Group of Pictures, GOP) 구조를 이용하여 압축한다.
서버(200)는 오디오 콘텐츠(206)를 미리 저장해 놓거나, 네트워크를 통해 실시간으로 수신할 수 있다. 서버(200)는 오디오 코덱(208)을 이용하여 오디오 콘텐츠(206)를 디코딩 및 인코딩한다. 서버(200)는 오디오 콘텐츠(206)를 압축하여 인코딩한다.
여기서, 오디오 코덱은 오디오 콘텐츠의 트랜스코딩을 위해 수정 이산 코사인 변환(Modified Discrete Cosine Transform, MDCT)을 이용할 수 있다. 이때, 맨 앞의 펄스 부호 변조(Pulse-code modulation, PCM) 샘플을 정상적으로 디코딩시키기 위해, 일정 길이의 묶음 샘플을 추가해 인코딩할 수 있다. 즉, 오디오 콘텐츠는 비디오 콘텐츠와 연동되어 인코딩될 수 있다.
서버(200)는 인코딩된 비디오 콘텐츠와 인코딩된 오디오 콘텐츠를 합쳐 컨테이너(210)를 생성한다.
컨테이너(210)는 비디오 콘텐츠(202) 또는 오디오 콘텐츠(206)에 관한 콘텐츠 정보 및 세부 정보를 포함한다. 콘텐츠 정보는 비디오 콘텐츠(202)의 영상 데이터 또는 오디오 콘텐츠(206)의 음성 데이터를 포함한다. 세부 정보는 코덱(codec) 정보, 비트레이트, 프레임 레이트, 오디오 트랙, 오디오 채널 정보, 촬영 날짜, 촬영 위치, 스트림의 개수, 미디어 콘텐츠의 재생 시간의 길이, 스트림 위치 정보, 또는 그 외 메타 데이터 등을 포함한다.
컨테이너(210)는 인코딩된 미디어 콘텐츠를 스트림 형태로 포함하며, 서버(200)로부터 사용자 단말(220)에게 전송된다.
사용자 단말(220)은 컨테이너(210)를 수신하고, 단말 비디오 코덱(222) 및 단말 오디오 코덱(224)을 이용하여 인코딩된 미디어 콘텐츠를 디코딩한다. 사용자 단말(220)은 디코딩을 통해 디코딩된 비디오 콘텐츠 및 디코딩된 오디오 콘텐츠를 획득한다. 사용자 단말(220)은 디코딩된 비디오 콘텐츠 및 디코딩된 오디오 콘텐츠로부터 사용자가 시청할 수 있는 출력 영상(230)을 생성하고, 사용자에게 제공한다.
한편, 서버(200)가 단일 서버인 경우, 서버(200)가 비디오 콘텐츠(202) 및 오디오 콘텐츠(206)를 트랜스코딩하는 데 많은 시간이 소요된다. 특히, 서버(200)는 고해상도의 콘텐츠, HDR(High Dynamic Range)과 같은 영상 기술을 처리하는 데 많은 시간을 소모한다.
본 발명의 일 실시예에 의하면, 많은 연산량이 필요한 코덱이 비디오 콘텐츠에 적용되거나 고품질의 비디오 콘텐츠에 대해, 비디오 콘텐츠를 분할하고 복수의 트랜스코더들에 할당하여 병렬 트랜스코딩함으로써, 트랜스코딩에 소요되는 시간을 줄일 수 있다.
도 3은 본 발명의 일 실시예에 따른 분산형 병렬 트랜스코딩 시스템을 나타낸 구성도다.
도 3을 참조하면, 트랜스코딩 시스템(30), 저장부(310), 제어부(320), 분석부(330), 트랜스코딩부(340) 및 병합부(350)가 도시되어 있다.
트랜스코딩 시스템(30)은 복수의 트랜스코더를 위해 병렬 처리 전용 하드웨어 장치, 또는 복수의 소프트웨어 기반 인코더 장치를 구비할 수 있다.
트랜스코딩 시스템(30) 내 구성요소들은 독자적인 메모리와 적어도 하나의 프로세서를 포함할 수 있다. 즉, 트랜스코딩 시스템(30) 내 구성요소들은 개별적인 컴퓨팅 장치일 수 있다.
트랜스코딩 시스템(30) 내 구성요소들은 네트워크를 통해 연결된다. 트랜스코딩 시스템(30) 내 구성요소들은 미디어 데이터, 미디어 데이터에 관한 세부 정보, 또는 제어 신호를 IP(Internet Protocol) 패킷 형태로 전송하거나 수신한다. 이를 위해, 각 구성요소들은 통신 모듈을 포함할 수 있다.
한편, 사용자 단말은 트랜스코딩 시스템(30)으로부터 인코딩된 비디오 콘텐츠를 수신한다. 사용자 단말은 디코더를 구비한 전자 기기일 수 있다. 예를 들면, 사용자 단말은 스마트폰(smart phone), 휴대폰, 내비게이션, 컴퓨터, 노트북, 디지털방송용 단말, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 태블릿 PC, 게임 콘솔(game console), 웨어러블 디바이스(wearable device), IoT(internet of things) 디바이스, VR(virtual reality) 디바이스, AR(augmented reality) 디바이스 등에 해당할 수 있다.
여기서, 미디어 데이터는 비디오 콘텐츠를 포함하고, 오디오 콘텐츠를 더 포함할 수 있다. 이하에서는, 비디오 콘텐츠를 기준으로 설명하나, 오디오 콘텐츠는 비디오 콘텐츠와 동일하게 처리될 수 있다.
또한, 미디어 데이터에 관한 세부 정보는 비디오 콘텐츠에 관한 세부 정보 또는 오디오 콘텐츠에 관한 세부 정보를 포함한다. 비디오에 관한 세부 정보는 비디오 콘텐츠의 오프셋 정보, 비디오 코덱 정보, 비디오 비트레이트, 비디오 프레임 레이트(Frame Per Second, FPS), GOP 정보, 전체 재생시간, 해상도, 화면 비율, 평균 비트레이트, 스트림의 개수, 스트림의 위치 정보, 또는 메타 데이터 등을 포함한다. 오디오 콘텐츠에 관한 세부 정보는 오디오 코덱 정보, 오디오 트랙 정보, 오디오 채널 정보, 오디오 비트레이트, 전체 재생시간, 오디오 콘텐츠의 오프셋 정보, 샘플링 레이트, 언어 정보 또는 메타 데이터 등을 포함한다. 제어 신호는 제어부(320)가 트랜스코딩 시스템(30)의 제어를 위해 각 구성요소에 전송하는 신호다.
트랜스코딩 시스템(30)이 수신하는 비디오 콘텐츠는 인코딩된 상태일 수 있다.
이하에서, 비디오 콘텐츠는 복수의 데이터 청크(chunk)로 분할 될 수 있으며, 비디오 콘텐츠의 분할은 물리적 분할이 아니라 논리적 분할을 의미한다. 구체적으로, 트랜스코딩 시스템(30)은 비디오 콘텐츠의 재생 시간을 복수의 시간 구간들로 분할하고, 각 시간 구간의 시작 지점과 종료 지점을 저장한다. 분할된 시간 구간들은 동일한 크기를 가질 수 있다. 트랜스코딩 시스템(30) 내 구성요소들은 비디오 콘텐츠 전부를 로드하는 것이 아니라, 각 시간 구간의 시작 지점과 종료 지점을 이용하여 시간 구간에 해당하는 비디오 콘텐츠 일부를 로드할 수 있다. 이처럼, 비디오 콘텐츠에 대해 각 데이터 청크의 오프셋 정보를 설정하는 것을 논리적 분할이라 하고, 시간 구간별로 분할된 데이터를 데이터 청크라 한다.
저장부(310)는 비디오 콘텐츠 및 비디오 콘텐츠의 병렬 트랜스코딩에 필요한 정보를 저장하도록 구성된다.
구체적으로, 저장부(310)는 비디오 콘텐츠, 비디오 콘텐츠의 세부 정보, 비디오 콘텐츠의 오프셋 정보, 또는 인코딩된 비디오 콘텐츠 등을 저장한다. 또한, 저장부(310)는 오디오 콘텐츠, 오디오 콘텐츠의 세부 정보, 오디오 콘텐츠의 오프셋 정보, 또는 인코딩된 오디오 콘텐츠 등을 저장할 수 있다.
저장부(310)는 비디오 콘텐츠가 업로드되면, 제어부(320)에게 비디오 콘텐츠의 업로드 완료를 통지하거나, 업로드 완료에 따른 이벤트를 통지할 수 있다.
제어부(320)는 병렬 트랜스코딩을 위해 제어 신호를 생성하고, 제어 신호를 각 구성요소들에 전송하도록 구성된다.
제어부(320)는 비디오 콘텐츠에 관한 트랜스코딩 요청을 수신하면, 분석부(330)에 비디오 콘텐츠에 관한 분석 요청을 전송한다. 이때, 분석부(330)는 비디오 콘텐츠를 시간에 따라 복수의 데이터 청크로 분할하기 위한 시간 구간의 경계값인 오프셋 정보를 생성한다.
제어부(320)는 분석 결과에 따라 트랜스코딩 파라미터들을 설정하고, 트랜스코딩부9340)에 트랜스코딩 파라미터들 및 오프셋 정보를 전송한다. 여기서, 트랜스코딩 파라미터들은 디코딩 파라미터들 및 인코딩 파라미터들을 포함한다. 디코딩 파라미터들은 세부 정보에 포함된 정보 중 비디오 콘텐츠의 디코딩에 필요한 파라미터들을 의미한다. 인코딩 파라미터들은 세부 정보에 포함된 정보 중 비디오 콘텐츠의 인코딩에 필요한 파라미터들을 의미한다. 예를 들어, 인코딩 파라미터들은 비디오 코덱 정보, 비디오 비트레이트, 비디오 프레임 레이트(Frame Per Second, FPS), 평균 비트레이트, 스트림의 개수, 스트림의 위치 정보 등을 포함한다.
본 발명의 일 실시예에 의하면, 트랜스코딩 파라미터들은 사용자 단말의 재생 환경 또는 네트워크 상태 중 적어도 하나를 고려하여 설정된다. 이를 위해, 사용자 단말의 재생 환경에 관한 정보를 수신하는 구성 또는 네트워크 상태를 측정하는 구성이 더 이용될 수 있다.
본 발명의 다른 실시예에 의하면, 트랜스코딩 파라미터들은 트랜스코딩된 비디오 콘텐츠에서 키 프레임들 간 시간 간격을 포함한다. 각 트랜스코더들은 인코딩 과정에서 트랜스코딩된 비디오 콘텐츠 내 키 프레임들 간 시간 간격을 고려하여, 키 프레임을 생성한다. 키 프레임들은 영상 재생, 역재생, 건너뛰기 등 재생의 기준점이 된다.
한편, 비디오 콘텐츠는 오프셋 정보에 따라 복수의 데이터 청크로 분할되고, 데이터 청크별로 트랜스코딩된다.
이후, 제어부(320)는 병합부(350)에 트랜스코딩된 데이터 청크들에 대해 병합을 요청한다. 제어부(320)는 트랜스코딩된 비디오 콘텐츠를 저장부(310)에 저장한다.
분석부(330)는 저장부(310)에 저장된 비디오 콘텐츠를 로딩하고, 비디오 콘텐츠에 관한 세부 정보 및 오프셋 정보를 획득하도록 구성된다.
여기서, 오프셋 정보는 비디오 콘텐츠의 재생 시간을 복수의 시간 구간들로 분할하였을 때, 각 시간 구간의 시작 지점과 종료 지점에 관한 정보를 나타낸다. 즉, 오프셋 정보는 비디오 콘텐츠로부터 분할된 복수의 데이터 청크의 경계값이다. 예를 들면, 오프셋 정보는 재생 시간이 30초인 비디오 콘텐츠를 0.5 ms 단위의 시간 구간들로 분할하였을 때, 각 시간 구간의 시작 지점과 종료 지점을 나타낼 수 있다.
본 발명의 일 실시예에 의하면, 분석부(330)는 비디오 콘텐츠를 디코딩하여 디코딩 가능 여부를 확인하고, 비디오 콘텐츠의 세부 정보와 비디오 콘텐츠의 디코딩 결과를 비교함으로써, 비디오 콘텐츠의 오류를 확인한다. 도 4에서 자세히 설명한다.
트랜스코딩부(340)는 복수의 비디오 트랜스코더를 생성하고, 비디오 콘텐츠로부터 분할된 복수의 데이터 청크를 트랜스코더들에 할당하여 병렬 트랜스코딩을 수행한다. 여기서, 복수의 비디오 트랜스코더는 독립적인 프로세서로 구성될 수 있다.
구체적으로, 트랜스코딩부(340)는 비디오 콘텐츠의 재생 시간과 주어진 시간 간격에 따라 분할된 데이터 청크의 개수만큼 비디오 트랜스코더들을 생성한다. 트랜스코딩부(340)는 트랜스코딩 파라미터들과 오프셋 정보를 수신하고, 복수의 비디오 트랜스코더에게 트랜스코딩 파라미터들과 오프셋 정보를 할당한다.
각 비디오 트랜스코더는 할당된 오프셋 정보를 기반으로 비디오 콘텐츠 중 오프셋 정보에 해당하는 시간 구간만큼 데이터 청크를 로드한다. 각 비디오 트랜스코더는 비디오 콘텐츠의 세부 정보에 기초하여 데이터 청크를 디코딩한다. 이후, 각 비디오 트랜스코더는 트랜스코딩 파라미터들을 이용하여 디코딩된 데이터 청크를 인코딩한다.
본 발명의 일 실시예에 의하면, 트랜스코딩부(340)는 트랜스코딩된 데이터 청크의 품질을 평가하고, 트랜스코딩된 데이터 청크의 품질에 따라 디코딩된 데이터 청크에 대한 트랜스코딩 파라미터들을 조정하여 다시 인코딩할 수 있다. 특히, 인코딩 파라미터들을 조정하여 다시 인코딩할 수 있다. 이는 도 6에서 자세히 설명한다.
본 발명의 다른 실시예에 의하면, 트랜스코딩 파라미터들은 트랜스코딩된 비디오 콘텐츠에서 키 프레임들(key frames) 간 시간 간격을 포함한다. 즉, 최종적으로 트랜스코딩된 비디오 콘텐츠가 일정 간격마다 키 프레임을 포함하도록, 각 비디오 트랜스코더는 인코딩을 수행한다. 일정 간격의 키 프레임들은 사용자가 미디어 콘텐츠 시청 중 건너뛰기, 2배속 재생 등의 기능을 가능하게 한다.
한편, 트랜스코딩부(340)는 복수의 오디오 트랜스코더를 이용하여 오디오 콘텐츠를 트랜스코딩할 수 있다. 오디오 콘텐츠의 트랜스코딩은 연산량이 적게 소요되므로, 트랜스코딩부(340)는 오디오 콘텐츠를 전체로서 트랜스코딩하거나 분산형 병렬 트랜스코딩할 수 있다.
트랜스코딩부(340)는 복수의 트랜스코딩된 데이터 청크를 저장부(310)에 저장한다.
병합부(350)는 복수의 트랜스코딩된 데이터 청크를 병합하여 트랜스코딩된 비디오 콘텐츠를 생성하도록 구성된다. 병합부(350)는 오프셋 정보에 기초하여 복수의 트랜스코딩된 데이터 청크의 순서를 판단하고, 복수의 트랜스코딩된 데이터 청크를 순서대로 병합한다. 이때, 각 트랜스코딩된 데이터 청크의 시작 위치에는 키 프레임이 위치한다.
본 발명의 일 실시예에 의하면, 병합부(350)는 트랜스코딩된 비디오 콘텐츠의 길이 정보와 트랜스코딩된 오디오 콘텐츠의 길이 정보를 비교하여, 트랜스코딩된 비디오 콘텐츠의 무결성을 검증할 수 있다. 즉, 두 길이 정보가 일치하지 않는 경우, 병합부(350)는 프레임 손실이나 중복을 탐지할 수 있다. 이는 도 7에서 자세히 설명한다.
도 4는 본 발명의 일 실시예에 따른 병렬 트랜스코딩 과정을 도시한 순서도다.
도 4를 참조하면, 저장부는 비디오 콘텐츠를 입력 받는다(S400).
저장부는 입력 받은 비디오 콘텐츠를 미리 저장해두거나 실시간으로 입력 받을 수 있다.
저장부는 비디오 콘텐츠의 저장이 완료되면, 제어부에게 비디오 콘텐츠 업로드를 통지한다(S402).
저장부는 제어부에게 업로드 통지와 함께 업로드된 비디오 콘텐츠의 식별 정보(identification, ID)를 전송한다. 이 외에, 저장부는 비디오 콘텐츠의 저장이 완료되면 트랜스코딩 요청 이벤트를 생성하여 제어부에게 전송할 수도 있다.
제어부는 비디오 콘텐츠의 업로드 통지에 따라 분석부에게 비디오 콘텐츠에 대한 분석을 요청한다(S404).
제어부는 분석부에게 비디오 콘텐츠의 ID와 분석 요청을 전송한다.
분석부는 비디오 콘텐츠의 ID를 이용하여 저장부로부터 비디오 콘텐츠를 로컬 저장소에 로드한다(S406).
분석부는 비디오 콘텐츠의 ID를 포함하는 URL(Uniform Resource Locator) 정보를 이용하여 저장부 내 비디오 콘텐츠의 위치를 식별할 수 있다. 분석부는 인코딩된 상태의 비디오 콘텐츠를 로컬 저장소로 불러온다.
분석부는 로드된 비디오 콘텐츠에 대해 오류 검사를 수행하고, 비디오 콘텐츠를 복수의 데이터 청크로 분할한다(S408).
분석부는 비디오 콘텐츠의 재생 시간을 기 설정된 시간 간격으로 분할하여 비디오 콘텐츠를 복수의 데이터 청크로 분할할 수 있다. 분석부는 각 시간 간격에 대한 시작 지점과 종료 지점을 해당 데이터 청크의 오프셋 정보로 저장한다. 또한, 분석부는 비디오 콘텐츠의 세부 정보를 추출할 수 있다.
분석부는 비디오 콘텐츠의 세부 정보, 오류 검사 결과 및 오프셋 정보와 함께 제어부에게 비디오 콘텐츠에 대한 분석 완료를 통지한다(S408).
제어부는 데이터 청크의 수에 따라 트랜스코더들의 식별 정보(identification, ID)를 생성한다(S412).
제어부는 트랜스코딩부에게 트랜스코딩을 요청한다(S414).
제어부는 복수의 데이터 청크에 대한 오프셋 정보와 트랜스코딩 파라미터들을 트랜스코딩부에게 전송한다.
트랜스코딩부는 트랜스코딩 요청에 따라 저장부로부터 데이터 청크들을 로드한다(S416).
트랜스코딩부는 복수의 데이터 청크들의 수에 따라 트랜스코더들을 생성하고, 트랜스코더들에 연산 자원을 할당하며, 트랜스코더들, 오프셋 정보 및 트랜스코딩 파라미터들을 이용하여 복수의 데이터 청크들을 병렬 트랜스코딩한다(S418). 각 트랜스코더는 할당된 오프셋 정보에 해당하는 데이터 청크를 트랜스코딩한다.
본 발명의 일 실시예에 의하면, 각 트랜스코더는 할당된 데이터 청크를 트랜스코딩하되, 트랜스코딩된 데이터 청크의 품질을 평가하고, 품질 기준에 못 미치는 데이터 청크에 대해서는 다시 인코딩을 수행한다. 이때, 인코딩 파라미터를 변경하여 인코딩을 수행할 수 있다.
트랜스코딩부는 데이터 청크들에 대한 트랜스코딩 완료 후 제어부에게 트랜스코딩 완료를 통지한다(S420).
트랜스코딩부는 트랜스코딩된 데이터 청크들을 저장부에 저장한다(S422).
제어부는 트랜스코딩된 데이터 청크들을 병합하도록 병합부에게 병합을 요청한다(S424).
병합부는 병합 요청에 따라 저장부로부터 트랜스코딩된 데이터 청크들을 로드한다(S426).
병합부는 트랜스코딩된 데이터 청크들을 메모리로 로드하고, 병합한다(S428).
구체적으로, 병합부는 트랜스코딩된 데이터 청크들의 키 프레임을 이용하여 순서대로 병합함으로써, 트랜스코딩된 비디오 콘텐츠를 생성할 수 있다.
병합부는 제어부에게 병합 완료를 통지한다(S430).
병합부는 저장부에 트랜스코딩된 비디오 콘텐츠를 저장한다(S432).
한편, 트랜스코딩 시스템은 비디오 콘텐츠에 대한 트랜스코딩 과정을 오디오 콘텐츠에 동일하게 적용할 수 있다. 다만, 오디오 콘텐츠의 트랜스코딩 연산량은 비디오 콘텐츠보다 적으므로, 트랜스코딩 시스템은 오디오 콘텐츠를 한번에 트랜스코딩할 수도 있고, 비디오 콘텐츠에 대한 데이터 청크의 크기의 정수배만큼 분할하여 병렬 트랜스코딩할 수도 있다.
도 5는 본 발명의 일 실시예에 따른 분석부의 동작 과정을 나타낸 순서도다.
도 5를 참조하면, 분석부는 제어부로부터 비디오 콘텐츠에 대한 분석 요청을 수신한다(S500).
분석 요청은 분석 대상이 되는 비디오 콘텐츠의 ID를 URL 형식으로 포함할 수 있다. 분석부는 URL을 이용하여 저장부에 저장된 비디오 콘텐츠에 접근할 수 있다.
분석부는 저장부에서 비디오 콘텐츠를 분석부 내 로컬 저장소에 복사한다(S502).
분석부는 비디오 콘텐츠의 세부 정보를 추출하고, 데이터 청크들의 오프셋 정보를 생성한다(S504).
구체적으로, 분석부는 비디오 콘텐츠의 오류 검사 및 제어부의 인코딩 파라미터 설정을 위해 비디오 콘텐츠의 세부 정보를 추출할 수 있다.
분석부는 비디오 콘텐츠를 시간에 따라 복수의 데이터 청크로 분할할 수 있다. 분석부는 비디오 콘텐츠의 재생 시간을 기 설정된 시간 간격으로 분할하여 비디오 콘텐츠를 복수의 데이터 청크로 분할할 수 있다. 반면, 분석부는 비디오 콘텐츠의 복잡도 등을 고려하여 시간 간격을 가변적으로 설정할 수도 있다.
분석부는 각 시간 간격에 대한 시작 지점과 종료 지점을 해당 데이터 청크의 오프셋 정보로 저장한다. 즉, 각 시간 간격에 대한 시작 지점과 종료 지점은 데이터 청크의 시작 지점과 종료 지점일 수 있다. 구체적으로, 분석부는 비디오 콘텐츠에 포함된 프레임들을 디코딩한다. 디코딩 중인 현재 프레임이 다음 데이터 청크의 시작 지점에 가장 인접한 프레임일 경우, 분석부는 현재 프레임을 다음 데이터 청크의 시작 지점으로 설정하고, 현재 프레임을 현재 데이터 청크의 종료 지점으로 설정한다.
분석부는 비디오 콘텐츠를 프레임 단위로 디코딩한다(S506).
저장부에 저장된 비디오 콘텐츠는 인코딩된 상태로 저장되므로, 분석부는 비디오 콘텐츠의 키 프레임을 탐색하고, 키 프레임을 기준으로 프레임 단위로 디코딩한다.
분석부는 디코딩 중 프레임의 오류 여부를 판단한다(S508).
구체적으로, 본 발명의 일 실시예에 의하면, 분석부는 비디오 콘텐츠에 대한 디코딩을 시도하고, 디코딩 가능 여부를 확인함으로써, 비디오 콘텐츠에 대한 제1 오류를 검사한다. 한편, 분석부는 비디오 콘텐츠의 세부 정보와 디코딩된 비디오 콘텐츠가 일치하는지 여부를 통해 비디오 콘텐츠에 대한 제2 오류를 검사한다. 이 외에도, 분석부는 비디오 콘텐츠의 신택스(syntax) 오류를 검사함으로써, 제3 오류를 검사할 수 있다.
비디오 콘텐츠의 프레임이 오류를 포함하는 것으로 판단한 경우, 분석부는 비디오 콘텐츠에 대한 오류를 제어부에게 통지한다(S510).
비디오 콘텐츠의 프레임이 오류를 포함하지 않은 것으로 판단한 경우, 분석부는 비디오 콘텐츠의 마지막 프레임인지 여부를 판단한다(S512).
현재 프레임이 비디오 콘텐츠의 마지막 프레임이 아닌 경우, 분석부는 비디오 콘텐츠의 현재 재생 시간이 데이터 청크의 오프셋 경계값 여부인지 여부를 판단한다(S514).
디코딩 중인 현재 프레임이 다음 데이터 청크의 시작 지점에 가장 인접한 프레임일 경우, 분석부는 현재 프레임을 다음 데이터 청크의 시작 지점으로 설정하고, 현재 프레임을 현재 데이터 청크의 종료 지점으로 설정한다(S516).
디코딩 중인 현재 프레임이 다음 데이터 청크의 시작 지점에 가장 인접한 프레임이 아닐 경우, 분석부는 다음 프레임을 디코딩한다.
한편, 현재 프레임이 비디오 콘텐츠의 마지막 프레임인 경우, 분석부는 현재 프레임을 데이터 청크의 종료 지점으로 기록한다(S518).
마지막으로, 분석부는 비디오 콘텐츠의 세부 정보 및 오프셋 정보들을 저장부에 전송한다(S520).
도 6은 본 발명의 일 실시예에 따른 트랜스코딩부의 동작 과정을 나타낸 순서도다.
도 6을 참조하면, 트랜스코딩부는 트랜스코딩 요청을 수신하고, 분석부에 의해 계산된 데이터 청크 수에 따라 트랜스코더를 생성한다(S600).
트랜스코딩 요청은 트랜스코딩 파라미터들과 데이터 청크별 오프셋 정보를 포함한다. 한편, 데이터 청크 수는 비디오 콘텐츠의 재생 시간을 특정 크기의 시간 간격으로 나눔으로써 계산된다.
트랜스코딩부는 트랜스코더마다 오프셋 정보에 따른 데이터 청크를 로딩한다(S602).
구체적으로, 트랜스코딩부는 복수의 데이터 청크를 복수의 트랜스코더에 할당한다. 각 트랜스코더는 할당된 오프셋 정보에 해당되는 비디오 콘텐츠의 일부인 데이터 청크를 로드한다.
트랜스코딩부는 트랜스코딩 요청에 포함된 트랜스코딩 파라미터들을 이용하여 데이터 청크들을 트랜스코딩한다(S604).
데이터 청크들은 트랜스코딩됨으로써, 사용자의 환경 및 네트워크 상태에 적합한 데이터로 변환된다. 복수의 데이터 청크들은 병렬적으로 데이터 청크들을 트랜스코딩함으로써, 단일 트랜스코더 방식에 비해 트랜스코딩에 소요되는 시간을 줄일 수 있다.
트랜스코딩부는 각 트랜스코딩된 데이터 청크에 대해 품질을 평가한다(S606).
트랜스코딩부는 비디오 콘텐츠에 기초하여 각 트랜스코딩된 데이터 청크의 품질을 평가할 수 있다. 구체적으로, 트랜스코딩부는 VMAF(Video Multimethod Assessment Fusion)와 같은 영상 품질 측정 알고리즘을 이용하여 각 트랜스코딩된 데이터 청크의 품질을 평가할 수 있다.
트랜스코딩부는 각 트랜스코딩된 데이터 청크가 품질 기준을 통과하는지 여부를 판단한다(S608).
트랜스코딩된 데이터 청크가 품질 기준에 미달하는 경우, 트랜스코딩부는 데이터 청크의 트랜스코딩 파라미터를 변경한다(S610).
구체적으로, 트랜스코딩된 데이터 청크가 품질 기준에 미달하는 경우, 트랜스코딩부는 해당 트랜스코딩된 데이터 청크에 대응되는 데이터 청크를 타겟 데이터 청크로 식별한다. 즉, 타겟 데이터 청크는 트랜스코딩된 데이터 청크의 트랜스코딩되기 이전의 데이터이다.
트랜스코딩부는 타겟 데이터 청크가 목표하는 품질 기준을 만족하도록 트랜스코딩하기 위한 트랜스코딩 파라미터들의 값을 계산한다. 트랜스코딩부는 타겟 데이터 청크에 대한 트랜스코딩 파라미터를 변경한다. 트랜스코딩부는 타겟 데이터 청크의 트랜스코딩 파라미터를 고품질로 변경할 수 있다. 예를 들면, 트랜스코딩부는 비디오 콘텐츠의 압축 데이터의 분포를 파악하고, 평균 비트레이트를 유지하되, 각 데이터 청크별 인코딩 비트레이트를 조정할 수 있다. 다른 예로써, 트랜스코딩부는 트랜스코딩 파라미터들 중 CRF(Constant Rate Factor) 값을 조정함으로써, 목표 품질을 달성할 수 있다. 트랜스코딩부는 조정된 트랜스코딩 파라미터들을 이용하여 다시 타겟 데이터 청크를 트랜스코딩하고, 품질을 평가한다. 다시 트랜스코딩된 타겟 데이터 청크가 품질 기준을 만족하지 못하는 경우, 트랜스코딩부는 비디오 콘텐츠의 평균 비트레이트를 높여서 다시 트랜스코딩할 수 있다. 이처럼, 트랜스코딩부는 트랜스코딩된 데이터 청크의 품질을 평가하고, 품질에 따라 트랜스코딩 파라미터들을 변경하여 다시 트랜스코딩함으로써, 사용자가 시청하는 비디오 콘텐츠의 품질을 보장할 수 있다.
트랜코딩부는 현재 트랜스코딩된 데이터 청크가 마지막 데이터 청크인지 여부를 판단한다(S612).
현재 트랜스코딩된 데이터 청크가 마지막 데이터 청크가 아닌 경우, 트랜스코딩부는 다음 트랜스코딩된 데이터 청크에 대해 품질을 평가한다.
현재 트랜스코딩된 데이터 청크가 마지막 데이터 청크인 경우, 트랜스코딩부는 각 트랜스코딩된 데이터 청크 및 오프셋 정보를 저장한다(S614).
한편, 트랜스코딩부는 오디오 콘텐츠에 대해 비디오 콘텐츠와 동일한 과정을 수행할 수 있다. 트랜스코딩부는 오디오 콘텐츠를 일체로 트랜스코딩하거나, 복수의 오디오 데이터 청크로 분할하여 병렬 트랜스코딩할 수 있다. 이때, 각 오디오 데이터 청크의 크기는 비디오 데이터 청크의 정수배일 수 있다. 즉, 비디오 콘텐츠와 오디오 콘텐츠 모두 분산 인코딩할 수 있으나, 경우에 따라서는 오디오 콘텐츠는 단일 인코딩으로 처리하고 비디오 콘텐츠만 분산 인코딩으로 처리하는 것 또한 가능하다.
도 7은 본 발명의 일 실시예에 따른 병합부의 동작 과정을 나타낸 순서도다.
먼저, 병합부는 제어부로부터 복수의 트랜스코딩된 데이터 청크에 대한 병합 요청을 수신한다.
도 7을 참조하면, 병합부는 오프셋 정보를 이용하여 복수의 트랜스코딩된 데이터 청크들을 순차적으로 병합한다(S700).
복수의 트랜스코딩된 데이터 청크들이 오프셋 순서대로 병합됨으로써, 트랜스코딩된 비디오 콘텐츠가 생성된다.
병합부는 트랜스코딩된 오디오 콘텐츠를 로드한다(S702).
여기서, 트랜스코딩된 오디오 콘텐츠는 하나의 데이터로 존재할 수도 있고, 복수의 데이터 청크의 형태로 존재할 수도 있다.
병합부는 트랜스코딩된 비디오 콘텐츠의 길이 정보와 오디오 콘텐츠의 길이 정보가 일치하는지 여부를 판단한다(S704).
구체적으로, 병합부는 트랜스코딩된 비디오 콘텐츠의 전체 재생 시간과 트랜스코딩된 오디오 콘텐츠이 전체 재생 시간이 동일한지 판단한다.
트랜스코딩된 비디오 콘텐츠의 길이 정보와 오디오 콘텐츠의 길이 정보가 일치하는 경우, 병합부는 비디오 콘텐츠와 오디오 콘텐츠를 병합한다(S708).
병합부는 트랜스코딩된 비디오 콘텐츠와 트랜스코딩된 오디오 콘텐츠를 세그먼트별로 시간적으로 인터리빙(interleaving)하여 하나의 인코딩 파일로 만들 수 있다.
병합부는 병합된 미디어 콘텐츠를 저장한다(S710).
한편, 트랜스코딩된 비디오 콘텐츠의 길이 정보와 오디오 콘텐츠의 길이 정보가 일치하지 않는 경우, 병합부는 트랜스코딩 오류를 통지한다(S706).
병합부는 트랜스코딩된 비디오 콘텐츠의 트랜스코딩 과정에서 프레임 손실 또는 프레임 중복이 발생한 것으로 판단한다. 즉, 병합부는 트랜스코딩된 비디오 콘텐츠의 무결성이 검증되지 않은 것으로 판단한다. 비디오 콘텐츠의 트랜스코딩이 다시 시도될 수 있다.
도 8은 본 발명의 일 실시예에 따른 제어부의 동작 과정을 나타낸 순서도다.
먼저, 제어부는 저장부로부터 비디오 콘텐츠의 업로드 완료 통지 또는 트랜스코딩 요청 이벤트를 수신한다.
도 8을 참조하면, 제어부는 비디오 콘텐츠에 대한 세부 정보 추출 요청 및 데이터 청크 분할을 분석부에 요청한다(S800).
또한, 제어부는 분석부에 비디오 콘텐츠에 대한 오류 검사를 요청할 수 있다. 분석부의 분석이 완료된 후, 제어부는 분석부로부터 분석 완료를 통지 받는다.
제어부는 비디오 콘텐츠 및 오디오 콘텐츠에 대한 트랜스코딩을 트랜스코딩부에 요청한다(S802).
제어부는 트랜스코딩 요청과 함께 트랜스코딩 파라미터들 및 오프셋 정보를 함께 전송한다.
제어부는 트랜스코딩된 비디오 콘텐츠와 트랜스코딩된 오디오 콘텐츠의 병합을 병합부에 요청한다(S804).
제어부는 트랜스코딩된 미디어 콘텐츠를 스트리밍 서버에 전달한다(S806).
이 외에도, 제어부는 트랜스코딩된 미디어 콘텐츠를 저장용 서버에 전달할 수도 있다.
이하에서, 인코딩 장치는 트랜스코딩 시스템의 일부 구성요소 또는 전체 구성요소들에 의해 구현될 수 있다.
인코딩 장치는 전송 대역폭을 줄이되, 영상의 품질을 유지할 필요가 있다. 인코딩 장치는 같은 품질 범위에서 평균 데이터 전송률을 줄임으로써, 사용자에게 고품질의 영상을 실시간으로 제공할 수 있다.
인코딩 장치가 비디오 콘텐츠의 품질을 관리하기 위한 인코딩 방법으로서, CQP(Constant Quantization Parameter), CRF(Constant Rate Factor), one-pass ABR(Average Bitrate), two-pass ABR, 또는 VBV(Video Buffering Verifier) 등의 방법이 존재한다.
구체적으로, 인코딩 장치는 양자화 파라미터(Quantization Parameter)를 이용하여 비디오 콘텐츠의 압축률과 품질을 조절한다. 인코딩 시스템은 양자화 파라미터를 이용하여 주파수 변환된 계수들의 크기를 줄이거나 제거함으로써, 비디오 콘텐츠의 압축률과 품질을 조절할 수 있다. 양자화 파라미터가 큰 값을 가지는 경우, 압축률이 높으며 품질이 낮다. 반대로, 양자화 파라미터가 작은 값을 가지는 경우, 압축률이 낮으며 품질이 높다.
CQP 방법은 일정한 값의 양자화 파라미터를 이용하는 방법이다. 양자화 파라미터가 일정한 값은 가지는 경우, 비디오 콘텐츠의 복잡도나 움직임에 따라 비트레이트가 변화한다. 여기서, 영상 복잡도란 움직임이 많거나, 조명 변화가 많거나, 등장 인물의 변화가 많은 영상 등과 같이 영상이 포함하고 있는 정보량을 의미한다. CQP 방법에 의하면, 영상의 복잡도가 높거나 영상의 움직임이 많을수록 비트레이트가 높아진다. 반면, 영상의 복잡도가 낮거나 영상의 움직임이 적을수록 비트레이트가 낮아진다.
하지만, CQP 방법과 같이, 모든 장면에서 동일한 양자화 파라미터를 사용하는 것보다 장면의 복잡도에 따라 양자화 파라미터를 조절하는 것이 효율적이다. two-pass ABR 방법, one-pass ABR 방법 및 CRF 방법이 있다.
two-pass ABR 방법은 비디오 콘텐츠의 복잡도를 빠르게 계산하는 단계와 복잡도에 따라 인코딩을 수행하는 단계를 포함하는 방법이다. two-pass ABR 방법은 비디오 콘텐츠에 대해 1차 인코딩을 수행함으로써, 비디오 콘텐츠의 복잡도, 움직임 정보, 비트레이트, FPS 등의 인코딩 정보를 추출한다. 1차 인코딩 단계에서, two-pass ABR 방법은 비디오 콘텐츠에 대한 인터 또는 인트라 예측을 통해 다양한 블록 모드마다 최적의 인코딩 파라미터들을 도출할 수 있다. 이후, two-pass ABR 방법은 추출된 정보를 기반으로 최적의 인코딩 모드를 결정하고, 결정된 인코딩 모드에 따라 2차 인코딩을 수행한다.
one-pass ABR 방법은 초기 구간에서 복잡도를 계산하는 단계와 복잡도에 따라 비트를 배분하고 인코딩하는 단계를 포함하는 방법이다.
CRF 방법은 레이트 제어(rate control)의 한 종류로서, 인코딩된 프레임의 품질에 따라서 비트 배분을 수행하는 방법이다. CRF 방법은 CRF 값에 따른 인코딩 파라미터들을 미리 저장하고, CRF 값을 조절함으로써 비디오 콘텐츠의 품질이 목표 품질에 도달하도록 하는 방법이다. CRF 값은 0과 51 사이의 값을 가질 수 있다. CRF 값이 클수록 압축률이 높다.
two-pass ABR 방법, one-pass ABR 방법, CRF 방법은 매크로블록(macro block), 프레임 또는 세그먼트(segment)별로 비디오 콘텐츠 내 객체들의 움직임 정도와 비디오 콘텐츠의 복잡도에 따라, 비트레이트를 적절히 배분함으로써, 비디오 콘텐츠의 품질을 보장한다.
도 9는 본 발명의 일 실시예에 따른 타이틀 단위 인코딩 과정을 나타낸 순서도다.
타이틀 단위 인코딩(per-title encoding)은 프레임들의 비트레이트를 프레임들의 복잡도에 따라 배분하되, 프레임들의 복잡도를 비디오 콘텐츠의 장르 정보를 기반으로 계산하는 인코딩 방식을 의미한다.
타이틀 단위 인코딩은 사람이 시각적으로 인지할 수 있는 범위를 고려하여 비트레이트, CRF 값 등 인코딩 파라미터를 계산할 수 있다.
구체적으로, 비디오 콘텐츠의 품질은 최대 신호 대 잡음비(Peak Signal-to-Noise Ratio, PSNR)을 기반으로 측정될 수 있다. 비디오 콘텐츠의 PSNR이 높은 값을 가질 때, 비디오 콘텐츠는 높은 품질을 가지는 것으로 측정된다. 또한, 사람은 PSNR이 높은 비디오 콘텐츠일수록 고품질 비디오 콘텐츠로 인지한다. 이때, 비디오 콘텐츠의 PSNR이 소정의 경계값보다 큰 경우, 사람은 품질 차이를 인지하지 못한다. 예를 들면, PSNR이 45 dB 이상인 경우, 사용자는 비디오 콘텐츠의 품질의 개선을 인식하기 어렵다.
비디오 콘텐츠의 PSNR은 비디오 콘텐츠의 장르에 따라 구별될 수 있다. 예를 들면, 액션 장르, 스포츠 장르와 같이 움직임이 많은 비디오 콘텐츠는 높은 비트레이트를 요구한다. 반면, 애니메이션 장르 또는 다큐멘터리 장르는 움직임이 적으므로 상대적으로 낮은 비트레이트를 요구한다.
따라서, 타이틀 단위 인코딩은 비디오 콘텐츠의 장르를 식별하고, 식별된 장르에 따라 비트레이트를 결정할 수 있다. 이를 통해, 타이틀 단위 인코딩은 사용자의 시각적 인지 범위를 고려하여 효율적인 비트레이트를 결정할 수 있다.
도 9를 참조하면, 인코딩 장치는 비디오 콘텐츠의 복잡도를 분석한다(S900).
인코딩 장치는 비디오 콘텐츠의 장르 정보를 추출하고, 장르 정보에 따라 비디오 콘텐츠와 관련된 특성들을 분석하고, 비디오 콘텐츠의 복잡도를 분석할 수 있다. 반면, 인코딩 장치는 비디오 콘텐츠의 장르 정보에 대응되는 복잡도를 미리 계산하고 저장할 수 있다. 인코딩 장치는 비디오 콘텐츠가 입력되면 미리 저장된 복잡도를 구할 수 있다.
인코딩 장치는 비디오 콘텐츠의 복잡도를 기반으로 블록 단위 예측을 통해 인코딩 프로파일을 생성한다(S902).
구체적으로, 인코딩 장치는 비디오 콘텐츠의 FPS, 해상도, 압축률, 다중 프로브 인코딩 등 비디오 콘텐츠와 관련된 특성들을 분석함으로써, 비디오 콘텐츠의 인코딩 프로파일을 생성할 수 있다.
여기서, 인코딩 프로파일은 최대 비트레이트, 평균 비트레이트, 비트레이트, 코덱의 종류, 양자화 파라미터 등 인코딩 파라미터들을 포함한다.
인코딩 장치는 인코딩 프로파일을 인코더에 할당하여, 비디오 콘텐츠를 인코딩한다(S904).
도 10은 본 발명의 일 실시예에 따른 분산형 병렬 인코딩 방법에 있어서 타이틀 단위 인코딩 과정을 나타낸 순서도다.
도 10을 참조하면, 인코딩 장치는 비디오 콘텐츠의 복잡도를 분석한다(S1000).
인코딩 장치는 비디오 콘텐츠의 장르 정보를 추출한다(S1002).
인코딩 장치는 비디오 콘텐츠의 장르 정보를 복수의 인코더들에게 전송한다.
인코딩 장치는 비디오 콘텐츠의 장르 정보를 기반으로 인코딩 프로파일을 생성한다(S1004).
이때, 인코딩 장치는 비디오 콘텐츠의 장르 정보에 대응되도록 인코딩 프로파일을 구비할 수 있다. 인코딩 장치는 복수의 인코딩 프로파일 중에서 비디오 콘텐츠의 장르 정보에 대응되는 인코딩 프로파일을 획득할 수 있다.
한편, 인코딩 장치는 비디오 콘텐츠의 복잡도에 기초하여 인코딩 프로파일을 갱신할 수 있다. 인코딩 장치는 비디오 콘텐츠의 장르 정보를 기반으로 인코딩 프로파일을 획득하더라도, 비디오 콘텐츠의 복잡도에 따라 인코딩 프로파일에 포함된 인코딩 파라미터들을 조정할 수 있다. 예를 들어, 인코딩 프로파일이 움직임이 적은 다큐멘터리 장르에 기반하여 생성되더라도, 비디오 콘텐츠 내 복잡도가 높은 구간이 있는 경우, 인코딩 장치는 해당 구간에 높은 비트레이트를 배분할 수 있다.
인코딩 장치는 비디오 콘텐츠를 시간에 따라 복수의 데이터 청크로 분할한다(S1006).
인코딩 장치는 복수의 데이터 청크를 복수의 인코더 각각에 할당한다.
인코딩 장치는 복수의 인코더를 이용하여 데이터 청크들을 인코딩하며, 인코딩된 데이터 청크가 소정의 품질 기준을 만족하도록 다시 데이터 청크들을 인코딩할 수 있다(S1010).
구체적으로, 인코딩 장치는 복수의 인코더를 이용하여 복수의 데이터 청크를 인코딩한다(S1012).
각 인코더는 각 데이터 청크를 할당 받고, 인코딩 프로파일을 기반으로 할당 받은 데이터 청크를 인코딩한다. 인코딩 장치는 복수의 데이터 청크를 병렬적으로 인코딩함으로써, 인코딩 시간을 줄일 수 있다.
인코딩 장치는 인코딩된 데이터 청크의 품질을 평가한다(S1014).
인코딩 장치는 각 인코딩된 데이터 청크의 품질에 기초하여, 복수의 데이터 청크 중 다시 인코딩할 적어도 하나의 데이터 청크를 결정한다. 구체적으로, 인코딩 장치는 인코딩된 데이터 청크의 품질이 소정의 품질 기준을 만족하지 못하는 경우, 인코딩된 데이터 청크에 대응되는 데이터 청크를 재인코딩 대상으로 결정한다.
인코딩 장치는 결정된 데이터 청크를 할당 받은 인코더의 인코딩 파라미터를 조정한다(S1016).
인코딩 장치는 인코더의 조정된 인코딩 파라미터에 기초하여, 상기 결정된 데이터 청크를 다시 인코딩한다. 인코딩 장치는 인코딩된 데이터 청크가 품질 기준을 만족할 때까지 인코딩 파라미터를 조정하여 재인코딩을 수행한다.
과정 S1010을 통해, 인코딩 장치는 각 인코딩된 데이터 청크가 소정의 품질 기준을 만족하도록 인코딩을 수행할 수 있다.
인코딩 장치는 소정의 품질 기준을 통과한 인코딩된 데이터 청크들을 병합한다(S1020).
인코딩된 데이터 청크들의 병합으로부터 인코딩된 비디오 콘텐츠가 생성된다.
도 11은 본 발명의 일 실시예에 따른 인코딩 과정을 나타낸 순서도다. 도 12는 본 발명의 일 실시예에 따른 영상 품질 곡선을 나타낸 그래프다.
도 11을 참조하면, 인코딩 장치는 비디오 콘텐츠에 대한 초기 인코딩 프로파일을 획득한다(S1100).
여기서, 초기 인코딩 프로파일은 복수의 초기 인코딩 프로파일 중 비디오 콘텐츠의 장르 정보에 대응되는 인코딩 프로파일일 수 있다. 구체적으로, 인코딩 장치는 비디오 콘텐츠의 장르 정보를 추출하고, 복수의 초기 인코딩 프로파일 중에서 비디오 콘텐츠의 장르 정보에 대응되는 초기 인코딩 프로파일을 획득할 수 있다.
한편, 초기 인코딩 프로파일은 장르별 비디오 콘텐츠들에 기초하여 미리 생성되고 저장될 수 있다. 또한, 초기 인코딩 프로파일은 인코딩 과정의 결과를 통해 지속적으로 갱신될 수 있다. 초기 인코딩 프로파일은 통계 데이터에 기초하여 딥러닝 등의 방법을 통해 갱신될 수 있다.
본 발명의 일 실시예에 의하면, 인코딩 장치는 비디오 콘텐츠의 복잡도를 계산하고, 비디오 콘텐츠의 복잡도에 기초하여 초기 인코딩 프로파일을 갱신할 수 있다. 즉, 인코딩 장치는 비디오 콘텐츠의 복잡도를 계산하고, 비디오 콘텐츠의 장르 정보에 대응되는 초기 인코딩 프로파일을 복잡도에 기초하여 적응적으로 갱신할 수 있다. 예를 들면, 인코딩 장치는 액션 장르를 가지는 비디오 콘텐츠의 복잡도를 계산하고, 액션 장르에 대응되는 초기 인코딩 프로파일을 복잡도에 기초하여 갱신할 수 있다.
인코딩 장치는 초기 인코딩 프로파일에 기초하여 비디오 콘텐츠로부터 분할된 데이터 청크들을 병렬적으로 인코딩한다(S1102).
구체적으로, 인코딩 장치는 비디오 콘텐츠를 복수의 데이터 청크로 분할하고, 복수의 데이터 청크를 복수의 인코더에 할당한다. 이때, 인코딩 장치는 복수의 인코더에 초기 인코딩 프로파일을 전송한다. 인코딩 장치는 복수의 인코더를 이용하여 복수의 데이터 청크를 초기 인코딩 프로파일에 기초하여 병렬적으로 인코딩한다.
인코딩 장치는 각 인코딩된 데이터 청크의 품질을 평가한다(S1104).
예를 들어, 인코딩 장치는 각 인코딩된 데이터 청크에 대해 VMAF(Video Multimethod Assessment Fusion)와 같은 영상 품질 측정 알고리즘을 이용하여 각 인코딩된 데이터 청크의 품질을 평가할 수 있다. 다만 VMAF 알고리즘은 일 실시예에 해당하며, 인코딩 장치는 품질을 비교할 수 있는 다양한 알고리즘을 이용할 수 있다.
인코딩 장치는 각 인코딩된 데이터 청크의 품질이 소정의 품질 기준을 만족하는지 여부를 판단한다(S1106).
인코딩 장치는 각 인코딩된 데이터 청크의 품질에 기초하여, 복수의 데이터 청크 중 다시 인코딩할 적어도 하나의 데이터 청크를 결정한다. 구체적으로, 인코딩된 데이터 청크가 품질 기준을 만족하지 못하는 경우, 인코딩 장치는 인코딩된 데이터 청크에 대응하는 데이터 청크를 할당 받은 인코더의 인코딩 프로파일을 갱신할 수 있다. 구체적으로, 인코딩 장치는 인코딩 프로파일에 포함된 CRF 파라미터를 조정할 수 있다.
본 발명의 일 실시예에 의하면, 인코딩 장치는 데이트 청크별로 대응되는 인코더의 인코딩 프로파일을 갱신할 수 있다. 구체적으로, 다시 인코딩할 데이터 청크가 복수인 경우, 인코딩 장치는 다시 인코딩하려는 데이트 청크별로 대응되는 인코더의 인코딩 프로파일을 갱신할 수 있다. 즉, 인코딩 장치는 다시 인코딩하려는 데이터 청크들을 개별적으로 재인코딩할 수 있다. 품질 기준을 만족할 때까지 다시 인코딩함으로써, 인코딩 장치는 비디오 콘텐츠의 전체 품질을 향상시킬 수 있다. 나아가, 데이터 청크들 모두에 대해 동일한 인코딩 프로파일을 적용하는 것이 아니라, 데이터 청크별로 인코딩 프로파일을 갱신함으로써, 인코딩 장치는 비디오 콘텐츠의 전체 품질을 향상시킬 수 있다.
각 인코딩된 데이터 청크의 품질을 판단한 후, 인코딩 장치는 영상 품질 곡선 그래프를 기반으로 인코더의 CRF 파라미터를 조정한다(S1108).
이때, 인코딩 장치는 데이터 청크의 압축률을 낮추는 방향으로 CRF 파라미터를 조정할 수 있다. 즉, 인코딩 장치는 CRF 파라미터 값을 낮은 값으로 조정할 수 있다.
구체적으로, 도 12를 참조하면, CRF 파라미터에 따른 영상 품질을 나타낸 그래프가 도시되어 있다. 구체적으로, CRF 파라미터를 가로 축으로 가지며, VMAF 값을 세로 축으로 가지는 평면 상에 복잡도별 곡선들이 도시되어 있다.
복수의 곡선들은 복잡도를 기준으로 구분된다. 복잡도가 가장 낮은 제1 곡선(1200), 복잡도가 두 번째로 낮은 제2 곡선(1202), 복잡도가 세 번째로 낮은 제3 곡선(1204) 및 복잡도가 가장 높은 제4 곡선(1206)이 도시되어 있다.
일반적으로, 영상 복잡도가 높을수록 영상 품질이 낮다. 또한, CRF 파라미터 값이 클수록 영상 품질이 낮다.
우선, 인코딩 장치는 영상 품질 곡선 그래프를 미리 정의하거나 구비할 수 있다. 구체적으로, 인코딩 장치는 샘플 데이터 청크의 복잡도 및 샘플 인코더의 CRF 값에 따라 인코딩된 샘플 데이터 청크의 품질을 미리 정의한 그래프를 저장해 둘 수 있다. 샘플 데이터 청크의 복잡도 및 샘플 인코더의 CRF 값은 인코딩 장치가 이전에 입력 받은 다양한 비디오 콘텐츠들로부터 획득한 데이터 청크의 복잡도 및 샘플 인코더의 CRF 값 각각의 평균, 가중평균, 이동평균 등을 의미한다. 즉, 인코딩 장치는 이전 비디오 콘텐츠들로부터 영상 품질 곡선 그래프를 미리 생성할 수 있다.
인코딩 장치는 인코딩된 데이터 청크의 품질을 나타내는 VMAF 값을 도출한다. 일 예로서, 도 12에 인코딩된 데이터 청크의 영상 품질 좌표 V1이 도시되어 있다. 인코딩된 데이터 청크는 약 26 값을 가지는 CRF 파라미터에 기초하여 인코딩되었으며, 약 93.5의 VMAF 값을 가진다.
품질 기준이 되는 VMAF 값이 95인 경우, V1에 대응되는 인코딩된 데이터 청크는 품질 기준을 만족하지 못한다.
이때, 인코딩 장치는 영상 품질 곡선을 기반으로, 인코딩된 데이터 청크의 품질이 목표 품질에 대응되도록 인코더의 CRF 파라미터를 조정할 수 있다.
구체적으로, 인코딩 장치는 영상 품질 곡선들 중 상기 인코딩된 데이터 청크의 복잡도에 인접한 두 곡선을 선택한다. 인코딩 장치는 V1에 인접한 제2 곡선(1202) 및 제3 곡선(1204)을 선택한다.
인코딩 장치는 제2 곡선(1202)의 기울기와 제3 곡선(1204)의 기울기에 기초하여, 두 곡선 사이에 위치하는 임시 곡선을 생성할 수 있다. 구체적으로, 인코딩 장치는 제2 곡선(1202)의 기울기와 제3 곡선(1204)의 기울기로부터 평균 기울기를 계산하고, 평균 기울기를 가지는 임시 곡선을 생성할 수 있다.
인코딩 장치는 임시 곡선에 기초하여, CRF 파라미터를 조정할 수 있다. 즉, 인코딩 장치는 임시 곡선 상에 위치한 좌표들 중 품질 기준을 만족하는 좌표를 식별하고, 식별된 좌표에 대응되는 CRF 값을 인코더의 CRF 파라미터로 설정할 수 있다. 식별된 좌표에 대응되는 CRF 값은 품질 기준을 만족하는 CRF 값의 최소값일 수 있다.
인코딩 장치는 조정된 CRF 파라미터에 따라 인코딩 프로파일을 갱신한다(S1110).
조정된 CRF에 따라 양자화 파라미터 값 또는 비트레이트 등 다른 인코딩 파라미터들이 결정되며, 조정된 CRF 파라미터에 따라 인코딩 프로파일이 갱신된다.
인코딩 장치는 갱신된 인코딩 프로파일을 이용하여 데이터 청크를 다시 인코딩할 수 있다. 예를 들면, 인코딩 장치는 23 값을 가지는 CRF 파라미터에 기초하여 V1에 대응되는 데이터 청크를 다시 인코딩할 수 있다.
본 발명의 일 실시예에 의하면, 인코딩 장치는 인코더에 인접한 인코더들에 의해 인코딩된 데이터 청크들의 품질에 기초하여, 인코더의 인코딩 프로파일을 갱신할 수 있다. 품질 기준에 미달하는 인코딩된 데이터 청크가 품질 기준을 만족하고 주변의 인코딩된 데이터 청크들의 품질과 유사하도록, 인코딩 장치는 인코더의 인코딩 프로파일을 갱신할 수 있다. 예를 들어, 인코딩 장치는 인접한 인코더의 VMAF 값을 갖도록 인코더의 CRF 파라미터를 설정함으로써, 인코딩 프로파일을 갱신할 수 있다. 이를 통해, 인코딩 장치는 인코딩된 데이터 청크들 중 인접한 데이터 청크들 간 경계에서 발생하는 품질 차이를 최소화할 수 있다.
최종적으로, 복수의 인코딩된 데이터 청크들이 품질 기준을 만족하는 경우, 인코딩 장치는 인코딩된 데이터 청크들을 병합한다(S1112).
인코딩 장치는 복수의 인코딩된 데이터 청크들을 병합함으로써, 인코딩된 비디오 콘텐츠를 생성할 수 있다. 한편, 인코딩 장치는 복수의 인코딩된 데이터 청크들을 직접 병합하지 않고, 병합 장치에 전송할 수도 있다.
본 발명의 일 실시예에 따른 인코딩 장치는 분산형 병렬 인코딩 시스템에서 비디오 콘텐츠의 전반에 걸쳐 품질을 높게 유지할 수 있다.
특히, 인코딩 장치는 비디오 콘텐츠로부터 분할된 데이터 청크들 간 경계에서 품질 차이가 발생하는 것을 방지할 수 있다. 즉, 인코딩 장치는 데이터 청크들 간 경계에서 부자연스러운 영상 재생을 방지할 수 있다.
이전에 서술된 순서도들에서는 각 순서도 내 과정들을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 발명의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것이다. 다시 말해, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 순서도들에 기재된 순서를 변경하여 실행하거나 하나 이상의 과정을 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 6은 시계열적인 순서로 한정되는 것은 아니다.
한편, 순서도들에 도시된 과정들은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 즉, 이러한 컴퓨터가 읽을 수 있는　기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등의 비일시적인(non-transitory) 매체를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 본 발명의 구성 요소들은 메모리, 프로세서, 논리 회로, 룩-업 테이블(look-up table) 등과 같은 집적 회로 구조를 사용할 수 있다. 이러한 집적 회로 구조는 하나 이상의 마이크로 프로세서 또는 다른 제어 장치의 제어를 통해 본 명세서에 기술 된 각각의 기능을 실행한다. 또한, 본 발명의 구성 요소들은 특정 논리 기능을 수행하기 위한 하나 이상의 실행 가능한 명령을 포함하고 하나 이상의 마이크로 프로세서 또는 다른 제어 장치에 의해 실행되는 프로그램 또는 코드의 일부에 의해 구체적으로 구현될 수 있다. 또한, 본 발명의 구성 요소들은 각각의 기능을 수행하는 중앙 처리 장치(CPU), 마이크로 프로세서 등을 포함하거나 이에 의해 구현될 수 있다. 또한, 본 발명의 구성 요소들은 하나 이상의 프로세서에 의해 실행되는 명령어들을 하나 이상의 메모리에 저장할 수 있다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (11)

  1. 적어도 하나의 컴퓨팅 장치에 의해 구현되며, 비디오 콘텐츠를 병렬적으로 인코딩하기 위한 방법에 있어서,
    비디오 콘텐츠에 대한 초기 인코딩 프로파일을 획득하는 과정;
    상기 비디오 콘텐츠로부터 분할된 복수의 데이터 청크를 복수의 인코더에 할당함으로써, 상기 복수의 데이터 청크를 상기 초기 인코딩 프로파일에 기초하여 병렬적으로 인코딩하는 과정;
    각 인코딩된 데이터 청크의 품질에 기초하여, 상기 복수의 데이터 청크 중 다시 인코딩할 적어도 하나의 데이터 청크를 결정하는 과정;
    상기 적어도 하나의 데이터 청크를 다시 인코딩하는 과정; 및
    복수의 인코딩된 데이터 청크를 병합하는 과정
    을 포함하는 방법.
  2. 제1항에 있어서,
    상기 적어도 하나의 데이터 청크를 다시 인코딩하는 과정은,
    상기 적어도 하나의 데이터 청크를 할당 받은 인코더의 인코딩 프로파일을 갱신하는 과정
    을 포함하는 방법.
  3. 제2항에 있어서,
    상기 인코딩 프로파일을 갱신하는 과정은,
    상기 결정된 데이터 청크가 복수인 경우, 각 결정된 데이트 청크별로 대응되는 인코더의 인코딩 프로파일을 갱신하는 과정
    을 포함하는 방법.
  4. 제2항에 있어서,
    상기 인코딩 프로파일을 갱신하는 과정은,
    상기 인코더에 인접한 인코더들에 의해 인코딩된 데이터 청크들의 품질에 기초하여, 상기 인코더의 인코딩 프로파일을 갱신하는 과정
    을 포함하는 방법.
  5. 제2항에 있어서,
    상기 인코딩 프로파일을 갱신하는 과정은,
    상기 인코딩 프로파일에 포함된 CRF 파라미터를 조정하는 과정
    을 포함하는 방법.
  6. 제5항에 있어서,
    상기 CRF 파라미터를 조정하는 과정은,
    샘플 데이터 청크의 복잡도 및 샘플 인코더의 CRF 값에 따른 인코딩된 샘플 데이터 청크의 품질을 미리 정의한 그래프를 기반으로, 상기 인코더에 의해 인코딩된 데이터 청크의 품질이 목표 품질에 대응되도록 상기 CRF 파라미터를 조정하는 과정
    을 포함하는 방법.
  7. 제6항에 있어서,
    상기 CRF 파라미터를 조정하는 과정은,
    상기 그래프 내 샘플 데이터 청크의 복잡도별로 구분된 곡선들 중 상기 결정된 데이터 청크의 복잡도에 인접한 두 곡선을 선택하는 과정;
    상기 선택된 두 곡선의 기울기에 기초하여, 상기 선택된 두 곡선 사이에 위치하는 임시 곡선을 생성하는 과정;
    상기 임시 곡선에 기초하여, 상기 CRF 파라미터를 조정하는 과정
    을 포함하는 방법.
  8. 제1항에 있어서,
    상기 초기 인코딩 프로파일은,
    복수의 초기 인코딩 프로파일 중 상기 비디오 콘텐츠의 장르 정보에 대응되는 인코딩 프로파일인 것인 방법.
  9. 제1항에 있어서,
    상기 비디오 콘텐츠의 복잡도를 계산하는 과정; 및
    상기 비디오 콘텐츠의 복잡도에 기초하여, 상기 초기 인코딩 프로파일을 갱신하는 과정
    을 더 포함하는 방법.
  10. 명령어들을 저장하는 메모리; 및
    적어도 하나의 프로세서를 포함하되,
    상기 적어도 하나의 프로세서는 상기 명령어들을 실행함으로써,
    비디오 콘텐츠에 대한 초기 인코딩 프로파일을 획득하고,
    상기 비디오 콘텐츠로부터 분할된 복수의 데이터 청크를 복수의 인코더에 할당함으로써, 상기 복수의 데이터 청크를 상기 초기 인코딩 프로파일에 기초하여 병렬적으로 인코딩하고,
    각 인코딩된 데이터 청크의 품질에 기초하여, 상기 복수의 데이터 청크 중 다시 인코딩할 적어도 하나의 데이터 청크를 결정하고,
    상기 적어도 하나의 데이터 청크를 다시 인코딩하고,
    복수의 인코딩된 데이터 청크를 병합하는, 장치.
  11. 제1항 내지 제9항 중 어느 한 항의 방법을 실행하기 위한 컴퓨터 프로그램을 기록한 컴퓨터로 판독 가능한 기록매체.
KR1020210136556A 2021-10-14 2021-10-14 분산형 병렬 인코딩 방법 및 장치 KR20230053243A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210136556A KR20230053243A (ko) 2021-10-14 2021-10-14 분산형 병렬 인코딩 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210136556A KR20230053243A (ko) 2021-10-14 2021-10-14 분산형 병렬 인코딩 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20230053243A true KR20230053243A (ko) 2023-04-21

Family

ID=86098525

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210136556A KR20230053243A (ko) 2021-10-14 2021-10-14 분산형 병렬 인코딩 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20230053243A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102632507B1 (ko) * 2023-06-20 2024-01-31 쿠팡 주식회사 스트리밍 서비스를 위한 비디오 가공 방법 및 그 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102632507B1 (ko) * 2023-06-20 2024-01-31 쿠팡 주식회사 스트리밍 서비스를 위한 비디오 가공 방법 및 그 시스템

Similar Documents

Publication Publication Date Title
JP4786114B2 (ja) 映像をコード化するための方法及び装置
KR101643790B1 (ko) 적응적 비디오 스트리밍용의 가변 비트 레이트 및 동적 해상도를 이용한 다중 비트 레이트 비디오 인코딩
US9800883B2 (en) Parallel video transcoding
TWI511544B (zh) 用於可調適視訊串流之技術
KR101744654B1 (ko) 모션 기반 동적 해상도 다중 비트 레이트 비디오 인코딩
US8351513B2 (en) Intelligent video signal encoding utilizing regions of interest information
US6925120B2 (en) Transcoder for scalable multi-layer constant quality video bitstreams
EP1137289B1 (en) Supplying, generating, converting and reading video content
US20100061448A1 (en) Method and apparatus for transmitting video
CN108810545B (zh) 用于视频编码的方法、装置、计算机可读介质及电子设备
US9219920B2 (en) Image encoding method, image encoding apparatus, and related encoding medium, image decoding method, image decoding apparatus, and related decoding medium
KR20230053243A (ko) 분산형 병렬 인코딩 방법 및 장치
US20140133554A1 (en) Advanced video coding method, apparatus, and storage medium
KR20230053210A (ko) 분산형 병렬 트랜스코딩 방법 및 장치
JP4421734B2 (ja) 符号化データ変換方法，及びデータ記録媒体
Kuhn et al. MPEG-7 transcoding hints for reduced complexity and improved quality
KR20230053229A (ko) 분산형 병렬 트랜스코딩 방법 및 장치
Liu et al. Interface mb-based video content editing transcoding
Moon et al. An Uniformalized Quality Encoding in Cloud Transcoding System
JP4747109B2 (ja) 演算量調整装置
KR100802180B1 (ko) 엠펙-4 비디오 신호의 비트율을 동적인 통신 용량 변화에따라 제어하는 방법
Overmeire et al. Constant quality video coding using video content analysis
KR100944540B1 (ko) 프레임 스키핑을 이용한 부호화 방법 및 장치
CN114745590A (zh) 视频帧编码方法、装置、电子设备及介质
Yuan et al. A mixed scheme to improve subjective quality in low bitrate video