KR20180107671A

KR20180107671A - 복수의 비디오 부호화기의 동기화 방법

Info

Publication number: KR20180107671A
Application number: KR1020170036343A
Authority: KR
Inventors: 김현철; 서정일; 석주명; 안상우; 양승준; 이인재; 임성용; 조용주
Original assignee: 한국전자통신연구원
Priority date: 2017-03-22
Filing date: 2017-03-22
Publication date: 2018-10-02

Abstract

복수의 비디오 부호화기의 동기화 방법이 개시된다. 본 개시의 일 실시 예에 따른 복수의 비디오 부호화기의 동기화 방법은 복수의 비디오 부호화기에 테스트 영상을 동시에 입력하는 단계, 상기 복수의 비디오 부호화기에서 부호화된 각각의 테스트 영상을 비교하여 동기화되어 있는지 여부를 판단하는 단계, 및 동기화되지 않은 경우, 상기 복수의 비디오 부호화기의 타임스탬프를 보정하는 단계를 포함하고, 상기 복수의 비디오 부호화기의 타임스탬프를 보정하는 단계는 상기 복수의 비디오 부호화기 중 가장 지연이 긴 비디오 부호화기를 기준으로 타임 스탬프를 보정하는 것을 특징으로 할 수 있다.

Description

복수의 비디오 부호화기의 동기화 방법 {SYNCHRONIZING METHOD FOR A PLURALITY OF VIDEO ENCODERS}

본 개시는 복수의 비디오 부호화기의 동기화 방법에 관한 것으로, 보다 구체적으로 영상을 공간적으로 분할하여 병렬 부호화를 수행하는 복수의 비디오 부호화기의 타임스탬프를 보정하여 동기를 맞추는 동기화 방법에 관한 것이다.

360도 VR(Virtual Reality)이나 UWV(Ultra Wide Vision)와 같은 고품질의 광시야각 서비스를 위해 고해상도 영상이 사용된다.

해상도가 높은 영상을 실시간으로 부호화해야 할 경우, 부호화의 복잡도 및 부호화기의 성능 문제 때문에 여러 대의 부호화기로 병렬처리를 해야 하는 경우가 발생한다.

즉, 하나의 고해상도 영상을 여러 개의 영상으로 분할하여 부호화기로 입력하는데, 분할된 영상을 같은 시점에 입력시키더라도 부호화기 동작 시점의 오차로 인해 동기가 어긋날 수 있다.

이렇게 동기가 어긋날 경우, 이를 인지하고 동기를 맞추는 방법이 필요하다.

본 개시의 기술적 과제는 영상을 공간적으로 분할하여 병렬 부호화를 수행하는 복수의 비디오 부호화기의 동기를 맞추는 동기화 방법을 제공하는 것이다.

본 개시에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 개시의 일 양상에 따르면, 영상을 공간적으로 분할하여 병렬 부호화를 수행하는 복수의 비디오 부호화기의 동기화 방법은, 복수의 비디오 부호화기에 테스트 영상을 동시에 입력하는 단계; 상기 복수의 비디오 부호화기에서 부호화된 각각의 테스트 영상을 비교하여 동기화되어 있는지 여부를 판단하는 단계; 및 동기화되지 않는 경우, 상기 복수의 비디오 부호화기의 타임스탬프를 보정하는 단계를 포함하고, 상기 복수의 비디오 부호화기의 타임스탬프를 보정하는 단계는 상기 복수의 비디오 부호화기 중 가장 지연이 긴 비디오 부호화기를 기준으로 타임 스탬프를 보정할 수 있다.

본 개시에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 개시의 상세한 설명의 예시적인 양상일 뿐이며, 본 개시의 범위를 제한하는 것은 아니다.

본 개시에 따르면, 고해상도 영상을 다수의 부호화기로 병렬 부호화할 때 발생할 수 있는 동기의 어긋남을 효과적으로 인지하고 보정함으로써, 공간적으로 어긋남 없는 고해상도 영상 서비스를 제공할 수 있다.

본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 개시의 일 실시 예에 따른 복수의 부호화기의 동기화 방법을 설명하기 위한 흐름도이다.
도 2는 본 개시의 일 실시 예에 따른 복수의 부호화기를 포함하는 부호화 시스템을 설명하기 위한 도면이다.
도 3은 본 개시의 일 실시 예에 따른 복수의 부호화기의 동기 오류를 설명하기 위한 도면이다.
도 4는 본 개시의 일 실시 예에 따른 복수의 부호화기의 동기 오류 발생시 타임스탬프를 설명하기 위한 도면이다.

이하에서는 첨부한 도면을 참고로 하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.

본 개시의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 개시에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본 개시에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결관계뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

본 개시에 있어서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 개시의 범위 내에서 일 실시 예에서의 제1 구성요소는 다른 실시 예에서 제2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시 예에서의 제2 구성요소를 다른 실시 예에서 제1 구성요소라고 칭할 수도 있다.

본 개시에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시 예도 본 개시의 범위에 포함된다.

본 개시에 있어서, 다양한 실시 예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시 예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시 예도 본 개시의 범위에 포함된다. 또한, 다양한 실시 예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시 예도 본 개시의 범위에 포함된다.

이하, 첨부한 도면을 참조하여 본 개시의 실시 예들에 대해서 설명한다.

도 1은 본 개시의 일 실시 예에 따른 복수의 부호화기의 동기화 방법을 설명하기 위한 흐름도이다.

도 1을 참고하면, 복수의 부호화기의 동기화 방법은 S110 ~ S130 단계를 수행함으로써 실행될 수 있다.

S110 단계에서는 복수의 비디오 부호화기에 테스트 영상을 동시에 입력할 수 있다. 여기서, 테스트 영상은 기 설정된 프레임으로 구성된 영상일 수 있으며, 프레임 수는 어플리케이션에 따라 다르게 구현될 수 있다.

S120 단계에서는 복수의 비디오 부호화기에서 부호화된 각각의 테스트 영상을 비교하여 동기화되어 있는지 여부를 판단할 수 있다. 구체적으로, S110 단계에서 복수의 비디오 부호화기에 입력된 테스트 영상의 디코딩 결과를 서로 비교하여 동기화되어 있는지 여부를 판단할 수 있다.

동기화되어 있는지 여부를 판단하는 방법에 대한 구체적인 설명은 도 3 및 도 4의 설명과 함께 후술하도록 한다.

한편, 복수의 비디오 부호화기가 동기화되지 않은 것으로 판단되는 경우 (S120-아니오), S130 단계를 수행할 수 있다.

S130 단계에서는 복수의 비디오 부호화기의 타임스탬프를 보정할 수 있다. 구체적으로, 복수의 비디오 부호화기 중 가장 지연이 긴 비디오 부호화기의 타임 스탬프를 기준으로 각 비디오 부호화기의 타임스탬프를 보정할 수 있다.

여기서, 타임스탬프는 각 비디오 부호화기에서 부호화된 영상의 프레임마다 할당되는 정보로, 부호화되어 출력되는 시간을 기준으로 동일한 타임스탬프가 할당될 수 있다. 비디오 복호화기에서는 타임스탬프를 기준으로 각 영상을 복호화할 수 있다.

한편, 본 발명의 일 실시 예에 따른 비디오 부호화기의 타임스탬프를 보정하는 일 실시 예는 아래와 같다. 우선, 복수의 부호화기는 제1 부호화기, 제2 부호화기 및 제3 부호화기로 구성되어 있고, 제1 부호화기 내지 제3 부호화기에서 출력되는 테스트 영상의 프레임과 타임스탬프는 도 4와 같다고 가정한다.

도 4를 참고하면, 제1 부호화기 및 제2 부호화기에서 출력된 영상은 m 프레임에서부터 타임스탬프가 할당되어 있으나, 제3 부호화기에서 출력된 영상은 m+1 프레임부터 타임스탬프가 할당되어 있다. 이는, 제3 부호화기의 처리 또는 입력이 지연되어 동기가 어긋나 있다라고 판단할 수 있다.

이와 같은 경우에, 아래의 수학식 1 내지 수학식 6을 이용하여 비디오 부호화기의 타임스탬프를 보정할 수 있다.

여기서, T1, T2 및 T3 는 제1 부호화기, 제2 부호화기 및 제3 부호화기의 동일한 부호화 결과에 할당되는 타임스탬프이다. 즉, 동일한 프레임의 영상에 대한 타임스탬프를 의미할 수 있다.

그리고, D1, D2 및 D3는 제1 부호화기, 제2 부호화기 및 제3 부호화기에 적용되는 보정 계수이고, min(a,b,c) 함수는 a,b,c 중 가작 작은 값을 선택하는 함수이다.

그리고, T1', T2' 및 T3' 는 제1 부호화기, 제2 부호화기 및 제3 부호화기의 동일한 프레임의 영상에 대한 보정된 타임스탬프이다.

수학식 1 내지 수학식 6을 도 4의 경우에 대입하면, m+1 프레임에 대하여 T1 = 3000, T2 = 3000, T3 = 0이고, D1 = 3000, D2 = 3000, D3 = 0이다.

그리고, T1'= 0, T2'= 0 및 T3'= 0 이다.

여기서, 제1 부호화기 및 제2 부호화기의 타임스탬프를 3000(D1, D2)만큼 감소시키는 보정을 수행하였다. 이와 같은 타임스탬프의 보정을 수행함으로써, 제1 부호화기 및 제2 부호화기는 제3 부호화기와 동일한 프레임의 영상에 대해 동일한 타임스탬프를 할당하여 동기를 맞출 수 있다.

즉, 동일한 프레임의 영상에 대한 타임스탬프가 가장 작은 제3 부호화기가 제일 지연이 긴 부호화기이고, 제3 부호화기의 타임스탬프를 기준으로 다른 부호화기의 타임스탬프를 보정하여 동기를 맞출 수 있다.

한편, S130 단계와 같이 비디오 부호화기의 타임스탬프를 보정하는 방법 이외에도 복수의 비디오 부호화기를 재시작 한 후, 다시 동기화 되었는지 판단하는 방법으로 동기를 맞출 수 있다.

S110 단계 ~ S130 단계를 수행하여 복수의 부호화기의 동기를 맞춘 뒤, 공간적으로 분할된 분할 영상 각각을 복수의 부호화기에 입력하여 병렬 부호화를 수행할 수 있다.

도 2는 본 개시의 일 실시 예에 따른 복수의 부호화기를 포함하는 부호화 시스템을 설명하기 위한 도면이다.

본 발명의 일 실시 예에 따른 부호화 시스템(200)은 분배기(220), 복수의 부호화기(231, 232, 233) 및 다중화기(240)를 포함할 수 있다.

분배기(220)는 입력 영상(201)을 1번 영역, 2번 영역 및 3번 영역으로 분할하여 각각의 부호화기(231, 232, 233)에 동시에 입력할 수 있다.

복수의 부호화기(231, 232, 233)는 입력된 각각의 영역 영상을 부호화한 후 다중화기(240)으로 출력할 수 있다.

다중화기(240)는 복수의 부호화기(231, 232, 233)에서 부호화된 각각의 영역 영상에 대해 동일한 타임스탬프를 할당하여 다중화할 수 있다. 여기서, 타임스탬프는 각 비디오 부호화기에서 부호화된 영상의 프레임마다 할당되는 정보로, 다중화기(240)는 부호화되어 출력되는 시간을 기준으로 동일한 타임스탬프가 할당될 수 있다.

각각의 부호화된 영역 영상이 다중화되어 복호화기 또는 복호화 시스템에 전달되어 각각 복호화되고 재생될 수 있다. 이때, 영상의 타임스탬프에 따라 각 영상을 복호화 및 재생함으로써 동기가 맞게 재생할 수 있다.

한편, 각 부호화기에서 다중화기(240)로 전달되는 영상들이 어긋나 있어 동일하지 않은 프레임의 영상들이 동시에 전달되는 경우, 다중화기(240)는 하나의 프레임의 분할된 영역임에도 서로 다른 타임스탬프를 할당하게 된다. 이러한 경우, 복호화기는 동일한 프레임을 동시에 디코딩 또는 재생하지 못하는 문제가 발생할 수 있다. 이에 대한 일 예는 도 3를 참고하여 설명하도록 한다.

도 3을 참고하면, 실시간 입력되는 영상의 부호화와 관련하여, 부호화기가 준비되기 전의 영상 프레임은 무시되고, 부호화기가 준비되어 부호화를 처리하기 시작한 시점의 영상 프레임부터 부호화가 시작될 수 있다. m 번째 프레임의 영상이 입력되기 직전에 3개의 부호화기에 동시에 부호화 명령이 내려진 경우, 부호화 시스템의 처리 시간에 의해서 실제 데이터를 처리하는 시간은 미세하게 차이 날 수 있다. 만약, 도 3처럼 m번째 프레임이 입력될 때 부호화기 1 및 부호화기 2가 영상 데이터를 부호화하기 시작하고, 부호화기 3은 m+1번째 프레임이 입력될 때 영상 데이터를 부호화하기 시작하면, 부호화기 3은 부호화기 1 및 부호화기 2와 1 프레임 어긋나게 부호화를 시작하게 된다. 이에 따라, 다중화기에서는 m번째 프레임의 1번 영역, m번째 프레임의 2번 영역, m+1번째 프레임의 3번 영역에 동일한 타임스탬프를 할당하게 되므로 3번 영역은 항상 1 프레임 느리게 재생되는 문제가 발생할 수 있다.

따라서, 다중화기(240)는 도 1에서 설명한 것과 같이 복수의 부호화기(231, 232, 233)의 동기를 확인하고, 복수의 부호화기의 타임스탬프를 보정하여 동일한 프레임의 영역 영상에 동일한 타임스탬프를 할당시킬 수 있다.

이상, 도 1 내지 도 4을 참고하여 복수의 부호화기의 동기화 방법에 대해 설명하였다.

본 발명의 일 실시 예에 따른 복수의 부호화기의 동기화 방법은 고해상도 영상을 다수의 부호화기로 병렬 부호화할 때 발생할 수 있는 동기의 어긋남을 효과적으로 인지하고 보정함으로써, 공간적으로 어긋남 없는 고해상도 영상 서비스를 제공할 수 있다.

한편, 본 개시의 일 양상에 따르면 복수의 부호화기의 동기화 방법을 수행하기 위해 실행가능한 명령들(executable instructions)을 가지는 소프트웨어 또는 컴퓨터-판독가능한 매체(computer-readable medium)가 제공될 수 있다. 상기 실행가능한 명령들은, 복수의 비디오 부호화기에 테스트 영상을 동시에 입력하는 명령, 부호화된 각각의 영상을 비교하여 동기화되어 있는지 판단하는 명령 및 동기화되지 않은 경우, 상기 복수의 비디오 부호화기의 타임스탬프를 보정하는 명령일 수 있다.

본 개시의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 개시에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.

본 개시의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.

또한, 본 개시의 다양한 실시 예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.

본 개시의 범위는 다양한 실시 예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.

Claims

영상을 공간적으로 분할하여 병렬 부호화를 수행하는 복수의 비디오 부호화기의 동기화 방법에 있어서,
복수의 비디오 부호화기에 테스트 영상을 동시에 입력하는 단계;
상기 복수의 비디오 부호화기에서 부호화된 각각의 테스트 영상을 비교하여 동기화되어 있는지 여부를 판단하는 단계; 및
동기화되지 않은 경우, 상기 복수의 비디오 부호화기의 타임스탬프를 보정하는 단계를 포함하고,
상기 복수의 비디오 부호화기의 타임스탬프를 보정하는 단계는 상기 복수의 비디오 부호화기 중 가장 지연이 긴 비디오 부호화기를 기준으로 타임 스탬프를 보정하는 것을 특징으로 하는 복수의 비디오 부호화기의 동기화 방법.