KR20140080569A - 비트스트림 분석 방법 - Google Patents

Abstract

비트스트림 분석 방법이 개시된다. 상기 방법은 복수의 비트스트림을 수신하는 단계, 상기 복수의 비트스트림 간 비교를 수행하는 단계 및 상기 비교 결과를 출력하는 단계를 포함하며, 상기 복수의 비트스트림은 다른 부호화 단위를 가지는 제1 비트스트림 및 제2 비트스트림을 포함하되, 상기 제1 비트스트림의 부호화 단위의 크기가 상기 제2 비트스트림의 부호화 단위의 크기 보다 크며, 상기 비교를 수행하는 단계에서, 상기 제1 비트스트림의 부호화 단위에 상기 제2 비트스트림의 부호화 단위의 집합을 대응시켜 상기 제1 비트스트림과 상기 제2 비트스트림 간 비교를 수행한다.

Description

비트스트림 분석 방법{METHOD FOR VIDEO COMPRESSED BITSTREAM ANALYSIS AND COMPARISON}

본 발명은 부호화된 비트스트림에 관한 것으로, 보다 상세하게는 적어도 두개의 부호화된 비트스트림을 분석하고 비교하는 장치에 관한 것이다.

비디오는 데이터 용량이 많기 때문에 대부분 압축 기술을 이용하여 코딩을 하게 된다. 예를 들어, 송신단에서는 비디오 데이터를 압축 부호화하여 그 결과물인 비트스트림을 전송하고, 수신단에서는 비트스트림을 비디오 데이터 형태로 다시 복호화한다. 이러한 부호화/복호화 장치를 코덱(codec)이라 하며, 부호화 장치와 복호화 장치는 서로 사전에 부호화/복호화 규칙을 공유해야 한다. 이를 위하여 표준을 제정하고, 그 표준에 따라 부호화 및 복호화 한다.

현재까지 MPEG-1, MPEG-2, MPEG-4, H.263 등 여러 개의 비디오 압축 표준들이 제정되어 디지털 미디어 산업 분야에 적용되어 오고 있다. 예를 들어, 현재 지상파 TV 영상 압축 표준으로는 MPEG-2를 사용하고 있으며, DMB(Digital Multimedia Broadcasting)에서는 H.264/AVC(Advanced Video Coding) 압축 표준을 사용하고 있다. 또한, 고해상도 영상을 위해 H.264/AVC 보다 2배 이상의 압축률을 보이는 HEVC(High Efficiency Video Coding) 표준 제정도 진행 중이다.

한편, 비디오 비스트스트림 분석기는 비디오 데이터를 압축하여 부호화한 결과물인 비트스트림을 입력 받아 구문 분석 및 복호화하여, 부호화 관련 정보를 사용자가 해석하기 쉬운 형태로 출력해주는 시스템이다. 이러한 비트스트림 분석기는 여러 표준에 따라 부호화된 비트스트림을 그에 상응하는 각 복호화 표준에 맞추어 비트스트림을 분석해야 한다. 또한, 서로 다른 표준에 따라 부호화/복호화된 비트스트림 간의 비교 분석을 효율적으로 수행할 수 있어야 한다.

대한민국 공개공보 제10-2011-0009576호

본 발명은 다른 기술로 부호화된 비트스트림 간의 비교 및 분석을 수행하여 그 결과를 GUI(Graphic User Interface)를 통해서 효과적으로 제공하는 방법 및 장치를 제공한다.

본 발명은 비트스트림 분석 방법에 관한 것으로, 복수의 비트스트림을 수신하는 단계, 상기 복수의 비트스트림 간 비교를 수행하는 단계 및 상기 비교 결과를 출력하는 단계를 포함하며, 상기 복수의 비트스트림은 다른 부호화 단위를 가지는 제1 비트스트림 및 제2 비트스트림을 포함하되, 상기 제1 비트스트림의 부호화 단위의 크기가 상기 제2 비트스트림의 부호화 단위의 크기 보다 크며, 상기 비교를 수행하는 단계에서, 상기 제1 비트스트림의 부호화 단위에 상기 제2 비트스트림의 부호화 단위의 집합을 대응시켜 상기 제1 비트스트림과 상기 제2 비트스트림 간 비교를 수행한다.

서로 다른 기술로 부호화되어 서로 다른 부호화 단위를 가지는 복수의 비트스트림 간 비교 수행 시, 비교 대상 비트스트림 간 부호화 단위의 크기를 대응시킴으로써 비교 및 분석을 용이하게 할 수 있다. 또한, 계층적 비디오 코덱을 사용하는 경우 계층 간 서로 다른 부호화 기술이 적용된 비트스트림 간의 비교를 가능하게 한다.

도 1은 부호화 장치의 일 실시예에 따른 기본 구성을 나타내는 블록도이다.
도 2는 복호화 장치의 일 실시예에 따른 기본 구성을 나타내는 블록도이다.
도 3은 비트스트림 분석기가 H.264/AVC로 부호화된 비트스트림을 분석하는 분석 단위를 나타낸 일 예이다.
도 4는 비트스트림 분석기가 HEVC로 부호화된 비트스트림을 분석하는 분석 단위를 나타낸 일 예이다.
도 5는 본 발명의 실시예에 따른 여러 종류의 비디오 코덱 기술을 지원하는 비트스트림 분석기에서 복수의 비트스트림을 분석하고 비교하는 방법을 나타낸 순서도이다.
도 6은 본 발명의 일 실시예에 따른 비트스트림 분석기가 서로 다른 부호화 단위를 가지는 비트스트림 간의 부호화 단위를 대응시켜 부호화 정보를 비교하는 화면을 나타낸 도면이다.

이하에서는 첨부한 도면을 참조하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 또한 본 발명은 이하에서 설명하는 실시 예에 한정되지 않으며, 본 발명의 기술적 사상의 범위 내에서 여러 가지 상이한 형태로 적용될 수 있다.

본 명세서에서 설명하는 구성요소는 필요에 따라 이하에서 설명할 구성요소 이외의 것을 포함할 수 있으며, 본 발명에 직접적인 연관이 없는 부분 또는 중복되는 내용에 대해서는 자세한 설명을 생략한다. 또한, 본 명세서에서 설명하는 각 구성요소의 배치는 필요에 따라서 조정이 가능하며, 하나의 구성요소가 다른 구성요소에 포함될 수도 있고 하나의 구성요소가 둘 이상의 구성요소로 세분화 될 수도 있다.

도 1은 부호화 장치의 일 실시예에 따른 기본 구성을 나타내는 블록도이다.

도 1을 참조하면, 부호화 장치(100)는 인터 예측부(110), 인트라 예측부(120), 스위치(125), 감산기(130), 변환부(135), 양자화부(140), 엔트로피 인코딩부(150), 역양자화부(160), 역변환부(170), 가산기(175), 필터부(180) 및 픽처 버퍼(190)를 포함한다.

부호화 장치(100)는 입력 영상에 대해 인트라(intra) 모드 또는 인터(inter) 모드로 부호화를 수행하고 비트스트림(bitstream)을 출력할 수 있다. 인트라 모드인 경우 스위치(125)가 인트라로 전환되고, 인터 모드인 경우 스위치(125)가 인터로 전환된다. 부호화 장치(100)는 입력 영상의 입력 블록에 대한 예측 블록을 생성한 후, 입력 블록과 예측 블록의 차분을 부호화할 수 있다.

인트라 모드인 경우, 인트라 예측부(120)는 현재 블록 주변의 이미 부호화된 블록의 화소값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다.

인터 모드인 경우, 인터 예측부(110)는 움직임 예측 과정에서 픽처 버퍼(190)에 저장되어 있는 참조 영상에서 입력 블록에 대응하는 영역을 찾아 움직임 벡터를 구할 수 있다. 인터 예측부(110)는 움직임 벡터와 픽처 버퍼(190)에 저장되어 있는 참조 영상을 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다.

감산기(130)는 입력 블록과 생성된 예측 블록의 차분에 의해 레지듀얼 블록(residual block)을 생성할 수 있다. 변환부(135)는 레지듀얼 블록에 대해 변환(transform)을 수행하여 변환 계수(transform coefficient)를 출력할 수 있다. 그리고 양자화부(140)는 입력된 변환 계수를 양자화 파라미터에 따라 양자화하여 양자화된 계수(quantized coefficient)를 출력할 수 있다. 엔트로피 부호화부(150)는 양자화부(140)에서 산출된 값들 또는 부호화 과정에서 산출된 부호화 파라미터 값 등을 기초로, 양자화된 계수를 확률 분포에 따라 엔트로피 부호화하여 비트스트림(bitstream)을 출력할 수 있다.

양자화된 계수는 역양자화부(160)에서 역양자화되고 역변환부(170)에서 역변환될 수 있다. 역양자화, 역변환된 계수는 가산기(175)를 통해 예측 블록과 더해지고 복원 블록이 생성될 수 있다.

복원 블록은 필터부(180)를 거치고, 필터부(180)는 디블록킹 필터(deblocking filter), SAO(Sample Adaptive Offset), ALF(Adaptive Loop Filter) 중 적어도 하나 이상을 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 필터부(180)에서는 SAO가 적용된 경우에 ALF를 적용할지를 결정할 수도 있다. 필터부(180)를 거친 복원 블록은 픽처 버퍼(190)에 저장될 수 있다.

도 2는 복호화 장치의 일 실시예에 따른 기본 구성을 나타내는 블록도이다.

도 2를 참조하면, 복호화 장치(200)는 엔트로피 디코딩부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 인터 예측부(250), 필터부(260) 및 픽처 버퍼(270)를 포함한다.

복호화 장치(200)는 부호화 장치에서 출력된 비트스트림을 입력 받아 인트라 모드 또는 인터 모드로 복호화를 수행하고 재구성된 영상, 즉 복원 영상을 출력할 수 있다. 인트라 모드인 경우 스위치가 인트라로 전환되고, 인터 모드인 경우 스위치가 인터로 전환될 수 있다.

복호화 장치(200)는 입력 받은 비트스트림으로부터 복원된 레지듀얼 블록(residual block)을 얻고 예측 블록을 생성한 후 복원된 레지듀얼 블록과 예측 블록을 더하여 재구성된 블록, 즉 복원 블록을 생성할 수 있다.

엔트로피 디코딩부(210)는, 입력된 비트스트림을 확률 분포에 따라 엔트로피 복호화한다. 엔트로피 디코딩에 의해, 양자화된 (변환) 계수가 생성될 수 있다.

양자화된 계수는 역양자화부(220)에서 역양자화되고 역변환부(230)에서 역변환되며, 양자화된 계수가 역양자화/역변환된 결과, 복원된 레지듀얼 블록(residual block)이 생성될 수 있다.

인트라 모드인 경우, 인트라 예측부(240)는 현재 블록 주변의 이미 부호화된 블록의 화소값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다. 인터 모드인 경우, 인터 예측부(250)는 움직임 벡터 및 픽처 버퍼(270)에 저장되어 있는 참조 영상을 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다.

복원된 레지듀얼 블록과 예측 블록은 가산기(255)를 통해 더해지고, 더해진 블록은 필터부(260)를 거친다. 필터부(260)는 디블록킹 필터, SAO, ALF 중 적어도 하나를 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 필터부(260)에서는 SAO가 적용된 경우에 ALF를 적용할지를 결정할 수도 있다. 필터부(260)는 재구성된 영상, 즉 복원 영상을 출력한다. 복원 영상은 픽처 버퍼(270)에 저장되어 화면 간 예측에 사용될 수 있다.

한편, 부호화/복호화는 소정의 크기를 기본 단위로 분할되어 부호화/복호화 과정이 수행된다. 예컨대, H.264/AVC의 경우에는 매크로블록(Macro Block) 단위로 분할되어 부호화/복호화가 수행될 수 있고, HEVC의 경우에는 가장 큰 부호화 크기인 CTB(Coding Tree Block)로부터 쿼드트리(quadtree) 형태로 분할되어 부호화/복호화가 수행될 수 있다. 이때, CTB로부터 쿼드트리 형태로 분할된 CU(Coding Unit)를 기반으로 예측을 위한 기본 단위인 PU(Prediction Unit)와 변환을 위한 기본 단위인 TU(Transform Unit)로 분할될 수 있다.

비트스트림 분석기는 부호화된 비트스트림을 입력 받아 구문 분석 및 복호화하여, 부호화 관련 정보 등 분석 결과를 GUI(Graphic User Interface)를 통해 출력한다. 이때, 비트스트림 분석기는 부호화 단위를 기초로 부호화 정보를 출력한다. 예컨대, H.264/AVC로 부호화된 비트스트림의 경우에는 매크로블록 단위로 부호화 되므로, 매크로블록을 기초로 분석 결과를 제공할 수 있으며, HEVC로 부호화된 비트스트림의 경우에는 CTB로부터 분할된 CU, PU, 또는 TU로 부호화 되므로, 부호화된 크기(CU, PU, TU)에 따라 분석 결과를 제공할 수 있다.

도 3은 비트스트림 분석기가 H.264/AVC로 부호화된 비트스트림을 분석하는 분석 단위를 나타낸 일 예이다.

도 3을 참조하면, 비트스트림 분석기에 H.264/AVC로 부호화된 비트스트림이 입력될 경우, 비트스트림 분석기는 H.264/AVC로 부호화된 비트스트림을 복호화하고 분석을 수행하여, 복호화된 영상(300)과 부호화 정보 등 분석 결과를 GUI를 통해 화면에 출력한다. 이때, 상술한 바와 같이 H.264/AVC의 부호화 단위는 16x16 픽셀의 크기를 가지는 매크로블록이므로, 비트스트림 분석기는 도 3에 도시된 바와 같이 복호화된 영상(300)의 분석 결과를 매크로블록(310) 단위로 제공할 수 있다.

도 4는 비트스트림 분석기가 HEVC로 부호화된 비트스트림을 분석하는 분석 단위를 나타낸 일 예이다.

도 4를 참조하면, 비트스트림 분석기에 HEVC로 부호화된 비트스트림이 입력될 경우, 비트스트림 분석기는 HEVC로 부호화된 비트스트림을 복호화하고 분석을 수행하여, 복호화된 영상(400)과 부호화 정보 등 분석 결과를 GUI를 통해 화면에 출력한다. 이때, 상술한 바와 같이 HEVC의 경우에는 가장 큰 부호화 크기인 CTB로부터 쿼드트리 형태로 분할되어 CU, PU, 또는 TU로 부호화되므로, 비트스트림 분석기는 도 4에 도시된 바와 같이 복호화된 영상(400)의 분석 결과를 CTB로부터 분할된 부호화 크기(410, 420, 430), 예컨대 8x8 ~ 64x64 픽셀의 다양한 크기를 가지는 부호화 단위를 기초로 제공할 수 있다.

전술한 바와 같이 비트스트림 분석기는 비트스트림의 부호화 단위를 기초로 분석 결과를 제공하므로, 서로 다른 부호화 기술이 적용된 비트스트림들을 비교할 때 비교 대상의 부호화 단위의 크기가 일치하지 않아 비트스트림 간 비교가 용이하지 못한 문제점이 있다. 이하, 여러 종류의 비디오 코덱을 지원하는 비트스트림 분석기에서 서로 다른 코덱을 통해 부호화된 비트스트림을 비교할 때 비교 대상 비트스트림들 간의 부호화 단위를 대응시켜 비교가 용이하도록 하는 방법에 대해 설명하도록 한다.

도 5는 본 발명의 실시예에 따른 여러 종류의 비디오 코덱 기술을 지원하는 비트스트림 분석기에서 복수의 비트스트림을 분석하고 비교하는 방법을 나타낸 순서도이다.

도 5를 참조하면, 비트스트림 분석기는 복수의 비트스트림을 수신한다(S500). 이때, 비트스트림 분석기는 서로 다른 기술로 부호화된 비트스트림을 수신할 수 있다. 예컨대, H.264/AVC로 부호화된 비트스트림 및 HEVC로 부호화된 비트스트림을 수신할 수 있다.

비트스트림 분석기는 수신한 복수의 비트스트림 간 비교 및 분석을 수행한다(S510). 이때, 서로 다른 기술로 부호화된 비트스트림의 비교 및 분석을 수행할 경우, 비교 및 분석을 수행할 대상 비트스트림들 간 부호화 단위의 크기가 다르기 때문에, 본 발명의 실시예에 따른 비트스트림 분석기는 비트스트림들 간 부호화 단위의 크기를 조절하여 비교 및 분석을 수행한다. 이하, 도 6을 참조하여 보다 구체적으로 설명하도록 한다.

도 6은 본 발명의 일 실시예에 따른 비트스트림 분석기가 서로 다른 부호화 단위를 가지는 비트스트림 간의 부호화 단위를 대응시켜 부호화 정보를 비교하는 화면을 나타낸 도면이다.

도 6을 참조하면, 비트스트림 분석기가 HEVC로 부호화된 제1 비트스트림(610)과 H.264/AVC로 부호화된 제2 비트스트림(630)을 수신한 경우, HEVC 표준의 부호화 단위는 고정 크기가 아니라 가장 큰 부호화 크기(CTB)로부터 쿼드트리 형태로 RDO(Rate Distortion Optimization) 방식에 의해 분할 형태(예컨대, CU, PU, TU)가 결정되고, H.264/AVC 표준의 부호화 단위는 16x16 픽셀의 크기를 가지는 매크로블록(MB)으로 결정된다.

이때, 제1 비트스트림(610)과 제2 비트스트림(630) 간의 부호화 단위가 일치하지 않으므로, 제1 비트스트림(610)의 부호화 단위인 CTB(611)의 크기와 제2 비트스트림(630)의 부호화 단위인 MB(631)의 크기를 대응시킨다.

예컨대, 제1 비트스트림(610)의 부호화 단위인 CTB(611)의 크기에 대응되도록 제2 비트스트림(630)의 부호화 단위인 MB(631)를 복수개 병합하여 하나의 MB 집합(MBS; Macro Block Set)(633)을 생성할 수 있다. 도 6에 도시된 바와 같이, 제1 비트스트림(610)의 부호화 단위인 CTB(611)의 크기가 64x64 픽셀이면 제2 비트스트림(630)의 부호화 단위인 16x16 픽셀의 크기를 가지는 MB(631)를 16개, 즉 4x4 크기의 MB로 구성된 MBS로 생성할 수 있다. 이때, CTB의 크기가 MB의 정수배가 되도록 MBS를 생성하여 CTB의 영역과 MBS의 영역이 일대일 대응이 되도록 한다.

즉, 본 발명의 실시예에 따른 비트스트림 분석기는 서로 다른 기술로 부호화되어 서로 다른 부호화 단위를 가지는 제1 비트스트림 및 제2 비트스트림을 수신하되, 제1 비트스트림의 부호화 단위의 크기가 상기 제2 비트스트림의 부호화 단위의 크기 보다 크면, 제1 비트스트림의 부호화 단위에 제2 비트스트림의 부호화 단위의 집합을 대응시켜 대응된 부호화 단위의 영역에 대해 제1 비트스트림과 제2 비트스트림 간의 비교 및 분석을 수행한다.

다시 도 5를 참조하면, 비트스트림 분석기는 복수의 비트스트림 간 비교 및 분석 결과를 GUI를 통해 화면에 출력한다(S520).

예를 들어, 사용자가 도 6에 도시된 바와 같은 비트스트림 분석기의 화면 상에서 비교를 원하는 영역, 예컨대 H.264/AVC 비트스트림(630) 내 하나의 MB(631) 부분을 선택하면 단계 S510의 수행 결과에 의해 MB(631)가 속한 MBS(633)와 대응되는 제1 비트스트림(610) 내 CTB(611)의 영역과 비교를 수행하게 된다.

비트스트림 분석기는 MBS와 CTB 단위로 비교를 수행하여 두 비트스트림 간의부호화 모드 관련 통계, 소요 비트수 관련 통계 등 비교 결과를 GUI를 통해 출력할 수 있다. 이때, 비트스트림 분석기는 HEVC로 부호화된 제1 비트스트림(610)의 CTB보다 크기가 작은 부호화 단위인 PU와 H.264/AVC로 부호화된 제2 비트스트림(630)의 적어도 하나의 MB, 즉 서브-MB(sub-MB)를 대응시켜 두 비트스트림 간 움직임 정보를 비교할 수 있다. 또한, 본 발명의 실시예에 따른 비트스트림 분석기는 스케일러블 비디오 코덱(scalable video codec)으로 부호화된 비트스트림을 계층 간 비교할 때도 적용 가능하다. 예컨대, H.264로 부호화되는 기본 계층과 HEVC로 부호화되는 상위 계층을 포함하는 스케일러블 비디오 코덱의 경우, 본 발명의 실시예에 따른 비트스트림 분석기를 통해 기본 계층과 상위 계층 간의 비트스트림 비교가 가능하다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호범위는 특허청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (1)

1. 복수의 비트스트림을 수신하는 단계;
   상기 복수의 비트스트림 간 비교를 수행하는 단계; 및
   상기 비교 결과를 출력하는 단계를 포함하며,
   상기 복수의 비트스트림은 다른 부호화 단위를 가지는 제1 비트스트림 및 제2 비트스트림을 포함하되, 상기 제1 비트스트림의 부호화 단위의 크기가 상기 제2 비트스트림의 부호화 단위의 크기 보다 크며,
   상기 비교를 수행하는 단계에서, 상기 제1 비트스트림의 부호화 단위에 상기 제2 비트스트림의 부호화 단위의 집합을 대응시켜 상기 제1 비트스트림과 상기 제2 비트스트림 간 비교를 수행하는 것을 특징으로 하는 비트스트림 분석 방법.

Images