KR100850706B1

KR100850706B1 - 적응적 동영상 부호화 및 복호화 방법과 그 장치

Info

Publication number: KR100850706B1
Application number: KR20020028364A
Authority: KR
Inventors: 송병철; 천강욱
Original assignee: 삼성전자주식회사
Priority date: 2002-05-22
Filing date: 2002-05-22
Publication date: 2008-08-06
Also published as: US20070058877A1; CN1233160C; JP2003348583A; CN1459981A; US7457471B2; US20030219160A1; DE10248019A1; KR20030090308A

Abstract

영상의 시간적 복잡도를 고려하여 적응적으로 동영상의 부호화를 수행하기 위한 적응적 동영상 부호화 방법 및 그 장치가 개시되어 있다. 본 발명은 입력 영상의 시간적 복잡도를 고려하여, 신택스(syntax) 레벨에서 프레임 레이트를 달리하여 부호화를 수행함으로써, 고효율로 영상 데이터를 저장할 수 있도록 하기 위한 것으로, 이를 위해 본 발명에 따른 시간적 복잡도를 고려한 적응적 동영상 부호화 방법은 (a) 입력되는 영상 데이터의 시간적 복잡도를 계산하는 단계와; (b) 상기 계산된 시간적 복잡도에 기초하여 입력되는 영상 데이터의 프레임 율을 변환하는 단계와; (c) 상기 프레임 율이 변환된 영상 데이터를 부호화하고, 상기 부호화된 데이터가 상기 결정된 프레임 율을 나타내는 정보를 포함하도록 하기 위해, 상기 부호화된 데이터의 부호화 데이터를 조정하는 단계를 포함한다.

Description

적응적 동영상 부호화 및 복호화 방법과 그 장치{Method for adaptive encoding and decoding motion image and apparatus thereof}

도 1은 종래의 동영상 부호화 시스템을 도시한 블록도이다.

도 2는 종래의 트랜스 코딩 장치를 도시하는 블록도이다.

도 3은 본 발명에 따른 시간적 복잡도를 고려한 적응적 동영상 부호화 장치를 도시하는 블록도이다.

도 4는 본 발명에 따른 구간별 프레임 율 변환 과정을 설명하기 위한 도면이다.

도 5는 본 발명의 일실시예를 설명하기 위한 MPEG-2의 6 레이어 데이터 구조의 픽쳐 부호화기능 확장부(picture coding extension)를 나타내는 도면이다.

도 6은 본 발명의 또 다른 실시예에 따른 시간적 복잡도를 고려한 적응적 동영상 부호화 장치를 도시하는 블록도이다.

도 7은 본 발명의 또 다른 실시예에 따른 시간적 복잡도를 고려한 적응적 동영상 부호화 장치를 도시하는 블록도이다.

도 8은 본 발명의 또 다른 실시예에 따른 시간적 복잡도를 고려한 적응적 동영상 부호화 장치를 도시하는 블록도이다.

도 9는 본 발명에 따른 시간적 복잡도를 고려한 적응적 동영상 부호화 방법 을 설명하기 위한 흐름도이다.

본 발명은 동영상 부호화 및 복호화 방법과 그 장치에 관한 것으로서, 특히 입력 영상의 시간적 복잡도를 고려하여 적응적으로 동영상의 부호화를 수행하기 위한 적응적 동영상 부호화 및 복호화 방법과 그 장치에 관한 것이다.

최근 DVR(digital video recorder)이나 PVR(personal video recorder)이 대중화 되면서, 영상 압축에 대한 연구 개발이 활발해지고 있다. 기존의 DVR이나 PVR에서는 입력 영상의 특성, 즉 시간적 복잡도를 고려함이 없이 영상을 고정된 프레임 율로만 압축하기 때문에, 압축의 효율성이 떨어지는 문제점이 있었다.

도 1은 종래의 동영상 인코더를 도시하는 블록도이다.

먼저, 입력되는 영상 데이터는 8×8 화소의 블록으로 분해된다. DCT(Discrete Cosine Transform)부(110)는 공간적 상관성을 제거하기 위해 8 ×8 화소 블록 단위로 입력되는 영상 데이터에 대해 DCT 연산을 수행한다. 양자화부(Quantization: Q)(120)는 DCT부(120)에서 얻어진 DCT 계수에 대해 양자화를 수행하여, 몇 개의 대표 값으로 표현함으로써, 고효율 손실 압축을 수행한다. 가변 길이 부호화부(variable length coding: VLC)(130)는 양자화 처리된 DCT 변환 계수들에 대해 엔트로피 부호화를 수행하고, 엔트로피 부호화된 데이터 스트림을 출력한다.

역양자화부(Inverse Quantization: IQ)(140)는 양자화부(120)에서 양자화된 영상 데이터를 역양자화한다. IDCT부(150)는 역양자화부(140)에서 역양자화된 영상 데이터에 대해 IDCT(Inverse Discrete Cosine Transform) 변환을 수행한다. 프레임 메모리부(160)는 IDCT부(150)에서 IDCT 변환된된 영상 데이터를 프레임 단위로 저장한다. 움직임 추정부(Motion Estimation: ME)(170)는 입력되는 현재 프레임의 영상 데이터와 프레임 메모리부(160)에 저장된 이전 프레임의 영상 데이터를 이용하여 시간적 상관성을 제거하기 위해 사용된다.

종래의 DVR이나 PVR에서는 데이터 압축을 위해, 도 1에 도시된 바와 같은 MPEG-2 부호기를 사용하였다. 입력되는 데이터가 압축되지 않은 데이터이면, MPEG-2 부호기를 통해 압축하여, HDD나 DVD와 같은 저장 매체에 비트 스트림을 저장하였다. 입력 영상 데이터가 압축된 비트 스트림인 경우에는, 도 2에 도시된 동영상 트랜스 코더를 이용하여 원하는 조건의 MPEG-2 스트림을 만들기 위해 MPEG-2 동영상 복호화를 수행한 후, 소정의 스케일 및 포맷 변환 후 MPEG-2 동영상 부호화하였다.

도 2는 종래의 동영상 트랜스 코더를 도시하는 블록도이다.

입력 데이터가 압축된 비트 스트림의 형태인 경우, 가변 길이 복호화부(222), 역양자화부(224), IDCT부(226), 프레임 메모리(228), 및 움직임 보상부(Motion Compensation: MC)(230)로 이루어진 동영상 디코더(220)에 의해, 입력 데이터를 복호하고, 원하는 조건의 MPEG-2 스트림을 만들기 위해 도 1에 도시된 동영상 인코더와 동일한 MPEG-2 인코더를 이용하여 주어진 해상도로 동영상을 인코딩 한다. 이와 같은 과정을 트랜스 코딩(transcoding) 이라고 하며, 트랜스 코딩시 스케일 및 포맷 변환부(240)를 이용하여, 필요한 경우 동영상 디코더(220)에 의해 복호화된 영상의 스케일을 줄인다든지(down-scaling) 또는 스캔 포맷을 변환한 후, MPEG-2 인코더(260)를 사용하여, 주어진 프레임 율로 MPEG-2 인코딩을 수행한다.

이와 같이, 종래 기술에서는 MPEG-2 부호화시 항상 동일한 프레임 율로 압축을 수행한다. 따라서, 입력되는 동영상의 특성에 따라 시간적 복잡도가 작거나 큰 경우에도 항상 동일한 프레임 율로 인코딩을 수행하며, 특히 입력되는 동영상이 시간적으로 변화가 거의 없는 경우에도 항상 동일한 프레임 율을 유지해야 하기 때문에, 압축의 효율성이 떨어지게 되는 문제점이 있었다.

본 발명이 이루고자하는 기술적 과제는 입력 동영상의 특성을 고려하여 적응적으로 동영상 부호화를 수행하여, 부호화 효율을 향상시키기 위한 적응적 동영상 부호화 방법 및 장치를 제공하기 위한 것이다.

본 발명이 이루고자 하는 또 다른 기술적 과제는 동영상을 MPEG-2 압축 기법을 이용하여 HDD나 DVD에 저장하는 경우, 저장의 효율성을 극대화하기 위한 적응적 동영상 부호화 방법 및 장치를 제공하기 위한 것이다.

상기의 기술적 과제를 해결하기 위하여, 본 발명에 따른 시간적 복잡도를 고려한 적응적 영상 부호화 방법은 (a) 입력되는 영상 데이터의 시간적 복잡도를 계산하는 단계와; (b) 상기 계산된 시간적 복잡도에 기초하여 입력되는 영상 데이터 의 프레임 율을 변환하는 단계와; (c) 상기 프레임 율이 변환된 영상 데이터를 부호화하고, 상기 부호화된 영상 데이터가 상기 결정된 프레임 율을 나타내는 정보를 포함하도록 하기 위해, 상기 부호화된 영상 데이터의 부호화 데이터를 조정하는 단계를 포함하는 것을 특징으로 한다.

상기 기술적 과제를 해결하기 위한 바람직한 본 발명에 따른 적응적 영상 부호화 방법은 상기 (b) 영상 프레임 데이터의 프레임 율을 변환하는 단계는 (b1) 상기 계산된 시간적 복잡도와 선정된 적어도 하나 이상의 문턱값을 비교하여 프레임 율을 결정하는 단계와; (b2) 상기 결정된 프레임 율에 기초하여 입력되는 영상 데이터의 프레임 율을 변환하는 단계를 더 포함하는 것을 특징으로 한다.

상기 기술적 과제를 해결하기 위한 바람직한 본 발명에 따른 적응적 영상 부호화 방법은 (a) 입력되는 영상 데이터의 시간적 복잡도를 계산하는 단계는 (a1) 입력된 압축 영상 데이터를 복호화하는 단계와 (a2) 상기 (a1) 단계에서 얻어진 움직임 벡터 정보를 이용하여 시간적 복잡도를 계산하는 단계를 더 포함하는 것을 특징으로 한다.

상기 기술적 과제를 해결하기 위한 바람직한 본 발명에 따른 적응적 영상 부호화 방법은 상기 (c) 단계의 부호화 데이터는 부호화된 데이터의 데이터 구조에서 픽쳐 부호화기능 확장부(picture coding extension)의 부호화 데이트들 중 적어도 하나인 것을 특징으로 한다.

상기 기술적 과제를 해결하기 위한 바람직한 본 발명에 따른 적응적 영상 부호화 방법은 상기 부호화 데이터의 상기 픽쳐 부호화기능 확장부의 RFF(repeat_first_field) 및 TPP(top_field_first) 중 적어도 하나 인 것을 특징으로 한다.

상기 기술적 과제를 해결하기 위한 바람직한 본 발명에 따른 적응적 영상 부호화 방법은 상기 프레임 율 변환부는 상기 계산된 시간적 복잡도와 상기 선정된 적어도 하나 이상의 비교값들 제1 문턱값 및 제2 문턱값을 비교하여, 상기 계산된 시간적 복잡도가 상기 제1 문턱값보다 큰 경우에는 RFF 및 TPP를 모두 0으로 설정하고, 상기 계산된 시간적 복잡도가 상기 제2 문턱값보다 작은 경우에는 RFF 및 TPP를 모두 1로 설정하고, 상기 계산된 시간적 복잡도가 상기 제1 문턱값보다 작고, 상기 제2 문턱값보다는 큰 경우에는 RFF와 TPP를 각각 1과 0으로 설정하는 것을 특징으로 한다.

상기 기술적 과제를 해결하기 위한 본 발명에 따른 시간적 복잡도를 고려한 적응적 동영상 부호화 장치는 (a) 입력되는 영상 데이터의 시간적 복잡도를 계산하기 위한 시간적 복잡도 계산부와; (b) 상기 계산된 시간적 복잡도에 기초하여 입력되는 영상 데이터의 프레임 레이터를 변환하는 프레임 레이터 변환부와; (c) 상기 프레임 레이터가 변환된 영상 데이터를 부호화하고, 상기 부호화된 영상 데이터가 상기 결정된 프레임 율을 나타내는 정보를 포함하도록 하기 위해, 상기 부호화된 영상 데이터의 부호화 데이터를 조정하기 위한 부호화부를 포함하는 것을 특징으로 한다.

상기 기술적 과제를 해결하기 위한 바람직한 본 발명에 따른 적응적 영상 부호화 장치는 상기 프레임 율 변환부는 상기 시간적 복잡도 계산부에서 계산된 시간 적 복잡도와 선정된 적어도 하나 이상의 문턱값을 비교하여 프레임 율을 결정하는 프레임 레이터 결정부를 더 포함하며, 상기 프레임 레이터 결정부에서 결정된 프레임 율에 기초하여 입력되는 영상 데이터의 프레임 율을 변환하는 것을 특징으로 한다.

상기 기술적 과제를 해결하기 위한 바람직한 본 발명에 따른 적응적 영상 부호화 장치는 상기 시간적 복잡도 계산부는 입력된 압축 영상 데이터를 복호화하는 복호화부를 더 포함하며, 상기 복호화부에서 얻어진 움직임 벡터 정보를 이용하여 시간적 복잡도를 계산하는 것을 특징으로 한다.

상기 기술적 과제를 해결하기 위한 바람직한 본 발명에 따른 적응적 영상 부호화 장치는 상기 부호화 데이터는 부호화된 데이터의 데이터 구조에서 픽쳐 부호화기능 확장부의 부호화 데이터들 중 적어도 하나인 것을 특징으로 한다.

상기 기술적 과제를 해결하기 위한 바람직한 본 발명에 따른 적응적 영상 부호화 장치는 상기 부호화 데이터의 상기 픽쳐 부호화기능 확장부의 RFF(repeat_first_field) 및 TPP(top_field_first) 중 적어도 하나 인 것을 특징으로 한다.

상기 기술적 과제를 해결하기 위한 바람직한 본 발명에 따른 적응적 영상 부호화 장치는 상기 프레임 율 변환부는 상기 계산된 시간적 복잡도와 상기 선정된 적어도 하나 이상의 비교값들 제1 문턱값 및 제2 문턱값을 비교하여, 상기 계산된 시간적 복잡도가 상기 제1 문턱값보다 큰 경우에는 RFF 및 TPP를 모두 0으로 설정하고, 상기 계산된 시간적 복잡도가 상기 제2 문턱값보다 작은 경우에는 RFF 및 TPP를 모두 1로 설정하고, 상기 계산된 시간적 복잡도가 상기 제1 문턱값보다 작고, 상기 제2 문턱값보다는 큰 경우에는 RFF와 TPP를 각각 1과 0으로 설정하는 것을 특징으로 한다.

최근 DVR 이나 PVR에서는 영상 압축에 대한 연구 개발이 활발하다. 저장을 목적으로 하는 영상 압축의 핵심은 주어진 영상을 얼마나 고효율로 압축하느냐 이다. 기존의 DVR이나 PVR에서는 영상을 정해진 프레임 율로만 압축하여 저장한다.

본 발명은 이와 같이, 영상을 정해진 프레임 율로만 압축하여 저장함으로써 발생하는 문제점을 해결하기 위한 것으로서, 본 발명의 일 실시예에 따르면, 입력 동영상의 특성에 따라 시간적 복잡도가 작은 경우 및 큰 경우가 존재하는 것을 고려하여, 특정 구간 단위, 예를 들어 30 프레임 또는 GOP(group of pictures) 단위로 입력 영상의 시간적 복잡도에 따라, 프레임 율을 달리하여 부호화하는 방식을 채용하여, 고효율로 저장할 수 있도록 하는 것을 기술적 특징으로 하고 있다.

시간적 복잡도가 작은 구간에서는 프레임 율을 줄여 부호화하고, 디코더에서 복호화후 디스플레이하기 전에 보간(interpolation)을 통해 확대한 후 디스플레이하고, 시간적 복잡도가 큰 구간, 즉 움직임이 많은 구간에서는 원래 프레임 율로 부호화를 수행한다. 이러한 과정을 수행함으로써, 화질 열화를 크게 떨어뜨리지 않고서도 압축율을 향상시켜 저장 효율을 보다 향상시키는 것이 가능하다.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명하기로 한다.

도 3은 본 발명에 따른 시간적 복잡도를 고려한 적응적 동영상 부호화 장치 를 도시한다.

본 발명에 따른 동영상 부호화 장치는 움직임 활성도(motion activity) 계산부(320), 프레임 율(frame rate) 결정부(340), 프레임 율 변환부(360), 및 인코더부(380)로 이루어진다.

움직임 활성도 계산부(320)에서는 특정 구간 단위로 시간적 복잡도를 계산한다. 본 실시예에서는 설명의 편의를 위해 30 프레임을 하나의 단위 구간으로 정하여 시간적 복잡도를 계산하지만, 선택적으로 GOP 단위 또는 시퀀스 단위를 기준으로 하거나, 사용자의 선택에 따라 적절히 정하는 것이 가능하다.

본 실시예에서는 시간적 복잡도를 계산하기 위해 움직임 활성도, 즉 움직임 벡터의 크기를 이용한다. 본 실시예에 따르면, 정해진 특정 구간, 즉 30 프레임 내의 모든 매크로 블록(macro block)에 대해 움직임 벡터를 구하여, 이로부터 움직임 활성도를 계산하고, 매크로 블록 들의 평균 움직임 활성도를 계산한다. 예를 들어, 하나의 매크로 블록의 움직임 벡터(MV)가 (MV1, MV2) 인 경우, 매크로 블록의 움직임 활성도는 MV1² + MV2²이다. 이러한 방법으로, 움직임 활성도 계산부(320)는 30 프레임 내의 매크로 블록당 평균 움직임 활성도를 계산한다.

본 실시예에서는 시간적 복잡도를 계산하기 위해 움직임 활성도를 이용했지만, 선택적으로 시간적 복잡도를 계산하기 위한 다른 수단을 채용하는 것도 가능하다.

프레임 율 결정부(340)에서는 움직임 활성도 계산부(320)에서 계산된 매크로 블록당 평균 움직임 활성도와 선정된 문턱값을 비교하여, 특정 구간에 대한 프레임 율을 결정한다. 여기에서, 선정된 문턱값은 버퍼, 메모리 용량 등과 같은 시스템 환경 등을 고려하여, 초기에 설정하거나 입력 영상의 종류에 따라서 사용자가 임의로 설정하는 것도 가능하다. 상기 문턱값을 적절히 조절함으로써, 프레임 율 조절 방식은 다양하게 이루어질 수 있다. 또한, 여러 문턱값을 두어 움직임 활성도와 비교 후 프레임 율을 조절하는 것도 가능하다.

예를 들어, 두 개의 문턱값 TH 1 및 TH 2 (단, TH 1 > TH 2)을 사용하는 경우, 매크로 블록 당 평균 움직임 활성도가 TH 1 보다 큰 경우에는, 원래 프레임 율로 부호화한다. 매크로 블록 당 평균 움직임 활성도가 TH2 보다 크고, TH 1 보다 작은 경우에는 원래 프레임 율의 1/2로 부호화한다. 매크로 블록 당 평균 움직임 활성도가 TH2 보다 작은 경우에는, 원래 프레임 율의 1/3로 줄여서 부호화한다.

예를 들어 원래 프레임 율이 30Hz인 경우, 문턱값을 10, 20으로 두고, 움직임 활성도가 20 보다 큰 경우에는 원래 프레임 율 30Hz로 부호화하고, 움직임 활성도가 10 보다 크고 20 보다 작은 경우에는 원래 프레임 율의 1/2, 즉 15 Hz로 부호화하고, 움직임 활성도가 10 보다 작은 경우에는 원래 프레임 율의 1/3, 즉 10 Hz로 부호화한다.

문턱값들인 TH 1 및 TH2는 실험을 통해 적절한 값이 선택될 수 있으며, 또한 본 실시예에서 프레임 율 결정을 위해 특정 구간의 매크로 블록 당 평균 움직임 활성도를 이용했으나, 선택적으로 선정된 범위의 블록 당 평균 움직임 활성도를 이용하는 것도 가능하다.

프레임 율 변환부(360)에서는 프레임 율 결정부(340)에서 결정된 프레임 율 에 따라 입력 영상 데이터의 프레임 율을 조절하여, 인코더부(380)로 출력한다.

도 4(a)(b)(c)는 프레임 율 변환부(360)에서 수행되는 결정된 프레임 율에 따른 프레임 율 변환 과정을 도시하는 도면이다. 도 4에서 회색 프레임들은 실제로 부호화되는 프레임들이고, 흰색 프레임들은 부호화하지 않고 생략되는 프레임들이다. 도 4(a)는 매크로 블록당 평균 움직임 활성도가 TH 1 보다 큰 경우, 도 4(b)는 매크로 블록당 움직임 활성도가 TH 1보다 작고, TH 2 보다 큰 경우, 도 4(c)는 매크로 블록당 움직임 활성도가 TH 2 보다 작은 경우의 구간별 프레임 변환을 나타낸다.

인코더부(380)에서는 상기 프레임 율 변환부(360)에서 시간적 복잡도에 따라 프레임 율이 변환된 프레임들에 대해 부호화, 예를 들어 MPEG-2 부호화를 수행한다. 또한, MPEG-2 부호화시, 부호화된 비트스트림의 신택스(syntax) 레벨에서 파라미터를 적절히 조절함으로써, 부호화된 비트스트림이 상기 결정된 프레임 율을 나타내는 정보를 가지도록 하여, 복호화부에서 원래의 프레임 율로 복호화할 수 있도록 한다.

본 실시예에서는, MPEG-2 부호화시 부호화된 데이터 구조의 신택스(syntax) 레벨의 픽쳐 부호화기능 확장부(picture coding extension)의 파라미터들인 RFF(repeat_first_field)와 TFF(top_field_first) 값을 아래와 같이 설정한다.

매크로 블록 당 움직임 활성도가 TH 1보다 큰 구간의 프레임들에서는, 원래 프레임 율로 부호화하므로 RFF 및 TFF를 모두 0으로 설정한다.

또한, 매크로 블록 당 움직임 활성도가 TH 2 보다 크고, TH 1 보다 작은 프 레임들에서는, 원래 프레임 율의 1/2로 부호화하므로, RFF 및 TFF를 각각 1과 0으로 설정하여, 복호화시 해당 프레임이 한번 반복되도록 한다.

또한, 매크로 블록 당 움직임 활성도가 TH 1 보다 작은 프레임들에서는, 원래 프레임 율의 1/3로 부호화하므로, RFF 및 TFF를 각각 1로 설정하여, 복호화시 해당 프레임이 두 번 반복되도록 한다.

도 5는 MPEG-2의 6층 데이터 구조의 픽쳐 부호화기능 확장부의 데이터 구조를 나타내는 도면이다. 본 실시예에서는 프레임 율이 변환된 데이터의 비트스트림이 변환된 프레임 율에 대한 정보를 표시하기 위해, 픽쳐 부호화기능 확장부의 부호화 데이터에 포함되는 데이트들 중 TFF 및 RFF를 사용한다.

이와 같이, 본 발명에 따른 동영상 부호화 장치에서는 출력되는 부호화된 비트 스트림의 픽쳐 부호화기능 확장부의 해당 파라미터들을 적절히 설정함으로써, 부호화된 비트 스트림이 변환된 프레임 율을 나타내는 정보를 가지도록 하는 것이 가능하다.

따라서, 본 발명에 따른 부호화 장치에서 프레임 율이 변환되어 부호화된 비트스트림을 입력 받아 복호화하는 복호화 장치에서도 상기 정보에 기초하여 복호시 원래 프레임 율로 복원하는 것이 가능하게 된다.

한편, 도 3에 도시된 바와 같이, MPEG-2 부호화시 움직임 활성도 계산부(320)에서 계산된 움직임 벡터를 MPEG-2 부호화시 사용하도록 함으로써, 부호화시 소요되는 계산량을 줄일 수 있도록 하는 것이 가능하다.

도 6은 입력 영상이 프로그레시브 시퀀스(progressive sequence)가 아닌 경 우의 본 발명에 따른 동영상 부호화 장치를 도시한다.

도 6에 도시된 본 발명의 또 다른 실시예에 따른 동영상 부호화 장치는 IPC 모듈 부(610), 움직임 활성도(motion activity) 계산부(620), 프레임 율 결정부(640), 프레임 율 변환부(660), 및 인코더부(680)로 이루어진다. 움직임 활성도 계산부(620), 프레임 율 결정부(640), 프레임 율 변환부(660), 및 인코더부(680)는 도 3에 도시된 대응 기능부와 동일한 동작을 수행하므로 설명의 간단을 위해 상세한 설명은 생략한다.

입력 영상이 프로그레시브 시퀀스가 아닌 경우에는, IPC(interlaced - t0 - progressive conversion)를 수행하여 입력 스트림을 프로그레시브 시퀀스로 변환한 후, 도 4에 도시된 동영상 부호화 장치에 따른 부호화 과정과 동일하게 부호화가 수행된다.

본 실시예에서는 IPC로의 입력시의 프레임 율 및 공간적 해상도와 출력시의 프레임 율 및 공간적 해상도는 일정하게 유지, 예를 들어 30 Hz의 720 ×480의 비월 비디오(interlaced video)는 30 Hz의 720 ×480의 순차 비디오로 변환되는 것으로 가정하였지만, 선택적으로 프로그레시브 시퀀스로의 변환 시 사용자의 의도에 따라 공간적 해상도와 프레임 율을 적절하게 조절하는 것도 가능하다.

도 7은 본 발명에 따른 시간적 복잡도를 고려한 적응적 동영상 트랜스 코딩 장치를 도시하는 도면이다.

본 발명에 따른 적응적 동영상 트랜스 코딩 장치는 가변 길이 복호화부(722), 역양자화부(724), IDCT부(726), 프레임 메모리(728), 및 움직임 보 상부(730)로 이루어진 동영상 디코더(720), 움직임 활성도 계산부(740), 프레임 율 변환부(760), 프레임 율 결정부(750), 및 인코더부(780)로 이루어진다.

동영상 디코더(720)의 각각의 기능부는 종래의 MPEG 디코더에서와 유사한 기능을 수행하므로 설명의 간단을 위해 상세한 설명은 생략한다.

도 7에 따른 실시예에서는 복호화시 특정 단위 구간 내의 모든 B 프레임 또는 P 프레임의 인터 매크로블록 들의 움직임 활성도들을 계산하여 평균함으로써, 특정 구간의 매크로블록당 평균 움직임 활성도 계산이 가능하다.

즉, 입력되는 영상 데이터가 압축 스트림인 경우에는, 움직임 활성도 계산부(740)는 도 3에 도시된 움직임 활성도 계산부(320)에서와 달리, 도 7에 도시된 바오 같이 압축 스트림의 복호화 단계에서 얻어지는 움직임 벡터 정보를 이용하여, 움직임 활성도를 계산하기 때문에, 별도의 움직임 추정부가 필요하지 않다.

예를 들어, 도 7에 도시된 바와 같이 본 발명에 따른 실시예에서는 움직임 활성도 계산부(740)는 가변 길이 부호화부(722)로부터 출력되는 움직인 벡터(MV)를 입력받아 이로부터 각 매크로 블록의 움직임 활성도를 계산한다.

도 7의 프레임 율 변환부(760), 프레임 율 결정부(750), 및 인코더부(780)는 도 3에 도시된 대응 기능부와 동일한 기능을 수행하므로 설명의 간단을 위해 이들 모듈에 대한 상세한 설명은 생략한다.

프레임 율 결정부(750)에서는 움직임 활성도 계산부(740)에서 계산된 매크로 블록당 평균 움직임 활성도와 선정된 문턱값을 비교하여, 특정 구간에 대한 프레임 율을 결정한다.

프레임 율 변환부(760)에서는 도 4 (a)(b)(c)에 도시된 바와 같이 프레임 율 결정부(750)에서 결정된 프레임 율에 따라 입력 영상 데이터의 프레임 율을 조절하여, 인코더부(780)로 출력한다.

인코더부(780)에서는 상기 프레임 율 변환부(760)에서 시간적 복잡도에 따라 프레임 율이 변환된 프레임들에 대해 부호화, 예를 들어 MPEG-2 부호화를 수행한다. 또한, MPEG-2 부호화시, 부호화된 비트스트림의 신택스(syntax) 레벨에서 파라미터를 적절히 조절함으로써, 즉 데이터 구조에서 부호화 데이터를 조정함으로써, 부호화된 비트스트림이 상기 결정된 프레임 율을 나타내는 정보를 가지도록 하여, 복호화부에서 원래의 프레임 율로 복호할 수 있도록 한다.

이와 같이, 본 발명에 따른 동영상 트랜스 코딩 장치에서는 출력되는 부호화된 비트 스트림의 픽쳐 부호화기능 확장부의 해당 파라미터들을 적절히 설정함으로써, 부호화된 비트 스트림이 변환된 프레임 율을 나타내는 정보를 가지도록 하는 것이 가능하다.

따라서, 본 발명에 따른 동영상 트랜스 코딩 장치에서 프레임 율이 변환되어 부호화된 비트스트림을 입력 받아 복호화하는 복호화 장치에서도 상기 정보에 기초 하여 복호시 원래 프레임 율로 복원하는 것이 가능하게 된다.

도 8은 입력 영상이 프로그레시브 시퀀스가 아닌 경우의 본 발명에 따른 시간적 복잡도를 고려한 적응적 동영상 트랜스 코딩 장치를 도시한다.

본 발명의 또 다른 실시예에 따른 적응적 동영상 트랜스 코딩 장치는 가변 길이 복호화부(822), 역양자화부(824), IDCT부(826), 프레임 메모리(828), 및 움직임 보상부(830)로 이루어진 동영상 디코더(820), 움직임 활성도 계산부(840), 프레임 율 변환부(850), IPC부(860), 프레임 율 결정부(870), 및 인코더부(880)로 이루어진다.

동영상 디코더(820), 움직임 활성도 계산부(840), 프레임 율 결정부(850), 프레임 율 변환부(870), 및 인코더부(880)는 도 6에 도시된 대응 기능부와 동일한 동작을 수행하므로 설명의 간단을 위해 상세한 설명은 생략한다.

입력 영상이 프로그레시브 시퀀스가 아닌 경우에는, 동영상 디코더에 의해 복호화된 데이터에 대해 IPC를 수행하여 입력 스트림을 프로그레시브 시퀀스로 변환한 후, 도 6에 도시된 부호화 장치에서와 동일하게 부호화가 수행된다.

본 실시예에서는 IPC로의 입력시의 프레임 율 및 공간적 해상도와 출력시의 프레임 율 및 공간적 해상도는 일정하게 유지, 예를 들어 30 Hz의 720 ×480의 비월 비디오(interlaced video)는 30 Hz의 720 ×480의 순차 비디오로 변환되는 것으로 가정하였지만, 선택적으로 프로그레시브 시퀀스로의 변환 시 사용자의 의도에 따라 공간적 해상도와 프레임 율을 적절하게 조절하는 것도 가능하다. 또한, 저장의 효율성을 보다 높이기 위해 비트율, 공간적 해상도, 및 다른 표준으로 변형하여 저장하는 것도 가능하다.

도 9는 본 발명에 따른 시간적 복잡도를 고려한 적응적 동영상 부호화 방법을 설명하기 위한 플로우 차트이다.

단계 920에서는 입력 영상 데이터의 특정 구간 단위로 시간적 복잡도를 계산한다. 본 실시예에서는 시간적 복잡도를 계산하기 위해 움직임 활성도, 즉 움직임 벡터의 크기를 이용하여, 특정 구간내의 매크로 블록당 평균 움직임 활성도를 계산한다.

단계 940에서는 단계920에서 계산된 매크로 블록당 평균 움직임 활성도와 선정된 문턱값을 비교하여, 특정 구간에 대한 프레임 율을 결정한다. 예를 들어, 두 개의 문턱값 TH 1 및 TH 2 (단, TH 1 > TH 2)을 사용하는 경우, 매크로 블록 당 평균 움직임 활성도가 TH 1 보다 큰 경우에는, 원래 프레임 율로 부호화한다. 매크로 블록 당 평균 움직임 활성도가 TH2 보다 크고, TH 1 보다 작은 경우에는 원래 프레임 율의 1/2로 부호화한다. 매크로 블록 당 평균 움직임 활성도가 TH2 보다 작은 경우에는, 원래 프레임 율의 1/3로 줄여서 부호화한다.

단계 960에서는 단계 940에서 결정된 프레임 율에 따라 입력 영상 데이터의 프레임 율을 변환한다.

단계 980에서는 단계960에서 프레임 율이 변환된 입력 영상 데이터를 부호화하고, 부호화된 데이터의 신택스 레벨, 즉 부호화된 비트열의 데이터 구조에서 파라미터를 적절히 조절함으로써, 부호화된 데이터의 비트스트림이 상기 결정된 프레임 율을 나타내는 정보를 가지도록 한다. 본 실시예에서는, MPEG-2 부호화시 부 호화된 데이터 구조의 신택스(syntax) 레벨의 픽쳐 부호화기능 확장부(picture coding extension)의 파라미터들인 RFF(repeat_first_field)와 TFF(top_field_first) 값을 아래와 같이 설정한다.

또한, 매크로 블록 당 움직임 활성도가 TH 2 보다 크고, TH 1 보다 작은 프레임들에서는, 원래 프레임 율의 1/2로 부호화하므로, RFF 및 TFF를 각각 1과 0으로 설정하여, 복호화시 해당 프레임이 한번 반복되도록 한다.

이와 같이, 본 발명에 따른 동영상 부호화 방법에서는 출력되는 부호화된 비트 스트림의 픽쳐 부호화기능 확장부의 해당 파라미터들을 적절히 설정함으로써, 부호화된 비트 스트림이 변환된 프레임 율을 나타내는 정보를 가지도록 하는 것이 가능하다.

본 발명은 상술한 실시예에 한정되지 않으며, 본 발명의 사상내에서 당업자에 의한 변형이 가능함은 물론이다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 하드디스크, 플로피디스크, 플래쉬 메모리, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로서 저장되고 실행될 수 있다.

상술한 바와 같이 본 발명에 의하면, 특정 구간 단위로 영상의 시간적 복잡도를 계산하여, 상대적으로 시간적 복잡도가 낮는 구간은 원래 프레임 율보다 낮게 부호화하고, 상대적으로 시간적 복잡도가 높은 구간은 원래 프레임 율로 부호화하도록 하고, 부호화된 데이터의 신택스 레벨을 적절히 설정하여, 복호화시 원래 프레임 율로 복원될 수 있도록 함으로써, 화질의 열화 없이 저장 매체에 동영상을 보다 효율적으로 저장하는 것이 가능하게 된다.

Claims

삭제
시간적 복잡도를 고려한 적응적 동영상 부호화 방법에 있어서,

(a) 입력되는 영상 데이터의 시간적 복잡도를 계산하는 단계와;

(b) 상기 계산된 시간적 복잡도에 기초하여 입력되는 영상 데이터의 프레임 율을 변환하는 단계와;

(c) 상기 프레임 율이 변환된 영상 데이터를 부호화하고, 상기 부호화된 영상 데이터가 상기 결정된 프레임 율을 나타내는 정보를 포함하도록 하기 위해, 상기 부호화된 영상 데이터의 부호화 데이터를 조정하는 단계를 포함하며,

상기 (b) 영상 프레임 데이터의 프레임 율을 변환하는 단계는 (b1) 상기 계산된 시간적 복잡도와 선정된 적어도 하나 이상의 문턱값을 비교하여 프레임 율을 결정하는 단계와; (b2) 상기 결정된 프레임 율에 기초하여 입력되는 영상 데이터의 프레임 율을 변환하는 단계를 더 포함하는 것을 특징으로 하는 적응적 동영상 부호화 방법.
제2항에 있어서, (a) 입력되는 영상 데이터의 시간적 복잡도를 계산하는 단계는 (a1) 입력된 압축 영상 데이터를 복호화하는 단계와 (a2) 상기 (a1) 단계에서 얻어진 움직임 벡터 정보를 이용하여 시간적 복잡도를 계산하는 단계를 더 포함하는 것을 특징으로 하는 적응적 동영상 부호화 방법.
제2항에 있어서, 상기 (c) 단계의 부호화 데이터는 부호화된 데이터의 데이터 구조에서 픽쳐 부호화기능 확장부(picture coding extension)의 부호화 데이트들 중 적어도 하나인 것을 특징으로 하는 적응적 영상 부호화 방법.
제4항에 있어서, 상기 부호화 데이터의 상기 픽쳐 부호화기능 확장부의 RFF(repeat_first_field) 및 TPP(top_field_first) 중 적어도 하나 인 것을 특징으로 하는 적응적 영상 부호화 방법.
제5항에 있어서, 상기 프레임 율 변환부는 상기 계산된 시간적 복잡도와 상기 선정된 적어도 하나 이상의 비교값들 제1 문턱값 및 제2 문턱값을 비교하여, 상기 계산된 시간적 복잡도가 상기 제1 문턱값보다 큰 경우에는 RFF 및 TPP를 모두 0으로 설정하고, 상기 계산된 시간적 복잡도가 상기 제2 문턱값보다 작은 경우에는 RFF 및 TPP를 모두 1로 설정하고, 상기 계산된 시간적 복잡도가 상기 제1 문턱값보다 작고, 상기 제2 문턱값보다는 큰 경우에는 RFF와 TPP를 각각 1과 0으로 설정하는 것을 특징으로 하는 적응적 영상 부호화 방법.
제6항에 있어서, 상기 제1 문턱값은 상기 제2 문턱값보다 큰 값인 것을 특징으로 하는 적응적 영상 부호화 방법.
제2항에 있어서, 상기 시간적 복잡도는 입력되는 영상 데이터의 매크로블록 당 움직임 활성도에 기초하여 계산되는 것을 특징으로 하는 적응적 영상 부호화 방법.
제8항에 있어서, 상기 움직임 활성도는 상기 매크로블록의 움직임 벡터의 크기인 것을 특징으로 하는 적응적 영상 부호화 방법.
제9항에 있어서, 상기 움직임 활성도는 매크로블록의 움직임 벡터가 (MV1,MV2)인 경우, MV1²+MV2²인 것을 특징으로 하는 적응적 영상 부호화 방법.
제2항에 있어서, 상기 시간적 복잡도를 계산하고, 프레임 율을 결정하는 단계는 입력 영상 데이터의 선정된 구간 단위로 이루어지는 것을 특징으로 하는 적응적 영상 부호화 방법.
제11항에 있어서, 상기 입력 영상 데이터의 선정된 구간 단위는 GOP(group of pictures) 단위인 것을 특징으로 하는 적응적 영상 부호화 방법.
제11항에 있어서, 상기 입력 영상 데이터의 선정된 구간 단위는 입력 영상 데이터의 시퀀스 단위인 것을 특징으로 하는 적응적 영상 부호화 방법.
삭제
시간적 복잡도를 고려한 적응적 동영상 부호화 장치에 있어서,

(a) 입력되는 영상 데이터의 시간적 복잡도를 계산하기 위한 시간적 복잡도 계산부와;

(b) 상기 계산된 시간적 복잡도에 기초하여 입력되는 영상 데이터의 프레임 레이터를 변환하는 프레임 레이터 변환부와;

(c) 상기 프레임 레이터가 변환된 영상 데이터를 부호화하고, 상기 부호화된 영상 데이터가 상기 결정된 프레임 율을 나타내는 정보를 포함하도록 하기 위해, 상기 부호화된 영상 데이터의 부호화 데이터를 조정하기 위한 부호화부를 포함하며,

상기 프레임 율 변환부는 상기 시간적 복잡도 계산부에서 계산된 시간적 복잡도와 선정된 적어도 하나 이상의 문턱값을 비교하여 프레임 율을 결정하는 프레임 레이터 결정부를 더 포함하며, 상기 프레임 레이터 결정부에서 결정된 프레임 율에 기초하여 입력되는 영상 데이터의 프레임 율을 변환하는 것을 특징으로 하는 적응적 동영상 부호화 장치.
제15항에 있어서, 상기 시간적 복잡도 계산부는 입력된 압축 영상 데이터를 복호화하는 복호화부를 더 포함하며, 상기 복호화부에서 얻어진 움직임 벡터 정보를 이용하여 시간적 복잡도를 계산하는 것을 특징으로 하는 적응적 동영상 부호화 장치.
제15항에 있어서, 상기 부호화 데이터는 부호화된 데이터의 데이터 구조에서 픽쳐 부호화기능 확장부의 부호화 데이트들 중 적어도 하나인 것을 특징으로 하는 적응적 영상 부호화 장치.
제17항에 있어서, 상기 부호화 데이터의 상기 픽쳐 부호화기능 확장부의 RFF(repeat_first_field) 및 TPP(top_field_first) 중 적어도 하나 인 것을 특징으로 하는 적응적 영상 부호화 장치.
제18항에 있어서, 상기 프레임 율 변환부는 상기 계산된 시간적 복잡도와 상기 선정된 적어도 하나 이상의 비교값들 제1 문턱값 및 제2 문턱값을 비교하여, 상기 계산된 시간적 복잡도가 상기 제1 문턱값보다 큰 경우에는 RFF 및 TPP를 모두 0으로 설정하고, 상기 계산된 시간적 복잡도가 상기 제2 문턱값보다 작은 경우에는 RFF 및 TPP를 모두 1로 설정하고, 상기 계산된 시간적 복잡도가 상기 제1 문턱값보다 작고, 상기 제2 문턱값보다는 큰 경우에는 RFF와 TPP를 각각 1과 0으로 설정하는 것을 특징으로 하는 적응적 영상 부호화 장치.
제19항에 있어서, 상기 제1 문턱값은 상기 제2 문턱값보다 큰 값인 것을 특징으로 하는 적응적 영상 부호화 장치.
제15항에 있어서, 상기 시간적 복잡도는 입력되는 영상 데이터의 매크로블록 당 움직임 활성도에 기초하여 계산되는 것을 특징으로 하는 적응적 영상 부호화 장치.
제21항에 있어서, 상기 움직임 활성도는 상기 매크로블록의 움직임 벡터의 크기인 것을 특징으로 하는 적응적 영상 부호화 장치.
제22항에 있어서, 상기 움직임 활성도는 매크로블록의 움직임 벡터가 (MV1,MV2)인 경우, MV1²+MV2²인 것을 특징으로 하는 적응적 영상 부호화 장치.
제20항에 있어서, 상기 시간적 복잡도의 계산 및 프레임 율의 결정은 입력 영상 데이터의 GOP 단위로 이루어지는 것을 특징으로 하는 적응적 영상 부호화 장치.
제20항에 있어서, 상기 시간적 복잡도의 계산 및 프레임 율의 결정은 입력 영상 데이터의 시퀀스 단위로 이루어지는 것을 특징으로 하는 적응적 영상 부호화 장치.