KR101147744B1

KR101147744B1 - 비디오 트랜스 코딩 방법 및 장치와 이를 이용한 ｐｖｒ

Info

Publication number: KR101147744B1
Application number: KR1020050014458A
Authority: KR
Inventors: 정태일
Original assignee: 엘지전자 주식회사
Priority date: 2005-02-22
Filing date: 2005-02-22
Publication date: 2012-05-25
Also published as: KR20060093743A; US7899121B2; US20060190625A1

Abstract

본 발명은 비디오 트랜스코딩 방법 및 장치 그리고 이를 이용한 PVR에 관한 것이다. 본 발명은, 전송된 MPEG 2 비트 스트림을 디코딩하고, 레퍼런스 픽처 정보와 각 매크로 블록의 움직임 벡터를 저장하는 단계와, 상기 저장된 레퍼런스 픽처 정보와 움직임 벡터값을 이용하여 상기 디코딩된 MPEG 2 비트 스트림을 H.264 포맷으로 트랜스코딩하는 단계를 포함하여 이루어지는 비디오 트랜스코딩 방법을 제공한다. 따라서, 본 발명에 의하면, MPEG 2 영상을 H.264로 트랜스코딩하는 경우 필요한 계산량을 줄여 하드웨어 비용을 낮추는 효과가 있다.

H.264, MPEG 2, 트랜스코더, 움직임 벡터, PVR

Description

비디오 트랜스 코딩 방법 및 장치와 이를 이용한 ＰＶＲ{Method and Apparatus of video transcoding and PVR of using the same}

도 1은 종래 기술에 따른 PVR의 내부 구성을 간략히 나타낸 블록도

도 2는 종래 기술에 따른 MPEG 2 방식의 트랜스코더의 구성을 나타낸 블록도

도 3은 MPEG 2로 코딩된 비디오 데이터를 H.264로 인코딩하는 장치를 나타낸 도면

도 4는 본 발명에 따른 H.264 트랜스코딩 장치를 개념적으로 나타낸 블록도

도 5는 본 발명에 따른 MPEG 2 디코더의 구성을 나타낸 도면

도 6은 본 발명에 따른 H.264 트랜스코더의 내부 구성을 나타낸 블록도

도 7a 내지 7b는 본 발명에 따른 매크로 블록 타입별 처리 방법을 나타낸 도면

도 8은 본 발명에 따른 효과를 설명하기 위해 나타낸 H.264 블록 별 계산량을 나타낸 도면

도 9는 본 발명에 따른 트랜스코딩시 GOP 단위의 프로세싱 과정을 나타낸 도면

도 10은 본 발명에 따른 트랜스코더를 이용한 PVR에서의 구현예를 나타낸 도면

- 도면의 주요부분에 대한 부호의 설명 -

100 : MPEG 2 디코더 200 : H.264 트랜스코더

300 : MPEG 2 인코더 400 : H.264 디코더

500 : 저장매체 600 : 디스플레이 프로세서

본 발명은 비디오 트랜스코딩에 관한 것으로, 보다 상세하게는 서로 다른 코덱간의 특성을 활용하여 인코딩 시간을 단축하고 필요한 하드웨어 성능을 줄이는 트랜스코딩 장치 및 방법에 관한 것이다.

최근 디지털 방송의 내용을 입력되는 디지털 스트림 그대로 녹화했다가 시청할 수 있는 장비(PVR : Personal Video Recorder, 이하 'PVR')가 다양하게 출시되고 있다. 이러한 장치의 경우 MPEG(Moving Picture Experts Group) 2로 인코딩되어 입력되는 스트림을 MPEG 2 스트림 그대로 하드 디스크 드라이브나 테입 저장 장치 등에 저장하였다가 사용자가 원하는 시간에 다시 시청할 수 있도록 해준다. 이때, 일부 기기들은 기존의 아날로그 영상을 MPEG 2로 인코딩하여 저장 매체에 저장하는 기능을 포함하기도 한다.

도 1은 종래 기술에 따른 PVR의 내부 구성을 간략히 나타낸 블록도이다.

도 1과 같이, PVR은 MPEG 2 디코더(decorder)(11), 저장매체(13) 및 디스플레이 프로세서(Display processor)(14)를 포함하여 구성되며, 아날로그 영상에 대 한 인코딩 기능이 있는 경우 MPEG 2 인코더(encorder)(12)부를 더 포함한다.

이와 같은 구성을 갖는 PVR은, 입력된 영상이 디지털 영상인 경우 상기 MPEG 2 디코더(11)를 통해 디코딩이 수행되어 상기 디스플레이 프로세서(14)를 통해 화면에 출력되도록 동작하게 된다. 이때, 사용자의 시청 여부와 관계없이 필요에 따라 상기 MPEG 2 디지털 영상 그대로 저장매체(13)에 저장되었다가 이후 시청될 수 있다.

아날로그 영상의 경우는 상기 영상의 데이터 량을 줄이고 상기 MPEG 2 디코더(11)를 활용할 수 있도록 상기 MPEG 2 인코더(12)를 통해 MPEG 2 비트 스트림으로 인코딩하여 저장하게 된다.

이처럼, 상기 전송된 또는 인코딩한 MPEG 2 영상을 저장하기 위해서는 MP@HL HD 영상의 경우 시간당 약 9기가 바이트 정도의 저장 공간이 필요하며, MP@HL SD 영상의 경우에는 약 2기가 바이트의 저장 공간을 필요로 하게 된다.

따라서, 종래에는 상기 저장매체(13)의 가격 등의 요소를 고려하여 상기 저장되는 비트 스트림의 비트 레이트(bit rate)를 줄이는 방식으로 저장하기 위해 트랜스 코딩(Trans coding)이 시도되었다.

도 2는 종래 기술에 따른 MPEG 2 방식의 트랜스코더의 구성을 나타낸 블록도이다.

도 2와 같이, MPEG 2 디코더(11)를 통해 디코딩되는 영상은 디코딩과 함께 디코딩 관련 정보와 움직임 정보를 메모리(21)에 저장한다. 상기 디코딩 관련 정보 및 움직임 정보를 이용하여 트랜스코더(Transcoder)(22)에서는 디코딩된 영상의 포 맷을 변환하고 움직임 정보의 스케일을 조정하게 된다. 상기 조정된 내용을 VLC(Variable Length Coding) 코딩하고 이를 인코딩 제어부(22c)에서 적절히 배치함으로써 낮은 레이트의 MPEG 2 영상을 만들게 된다.

하지만, 이러한 종래 기술에 따른 트랜스 코딩 방법은 기존 영상의 포맷을 유지할 수 없거나 화질 열화를 피할 수 없다는 문제가 있었다.

한편, MPEG 2 기술이 발표된 이후 계산 능력(computing power)과 메모리 비용이 지속적으로 감소되면서 보다 나은 비디오 코딩기술이 적용 가능하게 되었고, 이에 따라 새로운 비디오 코딩 기술인 H.264가 발표되었다.

상기 H.264의 경우 코딩의 각 레벨에서 더 나은 압축 기술을 사용하므로, 압축율과 화질면에서 MPEG 2에 비해 뛰어난 성능을 보여준다.

하지만, 상기 H.264는 MPEG 2에 비해 더 많은 계산량과 메모리 하드웨어 성능을 요구하는 단점이 있다. 일반적으로 H.264 인코딩의 경우 MPEG 2에 비해 약 10배의 하드웨어 성능을, H.264 디코딩의 경우는 약 3배의 하드웨어 성능을 필요로 한다.

따라서, MPEG 2로 코딩된 전송 비디오 데이터를 H.264로 인코딩하게 되면 압축률과 화질 면에서 뛰어난 장점을 갖게 되지만, 하드웨어 성능을 많이 필요로 한다는 단점을 갖게 되는 것이다.

도 3은 MPEG 2로 코딩된 비디오 데이터를 H.264로 인코딩하는 장치를 나타낸 도면이다.

도 3과 같이, MPEG 2 비트 스트림을 디코딩하고 이를 H.264로 인코딩함으로 써 H.264로 코딩된 비트 스트림을 얻을 수 있다. 상기 H.264로 코딩된 비트 스트림을 저장하게 되면 전술한 바와 같이 압축률과 화질 면에서 장점을 갖게 된다.

하지만, 이러한 장치는 H.264 코덱의 특성상 계산량 계산, 시간, 메모리등의 요구량이 많아지게 되어 하드웨어 성능을 많이 필요로 하는 문제점이 있었다.

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 MPEG 2로 코딩된 데이터를 H.264로 트랜스 코딩하는 방법 및 장치를 제안하는데 있다.

본 발명의 다른 목적은 MPEG 2 디코딩시 사용되는 움직임 벡터 및 레퍼런스 영상의 정보를 재활용함으로써 H.264 인코딩시 필요한 하드웨어 성능을 줄이는 트랜스 코더를 구성하는데 있다.

본 발명의 또 다른 목적은 상기의 트랜스 코더를 이용한 PVR을 제안하는데 있다.

상기 목적을 달성하기 위하여, 본 발명은, 전송된 MPEG 2 비트 스트림을 디코딩하고, 레퍼런스 픽처 정보와 각 매크로 블록의 움직임 벡터를 저장하는 단계와, 상기 저장된 레퍼런스 픽처 정보와 움직임 벡터값을 이용하여 상기 디코딩된 MPEG 2 비트 스트림을 H.264 포맷으로 트랜스코딩하는 단계를 포함하여 이루어지는 비디오 트랜스코딩 방법을 제공한다.

상기 레퍼런스 픽처 정보는 각 픽처에 PIC_NUM을 할당하여 MPEG 2 디코딩 오 더순으로 인덱싱되며, 상기 정보는 상기 트랜스코딩된 결과의 슬라이스 헤더에 포함되는 것을 특징으로 한다.

상기 트랜스코딩 단계는, 상기 움직임 벡터 주위 값들에 대한 부가적인 움직임 벡터를 추정하는 단계를 더 포함하여 이루어짐을 특징으로 한다.

상기 매크로 블록 중 I-타입의 매크로 블록은 vertical, horizental, DC 모드의 세가지 모드 또는 DC 모드의 한가지 모드로 프리딕션이 수행되거나, 프리딕션이 수행되지 않는 것을 특징으로 한다.

상기 매크로 블록 중 P/B-타입의 매크로 블록은 상기 움직임 벡터값과 그 참조 정보를 입력받아 H.264 포맷에 맞도록 신택스 변경하는 것을 특징으로 한다.

상기 MPEG 2의 디코딩 순서에 따라 I,P,B,B 순으로 입력되는 스트림은 각각 하나 또는 몇개의 I,P,B,B 슬라이스들로 구성되는 픽처로 코딩되는 것을 특징으로 한다.

본 발명은, 전송된 MPEG 2 비트 스트림을 디코딩하고, 레퍼런스 픽처 정보와 각 매크로 블록의 움직임 벡터를 저장하는 저장부를 갖는 MPEG 2 디코더와, 상기 MPEG 2 디코더에서 저장된 레퍼런스 픽처 정보와 움직임 벡터값을 이용하여 상기 디코딩된 MPEG 2 비트 스트림을 H.264 포맷으로 트랜스코딩하는 트랜스코더를 포함하여 구성되는 비디오 트랜스코딩 장치를 제공한다.

본 발명은, 입력된 디지털 영상 신호를 디코딩하고, 레퍼런스 픽처 정보와 각 매크로 블록의 움직임 벡터 정보를 저장하는 MPEG 2 디코더와, 입력된 아날로그 영상 신호를 MPEG 2 비디오 스트림으로 인코딩하며, 레퍼런스 픽처 정보와 각 매크 로 블록의 움직임 벡터 정보를 저장하는 MPEG 2 인코더와, 상기 MPEG 2 인코더 및 디코더에서 저장된 레퍼런스 픽처 정보와 움직임 벡터값을 이용하여 상기 인코딩 또는 디코딩된 MPEG 2 비트 스트림을 H.264 포맷으로 트랜스코딩하는 트랜스코더와, 상기 트랜스코딩된 H.264 비디오 스트림을 저장하는 저장매체와, 상기 저장된 스트림을 디코딩하는 H.264 디코더를 포함하여 구성되는 비디오 트랜스코더를 이용한 PVR을 제공한다.

따라서, 본 발명에 의하면, MPEG 2 영상을 H.264로 트랜스코딩하는 경우 필요한 계산량을 줄여 하드웨어 비용을 낮추는 효과가 있다.

이하 상기의 목적을 구체적으로 실현할 수 있는 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 설명한다.

아울러, 본 발명에서 사용되는 용어는 현재 널리 사용되는 일반적인 용어를 선택하였으나, 새로운 기술의 출현에 따라 본 발명에서 출원인이 가장 적합하다고 판단한 용어도 임의로 사용하였으며, 이에 대해서는 해당 설명부에서 용어의 의미를 명확히 설명하기로 한다. 따라서, 본 발명을 이해함에 있어 단순한 용어의 명칭이 아닌 용어가 가지는 의미로서 본 발명을 파악하여야 됨을 밝혀 두고자 한다.

도 4는 본 발명에 따른 H.264 트랜스코딩 장치를 개념적으로 나타낸 블록도이다.

도 4와 같이, 본 발명에 따른 트랜스코딩 장치는, 전송된 MPEG 2 비트 스트림을 MPEG 2 디코더(100)를 통해 디코딩하고, 상기 디코딩된 비트 스트림으로부터 더 나은 압축 효율의 비트 스트림을 얻기 위해 H.264 트랜스코더(Transcoder)(200) 를 사용하여 H.264 비트 스트림으로 트랜스코딩하여 출력하도록 구성된다.

상기 H.264 트랜스코더(200)는 H.264의 레퍼런스 픽쳐(reference picture) 관리 기능 중 일부 값들을 제한적으로 사용하는 특징을 갖게 되며, 상기 H.264 트랜스코더를 사용하여 얻어지는 H.264 비트 스트림은 일반적인 H.264 디코더(미도시)를 통해 디코딩될 수 있다. 상기 제한되는 내용에는 H.264의 레퍼런스 리스트(reference list)에 각 하나의 인덱스(index)를 갖게 되는 점을 들 수 있다.

이와 같은 트랜스코딩을 위해, 상기 MPEG 2 디코더(100)는 종래 MPEG 2 디코더에 본 발명에 따른 추가적인 장치를 포함하여 구성된다. 이를 첨부한 도면을 참조하여 설명하면 다음과 같다.

도 5는 본 발명에 따른 MPEG 2 디코더의 구성을 나타낸 도면이다.

도 5와 같이, MPEG 2 디코더는, MPEG 2로 압축된 비트 스트림을 입력받아 버퍼(101)를 통해 VLD(Variable Length Decoding)부(103)로 전달된다. 상기 VLD부(103)에서는 비디오 비트 스트림을 가변 길이 디코딩하여 움직임 벡터, 양자화 값, DCT(Discrete cosine Transform) 계수로 분리한 후 움직임 벡터는 움직임 보상부(MC : Motion Compensation)(111)로 출력한다. 상기 양자화 값 및 DCT 계수는 역양자화부(IQ : Inverse Quantized)(105)로 출력한다.

상기 역양자화부(105)는 상기 DCT 계수를 양자화 값에 따라 역 양자화하여 IDCT부(107)로 출력하고, 상기 IDCT부(107)는 MPEG-2 비디오 신택스에 맞게 매크로 블록 단위로 역양자화된 DCT 계수를 IDCT 하여 가산기(109)로 출력한다.

그리고, 움직임 보상부(111)는 상기 움직임 벡터와 프레임 메모리(Frame Memory)(115)에 저장된 이전 프레임을 이용하여 현재의 픽셀값에 대한 움직임 보상을 수행한 후 가산기(109)로 출력한다.

상기 가산기(109)는 IDCT된 값과 움직임 보상된 값을 더하여 최종 픽셀값인 완전한 영상으로 복원한 후 메모리 제어기(Memory controller)(113)를 통해 비디오 프레임 메모리(115)에 저장한다.

즉, I 픽처(Intra-picture)의 경우는 IQ/IDCT한 결과가 바로 프레임 메모리(115)에 저장되고, P 픽처(Predictive-Picture)나 B 픽처(Bi-directional picture)의 경우는 움직임 보상된 블록과 IDCT된 결과가 합쳐져서 프레임 메모리(115)에 저장된다. 상기 저장된 I 또는 P 픽처는 이후 스트림을 위한 레퍼런스 영상으로 사용된다.

이때, 상기 P 또는 B 픽처의 디코딩시 해당 픽처의 디코딩에 사용하는 레퍼런스 픽처 정보와 각 메크로 블록의 움직임 벡터는 본 발명에 따른 움직임 정보 저장부(Motion Info. storage)(117)에 저장된다. 상기 각 픽처에는 픽처 넘버(PIC_NUM)가 할당되고, 이를 사용해 인덱싱하게 된다. 상기 정보는 H.264 규격에 맞게 인코딩한 결과의 슬라이스(slice) 헤더에 같이 포함된다.

상기 움직임 정보 저장부(117)에 저장되는 양은 매크로 블록 단위의 동기된 트랜스 코딩을 수행하기 위한 2개 매크로 블록 정도의 움직임 벡터를 저장할 수 있는 공간이면 된다. 만약, 트랜스코딩을 픽처 단위로 적용할 경우에는 한장의 픽처를 구성하는 매크로 블록에 대한 매크로 블록 타입과 움직임 정보가 저장될 수 있는 공간이면 된다.

이와 같이, 상기 움직임 정보 저장부(117)에 저장된 움직임 정보는 이후 H.264 트랜스코더(200)에서 움직임 예측에 필요한 자료로써 활용된다. 이를 첨부한 도면을 참조하여 설명하면 다음과 같다.

도 6은 본 발명에 따른 H.264 트랜스코더의 내부 구성을 나타낸 블록도이다.

도 6과 같이, H.264 트랜스코더는 크게 예측부(Prediction block), 변환 및 양자화부(Transform and Quantization block) 및 엔트로피 코딩부(Entropy coding block)로 구성된다.

상기 예측부에서는 인터 프리딕션(Inter prediction)과 인트라 프리딕션(Intra prediction)을 수행한다.

상기 인터 프리딕션이란, 이미 디코딩이 수행되고 디블록킹 필터링(Deblocking filtering)이 수행되어 버퍼에 저장되어 있는 기준 픽처(reference ficture)를 이용하여 현재 픽처의 블록 예측을 수행하는 것을 의미한다. 즉, 픽처들간의 정보를 이용하여 예측을 수행하는 것이다. 이를 위하여 움직임 추정부(Motion estimation block) 및 움직임 보상부(Motion compensation block)(203)를 구비하게 된다.

상기 인트라 프리딕션이란, 이미 디코딩이 수행된 픽처 내에서, 예측하고자 하는 블록에 인접한 블록의 픽셀 데이터를 이용하여 예측을 수행하는 것을 의미한다.

상기 변환 및 양자화부는 상기 예측부에서 예측을 수행하여 얻은 예측 샘플을 변환(Transform)하고 양자화(Quantization)하여 압축한다. 상기 양자화된 데이 터는 엔트로피 코딩부(221)를 통해 소정의 방식에 따라 부호화를 수행하여 H.264 비트 스트림을 출력하게 된다.

이때, 본 발명에 따르면, 상기 움직임 추정부를 별도로 두는 대신에, 앞서 MPEG 2 디코더에서 저장한 움직임 벡터를 이용하게 된다. 즉, 움직임 정보 저장부(117)에 저장된 정보를 활용하는 것이다.

또한, 상기 움직임 추정부를 추가 움직임 예측부(Additional Motion estimation block)(201)로 대치한다. 따라서, 상기 추가 움직임 예측부(201)의 입력은 상기 움직임 정보 저장부(117)에 저장된 데이터와 현재 픽처 또는 매크로 블록의 영상 데이터 정보가 된다.

상기 추가 움직임 예측부(201)는 매크로 블록의 MPEG 2에서 넘겨진 매크로 블록 타입 정보가 P 또는 B이면 동작한다. 즉, 움직임 벡터, 레퍼런스 정보에 의해 움직임 벡터를 변환해서 바로 사용하던지 아니면 인접픽셀에 추가 움직임 추정을 하는 것이다. 상기 추가 움직임 추정이란 레퍼런스의 선택과 매크로 블록의 크기 정보를 벗어나지 않는 범위에서 원래 움직임 벡터 주위 한두 픽셀에 대한 정밀한 움직임 추정을 하게 되는 것을 의미한다.

이는 MPEG 2의 움직임 벡터가 1/2의 정밀도로 움직임 벡터를 추정하던 것에 비해 H.264의 움직임 벡터는 1/4(휘도영상 기준)까지의 움직임 벡터를 지원하므로, 원래 움직임 벡터 주위 값들에 대한 부가 움직임 벡터 추정을 실시하여 많지 않은 계산량으로 원래 값에 비해 더 정확한 움직임 벡터가 있는지 검사하고, 존재할 경우 이를 사용하여 그 차이값을 인코딩함으로써 압축 효율을 높이는 역할을 수행하 는 것이다. 이때, 더 간단한 구현을 위해서는 MPEG 2의 움직임 벡터를 그대로 사용할 수 있다.

본 발명에 따라 이러한 트랜스코더를 이용한 트랜스 코딩은 매크로 블록 단위의 처리를 수행하게 된다.(앞선 MPEG 2 디코더와의 연결은 픽처 또는 매크로 블록 단위로 이루어질 수 있다.)

즉, 이미 결정된 매크로 블록 타입(I or P/B)을 그대로 사용하는 것이다. 따라서, 상기 트랜스코더의 예측부는 MPEG 2 디코더(100)에서 넘겨진 매크로 블록 타입 정보에 의해 대치되고 단순화 되어 지는 것이다.

상기 매크로 블록이 I-타입, 인트라 프리딕션인 경우 ISO/IEC 14496-10이 지원하는 모든 인트라 모드를 탐색해서 프리딕션된 이미지와 실제 이미지와의 에러를 코딩하는 방법으로 인코딩 할 수 있으며, 일부 방식은 제한할 수 있다.(이에 관한 자세한 설명은 후술한다.)

이러한 매크로 블록 타입별 처리 방법을 첨부한 도면을 참조하여 좀 더 자세히 설명하면 다음과 같다.

도 7a 내지 7b는 본 발명에 따른 매크로 블록 타입별 처리 방법을 나타낸 도면으로, 도 7a는 I-타입에 대해, 도 7b는 P/B-타입에 대한 처리 방법을 나타내었다.

먼저, 도 7a와 같이, I-타입의 매크로 블록은, 16*16 모드 중 vertical, horizental, DC 모드의 세가지를 지원하는 경우, 인트라 모드에서 인트라 프리딕션의 상위 16개 픽셀 정보와 매크로 블록(즉, 바로 직전에 인코딩된 매크로 블록)의 가장 오른쪽열의 데이터를 구성하는 16개 픽셀 정보만을 가지고 가장 에러가 적은 방식을 선택하여 계산량을 줄이면서도 MPEG 2 인트라 타입의 매크로 블록에 비해 압축 효율을 높일 수 있게 된다. 이때, 계산량을 줄이기 위해 DC 인트라 모드만 사용하는 모드를 둘 수 있다.

즉, ISO/IEC 14496-10이 지원하는 모드 중 계산량을 줄이기 위해 제한적으로 vertical, horigental, DC 모드의 세가지만을 사용하거나, 아니면 DC 인트라 모드 한가지만을 사용하여 처리하는 것이다. 또한, 인트라 모드에 대해서는 프리딕션을 수행하지 않는 방법을 사용할 수 있다.

또한, 도 7b와 같이, P/B-타입의 매크로 블록은 움직임 벡터 정보와 그 참조 정보를 함께 입력받아 신택스 변경부(Syntax change block)에서 그 신택스를 변경시켜 줌으로써 H.264 포맷에 맞도록 변경시켜 준다.

따라서, P/B 타입의 매크로 블록과 함께 움직임 벡터 정보와 참조 리스트가 만들어진다.

이때, 필요에 따라 전술한 바와 같이, 추가적으로 움직임 추정이 필요한 경우, 추가 움직임 추정부(Additional Motion Estimation block)에서 움직임 추정을 수행하게 된다.

도 8은 본 발명에 따른 효과를 설명하기 위해 나타낸 H.264 블록 별 계산량을 나타낸 도면이다.

도 8과 같이, 움직임 추정(Motion estimation)에 필요한 블록의 계산량이 다른 블록의 계산량에 비해 많은 것을 알 수 있다.

따라서, MPEG 2 디코더에서 추정된 움직임 벡터값을 사용하는 본 발명에 따른 H.264 트랜스코더는 많지 않은 계산량으로 효율적으로 트랜스코딩을 수행하게 된다.

한편, 도 9는 본 발명에 따른 트랜스코딩시 GOP 단위의 프로세싱 과정을 나타낸 도면이다.

도 9와 같이, 트랜스코딩시 GOP 단위의 입력 영상을 MPEG 2 픽처 타입에 따라 H.264 포맷의 슬라이스 타입으로 매핑하게 되는데, 이때, 매크로 블록의 타입을 MPEG 2 I,P,B 각각이 H.264의 I,P,B로 매핑되는 과정은 전술한 바 있다.

따라서, 픽처 단위의 입력 처리는 I 픽처의 경우 한개 또는 여러개의 I 슬라이스로 구성되는 픽처로 디코딩할 수 있지만, PVR 등의 저장 장치에 사용될때의 디코더 처리 부담을 줄이고, 헤더를 여러 개 삽입함에 따른 코딩 부담을 줄이기 위해 픽처당 하나의 슬라이스로 인코딩한다. 즉, 도 8은 픽처당 하나의 슬라이스로 구현되는 예를 나타낸 것이다.

MPEG 2의 디코딩 순서에 따라 I,P,B,B 순으로 입력되는 스트림은 각각 하나 또는 몇개의 I,P,B,B 슬라이스들로 구성되는 픽처로 코딩되어져 인코딩 된다. 이때, H.264의 픽처 출력 규칙(output rule)에 따라 재정렬이 가능하도록 I,P 픽처 인코딩 후 적절한 레퍼런스 픽처 마킹(reference picture marking)과 픽처 아웃(picture out)을 위한 제어 데이터를 삽입해준다.

도 10은 본 발명에 따른 트랜스코더를 이용한 PVR에서의 구현예를 나타낸 도면이다.

도 10과 같이, PVR은 MPEG 2 비디오 신호인 공중파 등의 디지털 영상 신호와, 컴포넌트(component)나 NTSC등의 아날로그 영상 신호를 입력받아 디지털 처리하게 된다.

상기 디지털 영상 신호는 MPEG 2 디코더(100)를 통해 디코딩되어 디스플레이 프로세서(600)를 통해 화면에 출력되고, 이때 화면의 출력 여부와 관계없이 본 발명에 따른 H.264 트랜스코더(200)를 사용하여 픽처 또는 매크로 블록 단위로 트랜스코딩하여 HDD와 같은 저장매체(500)에 저장할 수 있다.

이와 같은 동작을 위해서, 상기 MPEG 2 디코더(100)는 전술한 바와 같이, 비디오 정보에 대한 움직임 벡터를 내부의 움직임 정보 저장부에 저장하게 되고, 상기 저장된 움직임 벡터를 사용하여 H.264 트랜스코더(200)에서 H.264 포맷으로 트랜스 코딩하게 된다.

한편, 상기 아날로그 영상 신호는 별도의 아날로그 영상 처리부(미도시)를 통해 영상 처리되어 디스플레이 프로세서(600)를 통해 화면에 출력되며, 상기 아날로그 영상의 저장을 위해서는 MPEG 2 인코더(300)로 입력되어 상기 MPEG 2 인코더(300)를 통해 MPEG 2 비트 스트림 형태로 인코딩된다.

상기 인코딩된 MPEG 2 비트 스트림은 H.264 트랜스코더(200)를 통해 H.264 포맷으로 트랜스코딩되어 저장매체(500)에 저장된다.

이때 상기 MPEG 2 인코더(300)는 상기 트랜스코더(200)에 입력되는 것을 전제로 하는 경우 상기 트랜스코더(200)와 MPEG 2 인코더(300)의 일부 기능만 활성화하여, 트랜스 코더(200)의 출력인 H.264 비트 스트림과 호환되는 제한적 규격의 비 트 스트림을 인코딩하는 H.264 인코더로써 구현될 수도 있다.

즉, MPEG 2 인코더(300)의 일부 기능이 동작하지 않게 함으로써 코딩 시간을 절약하고 전력 사용량을 줄이게 되는 것이다. 이때의 상기 MPEG 2 인코더(300)의 동작은 본 발명에 따라 움직임 벡터를 검출하는 기능 정도만 수행하면 된다.

이와 같은 방법으로 저장매체(500)에 저장된 영상은 H.264 디코더(400)를 통해 디코딩되어 디스플레이 프로세서(600)를 통해 화면에 출력된다.

상기 H.264 디코더(400)는 일반적인 H.264 디코더(400)를 사용하거나, 아니면 전술한 H.264 트랜스코더(200)에서 사용하는 모드와 통일함으로써 상기 트랜스코더(200)에서 코딩된 영상을 디코딩하는 간단한 H.264 디코더(400)로 구현될 수 있다.

한편, 입력되는 디지털 영상이 MPEG 2 ML@HP의 HD 영상인 경우에는 H.264의 Main profile 4.0 레벨 이상을 지원하는 디코더(400)를 사용한다.

또한, 본 발명에 따른 PVR은 오디오 데이터를 포함한 완전한 멀티미디어 데이터를 제공하기 위해 시스템 레벨의 패킷 처리 기능을 포함하게 된다.

즉, MPEG 2 데이터는 트랜스포트 레벨의 디멀티플렉싱 장치를 거치게 되므로, 상기 디멀티플렉싱된 데이터 중 비디오 PES는 전술한 MPEG 2 디코더(100)를 통해 처리되고, 오디오 PES는 DTS(Decoding Time Stamp) 디코딩 과정을 거치지 않고 상기 DTS에 따라 인덱싱된다. 이후, H.264 트랜스코더(200)의 출력 NAL 스트림을 픽처 단위 DTS와 매핑시켜 멀티플렉싱함으로써 AV 데이터를 갖는 영상으로 저장매체(500)에 저장된다.

본 발명은 상술한 실시예에 한정되지 않으며, 첨부된 청구범위에서 알 수 있는 바와 같이 본 발명이 속한 분야의 통상의 지식을 가진 자에 의해 변형이 가능하고 이러한 변형은 본 발명의 범위에 속한다.

상기에서 설명한 본 발명에 따른 비디오 트랜스코딩 장치, 방법 및 이를 이용한 PVR의 효과를 설명하면 다음과 같다.

첫째, MPEG 2 영상을 H.264로 트랜스코딩하는 경우 필요한 계산량을 줄여 하드웨어 비용을 낮추는 효과가 있다.

둘째, 상기 트랜스코더를 PVR에 적용함으로써 화질 열화 없이 높은 압축률로 저장 시간이 길어지는 효과가 있다.

Claims

MPEG-2 비트 스트림을 H.264 포맷으로 변환하는 비디오 트랜스코딩 방법에 있어서,

수신된 MPEG-2 비트 스트림을 디코딩하는 단계;

상기 디코딩된 MPEG-2 비트 스트림으로부터 레퍼런스 픽처 정보와 각각 P, B, I 타입 중 어느 하나의 타입을 갖는 매크로 블록의 움직임 벡터를 저장하는 단계;

상기 P 타입 또는 B 타입을 갖는 매크로 블록에 대해 상기 저장된 레퍼런스 픽처 정보와 움직임 벡터를 이용하여 인터 프리딕션을 수행하는 단계;

상기 P 타입 또는 B 타입을 갖는 매크로 블록에 대해, 상기 저장된 움직임 벡터와 함께 현재 픽처 또는 현재 매크로 블록의 영상 데이터 정보를 입력받아, 상기 저장된 레퍼런스 픽처 정보를 벗어나지 않는 범위에서 상기 저장된 움직임 벡터의 인접 픽셀에 대한 추가 움직임 추정을 수행하는 단계;

상기 I 타입을 갖는 매크로 블록에 대해 인트라 프리딕션을 수행하는 단계; 및

상기 프리딕션 결과를 이용하여 상기 디코딩된 MPEG-2 비트 스트림을 H.264 포맷으로 변환하는 단계를 포함하는 비디오 트랜스코딩 방법.
제 1 항에 있어서, 상기 레퍼런스 픽처 정보는

각 픽처에 PIC_NUM을 할당하여 MPEG 2 디코딩 오더순으로 인덱싱되는 비디오 트랜스코딩 방법.
제 2 항에 있어서, 상기 레퍼런스 픽처 정보는

상기 트랜스코딩된 결과의 슬라이스 헤더에 포함되는 비디오 트랜스코딩 방법.
삭제
제 1 항에 있어서, 상기 매크로 블록 중 I-타입의 매크로 블록은

vertical, horizental, DC 모드의 세가지 모드 또는 DC 모드의 한가지 모드로 프리딕션이 수행되는 비디오 트랜스코딩 방법.
제 1 항에 있어서, 상기 매크로 블록 중 I-타입의 매크로 블록은

프리딕션이 수행되지 않는 비디오 트랜스코딩 방법.
제 1 항에 있어서, 상기 매크로 블록 중 P/B-타입의 매크로 블록은

상기 움직임 벡터값과 그 참조 정보를 입력받아 H.264 포맷에 맞도록 신택스 변경하는 비디오 트랜스 코딩 방법.
제 1 항에 있어서,

상기 수신된 MPEG-2 비트 스트림의 디코딩 순서에 따라 I,P,B,B 순으로 입력되는 스트림을 각각 하나 또는 몇개의 I,P,B,B 슬라이스들로 구성되는 픽처로 코딩하는 비디오 트랜스 코딩 방법.
MPEG-2 비트 스트림을 H.264 포맷으로 변환하는 비디오 트랜스코딩 장치에 있어서,

수신된 MPEG-2 비트 스트림을 디코딩하고, 레퍼런스 픽처 정보와 각각 P, B, I 타입 중 어느 하나의 타입을 갖는 매크로 블록의 움직임 벡터를 저장하는 저장부를 포함하는 MPEG-2 디코더;

상기 저장된 레퍼런스 픽처 정보와 움직임 벡터를 이용하여 P 타입 또는 B 타입 매크로 블록에 대해 인터 프리딕션을 수행하고, I 타입 매크로 블록에 대해 인트라 프리딕션을 수행하는 예측부; 및

상기 P 타입 또는 B 타입을 갖는 매크로 블록에 대해, 상기 저장된 움직임 벡터와 함께 현재 픽처 또는 현재 매크로 블록의 영상 데이터 정보를 입력받아, 상기 저장된 레퍼런스 픽처 정보를 벗어나지 않는 범위에서 상기 저장된 움직임 벡터의 인접 픽셀에 대한 추가 움직임 추정을 수행하는 추가움직임예측부;를 포함하고,

상기 프리딕션의 결과를 이용하여 상기 디코딩된 MPEG-2 비트 스트림을 H.264 포맷으로 변환하는 H.264 트랜스코더를 포함하는 트랜스코딩 장치.
수신된 신호를 H.264 포맷으로 변환하여 저장하는 PVR에 있어서,

입력된 디지털 영상 신호를 디코딩하고, 레퍼런스 픽처 정보와 각각 P, B, I 타입 중 어느 하나의 타입을 갖는 매크로 블록의 움직임 벡터 정보를 저장하는 MPEG-2 디코더;

입력된 아날로그 영상 신호를 MPEG-2 비트 스트림으로 인코딩하며, 레퍼런스 픽처 정보와 각각 P, B, I 타입 중 어느 하나의 타입을 갖는 매크로 블록의 움직임 벡터 정보를 저장하는 MPEG-2 인코더;

상기 MPEG-2 인코더 및 디코더에서 저장된 레퍼런스 픽처 정보와 움직임 벡터값을 이용하여 P 타입 또는 B 타입 매크로 블록에 대해 인터 프리딕션 및 상기 저장된 움직임 벡터 정보와 함께, 현재 픽처 또는 현재 매크로 블록의 영상 데이터 정보를 입력받아, 상기 저장된 레퍼런스 픽처 정보를 벗어나지 않는 범위에서 상기 저장된 움직임 벡터 정보의 인접 픽셀에 대한 추가 움직임 추정을 수행하고, I 타입 매크로 블록에 대해 인트라 프리딕션을 수행하여, 상기 인코딩 또는 디코딩된 MPEG-2 비트 스트림을 H.264 포맷으로 변환하는 트랜스코더;

상기 트랜스코딩된 H.264 비트 스트림을 저장하는 저장매체; 및

상기 저장된 스트림을 디코딩하는 H.264 디코더를 포함하는 비디오 트랜스코더를 이용한 PVR.