KR19990015710A

KR19990015710A - 픽쳐 디코딩 동기화 회로 및 그 방법

Info

Publication number: KR19990015710A
Application number: KR1019970037984A
Authority: KR
Inventors: 김성봉
Original assignee: 윤종용; 삼성전자 주식회사
Priority date: 1997-08-08
Filing date: 1997-08-08
Publication date: 1999-03-05
Also published as: US6674801B1; CN1135851C; KR100247978B1; CA2244472C; CN1208311A; JPH11122608A; JP2950376B2; EP0896479A3; EP0896479A2; CA2244472A1

Abstract

본 발명은 픽쳐 디코딩 동기화 회로 및 그 방법이 개시되어 있다. 전송된 PTS와 DTS 정보를 이용하여 가변장 복호기에서 픽쳐 단위로 디코딩 동기를 제어할 때 전송되는 비트스트림의 오류를 고려하여 전송된 PTS와 DTS에 오류가 발생하면 이전 DTS와 소정의 옵셋값을 가산한 값을 현재 픽쳐의 DTS값으로 결정하고, 그렇지 않으면 전송된 PTS와 DTS를 이용하여 현재 픽쳐의 DTS값으로 결정한다. 결정된 DTS값을 이용하여 픽쳐 디코딩을 제어함으로써 비트버퍼의 언더플로우와 오버플로우가 발생되지 않고 자연스러운 디스플레이 화면을 제공한다.

Description

픽쳐 디코딩 동기화 회로 및 그 방법

본 발명은 비디오 디코더에 관한 것으로, 특히 가변장 복호기(이하 VLD라고 함)에서 그 전단에 위치한 비트버퍼의 상태가 언더플로우나 오버플로우가 되지 않도록 픽쳐 단위로 디코딩 동기를 제어하는 픽쳐 디코딩 동기화 회로 및 그 방법에 관한 것이다.

MPEG(moving pictures experts group)-2 비디오의 픽쳐 타입은 I(intra-coded) 픽쳐, B(bidirectionally-coded) 픽쳐, P(predictive-coded) 픽쳐 세 가지가 있고, MPEG-2 비디오는 프레임 픽쳐 또는 필드 픽쳐 단위로 코딩된다. I 픽쳐는 다른 픽쳐와 상관없이 디코딩될 수 있고, P 픽쳐는 이전의 I 또는 P 픽쳐로부터 디코딩될 수 있으며, B 픽쳐는 이전의 I와 P 픽쳐들과 이후의 I와 P 픽쳐들로부터 디코딩될 수 있다. 입력 픽쳐들이 I,B,P 픽쳐 모두 포함되어 있는 경우에는 디코딩 순서와 디스플레이(출력) 순서가 다르기 때문에 디코딩 타이밍과 출력 타이밍을 제대로 제어하여야만 원래의 화상으로 복원할 수 있다.

여기서, 기존의 픽쳐 디코딩 동기화 방법을 설명하기 위한 비디오 디코더의 블록도는 도 1에 도시되어 있다. 도 1에 있어서, PES(Packetized Elementary Stream) 디코더(10)는 입력되는 PES 스트림을 분석해서 비디오 기본스트림(elementary stream)은 비트버퍼(20)에 출력하고, 프리젠테션 타임 스탬프(Presentation Time Stamp:이하 PTS라고 함)와 디코딩 타임 스탬프(Decoding Time Stamp:이하 DTS라고 함)는 VLD(30)에 출력한다. VLD(30)는 비트버퍼(20)로부터 픽쳐(여기서는 프레임)단위로 출력되는 비디오 기본스트림을 입력하여 분석된 PTS와 DTS에 따라 그 픽쳐를 어느 시점에서 디코딩을 시작할 것인가를 결정하는 데, PTS와 DTS 둘 다 있는 경우는 DTS를, PTS만 있는 경우에는 PTS를 그 픽쳐의 디코딩 시점으로 결정한다.

단순히 PES 디코더(10)로부터 출력되는 PTS와 DTS값만을 이용하여 VLD(30)에서 픽쳐단위의 디코딩시점을 결정하게 되는 경우 전송된 비트스트림에 대하여 전송 채널상의 오류와 같은 원하지 않는 상황에 의해 PES 스트림이 손상되고, 그 손상된 부분이 PTS나 DTS라면 이를 이용하여 VLD(30)에서 픽쳐 단위로 동기를 맞추게 되면 원래의 디코딩 순서와 출력순서가 맞지 않게 된다.

즉, 오류에 의해 잘못된 PTS와 DTS값이 원래의 PTS와 DTS값과의 편차가 얼마만큼 벗어났느냐에 따라 VLD(30)에서는 소정수의 픽쳐들을 디코딩을 하지 않고 버릴것인가 또는 소정 시간동안 기다릴것인가가 결정된다. 이로 인해 디코딩된 출력을 화면에 디스플레이하게 되면 상당히 부자연스러운 결과를 얻게 되는 문제점이 있었다.

상기한 문제점을 극복하기 위하여, 본 발명의 목적은 비디오 디코더에 있어서 전송된 PTS와 DTS에 오류가 없는 경우에만 이들을 사용하여 디코딩하고, 그렇지 않은 경우에는 이들을 사용하지 않음으로써 비트버퍼의 상태가 오버플로우 또는 언더플로우되지 않으면서 자연스러운 화면을 제공하는 픽쳐 디코딩 동기화 회로를 제공하는 데 있다.

본 발명의 다른 목적은 전송된 PTS와 DTS에 오류가 없는 경우에만 이들을 사용하여 디코딩하고, 그렇지 않은 경우에는 이들을 사용하지 않는 픽쳐 디코딩 동기화 방법을 제공하는 데 있다.

상기한 목적을 달성하기 위하여, 본 발명에 의한 픽쳐 디코딩 동기화 회로는 입력 비트스트림에 함께 전송된 프리젠테션 타임 스탬프(PTS)와 디코딩 타임 스탬프(DTS)가 오류에 의해 왜곡되었는지를 검출해서 검출신호를 출력하는 검출기, 검출신호에 따라 전송된 PTS와 DTS에 오류가 검출되지 않으면 전송된 PTS와 DTS를 이용해서 DTS값을 결정하고, 그렇지 않으면 이전 픽쳐의 DTS값에 소정의 옵셋값을 가산한 값을 이용해서 DTS값을 결정하는 결정기 및 입력 비트스트림을 픽쳐단위로 결정된 DTS값에 동기화하여 디코딩하는 디코더를 포함함을 특징으로 한다.

상기한 다른 목적을 달성하기 위하여, 본 발명에 의한 픽쳐 디코딩 동기화 방법은 입력 비트스트림에 함께 전송된 프리젠테션 타임 스탬프(PTS)와 디코딩 타임 스탬프(DTS)가 오류에 의해 왜곡되었는지를 판단하는 단계, 전송된 PTS와 DTS에 오류가 발생되지 않으면 전송된 PTS와 DTS를 이용해서 DTS값을 결정하고, 그렇지 않으면 이전 픽쳐의 DTS에 소정의 옵셋값을 가산한 값을 이용해서 DTS값을 결정하는 단계 및 입력 비트스트림을 픽쳐단위로 결정된 DTS값에 동기화하여 디코딩하는 단계를 포함함을 특징으로 한다.

도 1은 종래의 픽쳐 디코딩 동기화 방법을 설명하기 위한 비디오 디코더의 블록도이다.

도 2는 본 발명에 의한 픽쳐 디코딩 동기화 회로의 일 실시예에 따른 블록도이다.

도 3은 PTS와 DTS가 정상인 경우의 도 2에 도시된 픽쳐 디코딩 동기화 회로의 동작상태도이다.

도 4는 PTS와 DTS에 오류가 발생한 경우의 도 2에 도시된 픽쳐 디코딩 동기화 회로의 동작상태도이다.

이하, 첨부된 도면을 참조하여 본 발명에 의한 픽쳐 디코딩 동기화 회로 및 그 방법의 바람직한 실시예를 설명하기로 한다.

도 2는 본 발명에 의한 픽쳐 디코딩 동기화 회로의 일 실시예에 따른 블록도이다. 도 2에 있어서, PES 스트림이 PES 디코더(100)로 입력되면, 이 PES 디코더(100)는 PES 스트림을 분석(parsing)해서 비디오 기본스트림에 해당하는 PES 패킷만을 선택하고, 선택된 PES 패킷의 헤더를 제거하여 기본스트림을 출력한다. 이 기본스트림은 비트버퍼(110)에 기입되고, 이후 설명될 홀드신호(hold)와 스킵신호(skip)에 의해 독출된다.

VLD(120)는 MPEG-2 신텍스(syntax)에 의해 정의된 신호들을 출력하는 데 그 종류는 전송되는 픽쳐가 프레임 단위인지 필드 단위인지를 나타내는 픽쳐구조신호(pic_struct), GOP(group of picture)가 검출됐음을 알려주는 GOP 헤더검출신호(gop_hd_det), GOP내에 존재하는 픽쳐들의 디스플레이순서를 나타내는 시간기준정보(temp_ref), VLD(120)에 입력되는 픽쳐들이 I 픽쳐, P 픽쳐 또는 B 픽쳐인지를 나타내는 픽쳐타입신호(pic_type), 픽쳐헤더의 검출을 알려주는 픽쳐헤더검출신호(pic_hd_det)이다.

픽쳐 카운터(130)는 VLD(120)로부터 출력되는 픽쳐구조신호(pic_struct), GOP 헤더검출신호(gop_hd_det), 픽쳐헤더검출신호(pic_hd_det)를 입력받아 픽쳐단위로 카운트한다. 즉, 픽쳐헤더검출신호(pic_hd_detect)에 동기하여 업 카운팅을 하게 되는 데 픽쳐구조신호(pict_struct)가 3이면(프레임 픽쳐를 나타냄) 매 픽쳐헤더검출신호(pic_hd_detect)가 검출될 때마다 카운팅을 하고, 3이 아니면(필드 픽쳐를 나타냄) 2개의 픽쳐헤더검출신호(pic_hd_detect)가 검출될 때마다 카운팅을 하게 된다. 또한, 픽쳐 카운터(130)는 GOP 헤더검출신호(gop_hd_detect)가 입력될 때, 픽쳐헤더검출신호(pic_hd_detect)에 동기하여 카운트값을 0으로 리셋시킨다. 즉, 픽쳐 카운터(130)는 GOP단위로 리셋되고, GOP내의 픽쳐수를 카운트한다.

DTS 발생기(150)는 PES 디코더(100)로부터 분석된 DTS와 PTS, 마스크 발생기(140)에서 발생된 DTS 마스크신호(dts_mask)를 이용하여 VLD(120)에서 디코딩을 위하여 사용되는 복호된 DTS값(decoded_dts)를 발생시켜서 VLD(120)에서 출력되는 픽쳐헤더검출신호(pic_hd_detect)에 의해 래치하고 있다.

마스크 발생기(140)는 VLD(120)에서 출력되는 픽쳐타입신호(pic_type)와 시간기준정보(temp_ref), 픽쳐 카운터(130)에서 카운트된 픽쳐 카운트값(pic_count)과 DTS 발생기(150)에서 발생된 복호된 DTS값(decoded_dts)을 이용하여 DTS 마스크신호(dts_mask)를 발생시키는 데, 이 DTS 마스크신호(dts_mask)는 전송된 PTS와 DTS에 오류가 발생되었음을 나타내고, 전송된 PTS와 DTS에 오류가 발생된 픽쳐에서 전송된 PTS와 DTS에 오류가 발생되지 않는 GOP의 첫 번째 픽쳐(I 픽쳐)가 검출될 때까지 액티브한 신호이다. 이에 대해서는 도 4에서 보다 더 상세히 설명하기로 한다.

DTS 발생기(150)에서는 현재 픽쳐의 복호된 DTS값(decoded_dts)이 픽쳐헤더검출신호(pic_hd_detect)에 의해 래치하고 있으므로 마스크 발생기(140)에서 마스크신호(dts_mask)를 셋 또는 리셋시킬 것인가에 대한 결정은 픽쳐헤더검출신호(pic_hd_detect)가 검출된 후 하나 또는 두 클럭 지연된 후 이루어진다.

이렇게 발생된 복호된 DTS값(decoded_dts)을 감산기(170)에 인가한다. 래치(160)는 전송 패킷 스트림(transport packet stream)의 헤더에 실려 있는 PCR(Program Clock Reference)에 동기되어 초당 90KHz의 레이트(rate)로 증가하는 STC(System Time Clock)를 래치한다. 감산기(170)는 래치(160)에 래치된 STC값(STC)으로부터 복호된 DTS값(decoded_dts)을 감산하여 감산한 결과에 대한 절대값과 소정의 문턱값을 비교하여 비교 결과를 홀드판단기(180) 및 스킵판단기(190)에 출력한다. 여기서, 문턱값은 소정의 상수(여기서는 900)로서, 홀드 또는 스킵 허용범위를 나타내는 한계치이다.

홀드 판단기(180)는 이 비교 결과를 토대로 하여 디코딩을 진행하지 않고 대기하라는 홀드신호(hold)를 발생해서 VLD(120)에 출력하고, 스킵 판단기(190)는 이 비교 결과를 토대로 하여 현재 픽쳐를 디코딩하지 않고 버리라는 스킵신호(skip)를 발생하여 VLD(120)에 출력한다.

이 홀드 판단기(180)와 스킵 판단기(190)에서 현재 픽쳐에 대해 홀드할지 또는 스킵할지를 결정해야 하는 시점은 픽쳐헤더검출신호(pic_hd_detect)가 검출된 후 복수개의 클럭이 지연된 시점이 되며 이 결정 시점에서 홀드신호(hold) 또는 스킵신호(skip)가 발생된다. 여기서, 감산기(170), 홀드 판단기(180) 및 스킵 판단기(190)의 상세한 구성 및 동작설명은 일 예로서 동출원인에 의해 출원된 대한민국 특허출원번호 제96-38453호에 개시되어 있다.

지금부터 PES 디코더(100)에서 분석된 PTS와 DTS가 오류에 의해 왜곡되었는지를 판단하는 방법과 이 판단결과에 따라 결정되는 픽쳐 단위의 DTS를 이용하여 VLD(120)에서 비트버퍼(110)에 오버플로우나 언더플로우를 발생시키지 않고 픽쳐 단위로 결정된 DTS값에 동기화하여 디코딩하는 방법에 대하여 도 2 내지 도 4를 참조하여 설명한다. 본 발명에서는 오류에 의해 왜곡된 PTS와 DTS가 발견되면 이를 사용하지 않게 된다.

먼저, PES의 헤더에 실려 전송되는 PTS와 DTS는 다음과 같은 의미의 관계를 갖는다. DTS는 PES 헤더에서 검출되고, PES 디코더(100)의 출력인 비디오 기본스트림상에서 그 DTS에 해당하는 픽쳐를 언제 디코딩되어야 할 지를 나타낸다. PTS도 PES 헤더에서 검출되고, 그 PTS에 해당하는 픽쳐를 언제 화면에 디스플레이할 지를 나타낸다. PTS가 필요한 것은 디스플레이순서와 디코딩순서가 픽쳐의 종류에 따라 다르기 때문이다.

DTS와 PTS 관계는 다음과 같은 규칙에 의해 결정된다. I와 P 픽쳐의 DTS와 PTS의 관계는 B 픽쳐의 개수에 따라 가변적인 차이를 갖고, B 픽쳐는 DTS와 PTS가 같다. DTS는 매 픽쳐마다 일정한 옵셋(offset)을 가지고 증가한다. 옵셋값은 디코딩되는 기본 비트스트림의 프레임 레이트와 관계가 있다. 예를 들어, 프레임 레이트가 30인 경우 그것의 옵셋은 90000/30으로 3000이 된다. 여기서, 90000은 도시되지 않은 비디오 인코더측에서 사용되는 90KHz 단위 클럭을 나타낸다. DTS가 결정되면 PTS는 수학식 1에 의해 결정된다.

PTS = N+(temporal reference+1)offset

여기서, 옵셋은 3000이고, N은 GOP내의 첫 번째 픽쳐의 DTS값을 나타낸다. 시간기준정보(temporal_reference)는 그 GOP내에 존재하는 픽쳐들의 디스플레이순서를 나타낸다.

예를 들어, 도 3의 (a)에 도시된 바와 같이 임의의 GOP내의 픽쳐의 수가 9개이고, B 픽쳐가 기준 픽쳐(I 또는 P 픽쳐) 사이에 2개씩 존재한다면 시간기준정보는 201534867이 된다. 여기서, 도 3의 (a)는 비트버퍼(110)에 입력 픽쳐 순서에 따른 데이터가 채워진 정도(occupancy)를 나타내고 있고, I2에서 I는 I 픽쳐를 나타내고, 2는 시간기준정보를 나타낸다.

도 3의 (b)와 (c)는 각각 임의의 픽쳐들에 대한 비디오 인코더에서 결정된 DTS와 PTS를 도시하고 있다. 예를 들어 GOP의 첫 번째 픽쳐인 I 픽쳐(I2 도시됨)의 DTS를 N이라 하면 P5 픽쳐의 DTS는 N+3M이 되고, PTS는 N+6M이 된다.

도 3의 (d) 내지 (h)는 전송된 비트스트림상에 오류가 전혀 없는 즉, 전송된 PTS와 DTS에도 오류가 없는 정상인 경우에 이상적으로 VLD(120)가 DTS에 동기하여 디코딩을 하는 동작상태를 나타내고 있다.

부가적으로, 비디오 인코더에서는 PTS와 DTS를 전송할 때 임의의 픽쳐에 있어서 이들 값이 다를 경우에만 두 개 모두를 전송하고, 같은 경우에는 PTS만을 전송한다. 따라서, B 픽쳐에 대해서는 DTS를 전송하지 않는다. 그러나, PTS없이 DTS 단독으로 전송될 수는 없다. 그리고, PTS와 DTS는 매 픽쳐마다 전송되어야만 하는 것은 아니다. MPEG-2 규정에 의하면 비디오 인코더에서 0.7sec이내에 최소한 한번 이상 전송되기만 하면 된다.

도 3의 (d)에 도시된 픽쳐헤더검출신호(pic_hd_det)는 VLD(120)에서 픽쳐 헤더들의 디코딩을 완료했을 때 발생된다. PES 디코더(100)에서 분석된 PTS와 DTS는 도 3의 (e)와 (f)에 도시된 바와 같으며, 이 PTS와 DTS는 DTS 발생기(150)에서 픽쳐헤더검출신호(pic_hd_det)에 의해 래치된다.

PTS와 DTS에 오류가 없는 정상 상태에서의 기본적인 픽쳐 디코딩방법은 다음과 같다. DTS 발생기(150)는 임의의 픽쳐에 대해 전송된 타임 스탬프가 PTS와 DTS 둘다 전송되면 DTS를 그 픽쳐의 DTS로 결정하고, PTS만 전송되면 그 PTS를 DTS로 결정해서 복호된 DTS값(decoded_dts)을 발생한다. 그리고 PTS와 DTS가 없는 픽쳐에 대해서는 그 전 픽쳐의 DTS에 옵셋을 가산한 값을 현재 픽쳐의 DTS로 결정해서 복호된 DTS값(decoded_dts)을 출력한다 그 결과 최종 결정된 DTS는 도 3의 (c)에 도시된 비디오 인코더에서 결정된 DTS와 같게 된다.

또한, 픽쳐헤더검출신호(pic_hd_det)에 의해 전송패킷(TS) 스트림의 헤더에 포함되어 있는 PCR(Program Clock Reference)에 동기되어 초당 90KHz의 레이트로 증가하는 STC(System Time Clock)를 래치(160)에서 래치하고, 래치된 STC값과 디코딩된 DTS값을 감산기(170)에서 감산하여 그 값이 음의 값이면 VLD(120)의 디코딩을 홀드하고, 양의 값이면 현재 픽쳐를 디코딩을 하지 않고 버릴 수 있는 조건이 된다.

감산기(170)는 STC값로부터 디코딩한 DTS값을 감산한 결과의 범위가 소정의 문턱값(여기서는 900)보다 큰 값인지를 판단한다. 이를 위해 감산한 값의 절대값을 취하고, 문턱값과 그 절대값을 감산하여 감산한 값이 음인지 양인지를 판단한다. 판단한 결과가 양이면 절대값이 문턱값보다 작은 경우이므로 홀드나 스킵을 발생시키지 않고, 음이면 홀드나 스킵을 발생시킬 수 있게 된다. 이렇게 문턱값과 절대값을 감산한 값까지 구한 다음 픽쳐헤더검출신호(pic_hd_det)를 소정클럭 지연시킨 결정 시점(도 3의 (g))에서 현재 픽쳐의 스킵을 위한 스킵신호 또는 현재의 픽쳐의 홀드를 위한 홀드신호를 발생시킬 것인가를 졀정한다.

홀드 판단기(180)에서, 감산기(170)의 출력에 근거하여 도 3의 (d)에 도시된 픽쳐헤더검출신호(pic_hd_det)보다 소정개수의 클럭이 지연된 결정 시점(도 3의 (g))에서 도 3의 (h)에 도시된 바와 같은 로직 로우의 홀드신호(hold)가 발생하면 VLD(120)에서는 입력 픽쳐의 디코딩을 홀드하고, 마찬가지로 스킵 발생기(190)에서, 감산기(170)의 출력에 근거하여 결정 시점에서 스킵신호(skip)가 발생하면 VLD(120)에서는 스킵신호가 발생하는 동안 입력되는 현재 픽쳐들을 디코딩하지 않고 버린다. 도 3에서는 예로서, 매 픽쳐마다 홀드가 발생한 경우를 나타낸다.

결론적으로, VLD(120)는 하나의 픽쳐를 디코딩한 결과가 옵셋 기간이내에 디코딩을 완료하면 그때의 STC에서 디코딩한 DTS값을 감산한 값이 음이고, 그 감산한 값의 절대값이가 문턱값 범위밖에 있으면 홀드신호를 발생시키켜서 하나의 픽쳐의 디코딩기간을 1/picture rate 로 조절하고, 반대로 하나의 픽쳐를 디코딩한 결과가 옵셋 기간이내에 디코딩을 완료못하면 STC에서 디코딩한 DTS값을 감산한 값이 양이 되고, 그 감산한 값의 절대값이 문턱값 범위밖에 있으면 스킵신호를 발생시켜 그 픽쳐를 디코딩않고 버리게 하여 다음 프레임의 디코딩에 대비한다.

지금까지는 정상상태에서 PTS와 DTS를 이용한 VLD에서의 픽쳐단위의 디코딩 동기화 방법에 대하여 설명하였는데 이제부터 본 발명의 요지인 오류를 고려한 PTS와 DTS를 이용한 픽쳐 디코딩 동기화방법에 대하여 설명한다.

여기서, 오류는 전송된 PTS와 DTS가 오류에 의해 PES 디코더(100)에서 검출되지 못한 경우와 전송된 PTS와 DTS가 PES 디코더(100)에서는 검출이 되었으나 오류에 의해 인코더에서 원래 의도한 값과 다르게 디코딩된 경우의 2가지가 될 수 있다.

전자의 경우에는 검출되지 못한 PTS와 DTS에 해당하는 기본스트림의 픽쳐가 오류에 의해 손상되지 않았다면 VLD(120)는 그 픽쳐에는 타임 스탬프가 없는 것으로 판단해서 바로 전 픽쳐의 DTS에 옵셋값을 가산한 값을 그 픽쳐의 DTS로 사용해서 디코딩하면 되므로 문제가 없다. 그렇지 않고 그 픽쳐가 오류에 의해 VLD(120)에서 그 픽쳐 자체를 버려버린다면 이후 픽쳐에서 발견되는 PTS와 DTS에 의해 그 PTS와 DTS에 해당하는 픽쳐에서 홀드가 발생하기 때문에 VLD(120)에서 검출하지 못한 픽쳐에 해당하는 수만큼의 픽쳐만 디코딩이 어긋난다.

그러나, 후자의 경우에는 전송된 PTS와 DTS가 원래의 값보다 매우 큰 경우라면 문제가 심각해진다. PTS와 DTS는 33비트의 값을 갖게 되므로 MSB(Most Significant Bit)에 가까운 1비트라도 0에서 1로 변경되었다면 감산기(170)에 의해 STC에서 디코딩된 DTS값을 감산한 값이 매우 큰 차이를 갖게 되므로 긴시간동안 홀드될 수 있다. 전송된 PTS와 DTS가 원래의 값보다 작은 경우라면 STC에서 디코딩된 DTS값을 감산한 값이 매우 커더라도 이어지는 PTS와 DTS가 발견될 때가지의 픽쳐들을 스킵하므로 큰 영향을 미치지 못한다.

본 발명에서는 후자의 경우중에서 전송된 PTS와 DTS가 원래의 값보다 매우 큰 경우를 대비하여 도 2에 도시된 바와 같이 시간기준정보(temp_ref)를 이용하고, 픽쳐 카운터(130), 마스크 발생기(140) 및 DTS 발생기(150)를 사용한다. 이 픽쳐 카운터(130)는 VLD(120)에서 출력되는 픽쳐헤더검출신호(pic_hd_det)에 동기되게 카운팅동작을 하게 되며, GOP내의 첫 번째 픽쳐에서 0으로 리셋되고, 그렇지 않은 경우에는 1씩 증가한다.

하나의 GOP내에서 PTS, DTS, 시간기준정보 그리고 픽쳐 카운터의 출력은 오류가 없는 정상적인 경우 다음 수학식 2와 수학식 3과 같은 관계를 갖는다.

PTS=전송 DTS+(temporal reference-p icture count value+1)offset

전송 DTS=이전 DTS+offset

본 발명에서는 이러한 관계를 이용하여 VLD(120)에 입력되는 픽쳐가 I 픽쳐 또는 P 픽쳐라면 수학식 2의 조건이 만족하지 않으며, B 픽쳐라면 수학식 3의 조건이 만족하지 않으므로 즉, 현재의 입력 픽쳐가 수학식 2 또는 수학식 3의 조건이 만족하지 않으면 현재의 입력 픽쳐로부터 GOP의 마지막 픽쳐까지 전송된 PTS와 DTS를 사용하지 않는다. 또한, 이어지는 다음 GOP의 첫 번째 픽쳐가 I 픽쳐이면서 PTS와 DTS 모두 존재하고 위의 조건이 만족하지 않는 경우에도 그 GOP에 대해서 계속 전송된 PTS와 DTS를 사용하지 않는다. 즉, 이 조건을 만족하는 GOP의 첫 번째 픽쳐가 발견될 때까지의 모든 픽쳐에 대해서는 전송된 PTS와 DTS를 무시한다.

MPEG 규정상 GOP의 첫 번째 픽쳐는 I 픽쳐이고 I 픽쳐에서는 타임 스탬프가 존재한다면 PTS, DTS 모두 존재하여야 한다. 도 4에서는 이러한 관계를 예를 들어 설명하였는데, 설명의 편의상 임의의 숫자를 적용하여 설명한다. 그리고, 오류의 종류는 전송된 PTS와 DTS가 오류에 의해 PES 디코더(100)에서 검출되지 못하고 그 PTS,DTS에 해당하는 픽쳐의 비트도 오류에 의해 VLD(120)에서 무시되어 버리게 되는 경우이다.

즉, 도 4의 (a)에 도시된 바와 같이 P5에 해당하는 픽쳐의 PTS와 DTS가 전송되지 않고 비트들이 손상되어 VLD(120)에서 버리게 되고, 이어지는 B3 픽쳐의 PTS가 검출되고 그 픽쳐에 해당하는 픽쳐헤더가 검출되어 도 4의 (b)에 도시된 바와 같은 픽쳐헤더검출신호(pic_hd_det)가 발생된다.

이때의 전송 PTS는 도 4의 (c)에 도시된 바와 같이 45000이고, B 픽쳐이므로 DTS 발생기(150)에서는 이 PTS를 DTS값으로 해석한다. 도 4의 (d)는 전송 DTS를 나타내고 있다. 도 4의 (e)는 픽쳐 카운터(130)에서 VLD(120)에서 출력되는 픽쳐구조신호(pic_struct)와 픽쳐헤더검출신호(pic_hd_det)에 따라 픽쳐를 카운트한 값이다.

이 B3 픽쳐에 대한 DTS 발생기(150)에서 디코딩된 DTS값은 수학식 3의 조건을 만족하지 않으므로 이때 마스크 발생기(140)는 도 4의 (f)에 도시된 바와 같은 DTS 마스크신호(dts_mask)를 로직 로우의 액티브신호를 발생한다. 이 DTS 마스크신호(dts_mask)는 상술한 바와 같이 이어지는 GOP의 첫 번째 I 픽쳐가 위 수학식 2 및 수학식 3에 나타낸 조건을 모두 만족할 때까지 로직 로우상태로 유지된다. 이 DTS 마스크신호(dts_mask)가 로직 로우인동안에는 전송된 PTS나 DTS를 적용하지 않고 픽쳐헤더검출신호가 발견될 때마다 이전 픽쳐의 DTS에 옵셋을 가산한 값을 디코딩된 DTS값으로 사용하게 된다. 따라서, DTS 발생기(150)는 도 5의 (g)에 도시된 바와 같은 디코딩된 DTS값(decoded_dts)을 출력한다.

이어지는 GOP에서 첫 번째 I 픽쳐의 PTS와 DTS가 수학식 2 및 3의 조건을 만족하면 이어지는 GOP의 첫 번째 I 픽쳐에서 DTS 마스크신호(dts_mask)는 로직 하이로 되고, 이 첫 번째 I 픽쳐의 전송 DTS를 그 I 픽쳐의 DTS로서 디코딩한다. VLD(120)는 DTS 마스크신호(dts_mask)가 로직 로우인동안 STC값에서 디코딩된 DTS값을 감산한 값과 문턱값에 따라 픽쳐단위로 디코딩을 하거나 홀드나 스킵하다가 도 4의 (f)에 도시된 DTS 마스크신호(dts_mask)가 로직 하이가 되면 오류에 반영되지 않았던 픽쳐에 의한 PTS나 DTS의 영향이 반영되는 데, 즉, STC값에서 디코딩된 DTS값을 감산한 값의 차이가, 오류에 의해 VLD(120)에서 무시되었던 픽쳐수(도 4에서는 1개(P5))옵셋이상(도 4의 (i)에서는 -3900) 커지게 되며, 도 4의 (l)에 도시된 바와 같이 STC값에서 디코딩된 DTS값의 감산한 값의 절대치(도 4의 (I)에서는 3900)만큼 I 픽쳐가 홀드된다.

도 4의 (h)는 픽쳐헤더검출신호(pic_hd_det)에 의해 래치(160)에서 래치한 STC한 값이고, 도 4의 (i)는 래치(160)에 래치된 STC값에서 DTS 발생기(150)에서 디코딩된 DTS를 감산한 값이다. 도 4의 (j)는 문턱값(여기서는 900)이다.

한 GOP내의 모든 픽쳐에 대한 VLD 디코딩이 옵셋값인 3000이내에 완료하였으므로, 도 4의 (i)에 도시된 바와 같이 STC값에서 디코딩된 DTS값을 감산한 값은 모두 음의 값을 갖는다. 이것의 절대값을 구하고 이 절대값이 도 4의 (k)에 도시된 결정 시점에서 판단하여 문턱값범위를 벗어나면 스킵이나 홀드가 발생하고, 그렇지 않은 경우에는 디코딩을 계속한다. 도 4의 (l)은 홀드 판단기(180)에서 로직 로우의 홀드신호가 발생하는 동안 VLD(120)는 동작을 일시 정지하게 된다.

본 발명은 전송된 DTS와 PTS가 오류가 발생되더라도 디코딩된 영상데이터가 화면에 디스플레이될 때 화면이 끊기지 않고 보다 자연스러운 화면을 얻을 수 있는 효과가 있다.

Claims

입력 비트스트림에 함께 전송된 프리젠테션 타임 스탬프(PTS)와 디코딩 타임 스탬프(DTS)가 오류에 의해 왜곡되었는지를 검출해서 검출신호를 출력하는 검출기;

상기 검출신호에 따라 상기 전송된 PTS와 DTS에 오류가 검출되지 않으면 상기 전송된 PTS와 DTS를 이용해서 DTS값을 결정하고, 그렇지 않으면 이전 픽쳐의 DTS값에 소정의 옵셋값을 가산한 값을 이용해서 DTS값을 결정하는 결정기; 및

상기 입력 비트스트림을 픽쳐단위로 상기 결정된 DTS값에 동기화하여 디코딩하는 디코더를 포함함을 특징으로 하는 픽쳐 디코딩 동기화 회로.
제1항에 있어서, 상기 검출기는

GOP(Group of Picture) 단위로 픽쳐수를 업카운팅해서 픽쳐카운트값을 출력하는 픽쳐카운터; 및

입력 픽쳐가 I,B 또는 P 픽쳐인지를 나타내는 픽쳐타입신호와 GOP내의 픽쳐들의 디스플레이순서를 나타내는 시간기준정보, 상기 픽쳐카운트값을 이용하여 상기 전송된 DTS와 PTS에 오류 발생을 검출하여 검출신호를 발생하는 발생기를 포함함을 특징으로 하는 픽쳐 동기화 회로.
제2항에 있어서, 상기 검출기는 입력되는 I 픽쳐와 P 픽쳐의 PTS가 아래 조건을 만족하는지를 검출해서 만족하지 않으면 검출신호를 발생하는 것을 특징으로 하는 픽쳐 디코딩 동기화 회로.

PTS=전송 DTS+(시간기준정보-픽쳐카운트값+1)옵셋
제2항에 있어서, 상기 검출기는 입력되는 B 픽쳐의 DTS가 아래 조건을 만족하는지를 검출해서 만족하지 않으면 검출신호를 발생하는 것을 특징으로 하는 픽쳐 디코딩 동기화 회로.

전송 DTS=이전 DTS+옵셋
제1항에 있어서, 상기 검출기는 현재 픽쳐의 PTS와 DTS에 오류가 검출되면, 현재 픽쳐부터 상기 전송된 PTS와 DTS에 오류가 검출되지 않은 GOP의 첫 번째 픽쳐전까지 액티브상태의 검출신호를 발생하는 것을 특징으로 하는 픽쳐 디코딩 동기화 회로.
전송되는 비트스트림으로부터 비디오 기본스트림, 프리젠테션 타임 스탬프(PTS), 디코딩 타임 스탬프(DTS) 및 시스템 타임 클럭(STC)을 추출하는 추출기;

상기 비디오 기본스트림을 일시 저장하는 비트버퍼;

상기 비트버퍼가 오버플로우와 언더플로우가 되지 않도록 하기 위하여 상기 비트버퍼에 저장된 비디오 기본스트림의 디코딩을 제어하고, 상기 비디오 기본스트림의 헤더를 분석해서 기준시간정보, 픽쳐구조신호, GOP(Group of Picture) 헤더검출신호 및 픽쳐타입신호를 출력하는 가변장 복호기; 및

상기 DTS와 PTS에 오류가 발생했는지를 판단하여 상기 PTS와 DTS에 오류가 발생되면 이전 픽쳐의 DTS와 소정의 옵셋값을 가산한 값을 DTS로 결정하여 결정된 DTS값을 이용하여 상기 디코딩을 제어하는 제어신호들을 발생하는 디코딩 제어기를 포함함을 특징으로 하는 픽쳐 디코딩 동기화 회로.
제6항에 있어서, 상기 디코딩 제어기는

상기 픽쳐구조신호와 상기 픽쳐헤더검출신호에 따라 픽쳐수를 업카운팅해서 픽쳐카운트값을 출력하되, 상기 GOP 헤더검출신호에 따라 리셋하는 픽쳐카운터;

상기 픽쳐타입신호, 시간기준정보 및 픽쳐카운트값을 이용하여 상기 DTS와 PTS에 오류의 발생을 판단하여 마스크신호를 발생하는 제1 발생기;

상기 마스크신호가 발생되면 이전 픽쳐의 DTS에 소정의 옵셋값을 가산한 디코딩된 DTS값을 발생하고, 그렇지 않으면 전송된 PTS와 DTS에 근거하여 디코딩된 DTS값을 발생하는 제2 발생기;

상기 STC값으로부터 상기 디코딩된 DTS값을 감산하여 감산한 결과에 대한 절대값과 소정의 문턱값을 비교하여 비교 결과를 출력하는 감산기;

상기 비교 결과에 따라 디코딩을 진행하지 않고 대기하라는 홀드신호를 발생해서 상기 가변장 복호기에 출력하는 홀드 판단기; 및

상기 비교 결과에 따라 현재 픽쳐를 복호화하지 않고 버리라는 스킵신호를 발생해서 상기 가변장 복호기에 출력하는 스킵 판단기를 포함함을 특징으로 하는 픽쳐 디코딩 동기화 회로.
제7항에 있어서, 상기 제1 발생기는 입력되는 I 픽쳐와 P 픽쳐의 PTS가 아래 조건을 만족하지 않으면 마스크신호를 발생하는 것을 특징으로 하는 픽쳐 디코딩 동기화 회로.

PTS=전송 DTS+(시간기준정보-픽쳐카운트값+1)옵셋
제7항에 있어서, 상기 제1 발생기는 입력되는 B 픽쳐의 DTS가 아래 조건을 만족하지 않으면 마스크신호를 발생하는 것을 특징으로 하는 픽쳐 디코딩 동기화 회로.

전송 DTS=이전 DTS+옵셋
제7항에 있어서, 상기 제1 발생기는 현재 픽쳐의 PTS와 DTS에 오류가 발생되면 현재 픽쳐부터 전송된 PTS와 DTS에 오류가 발생되지 않은 GOP의 첫 번째 픽쳐전까지 액티브상태의 마스크신호를 발생하는 것을 특징으로 하는 픽쳐 디코딩 동기화 회로.
제7항에 있어서, 상기 홀드 판단기와 상기 스킵 판단기에서 상기 홀드신호와 스킵신호를 발생할 것인가에 대한 결정 시점은 상기 픽쳐헤더검출신호보다 소정수의 시스템 클럭이 지연된 후인 것을 특징으로 하는 픽쳐 디코딩 동기화 회로.
(a) 입력 비트스트림에 함께 전송된 프리젠테션 타임 스탬프(PTS)와 디코딩 타임 스탬프(DTS)가 오류에 의해 왜곡되었는지를 판단하는 단계;

(b) 상기 전송된 PTS와 DTS에 오류가 발생되지 않으면 상기 전송된 PTS와 DTS를 이용해서 DTS값을 결정하고, 그렇지 않으면 이전 픽쳐의 DTS에 소정의 옵셋값을 가산한 값을 이용해서 DTS값을 결정하는 단계; 및

(c) 상기 입력 비트스트림을 픽쳐단위로 상기 결정된 DTS값에 동기화하여 디코딩하는 단계를 포함함을 특징으로 하는 픽쳐 디코딩 동기화 방법.
제12항에 있어서, 상기 (a)단계는

(a1) GOP(Group of Picture) 단위로 픽쳐수를 업카운팅해서 픽쳐카운트값을 출력하는 단계; 및

(a2) 입력 픽쳐가 I,B 또는 P 픽쳐인지를 나타내는 픽쳐타입신호와 GOP내의 픽쳐들의 디스플레이순서를 나타내는 시간기준정보, 상기 픽쳐카운트값을 이용하여 상기 전송된 DTS와 PTS에 오류 발생을 검출하여 검출신호를 발생하는 단계를 포함함을 특징으로 하는 픽쳐 디코딩 동기화 방법.
제13항에 있어서, 상기 (a2)단계에서는 입력되는 I 픽쳐와 P 픽쳐의 PTS가 아래 조건을 만족하는지를 검출해서 만족하지 않으면 검출신호를 발생하는 것을 특징으로 하는 픽쳐 디코딩 동기화 방법.

PTS=전송 DTS+(시간기준정보-픽쳐카운트값+1)옵셋
제13항에 있어서, 상기 (a2)단계에서는 입력되는 B 픽쳐의 DTS가 아래 조건을 만족하는지를 검출해서 만족하지 않으면 검출신호를 발생하는 것을 특징으로 하는 픽쳐 디코딩 동기화 방법.

전송 DTS=이전 DTS+옵셋
제12항에 있어서, 상기 (a)단계에서는 현재 픽쳐의 PTS와 DTS에 오류가 발생되면 현재 픽쳐부터 전송된 PTS와 DTS에 오류가 발생되지 않는 GOP의 첫 번째 픽쳐전까지 액티브상태의 검출신호를 발생하는 것을 특징으로 하는 픽쳐 동기화 방법.
(a) 전송되는 비트스트림으로부터 비디오 기본스트림, 프리젠테션 타임 스탬프(PTS), 디코딩 타임 스탬프(DTS) 및 시스템 타임 클럭(STC)을 추출하는 단계;

(b) 상기 비디오 기본스트림의 디코딩을 제어하고, 상기 비디오 기본스트림의 헤더를 분석해서 기준시간정보, 픽쳐구조신호, GOP헤더검출신호 및 픽쳐타입신호를 검출하는 단계; 및

(c) 상기 DTS와 PTS에 오류가 발생했는지를 판단하여 상기 PTS와 DTS에 오류가 발생되면 이전 픽쳐의 DTS와 소정의 옵셋값을 가산한 값을 DTS로 결정하여 결정된 DTS값을 이용하여 상기 디코딩을 제어하는 제어신호들을 발생하는 단계를 포함함을 특징으로 하는 픽쳐 디코딩 동기화 방법.
제17항에 있어서, 상기 (c)단계는

(c1) 상기 픽쳐구조신호, 픽쳐헤더검출신호 및 GOP 헤더검출신호에 따라 GOP내의 픽쳐수를 카운팅해서 픽쳐카운트값을 출력하는 단계;

(c2) 상기 픽쳐타입신호, 시간기준정보 및 픽쳐카운트값을 이용하여 상기 DTS와 PTS에 오류 발생을 판단하여 마스크신호를 발생하는 단계;

(c3) 상기 마스크신호가 발생되면 이전 픽쳐의 DTS값에 소정의 옵셋을 가산한 디코딩된 DTS값을 발생하고, 그렇지 않으면 전송된 PTS와 DTS에 근거하여 디코딩된 DTS값을 발생하는 단계;

(c4) 상기 STC값으로부터 상기 디코딩된 DTS값을 감산하여 감산한 결과에 대한 절대값과 소정의 문턱값을 비교하여 비교 결과를 출력하는 단계;

(c5) 상기 비교 결과에 따라 디코딩을 진행하지 않고 대기하라는 홀드신호를 발생하는 단계; 및

(c6) 상기 비교 결과에 따라 현재 픽쳐를 복호화하지 않고 버리라는 스킵신호를 발생하는 단계를 포함함을 특징으로 하는 픽쳐 디코딩 동기화 방법.
제18항에 있어서, 상기 (c2)단계에서는 입력되는 I 픽쳐와 P 픽쳐의 PTS가 아래 조건을 만족하지 않으면 마스크신호를 발생하는 것을 특징으로 하는 픽쳐 디코딩 동기화 방법.

PTS=전송 DTS+(시간기준정보-픽쳐카운트값+1)옵셋
제18항에 있어서, 상기 (c2)단계에서는 입력되는 B 픽쳐의 DTS가 아래 조건을 만족하지 않으면 마스크신호를 발생하는 것을 특징으로 하는 픽쳐 디코딩 동기화 방법.

전송 DTS=이전 DTS+옵셋
제17항에 있어서, 상기 (c2)단계에서는 현재 픽쳐의 PTS와 DTS에 오류가 발생되면 현재 픽쳐부터 전송된 PTS와 DTS에 오류가 발생하지 않는 GOP의 첫 번째 픽쳐전까지 액티브상태의 마스크신호를 발생하는 것을 특징으로 하는 픽쳐 동기화 방법.