KR100768058B1

KR100768058B1 - 부호화 스트림 재생 장치

Info

Publication number: KR100768058B1
Application number: KR1020060058940A
Authority: KR
Inventors: 마코토 구스노키
Original assignee: 가부시끼가이샤 도시바
Priority date: 2005-06-29
Filing date: 2006-06-28
Publication date: 2007-10-18
Also published as: JP2007013436A; EP1746836A2; US20070002953A1; KR20070001834A; CN1893664A

Abstract

본 발명의 부호화 스트림 재생 장치는, TS를 수신하여 그 TS로부터 영상 PES 및 음성 PES를 각각 분리하는 분리부와, 분리된 영상 PES를 디코드하는 영상 디코드부를 포함한다. 영상 디코드부는, 상기 분리된 영상 PES로부터 PES 헤더를 분리하여 ES를 제공하는 PES 분리부와, 상기 ES의 신택스 에러(syntax error)를 검출하여, 그 신택스 에러를 포함하는 ES를 파기하고, 상기 신택스 에러를 포함하지 않는 ES를 제공하는 ES 에러 검출부와, 상기 에러 검출부로부터 제공되는 ES를 영상 신호로 디코딩하여, 영상 신호를 제공하는 디코더를 구비한다.

Description

부호화 스트림 재생 장치{ENCODED STREAM REPRODUCING APPARATUS}

도 1은 본 발명에 따른 모바일 방송 수신 장치의 일 실시예를 도시한 개략도이다.

도 2는 MPEG2-TS와 영상 PES 및 음성 PES의 관계를 도시한 도면이다.

도 3은 TS header의 구조를 도시한 도면이다.

도 4는 PES의 구조를 도시한 도면이다.

도 5는 영상 디코드부(160)의 구성을 나타내는 블록도이다.

도 6은 디코더(210)의 동작을 나타내는 흐름도이다.

도 7a는 에러를 검출하여 에러를 포함하는 스트림을 파기하는 처리를 나타내는 흐름도이다.

도 7b는 에러를 검출하여 에러를 포함하는 스트림을 파기하는 처리를 나타내는 흐름도이다.

<도면의 주요 부분에 대한 부호의 설명>

120 : 튜너

130 : MPEG2-TS 분리부

140 : 영상 PES 버퍼

150 : 음성 PES 버퍼

160 : 영상 디코드부

170 : 음성 디코드부

180 : 모니터

190 : 스피커

200 : 호스트 CPU

210 : 영상 디코더

220 : 프레임 버퍼

관련 출원에 대한 상호 참조

본 출원은 2005년 6월 29일자로 출원된 일본 특허 출원 번호 제2005-190095호의 우선권 주장에 기초하고 있으며, 그 전체 내용은 참조를 위해 본원 명세서에 포함된다.

본 발명은 디지털 방송에 의해 송신된 부호화 스트림을 수신하여, 그 부호화 스트림을 재생하는 부호화 스트림 재생 장치에 관한 것이다.

최근에는 CS(communication satellite broadcasting)나 BS(broadcasting satellite broadcasting) 등의 지상파 디지털 방송이나 디지털 위성 방송이 널리 보급되기 시작하고 있다. 이들 디지털 방송에 따르면, 대화면이며 또한 선명한 영상을 일반 가정에서 시청할 수 있다.

이러한 디지털 방송에서는, 수신 상태가 나쁜 경우, 수신된 방송 신호 중에 에러가 포함되는 경우가 있다. 에러가 포함된 상태로 영상 신호를 디코딩하면, 그 재생 영상은 일반적으로 시청하지 못할 정도의 영상으로 될 뿐만 아니라, 영상과 음성이 동기하지 않게 되는 경우가 있다. 따라서, 디지털 방송 신호 중에 포함되는 에러를 검출하여, 예컨대 에러를 포함하는 영상 신호를 파기하는 것이 바람직하다.

일본 특허 공개 제2001-25014호 공보에는 이러한 에러를 검출하는 방법이 개시되어 있다. 이 문헌에서는, 시스템 디코더가 영상 비트 스트림 중의 에러를 검출하여, 이 에러 정보를 영상 디코더에 통지한다. 영상 디코더에서는 에러 정보를 이용하여 에러가 없는 프레임의 디코딩 처리를 실시한다.

최근에는 모바일 방송이 실용화되어 있다. 모바일 방송이란, 이동중이나 옥외에서도 즐길 수 있는 다중 채널 멀티미디어의 위성 디지털 방송 서비스이다. 모바일 방송은 종래의 위성 방송과는 달리, 제3세대(3G) 휴대전화에 가까운 S 밴드(2.6 GHz대)라 불리는 방송파를 사용하여, 전용의 방송 위성을 통해 종래의 위성 방송보다 고출력으로 송신된다.

종래의 위성 방송에서는 베란다 등에 안테나를 고정할 필요가 있지만, 모바일 방송은 자유롭게 이동하면서 방송을 시청할 수 있다. 모바일 방송에 따라서 휴대용 타입의 텔레비전이나, 차량에 탑재하는 타입의 텔레비전, 노트북 PC에서 이용할 수 있는 PC 카드형 등이 발표되고 있다.

상기한 것과 같은 모바일 방송의 데이터 압축 방식으로서는, 예컨대 H.264(MPEG4 AVC) 압축 방식이 사용되고 있다. H.264 압축 방식은 원래 화상의 품질을 유지한 채로, 종래보다 높은 압축율을 가능하게 하는 방식이다. H.264는 종래 방식인 MPEG-2 등의 2배 이상의 압축 효율을 실현하는 것으로 기술되고 있으며, 모바일 방송이나 휴대 전화 등에 채용되기 시작하고 있다.

이러한 모바일 방송이라도, 빌딩 등의 건조물 혹은 지형의 영향을 받아서, 수신된 신호에는 에러가 포함되는 경우가 있다. H.264 방식의 디코드 처리는 종래보다 처리량이 크고, 특히 모바일 환경에서 H.264 방식이 사용되는 경우에는, 시스템이 소형으로 되기 때문에, 에러 처리는 큰 부담이 된다.

전술한 특허문헌인 일본 특허 공개 제2001-25014호 공보의 경우, 시스템 디코더에 있어서 TS 패킷의 에러를 검출하여 영상 디코더에 통지하지만, 신택스(syntax) 상의 에러는 영상 디코더로 검출하여, 사전에 알 수는 없다. 따라서, 검출할 수 있는 에러는 한정되어 있어, 에러 검출이 불충분한 경우가 있다. 상술한 바와 같이, 에러를 포함하는 스트림에 의해서, 디코더에 회복 불가능한 에러가 발생하여, 영상이 왜곡되는 동시에 영상과 음성이 동기하지 않는 상태가 되는 경우가 있다.

이하, 본 발명의 다양한 특징을 구현하는 일반적인 구조를 도면을 참조하여 설명한다. 첨부한 도면과 그 관련 설명은 본 발명을 예시하는 실시예의 설명에 의해 제공되며, 발명의 기술적 사상을 제한하는 것은 아니다.

본 발명은 신택스 레벨의 에러 검출을 영상 디코더 입력 전단에서 행하여, 영상 디코더에는 에러가 존재하지 않는 스트림만을 입력하여, 스트림 에러에 의한 디코더의 이상 동작을 방지하는 것을 목적으로 한다.

본 발명의 일 실시예에 따른 부호화 스트림 재생 장치는, TS를 수신하여 그 TS로부터 영상 PES 및 음성 PES를 각각 분리하는 분리부와, 상기 분리부에 의해 분리된 영상 PES로부터 ES를 부호화 스트림으로서 추출하는 추출부와, 상기 추출부에 의해 추출된 ES의 신택스 에러(syntax error)를 검출하여, 신택스 에러를 포함하는 ES를 파기하고, 신택스 에러가 검출되지 않은 ES를 출력하는 에러 검출부와, 상기 에러 검출부로부터 출력되는 ES를 디코드하여, 그 디코드된 영상 신호를 출력하는 디코더를 구비한다.

(실시예)

이하, 첨부 도면을 참조하여 본 발명의 실시예를 설명한다.

도 1은 본 발명에 따른 모바일 방송 수신 장치(100)의 일 실시예를 도시한 개략도이다.

안테나(110)로부터 입력된 전파는 튜너(120)에 있어서 MPEG2-TS(transport stream)로 복조되어, MPEG2-TS 분리부(130)에 입력된다. MPEG2-TS 분리부(130)에서는, MPEG2-TS 스트림으로부터 영상 PES(Packetized Elementary Stream)와 음성 PES를 각각 분리하여, 영상 PES 버퍼(140)와 음성 PES 버퍼(150)에 입력한다. 영상 PES 버퍼(140)에 저장된 영상 PES는 지정된 시각이 되면 영상 디코드부(160)에 입력된다. 영상 디코드부(160)에서 디코드된 화상은 모니터(180)에 출력 표시된다. 음성 PES 버퍼(150)에 저장된 음성 PES는 지정된 시각이 되면 음성 디코드부(170) 에 입력된다. 음성 디코드부(170)에서 디코드된 음성 신호는 스피커(190)에 출력된다.

이하에서는 MPEG2-TS와 PES 및 ES에 관해서 설명한다. 도 2는 MPEG2-TS와 영상 PES 및 음성 PES의 관계를 도시한 도면이다. MPEG2-TS는 1 패킷이 188 바이트인 TS 패킷으로 구성되며, 각각의 TS 패킷은 PES 헤더와 페이로드로 이루어진다. 페이로드에는 분할된 영상 PES 또는 음성 PES가 저장된다.

도 3은 TS 헤더의 구조를 도시한 도면이다. 동기 바이트(sync byte)는 TS 패킷의 선두를 나타내는 코드(0x47)이다. PID는 패킷 ID라 불리며, 영상 PES와 음성 PES는 각각 다른 일의적으로 결정된 PID값을 갖는다. MPEG2-TS 분리부(130)에서는 패킷의 PID를 조사함으로써 영상 PES가 저장되어 있는지 음성 PES가 저장되어 있는지를 식별할 수 있다. 적응 필드 제어(adaptation field control)는 이 패킷에 적응 필드(adaptation field)와 페이로드(payload)가 존재하는지의 여부를 나타내는 플래그이다. 적응 필드 길이(adaptation filed length)는 적응 필드의 길이를 나타내는 값이다. PCR_flag는 PCR이 존재하는지의 여부를 나타내는 플래그이고, PCR(program clock reference)은 수신기의 시각을 교정하는 시간 정보이다.

도 4는 PES의 구조를 도시한 도면이다. 영상 PES 및 음성 PES 모두 PES의 구조는 동일하다. PES는 PES 헤더라 불리는 헤더 부분과 PES 패킷 데이터 바이트, 즉 ES(Elementary stream) 본체로 이루어진다. ES란 영상 또는 음성을 압축 부호화한 데이터 그 자체이다. PES 헤더에 저장된 패킷 개시 코드 접두사(packet start code prefix)는 PES의 선두를 나타내는 코드(OxOOOOO1)이다. 스트림 id(stream id)는 스 트림의 종류를 나타내는 값이고, PES 패킷 길이는 PES의 길이를 나타내는 값이다. DTS(decoding time stamp)는 이 PES를 디코드하는 시각 정보이고, PTS(presentation time stamp)는 이 PES를 표시하는 시각 정보이다. 영상 디코드부(160)와 음성 디코드부(170)로부터 출력되는 영상과 음성을, PTS로 나타내어진 시각에 출력함으로써 영상과 음성의 동기화가 실현된다.

도 5는 영상 디코드부(160)의 구성을 나타내는 블록도이다.

영상 디코드부(160)는 호스트 CPU(200)와 영상 디코더(DSP)(210)와 프레임 버퍼(220)를 포함하고 있다. 호스트 CPU(200)는 PES 분리부(201)와 ES 에러 검출부(202)를 포함한다. 호스트 CPU(200)와 영상 디코더(210)는 하나의 LSI로서 구성되어 있다.

PES 분리부(201)는 영상 PES로부터 헤더 부분을 분리하여 ES를 추출한다. 추출된 ES는 ES 에러 검출부(202)에 공급되어, 에러 검출이 이루어진다. ES 에러 검출부(202)는 신택스 레벨의 에러 검출이 가능하고, 에러가 검출된 ES는 여기서 파기되어, 영상 디코더(210)에는 입력되지 않는다.

영상 디코더(210)는 ES 에러 검출부(202)로부터 공급되는 ES를 디코드한다. 이 때, 영상 디코더(210)는 신택스 레벨로 에러 없는 ES만을 디코드하기 때문에, 행업(hang-up)과 같은 치명적 에러(fatal error)는 발생하지 않는다. 디코드된 데이터는 프레임 버퍼(220)에 저장되어, PTS의 시각에 따라서 영상 프레임이 영상 신호로서 모니터에 출력된다.

종래의 호스트 CPU(200)의 처리는, PES로부터 ES를 분리하는 것뿐이었기 때 문에, ES 중에 포함되는 에러는 영상 디코더에 그대로 입력되고 있었다. ES에 포함되는 에러가 영상 디코더에서 대처할 수 없는 것인 경우, 영상 디코더가 행업한다고 하는 치명적 에러를 야기하고 있었다. 또한 종래에는, 영상 디코더에서 ES를 디코드하여 비로소 에러 검지되어, 에러를 포함하는 ES는 파기된다. 그러나, 영상 디코더로 에러를 모두 검출할 수는 없고, 에러를 포함하여 영상 데이터가 디코드되는 경우가 있었다. 이러한 경우, 모니터에 표시되는 영상은 시청할 수 없을 정도의 왜곡된 영상으로 되고 있었다. 본 발명에 따른 영상 디코드부(160)에 따르면, 에러를 포함하지 않는 ES가 영상 디코더(210)에 입력되기 때문에, 영상 디코더(210)가 행업되거나, 왜곡된 영상이 표시되는 일은 없다.

이어서, 영상 디코더(210)에 의한 디코드 처리에 관해서 설명한다.

본 실시예에서는 영상 부호화 방식에 H.264를 사용하고 있다. 도 6은 H.264 디코더(210)의 동작을 나타내는 흐름도이다. H.264 부호화 스트림은 NAL(Network Abstraction Layer) 유닛이라 불리는 저장 형식을 이용하여, 데이터의 종별마다 분류해서 전송된다.

모바일 방송에 있어서의 H.264의 운용에서는, 액세스 유닛 디리미터(access unit delimiter), SPS(Sequence Parameter Set), PPS(Picture Parameter Set), SEI(Supplemental Enhancement Information), 슬라이스 레이어(IDR 픽쳐/Non-IDR 픽쳐)가 각각 NAL 유닛으로서 전송된다.

액세스 유닛 디리미터는 액세스 유닛(1 픽쳐)의 선두를 나타내는 데이터이다. SPS는 예를 들어 프로파일, 레벨, 시퀀스 전체의 부호화 모드 등의 시퀀스 전 체의 부호화에 관계된 정보를 포함하는 데이터이다. PPS는 픽쳐 전체의 부호화 모드를 나타내는 정보를 포함하는 데이터이며, SEI는 동화상의 복호화에는 필수적이지 않은 부가 정보를 포함하는 데이터이다.

IDR(Instantaneous Decoding Refresh) 픽쳐 및 Non-IDR 픽쳐는 각각 압축 부호화된 영상 데이터 그 자체이다. 각각의 픽쳐는 각각 1 영상 프레임에 대응한다. IDR 픽쳐란 다른 화상을 참조하지 않고, 그 픽쳐만의 정보로 부호화되어 있는 픽쳐이다. Non-IDR 픽쳐는 IDR이 아닌 픽쳐를 나타내며, 그 픽쳐를 부호화하는 경우에 다른 픽쳐(참조 픽쳐라 불림)의 정보를 사용한 픽쳐이다. 각각의 액세스 유닛은 하나의 IDR 픽쳐 또는 하나의 Non-IDR 픽쳐를 포함한다. IDR 픽쳐를 포함하는 액세스 유닛에 이어서, Non-IDR 픽쳐를 포함하는 액세스 유닛이 복수개 송신된다. 슬라이스 레이어는 IDR 픽쳐 또는 Non-IDR 픽쳐를 나타낸다.

모바일 방송에서의 H.264의 운용에 있어서, 액세스 유닛은 다음에 나타내는 2 종류의 구조를 갖고 있다.

(1) 액세스 유닛 디리미터 + SPS + PPS(+SEI) + IDR 픽쳐

(2) 액세스 유닛 디리미터 + (+PPS) + (+SEI) + non-IDR 픽쳐

여기서, 상기 괄호 안의 기재인 (+PPS) 및 (+SEI)는 있어도 없어도 되는 정보를 나타낸다.

이하, H.264 디코더(210)의 동작을 설명한다.

H.264 디코더(210)는 스트림을 입력하면, 상기 NAL 유닛을 분리한다(S102). 슬라이스 레이어에는 상기한 것과 같이 영상 프레임 데이터 본체가 저장되고, 그 이외의 유닛에는 파라미터가 저장되어 있다. H.264 디코더(210)는 슬라이스 레이어 이외의 NAL 유닛에 대해서는 파라미터만을 디코드한다(S103∼S106).

슬라이스 레이어의 경우에는, IDR 픽쳐와 Non-IDR 픽쳐의 경우에서 처리가 얼마쯤 상이하다.

우선, 슬라이스 레이어가 IDR 픽쳐였던 경우의 H.264 디코더(210)의 처리를 설명한다. IDR 픽쳐인 경우에는, 우선 예측 모드를 디코딩하여(S107), 슬라이스 헤더에 기재된 파라미터를 디코딩한다(S108). 이어서, 매크로 블록의 처리를 행한다. 매크로 블록이란 세로 16 화소, 가로 16 화소로 이루어지는 블록 구조를 나타내며, H.264에서는 매크로 블록 단위로 압축 부호화를 실시한다.

모바일 방송의 화상 사이즈는 QVGA라 불리는 세로 320, 가로 240 화소의 사이즈이며, 매크로 블록의 개수로 환산하면 300 매크로 블록이 된다. 1 매크로 블록의 처리는 16 화소×16 화소의 주파수 영역의 계수를 디코드하고(S109), 역양자화와 역DCT 처리를 실시하여(S110), 처리 결과와 화면내 예측으로부터 계산한 제1 샘플치를 가산하여 제2 샘플치를 얻는다(S111, S112). 이것을 매크로 블록의 수만큼 실행하여, 1 픽쳐분의 샘플치를 얻는다. 1 픽쳐분의 샘플치를 얻었으면, 블록 노이즈를 제거하기 위한 디블로킹 처리를 실시하여(S113), 최종적인 출력 화상 데이터를 얻는다.

이어서, 슬라이스 레이어가 Non-IDR 픽쳐인 경우의 H.264 디코더(210)의 처리를 설명한다. Non-IDR 픽쳐인 경우에는 우선 예측 모드를 디코드하여(S114), 슬라이스 헤더의 파라미터를 디코드한다(S115).

이어서, 디코더(210)는 매크로 블록의 처리를 실시한다. 1 매크로 블록의 처리에서는 이동 벡터 예측 및 그것에 따른 계산을 실시하고(Sl16), 주파수 영역의 계수를 디코드하고(S117), 역양자화와 역DCT 처리를 실시하여(S118), 처리 결과와 화면 사이 예측으로부터 계산한 제1 샘플치를 가산하여 제2 샘플치를 얻는다(S119, S120). 이것을 매크로 블록의 수(300 블록)만큼 행하여, 1 픽쳐분의 샘플치를 얻는다.

이동 벡터 예측이란, 매크로 블록 내에 표시되는 각 화소의 이동량 및 이동 방향의 예측이다. 1 픽쳐분의 샘플치를 얻었으면, 디블로킹 처리를 실시하여, 최종적인 출력 화상 데이터를 얻는다(S113). 이상이 H.264 디코더(210)의 기본 동작이다.

이어서, 본 발명에 따른 ES 에러 검출부(202)에 의한 신택스 레벨의 에러 검출에 대해 설명한다.

신택스 레벨의 에러 검출에서는 H.264 디코드 처리와 유사한 처리를 실시하지만, H.264 디코드 처리 중, 도 6의 어두운 블록으로 나타내어지는 처리가 불필요하게 된다. 즉, IDR 픽쳐의 디코드에 있어서의 역양자화와 역DCT 처리, 화면내 예측 샘플치 계산, 샘플치 계산, 디블로킹 필터가 필요하지 않게 된다. 또한, Non-IDR 픽쳐의 디코드에 있어서의 이동 벡터 예측과 계산, 역양자화와 역DCT 처리, 화면 사이 샘플치 계산, 샘플치 계산, 디블로킹 처리가 불필요하게 된다.

H.264의 디코드 처리는 다른 디코드 처리에 비하여 부하가 높다(처리량이 크다)고 여겨지고 있는데, 특히 단계 S116의 이동 벡터 예측과, 단계 S113의 디블로 킹 처리의 부하가 높다. 신택스의 디코드 처리(도 6에 있어서 흰 바탕의 블록으로 나타내어지는 처리 단계)만의 부하는 그다지 높지 않다. 모든 디코드 처리와 신택스만의 디코드를 비교한 결과, 신택스만의 디코드는 모든 디코드 처리의 1/10 정도의 처리 부하였다.

신택스까지 디코드하면 에러는 용이하게, 더구나 거의 확실하게 검출할 수 있다. H.264에서는 슬라이스 레이어뿐만 아니라, 그 밖의 NAL 유닛의 파라미터도 가변 길이 부호화가 실시되고 있다. 가변 길이 부호의 경우, 고정 길이 부호와는 달리, 사용할 수 있는 부호가 한정되어 있기 때문에, 스트림 중에 에러가 발생한 경우에 용이하게 그 에러를 검출할 수 있다. 예컨대, 이진수의 (1,1,1)이, 가변 길이 부호일 수 없는 부호인 경우, 이러한 부호가 출현한 경우에, 신택스 에러라고 판단할 수 있다. 또한, 디코드한 파라미터의 값에 제한이 있는 것도 많기 때문에, 파라미터값이 소정 범위 밖(상기 제한 밖)의 값이었던 경우에, 신택스 에러라고 판단할 수 있다. 본원 명세서에 있어서, 신택스 에러는 부호화 스트림 중의 데이터 이상치(abnormal value) 및 디코드한 파라미터의 이상치를 포함한다.

따라서, 이와 같이 신택스 레벨의 디코더, 즉 ES 에러 검출부(202)를 이용하여 에러를 검출함으로써, 완벽에 가까운 에러 검출을 행할 수 있다.

이어서, 에러를 검출하여, 이 에러를 포함하는 스트림을 파기하는 처리를 도 7a 및 도 7b의 흐름도를 참조하여 설명한다. 이 처리는 주로 ES 에러 검출부(202)에 의해 실행된다.

우선, 액세스 유닛에 있어서의 최초의 NAL 유닛인 액세스 유닛 디리미터를 검색한다(S201). 액세스 유닛 디리미터를 검출하여, 이 액세스 유닛 디리미터에 있어서 에러를 검출하면(S202의 Yes), 현재 처리중인 액세스 유닛을 파기하고(S213), 다음 액세스 디리미터를 검색한다(S201). 검출된 액세스 유닛 디리미터에 에러가 검출되지 않으면(S202의 No), 다음 NAL 유닛을 검색한다(S203).

액세스 유닛 디리미터의 다음에 검출된 NAL 유닛이, SPS 또는 PPS 또는 SEI인지 판단하여(S204), 어느 하나의 NAL 유닛이었다면 에러 체크를 실시한다(S205). 이 에러 체크는, 디코드한 파라미터의 값이 이 파라미터로 설정되어 있는 범위 내의 값인지 판단하여, 범위 밖의 값이라면 에러라고 판단한다. 에러가 검출된 경우, 현재 처리중인 액세스 유닛을 파기하고(S213), 다음 액세스 디리미터를 검색한다(S201). 검출된 NAL 유닛에 에러를 검출하지 않은 경우(S205의 No), NAL 유닛의 검색을 계속한다(S203).

단계 S204에 있어서, 검출된 NAL 유닛이 SPS, PPS 및 SEI의 어느 것도 아닌 경우(No인 경우), 그 NAL 유닛이 IDR 픽쳐인지 판단한다(S206). IDR 픽쳐라면 에러 체크를 행하여(S207), 에러가 검출되면 현재 처리중인 액세스 유닛을 파기하고(S213), 다음 액세스 디리미터를 검색한다(S201). 이 경우의 에러 검출은 부호화 스트림 중의 데이터 이상치를 검출한다.

에러를 검출하지 않았으면(S207의 No), 액세스 유닛을 영상 디코더(210)에 송출한다(S211). 송출된 액세스 유닛은 영상 디코더(210)에 의해 디코드되어, PTS 시각에 따라서 모니터에 출력된다(S212).

검출된 NAL 유닛이 IDR 픽쳐가 아니라(S206의 No), non-IDR 픽쳐이면(S208의 Yes), 직전의 액세스 유닛이 파기되고 있는지 판단한다(S209). 직전의 액세스 유닛이 파기되고 있는 경우(S209의 Yes), 현재 처리중인 액세스 유닛을 파기하고(S213), 다음 액세스 디리미터를 검색한다(S201).

non-IDR 픽쳐는 이전의 픽쳐를 참조하여 디코드되기 때문에, 이전의 픽쳐가 파기되고 있는 경우에는, 그 픽쳐를 디코드할 수는 없다. 따라서, non-lDR 픽쳐에 에러가 존재하는 경우, 그 이후의 non-IDR 픽쳐를 디코드할 수 없다. 이 경우, 에러가 검출된 non-IDR 픽쳐로부터, 다음 IDR 픽쳐 직전의 non-IDR 픽쳐까지의 액세스 유닛이 전부 파기된다. 또한, 단계 S207과 같이, IDR 픽쳐에서 에러가 검출된 경우도, 그 IDR 픽쳐에서부터 다음 IDR 픽쳐 직전의 non-IDR 픽쳐까지의 액세스 유닛이 전부 파기된다.

직전의 액세스 유닛이 파기되고 있지 않은 경우(S209의 No), non-IDR 픽쳐에 대해서 에러 검출을 실시한다(S210). 이 경우의 에러 검출은 IDR 픽쳐와 마찬가지로 부호화 스트림 중의 데이터 이상치를 검출한다. 에러가 검출되면(S210의 Yes), 현재 처리중인 액세스 유닛을 파기하고(S213), 다음 액세스 디리미터를 검색한다(S201). 이 non-IDR 픽쳐의 에러 검출에서는, 예측 모드의 디코드를 행할 때에도 에러 검출이 가능하다. 에러가 검출되지 않으면(S210의 No), 그 액세스 유닛을 영상 디코더(210)에 송출한다(S211).

이 결과, 영상 디코더(210)는 에러를 포함하지 않는 액세스 유닛만을 디코드하여, 에러가 없는 선명한 화상을 PTS에 기재된 시각에 모니터에 출력한다(S212).

종래 기술에서는 디코더의 전단에서, 어느 정도 에러를 검출하고 있었지만, 신택스 레벨의 에러는 디코더로 복호할 때에 처음으로 판명되기 때문에, 에러 처리와, 영상/음성의 동기 처리가 어렵게 되는 문제가 있었다. 본 실시예에서는, 종래의 디코더에서 처음으로 검출할 수 있는 신택스 레벨의 에러를 사전에 검출할 수 있기 때문에, 디코더에는 에러를 포함하지 않는 ES만을 입력하는 것이 가능하게 된다. 이 때문에 에러 스트림에 의한 디코더에서의 회복 불가능한 에러의 발생은 일어나지 않는다. 또한 에러의 검출율은 종래의 방법에 비해서 매우 높다.

또한, 종래의 경우, 부호화 스트림에 에러가 존재하는 경우라도, 이 부호화 스트림을 디코더로 디코드한다고 하는 쓸데없는 처리를 하고 있었다. 그러나, 본 실시예에서는 에러 스트림은 디코더로 디코드되지 않기 때문에, 전파 상태가 나쁜 것과 같은 에러의 발생이 현저한 상황에 있어서는, 디코더의 처리 부하가 경감된다고 하는 효과가 있다. 특히 모바일 환경에서 H.264 방식이 사용되는 경우에는, H.264의 처리 자체가 매우 무겁다고 하는 특징이 있는 것과, 전파 상태는 안정적이라고는 할 수 없기 때문에, 이러한 에러 발생시의 처리 부하의 경감에 의해, 소비 전력을 저감할 수 있다.

이상의 설명은 본 발명의 실시형태로서, 본 발명의 장치 및 방법을 한정하는 것은 아니며, 여러 가지 변형예를 용이하게 실시할 수 있다. 또한, 각 실시형태에 있어서의 구성 요소, 기능, 특징 또는 방법 단계를 적절하게 조합하여 구성되는 장치 또는 방법도 본 발명에 포함되는 것이다.

본 발명의 실시예를 참조하여 전술한 바와 같이, 영상 디코더의 입력의 전단에서 신택스 레벨의 에러를 검출하고 영상 디코더에 에러가 존재하지 않는 스트림 만이 입력되어, 스트림 에러에 의한 디코더의 이상 동작을 방지하는 시스템을 제공한다.

본 발명이 전술한 특정 실시예로 제한하는 것이 아니라, 본 발명을 발명의 기술적 사상 및 범위를 이탈함이 없이 변형된 구성 요소로 적용할 수도 있음을 이해할 수 있을 것이다. 본 발명은 전술한 실시예에 개시된 구성 요소의 적절한 조함에 따라서 여러 가지의 형태로 적용될 수도 있다. 예를 들어, 몇몇 실시예들은 전술한 실시예에 도시된 모든 구성 요소들로부터 삭제될 수 있다. 또한, 상이한 실시예에 있어서의 구성 소자들은 적절히 조합하여 사용할 수도 있다.

이상, 본 발명의 실시예에 따르면, 신택스 레벨의 에러 검출을 영상 디코더의 입력 전단에서 행하기 때문에, 영상 디코더에는 에러가 존재하지 않는 스트림만이 입력되어, 스트림 에러에 의한 디코더의 이상 동작을 방지할 수 있다.

Claims

전송 스트림(TS: Transport Stream)을 수신하여, 상기 TS로부터 영상 PES(Packetized Elementary Stream) 및 음성 PES를 분리하는 분리부와;

상기 분리부에 의해 분리된 영상 PES로부터 ES(Elementary Stream)를 부호화 스트림으로서 추출하는 추출부와;

상기 추출부에 의해 추출된 ES에 포함된 신택스 에러(syntax error)를 검출하여, 이 신택스 에러를 포함하는 ES를 파기하고, 상기 신택스 에러가 검출되지 않은 ES를 출력하는 에러 검출부와;

상기 에러 검출부로부터 출력되는 ES를 영상 신호로 디코드하여, 상기 디코드된 영상 신호를 출력하는 디코더

를 구비하는 부호화 스트림 재생 장치.
제1항에 있어서, 상기 에러 검출부는, 상기 ES의 부호화에 관한 파라미터를 디코드하고, 상기 파라미터에 포함된 에러를 검출하여, 상기 파라미터에 에러를 포함하는 ES를 파기하는 것인 부호화 스트림 재생 장치.
제1항에 있어서, 상기 부호화 스트림은 H.264 부호화 스트림으로서 IDR(Instantaneous Decoding Refresh) 픽쳐 및 non-IDR 픽쳐를 포함하고,

상기 에러 검출부는, 상기 IDR 픽쳐 또는 non-IDR 픽쳐에 포함된 신택스 에 러를 검출하여, 상기 신택스 에러를 포함하는 ES를 파기하는 것인 부호화 스트림 재생 장치.
제1항에 있어서, 상기 부호화 스트림은 H.264 부호화 스트림으로서 복수의 액세스 유닛을 포함하고,

상기 에러 검출부는, 상기 액세스 유닛에 포함된 신택스 에러를 검출하여, 상기 신택스 에러를 포함하는 액세스 유닛을 파기하는 것인 부호화 스트림 재생 장치.
제1항에 있어서, 상기 부호화 스트림은 H.264 부호화 스트림으로서 부호화된 복수의 액세스 유닛을 포함하고, 상기 부호화된 액세스 유닛은 IDR 픽쳐를 포함하는 제1 액세스 유닛과 non-IDR 픽쳐를 포함하는 제2 액세스 유닛 중 하나이며,

상기 에러 검출부는, 상기 제1 액세스 유닛 또는 제2 액세스 유닛에 포함된 신택스 에러를 검출하여, 상기 신택스 에러를 포함하는 액세스 유닛으로부터 다음의 제1 액세스 유닛 직전의 제2 액세스 유닛까지의 액세스 유닛을 파기하는 것인 부호화 스트림 재생 장치.
1 이상의 NAL(Network Abstraction Layer) 유닛을 각각 포함하는 액세스 유닛으로 이루어지는 H.264 방식의 부호화 스트림을 포함하는 모바일 기기용 전송 스트림(TS: Transport Stream)을 수신하는 수신부와;

상기 수신부에 의해 수신된 상기 TS로부터 영상 PES(Packetized Elementary Stream) 및 음성 PES를 분리하는 분리부와;

상기 분리부에 의해 분리된 영상 PES로부터 상기 부호화 스트림을 추출하는 추출부와;

상기 추출부에 의해 추출된 부호화 스트림에 포함되는 상기 NAL 유닛의 신택스 에러를 검출하여, 이 신택스 에러를 포함하는 NAL 유닛을 파기하고, 상기 신택스 에러를 포함하지 않는 NAL 유닛에 의해 구성되는 액세스 유닛을 출력하는 에러 검출부와;

상기 에러 검출부로부터 출력되는 액세스 유닛을 영상 신호로 디코드하여, 상기 디코드된 영상 신호를 출력하는 디코더

를 구비하는 부호화 스트림 재생 장치.
제6항에 있어서, 상기 에러 검출부는, 상기 부호화 스트림의 부호화에 관한 파라미터를 갖는 NAL 유닛을 디코드하고, 소정 범위 밖의 파라미터값을 갖는 파라미터에 포함된 에러를 검출하여, 상기 에러를 갖는 NAL 유닛을 포함하는 액세스 유닛을 파기하며, 상기 NAL 유닛에 에러를 포함하지 않는 액세스 유닛을 출력하는 것인 부호화 스트림 재생 장치.
전송 스트림(TS: Transport Stream)을 수신하는 단계와;

상기 수신된 TS로부터 영상 PES(Packetized Elementary Stream) 및 음성 PES 를 분리하는 단계와;

상기 분리된 영상 PES로부터 ES(Elementary Stream)를 부호화 스트림으로서 추출하는 단계와;

상기 추출된 ES의 신택스 에러를 검출하는 단계와;

상기 신택스 에러를 포함하는 ES를 파기하는 단계와;

상기 신택스 에러를 포함하지 않는 ES를 출력하는 단계와;

상기 신택스 에러를 포함하지 않는 상기 출력된 ES를 디코드하는 단계와;

상기 디코드된 ES를 영상 신호로서 출력하는 단계

를 포함하는 부호화 스트림 재생 방법.
제8항에 있어서,

상기 추출된 ES의 부호화에 관한 파라미터를 디코드하는 단계와;

상기 디코드된 파라미터에 포함된 에러를 검출하는 단계와;

상기 파라미터에 에러를 포함하는 ES를 파기하는 단계

를 더 포함하는 부호화 스트림 재생 방법.