KR20080068537A

KR20080068537A - 동영상 데이터 복호 장치

Info

Publication number: KR20080068537A
Application number: KR20070133253A
Authority: KR
Inventors: 도시로 오비츠
Original assignee: 후지쯔 가부시끼가이샤
Priority date: 2007-01-19
Filing date: 2007-12-18
Publication date: 2008-07-23
Also published as: US20080175326A1; CN102075764A; US8385431B2; CN101227609B; CN101227609A; KR100975843B1; JP2008177907A

Abstract

본 발명은 원-세그먼트 방송(one segment broadcasting) 등의 압축 동영상 데이터 스트림을 복호화하여 영상 신호를 출력하는 장치에 있어서, 픽쳐의 일부 또는 전부가 결락한 경우에도, 시청자에게 위화감을 느끼게 하지 않는 영상 신호를 출력하는 것을 과제로 한다.

본 발명의 동영상 데이터 복호 장치는, 복호 처리에 의하여 복호화된 복호 완료 픽쳐를 소정의 양 버퍼링하는 버퍼부(26)와, 픽쳐 생성을 행하는 픽쳐 생성부(23)로서, 프레임간 예측에 이용되는 참조 픽쳐가 결락해 있는 경우(S202), 버퍼부(26)에 의하여 버퍼링된 복호 완료 픽쳐에 의해, 결락한 참조 픽쳐의 대체로 되는 대체 참조 픽쳐를 취득(S203)하여 픽쳐 생성을 행하는(S205) 픽쳐 생성부(23)를 구비한다.

프레임, 복호 처리, 복호 장치, 버퍼부, 대체 참조 픽쳐

Description

동영상 데이터 복호 장치{MOVING PICTURE DATA DECODING DEVICE}

본 발명은 프레임간 예측에 의한 픽쳐 생성을 포함하는 복호 처리를 행하는 동영상 데이터 복호 장치에 관한 것이다.

압축 동영상 데이터를 복호하여 영상을 표시할 때에, 픽쳐의 결락에 대처하는 기술로서, 결락한 픽쳐를 다른 픽쳐에 의해 보완하는 방법이나(특허 문헌 1 참조), IDR 프레임이 아닌 것을 조건으로 하여 1 프레임 이전의 과거 데이터 등에 의거하여 복호를 행하는 방법이 있다(특허 문헌 2 참조).

[특허 문헌 1] 일본국 공개특허 제2002-320156호 공보

[특허 문헌 2] 일본국 공개특허 제2006-174209호 공보

[특허 문헌 3] 일본국 공개특허 제2003-134064호 공보

종래, 원-세그먼트 방송(1 세그먼트 방송)(one-segment broadcasting)을 수신 가능한 튜너 및 안테나가 접속된 퍼스널 컴퓨터를 이용하여, 원-세그먼트 방송을 시청하는 것이 가능하다. 여기서, 퍼스널 컴퓨터는, 다양한 기기가 탑재되어 있으므로, 자체로부터 원-세그먼트 방송의 수신을 방해하는 전파를 발생하는 경우가 있다. 예를 들어, DVD를 판독 및 기입하는 DVD 드라이버에 의하여 DVD의 판독 등이 시작되면, 순간적으로 전력이 피크로 되어 그 영향에 의해 원-세그먼트 방송의 양호한 수신을 방해하는 전파가 발생한다. 또한, 노드 형의 퍼스널 컴퓨터 등, 모바일 기기에서 원-세그먼트 방송을 시청하는 경우에는, 이동이나 주위의 상황에 따라, 수신 상황이 양호해지지 않는 경우가 있다.

이들의 경우, 원-세그먼트 튜너로부터 영상 및 음성 데이터가 출력되지 않고, 픽쳐의 일부 또는 전부가 결락하기 때문에, 영상 및 음성이 정지 또는 교란되는 현상이 발생한다. 그 외에, 기기에 의한 방해 전파의 영향에 한정되지 않고, 임의의 원인에 의해 픽쳐가 결락함으로써, 영상 및 음성이 정지 또는 교란되는 현상이 일어나는 경우가 있다.

여기서, 종래로부터 행해지고 있는 대처 방법으로서, 결락한 픽쳐를 다른 픽쳐에 의해 보완하는 방법이 있다(특허 문헌 1 참조). 그러나, 이 대처 방안에서는, 결락한 픽쳐를 다른 픽쳐에 의해 보완한 것뿐이기 때문에, 보완된 부분은 동일한 영상이 연속된다는 문제가 있다. 또한, 수신 불량이 생긴 경우에, IDR 프레임 이 아닌 것을 조건으로 하여 1 프레임 이전의 과거 데이터 등에 의거하여 복호를 행하는 방법이 있다(특허 문헌 2 참조). 그러나, 이 대처 방법에서는, IDR 프레임 자체는 결락해 있지 않지만, IDR 프레임에 속한 픽쳐의 데이터가 결락해 있는 경우에 대처하는 것이 불가능하다는 문제가 있다.

본 발명은 상기한 과제를 감안하여, 원-세그먼트 방송 등의 압축 동영상 데이터 스트림을 복호화하여 영상 신호를 출력하는 장치에서, 픽쳐의 일부 또는 전부가 결락한 경우에도, 시청자에 위화감을 느끼게 하지 않는 영상 신호를 출력하는 것을 과제로 한다.

본 발명은 상기한 과제를 해결하기 위하여, 복호 완료 픽쳐를 소정 시간 버퍼링함으로써, 프레임간 예측에 이용하는 참조 픽쳐에 결락이 발생한 경우에도, 버퍼링된 복호 완료 픽쳐로부터 대체의 참조 픽쳐를 취득하여 픽쳐를 생성하는 것을 가능하게 하였다.

상세하게는, 본 발명은 압축 동영상 데이터 스트림에 의거하여, 프레임간 예측에 의한 픽쳐 생성을 포함하는 복호 처리를 행하는 동영상 데이터 복호 장치로서, 상기 복호 처리에 의하여 복호화된 복호 완료 픽쳐를 소정의 양 버퍼링하는 버퍼부와, 상기 픽쳐 생성을 행하는 픽쳐 생성부로서, 상기 프레임간 예측에 이용되는 참조 픽쳐가 결락해 있는 경우, 상기 버퍼부에 의해 버퍼링된 복호 완료 픽쳐에 의해, 상기 참조 픽쳐의 대체로 되는 대체 참조 픽쳐를 취득하여 상기 픽쳐 생성을 행하는 픽쳐 생성부를 구비하는 동영상 데이터 복호 장치이다.

여기서, 압축 동영상 데이터 스트림이란, 방송이나 스트리밍에 의해 수신되는 동영상 데이터의 데이터 스트림이며, 예를 들어, 원-세그먼트 튜너에 의해 출력되는 TS 신호(Transport Stream)를 들 수 있다.

종래, 참조 픽쳐에 결락이 발생해 있는 경우, 픽쳐를 생성하는 것이 불가능하거나, 정보 부족의 픽쳐가 생성되었지만, 본 발명에 따르면, 참조 픽쳐에 결락이 발생해 있는 경우이더라도, 버퍼링된 복호 완료 픽쳐를 대체 참조 픽쳐로 함으로써, 시청자에게 위화감을 느끼게 하지 않을 정도의 픽쳐를 생성하고, 영상의 교란이나 정지를 방지하는 것이 가능해진다.

또한, 본 발명에 따른 동영상 데이터 복호 장치는, 표시 장치로의 인터페이스와, 상기 복호 완료 픽쳐가 상기 소정의 양 버퍼링된 상태에서, 상기 압축 동영상 데이터 스트림이 수신 또는 입력된 시간으로부터 소정 시간 지연시켜서 상기 복호 완료 픽쳐에 의거하여 영상 신호를 상기 표시 장치로 출력하는 출력 제어부를 더 구비하고, 상기 픽쳐 생성부는 상기 압축 동영상 데이터 스트림의 정보 결핍에 의하여 픽쳐가 결락한 경우에, 상기 버퍼부에 의하여 버퍼링된 복호 완료 픽쳐로부터 참조 픽쳐 또는 상기 대체 참조 픽쳐를 취득하여 상기 픽쳐 생성을 행하여, 결락한 픽쳐를 보완하여도 된다.

본 발명에 따르면, 픽쳐에 결락이 발생해 있는 경우에도, 버피링된 복호 완료 픽쳐를 참조 픽쳐로 하여 픽쳐를 생성하고, 결락한 픽쳐를 보완하는 것이 가능해진다. 또한, 보완을 위한 픽쳐를 생성하는 경우에도, 참조 픽쳐에 결락이 발생해 있으면, 대체 참조 픽쳐를 사용할 수 있다.

또한, 본 발명은 컴퓨터가 실행하는 방법, 또는 컴퓨터에 실행시키는 프로그램으로서도 파악하는 것이 가능하다. 또한, 본 발명은 그와 같은 프로그램을 컴퓨터 이외의 장치, 기계 등이 판독 가능한 기록 매체에 기록한 것이어도 된다. 여기서, 컴퓨터 등이 판독 가능한 기록 매체란, 데이터나 프로그램 등의 정보를 전기적, 자기적, 광학적, 기계적, 또는 화학적 작용에 의해 축적하고, 컴퓨터 등으로부터 판독할 수 있는 기록 매체를 말한다.

본 발명에 의하여, 원-세그먼트 방송 등의 압축 동영상 데이터 스트림을 복호화하여 영상 신호를 출력하는 장치에 있어서, 픽쳐의 일부 또는 전부가 결락한 경우에도, 시청자에게 위화감을 느끼게 하지 않는 영상 신호를 출력하는 것이 가능해진다.

이하, 도면을 참조하여, 본 발명에 따른 정보 기기를 퍼스널 컴퓨터로서 실시한 경우의 실시예를 설명한다. 이하의 실시예의 구성은 예시이며, 본 실시예는 실시예의 구성으로는 한정되지 않는다.

<발명의 골자>

원-세그먼트 방송에서는, 압축 부호화 방식으로서 H.264/AVC(레벨 1.2, 320×240 또는 320×180, 최소 프레임 간격 1/15초)가 이용되고 있다. 이 방식에서는, 압축된 동영상 데이터로부터 픽쳐를 생성하는 방법으로서, 프레임간 예측에 의한 픽쳐 생성이 채용되고 있다.

도 1은 H.264/AVC의 데이터 구성을 나타내는 도면이다. H.264/AVC의 데이터에는, 시퀀스 전체의 부호에 관한 정보가 포함되는 헤더인 SPS(Sequence Parameter Set), 픽쳐 전체의 부호화 모드를 나타내는 헤더인 PPS(Picture Parameter Set), 필요한 경우에 부가되는 SEI(Supplemental Enhancement Information), IDR 픽쳐(Instantaneous Decoding Refresh Picture) 등이 포함된다. 원-세그먼트 방송에서는, 3매 이내의 참조 픽쳐로부터 프레임간 예측이 행해지고, P 픽쳐(Predictive Picture)가 생성된다.

본 실시예에 따른 퍼스널 컴퓨터는, 원-세그먼트 방송의 수신 튜너, 및 복호 수단을 구비하고, 표시부(디스플레이)에 복호화된 영상 신호에 의거하여 화상을 표시함으로써 원-세그먼트 방송을 시청하는 것이 가능한 퍼스널 컴퓨터이다. 이와 같은 퍼스널 컴퓨터에서는, 퍼스널 컴퓨터에 구비된 기기 자체가 방해 전파를 발생하는 경우 등에 의해, 일시적으로 프레임의 수신 등이 실패하고, 픽쳐에 결락이 발생하는 경우가 고려된다.

여기서, 종래의 원-세그먼트 방송 시청 장치에서는, 과거의 복호 완료 픽쳐는 메모리로부터 순차적으로 삭제되기 때문에(도 2 참조), 픽쳐에 결락이 발생하면, 그대로 정보 부족 영상이 출력되거나, 표시되는 영상이 블랙아웃(blackout)하는 것을 방지할 수 없다(도 3 및 도 4 참조).

여기서, 본 실시예에 따른 퍼스널 컴퓨터는, 재생 시간으로서 3초 분량의 복호 완료 픽쳐를 버퍼링하는(즉, 컴퓨터상의 메모리로부터 삭제하지 않음) 것으로 하였다(도 5 참조). 그리고, 픽쳐 생성에 필요한 참조 픽쳐에 결락이 있는 경우에 는, 버퍼링된 복호 완료 픽쳐로부터 대체로 되는 참조 픽쳐를 취득함으로써 필요한 매수의 참조 픽쳐를 준비하고, 그 대체 참조 픽쳐를 포함하는 참조 픽쳐에 의거하여 프레임간 예측에 의한 픽쳐 생성을 행한다(도 6 참조).

즉, 본 실시예에 따른 퍼스널 컴퓨터에 의하면, 참조 픽쳐에 결락이 발생한 경우에도, 정보 부족 영상이 출력되거나, 영상이 블랙아웃하지 않고, 표시된 영상을 보는 시청자에게 위화감을 거의 느끼게 하지 않는 영상이 표시되는 바와 같은 영상 신호를 출력하는 것이 가능하다.

본 실시예에서, 버퍼링된 복호 완료 픽쳐의 양은, 동영상으로서 표시하는 경우의 시간으로 환산하여 3초 분량으로 한다. 원-세그먼트 방송은 매초 15 프레임이기 때문에, 대략 45 프레임의 복호 완료 픽쳐가 버퍼링된다.

또한, 본 실시예에 따른 퍼스널 컴퓨터는, 이 버퍼를 이용하여 3초간의 지연 표시를 행한다. 즉, 본 실시예에 따른 퍼스널 컴퓨터에서 원-세그먼트 방송을 시청하는 경우, 다른 통상의 원-세그먼트 방송 시청 장치에서 시청하는 경우에 비하여 3초 늦어진 화상이 표시된다. 지연 표시를 행함으로써, TS 신호의 정보 결핍에 의하여 픽쳐가 결락해 있는 경우에도, 픽쳐가 결락해 있는 영상 신호를 그대로 출력해 버리지 않고, 버퍼링된 복호 완료 픽쳐를 참조 픽쳐로 하여 픽쳐의 생성을 행하여, 결락한 픽쳐를 보완하는 것이 가능해진다.

이 버퍼 량 및 지연 시간은, 3초 이상 이전의 픽쳐가 대체 참조 픽쳐로서 사용되는 가능성을 고려하면, 가능한 많게 하는 것이 바람직하지만, 실제로 시청할 때의 지연의 허용 범위나, 퍼스널 컴퓨터상에 확보할 수 있는 버퍼 영역의 크기를 고려하여, 본 실시예에서는 3초로 하였다. 다만, 이 버퍼 양 및 지연 시간은, 실시예마다 적당히 최적의 값으로 설정되는 것이 바람직하다. 예를 들어, 상주하는 애플리케이션이나 불필요한 애플리케이션을 종료시키거나, 메인 메모리의 일부를 비디오 메모리로서 사용하지 않음으로써(단독 비디오 메모리를 설치) 확보 가능한 메인 메모리의 용량을 늘리고, 버퍼 양을 늘리는 경우 등이 고려될 수 있다.

<퍼스널 컴퓨터의 개요 구성>

도 7은 본 실시예에 따른 퍼스널 컴퓨터(10)의 개요 구성도이다. 본 퍼스널 컴퓨터(10)는 사용자의 조작을 받아서, 퍼스널 컴퓨터(10)를 조작하는 조작부(18)와, 조작부(18)에서의 조작을 검지하는 검지부(22)와, 텔레비전 방송을 수신하는 방송 수신부(14)와, 방송 수신부(14)로부터 출력된 TS 신호에 의거하여 복호화된 복호 완료 픽쳐를 표시부(40)로 출력하는 동영상 데이터 복호 장치(10A)와, 입력된 영상 신호에 의거하여 방송 수신부(14)에서 수신된 방송 편성을 표시하는 표시부(40)를 갖는다.

또한, 동영상 데이터 복호 장치(10A)는, 방송 수신부(14)로부터 출력된 TS 신호를 복호하는 픽쳐 생성부(23)와, 픽쳐 생성부(23)에 의하여 생성된 복호 완료 픽쳐를 일정량 기억하는 버퍼부(26)와, 복호 완료 픽쳐를 표시부(40)로 출력하는 출력 제어부(21)를 갖는다.

이들 각 기능부는, CPU, 메모리 등을 포함하는 컴퓨터와 컴퓨터상에서 실행되는 프로그램에 의하여 실현될 수 있다.

여기서, 조작부(18)는 컴퓨터의 입력 장치나, 적외선 검출부와 적외선 리모 콘과의 조합에 의한 리모콘 조작부, 채널 조작용의 손잡이, 조작 버튼 등이다.

검지부(22)는 조작부(18)와 CPU와의 인터페이스와, 인터페이스의 신호를 처리하는 디바이스 드라이버와, 디바이스 드라이버를 통하여 조작부(18)와의 사이에서 신호를 주고받는 OS(오퍼레이팅 시스템)를 통하여, 조작부(18)로의 조작(예를 들어, 수신 채널의 전환)을 검지한다.

다만, 검지부(22)로서, 전용의 하드웨어를 설치하여도 된다. 예를 들어, 조작부용의 입력 신호 처리 회로를 설치하여, CPU의 처리를 분담하여도 된다. 이와 같은 처리 회로로서는, 키보드 컨트롤러, 마우스 컨트롤러 등이 알려져 있다.

또한, 예를 들어, 조작부(18)로부터의 신호를 처리하는 전용의 입력 제어 프로세서를 별도로 설치하여도 된다. 입력 제어 프로세서는, 조작부(18)의 신호를 소정의 신호로 변환하고, 출력 제어부(21)에 신호를 전달하면 된다.

방송 수신부(14)는 소위 원-세그먼트 튜너이다. 방송 수신부(14)는 안테나에서 방송파를 수신하고, 수신한 방송파에 의거한 압축 동영상 데이터 스트림(TS 신호)을 출력한다.

픽쳐 생성부(23)는 방송 수신부(14)로부터 출력된 TS 신호에 의거하여, 동영상을 구성하는 각 프레임의 픽쳐를 생성한다. 여기서, 본 실시예에서는 프레임간 예측에 의거하여 P 픽쳐 생성을 포함하는 픽쳐 생성 처리가 행해진다. 픽쳐 생성부(23)는 CPU 상에서 실행되는 컴퓨터 프로그램으로서 구성되면 된다. 다만, 픽쳐 생성부(23)는 TS 신호에 의거하여 픽쳐를 생성하고, 생성한 픽쳐를 출력하는 전용 프로세서로서 구성되어도 된다.

버퍼부(26)는 생성된 복호 완료 픽쳐를 일시적으로 기억한다. 버퍼부(26)는 픽쳐 생성부(23)에 의하여 생성된 복호 완료 픽쳐의 입력을 받아 들이고, 재생 신간으로서 3초 분량의 복호 완료 픽쳐를 버퍼링한다. 버퍼부(26)는 CPU 상에서 실행되는 컴퓨터 프로그램에 의하여 제어되는 전원 백업된 휘발성 메모리, 플래시 메모리 등의 불휘발성의 메모리, 하드 디스크 또는 휴대용 매체 등의 기록 매체로서 구성되면 된다. 다만, 버퍼부(26)는 입력된 복호 완료 픽쳐를 버퍼링하는 전용 메모리로서 구성될 수도 있다.

출력 제어부(21)는 표시부(40)와의 인터페이스를 갖고, 표시부(40)로 출력하는 영상 신호를 제어한다. 출력 제어부(21)는 검지부(22)에 의하여 검지된 신호에 따라서, 버퍼부(26)에 버피링된 복호 완료 픽쳐를 판독하고, 영상 신호로 변환하여 표시부(40)로 출력한다. 이때, 출력 제어부(21)는 방송이 수신된 시간으로부터 3초 지연시켜서 출력을 행한다. 출력 제어부(21)는 CPU 상에서 실행되는 컴퓨터 프로그램으로서 구성될 수도 있다. 다만, 출력 제어부(21)는 동영상 데이터 등을 표시부(40)로의 출력 형식으로 변환하여 영상 신호를 출력하는 전용 프로세서로서 구성될 수도 있다.

표시부(40)는 소위 모니터이며, 출력 제어부(21)에 의해 출력된 영상 신호의 입력을 받아서 영상을 표시한다.

<퍼스널 컴퓨터의 구성>

도 8은 본 발명의 일실시예에 따른 퍼스널 컴퓨터(10)의 상세 구성의 예를 나타내는 도면이다. 도 8과 같이, 퍼스널 컴퓨터(10)는 컴퓨터 프로그램을 실행하 고, 퍼스널 컴퓨터(10)를 제어하는 CPU(11)와, CPU(11)에서 실행되는 컴퓨터 프로그램, 또는 CPU(11)가 처리하는 데이터를 기억하는 메모리(12)와, CPU(11)를 각종의 장치에 접속하는 인터페이스(13)와, 인터페이스(13)를 통하여 접속되는 방송 수신부(14), 통신부(15), 하드 디스크 구동 장치(16), 휴대용 매체 구동 장치(17), 조작부(18), 및 표시부(40) 등의 장치를 갖고 있다.

여기서, CPU(11)는 컴퓨터 프로그램을 실행하고, 퍼스널 컴퓨터(10)의 각 부를 제어함으로써, 퍼스널 컴퓨터(10)를 검지부(22), 방송 수신부(14), 출력 제어부(21), 픽쳐 생서부(23), 버퍼부(26), 및 출력 제어부(21) 등의 각 기능부를 갖는 장치로서 기능시킨다. 메모리(12)는 CPU(11)에서 실행되는 프로그램, 및 CPU(11)에서 처리되는 데이터를 기억한다. 메모리(12)는 휘발성의 RAM(Random Access Memory)과, 불휘발성의 ROM(Read Only Memory)을 포함한다. ROM에는 플래시 메모리, EPROM(Erasable Programmable Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory)과 같은 재기입 가능한 반도체 메모리를 포함한다.

인터페이스(13)는 USB 등의 시리얼 인터페이스, 또는, PCI(Peripheral Component Interconnect), ISA(Industry Standard Architecture), EISA(Extended ISA), ATA(AT Attachment), IDE(Integrated Drive Electronics), IEEE1394, SCSI(Small Computer System Interface) 등의 패럴렐 인터페이스 중 어느 하나일 수도 있다. 또한, 도 8에서는, 인터페이스(13)라고 기재되어 있지만, CPU(11)와 각 장치와의 사이를 다른 인터페이스에 의해 접속할 수도 있다. 또한, 복수의 인 터페이스를 브릿지 접속할 수도 있다.

방송 수신부(14)는 원-세그먼트 방송용의 텔레비전 튜너이다. 방송 수신부(14)는 동조 회로와 증폭기를 포함하는 고주파부 이외에, 디지털 신호의 복호기(OFDM(Orthogonal Frequency Division Multiplexing)의 복조기) 등을 포함한다.

여기서, 고주파부는 고주파의 전자파를 베이스밴드 신호로 변환한다. 또한, OFDM의 복조기는 FFT(Fast Fourier Transform) 처리 회로 및 직교 복조기를 포함하고, 베이스밴드 신호로부터 디지털 신호를 생성한다. 이들의 처리는 곱의 합(sum of product) 연산을 실행하는 전용의 디지털 회로에 의해 구성될 수도 있다. 또한, DSP와 같은 프로세서와 프로그램에 의해 구성될 수도 있다. 또한, 텔레비전 방송의 규격에 따라서 제조되어 판매되고 있는 복조용 LSI를 이용할 수도 있다.

통신부(15)는 브로드밴드 네트워크와의 인터페이스이다. 브로드밴드 네트워크는, 예를 들어, LAN(Local Area Network), 케이블 텔레비전 네트워크, xDSL(x Digital Subscriber Line), ADSL, 광 네트워크 등의 유선 네트워크, 또는 무선 LAN, 고정 무선 액세스(FWA) 등의 무선 액세스 가능한 네트워크이다. 통신부(15)는, 예를 들어, 네트워크상의 서버로부터 하드 디스크 구동 장치(16)에 설치되는 컴퓨터 프로그램이나, 텔레비전 방송의 전자 편성표 등을 취득한다. 이들 브로드밴드 네트워크는, 일반적으로는, 인터넷에 접속 가능하다.

하드 디스크 구동 장치(16)는 메모리(12)에 로드되는 프로그램을 저장한다. 또한, 하드 디스크 구동 장치(16)는 CPU(11)에서 처리되는 데이터를 기억한다.

또한, 하드 디스크 구동 장치(16)는 1대에 한정되는 않으며, 복수대 설치될 수도 있다. 또한, 예를 들어, 하드 디스크 구동 장치(16)는 네트워크상의 다른 컴퓨터, 예를 들어, 디스크 서버가 관리하는 것일 수도 있다. 이 경우에는, CPU(11)가 통신부(15)를 통하여 디스크 서버와 통신하도록 할 수도 있다. 그리고, CPU(11)가 디스크 서버로부터 취득한 EPG 등을 표시부(40)에 표시할 수도 있다.

휴대용 매체 구동 장치(17)는, 예를 들어, CD(Compact Disc), DVD(Digital Versatile Disk), HD-DVD, 블루레이 디스크 등의 구동 장치이다. 또한, 휴대용 매체 구동 장치(17)는 플래시 메모리 등의 불휘발성 메모리를 갖는 카드 매체의 입출력 장치일 수도 있다. 휴대용 매체 구동 장치(17)가 구동하는 매체는, 예를 들어, 하드 디스크 구동 장치(16)에 설치되는 컴퓨터 프로그램, 동영상 데이터 등을 유지한다.

조작부(18)는 컴퓨터의 입력 장치, 예를 들어, 키보드, 포인팅 디바이스 등이다. 또한, 조작부(18)로서, 적외선 검출부와 적외선 리모콘과의 조합에 의한 리모콘 조작부나, 각종의 스위치, 채널 조작용의 손잡이 등이 포함된다. 포인팅 디바이스의 종류에는 특별히 한정되지 않고, 마우스, 트랙 볼, 다이얼식 조작부, 스틱형식으로 조작부(40) 상의 포인터를 이동하는 장치, 정전 용량에 의하여 사용자의 손가락 조작을 검출하는 디바이스, 터치 패널, 조이 스틱 등, 퍼스널 컴퓨터(10)의 특성, 사용자의 필요 등에 따라서, 적절한 것을 사용할 수도 있다.

키보드는 사용자의 입력 조작에 따라서, 입력된 키에 대응하는 전기 신호를 키보드 컨트롤러(도시 생략)에 송신한다. 키보드 콘트롤러는 그 전기 신호에 대응하는 부호를 CPU(11)에 송신한다.

포인팅 디바이스는 사용자 조작을 검지하여, 조작 신호를 포인팅 디바이스 제어 장치(도시 생략)(예를 들어, 마우스 컨트롤러(도시 생략), 또는, 인터페이스(13) 등)에 송신한다. 조작 신호를 수신한 포인팅 디바이스 제어 장치는 조작의 방향 또는 조작량을 생성하기 위한 정보를 CPU(11)에 송신한다. CPU(11)의 디바이스 드라이버는 포인팅 디바이스 제어 장치로부터의 조작 신호에 의거하여, 표시부(40) 위의 화면에 포인터를 표시하고, 화면 상을 이동시킨다.

또한, CPU(11)의 OS는 포인터와 화면 상의 오브젝트(윈도, 버튼, 메뉴, 리스트 등)와의 위치 관계를 판정한다. 그리고, 포인터가 존재하는 위치에 있는 오브젝트를 선택 상태, 또는, 포커스 상태로 한다. 또한, 포인팅 디바이스에 대한 선택 확정 조작, 예를 들어, 마우스 버튼의 클릭에 의해 그 오브젝트의 선택을 확정한다.

표시부(40)는, 예를 들어, 액정 표시 장치, 플라스마 디스플레이 패널, CRT(Cathode Ray Tube), 일렉트로루미네선스 패널 등이다. 또한, 도시되어 있지는 않지만, 표시부(40)에는 화상 데이터를 저장하는 RAM, 및 RAM의 데이터에 의거하여 표시부(40)를 구동하는 구동 회로가 포함된다. 다만, 화상 데이터를 저장하는 RAM, 표시부(40)를 구동하는 구동 회로 등은 화상 처리 기판으로서 독립적으로 설치될 수도 있다. 이 경우에, 화상 처리 기판에는 CPU(11)로부터의 화상 정보를 구성하는 데이터가 입력된다.

또한, 표시부(40)에는 스피커가 부속하고, 방송 수신부(14)에서 생성된 음(음성 및 음성 이외의 음향을 포함), 하드 디스크 구동 장치(16) 또는 휴대용 매체 구동 장치(17)로부터 판독되는, 음성 합성 기판(도시 생략)에서 재생된 음을 출력한다. 음성 합성 기판은, 예를 들어, MP3 등의 디지털 데이터를 음으로 변환한다.

본 발명에 따른 정보 기기는 이상과 같은 퍼스널 컴퓨터(10)로서 구성될 수 있다. 다만, 본 발명에 따른 정보 기기는, 퍼스널 컴퓨터에 한정되지 않으며, 동등의 기능을 갖는 다른 장치, 예를 들어, 텔레비전 수신 장치일 수도 있다. 또한, 텔레비전 방송 수신용의 튜너, 셋-탑 박스, 텔레비전 방송 수신 기능을 갖는 휴대 전화, 휴대 정보 단말(PDA), 게임기, 텔레비전 방송 수신 기능을 갖는 차량 탑재기 등에 의해서도 실현할 수 있다.

<처리 플로우>

도 9 및 도 10에 퍼스널 컴퓨터(10)의 처리 플로우를 나타낸다. 도 9는 화상 데이터 복호 처리의 전체 흐름을 나타내는 플로차트이다. 본 플로차트에 나타낸 화상 데이터 복호 처리는, 조작부(18)에서의 텔레비전 시청 개시 조작을 검지부(22)가 수신하고, 검지부(22)에 의하여 화상 데이터 복호 처리의 개시 지시가 출력 제어부(21)에 대하여 출력됨으로써 실행된다.

스텝 S101에서는, 방송 수신부(14)로부터 출력된 데이터 스트림에 의거하여 픽쳐가 생성된다. 픽쳐 생성부(23)는 방송 수신부(14)로부터 출력된 TS 신호에 의거하여, 동영상 표시에 필요한 각 프레임의 픽쳐를 생성한다. 이때, P 픽쳐는 복호 완료의 1에서 3의 I 픽쳐 또는 P 픽쳐를 참조하는 프레임간 예측에 의하여 생성된다. 그 후, 처리는 스텝 S102로 진행한다.

스텝 S102에서는, 3초 분량의 복호 완료 픽쳐가 버퍼링된다. 버퍼부(26)는 픽쳐 생성부(23)에 의하여 생성된 픽쳐를 재생 시간으로써 3초 분량 버퍼링한다. 그 후, 처리는 스텝 S103으로 진행한다.

스텝 S103에서는, 영상 신호가 지연 출력된다. 출력 제어부(21)는 3초 분량의 복호 완료 픽쳐가 버퍼링된 상태에서, 방송이 수신된 시간으로부터 3초 지연시켜서 버퍼로부터 복호 완료 픽쳐를 판독하고, 표시부(40)로 출력한다. 즉, 출력 제어부(21)는 버퍼부(26)를 이용하여 3초간의 지연 출력을 행한다. 그 후, 처리는 스텝 S104로 진행한다.

스텝 S104에서는, 픽쳐의 결락이 감시된다. 픽쳐 생성부(23)는 버퍼부(26)에 의하여 버퍼링된 복호 완료 픽쳐에, 정보 부족 또는 블랙아웃해 있는 픽쳐가 있는지의 여부, 즉, 픽쳐의 결락의 유무를 감시한다. 픽쳐의 결락이 발견되지 않는 경우, 스텝 S101에 나타낸 픽쳐 생성 처리, 스텝 S102에 나타낸 버퍼 처리, 스텝 S103에 나타낸 출력 처리, 스텝 S104에 나타낸 감시 처리가 반복된다. 픽쳐의 결락이 발견된 경우, 처리는 스텝 S105로 진행한다.

스텝 S105에서는, 참조 픽쳐가 버퍼링된 3초 이내의 데이터로부터 취득될 수 있는지의 여부가 판정된다. 픽쳐 생성부(23)는 픽쳐에 결락이 있는 경우에, 결락한 픽쳐를 생성하기 위한 참조 픽쳐의 후보로 되는 복호 완료 픽쳐가 버퍼링되어 있는지의 여부를 판정한다. 즉, 버퍼부(26)는 3초 분량의 복호 완료 픽쳐를 버퍼링하고 있기 때문에, 결락해 있는 픽쳐의 생성에 필요한 참조 픽쳐가 과거 3초 이내의 픽쳐이면 버퍼링된 복호 완료 픽쳐로부터 참조 픽쳐를 취득 가능하지만, 결락해 있는 픽쳐의 생성에 필요한 참조 픽쳐가 과거 3초 이내에 없는 픽쳐인 경우, 버 퍼링된 복호 완료 픽쳐로부터 참조 픽쳐를 취득할 수 없다. 참조 픽쳐를 취득 가능하다고 판정된 경우, 처리는 스텝 S108로 진행한다. 참조 픽쳐를 취득할 수 없다고 판정된 경우, 처리는 스텝 S106으로 진행한다.

스텝 S106에서는, 정상적인 표시가 가능하지 않다는 취지의 메시지가 표시된다. 출력 제어부(21)는 픽쳐 생성부(23)에서 픽쳐의 결락이 보완될 수 없음을 검지하여, 표시부(40)에 정상적인 표시가 가능하지 않다는 취지의 메시지를 포함한 영상 신호를 출력한다. 이것을 수신한 표시부(40)에는 정상적인 표시가 가능하지 않다는 취지의 메시지가 표시되고, 시청자는 어떠한 원인에 의해 시청이 불가능한 상황으로 되어 있는지를 파악할 수 있다. 그 후, 처리는 스텝 S107로 진행한다.

스텝 S107에서는, 정상적인 데이터가 수신될 때까지의 대기 처리가 행해진다. 방송 수신부(14)에 의하여 정상적인 데이터가 수신된 경우, 처리는 스텝 S101로 진행하고, 영상 출력 및 표시가 재개된다.

스텝 S108에서는, 결락 픽쳐의 보완 처리가 행해진다. 픽쳐 생성부(23)는, 버퍼부(26)에 의하여 버퍼링된 복호 완료 픽쳐로부터 참조 픽쳐를 취득하고, 이 참조 픽쳐에 의거하여 프레임간 예측에 의하여 결락한 픽쳐를 보완한다. 보완 처리의 상세에 대하여는, 도 10을 이용하여 후술한다. 그 후, 처리는 스텝 S101로 진행한다.

도 10은 프레임간 예측에 의하여 픽쳐를 생성하고, 결락 픽쳐를 보완하는 처리의 흐름을 나타내는 플로차트이다. 본 플로차트에 나타낸 결락 픽쳐 보완 처리는 도 9에 나타낸 스텝 S108에 상당한다.

스텝 S201에서는, 참조 픽쳐가 취득된다. 픽쳐 생서부(23)는 버퍼부(26)에 의하여 버퍼링된 복호 완료 픽쳐를, 프레임간 예측에 사용하는 참조 픽쳐로서 1에서 3매 취득한다. 그 후, 처리는 스텝 S202로 진행한다.

스텝 S202에서는, 취득한 참조 픽쳐가 사용 가능한 것인지의 여부가 판정된다. 픽쳐 생성부(23)는 스텝 S201에서 취득한 참조 픽쳐(복호 완료 픽쳐)가 프레임간 예측에 사용 가능한 정상적인 픽쳐인지의 여부를 판정한다. 취득된 픽쳐가 블랙아웃한 픽쳐인 등, 참조 픽쳐로서 사용할 수 없다고 판정된 경우, 처리는 스텝 S203으로 진행한다. 취득된 픽쳐가 참조 픽쳐로서 사용할 수 있다고 판정된 경우, 처리는 스텝 S204로 진행한다.

스텝 S203에서는, 대체 참조 픽쳐가 취득된다. 픽쳐 생성부(23)는 버퍼부(26)에 의하여 버퍼링된 복호 완료 픽쳐로부터, 결락해 있고 참조 픽쳐의 프레임의 하나 이전의 프레임의 복호 완료 픽쳐를, 대체 참조 픽쳐로서 취득한다. 도 6을 이용하여 설명하면, 픽쳐의 생성에 필요한 참조 픽쳐가 C13, C14, C15이지만, C13이 결락해 있는 경우, 대체 참조 픽쳐로서 C12를 취득한다. 그 후, 처리는 스텝 S202로 진행하고, 취득한 대체 참조 픽쳐가 이용 가능한지의 여부가 판정된다. 즉, 픽쳐 생서부(23)는 이용 가능한 대체 참조 픽쳐가 취득될 때까지, 버퍼링된 복호 완료 픽쳐를 추적한다. 예를 들어, 도 6에 나타낸 바와 같이, 필요한 참조 픽쳐가 C12, C13, C14이지만, C13이 결락해 있는 경우, 대체 참조 픽쳐로서 C10을 취득할 수도 있다.

스텝 S204에서는, 프레임간 예측에 사용되는 참조 픽쳐가 필요 매수(枚數) 취득되었는지의 여부가 판정된다. 픽쳐 생성부(23)는 대체 참조 픽쳐를 포함하는 참조 픽쳐가 프레임 예측에 의거하여 픽쳐의 생성에 필요한 매수가 갖추어졌는지의 여부를 판정한다. 필요한 매수의 참조 픽쳐가 취득되었다고 판정된 경우, 처리는 스텝 S205로 진행한다. 필요한 매수의 참조 픽쳐가 취득되어 있지 않다고 판정된 경우, 처리는 스텝 S201로 진행한다. 즉, 필요한 매수의 참조 픽쳐(대체 참조 픽쳐가 포함되어도 됨)가 취득될 때까지, 스텝 S201로부터 스텝 S204의 처리는 반복된다.

스텝 S205에서는, 취득된 참조 픽쳐에 의거하여 픽쳐가 생성된다. 픽쳐 생성부(23)는 참조 픽쳐(대체 참조 픽쳐가 포함되어도 됨)에 의거하여, 프레임간 예측에 의한 픽쳐의 생성을 행한다. 그 후, 처리는 스텝 S206으로 진행한다.

스텝 S206에서는, 결락 픽쳐가 보완된다. 픽쳐 생성부(23)는, 스텝 S205에서 생성된 복호 완료 픽쳐에 의해, 결락한 픽쳐(스텝 S104에서 결락이 검출된 픽쳐)를 보완한다. 또한, 버퍼부(26)는 이 복호 완료 픽쳐를 버퍼링한다(스텝 S102를 참조). 또한, 이 픽쳐는 3초간의 지연 처리를 거쳐 출력 제어부(21)에 의해 표시부(40)로 출력된다(스텝 S103을 참조). 그 후, 본 플로차트에 나타낸 처리는 종료한다.

<변형례>

도 9 및 도 10에서는, 도 7에 나타낸 퍼스널 컴퓨터(10)의 내부 구성, 즉, 검지부(22), 방송 수신수(14), 출력 제어부(21), 픽쳐 생성부(23), 버퍼부(26), 및 출력 제어부(21) 등을 CPU(11)에서 실행되는 프로그램에 의해 실현하는 예를 나타 내었다. 그러나, 이와 같은 구성 대신에, <퍼스널 컴퓨터의 개요 구성>에서 설명한 바와 같이, 퍼스널 컴퓨터(10)의 내부 구성의 어느 하나 이상을 CPU(11)와는 다른 프로세서, 하드웨어 회로 등에 의해 실현할 수도 있다. 즉, CPU(11)의 처리 능력과, 처리량에 따라서는, 도 7의 각각의 구성 요소를 다른 프로세서, 또는 디지털 회로에 의해 구성할 수도 있다. CPU(11) 이외의 프로세서 또는 디지털 회로를 포함하는 경우이더라도, 이들의 처리 순서는 도 9 및 도 10에 나타낸 것과 동일하다. 즉, 본 실시예의 퍼스널 컴퓨터(10)는 CPU(11)의 프로그램으로서, 또는 전용 프로세서에 의하거나, 전용의 디지털 회로에 의해 실현될 수 있다.

<컴퓨터 판독 가능한 기록 매체>

컴퓨터 외의 기계, 장치(이하, 컴퓨터 등)에 상기 어느 하나의 기능을 실현시키는 프로그램을 컴퓨터 등이 판독 가능한 기록 매체에 기록할 수 있다. 그리고, 컴퓨터 등에, 이 기록 매체의 프로그램을 기입시켜 실행시킴으로서, 그 기능을 제공시킬 수 있다.

여기서, 컴퓨터 등이 판독 가능한 기록 매체란, 데이터나 프로그램 등의 정보를 전기적, 자기적, 광학적, 기계적, 또는 화학적 작용에 의해 축적하고, 컴퓨터 등으로부터 판독할 수 있는 기록 매체를 말한다. 이와 같은 기록 매체 중 컴퓨터 등으로부터 분리 가능한 것으로는, 예를 들어, 플렉시블 디스크, 광자기 디스크, CD-ROM, CD-R/W, DVD, DAT, 8mm 테이프, 메모리 카드 등이 있다.

또한, 컴퓨터 등에 고정된 기록 매체로서 하드 디스크나 ROM 등이 있다.

도 1은 H.264/AVC의 데이터 구성을 나타내는 도면.

도 2는 종래의 복호 완료 픽쳐의 취급을 나타내는 도면.

도 3은 픽쳐 결락이 발생한 경우의 종래의 표시 방식을 나타내는 도면.

도 4는 픽쳐 결락이 발생한 경우의 종래의 표시 방식을 나타내는 도면.

도 5는 본 발명에 따른 복호 완료 픽쳐의 취급을 나타내는 도면.

도 6은 픽쳐 결락이 발생한 경우의 본 발명에 따른 표시 방식을 나타내는 도면.

도 7은 본 실시예에 따른 퍼스널 컴퓨터의 개요 구성도.

도 8은 본 실시예에 따른 퍼스널 컴퓨터의 상세 구성의 예를 나타내는 도면.

도 9는 화상 데이터 복호 처리의 전체의 흐름을 나타내는 플로차트.

도 10은 프레임간 예측에 의하여 픽쳐를 생성하고, 결락 픽쳐를 보완하는 처리의 흐름을 나타내는 플로차트.

도면의 주요 부분에 대한 부호의 설명

14…방송 수신부 18…조작부

21…출력 제어부 22…검지부

23…픽쳐 생성부 26…버퍼부

40…표시부

Claims

압축 동영상 데이터 스트림에 의거하여, 프레임간 예측에 의한 픽쳐 생성을 포함하는 복호 처리를 행하는 동영상 데이터 복호 장치로서,

상기 복호 처리에 의해 복호화된 복호 완료 픽쳐를 소정의 양 버퍼링하는 버퍼부와,

상기 픽쳐 생성을 행하는 픽쳐 생성부이며, 상기 프레임간 예측에 이용되는 참조 픽쳐가 결락해 있는 경우, 상기 버퍼부에 의하여 버퍼링된 복호 완료 픽쳐로부터, 상기 참조 픽쳐의 대체(代替)로 되는 대체 참조 픽쳐를 취득하여 상기 픽쳐 생성을 행하는 픽쳐 생성부를 구비하는 동영상 데이터 복호 장치.
제 1 항에 있어서,

표시 장치로의 인터페이스와,

상기 복호 완료 픽쳐가 상기 소정의 양 버퍼링된 상태에서, 상기 압축 동영상 데이터 스트림이 수신 또는 입력된 시간으로부터 소정 시간 지연시켜서 상기 복호 완료 픽쳐에 의거하여 영상 신호를 상기 표시 장치로 출력하는 출력 제어부를 더 구비하고,

상기 픽쳐 생성부는, 상기 압축 동영상 데이터 스트림의 정보 결핍에 의해 픽쳐가 결락한 경우에, 상기 버퍼부에 의해 버퍼링된 복호 완료 픽쳐로부터 참조 픽쳐 또는 상기 대체 참조 픽쳐를 취득하여 상기 픽쳐 생성을 행하여, 결락한 픽쳐 를 보완하는 동영상 데이터 복호 장치.
압축 동영상 데이터 스트림에 의거하여, 프레임간 예측에 의한 픽쳐 생성을 포함하는 복호 처리를 행하는 정보 기기로서,

상기 복호 처리에 의하여 복호화된 복호 완료 픽쳐를 소정의 양 버퍼링하는 버퍼부와,

상기 픽쳐 생성을 행하는 픽쳐 생성부이며, 상기 프레임간 예측에 이용되는 참조 픽쳐가 결락해 있는 경우, 상기 버퍼부에 의하여 버퍼링된 복호 완료 픽쳐로부터, 상기 참조 픽쳐의 대체로 되는 대체 참조 픽쳐를 취득하여 상기 픽쳐 생성을 행하는 픽쳐 생성부와,

상기 복호 완료 픽쳐가 상기 소정의 양 버퍼링된 상태에서, 상기 압축 동영상 데이터 스트림이 수신 또는 입력된 시간으로부터 소정 시간 지연시켜서 상기 복호 완료 픽쳐에 의거하여 영상 신호를 출력하는 출력 제어부와,

상기 출력 제어부에 의하여 출력된 영상 신호에 의거하여 영상을 표시하는 표시부를 구비하고,

상기 픽쳐 생성부는, 상기 압축 동영상 데이터 스트림의 정보 결핍에 의하여 픽쳐가 결락한 경우에, 상기 버퍼부에 의하여 버퍼링된 복호 완료 픽쳐로부터 참조 픽쳐 또는 상기 대체 참조 픽쳐를 취득하여 상기 픽쳐 생성을 행하여, 결락한 픽쳐를 보완하는 정보 기기.
압축 동영상 데이터 스트림에 의거하여, 프레임간 예측에 의한 픽쳐 생성을 포함하는 복호 처리를 행하는 동영상 데이터 복호 방법으로서,

컴퓨터가,

상기 복호 처리에 의하여 복호화된 복호 완료 픽쳐를 소정의 양 버퍼링하는 버퍼 스텝과,

상기 픽쳐 생성을 행하는 픽쳐 생성 스텝이며, 상기 프레임간 예측에 이용되는 참조 픽쳐가 결락해 있는 경우, 상기 버퍼 스텝에서 버퍼링된 복호 완료 픽쳐로부터, 상기 참조 픽쳐의 대체로 되는 대체 참조 픽쳐를 취득하여 상기 픽쳐 생성을 행하는 픽쳐 생성 스텝을 실행하는 동영상 데이터 복호 방법.
제 4 항에 있어서,

상기 복호 완료 픽쳐가 상기 소정의 양 버퍼링된 상태에서, 상기 압축 동영상 데이터 스트림이 수신 또는 입력된 시간으로부터 소정 시간 지연시켜서 상기 복호 완료 픽쳐에 의거하여 영상 신호를 표시 장치로 출력하는 출력 제어 스텝을 더 실행하고,

상기 픽쳐 생성 스텝에서는, 상기 압축 동영상 데이터 스트림의 정보 결핍에 의하여 픽쳐가 결락한 경우에, 상기 버퍼 스텝에서 버퍼링된 복호 완료 픽쳐로부터 참조 픽쳐 또는 상기 대체 참조 픽쳐를 취득하여 상기 픽쳐 생성을 행하여, 결락한 픽쳐를 보완하는 동영상 데이터 복호 방법.
압축 동영상 데이터 스트림에 의거하여, 프레임간 예측에 의한 픽쳐 생성을 포함하는 복호 처리를 행하기 위한 동영상 데이터 복호 프로그램으로서,

컴퓨터에,

상기 복호 처리에 의하여 복호화된 복호 완료 픽쳐를 소정의 양 버퍼링하는 버퍼 스텝과,

상기 픽쳐 생성을 행하는 픽쳐 생성 스텝이며, 상기 프레임간 예측에 이용되는 참조 픽쳐가 결락해 있는 경우, 상기 버퍼 스텝에서 버퍼링된 복호 완료 픽쳐로부터, 상기 참조 픽쳐의 대체로 되는 대체 참조 픽쳐를 취득하여 상기 픽쳐 생성을 행하는 픽쳐 생성 스텝을 실행시키는 동영상 데이터 복호 프로그램.
제 6 항에 있어서,

상기 복호 완료 픽쳐가 상기 소정의 양 버퍼링된 상태에서, 상기 압축 동영상 데이터 스트림이 수신 또는 입력된 시간으로부터 소정 시간만큼 지연시켜서 상기 복호 완료 픽쳐에 의거하여 영상 신호를 표시 장치로 출력하는 출력 제어 스텝을 더 실행시키고,

상기 픽쳐 생성 스텝에서는, 상기 압축 동영상 데이터 스트림의 정보 결핍에 의하여 픽쳐가 결락한 경우에, 상기 버퍼 스텝에서 버퍼링된 복호 완료 픽쳐로부터 참조 픽쳐 또는 상기 대체 참조 픽쳐를 취득하여 상기 픽쳐 생성을 행하여, 결락한 픽쳐를 보완하는 동영상 데이터 복호 프로그램.