KR20040080930A - 정보 처리 장치 및 방법 - Google Patents

Abstract

본 발명은, 연결 촬영된 스트림 데이터의 연결 부분을 재생할 때에 생기는 이상을 억제하도록 한 정보 처리 장치 및 방법에 관한 것이다. TS 스트림의 DTS는, 가산기(57)에 의해 1 프레임 분의 카운터값을 가산하여 생성되고, PTS는, DTS에 기초하여, 픽쳐의 종류에 따라, I, P 픽쳐에 대해서는, DTS에 3 프레임 분의 카운터값을 가산하고, B 픽쳐에 대해서는, DTS를 PTS로서 생성한다. PCR는, 직전의 PCR로부터 지금 현재의 PCR가 검출되기까지의 픽쳐 수에 기초하여, 직전의 PCR의 STC에 대하여, 픽쳐 수를 3003으로 승산한 값을 가산한 값으로서 가산기(57)에 의해 생성된다. 데이터 치환부(72)는, 생성된 DTS, PTS, 및, PCR를 원래의 값과 치환하여 출력한다.

Description

정보 처리 장치 및 방법{INFORMATION PROCESSING APPARATUS AND METHOD}

MPEG(Moving Picture Experts Group)2 방식으로 화상이나 음성을 기록 재생하는 기술이 일반적으로 보급되고 있다. MPEG2는, 화상 압축 기술의 하나로서, 디지털 비디오 카메라 등에 널리 이용되고 있다.

MPEG2에 따른 화상 압축 방식에서는, 화상 데이터를 I(Intra Coded) 픽쳐(단독으로 복호 가능한 부호화 데이터), P(Predictive Coded) 픽쳐(자신보다도 시간적으로 전의 I 픽쳐나, 또는 P 픽쳐로부터 복호 가능한 부호화 데이터), 및, B(Bi-directionally Predictive Coded) 픽쳐(시간적으로 자기의 전후로 존재하는 I 픽쳐, 또는, P 픽쳐로부터 복호 가능한 부호화 데이터)의 3 종류의 타입의 부호화 픽쳐로 하여, 소정의 순서로 배치함으로써 압축 처리가 이루어지고, 재생 시에는, 이들의 픽쳐가 각 픽쳐의 특성에 따라, 복호되고, 소정의 순서로 표시되어 있다.

도 1은, MPEG2 방식으로 기록되는 스트림 데이터(TS: Transport Stream : 오류가 생기기 쉬운 환경 하에서 전송될 때에 사용되는 MPEG2의 스트림의 한 형태)의구성을 개념적으로 도시한 것이다. MPEG2 방식으로 기록된 데이터는, 상술된 바와 같이, I 픽쳐, P 픽쳐, 및, B 픽쳐의 모든 픽쳐가, 시계열적으로 디코드되어, 그 대로의 순서로 재생되는 것은 아니라, 픽쳐의 종류에 따라 디코드되는 타이밍과 재생되는 타이밍이 서로 다르다. 그래서, MPEG2에서는, 도 1에 도시한 바와 같이, 영상 데이터인 경우, 1 비디오 프레임마다(음성 데이터인 경우, 1 오디오 프레임마다), 각각의 데이터가 디코드(복호)되는 타이밍을 나타내는 DTS(Decoding Time Stamp)와, 재생되는 타이밍을 도시하는 PTS(Presentation Time Stamp)가 설정되어 있다.

DTS, 및, PTS의 타이밍은, 기록 장치에 설치된 STC(System Time Clock)에서 발생하는 기록 장치의 기준 시각에 대응한 시각 데이터이다. STC는, 실제로는, 26 시간 정도로 순환하는 카운터값이고, NTSC(National Television Standards Committee) 방식의 화상 데이터를 기록하는 경우, 1 프레임 분의 카운터값이 3003(PAL(Phase Alternating Line) 방식의 경우, 3600)으로서 사용되고 있다.

이 때문에, 도 1에 도시한 바와 같이 도 1에 있어서, 1 픽쳐마다, 선두의 픽쳐에서 DTS(n)(STC의 카운터값이 n)가 설정되면, 다음의 DTS는 n+3003이 되고, 이후 연속적으로 디코드되는 타이밍으로서 DTS가, n+6006, n+9009, n+12012, n+15015로 설정되어 있고, 제1 스트림이 순차 재생되는 것이 도시되어 있다.

한편, PTS는, DTS에 기초하여 설정되는 것으로서, 픽쳐의 종류에 따라서 그 설정이 서로 다르다. 예를 들면, I 픽쳐와 P 픽쳐의 주기가 3 프레임인 경우(I 픽쳐, 또는, P 픽쳐의 사이에 연속하여 삽입되는 B 픽쳐가 2 프레임이고, I 픽쳐나,또는, P 픽쳐가 3 프레임마다 나타나는 경우), I 픽쳐나 P 픽쳐에 있어서는, PTS는, DTS에 대하여 3 프레임 분의 값이 가산된 값이 된다. 즉, 도 1에 있어서는, 제1 스트림의 가장 좌측의 픽쳐가, I 픽쳐나, 또는, P 픽쳐이기 때문에, PTS는, DTS가 n 인 데 대하여, n+9009(3003×3)로 되어 있다. 마찬가지로 하여, 도 1의 좌측으로부터 3번째의 픽쳐에 대해서는, B 픽쳐이기 때문에, DTS가 n+6006이고, PTS는, n+6006이고, 또한, 좌측으로부터 4번째의 픽쳐에 대해서는, I 픽쳐나, 또는, P 픽쳐이기 때문에, DTS가 n+9009인 데 대하여, PTS는, n+18018(=n+9009+9009)으로 되어있다. 좌측으로부터 5번째의 픽쳐는, B 픽쳐이기 때문에, DTS가 n+12012인 데 대하여, PTS는, n+12012으로 되어있다. 또한, 좌측으로부터 6번째의 픽쳐도, B 픽쳐이기 때문에, DTS가 n+15015인 데 대하여, PTS도, n+15015로 되어있다.

또한, 이하의 설명에 있어서는, DTS와 PTS를 양방 사용하는 경우에 대해 설명하는 것으로 하지만, MPEG2에 있어서는, 실제로는, B 픽쳐에 있어서는, DTS와 PTS는 둘 중 어느 1개의 정보가 있으면 되기 때문에, DTS가 데이터로서 이용되고 있지 않고, PTS만이 데이터로서 사용되고 있다. 또한, B 픽쳐가 존재하지 않는 경우, I 픽쳐는, 단독으로의 복호가 가능하고, 또한, P 픽쳐가 복호될 때, 필요한 I 픽쳐, 또는, P 픽쳐는 이미 존재하기 때문에, 디코드된 타이밍에서 그대로 재생할 수 있으므로, 이 경우에도, PTS 만이 사용되고 있다.

또한, 기준 시각인 STC와 스트림 데이터의 대응 관계를 나타내는 정보로서, PCR(Program Clock reference)가 설정되어 있다. 즉, DTS와 PTS는, 기록 장치(부호화 장치)에 있어서의 STC의 값이므로, 재생 장치(복호 장치) 측에서의 STC와 반드시 일치하지 않는 경우가 있기 때문에, 스트림 데이터의 픽쳐에 대하여 부정기적인 간격으로 복호 장치 측의 STC를 보정하기 위한 PCR가 설정된다.

즉, 도 1에 있어서, PCR가, 좌측으로부터 3번째와 5번째의 픽쳐에 포함되어 있으므로(각각 도 1에서는, PCRx, PCRx+1), 각각의 픽쳐가 처리될 때에, 재생 장치는, 이 정보를 판독함으로써, 좌측으로부터 3번째의 픽쳐를 처리하는 시각이 시각 t1인 것을 인식하여, 그 시점에서의 STC를 보정한다. 또한, 재생 장치는, 좌측으로부터 5번째의 픽쳐에 포함된 PCRx+1의 정보에 기초하여, 좌측으로부터 5번째의 픽쳐를 처리하는 시각이 시각 t2인 것을 인식하여, STC를 보정하면서, 스트림 데이터를 재생한다.

이상과 같은 처리에 의해, MPEG2 방식으로 기록된 스트림 데이터는, 기록 재생된다.

그런데, 상술한 바와 같은 방법으로 기록 재생되는 MPEG2의 스트림 데이터이지만, 예를 들면, 도 1에 도시한 바와 같이, 제1 스트림에 계속해서, 다른 타이밍에서 제2 스트림을 계속해서 기록하는 (소위, 연결 촬영하는) 경우를 생각한다. 이 때, 제2 스트림을 촬상하는 타이밍은, 제1 스트림과는 다르기 때문에, 도 1에 도시된 바와 같이, DTS, PTS가 설정되게 된다.

즉, 제2 스트림의 가장 좌측의 픽쳐(I 픽쳐, 또는, P 픽쳐)의 DTS로서 m(≠n)이, PTS로서 m+9009가 각각 설정되어 있다. 이후, 좌측으로부터 각각의 픽쳐는, B 픽쳐, B 픽쳐, I 픽쳐, 또는, P 픽쳐, 및, B 픽쳐로 배치되어 있고, 각각의 DTS는, m+3003, m+6006, m+9009, m+12012, PTS는, m+3003, m+6006, m+9009,m+12012로 각각 설정되어 있다. 이와 같이, DTS와 PTS는, 제1 스트림과 제2 스트림의 각 스트림 내에서 연속성은 유지되지만, 스트림의 상호 간에는, 무관계로 설정된다.

또한, 도 1에 도시한 바와 같이, 제1 스트림으로 참조하는 STC를 STCx로 하고, 제2 스트림으로 참조하는 STC를 STCy라고 하면, PCR는, 촬상 시의 STC의 시각 데이터를 기록하고 있기 때문에, STCx와 STCy는, 서로 기준이 되는 시각 tx0, ty0(기록이 개시된 STC 상의 시각)이 서로 다르기 때문에, 당연한 일이지만 참조되는 PCR에 대하여도, 스트림 사이의 연속성이 유지되지 않게 된다.

이와 같이, 제1 스트림과 제2 스트림은, 각각 스트림마다 관련성이 없는 DTS와 PTS가 설정되게 된다. 이 때문에, 제1 스트림과 제2 스트림이 연속 재생되면, 도 1의 불연속점 부근에서는, DTS와 PTS에 연속성이 유지되고 있지 않기 때문에, STC은, 제1 스트림을 재생할 때에 사용하고 있는 STCx에 대응한 상태로부터, STCy에 대응한 상태로 보정되게 된다. 이 때문에, 제2 스트림으로 전환한 시점에서는, STC가 본래 STCy의 기준 시각으로 전환돼야 되야 됨에도 불구하고, STC는, STCx의 상태인 채로 있기 때문에, STC가 STCy로 보정되기까지의 사이, 연결 촬영된 스트림 데이터를 재생할 때, 제2 스트림의 DTS, 및, PTS는, STCx를 참조하여 처리되므로, 이 때에 재생되는 영상이 프리즈된다고 하는 이상이 발생하게 된다고 하는 과제가 있었다.

본 발명은, 정보 처리 장치 및 방법에 관한 것으로, 특히, 연결 촬영된 스트림 데이터를 연속 재생할 때에 생기는 재생 데이터의 이상을 저감시키도록 한 정보 처리 장치 및 방법에 관한 것이다.

도 1은 종래의 기록 장치에 의해 기록된 스트림 데이터의 구성을 도시하는 도면.

도 2는 본 발명을 적용한 비디오 레코더의 일 실시 형태의 구성을 도시하는 블록도.

도 3은 도 2의 비디오 레코더에 의해 기록된 기록 매체의 스트림 데이터를 재생하는 재생 장치의 구성을 도시하는 블록도.

도 4는 도 2의 시각 데이터 변환부의 구성을 도시하는 블록도.

도 5는 타임 스탬프 변환 처리를 설명하는 흐름도.

도 6은 타임 스탬프 변환 처리에 의해 변환된 스트림 데이터의 구성을 설명하는 도면.

도 7은 프로그램 저장 매체를 설명하는 도면

본 발명은 이러한 상황을 감안하여 이루어진 것으로, DTS 및 PTS의 연속성을유지하도록 하여, 연결 촬영된 스트림 데이터를 연속 재생할 때에 생기는 이상을 억제시키도록 하는 것이다.

본 발명의 정보 처리 장치는, 제1 스트림 데이터의 제1 시각 데이터를 취득하는 제1 취득 수단과, 제1 스트림 데이터에 연결 촬영된 제2 스트림 데이터의 제2 시각 데이터를 취득하는 제2 취득 수단과, 제2 시각 데이터를, 제1 시각 데이터에 대하여 연속적인 시각 데이터로 변환하는 시각 데이터 변환 수단을 포함하는 것을 특징으로 한다.

상기 스트림 데이터는, MPEG2 방식으로 기록된 비디오 데이터, 또는, 오디오 데이터로 하도록 할 수 있다.

상기 제1 시각 데이터, 및, 제2 시각 데이터에는, MPEG2로 규정되어 있는 디코딩 타임 스탬프, 프레젠테이션 타임 스탬프, 또는, 프로그램 클럭 레퍼런스의 데이터를 포함하게 하도록 할 수 있다.

본 발명의 정보 처리 방법은, 제1 스트림 데이터의 제1 시각 데이터를 취득하는 제1 취득 단계와, 제1 스트림 데이터에 연결 촬영된 제2 스트림 데이터의 제2 시각 데이터를 취득하는 제2 취득 단계와, 제2 시각 데이터를, 제1 시각 데이터에 대하여 연속적인 시각 데이터로 변환하는 시각 데이터 변환 단계를 포함하는 것을 특징으로 한다.

본 발명의 프로그램 저장 매체의 프로그램은, 제1 스트림 데이터의 제1 시각 데이터의 취득을 제어하는 제1 취득 제어 단계와, 제1 스트림 데이터에 연결 촬영된 제2 스트림 데이터의 제2 시각 데이터의 취득을 제어하는 제2 취득 제어 단계와, 제2 시각 데이터의, 제1 시각 데이터에 대하여 연속적인 시각 데이터로의 변환을 제어하는 시각 데이터 변환 제어 단계를 포함하는 것을 특징으로 한다.

본 발명의 프로그램은, 제1 스트림 데이터의 제1 시각 데이터의 취득을 제어하는 제1 취득 제어 단계와, 제1 스트림 데이터에 연결 촬영된 제2 스트림 데이터의 제2 시각 데이터의 취득을 제어하는 제2 취득 제어 단계와, 제2 시각 데이터의, 제1 시각 데이터에 대하여 연속적인 시각 데이터로의 변환을 제어하는 시각 데이터 변환 제어 단계를 컴퓨터에 실행시키는 것을 특징으로 한다.

본 발명의 정보 처리 장치 및 방법, 및 프로그램에 있어서는, 제1 스트림 데이터의 제1 시각 데이터가 취득되고, 제1 스트림 데이터에 연결 촬영된 제2 스트림 데이터의 제2 시각 데이터가 취득되고, 제2 시각 데이터가, 제1 시각 데이터에 대하여 연속적인 시각 데이터로 변환된다.

도 1은, 본 발명에 따른 비디오 레코더의 일 실시 형태의 구성을 도시하는 도면이다.

CCD(Charged Coupled Device) 카메라(11)는, CCD로 이루어지는 촬상 소자로 구성되어, 촬상된 영상을 화상 데이터로 하여 MPEG 비디오 인코더(12)로 출력한다. MPEG 비디오 인코더(12)는, CCD 카메라(11)로부터 입력된 화상 데이터를, MPEG2 방식으로 인코드(압축)하여, 비디오 ES(Elementally Stream)를 생성하여, 멀티플렉서(13)로 출력한다.

마이크로폰(14)은, 음성 데이터를 생성하여, MPEG 오디오 인코더(15)로 출력한다. MPEG 오디오 인코더(15)는, 마이크로폰(14)으로부터 입력된 음성 데이터를 MPEG 방식으로 인코드(압축)하여, 오디오 ES로서 멀티플렉서(13)로 출력한다.

멀티플렉서(13)는, MPEG 비디오 인코더(12)로부터 입력된 MPEG2의 비디오 ES와, MPEG 오디오 인코더(15)로부터 입력된 오디오 ES를 다중화하여, 도 1에 도시한 바와 같은 TS(Transport Stream)로 이루어지는 스트림 데이터를 생성하여, 시각 데이터 변환기(16)로 출력한다. 또한, 도 1에는, 설명의 형편상, 화상 데이터에 대한 정보 만이 표시되어 있지만, 실제로는, 비디오 ES와 오디오 ES가 다중화되어 영상 데이터와 음성 데이터가 혼재한 TS가 생성된다.

시각 데이터 변환기(16)는, 멀티플렉서(13)로부터 입력된 TS 중, 최초로 기록된 스트림 데이터 이후에, 기록된 스트림 데이터(연결 촬영된 스트림 데이터)의 시각 데이터이다, PTS, DTS, 및, PCR를, 그 전에 기록된 스트림 데이터의 DTS, PTS, 및, PCR에 기초하여 변환하여, 기록부(17)로 출력한다. 또한, 시각 데이터 변환기(16)에 대해서는, 도 4를 참조하여, 상세를 후술한다.

기록부(17)는, 시각 데이터 변환기(16)로부터 입력된, 시각 데이터가 변환되어 있는 스트림 데이터를 기록 매체(18)에 기록한다. 즉, 예를 들면, 기록 매체가 비디오 테이프인 경우, 기록부(17)는, 자기 헤드 등으로 구성되어, 스트림 데이터를 자기 테이프로 이루어지는 기록 매체(18)에 기록한다.

다음에, 도 2의 비디오 레코더의 동작에 대하여 설명한다.

CCD 카메라(11)는, 촬상한 화상 데이터를 MPEG 비디오 인코더(12)로 출력함과 함께, 마이크로폰(14)은, 음성 데이터를 MPEG 오디오 인코더(15)로 출력한다. MPEG 비디오 인코더(12), 및, MPEG 오디오 인코더(15)는, 각각에 입력된 화상 데이터, 및, 음성 데이터를 MPEG2 방식으로 압축하여, 비디오 ES, 및, 오디오 ES를 생성하여 멀티플렉서(13)로 출력한다.

멀티플렉서(13)는, MPEG 비디오 인코더(12), 및, MPEG 오디오 인코더(15)로부터 입력된 비디오 ES와 오디오 ES를 다중화하여, 도 1에 도시한 바와 같은 TS로 이루어지는 스트림 데이터를 생성하여, 시각 데이터 변환기(16)로 출력한다.

시각 데이터 변환기(16)는, 기록 매체에 최초로 기록되는 스트림 데이터 이후에, 연결 촬영된 스트림 데이터에 대하여, DTS, PTS, 및, PCR로 이루어지는 시각데이터를, 그 직전에 기록된 스트림 데이터에 대하여, 연속적인 값이 되도록 변환하여, 기록부(17)로 출력한다. 또한, 시각 데이터 변환기(16)의 시각 데이터를 변환하는 타임 스탬프 변환 처리에 대해서는, 도 5의 흐름도를 참조하여 상세를 후술한다.

기록부(17)는, 시각 데이터 변환부(16)로부터 입력된 스트림 데이터를 기록 매체(18)에 기록한다.

다음에, 도 3을 참조하여, 도 2의 비디오 레코더에 의해 기록 매체(18)에 기록된 스트림 데이터를 재생하는 재생 장치에 대하여 설명한다.

판독부(31)는, 기록 매체(18)에 기록된 스트림 데이터를 판독하여, TS로서 디멀티플렉서(32)로 출력한다. 디멀티플렉서(32)는, 입력된 TS에 다중화되어 있는 비디오 ES와 오디오 ES를 분리하여, 각각 MPEG 비디오 디코더(33), 및, MPEG 오디오 디코더(35)로 출력한다.

MPEG 비디오 디코더(33)는, 입력된 비디오 ES를 MPEG2 방식으로 디코드하여, 원래의 영상 데이터를 생성하여 표시부(34)로 출력한다. MPEG 비디오 디코더(33)는, 도시 생략된 STC를 소지하고 있고, 비디오 ES에 포함되는 픽쳐 프레임마다의 PCR의 정보에 기초하여, STC를 보정하여, 그 STC에 기초하여, 각 픽쳐 프레임(이하, 프레임이라 칭함)에 대응하는 DTS, 또는, PTS에 대응한 타이밍에서 디코드, 또는, 출력(표시)을 실행한다. 표시부(34)는, LCD(Liquid Crystal Display)나 CRT(Cathode Ray Tube) 등으로 구성되어, MPEG 비디오 디코더(33)로부터 입력된 영상 데이터를 표시한다.

MPEG 오디오 디코더(35)는, 입력된 오디오 ES를 MPEG2 방식으로 디코드하여, 원래의 음성 데이터를 생성하여 스피커(36)로 출력한다. MPEG 오디오 디코더(35)는, 도시 생략된 STC를 소지하고 있어, 오디오 ES에 포함되는 오디오 프레임마다의 PCR의 정보에 기초하여, STC를 보정하여, 그 STC에 기초하여, 각 프레임(오디오 프레임)에 대응하는 DTS, 또는, PTS에 대응한 타이밍에서 디코드, 또는, 스피커(36)로의 출력을 실행한다. 스피커(36)는, MPEG 오디오 디코더(35)로부터 입력된 음성 데이터에 기초하여 음성을 출력한다.

다음에, 도 3의 재생 장치의 동작에 대하여 설명한다.

판독부(31)는, 기록 매체(18)에 기록된 스트림 데이터를 판독하여, TS로서 디멀티플렉서(32)로 출력한다. 디멀티플렉서(32)는, 판독부(31)로부터 입력된 TS를 취득하여, 다중화되어 있는 비디오 ES와 오디오 ES를 분리하여, 각각을 MPEG 비디오 디코더(33), 및, MPEG 오디오 디코더(35)로 출력한다.

MPEG 비디오 디코더(33)는, 디멀티플렉서(32)로부터 입력된 비디오 ES의 픽쳐 프레임마다 포함되는 PCR(PCR가 포함되지 않은 픽쳐 프레임도 존재함)에 내장하는 STC를 보정하여, 그 STC에 대응한 DTS의 타이밍으로 MPEG2 방식의 디코드 처리를 실행하여, 원래의 영상 데이터를 생성하고, PTS의 타이밍에서 표시부(34)로 출력하여, 표시시킨다. MPEG 오디오 디코더(35)는, 입력된 오디오 ES에 포함되는 오디오 프레임마다의 PCR(PCR가 포함되지 않은 오디오 프레임도 존재함)에 기초하여, DTS를 보정하여, 그 DTS에 대응한 DTS의 타이밍에서 MPEG2 방식의 디코드 처리를 실행하여, 원래의 음성 데이터를 생성하여, PTS의 타이밍에서 스피커(36)로부터 음성으로서 출력시킨다.

다음에, 도 4를 참조하여, 시각 데이터 변환부(16)의 구성에 대하여 설명한다.

초기 스트림 판정부(51)는, TS가 입력된 타이밍에서, 입력된 TS가 기록 매체(18)에 최초로 기록되는 스트림 데이터인지의 여부(도 1에 도시하는, 제1 스트림인지의 여부)를 판정하여, 그 판정 결과를 PCR, DTS 검출부(53)로 출력함과 함께, 판정 결과에 기초하여 셀렉터(52)의 스위치(71)를 단자(71a 또는, 71b)로 전환한다.

보다 상세하게는, 초기 스트림 판정부(51)는, 기록부(17)를 통하여 기록 매체(18)에 기록된 데이터를 판독하여, 스트림 데이터가 존재하지 않은 상태인 것을 확인할 수 있었을 때(지금 현재의 스트림 데이터가 초기 스트림일 때), PCR, DTS 검출부(53)에 지금 현재의 스트림 데이터가 초기 스트림 데이터인 것을 나타내는 통지를 출력한다. 또한, 초기 스트림 판정부(51)는, 지금 현재의 스트림 데이터가 초기 스트림일 때, 스위치(71)를 단자(71a)에 접속하고, 그것 이외일 때, 스위치(71)를 단자(71b)에 접속한다.

셀렉터(52)는, 스위치(71)를 단자(71a, 71b) 중 어느 하나에 접속하여, 초기 스트림으로 이루어지는 스트림 데이터(입력된 그대로의 스트림 데이터)나, 또는, 초기 스트림 이외의 DTS, PTS, 및, PDR로 이루어지는 시각 데이터가 치환된 스트림 데이터 중 어느 하나를 선택하여, 기록부(17)로 출력한다.

데이터 치환부(72)는, 입력된, 초기 스트림 이외의 스트림의 스트림 데이터의 TS 헤더에 포함되어 있는 DTS, PTS, 및, PCR를, 가산기(57)에 의해 생성되는 DTS, 가산기(58)에 의해 생성되는 PTS, 및, STC 카운터(54)에 의해 생성되는 PCR로서의 STC의 값으로 치환하여 단자(71b), 및, 스위치(71)를 통하여 기록부(17)로 출력한다.

PCR, DTS 검출부(53)는, 입력된 TS의 각 TS 패킷의 TS 헤더로부터 PCR와 DTS(복수의 TS 패킷으로 이루어지는 픽쳐 단위에 할당된 PCR와 DTS)를 검출하여, 초기 스트림 판정부(51)로부터 초기 스트림인 것을 나타내는 통지를 받은 경우, 검출한 DTS를 DTS 메모리(56)에 덧씌우기시키고, 동시에 가산기(57)에 대하여 출력을 금지하도록 명령한다. 또한, 초기 스트림 판정부(51)로부터 초기 스트림인 것을 나타내는 통지를 받지 않은 경우, PCR, DTS 검출부(53)는, DTS를 검출한 타이밍에서, 그 시점에서 DTS 메모리(56)에 기억되어 있는 DTS를 가산기(57)로 출력시키도록 명령한다. 또한, PCR, DTS 검출부(53)는, PCR를 검출한 경우, 지금 현재의 PCR가 검출된 타이밍으로부터, 그 직전의 PCR를 검출한 타이밍까지 검출된 TS 패킷 수(DTS의 개수라도 됨)의 정보를 STC 카운터(54)로 출력한다.

또한, PCR는, STC 카운터에 의해 생성되는 STC를 보정하기 위한 기준 시각 참조 데이터인데, STC의 정밀도를 유지하기 위해서 0.1 ms 이내에 적어도 1개 생성하면 된다고 하는 MPEG2의 규정에 따라, PCR가 존재하는 TS 패킷과 존재하지 않은 TS 패킷이 존재한다.

STC 카운터(54)는, PCR, DTS 검출부(53)로부터 입력된 지금 현재의 PCR, TS 패킷 수, 및, 자신이 기억하고 있는, 직전의 PCR의 STC에 기초하여, 지금 현재의PCR에 대응하는 STC를 생성하여, 자신이 덧씌우기 기억함과 함께, 셀렉터(52)의 데이터 치환부(72)로 출력한다.

픽쳐 판정부(55)는, 입력된 TS 패킷으로 이루어지는 픽쳐(복수의 TS 패킷으로 이루어지는 픽쳐)가, I 픽쳐, P 픽쳐, 또는, B 픽쳐 중의 어느 종별인 것인가를 판정하여, 판정 결과에 기초하여, I 픽쳐, 또는, P 픽쳐인 경우, 연산기(59)의 파라미터 p를 3으로 설정하고, 연산기(59)에 3003×p(p=3)를 연산시켜 가산기(58)로 출력시킨다. 또한, 픽쳐 판정부(55)는, 입력된 TS 패킷의 픽쳐가 B 픽쳐인 경우, 연산기(59)의 파라미터 p를 0으로 설정하고, 연산기(59)로부터 0(=3003×0)을 가산기(58)로 출력시킨다. 또한, 파라미터 p는, I 픽쳐와 P 픽쳐의 주기에 따라 변화하는 값으로서, 지금의 경우, 그 주기가 3 프레임이므로(I 픽쳐, 또는, P 픽쳐의 사이에 연속하여 삽입되는 B 픽쳐가 2매이므로), p는 3으로 설정되지만, 예를 들면, 주기가 2 프레임인 (I 픽쳐, 또는, P 픽쳐의 사이에 연속하여 삽입되는 B 픽쳐가 1매인) 경우, p는, 2로 설정되게 되고, 그것 이외의 값에 대해서도 마찬가지로 파라미터 p는, 변화한다.

DTS 메모리(56)는, PCR, DTS 검출부(53)에 제어되어, 초기 스트림에 속하는 DTS는, 순차 덧씌우기하고, 기억하고, 그것 이외의 스트림의 DTS에 대해서는, DTS가 검출된 타이밍에서 직전에 기억하고 있는 DTS를 가산기(57)로 출력함과 함께, 가산기(57)보다 직전의 DTS에 3003이 가산된, DTS의 값을 덧씌우기 기억한다.

가산기(57)는, DTS 메모리(56)로부터 입력된 DTS에 1 프레임 분의 STC의 카운터값인 3003을 가산하여, DTS 메모리(56), 데이터 치환부(72), 및, 가산기(58)로출력한다. 가산기(58)는, 가산기(57)로부터 입력된 DTS의 값과, 연산기(59)로부터 입력된 값을 가산하여, PTS를 생성하여, 데이터 치환부(72)로 출력한다.

다음에, 도 5의 흐름도를 참조하여, 타임 스탬프 변환부(16)의 타임 스탬프 변환 처리에 대하여 설명한다.

단계 S1에 있어서, PCR, DTS 검출부(53)는, 타임 스탬프를 변환하여야 할 픽쳐가 존재하는가 아닌가를 판정하여, 타임 스탬프를 변환하여야 할 픽쳐가 존재하는 경우, 그 처리는, 단계 S2로 진행한다.

단계 S2에 있어서, PCR, DTS 검출부(53)는, PCR가 검출되었는지의 여부를 판정하여, PCR가 검출되었다고 판정한 경우, 그 처리는, 단계 S3으로 진행한다.

단계 S3에 있어서, PCR, DTS 검출부(53)는, 검출한 PCR와 함께, 직전의 PCR로부터 지금 현재의 PCR가 검출될 때까지 존재한 픽쳐 수를 STC 카운터(54)로 출력한다.

단계 S4에 있어서, STC 카운터(54)는, 입력된 PCR와, 직전에 연산된 STC에 기초하여, 입력된 PCR에 대응하는 STC를 연산하여, 기억함과 함께, 데이터 치환부(72)로 출력한다. 보다 상세하게는, STC 카운터(54)는, 직전의 PCR로부터, 지금 현재의 PCR가 검출되기까지의 픽쳐 수에 대응한, 지금 현재의 PCR로서의 STC를 계산하여, 데이터 치환부(72)로 출력하고, 이 처리를 순차 반복하여 간다. 결과로서, 기록 매체(18)에 기록되는 PCR는, 초기 스트림의 최초의 픽쳐의 PCR로서 설정된 STC을 기준으로 한 값(초기 스트림의 최초의 픽쳐의 PCR로서의 STC로부터 연속한 시각으로서 설정되는 값)이 된다.

또한, 단계 S2에 있어서, PCR가 검출되지 않은 경우, 단계 S3, S4의 처리는, 스킵되어, 그 처리는, 단계 S5로 진행한다.

단계 S5에 있어서, 초기 스트림 검출부(51)는, 입력된 픽쳐가 초기 스트림의 것인가 아닌가를 판정하여, 예를 들면, 초기 스트림이라고 판정된 경우, 그 처리는, 단계 S6으로 진행한다.

단계 S6에 있어서, 초기 스트림 판정부(51)는, 셀렉터(52)의 스위치(71)를 단자(71a)에 접속함과 함께, PCR, DTS 검출부(53)에 초기 스트림이 검출된 것을 통지한다.

단계 S7에 있어서, PCR, DTS 검출부(53)는, 입력된 픽쳐로부터 DTS를 검출하고, DTS 메모리(56)로 출력하여 덧씌우기하고 기억시킴과 함께, 가산기(57)로의 출력을 금지하고, 그 처리는, 단계 S1로 되돌아간다.

즉, 초기 스트림의 DTS, PTS, 및, PCR는, 그 기준이 되는 PCR에 기초하여, 설정되어 있기 때문에, 단계 S1 내지 S7의 처리에 의해, 변환되는 일없이 그대로 기록부(17)로 출력된다.

단계 S5에 있어서, 입력된 픽쳐가 초기 스트림의 것이 아니라고 판정된 경우, 그 처리는, 단계 S8로 진행한다.

단계 S8에 있어서, PCR, DTS 검출부(53)는, DTS를 검출한 타이밍에서, 이미 DTS 메모리(56)에 기억되어 있는 DTS를 가산기(57)로 출력시킨다.

단계 S9에 있어서, 가산기(57)는, DTS 메모리(56)로부터 입력된 직전의 DTS의 값에 3003(1 프레임 분의 DTS의 값)을 가산하여, 지금 현재의 DTS를 생성하여,데이터 치환부(72), 및, 가산기(58)로 출력함과 함께, 생성한 DTS를 DTS 메모리(56)에 덧씌우기 기억시킨다. 즉, 초기 스트림 이외의 스트림 데이터가 최초로 검출될 때에는, 초기 스트림의 최후의 픽쳐의 DTS의 정보가, DTS 메모리(56)에 기억되어 있게 되기 때문에, 초기 스트림 이후의 스트림에 포함되는 픽쳐의 DTS에 대해서는, 1 프레임 분의 STC의 카운터값 3003을 순차 가산함으로써, 연속한 DTS를 생성한다.

단계 S10에 있어서, 픽쳐 종별 판정부(55)는, 입력된 픽쳐가 B 픽쳐인지의 여부를 판정하여, B 픽쳐라고 판정한 경우, 그 처리는, 단계 S11로 진행한다.

단계 S11에 있어서, 픽쳐 종별 판정부(55)는, 연산기(59)의 파라미터 p를 0으로 설정하여, 3003×0을 연산시키고, 연산 결과를 가산기(58)로 출력시키고, 그 처리는, 단계 S13으로 진행한다.

또한, 단계 S10에 있어서, 픽쳐 종별 판정부(55)는, 입력된 픽쳐가 B 픽쳐가 아니라, 즉, I 픽쳐이거나, 또는, P 픽쳐라고 판정된 경우, 그 처리는, 단계 S12로 진행한다.

단계 S12에 있어서, 픽쳐 종별 판정부(55)는, 연산기(59)의 파라미터 p를 3으로 설정하여, 3003×3을 연산시키고, 연산 결과를 가산기(58)로 출력시켜, 그 처리는, 단계 S13으로 진행한다.

단계 S13에 있어서, 가산기(58)는, 가산기(57)로부터 입력된 DTS에 연산기(59)로부터 입력된 값을 가산하여, PTS를 생성하여, 데이터 치환부(72)로 출력한다.

즉, 단계 S10에 있어서, 픽쳐의 종별을 판정하여, 그 판정 결과에 따라, 단계 S11, S12에 있어서, PTS를 생성할 때에 필요로 되는 DTS에 가산할 값이 구해지고, 가산기(58)로 출력된다. 그리고, 단계 S13의 처리에 의해, B 픽쳐에 대해서는, DTS의 값 그 자체가, PTS로서 데이터 치환부(72)로 출력되고, I 픽쳐, 또는, P 픽쳐에 대해서는, DTS의 값에 3 프레임 분의 STC의 카운터값인 3003×3이 가산되어 PTS로서 데이터 치환부(72)로 출력된다.

단계 S14에 있어서, 데이터 치환부(72)는, 입력된 TS 패킷의 TS 헤더에 포함된 DTS, PTS, 및, PCR를, 가산기(57)로부터 입력된 DTS, 가산기(58)로부터 입력된 PTS, 및, STC 카운터(54)로부터 입력된 PCR로 치환하여 단자(71b), 및, 스위치(71)를 통하여 기록부(17)로 출력한다.

단계 S1에 있어서, 변환하여야 할 TS 패킷이 존재하지 않는다고 판정될 때까지, 단계 S1 내지 S14의 처리가 반복되고, 변환하여야 할 TS 패킷이 존재하지 않는다고 판정하였을 때, 그 처리는, 종료한다.

이상과 같은 타임 스탬프 변환 처리에 의해, 예를 들면, 도 6의 A에서 도시한 바와 같은 스트림 데이터가 입력된 경우, 그 스트림 데이터는, 도 6의 B에서 도시한 바와 같은 스트림 데이터로 변환된다. 즉, 도 6의 A에서 도시하는 변환되기 전의, 입력된 제1 스트림의 각 TS 패킷의 DTS와 PTS는, 도 6의 각각 좌측으로부터 최초의 TS 패킷은, I 픽쳐나, 또는, P 픽쳐이므로, DTS가 n, PTS는 n+9009이고, 그 다음의 TS 패킷은, B 픽쳐이기 때문에, DTS가 n+3003, PTS가 n+3003이고, 또한, 도 6의 좌측으로부터 3번째의 TS 패킷도, B 픽쳐이므로, DTS가 n+6006, PTS는 n+6006이고, 또한, PCRx가 포함되어 있다. 또한, 도 6의 좌측으로부터 4번째의 TS 패킷은, I 픽쳐나, 또는, P 픽쳐이기 때문에, DTS가 n+9009, PTS는 n+18018이고, 도 6의 좌측으로부터 5번째의 TS 패킷은, B 픽쳐이기 때문에, DTS가 n+12012, PTS는 n+12012이고, PCRx+1가 포함되어 있다. 또한, 도 6의 좌측으로부터 6번째의 TS 패킷은, B 픽쳐이기 때문에, DTS가 n+15015, PTS는 n+15015이다.

또한, 도 6의 A에서 도시한 바와 같이, 변환 전의 입력된 제2 스트림의 각 TS 패킷의 DTS와 PTS는, 도 6의 각각 좌측으로부터 최초의 TS 패킷은, I 픽쳐나, 또는, P 픽쳐이므로, DTS가 m, PTS는 m+9009이고, 그 다음의 TS 패킷은, B 픽쳐이기 때문에, DTS가 m+3003, PTS가 m+3003이고, 또한, PCRy가 포함되어 있다. 또한, 도 6의 좌측으로부터 3번째의 TS 패킷도, B 픽쳐이기 때문에, DTS가 m+6006, PTS는 m+6006이고, 도 6의 좌측으로부터 4번째의 TS 패킷은, I 픽쳐나, 또는, P 픽쳐이기 때문에, DTS가 n+9009, PTS는 n+18018이고, 도 6의 좌측으로부터 5번째의 TS 패킷은, I 픽쳐나, 또는, P 픽쳐이기 때문에, DTS가 n+12012, PTS가 n+12012이고, PCRy+1가 포함되어 있다. 또한, DTS, PTS, 및, PCR의 구성은, 도 1과 마찬가지이다.

도 6의 A에서 도시하는 제1 스트림의 스트림 데이터는, 스위치(71)가 단자(71a)에 접속되기 때문에, 단계 S1 내지 S7의 처리에 의해, 그대로의 상태에서, DTS, PTS, 및, PCR는, 변환되지 않고, 도 6의 B에서 도시한 바와 같이, 그대로의 상태에서 기록부(17)로 출력된다.

도 6의 A에서 도시하는 제2 스트림의 스트림 데이터, 즉, 제1 스트림과의 불연속점 이후의 스트림 데이터는, 새로운 DTS가, 스트림에 무관하게 선두로부터 순서대로 1 프레임의 카운터값 3003이 연속적으로 가산기(57)에 의해 가산되어 생성된다. 따라서, 도 6의 B에서 도시한 바와 같이, 불연속점 이후의 제2 스트림의 최초의 TS 패킷의 DTS는, 제1 스트림의 최후의 TS 패킷의 DTS의 값인 n+15015에 1 프레임 분의 값인 3003이 가산된 n+18018이 되고, 그 이후의 TS 패킷의 값은, 순서대로, n+21021, n+24024, n+27027, n+30030으로 변환된다.

또한, PTS는, 생성된 DTS에 대하여, I 픽쳐, 또는, P 픽쳐인 경우, 3 프레임 분의 값인 3003×3이 가산된 값으로서 생성되고, B 픽쳐인 경우, DTS와 동일한 값으로서 출력된다. 따라서, 제2 스트림의 PTS는, 상술된 바와 같이 변환된 DTS의 값에 대하여, 도 6의 B에서 도시한 바와 같이, 제2 스트림의 선두의 TS 패킷으로부터 n+27027, n+21021, n+24024, n+36036, n+30030으로 변환된다.

또한, PCR는, 직전의 STC에 대하여, 지금 현재의 PCR가 검출되기까지의 프레임 픽쳐 수에 카운터값 3003을 승산한 값으로서 설정되기 때문에, 제2 스트림의 선두의 PCRy는, 제1 스트림의 최후의 PCRx+1에 대하여, 그 사이에 존재하는 프레임 픽쳐 수에 3003을 승산한 값, 즉, 도 6의 B에서는, 3 프레임 분의 카운터값이 가산된 값이, PCRx+2로서 설정된다. 마찬가지로 하여, PCRx+3에 대해서도, PCRx+2의 카운터값에, 그 사이의 프레임 픽쳐 수에 3003를 승산한 값(=3003×3)을 가산한 값으로서 설정된다. 이 때문에, PCRx에 기초하여 얻어지는 STC가 시각 t1, PCRx+1에 기초하여 얻어지는 STC가 시각 t2, PCRx+2에 기초하여 얻어지는 STC가 시각 t3, 및, PCRx+3에 기초하여 얻어지는 STC가 시각 t4일 때, 시각 t1 내지 t4는, 기준 시각이 동일하게 되게 (STC의 카운트 개시 시각이 공통의 기준 시각 tx0이) 되고, DTS가 제1 스트림이나 제2 스트림과는, 무관하게 연속적으로 설정되어 있기 때문에, 재생 장치(복호 장치)가, 제1 스트림과 제2 스트림을 걸쳐, 연속적으로 재생할 때라도, 스트림이 전환되는 타이밍에서 STC를 보정하지 않고 재생시킬 수 있어, 결과적으로, 연결 촬영된, 스트림의 전환 부분에서 생기기 쉬웠던 프리즈 현상 등의 표시의 이상이 억제되게 된다.

또한, 이상의 예에 있어서는, 비디오 레코더에 시각 데이터 변환부(16)가 설치된 구성으로 되어있지만, 시각 데이터 변환부(16)만의 단체 장치를 구성하여, 예를 들면, 재생 장치에서 재생된 스트림 데이터를, 다른 기록 장치에서 기록시키는, 소위 더빙시킬 때에, 재생 장치로부터 출력되는 스트림 데이터 중, 시각 데이터(DTS, PTS, 및, PCR 등) 만을 시각 데이터 변환부(16)로 변환한 후, 기록 장치로 출력하여, 기록시키도록 함으로써, 새롭게 기록된(더빙된) 스트림 데이터에 있어서, 연결 촬영된 스트림 데이터를 연속 재생할 때의 표시의 이상을 억제시키도록 해도 된다.

이상에 따르면, 연결 촬영된 스트림의 전환 부분을 재생할 때에 생기는 표시의 이상을 억제하는 것이 가능해진다.

상술한 일련의 처리는, 하드웨어에 의해 실행시킬 수도 있지만, 소프트웨어에 의해 실행시킬 수도 있다. 일련의 처리를 소프트웨어에 의해 실행시키는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 전용의 하드웨어에 내장되어 있는 컴퓨터, 또는, 각종의 프로그램을 인스톨함으로써, 각종의 기능을 실행시키는 것이가능한, 예를 들면 범용의 퍼스널 컴퓨터 등에 프로그램 저장 매체로부터 인스톨된다.

도 7은, 비디오 레코더를 소프트웨어에 의해 실현하는 경우의 퍼스널 컴퓨터의 일 실시 형태의 구성을 도시하고 있다. 퍼스널 컴퓨터의 CPU(101)는, 퍼스널 컴퓨터의 전체의 동작을 제어한다. 또한, CPU(101)은, 버스(104) 및 입출력 인터페이스(105)를 통하여 사용자로부터 키보드나 마우스 등으로 이루어지는 입력부(106)로부터 명령이 입력되면, 그것에 대응하여 ROM(Read Only Memory)(102)에 저장되어 있는 프로그램을 실행한다. 또는, CPU(101)는, 드라이브(110)에 접속된 자기 디스크(111), 광 디스크(112), 광 자기 디스크(113), 또는 반도체 메모리(114)로부터 판독되어, 기억부(108)에 인스톨된 프로그램을, RAM(Random Access Memory)(103)에 로드하여 실행한다. 이에 따라, 상술한 화상 처리 장치(1)의 기능이, 소프트웨어에 의해 실현된다. 또한, CPU(101)은, 통신부(109)를 제어하여, 외부와 통신하여, 데이터의 수수를 실행한다.

프로그램이 기록되어 있는 프로그램 저장 매체는, 도 7에 도시한 바와 같이, 컴퓨터와는 별도로, 사용자에게 프로그램을 제공하기 위해서 배포되는, 프로그램이 기록되어 있는 자기 디스크(111)(플렉시블 디스크를 포함함), 광 디스크(112)(CD-ROM(Compact Disk-Read Only Memory), DVD(Digital Versatile Disk)를 포함함), 광 자기 디스크(113)(MD(Mini-Disc)를 포함함), 또는 반도체 메모리(114) 등으로 이루어지는 패키지 미디어로 구성되는 것 뿐만 아니라, 컴퓨터에 미리 내장된 상태에서 사용자에게 제공되는, 프로그램이 기록되어 있는 ROM(102)나, 기억부(108)에 포함되는 하드디스크 등으로 구성된다.

또한, 본 명세서에 있어서, 프로그램 저장 매체에 기록되는 프로그램을 기술하는 단계는, 기재된 순서에 따라서 시계열적으로 행해지는 처리는, 물론, 반드시 시계열적으로 처리되지 않더라도, 병렬적 또는 개별적으로 실행되는 처리를 포함하는 것이다.

본 발명의 정보 처리 장치 및 방법, 및 프로그램에 따르면, 제1 스트림 데이터의 제1 시각 데이터를 취득하고, 제1 스트림 데이터에 연결 촬영된 제2 스트림 데이터의 제2 시각 데이터를 취득하고, 제2 시각 데이터를, 제1 시각 데이터에 대하여 연속적인 시각 데이터로 변환하도록 하였기 때문에, 연결 촬영된 스트림의 전환 부분을 재생할 때에 생기는 표시의 이상을 억제하는 것이 가능해진다.

Claims (6)

1. 제1 스트림 데이터의 제1 시각 데이터를 취득하는 제1 취득 수단과,

   상기 제1 스트림 데이터에 연결 촬영된 제2 스트림 데이터의 제2 시각 데이터를 취득하는 제2 취득 수단과,

   상기 제2 시각 데이터를, 상기 제1 시각 데이터에 대하여 연속적인 시각 데이터로 변환하는 시각 데이터 변환 수단

   을 구비하는 것을 특징으로 하는 정보 처리 장치.
2. 제1항에 있어서,

   상기 스트림 데이터는, MPEG2 방식으로 기록된 비디오 데이터, 또는, 오디오 데이터인 것을 특징으로 하는 정보 처리 장치.
3. 제2항에 있어서,

   상기 제1 시각 데이터, 및, 상기 제2 시각 데이터는, MPEG2로 규정되어 있는 디코딩 타임 스탬프, 프레젠테이션 타임 스탬프, 또는, 프로그램 클럭 레퍼런스의 데이터를 포함하는 것을 특징으로 하는 정보 처리 장치.
4. 제1 스트림 데이터의 제1 시각 데이터를 취득하는 제1 취득 단계와,

   상기 제1 스트림 데이터에 연결 촬영된 제2 스트림 데이터의 제2 시각 데이터를 취득하는 제2 취득 단계와,

   상기 제2 시각 데이터를, 상기 제1 시각 데이터에 대하여 연속적인 시각 데이터로 변환하는 시각 데이터 변환 단계

   를 포함하는 것을 특징으로 하는 정보 처리 방법.
5. 제1 스트림 데이터의 제1 시각 데이터의 취득을 제어하는 제1 취득 제어 단계와,

   상기 제1 스트림 데이터에 연결 촬영된 제2 스트림 데이터의 제2 시각 데이터의 취득을 제어하는 제2 취득 제어 단계와,

   상기 제2 시각 데이터의, 상기 제1 시각 데이터에 대하여 연속적인 시각 데이터로의 변환을 제어하는 시각 데이터 변환 제어 단계

   를 포함하는 것을 특징으로 하는 컴퓨터가 판독 가능한 프로그램이 저장되어 있는 프로그램 저장 매체.
6. 제1 스트림 데이터의 제1 시각 데이터의 취득을 제어하는 제1 취득 제어 단계와,

   상기 제1 스트림 데이터에 연결 촬영된 제2 스트림 데이터의 제2 시각 데이터의 취득을 제어하는 제2 취득 제어 단계와,

   상기 제2 시각 데이터의, 상기 제1 시각 데이터에 대하여 연속적인 시각 데이터로의 변환을 제어하는 시각 데이터 변환 제어 단계

   를 컴퓨터에 실행시키는 프로그램.