KR20020018138A

KR20020018138A - 화상 정보의 전송 장치, 전송 시스템, 및 전송 방법

Info

Publication number: KR20020018138A
Application number: KR1020010052762A
Authority: KR
Inventors: 다까시마요시까즈; 가또모또끼; 하마다도시야
Original assignee: 이데이 노부유끼; 소니 가부시끼 가이샤
Priority date: 2000-08-31
Filing date: 2001-08-30
Publication date: 2002-03-07
Also published as: JP2002077815A; US20020044761A1; JP4337248B2; KR100826751B1

Abstract

디멀티플렉서(12)에 의해 비트 스트림이 ES로 변환된다. ES는 디코더(13)에 의해 디코딩되어 디지털 비디오 신호로서 모니터(14) 상에 표시된다. 트릭 재생의 MPEG 스트림을 출력하는 경우, 출력 제어부(16)에서, FF, FR, 슬로우 재생 등의 출력 모드가 결정되며 출력 모드의 정보는 해석/재기록부(15)에 제공된다. 해석/재기록부(15)는 픽처 단위로 스트림을 판독하고 픽쳐 헤더를 해석하며, 출력 제어부(16)로부터의 모드 정보에 따라 출력 모드를 실현하는 데에 필요한 처리를 실행한다. 트릭 재생 스트림을 출력하는 경우, MPEG 규정에 적합한 비트 스트림을 얻기 위해 픽쳐 헤더 내의 temporal_reference의 값이 정확한 값으로 재기록되며 vbv_delay의 값이 무효로 된다. 인코딩 규정을 만족시키는 트릭 재생 출력이 생성되며, 이에 따라 기존의 디코더에 의해 트릭 재생 출력의 스트림이 디코딩될 수 있게 된다.

Description

화상 정보의 전송 장치, 전송 시스템, 및 전송 방법{TRANSMITTING APPARATUS OF IMAGE INFORMATION, TRANSMISSION SYSTEM, AND TRANSMITTING METHOD}

본 발명은, 기록 매체에 기록된 MPEG(Moving Picture Experts Group) 비디오 신호를 재기록하는 데에 적용되는 화상 정보의 전송 장치, 전송 시스템 및 전송 방법에 관한 것이다.

디스크 등의 기록 매체에 기록된 MPEG 비디오 신호를 기초로 하여, 트릭(trick) 재생 화상을 모니터에 표시하는 경우, MPEG 디코더에 의해 디코딩된 디지털 비디오 신호를 일단 메모리에 저장하고, 표시될 프레임을 선택(즉, 표시의 유무의 결정)하거나, 동일한 프레임을 표시하는 횟수를 조절한다.

또한, IEEE(Institute of Electrical and EIectronics Engineers) 1394 등의 디지털 인터페이스를 통해 트릭 재생의 MPEG 비트 스트림을 출력하여, 외부의 기록 장치에 의해서 기록하거나, 외부의 재생 장치에 의해서 디코딩하고, 표시하는 것도 가능하다. 이 경우, 종래에서는, 송신측에서 행해지는 스틸, FF, FR, 슬로우 재생 등의 재생 모드를 나타내는 정보를, IS0(International 0rganization for Standardization)/IEC(International Electrotechnical Commission) 13818-1 시스템 스트림의 헤더 정보에 의해 보냄으로써 이러한 트릭 재생이 실현될 수 있다. FF는 순방향의 고속 재생을 나타내고, FR은 역방향의 고속 재생을 나타낸다. 구체적으로는, PES(Packetized Elmentary Stream) 패킷의 헤더 정보 내의 DSM_trick_mode 필드(DSM : Digital Storage Media)에, 스틸, FF, FR, 슬로우 재생 등의 재생 모드를 나타내는 정보를 기술한다. 이와 같이 하여 작성된 시스템 스트림을 송신측에서 수신측으로 디지털 인터페이스를 통해 전송한다.

PES 패킷의 헤더 정보의 DSM_trick_mode에 대응되는 디코더는, 현실적으로는 거의 존재하지 않는다. 이 때문에, 기존의 디코더에 대하여 트릭 재생의 MPEG 스트림을 기존 디코더에 의해 디코딩할 수 있는 형태로 디지털 인터페이스로 출력하는 방법이 요구된다.

따라서, 본 발명의 목적은, 트릭 재생의 스트림을, 기존의 디코더에 의해서 재생하는 것이 가능한 형태로 출력할 수 있는 화상 정보의 전송 장치, 전송 시스템 및 전송 방법을 제공하는 것에 있다.

도 1은 본 발명의 일 실시 형태의 구성을 나타내는 블록도.

도 2는 스킵 P 픽쳐의 설명에 이용되는 개략 선도.

도 3은 본 발명의 일 실시 형태에서의 검색 화면의 스트림의 설명에 이용하는 개략 선도.

도 4는 본 발명의 일 실시 형태에서의 검색 화면 스트림의 출력 처리의 설명에 이용되는 플로우차트.

도 5a 및 5b는 본 발명의 일 실시 형태에서의 FF 스트림 및 FR 스트림의 설명에 이용되는 개략 선도.

도 6은 본 발명의 일 실시 형태에서의 FF 스트림 및 FR 스트림의 출력 처리의 설명에 이용되는 플로우차트.

도 7은 본 발명의 일 실시 형태에서의 I 픽쳐 및 P 픽쳐를 이용한 FF 스트림의 설명에 이용되는 개략 선도.

도 8은 본 발명의 일 실시 형태에서의 I 픽쳐 및 P 픽쳐를 이용한 FF 스트림의 출력 처리의 설명에 이용되는 플로우차트.

도 9는 본 발명의 일 실시 형태에서의 I 픽쳐 및 P 픽쳐를 이용한 슬로우 재생 스트림의 설명에 이용되는 개략 선도.

도 10은 본 발명의 일 실시 형태에서의 I 픽쳐 및 P 픽쳐를 이용한 슬로우 재생 스트림의 출력 처리의 설명에 이용되는 플로우차트.

도 11은 본 발명의 일 실시 형태에서의 모든 픽쳐를 이용한 슬로우 재생 스트림의 설명에 이용되는 개략 선도.

도 12는 본 발명의 일 실시 형태에서의 모든 픽쳐를 이용한 슬로우 재생 스트림의 출력 처리의 설명에 이용되는 플로우차트.

도 13은 본 발명의 일 실시 형태에서의 I 픽쳐를 이용한 스틸 재생 스트림의 설명에 이용되는 개략 선도.

<도면의 주요 부분에 대한 부호의 설명>

11 : 메모리

12 : 디멀티플렉서

15 : 해석/재기록부

16 : 출력 제어부

20 : MPEG 디코더 내장의 모니터 장치

본 발명의 제1 특징적 구성은, 부호화 비트 스트림을 트릭 재생 출력으로 변환하여 전송로에 전송하기 위한 전송 장치에 있어서,

프레임내(intra-frame) 부호화 픽쳐와, 순방향 예측 부호화 픽쳐와, 양방향 예측 부호화 픽쳐를 포함하는 부호화 비트 스트림을 축적하는 축적 수단과,

지정된 트릭 재생 동작에 대응하는 출력 모드로 부호화 비트 스트림을 출력하도록 제어하기 위한 출력 제어 수단과,

부호화 비트 스트림에 관하여, 픽쳐를 표시하는 순서를 규정하는 제어 데이터를 재기록하기 위한 재기록 수단과,

소정의 픽쳐를 복사한 픽쳐를 생성하기 위한 픽쳐 생성 수단과,

제어 데이터가 재기록된 픽쳐와 생성된 픽쳐를, 출력 제어 수단의 제어에 따라서 출력하기 위한 출력 수단으로 이루어진다.

본 발명의 제2 특징적 구성은, 화상 정보의 전송 시스템에 있어서,

프레임내 부호화 픽쳐와, 순방향 예측 부호화 픽쳐와, 양방향 예측 부호화 픽쳐를 포함하는 부호화 비트 스트림을 축적하는 축적 수단과,

제어 데이터가 기록된 픽쳐와 생성된 픽쳐를, 출력 제어 수단의 제어에 따라서 트릭 재생 출력 데이터로서 출력하기 위한 출력 수단과,

출력 수단과 접속된 디지털 인터페이스와,

디지털 인터페이스를 통해 수신된 트릭 재생 출력 데이터를 기록 또는 표시하기 위한 장치로 이루어진다.

본 발명의 제3 특징적 구성은, 부호화 비트 스트림을 트릭 재생 출력으로 변환하여 전송로에 전송하기 위한 화상 정보의 전송 방법에 있어서,

프레임내 부호화 픽쳐와, 순방향 예측 부호화 픽쳐와, 양방향 예측 부호화 픽쳐를 포함하는 부호화 비트 스트림을 축적하는 축적 단계와,

지정된 트릭 재생 동작에 대응하는 출력 모드로 부호화 비트 스트림을 출력하도록 제어하는 출력 제어 단계와,

부호화 비트 스트림에 관하여, 픽쳐를 표시하는 순서를 규정하는 제어 데이터를 재기록하는 재기록 단계와,

소정의 픽쳐를 복사한 픽쳐를 생성하는 픽쳐 생성 단계와,

제어 데이터가 재기록된 픽쳐와 생성된 픽쳐를 출력 제어에 따라서 출력하는출력 단계로 이루어진다.

이상과 같은 본 발명에 따르면, 부호화 비트 스트림에 대한 처리에 의해서 트릭 재생 출력으로서의 출력 부호화 비트 스트림을 생성하는 것이 가능하고, 또한 출력 부호화 비트 스트림을 기존의 디코더로 디코딩하는 것이 가능하다.

본 발명의 전술한 목적 및 특징과 그 밖의 다른 목적 및 특징은, 첨부된 도면을 참조로 한 이하의 상세한 설명과 첨부된 특허청구범위로부터 더욱 명백해질 것이다.

[발명의 실시 형태]

본 발명의 일 실시 형태에 대하여, 이하, 도면을 참조하여 설명한다. 일 실시 형태에 따르면, MPEG 규격 상 정확하게, IEEE1394 등의 디지털 인터페이스를 통해 데이터를 출력하고 외부의 기존의 디코더에 의해 재생이 가능한 트릭 재생의 MPEG 스트림을 작성하도록 한 것이다. IEEE1394 상의 MPEG 스트림의 형식은, 트랜스포트 스트림(이하, TS로 표기함)으로 한다.

도 1은 일 실시 형태에 있어서의 기록 및 재생 장치의 구성을 전체적으로 도시한 도면이다. 셋 톱 박스(도시하지 않음)로부터의 위성 방송의 비디오 신호, 디지털 VTR로부터의 MPEG 형식으로 인코드된 비디오 신호 등의 부호화 비트 스트림은, 우선 메모리(11)에 축적된다. 메모리(11)는 반도체 메모리뿐만 아니라, 하드디스크나 광 기록 디스크 등의 기록 매체를 총칭하는 것이다. 메모리(11)에 축적되는 MPEG 비디오 신호는 TS나 프로그램 스트림(이하, PS로 표기함)의 형태로 다중화되어 있는 상태와, 다중화되어 있지 않은 엘리먼터리 스트림(이하, ES)중 어느것이어도 된다. 위성 방송의 경우 비디오 신호는, 예를 들면 하나의 프로그램의 데이터이다.

메모리(11)에 축적된 신호를 추출할 때, 신호가 다중화되어 있는 경우에는, 디멀티플렉서(도 1에서는, DEMUX로 표기함)(12)에 의해, 이 신호는 ES로 변환된다. ES는 디코더(13)에 의해 디코딩되어 디지털 비디오 신호로 되어, 모니터(14)에 표시된다. IEEE1394 상의 스트림은, TS 형식이기 때문에, 메모리(11)에 TS 형식으로 기록된 MPEG 스트림을 IEEE1394 인터페이스로 출력하는 경우에는, 직접 IEEE1394로 출력할 수 있다. TS 이외의 방식으로 기록되어 있는 경우에는, ES로 변환한 것을 TS 멀티플렉서(도 1에서는, TSMUX로 표기함)(17)로 다중화한다. TS 멀티플렉서(17)의 출력이 IEEE1394로 전송된다.

트릭 재생의 MPEG 스트림을 IEEE1394로 출력하는 경우, 출력 제어부(16)에서, FF, FR, 슬로우 재생 등의 출력 모드를 결정하고, 출력 모드를 나타내는 정보를 해석/재기록부(15)에 공급한다. 예를 들면, 사용자의 키 조작 등에 의해 출력 모드가 지정된다. 해석/재기록부(15)는, 픽쳐(프레임) 단위로, 스트림을 판독하고, 픽쳐 헤더를 해석하여, 출력 제어부(16)로부터의 모드 정보에 따른 출력 모드를 실현하기 위해서, 후술하는 처리를 행한다.

이하, MPEG에서 규정되어 있는 픽쳐의 종류에 대하여 설명한다. I 픽쳐(Intra-coded picture : 인트라 부호화 화상)는, 부호화될 때 그 화상 1장만으로 폐쇄한 정보를 사용하는 것이다. 따라서, 디코딩시에는, I 픽쳐 자신의 정보만으로 데이터를 디코딩할 수 있다. P 픽쳐(Forward Predictive-coded picture : 순방향 예측 부호화 화상)는, 예측 화상(차분을 얻는 기준으로 되는 화상)으로서, 시간적으로 앞에 디코딩된 I 픽쳐 또는 P 픽쳐를 사용하는 것이다. 현재의 화상과 움직임 보상된 예측 화상과의 차를 부호화하는 모드, 및 차분을 취하지 않고서 화상 부호화하는 모드중에서, 효율이 좋은 모드를 매크로 블록 단위로 선택한다. B 픽쳐(Bidirectionally predictive-coded picture : 양방향 예측 부호화 화상)는, 예측 화상(차분을 얻는 기준으로 되는 화상)으로서, 시간적으로 앞에 디코딩된 I 픽쳐 또는 P 픽쳐, 시간적으로 뒤에 디코딩된 I 픽쳐 또는 P 픽쳐, 및 이 양방으로부터 만들어진 보간 화상의 3 종류를 사용한다. 이 3 종류의 화상 각각의 움직임 보상후의 차분의 부호화와, 인트라 부호화 중에서, 가장 효율이 좋은 것을 매크로 블록 단위로 선택한다.

따라서, 매크로 블록 타입으로서는, 프레임내(intra-frame) 매크로 블록과, 과거부터 미래를 예측하는 순방향 프레임 간(inter-frame) 예측 매크로 블록과, 미래로부터 과거를 예측하는 역방향 프레임 간 예측 매크로 블록과, 순방향 및 역방향의 양방향으로부터 예측하는 양방향 매크로 블록이 있다. I 픽쳐 내의 모든 매크로 블록은, 프레임내 부호화 매크로 블록이다. P 픽쳐 내에는, 프레임내 부호화 매크로 블록과 순방향 프레임 간 예측 매크로 블록이 포함된다. B 픽쳐 내에는, 상술한 4 종류의 매크로 블록 모두가 포함된다.

또한, 이들의 매크로 블록의 타입에 들어 가지 않는 매크로 블록으로서 스킵된 매크로 블록(SB)이 있다. SB는, P 픽쳐에서는, 논(non) MC(단순 프레임 간 예측)이며 부호화 불요(Not Coded : DCT 계수를 갖지 않음) 매크로 블록이다.

해석/재기록부(15)는, 픽쳐(프레임) 단위로, 스트림을 버퍼에 판독하고, 픽쳐 헤더를 해석하여, 출력 제어부(16)로부터의 모드 정보에 따라 출력 모드를 실현하기 위해 이하와 같은 처리를 행한다.

판독한 픽쳐를 출력하지 않는 경우에는 버퍼를 클리어한다. 예를 들면 I 픽쳐 이외의 픽쳐를 출력하지 않는 처리가 행해진다.

슬로우 재생 등으로 동일한 픽쳐를 복수회 표시하는 스트림을 생성하는 경우, 스킵 P 픽쳐(Ps로 표시함) 및 복사 B 픽쳐(Bc로 표시함)를 이용한다. 스킵 P 픽쳐는, 스킵 P 픽쳐 발생부(18)에서 생성된 것으로, 그 상세한 설명에 대해서는 후술한다. 복사 B 픽쳐에 대한 설명도 후술한다. 표시될 픽쳐가 I 또는 P 픽쳐인 경우에는, 스킵 P 픽쳐를, 원래의 픽쳐에 계속하여 표시할 수 있도록 출력한다. 표시될 픽쳐가 B 픽쳐인 경우에는, 복사 B 픽쳐를, 원래의 픽쳐에 계속하여 표시할 수 있도록 출력한다.

즉, I 픽쳐를 반복하여 표시하는 경우, IIII...으로 출력하는 대신에, IPsPsPs...로 출력한다. P 픽쳐를 반복하여 표시하는 경우, PPPP...로 출력하는 대신에, PPsPsPs...로 출력한다. B 픽쳐를 반복하여 표시하는 경우, BBBB...로 출력하는 대신에, BBcBcBc...로 출력한다. 그러나, MPEG에서는, 비트 스트림 내의 픽쳐의 순서와 실제로 표시되는 픽쳐의 순서가 다른 점을 고려하여, 출력하는 픽쳐의 순서가 결정된다.

픽쳐를 출력하는 경우, MPEG 규격에 적합한 비트 스트림으로 변환하기 위해서, 두 가지 처리를 행한다. 우선, 픽쳐 헤더 내의 temporal_reference의 값을 옳은 값으로 재기록한다. temporal_reference는, GOP(Group 0f Picture) 내의 픽쳐의 표시 순서를 나타낸다. 그 값이 재기록되지 않고서 출력되면, MPEG 규격에 위반된다.

다음에, 픽쳐 헤더 내의 vbv_delay(디코더의 가상 입력 버퍼의 축적량)의 값을 0xFFFF에 재기록한다. 이 값은, vbv_delay의 무효를 나타내는 코드이다. 재기록을 행하는 이유는, 트릭 재생시에는, 픽쳐의 순서가 원래의 것으로부터 변하기 때문에, 원래의 vbv_delay의 값이 그대로 사용될 경우, 잘못된 결과를 얻게 되기 때문이다.

해석/재기록부(15)로부터의 출력은 IEEE1394 인터페이스에 제공되기 전에 TS 멀티플렉서(17)에 의해 TS 형식으로 다중화된다. 취급하고 있는 스트림이 원래 TS 형식으로 메모리(11)에 기록되어 있던 것인 경우, 디멀티플렉서(12)에 의해 ES로 스트림을 변환할 때에 얻을 수 있는 다중화의 정보(PID(패킷 ID), service_id 등)의 대부분을 이용하여 TS 다중화를 행하는 것이 바람직하다. 이를 위해, 디멀티플렉서(12)로 보존한 다중화 정보가 TS 멀티플렉서(17)로 송신된다.

IEEE1394 인터페이스에는, 기록 장치(19), 및 MPEG 디코더에 내장된 모니터 장치(20)가 접속되어 있다. 기록 장치(19)는, IEEE1394 상의 신호를 기록한다. 모니터 장치(20)는, IEEE1394 인터페이스로부터의 신호를 수신하는 TS 디멀티플렉서(TS DEMUX)(21)와, TS 디멀티플렉서(21)에 접속된 MPEG 디코더(22)와, MPEG 디코더(22)로부터의 비디오 및/또는 오디오 신호를 재생하는 모니터(23)로 구성되어 있다. 모니터 장치(20)에 의해서, IEEE1394 인터페이스를 통한 신호를 재생할 수 있다.

다음에, 트릭 재생 MPEG 스트림에 이용되는 픽쳐에 대하여 설명한다. 우선 스킵 P 픽쳐에 대하여 설명한다. 스킵 P 픽쳐는, 도 2에 도시한 구조를 갖는 P 픽쳐이다. 도 2의 하나의 블록이 매크로 블록(적절하게, MB로 표기함)을 나타낸다. 슬라이스의 양단의 매크로 블록은 MPEG의 규정에 따라 생략될 수 없기 때문에, macroblock_type을 MC, NotCoded(MB 어드레스 정보와 (0,0)의 이동 벡터를 전송하여, DCT 계수를 전송하지 않은 MB)로 변환한 매크로 블록으로 하고, 다른 모든 매크로 블럭은 전부 스킵된 매크로 블록(적절하게, SB로 표기함)으로 변환된다. 이 스킵 P 픽쳐를 수취한 디코더는 직전의 I 또는 P 픽쳐를 디코딩한 것과 완전히 동일한 디지털 비디오 신호를 출력한다.

스킵 P 픽쳐는 도 1의 스킵 P 픽쳐 발생부(18)에서 생성되지만, 스킵 P 픽쳐 발생부(18)에서는, 사전에 ROM 등에 보존해 둔 스킵 P 픽쳐를 판독할 수도 있으며, 혹은 비트 스트림 중의 시퀀스 헤더를 해석하고 프레임을 조사하여, 이 픽쳐 프레임에 적당한 스킵 P 픽쳐를 생성하여 이용할 수도 있다.

다음에, 복사 B 픽쳐에 대하여 설명한다. 복사 B 픽쳐는, 직전의 B 픽쳐의 복제이다. 복제한 B 픽쳐를 복수회 보내는 것에 의해서, 외부의 재생 장치에 의해 동일한 화상을 여러 번 표시할 수 있다.

이하, 트릭 재생 비트 스트림 생성의 몇 가지 구체적인 예에 대하여 설명한다. 우선 검색 화면에 대하여 설명한다. 도 3은 원래의 스트림과 검색 화면의 스트림을 나타낸다. 하나 이상의 GOP 마다 선두의 I 픽쳐를 출력하고, 그 후에 스킵 P 픽쳐 Ps를 필요한 수만큼 반복하여 출력한다. 도 3은, 10개의 GOP 마다 선두의 I 픽쳐를 출력하고, 그 후에 스킵 P 픽쳐를 14회 출력한 것이다. n(원래의 스트림의 GOP 내의 픽쳐 수)= 15인 경우, 5초(10 GOP)의 간격으로 1매의 픽쳐를 추출하고, 0.5초의 간격으로 표시하는 검색 화면을 실현하고 있다.

소정의 방법에 의해 메모리 상의 GOP의 선두 어드레스를 알고 있는 경우에는, 역방향으로 I 픽쳐를 찾아내어 출력하고, 그 후 스킵 P 픽쳐를 필요한 수만큼 출력함으로써, 역방향 검색 화면의 비트 스트림도 생성할 수 있다.

도 4는 x 개의 GOP 마다의 1매의 I 픽쳐를 y 회의 프레임마다 표시시키도록 출력을 행하는 플로우차트이다. 우선 단계 S1에 있어서, 하나의 GOP의 선두에 있는 I 픽쳐를 출력한다. 다음에, 스킵 P 픽쳐 Ps를 (y-1)회 출력한다. 도 3의 예에서, y-1= 14이다.

단계 S3에서는, GOP의 판독이 (x-1)회 스킵된다. 도 3의 예에서는, x-1= 9이다. 단계 S4에서는, 비트 스트림이 종료하였는지의 여부가 결정된다. 종료하지 않은 경우에는, 단계 S1, S2 및 S3가 반복된다. 스트림의 종료가 결정되면, 처리가 종료된다.

다음에, FF 및 FR의 처리에 대하여 설명한다. 도 5a는 원래의 스트림과 FF의 스트림을 나타낸다. 도 5b는 원래의 스트림과 FR의 스트림을 나타낸다. FF 및 FR에서는, GOP 마다 I 픽쳐를 출력하고, 그 후에 스킵 P 픽쳐 Ps를 필요한 수만큼 반복하여 출력한다. 스킵 P 픽쳐를 반복하는 횟수에 의해 EF 또는 FR의 속도를 결정할 수 있다. 출력되는 I 픽쳐의 간격이 짧을 수록 비트 레이트가 높게 된다.따라서, 디코더의 처리 속도 및 디지털 인터페이스에서 사용할 수 있는 비트 레이트에 대한 고려가 필요하다.

도 5a는, GOP 마다의 I 픽쳐를 3 프레임마다 표시하는 경우의 예이다. n= 15인 경우에는 5 배속 표시의 FF에 대응한다. 도 5b에 도시한 바와 같이, I 픽쳐를 추출하는 순서를 반대로 하면, FR이 실현된다.

도 6은 GOP마다의 I 픽쳐를 y 회의 프레임마다 표시시키도록 출력을 행하는 처리를 나타내는 플로우차트이다. 우선 단계 S11에 있어서, 하나의 GOP의 선두에 있는 I 픽처를 출력한다. 다음에, 스킵 P 픽쳐 Ps를 (y-1)회 출력한다. 단계 S13에서는, 비트 스트림이 종료하였는지의 여부를 결정한다. 종료하지 않은 경우에는, 단계 S11 및 S12가 반복된다. 스트림이 종료한 것으로 결정되면, 처리가 종료된다.

FF에 대해서는, I 픽쳐 이외에 P 픽쳐도 출력한다. 각각의 픽쳐의 뒤에 필요한 수의 스킵 P 픽쳐를 출력함으로써, I 픽쳐만을 표시하는 경우에 비하여 보다 원활한 FF 표시를 실현할 수 있다. 도 7은 n=15, m= 3의 GOP 구조를 갖는 스트림을 바탕으로, 한번에 I 픽쳐 및 P 픽쳐를 2회씩 표시하는 경우의 예이다. 이 경우, 1.5 배속의 재생이 수행된다. 스킵 P 픽쳐를 출력하지 않은 경우, m= 3에서는 3 배속이 된다. m은 I 또는 P 픽쳐가 나타나는 주기이다. 사용하는 P 픽쳐의 수를 제한하면, 더 빠른 속도의 FF도 가능하다. 이 경우, 사용하는 P 픽쳐로서, I 픽쳐에 가까운 순서로 몇 장째까지의 P 픽쳐가 표시되는지의 선택이 가능하다. 도중의 P 픽쳐를 제외한 경우, GOP 내의 그 제외된 P 픽쳐 이후의 P 픽쳐를 출력하는것은 가능하지 않다.

도 8은 GOP마다의 I 픽쳐, 및 x 장째까지의 P 픽쳐를 y 회의 프레임마다 표시시키도록 출력을 행하는 플로우차트이다. 우선 단계 S21에 있어서, 1매의 픽쳐를 판독하여 버퍼에 저장한다. 판독된 픽쳐 타입이 I 또는 P인지 단계 S22에서 결정된다. I도 P도 아닐 때에는, 단계 S27(비트 스트림이 종료인지의 여부의 결정)로 이동한다.

픽쳐 타입이 I 또는 P인 것으로 결정되면, 단계 S23에서, 픽쳐가 출력되고 출력 픽쳐 수의 카운트 값이 증가된다. 단계 S24에서, 스킵 P 픽쳐 Ps가 (y-1)회 출력된다.

단계 S25에서는, 출력 픽쳐 수의 카운트의 값이 x보다 큰지 아닌지가 결정된다. 출력 픽쳐의 카운트값이 x에 도달하지 않은 때에는, 단계 S27에서, 비트 스트림이 종료하였는지의 여부가 결정된다. 종료하지 않은 경우에는, 단계 S21의 처리로 되돌아간다. 비트 스트림의 종료가 결정되면, 처리가 종료된다. 단계 S25에서, 출력 픽쳐 수가 x 이상으로 되면, 단계 S26에서, 출력 픽쳐 수의 카운트값을 리세트하여, 다음의 GOP의 선두까지 판독이 스킵된다. 단계 S27의 처리로 이동된다.

다음에, 슬로우 재생 처리에 대하여 설명한다. 슬로우 재생에 대해서는, 두 가지 방법이 가능하다. 제1 방법에서는, 도 5a를 참조하여 설명한 FF 처리에 있어서, I 픽쳐 및 P 픽쳐를 이용하는 경우에, 각각의 픽쳐의 후에 출력되는 스킵 P 픽쳐의 수를 m보다 크게 한다. 스킵 P 픽쳐 삽입 후의 I 및 P 픽쳐의 간격을 x로 하면, m/x 배속을 실현할 수 있다. 그러나, 이 방법에 의해 슬로우 재생을 행한 경우에는, B 픽쳐를 표시하지 않는 것이 된다. 도 9는, m= 3의 비트 스트림을 바탕으로, x= 5(스킵 P 픽쳐를 4매마다 삽입)의 스트림을 출력한 경우에, 3/5 배속의 슬로우 재생을 행하는 예를 나타내고 있다.

도 10은 I 픽쳐 및 P 픽쳐를 y 회의 프레임마다 표시시키도록 출력을 행하는 처리를 나타내는 플로우차트이다. 우선 단계 S31에 있어서, 하나의 픽쳐를 판독하여 버퍼에 저장한다. 판독된 픽쳐 타입이 I 또는 P인지가 단계 S32에서 결정된다. I도 P도 아닐 때에는, 단계 S34(비트 스트림이 종료인지 여부의 결정)로 이동된다.

I 또는 P 픽쳐의 경우에는, 단계 S33에서, 스킵 P 픽쳐 Ps를 (y-1)회 출력한다. 단계 S34에서는, 비트 스트림이 종료하였는지의 여부가 결정된다. 종료하지 않은 경우에는, 단계 S31의 처리로 되돌아간다. 스트림의 종료가 결정되면, 처리가 종료된다.

다음에, 슬로우 재생의 제2 방법에 대하여 설명한다. 제2 방법은, 모든 픽쳐를 복수회 표시함으로써 슬로우 재생을 실현하는 것이다. 제2 방법에서는, I 및 P 픽쳐는 각각 계속하여 스킵 P 픽쳐를 표시하도록 이루어진다. B 픽쳐는, 복제된 B 픽쳐를 계속하여 표시하도록 이루어진다. 이와 같이 하나의 픽쳐를 복수회 표시함으로써, 슬로우 재생을 실현한다.

도 11은 모든 픽쳐를 2회씩 표시함으로써 1/2 배속을 실현한 예이다. 따라서, 원래의 15매의 픽쳐가 30매의 픽처로 변환된다. 희망하는 표시순으로 되도록, 비트 스트림 중의 픽쳐의 순서를 고려할 필요가 있다. 표시는, 재기록된temporal_reference에 의해 나타나는 순서로 행해진다.

도 12는 모든 픽쳐를 y 회의 프레임마다 표시시키도록 출력을 행하는 처리를 나타내는 플로우차트이다. 우선 단계 S41에서, 하나의 픽처를 판독하여 버퍼에 저장한다. 판독된 픽쳐 타입이 I 또는 P인지가 단계 S42에서 결정된다. I 또는 P 픽쳐의 경우에는, 단계 S43에서, 스킵 P 픽쳐 Ps를 (y-1)회 출력한다. 다음의 단계 S44에서, 메모리 내의 픽쳐를 출력한다. 단계 S45에서는, 비트 스트림이 종료하였는지의 여부가 결정된다. 종료하지 않은 경우에는, 단계 S41의 처리로 되돌아간다. 비트 스트림의 종료가 결정되면, 처리가 종료된다.

단계 S42에서, 픽쳐 타입이 I도 P도 아닌 것으로 결정되면, 단계 S46에서, 메모리 내의 픽쳐가 출력된다. 단계 S47에서, 복사 B 픽쳐 Bc를 (y-1)회 출력한다. 단계 S45의 비트 스트림이 종료하였는지의 여부를 결정하는 단계로 이동한다.

다음에, 스틸 재생의 처리에 대하여 설명한다. 스틸 재생에 대해서는, 이하의 3가지 방법이 가능하다. 제1 방법은, I 픽쳐로 스틸 재생을 행하는 경우, I 픽쳐를 출력한 후에 소정수의 스킵 P 픽쳐가 삽입된 GOP 구조를 반복하여 출력한다. 도 13은 I 픽쳐의 뒤에 스킵 P 픽쳐가 14매 계속되는 GOP 구조를 반복하여 보내는 예이다. 출력을 GOP 구조로 하는 이유는, 출력 목적지로 재기록하는 경우의 랜덤 액세스 특성이나 편집의 용이성을 고려하였기 때문이다.

제2 방법은, P 픽쳐로 스틸 재생을 행하는 것이다. 이 경우에서는, P 픽쳐의 뒤에 스킵 P 픽쳐 보내기를 계속한다. 제3 방법은, B 픽쳐로 스틸 재생을 행하는 것이다. 이 경우에서는, B 픽쳐의 뒤에 동일한 B 픽쳐 보내기를 계속한다. 이와 같이, P 픽쳐 및 B 픽쳐로 스틸 재생을 행하여, GOP 구조를 갖은 스틸 화면을 출력하는 경우에는, 다시 인코딩을 행하는 등의, P 픽쳐나 B 픽쳐를 I 픽쳐로 변환하는 처리가 필요하게 된다.

상술한 설명에서는, MPEG을 부호화의 예로서 설명하였지만, 본 발명은 MPEG에 한하지 않고, 프레임내 부호화 픽쳐와 예측 부호화 픽처가 혼재하는 부호화 스트림에 대하여 본 발명을 적용할 수 있다.

본 발명에 따르면, 기존의 디코더에 의해서 디코딩 가능한 형태로, 트릭 재생의 디지털 데이터를 디지털 인터페이스로 출력할 수 있다. 구체적으로는, 검색, FF, FR, 슬로우 재생, 스틸 재생의 비트 스트림을 출력할 수 있다.

본 발명은 전술한 실시예로 한정되는 것이 아니며, 첨부된 본 발명의 특허청구범위의 정신 및 범주내에서 여러가지 변형 및 수정이 가능하다.

Claims

부호화 비트 스트림을 트릭 재생 출력으로 변환하여 전송로에 전송하기 위한 전송 장치에 있어서,

프레임내(intra-frame) 부호화 픽쳐와, 순방향 예측 부호화 픽쳐와, 양방향 예측 부호화 픽쳐를 포함하는 부호화 비트 스트림을 축적하는 축적 수단과,

지정된 트릭(trick) 재생 동작에 대응하는 출력 모드로 부호화 비트 스트림을 출력하도록 제어하기 위한 출력 제어 수단과,

상기 부호화 비트 스트림에 관하여, 픽쳐를 표시하는 순서를 규정하는 제어 데이터를 재기록하기 위한 재기록 수단과,

소정의 픽쳐를 복사한 픽쳐를 생성하기 위한 픽쳐 생성 수단과,

상기 제어 데이터가 재기록된 픽쳐와 상기 생성된 픽쳐를, 상기 출력 제어 수단의 제어에 따라서 출력하기 위한 출력 수단

을 포함하는 것을 특징으로 하는 화상 정보의 전송 장치.
제1항에 있어서,

상기 소정의 픽쳐가 프레임내 부호화 픽쳐 또는 순방향 예측 부호화 픽쳐일 때, 상기 복사한 픽쳐는, 슬라이스의 양단에 있는 매크로 블록 이외의 매크로 블록이 스킵되는 구조를 갖는 스킵 P 픽쳐로서 출력되는 것을 특징으로 하는 전송 장치.
제1항에 있어서,

상기 재기록 수단은, 출력되는 픽쳐에 대하여, 픽쳐 헤더 내의 디코더의 가상 입력 버퍼의 축적량을 나타내는 데이터를 무효로 하는 것을 특징으로 하는 전송 장치.
제1항에 있어서,

상기 프레임내 부호화 픽쳐를 출력하고, 그 후에 복수 개의 복사한 픽쳐를 출력하는 처리를 반복함으로써, 상기 트릭 재생 동작에 의한 부호화 비트 스트림을 출력하도록 한 것을 특징으로 하는 전송 장치.
제1항에 있어서,

간격 m으로 반복하여 나타나는 프레임내 부호화 픽쳐 및 순방향 예측 부호화 픽쳐의 뒤에, 상기 m보다 많은 수의 복사한 픽쳐를 출력하는 처리를 반복함으로써 슬로우 동작에 의한 부호화 비트 스트림을 출력하도록 한 것을 특징으로 하는 전송 장치.
제1항에 있어서,

부호화 비트 스트림 중의 모든 픽쳐의 각각에 계속하여, 복사한 픽쳐를 표시하도록, 슬로우 동작에 의한 부호화 비트 스트림을 형성하도록 한 것을 특징으로하는 전송 장치.
화상 정보의 전송 시스템에 있어서,

프레임내 부호화 픽쳐와, 순방향 예측 부호화 픽쳐와, 양방향 예측 부호화 픽쳐를 포함하는 부호화 비트 스트림을 축적하는 축적 수단과,

지정된 트릭 재생 동작에 대응하는 출력 모드로 부호화 비트 스트림을 출력하도록 제어하기 위한 출력 제어 수단과,

상기 부호화 비트 스트림에 관하여, 픽쳐를 표시하는 순서를 규정하는 제어 데이터를 재기록하기 위한 재기록 수단과,

소정의 픽쳐를 복사한 픽쳐를 생성하기 위한 픽쳐 생성 수단과,

상기 제어 데이터가 기록된 픽쳐와 상기 생성된 픽쳐를, 상기 출력 제어 수단의 제어에 따라서 트릭 재생 출력 데이터로서 출력하기 위한 출력 수단과,

상기 출력 수단과 접속된 디지털 인터페이스와,

상기 디지털 인터페이스를 통해 수신된 트릭 재생 출력 데이터를 기록 또는 표시하기 위한 장치

를 포함하는 것을 특징으로 하는 화상 정보의 전송 시스템.
부호화 비트 스트림을 트릭 재생 출력으로 변환하여 전송로에 전송하기 위한 화상 정보의 전송 방법에 있어서,

프레임내 부호화 픽쳐와, 순방향 예측 부호화 픽쳐와, 양방향 예측 부호화픽쳐를 포함하는 부호화 비트 스트림을 축적하는 축적 단계와,

지정된 트릭 재생 동작에 대응하는 출력 모드로 부호화 비트 스트림을 출력하도록 제어하는 출력 제어 단계와,

상기 부호화 비트 스트림에 관하여, 픽쳐를 표시하는 순서를 규정하는 제어 데이터를 재기록하는 재기록 단계와,

소정의 픽쳐를 복사한 픽쳐를 생성하는 픽쳐 생성 단계와,

상기 제어 데이터가 재기록된 픽쳐와 상기 생성된 픽쳐를 상기 출력 제어에 따라서 출력하는 출력 단계

를 포함하는 것을 특징으로 하는 화상 정보의 전송 방법.