KR20100018094A

KR20100018094A - 편집 장치 및 방법, 그리고 기록 매체

Info

Publication number: KR20100018094A
Application number: KR1020107001539A
Authority: KR
Inventors: 데루히코 스즈키
Original assignee: 소니 주식회사
Priority date: 2002-04-26
Filing date: 2003-04-11
Publication date: 2010-02-16
Also published as: JP2009207163A; KR20100018093A; CN101827262A; EP2403263A3; EP2403262A3; US20160366419A1; US8537902B2; US10595081B2; KR100969908B1; KR100983832B1; EP2403264A3; KR100988006B1; CN101707707A; US20110274181A1; US8767837B2; JP5206706B2; EP2403265A3; US20140269941A1; JP5223769B2; US20050152400A1

Abstract

본 발명은 버퍼의 실패가 발생하지 않도록 부호화 및 복호를 행할 수 있도록 한 부호화 장치 및 방법, 복호 장치 및 방법, 편집 장치 및 방법, 기록 매체, 및 프로그램에 관한 것이다. 비트스트림 중의 액세스 가능한 포인트에 포함되는 랜덤 액세스 포인트 헤더 내에, 최소 비트 레이트, 최소 버퍼 사이즈, 최소 초기 지연 시간 등의 정보를 포함하게 한다. 비트스트림 해석부(72)는 입력된 비트스트림을 해석하고, 전술한 바와 같은 정보를 설정하여 버퍼 정보 부가부(73)에 출력한다. 버퍼 정보 부가부(73)는 입력된 비트스트림에, 입력한 정보를 부가하여 출력한다. 본 발명은 비트스트림을 취급하는 부호화 장치나 복호 장치에 적용할 수 있다.

Description

편집 장치 및 방법, 그리고 기록 매체{EDITION DEVICE AND METHOD, AND RECORDING MEDIUM}

본 발명은 부호화 장치 및 방법, 복호 장치 및 방법, 편집 장치 및 방법, 기록 매체, 및 프로그램에 관한 것으로서, 특히 이산 코사인 변환(discrete cosine transform) 또는 카루넨-루베 변환(Karhunen-Loeve transform) 등의 직교 변환과 움직임 보상(motion compensation)에 의해 압축된 화상 정보(비트스트림)를, 위성방송, 케이블 텔레비전 방송, 인터넷 등의 네트워크 매체를 통하여 송수신할 때에, 또는 광디스크, 자기 디스크, 플래시 메모리와 같은 기억매체 상에서 처리할 때 사용하기에 바람직한 부호화 장치 및 방법, 복호 장치 및 방법, 편집 장치 및 방법, 기록 매체, 및 프로그램에 관한 것이다.

최근, 화상 정보를 디지털로 처리하고, 이 때 효율적인 정보의 전송, 축적을 목적으로 하며, 화상 정보 특유의 용장성을 이용하여, 이산 코사인 변환 등의 직교 변환과 움직임 보상에 의해 압축하는 MPEG(Moving Picture Expert Group) 등의 방식에 기초한 장치가, 방송국 등의 정보 분배와 일반 가정에 있어서의 정보 수신을 위해 보급되고 있다.

특히, MPEG2(IS0/IEC 13818-2)는 범용의 화상 압축 방식으로서 정의된 규격이며, 비월 주사(interlaced scanning) 화상과 순차 주사 화상의 쌍방 및 표준 해상도 화상 및 고정밀 화상에 적용되는 표준으로, 예를 들면 DVD(Digital Versatile Disk) 규격으로 대표되는, 전문가용 및 일반 소비자용의 광범위한 애플리케이션에 널리 이용되어 있다.

이러한 MPEG2 압축 방식을 사용함으로써, 예를 들면, 720×80 화소를 가지는 표준 해상도의 비월 주사 화상에 대해서는 4 내지 8Mbps, 1920×1088 화소를 가지는 고해상도의 비월 주사 화상에 대해서는 18 내지 22Mbps의 부호량(비트 레이트)을 할당함으로써, 높은 압축율과 양호한 화질의 실현이 가능하다.

MPEG2는 주로 방송용에 적합한 고화질 부호화를 대상으로 하고 있었지만, 보다 높은 압축 비율의 부호화 방식에는 대응하지 않기 때문에, MPEG4 부호화 방식의 표준화를 사용했다. 화상 부호화 방식에 관해서는, 1998년 12월에 IS0/IEC 14496-2로서 그 규격이 국제 표준으로 승인되었다.

또한, 최근 텔레비전 화상 회의용의 화상 부호화를 그 목적으로 하여, 국제전기연합의 전기 통신 표준화 부문인 ITU-T(International Telecommunication Union-Telecommunication Standardization Sector)에 의한 H.26L(ITU-TQ6/16 VCEG)이라고 하는 표준의 규격화가 진행되고 있다. H.26L은 MPEG2나 MPEG4라고 하는 부호화 방식에 비해, 그 부호화 및 복호화에 보다 많은 연산량이 요구되지만, 보다 높은 부호화 효율이 실현되는 것으로 알려져 있다.

또, 현재, MPEG4의 활용의 일환으로서, 이 H.26L에 근거한, 보다 높은 부호화 효율을 실현하는 부호화 기술의 표준화가 ITU-T와 공동으로 JVT(Joint Video Team)로서 행해지고 있다.

여기서, 이산 코사인 변환 또는 카르넨-루베 등의 직교 변환과 움직임 보상에 의한 화상 압축에 대하여 설명한다. 도 1은 종래의 화상 정보 부호화 장치의 일례의 구성을 나타낸 도면이다.

도 1에 나타낸 화상 정보 부호화 장치(10)에 있어서, 입력 단자(11)로부터 입력된 아날로그 신호로 이루어지는 화상 정보는, A/D 변환부(12)에 의해, 디지털 신호로 변환된다. 그리고, 화면 병렬 교체 버퍼(13)는 A/D 변환부(12)로부터 공급된 화상 정보의 GOP(Group of Pictures) 구조에 따라, 프레임의 병렬 교체를 행한다.

여기서, 화면 병렬 교체 버퍼(13)는 화상내(인트라: intra) 부호화가 행해지는 화상에 대해서는, 프레임 전체의 화상 정보를 직교 변환부(15)에 공급한다. 직교 변환부(15)는 화상 정보에 대해서 이산 코사인 변환 또는 카르넨-루베 변환 등의 직교 변환을 행하고, 변환 계수를 양자화부(16)에 공급한다. 양자화부(16)는 직교 변환부(15)로부터 공급된 변환 계수에 대해서 양자화 처리를 수행한다.

가역 부호화부(17)는 양자화부(16)로부터 공급된 양자화된 변환 계수나 양자화 스케일 등으로부터 부호화 모드를 결정하고, 이 부호화 모드에 대해서 가변길이 부호화 또는 산술 부호화 등의 가역 부호화를 행하며, 화상 부호화 단위의 헤더부에 삽입되는 정보를 형성한다. 그리고, 가역 부호화부(17)는 부호화된 부호화 모드를 축적 버퍼(18)에 공급하여 축적시킨다. 이 부호화된 부호화 모드는 화상 압축 정보로서 출력 단자(19)로부터 출력된다.

또, 가역 부호화부(17)는 양자화된 변환 계수에 대해서 가변길이 부호화 또는 산술 부호화 등의 가역 부호화를 행하고, 부호화된 변환 계수를 축적 버퍼(18)에 공급하여 축적시킨다. 이 부호화된 변환 계수는 화상 압축 정보로서 출력 단자(19)로부터 출력된다.

양자화부(16)의 동작은 축적 버퍼(18)에 축적된 변환 계수의 데이터량에 따라 레이트 제어부(20)에 의해 제어된다. 또, 양자화부(16)는 양자화 후의 변환 계수를 역양자화부(21)에 공급하고, 역양자화부(21)는 그 양자화 후의 변환 계수를 역양자화한다. 역직교 변환부(22)는 역양자화된 변환 계수에 대해서 역직교 변환 처리를 행하여 복호 화상 정보를 생성하고, 그 정보를 프레임 메모리(23)에 공급하여 축적시킨다.

또, 화면 병렬 교체 버퍼(13)는 화상간(인터: inter) 부호화를 행하는 화상에 관해서, 화상 정보를 움직임 예측 보상부(24)에 공급한다. 움직임 예측 보상부(24)는 동시에 참조되는 화상 정보를 프레임 메모리(23)로부터 취득하며, 움직임 예측 보상 처리를 행하여 참조 화상 정보를 생성한다. 움직임 예측 보상부(24)는 생성한 참조 화상 정보를 가산기(14)에 공급하고, 가산기(14)는 참조 화상 정보를 대응하는 화상 정보와의 차분 신호로 변환한다. 또, 움직임 예측 보상부(24)는 동시에 움직임 벡터 정보를 가역 부호화부(17)에 공급한다.

가역 부호화부(17)는 양자화부(16)로부터 공급되고 양자화된 변환 계수 및 양자화 스케일, 및 움직임 예측 보상부(24)로부터 공급된 움직임 벡터 정보 등으로부터 부호화 모드를 결정하고, 그 결정한 부호화 모드에 대해서 가변길이 부호화 또는 산술 부호화 등의 가역 부호화를 행하며, 화상 부호화 단위의 헤더부에 삽입되는 정보를 생성한다. 그리고 가역 부호화부(17)는 부호화된 부호화 모드를 축적 버퍼(18)에 공급하여 축적시킨다. 이 부호화된 부호화 모드는 화상 압축 정보로서 출력된다.

또, 가역 부호화부(17)는 그 움직임 벡터 정보에 대해서 가변길이 부호화 또는 산술 부호화 등의 가역 부호화 처리를 행하여, 화상 부호화 단위의 헤더부에 삽입되는 정보를 생성한다.

또, 화상내 부호화와 달리, 화상간 부호화의 경우, 직교 변환부(15)에 입력되는 화상 정보는 가산기(14)로부터 얻어진 차분 신호이다. 그리고, 그 외의 처리에 대하여는, 화상내 부호화를 행해지는 화상 압축 정보와 같기 때문에, 그 설명을 생략한다.

다음에, 전술한 화상 정보 부호화 장치(10)에 대응하는 화상 정보 복호 장치의 일례의 구성을 도 2에 나타낸다. 도 2에 나타낸 화상 정보 복호 장치(40)에 있어서, 입력 단자(41)로부터 입력된 화상 압축 정보는 축적 버퍼(42)에 일시적으로 저장된 후, 가역 복호부(43)에 전송된다.

가역 복호부(43)는 정해진 화상 압축 정보의 포맷에 따라, 화상 압축 정보에 대해서 가변길이 복호 또는 산술 복호 등의 처리를 행하여, 헤더부에 저장된 부호화 모드 정보를 취득해 역양자화부(44) 등에 공급한다. 또 마찬가지로, 가역 복호부(43)는 양자화된 변환 계수를 취득해 역양자화부(44)에 공급한다. 또한, 가역 복호부(43)는 복호화하는 프레임이 화상간 부호화되는 것인 경우에는, 화상 압축 정보의 헤더부에 저장된 움직임 벡터 정보에 대하여도 복호하고, 그 정보를 움직임 예측 보상부(51)에 공급한다.

역양자화부(44)는 가역 복호부(43)로부터 공급된 양자화 후의 변환 계수를 역양자화하고, 변환 계수를 역직교 변환부(45)에 공급한다. 역직교 변환부(45)는 정해진 화상 압축 정보의 포맷에 따라, 변환 계수에 대해서 역이산 코사인 변환 또는 역카르넨-루베 등의 역직교 변환을 행한다.

여기서, 대상으로 되는 프레임이 화상내 부호화된 것인 경우, 역직교 변환 처리가 행해진 화상 정보는 화면 병렬 교체 버퍼(47)에 저장되고, D/A 변환부(48)에서 D/A 변환 처리된 후에 출력 단자(49)로부터 출력된다.

또, 대상으로 되는 프레임이 화상간(인터) 부호화된 것인 경우, 움직임 예측 보상부(51)는 가역 복호 처리가 행해진 움직임 벡터 정보와 프레임 메모리(50)에 저장된 화상 정보에 따라 참조 화상을 생성하여 가산기(46)에 공급한다. 가산기(46)는 이 참조 화상과 역직교 변환부(45)로부터의 출력을 합성한다. 그리고, 그 외의 처리에 대하여는, 화상내(인트라) 부호화된 프레임과 같기 때문에, 설명을 생략한다.

또, 그런데, 앞서 설명한 Joint Video Team에서 표준화하고 있는 부호화 방식(이하, JVT Codec)에서는, MPEG2나 MPEG4 등의 부호화 효율을 개선하기 위한 여러가지 방식이 검토되고 있다. 예를 들면, 이산 코사인 변환의 변환 방법은 4×4 블록 사이즈의 정수 계수 변환이 이용되고 있다. 그리고, 움직임 보상시의 블록 사이즈가 가변이며 보다 최적인 움직임 보상이 행해지도록 되고 있다. 그러나, 기본적인 방식은 도 1에 나타낸 화상 정보 부호화 장치(10)에서 행해지는 부호화 방식과 동일하게 행하는 것이 가능하도록 되어 있다.

따라서, 도 2에 나타낸 화상 정보 복호 장치(40)에서 행해지는 복호 방식과 기본적으로 동일한 방식에 의해 복호하는 것이 가능하도록 되어 있다.

그런데, 상이한 복호 장치(디코더) 사이에서의 호환성을 유지하고, 버퍼를 오버플로우(overflow) 또는 언더플로우(underflow)시키지 않기 위해, MPEG나 ITU-T에서는, 버퍼 모델이 도입되어 있다. 가상 디코더 버퍼 모델을 표준으로 정의하고, 부호화 장치(인코더)는 이 가상 디코더 버퍼가 실패하지 않도록 부호화함으로써 디코더 측에서의 버퍼 오버플로우 또는 언더플로우를 방지하여, 호환성을 유지하는 것이 가능하게 되어 있다.

MPEG에 있어서의 가상 버퍼 모델에 대하여, 도 3을 참조하여 설명한다. 이하의 설명에 있어서, 디코더 버퍼의 입력 비트 레이트를 R, 디코더 버퍼의 사이즈를 B, 디코더가 최초의 프레임을 버퍼로부터 추출해 낼 때의 버퍼 점유율을 F, 그 때의 지연 시간을 D로 한다. 또, 시각 t0, tl, t2, ...에 있어서, 각 프레임의 비트량을 b0, bl, b2... 로 한다.

여기서 프레임 레이트를 M으로 하면,

t_i+1- t_i= 1/M 이 성립한다.

B_i를 시각 t에서의 프레임의 비트량 b_i를 추출하기 직전의 버퍼 점유량으로 하면, 이하의 식 1이 성립된다.

*[식 1]

B_o = F

B_i+1= min (B, B_i- b_i+ R(t_i+1- t_i))

여기서, MPEG2에 있어서의 고정 비트 레이트 부호화 방식인 경우, 인코더는 다음 식 2의 조건을 만족하도록 부호화해야 한다.

[식 2]

B_i

B

B_i- b_i

0

이와 같은 조건이 만족되어 있는 동안은, 인코더는 버퍼 오버플로우나 언더플로우를 발생시킬 것 같은 부호화를 행하지 않는 것으로 되어 있다.

또, MPEG2에 있어서의 가변 비트 레이트 부호화 방식의 경우, 입력 비트 레이트 R은 프로파일, 레벨로 정의되는 최대 비트 레이트이며, F = B이다. 따라서 식 1은, 다음 식 3과 같이 될 수 있다.

[식 3]

B_o = B

B_i+1 = min (B, B_i - b_i + R_max (t_i+1 -t_i))

이 때, 인코더는 다음 식 4에 나타낸 조건을 만족시키도록 부호화를 실행하지 않으면 안된다.

[식 4]

B_i - b_i

0

이 조건이 만족되는 동안, 인코더는 디코더측에서 버퍼 언더플로우가 일어나지 않도록 하는 부호화를 행하게 된다. 디코더 버퍼가 채워지지 않은 때는, 인코더 버퍼는 비워있게 되며, 부호화 비트스트림이 발생하고 있지 않은 것을 의미한다. 따라서, 인코더는 디코더의 버퍼 오버플로우를 일으키지 않게 감시할 필요는 없다.

MPEG에서는, 각 프로파일, 레벨로 정의되는 버퍼 사이즈, 비트 레이트에 따라, 전술한 바와 같은 버퍼의 제한사항을 지키도록 부호화가 행해진다. 각 프로파일, 레벨에 따른 디코더는 그 비트스트림을 실패하지 않고 복호할 수 있다.

그러나, 실제로는 프로파일, 레벨로 규정된 버퍼 사이즈, 비트 레이트를 이용하지 않는 경우라도, 비트스트림을 복호할 수 있는 경우가 있다.

예를 들면, 비트 레이트 R, 버퍼 B, 초기 지연 시간 F(R, B, F)로 부호화된 비트스트림은 보다 큰 버퍼 사이즈 B' (B'>B)를 가지는 디코더에 의해서도 복호 가능하다. 또, 보다 높은 비트 레이트 R' (R'>R)로 복호하는 것도 가능하다.

예를 들면, 디코더의 복호 비트 레이트가 부호화 비트 레이트로보다 낮은 경우에도, 충분히 큰 버퍼 사이즈를 가진 디코더이면 복호하는 것이 가능하다.

이와 같이, 소정의 비트스트림이 주어졌을 경우, 각 비트 레이트에 있어서, 그 비트스트림을 복호 하기 위해 필요한 최소 버퍼 사이즈 B_min가 존재한다. 이와 같은 관계를 도 4에 나타낸다.

JVT Codec에서는, 각 프로파일, 레벨로 고정의 비트 레이트, 버퍼 사이즈로 복호할 뿐만 아니라, 도 4에 나타낸 것과 같은 조건을 가지는 디코더로 복호할 수 있도록 표준화가 진행되어 있다. 반드시 인코더의 부호화 비트 레이트, 버퍼 사이즈와 디코더의 복호 비트 레이트, 버퍼 사이즈가 동일하지 않더라도 복호할 수 있는 것을 목적으로 하고 있다. 이 목적이 달성됨으로써, 예를 들면, 복호 비트 레이트가 높은 디코더에서는 버퍼 사이즈를 감축시키는 것 등이 가능하게 된다.

그러나, 이와 같은 정보는 비트스트림 중에서 시간적으로 변동한다. 그러므로, 디코더 호환을 위한 제한사항이 완화되어 있는 상태, 소정의 조건하에서는 복호 가능해도, 다른 조건하에서는 복호 불가능하게 되어 있는 경우가 있다고 하는 문제가 있었다. 예를 들면, 이와 같은 (R, B)의 특성이 시간적으로 변동하는 경우, 소정의 시각에서 복호 가능하다고 해도, 다른 시각에서는 복호 불가능한 가능성이 있다고 하는 문제가 있었다.

랜덤 액세스 등으로, 별개의 장면이나, 별개의 채널 등으로 이행했을 경우에도, 반드시 복호 가능한 것으로는 되지 않는다고 하는 문제가 있었다. 또, 스플라이싱(splicing) 등 비트스트림 레벨에서의 편집을 행한 경우, 디코드 가능성을 보증할 수 없게 된다고 하는 문제가 있었다.

본 발명은 이와 같은 문제점을 감안하여 이루어진 것이며, 비트스트림의 복호 가능성을 효율적으로 판단하고, 또 스플라이싱 등 비트스트림의 편집을 간편하게 행해지도록 하는 것을 목적으로한다.

본 발명의 부호화 장치는 복호시에 필요에 따라 참조되는 헤더를 생성하는 생성 수단과, 생성 수단에 의해 생성된 헤더와, 입력된 화상 신호를 각각 부호화하는 부호화 수단과, 부호화 수단에 의해 부호화된 헤더와 화상 신호를 다중화하여 비트스트림을 출력하는 출력 수단을 포함하고, 생성 수단은 비트스트림을 복호할 때의 버퍼에 관한 버퍼 특성 정보를 포함하는 헤더를 생성하는 것을 특징으로 한다.

상기 생성 수단은 비트스트림 중에서 랜덤으로 액세스가 가능한 소정 구간마다 버퍼 특성 정보를 포함하는 상기 헤더를 생성하도록 할 수 있다.

상기 생성 수단은 비트스트림의 시퀀스 전체의 버퍼 특성의 정보를 포함하는 헤더를 생성하도록 할 수 있다.

상기 버퍼 특성 정보는 비트스트림을 복호할 때의 복호 가능한 최소 비트 레이트, 최소 버퍼 사이즈 및 최소 지연량을 모두 포함하도록 하는 것이 가능하다.

본 발명의 부호화 방법은, 복호시에 필요에 따라 참조되는 헤더를 생성하는 생성 단계와, 생성 단계의 처리로 생성된 헤더와 입력된 화상 신호를 각각 부호화하는 부호화 단계와, 부호화 단계의 처리로 부호화된 헤더와 화상 신호를 다중화한 비트스트림의 출력을 제어하는 출력 제어 단계를 포함하고, 생성 단계의 처리는 비트스트림을 복호할 때의 버퍼에 관한 버퍼 특성 정보를 적어도 포함하는 헤더를 생성하는 것을 특징으로 한다.

본 발명의 제1 기록 매체의 프로그램은, 복호시에 필요에 따라 참조되는 헤더를 생성하는 생성 단계와, 생성 단계의 처리로 생성된 헤더와 입력된 화상 신호를 각각 부호화하는 부호화 단계와, 부호화 단계의 처리로 부호화된 헤더와 화상 신호를 다중화한 비트스트림의 출력을 제어하는 출력 제어 단계를 포함하고, 생성 단계의 처리는 비트스트림을 복호할 때의 버퍼에 관한 버퍼 특성 정보를 적어도 포함하는 헤더를 생성하는 것을 특징으로 한다.

본 발명의 제1 프로그램은, 복호시에 필요에 따라 참조되는 헤더를 생성하는 생성 단계와, 생성 단계의 처리로 생성된 헤더와 입력된 화상 신호를 각각 부호화하는 부호화 단계와, 부호화 단계의 처리로 부호화된 헤더와 화상 신호를 다중화한 비트스트림의 출력을 제어하는 출력 제어 단계를 포함하는 처리를 컴퓨터에 실행시키며, 생성 단계의 처리는 비트스트림을 복호할 때의 버퍼에 관한 버퍼 특성 정보를 적어도 포함하는 헤더를 생성하는 것을 특징으로 한다.

본 발명의 복호 장치는, 입력된 비트스트림 내의 헤더를 검색하는 검색 수단과, 검색 수단에 의해 검색된 헤더에 포함되는 버퍼에 관한 버퍼 특성 정보를 판독하고 그 판독한 버퍼 특성 정보에 따라 비트스트림을 복호하는 복호 수단을 포함하는 것을 특징으로 한다.

상기 버퍼 특성 정보는, 비트스트림을 복호할 때의 복호 가능한 최소 비트 레이트, 최소 버퍼 사이즈 및 최소 지연량을 모두 포함하도록 하는 것이 가능하다.

본 발명의 복호 방법은, 입력된 비트스트림 내의 헤더를 검색하는 검색 단계와, 검색 단계의 처리에 의해 검색된 헤더에 포함되는 버퍼에 관한 버퍼 특성 정보를 판독하고, 그 판독한 버퍼 특성 정보에 따라 비트스트림을 복호하는 복호 단계를 포함하는 것을 특징으로 한다.

본 발명의 제2 기록 매체의 프로그램은, 입력된 비트스트림 내의 헤더를 검색하는 검색 단계와, 검색 단계의 처리에 의해 검색된 헤더에 포함되는 버퍼에 관한 버퍼 특성 정보를 판독하고 그 판독한 버퍼 특성 정보에 따라 비트스트림을 복호하는 복호 단계를 포함하는 것을 특징으로 한다.

본 발명의 제2 프로그램은, 입력된 비트스트림 내의 헤더를 검색하는 검색 단계와, 검색 단계의 처리에 의해 검색된 헤더에 포함되는 버퍼에 관한 버퍼 특성 정보를 판독하고 그 판독한 버퍼 특성 정보에 따라 비트스트림을 복호하는 복호 단계를 포함하는 처리를 컴퓨터에서 실행시키는 것을 특징으로 한다.

본 발명의 편집 장치는, 입력된 비트스트림 내의 헤더를 검색하는 검색 수단과, 검색 수단에 의해 검색된 헤더에 포함되는 버퍼에 관한 버퍼 특성 정보를 판독하고 그 판독한 정보에 따라 비트스트림의 편집이 가능한지 아닌지를 판단하는 판단 수단과, 판단 수단에 의해 비트스트림의 편집이 가능한 것으로 판단되었을 경우 비트스트림의 편집을 행하는 편집 수단을 포함하고, 판단 수단은 제1 비트스트림의 헤더에 포함되는 정보에 의해 작성되는 특성 곡선이, 제2의 비트스트림의 헤더에 포함되는 정보에 의해 작성되는 특성 곡선의 항상 위에 위치하는지 또는 동일한 경우, 제1 비트스트림과 제2 비트스트림을 사용한 편집은 가능한 것으로 판단하는 것을 특징으로 한다.

본 발명의 편집 방법은, 입력된 비트스트림 내의 헤더를 검색하는 검색 단계와, 검색 단계의 처리에 의해 검색된 헤더에 포함되는 버퍼에 관한 버퍼 특성 정보를 판독하고 그 판독한 정보에 따라 비트스트림의 편집이 가능한지 아닌지를 판단하는 판단 단계와, 판단 단계의 처리로 비트스트림의 편집이 가능한 것으로 판단되었을 경우, 비트스트림의 편집을 행하는 편집 단계를 포함하고, 판단 단계의 처리는 제1 비트스트림의 헤더에 포함되는 정보에 의해 작성되는 특성 곡선이, 제2 비트스트림의 헤더에 포함되는 정보에 의해 작성되는 특성 곡선의 항상 위에 위치하는지, 또는 동일한 경우 제1 비트스트림과 제2 비트스트림을 사용한 편집은 가능한 것으로 판단하는 것을 특징으로 한다.

본 발명의 제3 기록 매체의 프로그램은, 입력된 비트스트림 내의 헤더를 검색하는 검색 단계와, 검색 단계의 처리에 의해 검색된 헤더에 포함되는 버퍼에 관한 버퍼 특성 정보를 판독하고, 그 판독한 정보에 따라 비트스트림의 편집이 가능한지 아닌지를 판단하는 판단 단계와, 판단 단계의 처리로 비트스트림의 편집이 가능한 것으로 판단되었을 경우, 비트스트림의 편집을 행하는 편집 단계를 포함하고, 판단 단계의 처리는, 제1 비트스트림의 헤더에 포함되는 정보에 의해 작성되는 특성 곡선이, 제2의 비트스트림의 헤더에 포함되는 정보에 의해 작성되는 특성 곡선의 항상 위에 위치하는지, 또는 동일한 경우 제1 비트스트림과 제2 비트스트림을 사용한 편집은 가능한 것으로 판단하는 것을 특징으로 한다.

본 발명의 제3 프로그램은, 입력된 비트스트림 내의 헤더를 검색하는 검색 단계와, 검색 단계의 처리에 의해 검색된 헤더에 포함되는 버퍼에 관한 버퍼 특성 정보를 판독하고 그 판독한 정보에 따라 비트스트림의 편집이 가능한지 아닌지를 판단하는 판단 단계와, 판단 단계의 처리로 비트스트림의 편집이 가능한 것으로 판단되었을 경우, 비트스트림의 편집을 행하는 편집 단계를 포함하는 처리를 컴퓨터에 실행시키고, 판단 단계의 처리는 제1 비트스트림의 헤더에 포함되는 정보에 의해 작성되는 특성 곡선이, 제2의 비트스트림의 헤더에 포함되는 정보에 의해 작성되는 특성 곡선의 항상 위에 위치하는지, 또는 동일한 경우, 제1 비트스트림과 제2 비트스트림을 사용한 편집은 가능한 것으로 판단하는 것을 특징으로 한다.

본 발명의 부호화 장치 및 방법, 및 제1 프로그램에 있어서는, 비트스트림에 부호화되어 다중화되는 헤더에, 그 비트스트림을 복호할 때의 버퍼에 관한 버퍼 특성의 정보가 포함된다.

본 발명의 복호 장치 및 방법, 및 제2 프로그램에 있어서는, 입력된 비트스트림의 헤더에 포함되는 복호시의 버퍼에 관한 버퍼 특성의 정보가 판독되어, 그 판독된 정보에 따라 복호를 행한다.

*본 발명의 편집 장치 및 방법, 및 제3의 프로그램에 있어서는, 입력된 비트스트림에 대해서 편집을 행할 것인가 여부의 판단이, 제1 비트스트림의 헤더에 포함되는 정보에 의해 작성되는 특성 곡선이, 제2의 비트스트림의 헤더에 포함되는 정보에 의해 작성되는 특성 곡선의 항상 위에 위치하는지, 또는 동일한가를 판단하는 것으로 행해진다.

이상과 같이, 본 발명의 부호화 장치 및 방법, 및 제1 프로그램에 의하면 비트스트림에 부호화되어 다중화되는 헤더에, 그 비트스트림을 복호할 때의 버퍼에 관한 버퍼 특성의 정보를 포함하도록 하였으므로, 복호측에서 버퍼가 실패하는 것 등을 방지하는 것이 가능해진다.

또, 본 발명의 복호 장치 및 방법, 및 제2 프로그램에 의하면, 입력된 비트스트림의 헤더에 포함되는 복호시의 버퍼에 관한 버퍼 특성의 정보가 판독되고, 그 판독된 정보에 따라 복호를 행하도록 하였으므로, 복호시에 버퍼가 실패 등이 되는 것을 방지하는 것이 가능해진다.

또한, 본 발명의 편집 장치 및 방법, 및 제3 프로그램에 의하면, 입력된 비트스트림에 대해서 편집이 행할 것인가 여부의 판단을, 제1 비트스트림의 헤더에 포함되는 정보에 의해 작성되는 특성 곡선이, 제2 비트스트림의 헤더에 포함되는 정보에 의해 작성되는 특성 곡선의 항상 위에 위치하는지, 또는 동일한지를 판단하는 것으로 행하도록 했으므로, 스플라이싱 등의 편집에 관한 처리를 경감시키고 용 이하게 편집 가능한지를 판단하는 것이 가능해진다.

도 1은 종래의 화상 정보 부호화 장치의 일례의 구성을 나타낸 도면.
도 2는 종래의 화상 정보 복호 장치의 일례의 구성을 나타낸 도면.
도 3은 버퍼량에 대하여 설명하는 도면.
도 4는 비트 레이트와 버퍼량의 관계에 대하여 설명하는 도면.
도 5는 본 발명을 적용한 부호화 장치의 일실시예의 구성을 나타낸 도면.
도 6은 버퍼량에 대하여 설명하는 도면이다.
도 7은 본 발명을 적용한 복호 장치의 일실시예의 구성을 나타낸 도면.
도 8은 본 발명을 적용한 편집 장치의 일실시예의 구성을 나타낸 도면.
도 9는 비트 레이트와 버퍼량의 관계에 대하여 설명하는 도면.
도 10은 매체를 설명하는 도면.

이하, 본 발명의 실시예에 대하여 도면을 참조하여 설명한다. 도 5는 본 발명을 적용한 부호화 장치의 일실시예의 구성을 나타낸 도면이다. 도 5에 나타낸 부호화 장치(70)는 도 1에 나타낸 화상 정보 부호화 장치(10)를 포함하는 구성으로 되어 있다. 여기서, 화상 정보 부호화 장치(10)의 구성 등에 대하여는 이미 설명했으므로, 그 설명은 적당히 생략한다.

화상 정보 부호화 장치(10)에 입력된 화상 정보는 부호화되어 화상 압축 정보(BS: 비트스트림)로서 버퍼(71)와 비트스트림 해석부(72)에 출력된다. 버퍼(71)는 입력된 비트스트림을 일단 기억하고, 필요에 따라 버퍼 정보 부가부(73)에 출력한다. 비트스트림 해석부(72)는 비트스트림 중의 소정의 구간, 예를 들면 GOP나 랜덤 액세스 포인트 사이에서의 버퍼의 점유 상태를 조사하여, 그 정보를 버퍼 정보 BH로서 버퍼 정보 부가부(73)에 공급한다. 여기서, 랜덤 액세스 포인트란 JVT 규격에 있어서, 비트스트림 중에서 랜덤으로 액세스가 가능한 소정의 구간을 말한다. 또, 마찬가지로 GOP란, MPEG2/MPEG4 규격에 있어서, 랜덤으로 액세스가 가능한 소정의 구간을 말한다.

버퍼 정보 부가부(73)는 입력된 버퍼 정보 BH를 동일하게 입력된 비트스트림에 부가하여 출력한다.

여기서는, 비트스트림 해석부(72)가 행하는 해석의 일례로서, 각 랜덤 액세스 포인트 사이에서 버퍼 점유 상태를 조사하여, 각 랜덤 액세스 포인트에 헤더 정보로서 버퍼 점유 상태의 정보를 부호화하여 비트스트림을 구성하는 경우를 예를 들어 설명한다. 여기서는, 이와 같은 설명을 행하는 것이 GOP 단위로 구하도록 해도 되는 것으로 하고, 다른 임의의 단위로 구하도록 해도 되며, 이하 설명하는 단위에, 다른 단위를 사용한 경우에도 본 발명을 적용할 수 있는 것도 당연하다.

도 6을 참조하여 (R_min, B_min)의 특성을 결정하는 방법에 대하여 설명한다. 여기서, R_min는 버퍼에의 입력 비트 레이트 R의 최소치를 나타내고, B_min는 버퍼 사이즈 B의 최소치를 나타내는 것으로 한다.

소정의 비트스트림의 비트 레이트 R이 주어졌을 경우, 그 비트스트림을 복호 비트 레이트 R로 복호하는 복호 장치(예를 들면, 도 7에 나타낸 구성을 가진다)로 복호 가능한 최저한의 버퍼 사이즈 B_min은, 예를 들면 다음과 같이 결정된다.

소정의 액세스 포인트간의 프레임 수를 N으로 한다. 각 프레임의 발생 비트량을 b(i)(i=1, N), 버퍼로부터 각 프레임의 데이터를 추출하기 직전의 버퍼 점유량을 B(i), 추출한 직후의 버퍼 점유량을 B2(i)로 한다. 부호화 장치의 버퍼량을 B로 하면,

[식 5]

B2 (i) = B (i) - b (i)

B (i+1) = B2 (i) + R / (Frame Rate)

다만, if (B (i+1) >B) B (i+1) = B로 하면, B (i)의 최대치는 B이다. 또 지연량 F는 F = B로 한다.

이 때, B_min는 다음 식 6으로 구해진다.

[식 6]

B_min = B - min (B2 (i))

이 때의 R을 R_min 으로 하면, 상기와 같은 방법에 의해 (R_min, B_min)을 결정할 수 있다.

다음에, (R_min, B_min, F_min)을 결정하는 방법의 일례를 설명한다. B = B_min, R = R_min으로 한다. 식 5와 마찬가지로, 다음 식 7이 성립한다.

[식 7]

B2 (i) = B (i) - b(i)

B (i+1) = B2 (i) + R / (Frame Rate)

으로 된다. 다만, 이하의 조건에 근거하는 언더플로우에 대한 감시가 행해진다.

if (B2 (i) < 0){

F_min = F_min + (0 - B2 (i));

B2 (i) = O; }

F_min은 각 랜덤 액세스 포인트의 선두에서 0으로 초기화된다. 또, 오버플로우에 대한 감시도 마찬가지로, 이하의 조건에 근거하여 행해진다.

if (B (i+1) > B) B (i+1) = B

랜덤 액세스 포인트간의 모든 프레임에 대해서 상기 검사가 행해지는 것으로, (R_min, B_min, F_min)가 결정된다.

상기 (R_min, B_min, F_min)은 미리 정해진 소정의 개수만 검사를 행하도록 해도 되고, 그 중에서 독립적인 조합만을 정의하도록 해도 된다. 상기와 같이 하여 구해진 특성은, 도 4에 나타낸 바와 같이 된다. 각 점의 사이는 선형보간 된다. 상기와 같이 하여 구해진, (R_min, B_min, F_min)의 값, 버퍼 정보 BH는 버퍼 정보 부가부(73)에 의해 비트스트림 중의 소정의 위치에 삽입되고, 부호화되어 출력된다.

비트스트림 해석부(72)는 전술한 바와 같은 각 랜덤 액세스 사이의 (R_min, B_min, F_min)과 동시에 비트스트림 전체에 대해서 마찬가지의 해석을 행하고, 비트스트림 전체에 대한 특성, (R_min, B_min, F_min) global을 결정하고, 이 값을 버퍼 정보 부가부(73)에 버퍼 정보 BH로서 공급한다.

화상 정보 부호화 장치(10)로부터 출력된 비트스트림(BS)은, 버퍼(71)에서 소정의 시간만큼 지연된 후, 버퍼 정보 부가부(73)에 입력된다. 버퍼 정보 부가부(73)는 비트스트림 내의 소정의 위치에 비트스트림 해석부(72)로부터 공급되는 버퍼 정보 BH를 삽입하고, 최종적인 출력 비트스트림 BS를 출력한다.

여기서, 버퍼 정보 BH(또는 버퍼 특성 정보)는, 예를 들면 (R_min, B_min, F_min) 또는 (R_min, B_min, F_min)global 이다. 버퍼 정보 부가부(73)는 비트스트림 BS 중의 소정의 위치에 상기 정보를 삽입한다. 여기서 문맥의 일례를 이하 설명한다.

RAP_header(){

RAP_startcode;

closed_GOP;

broken_link;

NumBufferParam;

for (i = O; i < NumBufferParam; i++) {

Rate[i];

Buffer[i];

F[i]; } }

랜덤 액세스 포인트 사이의 (R_min, B_min, F_min)은, 예를 들면 그 직전의 랜덤 액세스 포인트 헤더에 상기한 문맥과 같이 기록된다. RAP_startcode는 RAP 헤더가 존재하고, 그 헤더의 개시를 나타내는 코드이다.

closed_G0P는 그 GOP 내의 모든 픽쳐가 다른 GOP의 픽쳐를 참조하지 않고 독립인지 또는 다른 GOP의 픽쳐를 참조하는 의존관계가 있는지를 나타내는 플래그이다. broken_link는 편집 등에 의해 그 GOP의 전후로 비트스트림의 치환을 했을 경우, 예측의 참조 화상이 존재하는지 아닌지를 나타내는 플래그이다.

NumBuffer_Param은 요구한 특성 세트(R_min, B_min, F_min)의 수를 나타낸다. Rate[i], Buffer[i], F[i]는 각각 R_min, B_min, F_min을 나타낸다. 여기서는, 예를 들면, R_min은 작은 것으로부터 차례로 기록된다.

비트스트림 전체의 (R_min, B_min, F_min)global은, 예를 들면, 그 비트스트림의 선두의 시퀀스 헤더에, 이하의 문맥과 같이 하여 기록된다.

Sequence_header(){

Sequence_startcode;

:

NumBufferParam;

for(i = 0; i < NumBufferParam; i++) {

Rate[i];

Buffer[i];

F[i]; } }

여기서, NUmBUffer_Param은 요구한 특성 세트 (R_min, B_min, F_min)global의 수를 나타낸다. Rate[i], Buffer[i], F[i]는 각각 R_min, B_min, F_min을 나타낸다. 여기서는, 예를 들면 R_min은 작은 것으로부터 차례로 기록된다.

버퍼 정보 부가부(73)에 있어서, 상기의 버퍼 정보 BH가 부가된 후 최종적인 출력 비트스트림 BS가 출력된다.

그리고, 발명의 실시예에서는 버퍼 정보 BH로서, 최소 비트 레이트 R_min, 최소 버퍼 사이즈 B_min 및 최소 지연량 F_min을 모두 비트스트림에 부가하는 것으로 설명했다. 그러나, 이 예에 한정되지 않고, 최소 비트 레이트 R_min, 최소 버퍼 사이즈 B_min 또는 최소 지연량 F_min 중, 적어도 하나를 비트스트림에 부가하도록 해도 된다. 예를 들면, 최소 비트 레이트 R_min 및 최소 버퍼 사이즈 B_min의 조합을 비트스트림에 부가하도록 해도 된다.

도 7에 본 발명을 적용한 복호 장치의 일실시예의 구성을 나타낸다. 도 7에 나타낸 복호 장치(90)는 도 5에 나타낸 부호화 장치(70)에 대응하는 것이며, 내부에 도 2에 나타낸 화상 정보 복호 장치(40)를 포함하고 있다. 복호 장치(90)에 입력된 비트스트림 BS는 비트스트림 해석부(91)와 복호 가능성 판정부(92)에 공급된다.

비트스트림 해석부(91)는 비트스트림 내의 버퍼 정보 BH를 복호하여, 복호 가능성 판정부(92)에 출력한다. 비트스트림 해석부(91)는 비트스트림을 패스하고, 시퀀스 헤더에 기록되어 있는 (R_min, B_min, F_min)globa1을 복호한다. 또, 각 랜덤 액세스 포인트 헤더에 기록되어 있는 (R_min, B_min, F_min)을 복호한다. 이들 정보가 복호 가능성 판정부(92)에 출력된다.

복호 가능성 판정부(92)는 버퍼 정보 BH 및 화상 정보 복호 장치(40)로부터 공급되는 디코더 정보 DI에 기초하여, 입력된 비트스트림이 버퍼를 실패시키지 않고 복호 가능한지를 판정한다. 디코더 정보 DI는, 예를 들면 디코더 버퍼 사이즈 및 복호 비트 레이트 등이다.

복호 가능성 판정부(92)는 (R_min, B_min, F_min)global로부터, 도 4에 나타낸 것과 같은 특성 곡선을 작성한다. 각 점의 사이는 선형보간한다. 이 때, 디코더(복호 장치(90))의 버퍼 및 복호 비트 레이트가 (R_min, B_min, F_min)global에 의해 만들어지는 특성 곡선보다 위에 위치하는 경우, 입력된 비트스트림은 복호 가능한 것으로 판단하는 것이 가능하다. 따라서 이와 같은 경우, 복호 가능성 판정부(92)는 복호 가능한 것으로 판정하고, 비트스트림을 화상 정보 복호 장치(40)에 공급한다.

화상 정보 복호 장치(40)는 도 2에 나타낸 화상 정보 복호 장치(40)와 기본적으로 동일한 구성에 의해 동일한 처리를 실행하고, 입력된 비트스트림을 복호하며, 화상 정보를 도시 되어 있지 않은 텔레비전 수상기 등에 출력한다.

비트스트림 전체를 복호 가능한지 여부를 상기와 같이, (R_min, B_min, F_min)global의 특성 곡선, 디코더 버퍼 사이즈, 복호 비트 레이트를 조사한 것에 따라 판정하는 것이 가능하다.

또, 랜덤 액세스 등에 의해, 소정의 랜덤 액세스 포인트로부터 특정의 구간 만을 복호하고 싶은 경우, 마찬가지로, 복호 가능성 판정부(92)는 (R_min, B_min, F_min)로부터 도 4에 나타낸 바와 같은 특성 곡선을 작성한다. 각 점의 사이는 선형보간한다. 이 때, 디코더의 버퍼 및 복호 비트 레이트가 (Rmin, Bmin, Fmin)에 의해 만들어지는 특성 곡선보다 위에 위치하는 경우, 비트스트림은 복호 가능하다. 따라서 이와 같은 경우, 복호 가능성 판정부(92)는 복호 가능한 것으로 판정하고, 비트스트림을 화상 정보 복호 장치(40)에 공급한다.

다음에 비트스트림의 편집을 행하는 때의 설명을 행한다. 도 8은 본 발명을 적용한 비트스트림의 편집을 행하는 편집 장치(110)의 일실시예의 구성을 나타낸 도면이다. 편집 장치(110)가 행하는 편집의 예로서, 입력 비트스트림 1의 일부를 다른 입력 비트스트림 2로 치환하는 스플라이싱을 행하는 경우를 예로 들어 설명한다.

여기서, 스플라이싱에 대하여 간단하게 설명하는데, 스플라이싱(splicing)이란 소정의 비트스트림을 랜덤 액세스 포인트에서 다른 비트스트림으로 치환하여 편집을 행하는 것이다. 이와 같은 스플라이싱은, 예를 들면 텔레비전 방송의 프로그램에 광고방송을 삽입할 때 등이다. 이 경우, 입력 비트스트림 1이 텔레비전 방송의 프로그램의 비트스트림이며, 입력 비트스트림 2가 광고방송의 비트스트림이다.

입력 비트스트림 1은 비트스트림 해석부(111-1)에 입력되고, 입력 비트스트림 2는 비트스트림 해석부(111-2)에 입력된다. 비트스트림 해석부(111-1, 111-2)는 각각 입력된 비트스트림 1, 2 중에 포함되어 있는 버퍼 정보 BHl, BH2를 복호하고, 비트스트림 편집부(112)에 출력한다.

비트스트림 편집부(112)는 버퍼 정보 BHl, BH2에 기초하여 소정의 편집 포인트로 입력 비트스트림 1에 대해서 입력 비트스트림(2)를 삽입 가능한지 여부를 판정한다. 이 때, 편집 후의 비트스트림이, 디코더(복호 장치(90))의 버퍼를 실패시키지 않고 복호 가능하기 위해서는, 랜덤 액세스 포인트와 그 직전의 버퍼 점유량의 값이 동일하다고 하는 조건이 필요하다.

MPEG2, MPEG4 방식을 사용하는 디코더는 특정의 비트 레이트, 버퍼 사이즈로 동작하는 것이 상정되어 있었지만, JVT 방식을 사용하는 디코더에 있어서는, 도 4에 나타낸 바와 같이, 그 외의 비트 레이트, 버퍼 사이즈 라도 (R_min, B_min, F_min)의 특성 곡선보다 위에 있는 경우, 복호하는 것이 가능하도록 버퍼에 대한 제한이 완화되어 있다.

비트스트림의 편집에 의해, 그 편집 전후로 디코드 가능성이 변화하지 않게 하기 위해서는, 편집 구간의 (R_min, B_min, F_min)이 동일이면 좋다. 따라서, 비트스트림 편집부(112)는 편집 구간에 위치하는 랜덤 액세스 포인트 헤더에 있어서의 (R_min, B_min, F_min) 특성을, 입력 비트스트림(1, 2)에 대해서 작성하고, 이들 값이 일치하는 경우, 그 구간을 비트스트림 2로 치환한다. 일치하지 않는 경우, 비트스트림 1 또는 2에 대해서 패딩 비트를 삽입하여, (R_min, B_min, F_min)가 일치하도록 한 후, 입력 비트스트림 2로 치환한다.

JVT에 있어서는, 버퍼에 대한 규제가 완화되어 있지만, 이것을 이용하면, 스플라이싱에 있어서의 버퍼의 적합 조건을 완화하는 것이 가능하게 된다. JVT에 있어서는, 디코더의 버퍼 사이즈 및 복호 비트 레이트가 (R_min, B_min, F_min)의 위에 위치하는 경우, 복호 가능하다는 것을 알 수 있다. 따라서, 원래의 입력 비트스트림 1의 소정의 편집 구간의 (R_min, B_min, F_min)에 대해서, 삽입하는 입력 비트스트림 2의 소정 편집 구간의 (R_min, B_min, F_min)이 항상 아래에 있는 경우, 입력 비트스트림 1을 복호할 수 있는 디코더는 그 구간을 비트스트림 2로 치환해도 복호 가능한 것으로 된다.

도 9에 그 관계를 도시한다. 곡선 1은 입력 비트스트림 1의 편집 구간에서의 (R_min, B_min, F_min) 특성을 나타낸다. 곡선 2는 입력 비트스트림 2의 편집 구간에서의 (R_min, B_min, F_min) 특성을 나타낸다. 디코더의 버퍼, 복호 비트 레이트가 이 곡선의 위에 오는 경우, 복호 가능하다 것으로부터, 도 9에 나타낸 바와 같이 곡선 2가 항상 곡선 1의 아래에 올 때, 복호 가능하다는 것이 보증된다.

따라서, 비트스트림 편집부(112)는 편집 구간에 위치하는 랜덤 액세스 포인트 헤더에 있어서의 (R_min, B_min, F_min) 특성을, 비트스트림 1, 2에 대해서 작성하고, 비트스트림 2의 특성 곡선이, 비트스트림 1의 특성 곡선 아래에 오는 경우, 그 구간을 비트스트림 2로 치환한다.

역으로, 일치하지 않는 것 같은 경우, 비트스트림 1 또는 2에 대해서 패딩 비트를 삽입하여, 비트스트림 2의 (R_min, B_min, F_min) 특성 곡선이, 비트스트림 1의 특성 곡선 아래에 위치하도록 변경하고 후, 입력 비트스트림 2로 치환한다.

이와 같은 조건을 만족시키도록 스플라이싱을 행한 경우, 비트스트림 1을 복호 가능한 디코더를 실패시키지 않게 된다. 비트스트림 편집부(112)는 스플라이싱을 한 후, 최종적인 비트스트림을 출력한다.

이와 같이, 비트스트림 중의 랜덤 액세스가 실시할 수 있는 포인트의 헤더에, (R_min, B_min, F_min)라고 하는 최소 비트 레이트, 최소 버퍼 사이즈, 최소 초기 지연 시간 등의 정보를 포함하게 하는 것으로, 복호 측에 있어서, 비트스트림의 복호 가능성을 효율적으로 판단하는 것이 가능해지며, 또 스플라이싱 등의 비트스트림의 편집을 용이하게, 또한 복호측의 버퍼를 실패시키지 않고 복호가 항상 행해지도록하는 것이 가능해진다.

도 10은 범용 퍼스널 컴퓨터의 내부 구성예를 나타낸 도면이다. 퍼스널 컴퓨터의 CPU(Central Processing Unit)(211)는 ROM(Read Only Memory)(212)에 기억되어 있는 프로그램에 따라 각종의 처리를 실행한다. RAM(Random Access Memory)(213)에는, CPU(211)가 각종의 처리를 실행함에 있어서 필요한 데이터나 프로그램 등이 적당히 기억된다. 입출력 인터페이스(215)는 키보드나 마우스로 구성되는 입력부(216)가 접속되고, 입력부(216)에 입력된 신호를 CPU(211)에 출력한다. 또, 입출력 인터페이스(215)에는 디스플레이나 스피커 등으로 구성되는 출력부(7)도 접속되어 있다.

또한, 입출력 인터페이스(215)에는 하드디스크 등으로 구성되는 기억부(218) 및 인터넷 등의 네트워크를 통하여 다른 장치와 데이터의 전달을 행하는 통신부(219)도 접속되어 있다. 드라이브(220)는 자기 디스크(231), 광디스크(232), 광자기디스크(233), 반도체 메모리(234) 등의 기록 매체로부터 데이터를 판독하거나, 데이터를 기입하거나 할 때에 이용된다.

기록 매체는 도 10에 나타낸 바와 같이, 퍼스널 컴퓨터와는 별도로, 사용자에게 프로그램을 제공하는 위해 배포되는 프로그램이 기록되어 있는 자기 디스크(231)(플렉시블 디스크 포함), 광디스크(232)[CD-R0M (Compact Disc - Read Only Memory), DVD(Digital Versatile Disc)를 포함], 광자기 디스크(233)[MD(Mini-Disc](등록상표)를 포함), 또는 반도체 메모리(234) 등으로 이루어지는 패키지 매체에 의해 구성될 뿐만 아니라, 컴퓨터에 미리 기록된 상태로 사용자에게 제공되는 프로그램이 기억되어 있는 ROM(212)이나 기억부(218)가 포함되는 하드 디스크 등으로 구성된다.

그리고, 본 명세서에 있어서, 매체에 의해 제공되는 프로그램을 기술하는 단계는, 기재된 순서에 따라 시계열적으로 행해지는 처리는 물론, 반드시 시계열적으로 처리되지 않아도 병렬적 또는 개별적으로 실행되는 처리도 포함하는 것이다.

또, 본 명세서에 있어서, 시스템이란 복수개의 장치에 의해 구성되는 장치 전체를 나타내는 것이다.

Claims

제1 비트스트림과 제2 비트스트림을 편집하는 편집 장치로서,
상기 제1 비트스트림의 비트 레이트와 상기 제1 비트스트림을 복호하는 때의 버퍼 사이즈의 조합에 따라 상기 제1 비트 스트림이 복호 가능한지 여부를 판정하는 때에 사용하는 제1 버퍼 특성 정보와, 상기 제2 비트스트림의 비트 레이트와 상기 제2 비트스트림을 복호하는 때의 버퍼 사이즈의 조합에 따라 상기 제2 비트스트림이 복호 가능한지 여부를 판정하는 때에 사용하는 제2 버퍼 특성 정보를 수취하는 수취 수단과;
상기 수취 수단에 의해 수취된 제1 버퍼 특성 정보와 제2 버퍼 특성 정보에 기초하여, 상기 제1 비트스트림과 상기 제2 비트스트림이 편집 가능한지 여부를 판정하는 판정 수단과;
상기 판정 수단에 의해 편집 가능하다고 판단된 경우에, 상기 제1 비트스트림과 상기 제2 비트스트림을 편집하는 편집 수단
을 포함하는 편집 장치.
제1항에 있어서,
상기 판정 수단은, 상기 제1 버퍼 특성 정보에 의해 작성되는 제1 특성 곡선이, 상기 제2 버퍼 특성 정보에 의해 작성되는 제2 특성 곡선의 위에 위치하거나 또는 동일한 경우, 상기 제1 비트스트림과 상기 제2 비트스트림이 편집 가능한 것으로 판정하는, 편집 장치.
제1항에 있어서,
상기 제1 버퍼 특성 정보는, 상기 제1 비트스트림 내에 헤더로서 삽입되어 있고,
상기 제2 버퍼 특성 정보는, 상기 제2 비트스트림 내에 헤더로서 삽입되어 있으며,
상기 수취 수단은, 상기 제1 비트스트림의 헤더로부터 상기 제1 버퍼 특성 정보를 취득하고, 상기 제2 비트스트림의 헤더로부터 상기 제2 버퍼 특성 정보를 취득하는, 편집 장치.
제3항에 있어서,
상기 제1 버퍼 특성 정보는, 상기 제1 비트스트림 내의 랜덤 액세스가 가능한 소정 구간마다에 헤더로서 삽입되어 있고,
상기 제2 버퍼 특성 정보는, 상기 제2 비트스트림 내의 랜덤 액세스가 가능한 소정 구간마다에 헤더로서 삽입되어 있는, 편집 장치.
제3항에 있어서,
상기 제1 버퍼 특성 정보는, 상기 제1 비트스트림의 시퀀스 전체를 대상으로 한 버퍼 특성 정보로서 상기 제1 비트스트림에 삽입되어 있고,
상기 제2 버퍼 특성 정보는, 상기 제2 비트스트림의 시퀀스 전체를 대상으로 한 버퍼 특성 정보로서 상기 제2 비트스트림에 삽입되어 있는, 편집 장치.
제1 비트스트림과 제2 비트스트림을 편집하는 편집 방법으로서,
상기 제1 비트스트림의 비트 레이트와 상기 제1 비트스트림을 복호하는 때의 버퍼 사이즈의 조합에 따라 상기 제1 비트 스트림이 복호 가능한지 여부를 판정하는 때에 사용하는 제1 버퍼 특성 정보와, 상기 제2 비트스트림의 비트 레이트와 상기 제2 비트스트림을 복호하는 때의 버퍼 사이즈의 조합에 따라 상기 제2 비트스트림이 복호 가능한지 여부를 판정하는 때에 사용하는 제2 버퍼 특성 정보를 수취하는 단계와;
상기 수취 수단에 의해 수취된 제1 버퍼 특성 정보와 제2 버퍼 특성 정보에 기초하여, 상기 제1 비트스트림과 상기 제2 비트스트림이 편집 가능한지 여부를 판정하는 단계와;
상기 판정 수단에 의해 편집 가능하다고 판단된 경우에, 상기 제1 비트스트림과 상기 제2 비트스트림을 편집하는 단계
를 포함하는 편집 방법.
컴퓨터로 판독가능한 기록 매체로서,
제1 비트스트림의 비트 레이트와 상기 제1 비트스트림을 복호하는 때의 버퍼 사이즈의 조합에 따라 상기 제1 비트 스트림이 복호 가능한지 여부를 판정하는 때에 사용하는 제1 버퍼 특성 정보와, 제2 비트스트림의 비트 레이트와 상기 제2 비트스트림을 복호하는 때의 버퍼 사이즈의 조합에 따라 상기 제2 비트스트림이 복호 가능한지 여부를 판정하는 때에 사용하는 제2 버퍼 특성 정보를 수취하는 단계와;
상기 수취 수단에 의해 수취된 제1 버퍼 특성 정보와 제2 버퍼 특성 정보에 기초하여, 상기 제1 비트스트림과 상기 제2 비트스트림이 편집 가능한지 여부를 판정하는 단계와;
상기 판정 수단에 의해 편집 가능하다고 판단된 경우에, 상기 제1 비트스트림과 상기 제2 비트스트림을 편집하는 단계
를 실행시키는 프로그램이 기록된, 컴퓨터로 판독가능한 기록 매체.