KR100893806B1

KR100893806B1 - 동화상 재부호화 장치, 동화상 편집 장치, 및 방법

Info

Publication number: KR100893806B1
Application number: KR20077010882A
Authority: KR
Inventors: 히데아끼 야마다; 지로 나까바야시; 야스히로 나까무라
Original assignee: 샤프 가부시키가이샤
Priority date: 2004-10-13
Filing date: 2005-09-12
Publication date: 2009-04-20
Also published as: EP1811784A1; CN100556140C; JP3753726B1; CN101040531A; US20070263731A1; JP2006115051A; EP1811784A4; KR20070089674A; WO2006040896A1

Abstract

부호화된 동화상 데이터의 변환이나 편집을 실행할 때에, 부하가 가벼운 간이한 처리로 재현성이 있는 올바른 부호화 데이터를 생성하는 것이 가능한 동화상 재부호화 장치를 제공한다. 부호화 비트 스트림으로부터 동화상의 프레임을 복호하는 복호 수단(12)과, 복호된 프레임으로부터 재부호화할 프레임을 선택하는 프레임 선택 수단(15)과, 선택된 프레임만을 재부호화하는 부호화 수단(14)과, 프레임을 재부호화한 후, 그 프레임으로부터 다음으로 재부호화 대상으로 되는 프레임까지의 프레임 간격을 산출하고, 그 산출한 프레임 간격을 복호 수단(12)에 통지하는 간격 통지 수단(13)을 구비한다. 복호 수단(12)은, 간격 통지 수단(13)에 의한 통지 후, 통지된 프레임 간격에 기초하는 시각이 경과할 때까지 비트 스트림의 복호를 실행한다. 프레임 선택 수단(15)은, 그 시각이 경과할 때까지의 프레임 중 최후의 프레임을, 다음으로 재부호화할 프레임으로서 선택한다.

동화상 재부호화, 부호화 비트 스트림, 프레임, 오버플로우, 언더플로우, 프레임 간격

Description

동화상 재부호화 장치, 동화상 편집 장치, 및 방법{MOVING PICTURE RE-ENCODING APPARATUS, MOVING PICTURE EDITING APPARATUS, AND METHOD}

본 발명은, 동화상 재부호화 장치, 동화상 편집 장치, 프로그램, 및 기록 매체에 관한 것으로, 보다 상세하게는, 부호화된 동화상의 스트림으로부터 상이한 스트림을 생성할 때에 사용하는 동화상 재부호화 장치, 동화상 편집 장치, 그들 장치의 프로그램, 및, 그 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체에 관한 것이다.

종래부터, MPEG(Moving Picture Experts Group)-2, 4 등의 부호화 방식으로 부호화된 동화상을 편집하는 경우, GOP(Group Of Pictures) 단위의 편집, 인트라 부호화 화상의 프레임(I 프레임) 단위의 편집 등이 행하여져 왔다. 이와 같은 편집 방식의 경우, 예측 부호화 화상의 프레임(P 프레임)이나 쌍방향 예측 부호화 화상의 프레임(B 프레임)과 같은 I 프레임 이외로의 편집이 곤란해서, 지정할 수 있는 프레임에 제한이 있다.

따라서, I 프레임 이외의 프레임으로부터 편집하기 위해서는, 영상 데이터를 일단 복호하여, 입력 화상으로서 처리할 필요가 있다. 또한, 임의 위치로부터의 잘라내기 시에는, 잘라내기의 선두만을 디코드하고, 그 후는 디코드하지 않고 데이 터를 카피한다고 하는 기술도 제안되어 있다.

또한, 영상 데이터를, 표시 틀의 확대/축소 등에 의해 상이한 화상 사이즈로 변경하기 위해서, 그리고 상이한 비트 레이트로 변경하기 위해서는, 부호화된 채로는 불가능해서, 디코더에 의해 한번 복호해서 화상 프레임으로 복귀한 후, 인코더에 의해 다시 부호화할 필요가 있다. 따라서, MPEG-2, 4 등의 부호화된 동화상에 대하여, 유저가 데이터를 작게 하고자 하는 경우나 유저가 특정한 범위만을 취출하고자 하는 경우 등에는 이와 같은 재부호화 처리에 의해 원래의 스트림과는 다른 스트림을 생성하게 된다.

그러나, 재차 부호화하는 것은, 복호와 부호화를 동시에 처리할 필요가 있어, 부하가 높다고 하는 문제나, 복호한 데이터를 확실하게 부호화하기 위한 동기 처리가 곤란하다는 문제가 발생하고 있다.

또한, 재부호화 기술로서, 화질 열화를 억제하고, 고속이면서 효율적으로 비트 레이트 변환을 실현시키는 것을 목적으로 한 압축 동화상의 재부호화 프로그램, 장치, 및 방법이 제안되어 있다(예를 들면, 특허 문헌1을 참조). 특허 문헌1에 기재된 재부호화 기술에서는, 디코더가 1프레임 디코드할 때마다, 인코드를 실행하고 있다.

[특허 문헌1] 일본 특개 2003-244705호 공보

<발명의 개시>

<발명이 해결하고자 하는 과제>

그러나, 임의 위치로부터의 잘라내기 시에는, 잘라내는 선두의 프레임만 디 코드해서 I 프레임으로 인코드하고, 그 이후의 프레임은 재부호화하지 않고 오리지널 데이터를 카피하는 것과 같은, 전술한 바와 같은 기술을 채용하면, I 프레임과 그 이후의 프레임에서 부정합이 일어나, 화질 열화가 발생하여, 규격 위반으로 되기 쉽다. 그리고, 부정합을 발생시키지 않기 위해서는, 오리지널의 비디오의 비트 레이트 등을 해석할 필요가 있기 때문에, 처리 부하가 무거워진다.

또한, 특허 문헌1과 같이, 디코더가 디코드한 1프레임을 인코드하는 것과 같은 기술을 채용하면, 완성되는 비디오 비트 스트림이 규격에 맞지 않는 경우가 많아진다.

또한, 동화상 재부호화 장치를, 디코더와 인코더에서 동기를 취하지 않고 실시간으로 동작하도록 구성하는 것도 가능하지만, 파워가 작은 CPU(Central Processing Unit)에서는, 콘텐츠의 프레임 수가 극단적으로 적어진다. 또한, 재부호화를 행할 때에 인코더와 디코더를 비동기로 동시에 동작시킨 경우, 동일한 동화상 파일을 재부호화한 경우라도, 기기의 처리 능력에 따라 결과가 서로 다르게 된다고 하는 경우가 발생한다.

전술한 바와 같이, 부호화된 동화상 데이터(영상 데이터)의, 사이즈 변경이나 비트 레이트 변환과 같은 변환이나, 편집, 특히 I 프레임 이외로부터의 편집을 실행하는 경우에는, 처리가 복잡해져서 부하가 무거워져, 경우에 따라서는 규격에 맞지 않는 결과로 되어버린다.

본 발명은, 전술한 바와 같은 실정을 감안하여 이루어진 것으로, 부호화된 동화상 데이터의 변환이나 편집을 실행할 때에, 부하가 가벼운 간이한 처리로 재현 성이 있는 올바른 부호화 데이터를 생성하는 것이 가능한, 동화상 재부호화 장치, 그 장치를 구비한 동화상 편집 장치, 동화상 재부호화 프로그램, 동화상 편집 프로그램, 그들 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체를 제공하는 것을 그 목적으로 한다.

<과제를 해결하기 위한 수단>

본 발명은, 전술한 바와 같은 과제를 해결하기 위해, 이하의 각 기술 수단으로 각각 구성된다.
제1 기술 수단은, 동화상을 부호화한 비트 스트림으로부터 동화상의 프레임을 복호하는 복호부와, 상기 복호부에 의해 복호된 프레임으로부터, 재부호화할 프레임을 선택하는 프레임 선택부와, 상기 프레임 선택부에 의해 선택된 프레임만을 재부호화하는 부호화부와, 상기 부호화부에 의해 프레임을 재부호화한 후, 그 프레임으로부터 다음으로 재부호화 대상으로 되는 프레임까지의 프레임 간격을 산출하고, 그 산출한 프레임 간격을 상기 복호부에 통지하는 간격 통지부를 구비하고, 상기 복호부는, 상기 간격 통지부에 의한 통지 후, 그 통지된 프레임 간격에 기초하는 시각이 경과할 때까지 상기 비트 스트림의 복호를 실행하고, 상기 프레임 선택부는, 상기 시각이 경과할 때까지의 프레임 중 최후의 프레임을, 다음으로 재부호화할 프레임으로서 선택하는 것을 특징으로 하는 동화상 재부호화 장치이다.
제2 기술 수단은, 제1 기술 수단에 있어서, 상기 간격 통지부는, 상기 부호화부에 의해 프레임을 재부호화한 때의 레이트 제어 정보에 기초하여, 상기 프레임 간격을 산출하는 부분을 갖는 것을 특징으로 한 것이다.
제3 기술 수단은, 제2 기술 수단에 있어서, 상기 레이트 제어 정보는, 상기 부호화부에 의해 재부호화한 프레임의 화상 사이즈, 그 프레임의 재부호화 시의 부호량, 상기 부호화부에서의 부호화 비트 레이트, 및, 상기 부호화부에 의한 재부호화 종료 시에서의, 복호할 때의 비디오 메모리를 가상한 가상 버퍼의 점유량 중 어느 하나 또는 복수의 정보인 것을 특징으로 한 것이다.
제4 기술 수단은, 제1 기술 수단에 있어서, 재부호화 대상으로 되는 비트 스트림의 지정과, 동화상 재부호화 지시를 포함하는 조작을 접수하는 조작 입력부를 더 구비하고, 상기 부호화부는, 상기 조작 입력부에 의해 입력된 조작에 기초하는 부호화 비트 레이트로 부호화를 실행하는 것을 특징으로 한 것이다.
제5 기술 수단은, 제4 기술 수단에 있어서, 상기 조작 입력부에 의해 입력된 조작에 관한 정보에 기초하여, 미리 상기 프레임 간격의 최소값을 예상하는 최소값 산출부를 더 구비하고, 상기 복호부는, 상기 간격 통지부로부터의 프레임 간격의 통지에 앞서, 상기 최소값 산출부에 의해 산출한 프레임 간격의 최소값이 나타내는 시각에 이르기까지, 복호를 계속해 두는 것을 특징으로 한 것이다.
제6 기술 수단은, 제1 기술 수단에 있어서, 상기 부호화부는, 재부호화 대상의 프레임을, 프레임내 부호화하는 부분 및 프레임간 부호화하는 부분을 갖는 것을 특징으로 한 것이다.
제7 기술 수단은, 제1 내지 제6 중 어느 하나의 기술 수단에 있어서의 동화상 재부호화 장치를 구비한 동화상 편집 장치로서, 상기 비트 스트림에 대하여, 편집의 지시를 유저로부터 접수하는 편집 접수부와, 상기 편집 접수부에 의해 접수한 지시에 기초하여 동화상을 편집하는 편집부를 구비하고, 상기 동화상 재부호화 장치는, 상기 편집부에 의한 동화상의 편집에 수반하여 편집 후의 동화상을 재부호화하는 것을 특징으로 한 것이다.
제8 기술 수단은, 동화상을 부호화한 비트 스트림으로부터 동화상의 프레임을 복호하는 복호부와, 그 복호부에 의해 복호한 프레임을 재부호화하는 부호화부를 구비한 동화상 재부호화 장치를 위한 방법으로서, 상기 복호부에 의해 복호된 프레임으로부터, 재부호화할 프레임을 선택하는 프레임 선택 스텝과, 상기 프레임 선택 스텝에서 선택된 프레임만을 상기 부호화부에 의해 부호화시키는 부호화 지시 스텝과, 상기 부호화부에 의해 프레임이 재부호화된 후, 그 프레임으로부터 다음으로 재부호화 대상으로 되는 프레임까지의 프레임 간격을 산출하고, 그 산출한 프레임 간격을 상기 복호부에 통지하는 간격 통지 스텝과, 상기 간격 통지 스텝에 의한 통지 후, 그 통지된 프레임 간격에 기초하는 시각이 경과할 때까지 상기 비트 스트림의 복호를 실행하도록 상기 복호부에 지시하는 복호 지시 스텝을 포함하고, 상기 프레임 선택 스텝은, 상기 시각이 경과할 때까지의 프레임 중 최후의 프레임을, 다음으로 재부호화할 프레임으로서 선택하는 스텝을 갖는 것을 특징으로 한 것이다.
제9 기술 수단은, 제8 기술 수단에 있어서, 상기 간격 통지 스텝은, 상기 부호화부에 의해 프레임을 재부호화한 때의 레이트 제어 정보에 기초하여, 상기 프레임 간격을 산출하는 스텝을 갖는 것을 특징으로 한 것이다.
제10 기술 수단은, 제9 기술 수단에 있어서, 상기 레이트 제어 정보는, 상기 부호화부에 의해 재부호화한 프레임의 화상 사이즈, 그 프레임의 재부호화 시의 부호량, 상기 부호화부에서의 부호화 비트 레이트, 및, 상기 부호화부에 의한 재부호화 종료 시에서의, 복호할 때의 비디오 메모리를 가상한 가상 버퍼의 점유량 중 어느 하나 또는 복수의 정보인 것을 특징으로 한 것이다.
제11 기술 수단은, 제8 기술 수단에 있어서, 재부호화 대상으로 되는 비트 스트림의 지정과, 동화상 재부호화 지시를 포함하는 조작을 접수하는 조작 입력 스텝을 더 포함하고, 상기 부호화 지시 스텝은, 상기 부호화부에, 상기 조작 입력 스텝에서 입력된 조작에 기초하는 부호화 비트 레이트로 부호화를 실행하도록 지시하는 것을 특징으로 한 것이다.
제12 기술 수단은, 제11 기술 수단에 있어서, 상기 조작 입력 스텝에 의해 입력된 조작에 관한 정보에 기초하여, 미리 상기 프레임 간격의 최소값을 예상하는 최소값 산출 스텝을 더 포함하고, 상기 복호 지시 스텝은, 상기 복호부에, 상기 간격 통지 스텝에 의한 프레임 간격의 통지에 앞서, 상기 최소값 산출 스텝에서 산출한 프레임 간격의 최소값이 나타내는 시각에 이르기까지, 복호를 계속하도록 지시하는 것을 특징으로 한 것이다.
제13 기술 수단은, 제8 기술 수단에 있어서, 상기 부호화부는, 재부호화 대상의 프레임을, 프레임내 부호화하는 부분 및 프레임간 부호화하는 부분을 갖는 것을 특징으로 한 것이다.
제14 기술 수단은, 제8 기술 수단에 있어서, 상기 비트 스트림에 대하여, 편집의 지시를 유저로부터 접수하는 편집 접수 스텝과, 상기 편집 접수 스텝에서 접수한 지시에 기초하여 동화상을 편집하는 편집 스텝과, 상기 편집 스텝에서의 동화상의 편집에 수반하여 편집 후의 동화상을 재부호화하도록 상기 복호부 및 부호화부를 제어하는 스텝을 포함하는 것을 특징으로 한 것이다.
제15 기술 수단은, 동화상을 부호화한 비트 스트림으로부터 상기 동화상의 프레임을 복호하는 복호 스텝과, 상기 복호 스텝에 의해 복호된 상기 프레임으로부터, 재부호화할 프레임을 선택하는 프레임 선택 스텝과, 상기 프레임 선택 스텝에 의해 선택된 상기 프레임만을 재부호화하는 부호화 스텝과, 상기 부호화 스텝에 의해 프레임을 재부호화한 후, 그 프레임으로부터 다음으로 재부호화 대상으로 되는 프레임까지의 프레임 간격을 산출하고, 그 산출한 프레임 간격을 상기 복호 스텝에 통지하는 간격 통지 스텝을 포함하고, 상기 복호 스텝은 상기 간격 통지 스텝에 의한 통지 후, 그 통지된 프레임 간격에 기초하는 시각이 경과할 때까지 상기 비트 스트림의 복호를 실행하고, 상기 프레임 선택 스텝은, 상기 시각이 경과할 때까지의 프레임 중 최후의 프레임을, 다음으로 재부호화할 프레임으로서 선택하는 것을 특징으로 하는 동화상 재부호화 방법이다.
제16 기술 수단은, 제15 기술 수단의 동화상 재부호화 방법을 포함한 동화상 편집 방법으로서, 상기 비트 스트림에 대하여, 편집의 지시를 유저로부터 접수하는 편집 접수 스텝과, 상기 편집 접수 스텝에서 접수한 상기 지시에 기초하여 동화상을 편집하는 편집 스텝을 포함하고, 상기 동화상 재부호화 방법은, 상기 편집 스텝에서의 상기 동화상의 편집에 수반하여 편집 후의 동화상을 재부호화하는 것을 특징으로 한 것이다.

삭제

<발명의 효과>

본 발명에 따르면, 부호화된 동화상 데이터의 변환이나 편집을 실행할 때에, 부하가 가벼운 간이한 처리로 재현성이 있는 올바른 부호화 데이터를 생성하는 것이 가능하게 된다.

도 1은 본 발명의 일 실시 형태에 따른 동화상 재부호화 장치의 일 구성예를 도시하는 도면.

도 2는 본 발명에 따른 동화상 재부호화 장치에 적용 가능한 컴퓨터의 일 구성예를 도시하는 도면.

도 3은 도 1의 동화상 재부호화 장치에서의 재부호화 처리의 일례를 설명하기 위한 플로우도로서, 본 발명의 일 실시 형태에 따른 동화상 재부호화 프로그램의 처리 수순의 일례를 설명하기 위한 플로우도.

도 4는 본 발명에 따른 동화상 재부호화 장치를 구비한 동화상 편집 장치의 일 구성예의 도면.

도 5는 도 4의 동화상 편집 장치에서의 재부호화 처리를 설명하기 위한 도면.

도 6은 도 5의 재부호화 처리에서의 프레임 간격 결정 처리를 설명하기 위한 도면.

도 7은 도 6의 프레임 간격 결정 처리에서의 제어를 VBV 버퍼의 점유량과 함께 설명하기 위한 도면.

<부호의 설명>

1 : 동화상 재부호화 장치

2 : 컴퓨터

4 : 동화상 편집 장치

11: 조작 입력 수단

12 : 복호 수단

13 : 간격 통지 수단

14 : 부호화 수단

15 : 프레임 선택 수단

21 : CPU

22 : RAM

23 : ROM

24 : 입력 장치

25 : 표시 장치

26 : 출력 장치

40 : 표시부

41 : 화상 프레임 기억부

42 : 부호/복호 동작 제어부

43 : 복호부

44 : 부호화부

45 : 다중·분리부

46 : 입력부

47 : 출력부

48 : 기억부A

49 : 기억부B

<발명을 실시하기 위한 최량의 형태>

도 1은, 본 발명의 일 실시 형태에 따른 동화상 재부호화 장치의 일 구성예 를 도시하는 도면으로서, 도면에서, 참조 부호 1은 동화상 재부호화 장치, 참조 부호 11은 조작 입력 수단, 참조 부호 12는 복호 수단, 참조 부호 13은 간격 통지 수단, 참조 부호 14는 부호화 수단, 참조 부호 15는 프레임 선택 수단이다.

본 실시 형태에 따른 동화상 재부호화 장치는, 복호 수단(12), 간격 통지 수단(13), 부호화 수단(14), 프레임 선택 수단(15)을 구비하는 것으로 하고, 도 1에서 예시하는 동화상 재부호화 장치(1)는, 그들 구성 요소 외에, 조작 입력 수단(11)을 구비하는 것으로 한다.

조작 입력 수단(11)은, 유저로부터, 재부호화 대상으로 되는 비트 스트림의 지정과, 동화상 재부호화 지시를 포함하는 조작을 접수하고, 접수한 정보를 후단에 전하는 수단이다. 여기에서, 동화상 재부호화 지시란, 대상으로 되는 동화상 데이터의 지정과, 그 동화상 데이터에 대한, 구간 편집이나 부가 데이터의 삽입, 겹침 등의 편집, 비트 레이트 변환, 사이즈 변환 등의 지시가, 일반적으로 포함된다. 예를 들면, 「파일A(비트 레이트 500bps)의 동화상 데이터를 384bps의 동화상 데이터로 기록함」, 「파일A의 동화상 데이터 중, 개시로부터 10분-30분의 동안의 데이터를 1/3의 데이터량으로 기록함」과 같은 지시가 그것에 해당한다. 또한, 여기에서는, 부호화 비트 스트림에 대하여 편집의 지시를 유저로부터 접수하는 편집 접수 수단도, 이 조작 입력 수단(11)에 포함되는 것으로서 설명하고 있지만, 이것에 한정하는 것은 아니다.

또한, 이들 조작에 관한 정보가 복호 수단(12), 부호화 수단(14), 프레임 선택 수단(15)에 전송되는 것으로서, 여기에서는 설명하지만, 각 수단의 형태에 따라 서는 그에 한정되는 것은 아니고, 예를 들면, 간격 통지 수단(13)에도 전송되어도 되고, 프레임 선택 수단(15)에 전송하지 않고 복호가 개시되면 그 프레임을 복호 수단(12)으로부터 프레임 선택 수단(15)에 통지하도록 하여도 된다. 또한, 조작의 종류도 다양해서, 편집이나 각종 변환을 더불어서 실행시키는 조작에도 본 발명은 대응 가능하다. 또한, 조작의 방법에 대해서는, 유저가 재부호화 지시에 관한 조작을 가능하게 해 두면 되지만, 유저가 조작하기 쉬운 GUI(그래피컬 유저 인터페이스)을 내장하는 것이 바람직하다. 또한, 조작의 종류에 따라서 동화상 데이터의 각종 편집을 전술한 GUI 경유 등에 의해 실행하는 편집 수단을, 동화상 재부호화 장치(1)에 구비함으로써, 구간 편집이나 부가 데이터의 삽입, 겹침 등의 편집도 가능하게 된다. 실제로는, 편집 수단이, 편집 접수 수단에 의해 접수한 지시에 기초해서 동화상을 편집하고, 동화상 재부호화 장치(1)는, 이 편집 수단에 의한 동화상의 편집에 수반하여 편집 후의 동화상을 재부호화하면 된다. 또한, 본 발명에서는, 편집과 재부호화의 타이밍에 대해서는 특별히 묻지 않는다.

복호 수단(12)은, 동화상을 부호화한 비트 스트림(부호화 비디오 스트림이라고도 함)으로부터 동화상의 프레임을 복호한다. 여기에서는, 조작 입력 수단(11)에 의해 유저 입력된 재부호화 개시/종료 지시 혹은 복호개시/종료 지시에 기초하여, 지정된 비트 스트림의 복호를 개시/종료하는 것으로 하고, 그 기간에 복호 프레임을 생성하게 된다. 그 밖에, 전술한 비트 스트림 입력 수단에 의한 입력 제어로, 재부호화의 개시 및 종료를 제어하도록 하여도 된다.

단, 후술하는 바와 같이, 복호 수단(12)은, 그 프레임이 부호화 비디오 스트 림 상에서 I 프레임인지의 여부에 상관없이, 개시 지시가 있었던 비디오 프레임을 복호하고, 최초의 비디오 프레임을 복호한 후에는, 기본적으로, 간격 통지 수단(13)으로부터의 프레임 간격의 통지를 수신할 때까지 복호를 실행하지 않는 것으로 한다. 또한, 실제로는, 기록 매체로부터 혹은 네트워크를 통해서 대상으로 되는 동화상 데이터(동화상 비트 스트림)를 입력하는 비트 스트림 입력 수단이, 동화상 재부호화 장치(1)에 병설되어 있다.

프레임 선택 수단(15)은, 복호 수단(12)에 의해 복호된 프레임으로부터, 재부호화할 프레임을 선택한다. 또한, 프레임 선택 수단(15)은, 후술의 통지된 프레임 간격에 기초하는 시각이 경과할 때까지의 프레임 중, 최후의 프레임을 다음으로 재부호화할 프레임으로서 선택한다. 또한, 프레임 선택 수단(15)에서는, 복호수단(12)에 의해 최초로 복호된 프레임(개시 지시에 기초하는 프레임)은 무조건으로 선택하는 것으로 한다.

부호화 수단(14)은, 프레임 선택 수단(15)에 의해 선택된 프레임만을 재부호화한다. 여기에서, 부호화 수단(14)은, 조작 입력 수단(11)에 의해 입력된 조작의 내용에 기초하는 부호화 비트 레이트(혹은 부호화율)로 부호화를 실행하면 된다. 또한, 부호화 수단(14)은, 그 부호화의 실행 시에, 부호화 후의 임의의 디코더에 의한 복호가 가능하도록, 디코더의 비디오 메모리를 가상한 가상 버퍼가 오버플로우도 언더플로우도 하지 않도록 제어되어 있다. 이 가상 버퍼는, MPEG 방식에서는, 수신측(복호측)의 트랜스포트 스트림(TS) 버퍼의 용량을 초과하는 스트림이 발생하지 않도록 감시하기 위한 것으로, VBV(Video Buffering Verifier) 버퍼라 불리 고, 그 버퍼 상한값이 규격화되어 있다.

또한, 부호화 수단(14)은, 조작 입력 수단(11)에 의해 입력된 재부호화 종료의 지시(예약에서의 종료 지시도 포함함)에 기초하여 부호화를 종료하도록 구성해도 되고, 복호 수단(12)이, 이와 같은 종료 지시를 수신해서 복호를 정지하고 자동적으로 부호화 수단(14)의 부호화를 종료하도록 구성하여도 된다. 또한, 부호화 수단(14)은, 재부호화 대상의 프레임을, 프레임내 부호화하는 수단 및 프레임간 부호화하는 수단을 갖도록 하는 것이 바람직하다.

간격 통지 수단(13)은, 부호화 수단(14)에 의해 프레임을 재부호화한 후, 우선 그 프레임으로부터 다음으로 재부호화 대상으로 되는 프레임까지의 프레임 간격(프레임 인터벌)을 산출하고, 산출한 프레임 간격을 복호 수단(12)에 통지한다. 여기서 통지하는 프레임 간격은, 부호화 수단(14)에 의해 프레임을 재부호화한 때의 레이트 제어 정보에 기초하여 산출하는 것이 바람직하다. 이 레이트 제어 정보 에 대해서는 후술하지만, 특히 전술한 가상 버퍼가 넘치지 않도록 제어하기 위한 정보를 포함한다. 또한, 실제로는, 부호화 수단(14)에 의해 재부호화한 동화상 데이터를 기록 매체에 또는 네트워크를 통해서 다른 장치에 출력하는 비트 스트림 출력 수단이, 동화상 재부호화 장치(1)에 병설되어 있다. 또한 동화상 재부호화 장치(1)에, 전술한 조작 입력 수단(11), 편집 수단, 비트 스트림 입력 수단과 함께, 이 비트 스트림 출력 수단(바람직하게는 출력처의 기록 매체도 포함함)도 병설한 형태는, 동화상의 판독으로부터 편집·기록까지가 가능하므로, 동화상 편집 장치라고할 수 있다.

또한, 여기서, 프레임 간격(FrameInterval)에 대해서 보충한다. 통상적으로, 화상의 부호화의 규격에서는 단위 시간당의 처리량을 소정의 범위 내로 억제하기 위한 규정이 이루어져 있다. 예를 들면, MPEG-4의 규격에서는 MPEG-4의 각 레벨에 의해 가상적인 버퍼를 규정하고, 그 범위 내에서 데이터의 수신, 부호화를 행하는 것이 규정되어 있다(MPEG-4 visual Annex D). 그 때문에, 화상의 부호화를 행하는 코덱에서는, 규격으로 규정되어 있는 버퍼의 범위 내에 들어가도록 부호화할 필요가 있다. 이때, 제어에 이용되는 것이 부호화하는 프레임의 간격(FrameInterval)이다. 또한, 여기에서는, 프레임 인터벌에 대해서 기재하고 있지만, 인코더의 제어에 이용하는 파라미터는 프레임 인터벌 이외에도 QP값(양자화 파라미터) 등이 있다.

그리고, 복호 수단(12)은, 간격 통지 수단(13)에 의한 통지 후, 통지된 프레임 간격에 기초하는 시각이 경과할 때까지 부호화 비디오 스트림의 복호를 실행한다. 통지된 프레임 간격에 기초하는 시각이 경과할 때까지 복호한다는 것은, 장치(1) 내의 시계로 말하면 통지 시각에 프레임 간격을 더한 시각이 경과할 때까지 복호하는 것을 가리키고, 다시 말해서, 부호화 비디오 스트림에 MPEG 방식에 의한 DTS(Decoding Time Stamp) 등의 시각 정보가 헤더의 일 정보로서 부가되어 있는 경우에는, 최초로 복호 수단(12)에 의해 복호한 프레임이 가리키는 시각에 프레임 간격을 더한 시각의 프레임까지 복호하는 것을 가리킨다고도 할 수 있다. 또한, 복호 수단(12)은, 프레임이 부호화 비디오 스트림 상에서 I 프레임인지의 여부에 상관없이, 개시 지시가 있던 비디오 프레임을 복호하고(물론, 예를 들면 P 프레임이 었던 경우는 그 복호에 필요한 I 프레임도 미리 복호하게 됨), 기본적으로, 최초의 비디오 프레임을 복호한 후에는 간격 통지 수단(13)으로부터의 프레임 간격의 통지를 수신할 때까지 복호를 실행하지 않는 것으로 한다.

그러나, 조작 입력 수단(11)에 의해 입력된 조작에 관한 정보(조작의 종류나 부호화 비디오 스트림의 비트 레이트 등)에 기초하여, 미리 프레임 간격의 최소값을 예상하고, 우선, 그 예상한 프레임 간격의 최소값까지, 복호를 미리 실행하도록 하여도 된다. 이 예상은, 프레임 간격의 최소값의 예상을 산출하는 최소값 산출 수단을, 동화상 재부호화 장치(1)에 더 구비해 둠으로써 가능하게 된다. 그리고, 복호 수단(12)은, 간격 통지 수단(13)으로부터의 프레임 간격의 통지에 앞서, 최대, 최소값 산출 수단에 의해 산출한 프레임 간격의 최소값이 나타내는 시각에 이르기까지, 복호를 계속해 두면 된다. 이와 같은 형태에서는, 최소값이 나타내는 시각이, 간격 통지 수단(13)에 의해 통지되는 실제의 프레임 간격이 나타내는 시각을 지나치는 경우는 있을 수 없으므로, 최소값이 나타내는 시각까지, 복호 수단(12)의 복호 처리를 정지해야만 한다고 하는 시간의 손실이 없어진다.

다음으로, 레이트 제어 정보에 대해서 설명한다. 레이트 제어 정보란, 부호화 수단(14)에 의해 재부호화한 프레임의 화상 사이즈, 그 프레임의 재부호화 시의 부호량, 동화상 재부호화 장치(1)에서의 비트 레이트(즉 재부호화 비트 레이트), 및, 현재(재부호화 종료 시)의, 복호할 때의 비디오 메모리를 상정한 가상 버퍼의 점유량 중 어느 하나 또는 복수의 정보를 가리키고, 바람직하게는 이들 모두의 정보로 한다. 여기에서, 최초의 3개의 정보는, 원래 조작 입력 수단(11)에서의 유저 지시와 원래의 부호화 비트 스트림에 기초하는 설정 정보로서, 따라서, 전술한 최소값 산출 수단을 구비하는 형태에서는, 이들 설정 정보와 부호화 종료 시의 버퍼량의 예상값으로부터 최소값을 산출하도록 하면 된다.

전술한 본 발명에 따른 각 실시 형태에서는, 전술한 바와 같이 부호화 수단(14)(예를 들면 인코더)의 요구에 맞춰서 복호 수단(12)(예를 들면 디코더)을 동작시킴으로써, 기기의 처리 능력에 관계없이, 인코더의 요구에 최적인 파일을 작성할 수 있어서, 재현성이 있는 재부호화 처리가 가능하다. 또한, 인코더, 디코더를 제어할 때에 특수한 정보가 아니라, 종래부터 존재하는 정보를 이용하여, 복잡한 계산 없이 제어하는 것이 가능하기 때문에, 본 발명에 따른 방식을 도입함으로써 처리 부하가 증대하는 경우도 없다. 또한, 본 발명에 따르면, 부하가 가벼운 처리로 동화상의 편집·재부호화를 행하지만 간이한 처리에 관계없이 생성되는 부호는 규격에 적합한 것으로 되어 있다. 또한, 재부호화 처리는, DVD(digital versatile disc), HDD(Hard Disk Drive) 등의 각종 레코더 등 다양한 기기에서 행해지고 있는 처리이며, 본 발명은 이와 같은 레코더에도 적용하여도 바람직하게 기능한다.

도 2는, 본 발명에 따른 동화상 재부호화 장치에 적용 가능한 컴퓨터의 일 구성예를 도시하는 도면으로서, 도 3은, 도 1의 동화상 재부호화 장치에서의 재부호화 처리의 일례를 설명하기 위한 플로우도로서, 본 발명의 일 실시 형태에 따른 동화상 재부호화 프로그램의 처리 수순의 일례를 설명하기 위한 플로우도이기도 하다. 도 2에서, 참조 부호 2는 컴퓨터, 참조 부호 21은 CPU(Central Processing Unit), 참조 부호 22는 RAM(Random Access Memory), 참조 부호 23은 ROM(Read Only Memory), 참조 부호 24는 입력 장치, 참조 부호 25는 표시 장치, 참조 부호 26은 출력 장치이다.

전술한 바와 같은 구성의 동화상 재부호화 장치(1)에서의 처리 수순을 도 2의 컴퓨터(2)에서의 ROM(23)에 본 발명의 일 실시 형태에 따른 동화상 재부호화 프로그램을 실행 가능하게 내장한 예를 들고, 도 3을 참조하여 설명한다. 또한, 도 2의 컴퓨터(2)는, 본 발명에 따른 재부호화 처리의 기능을 내장한 레코더 등의 각종 기기에서의 제어부를 포함하는 주요부를 나타낼 뿐만 아니라, 범용의 퍼스널 컴퓨터(PC)를 나타내고 있다고도 할 수 있다.

컴퓨터(2)는, 각종 정보를 입력하기 위한 키보드, 마우스, 기록 매체 판독 장치, 다른 기기로부터의 입력용의 네트워크 기기 등의 입력 장치(24), 편집을 행하기 위한 동화상 데이터나 각종 설정 화면 등을 표시하기 위한 LCD, PDP, 유기 EL, CRT 등의 디스플레이인 표시 장치(25), 기록 매체용 기록 장치, 네트워크 접속 장치(네트워크에 접속해서 통신을 행하기 위한 네트워크 보드 등의 통신 기기), 인쇄 장치 등 외부 출력을 실행하기 위한 출력 장치(26), 또한, 기본 프로그램 외에 본 발명에 따른 동화상 재부호화 프로그램(또는 동화상 편집 프로그램)을 기록한 재기입 가능한 ROM(23)(일부 재기입 불능으로 해도 됨), ROM(23)에 저장된 프로그램을 실행하기 위한 CPU(21), 및 그 실행 영역으로서의 RAM(22)를, 그 주요한 구성 요소로 하고, 그들이 버스에 의해 접속되어 있는 것으로 하여 예시하고 있다.

이 동화상 재부호화 프로그램(또는 동화상 편집 프로그램)은, 전술하는 각 수단의 일부(또는 각 수단)로서 컴퓨터(2)를 기능시키도록, CPU(21) 등을 제어하는 프로그램이다. 또한, 이 프로그램에는, 장치 유저(재부호화를 실행하는 조작자)가 사용할 때에 용이하게 되도록, 표시 장치(25)용의 GUI를 구비하도록 하면 좋다. 그리고, 이들 장치에서 취급되는 정보는, 그 처리 시에 일시적으로 RAM(22)에 축적되고 그 후 각종 ROM(23)에 저장되고 필요에 따라 CPU(21)에 의해 읽어내어, 수정·기입이 행하여진다.

우선, 입력 장치(24)에 의해 대상으로 되는 부호화 비트 스트림 및, 편집 지시가 입력되면, 그 편집 지시에 기초하여, 복호 수단에 상당하는 복호 프로그램 비트 스트림으로부터 편집 선두의 비디오 프레임을 복호한다(스텝 S1). 그리고, 프레임 선택 수단에 상당하는 프레임 선택 프로그램이, 개시 지시에 기초하여 복호된 프레임을 재부호화할 프레임으로서 선택하고(스텝 S2), 부호화 수단에 상당하는 부호화 프로그램이, 선택된 프레임을 소정의 레이트로 가상 버퍼(예를 들면 VBV 버퍼)에 축적해 가고, 프레임 1매분이 축적된 단계에서 VBV 버퍼로부터 토출하여 부호화를 실행한다(스텝 S3). 스텝 S2에서는, 유저 지시에 기초하여, 복호 프로그램에 의해 복호한 프레임을, 부호화 프로그램에 전달하는 처리이어도 된다.

그리고, 간격 통지 수단에 상당하는 간격 통지 프로그램은, 부호화에 이용한 레이트 제어 정보에 의해 프레임 간격을 산출하고, 복호 프로그램에 그 프레임 간격을 통지한다(스텝 S4). 이 통지에 기초하여, 복호 프로그램은, 비트 스트림으로부터 프레임 간격이 나타내는 시각까지 비디오 스트림을 복호한다(스텝 S5). 다음으로, 프레임 선택 프로그램이, 복호한 프레임 중 최후의 프레임을, 재부호화할 프레임으로서 선택하고(스텝 S6), 부호화 프로그램이, 선택된 프레임을 부호화한다 (스텝 S7). 그리고, 유저 지시의 내용에 기초하여, 재부호화를 종료시킬 것인지의 여부를 판정하여(스텝 S8), 종료시키지 않는다면, 스텝 S4로 되돌아가서, 처리를 계속한다.

전술한 바와 같이, 본 발명에 따른 프로그램에 따르면, CPU의 차이나 다른 쓰레드가 기동하고 있는지의 여부의 CPU 점유율에는 의존하지 않고, 재현성이 있는 데이터를 생성할 수 있다. 또한, 알고리즘이 단순하기 때문에, 특히 복호 수단 및 부호화 수단 이외에는 모두 소프트웨어로 실장해도 고속으로 처리를 행할 수 있다. 또한, 가벼운 처리임에도 불구하고, 가상 버퍼가 넘치지 않도록 하는 처리이기 때문에, 규격에 준거한 비트 스트림을 생성할 수 있다.

또한, 도 2 및 도 3에서는, 모든 처리를 프로그램으로 실장한 예를 나타냈지만, 물론, 소프트웨어 처리에서는 부하가 큰 복호 처리 및 부호화 처리(복호 수단(12) 및 부호화 수단(14)에 상당하는 처리)만은, 하드웨어로 구성하는 것이 바람직하고, 예를 들면 디코더 및 인코더로 구성하거나, 또는 코덱으로 구성하여도 된다. 특히, 현상의 PC나 디코더 및 인코더의 처리 속도를 감안하면, 복호 수단 및 부호화 수단을 하드웨어(즉 디코더 및 인코더, 또는 코덱)로 구성하고, 그 밖의 수단을 그 하드웨어를 제어하기 위한 프로그램으로서 구성하는 것이 바람직하다. 이 경우의 동화상 재부호화 프로그램은, 디코더 및, 인코더, 또는 코덱을 구동시키고, 도 3에 따라 설명하면, 다음과 같은 처리를 실행시키는 프로그램으로 된다.

즉, 비트 스트림으로부터 선두의 비디오 프레임을 디코더(코덱의 디코드부, 이하 동일함)로 복호시킨다(스텝 S1). 그리고, 프레임 선택 프로그램이, 개시 지 시에 기초하여 복호된 프레임을 재부호화할 프레임으로서 선택하고(스텝 S2), 인코더(CODEC의 인코드부, 이하 동일함)에 전달한다. 인코더는, 선택된 프레임을 소정의 레이트로 가상 버퍼(예를 들면 VBV 버퍼)에 축적해 가고, 프레임 1매분이 축적된 단계에서 VBV 버퍼로부터 토출하여 부호화를 실행한다(스텝 S3). 스텝 S2에서는, 유저 지시에 기초하여 디코더에 의해 복호한 프레임을, 인코더에 전달하는 처리이어도 된다.

그리고, 간격 통지 프로그램은, 부호화에 이용한 레이트 제어 정보에 의해 프레임 간격을 산출하고, 디코더에 그 프레임 간격을 통지한다(스텝 S4). 이 통지와 함께, 디코더에, 비트 스트림으로부터 프레임 간격이 나타내는 시각까지 비디오 스트림을 복호하도록 지시한다. 그리고, 디코더는, 이 통지에 기초하여, 비트 스트림으로부터 프레임 간격이 나타내는 시각까지 비디오 스트림을 복호한다(스텝 S5). 다음으로, 프레임 선택 프로그램이, 복호한 프레임 중 최후의 프레임을, 재부호화할 프레임으로서 선택하고(스텝 S6), 인코더에 전달한다. 인코더는, 선택된 프레임을 부호화한다(스텝 S7). 그리고, 유저 지시의 내용에 기초하여, 재부호화를 종료시킬 것인지의 여부를 판정하고(스텝 S8), 종료시키지 않는다면, 스텝 S4로 되돌아가서, 처리를 계속한다.

다음으로, 도 4 내지 도 7을 참조하여, 본 발명에 따른 동화상 재부호화 장치의 일 구성예를 보다 구체적으로 설명한다. 도 4는, 본 발명에 따른 동화상 재부호화 장치를 구비한 동화상 편집 장치의 일 구성예로서, 도면에서, 참조 부호 4는 동화상 편집 장치이다. 또한, 도 5는, 도 4의 동화상 편집 장치에서의 재부호 화 처리를 설명하기 위한 도면이고, 도 6은, 도 5의 재부호화 처리에 있어서의 프레임 간격 결정 처리를 설명하기 위한 도면이고, 도 7은 도 6의 프레임 간격 결정 처리에서의 제어를 VBV 버퍼의 점유량과 함께 설명하기 위한 도면이다.

여기서 예시하는 동화상 편집 장치(4)는, 표시부(40), 화상 프레임 기억부(41), 부호/복호 동작 제어부(42), 복호 수단에 상당하는 복호부(43), 부호화 수단에 상당하는 부호화부(44), 다중·분리부(45), 입력부(46), 출력부(47), 기억부A(48), 및 기억부B(49)로 구성된다.

여기에서, 복호부(43)는 복호 수단에 상당하고, 부호화부(44)는 부호화 수단에 상당한다. 또한, 다중·분리부(45)는, 영상(동화상) 데이터와 음성 데이터를 다중화하는 처리와 다중화된 그들 데이터를 반대로 분리하는 처리를 실행하고, 출력부(47)와 후자의 처리부로 전술한 비트 스트림 출력 수단을 구성하고, 입력부(46)와 전자의 처리부로 전술한 비트 스트림 입력 수단을 구성한다. 또한, 표시부(40)는, 복호부(43)에 의해 복호한 화상 데이터를 유저에 표시하기 위한 디스플레이 등으로서, 프레임 메모리 등으로 구성되는 화상 프레임 기억부(41)는, 표시부(40)에 표시하는 화상을 일시적으로 기억함과 함께, 복호부(43)로부터 부호화부(44)에 화상 데이터를 전달하기 위한 일시 기억도 행한다.

그리고, 복호부(43) 및 부호화부(44)는, 부호/복호 동작 제어부(42)에 의해 제어된다. 이 제어부(42)는, 주로, 전술한 프레임 선택 수단 및 간격 통지 수단(및 최소값 산출 수단)을 구성하고 있다고 할 수 있다. 또한, 부호/복호 동작 제어부(42)는, 기억부A(48)에 기억되어 있는 부호화 비트 스트림의 입력 제어를, 복 호부(43)에서의 복호 지시를 제어함으로써도 실현할 수 있지만, 입력부(46)를 제어함으로써도 실현할 수 있다. 또한, 기억부B(49)는, 재부호화된 비트 스트림을 기억하는 부분으로, 기억 매체 및 그 구동 장치로서는 기억부A(48)와 동일한 기억 매체 및 그 구동 장치로 구성해도 아무런 문제는 없다. 또한, 전술한 조작 입력 수단, 편집 접수 수단, 및 편집 수단에 대해서는 생략하고 있지만, 표시부(40)에 의해 대상의 동화상 데이터 및 편집이나 변환 아이템을 표시하면서, 유저 입력을 부호/복호 동작 제어부(42)에 입력함으로써 실현할 수 있다.

동화상 편집 장치(4)는, 전술한 바와 같은 구성에 의해, 부호/복호 동작 제어부(42)를 제어하고, 다음 (i)-(xi)로 이어지는 처리를 실행시킨다. 우선, (i) MPEG-4 등으로 부호화된 비트 스트림 (51)의 선두 프레임(편집된 경우에는 그 선두 프레임)(52a)을 복호한다. 또한, 편집은, 복호하면서 복호한 프레임에 대하여 실행하여도 된다. 다음으로, (ii) 복호한 프레임으로부터 재부호화할 프레임을 선택한다. 여기에서, 선두 프레임(52a)은 반드시 선택하게 된다. 다음으로, (iii)에서는, (ii)에서 선택된 프레임 (53a)(52a)을 부호화한다. 여기에서는, 인코더(54)가 그 부호화 처리를 실행한다(iV). 그리고, (v) 프레임 간격 T_F1을 산출해서 복호부(43)에 통지한다. 다음으로, (vi) 디코더가 그 간격 T_F1 후까지 비디오 프레임(프레임(52b, 52c, 52d, 52e))을 복호한다. 그리고, (vii) 프레임 간격의 시각의 프레임(52e)을 선택하고, (viii) 선택된 프레임 (53b)(52e)을 부호화한다. 여기에서는, 인코더(54)가 그 부호화 처리를 실행하지만(ix), 먼저 부호화된 데이터를 가 미하고, 프레임간 부호화를 행하면 된다. 그리고, (x) (v)와 동일하게 프레임 간격 T_F2를 산출해서 복호부(43)에 통지한다. 다음으로, (xi) 디코더가 그 간격 T_F2 후까지 비디오 프레임(프레임(52f, 52g, 52h, 52i))을 복호한다. 그리고, 최후의 프레임(53c)(52i)을 선택하고, 부호화한다. 이와 같은 처리를 재부호화가 필요 없어질 때까지 계속한다.

다음으로, 프레임 간격(프레임 인터벌)의 산출(추정)에 대해서 설명한다. 도 6에 도시한 바와 같이, 재부호화하는 프레임(53a)의 부호화 데이터를 인코더(54)에 의해 인코드한 조건, 즉 인코더(54)의 그때의 레이트 제어 정보에 기초하여, 다음으로 인코드하는 프레임까지의 요구 프레임 간격을 되돌린다. 이 요구 프레임 간격을 바탕으로 계산한 시각 이내의 프레임까지의 오리지널의 비디오 비트 스트림을 디코더로 디코드한다 그리고 인코더(54)는, 요구 프레임 간격을 더한 시간에서 디코드되어 있는 프레임을 인코드하게 된다.

프레임 간격을 추정하는 요소(레이트 제어 정보)로서는, 주로, 화상 사이즈, 비트 레이트, 현재의 VBV 버퍼의 점유량, 및 1프레임 부호화 시의 부호량을 들 수 있다. 도 7에 VBV 버퍼의 점유량의 예를 도시하고 있고, 도면에서, 종축은 버퍼 점유량, 횡축은 시간 경과, 점선은 예측값을, 실선은 실제의 값을 각각 나타내고 있다. 또한, 도 7에서는, B를 규격상의 버퍼 상한값, 1프레임의 부호량을 d, 프레임 인터벌 값을 T, 목표로 하는 프레임 인터벌 값을 T_n, T_L로 나타내고, 그래프의 기울기는, 비트 레이트를 나타낸다. 또한, 프레임을 가능한 한 많이 부호화하기 위해서는, 이 버퍼 상한값B에 대하여 조금 작게 상한값을 설정하면 되고, 이 경우, 1프레임 당의 데이터를 작게 할당하게 된다. 반대로, 깔끔하게 부호화하기 위해서는, 이 버퍼 상한값B에 대하여 가능한 한 크게 상한값을 설정(즉 B로 설정)하면 되고, 이 경우, 1프레임 당의 데이터를 크게 할당하게 된다. 도 7에 기초하여, 구체적인 제어의 예를 설명한다.

범위A에서는, 우선, 녹화 개시와 동시에 인코더가 취득하는 데이터량은 늘어간다. 그리고, 프레임 인터벌이 경과한 시점에서 1매째의 데이터를 부호화한다(d₁). 그리고, 데이터 취득이 계속되어 가고, 목표로 하는 프레임 간격 T_n에서 2매째의 데이터를 부호화한다(d₂). 2매째의 부호화를 행한 시점에서, 다음으로 T_n의 간격에서 부호화(d₃)를 행한 경우, VBV 버퍼를 언더플로우하게 되는 것을 예상할 수 있다. 따라서, 다음으로 부호화하는 프레임 간격을 넓혀서, T_L로 변경하여, VBV 버퍼의 언더플로우를 방지한다.

또한, 범위B에서는, 범위A에서의 제어에 의해 프레임 인터벌이 T_L인 상태에서 녹화를 계속한다. d₄의 부호화 시점에서, 현상의 프레임 인터벌 T_L로 다음 프레임을 부호화하면 VBV 버퍼를 오버플로우하는 것을 예상할 수 있다. 따라서, 다음 프레임 인터벌을 짧게(목표 프레임 레이트에 가깝게)하여, VBV 버퍼의 오버플로우를 방지한다.

구체적인 제어는, 움직임이 심한 영상을 부호화하여 1매의 데이터량이 많아, VBV 버퍼를 언더플로우하게(범위A) 되었을 때에, 프레임 인터벌을 크게 하는 것이나, 그 후, 영상이 안정되고, 1매의 부호량이 적어져 VBV 버퍼를 오버플로우하게(범위B) 되었을 때, 프레임 인터벌을 작게 하는 것 등을 들 수 있다. 그리고, 이들을 반복함으로써 VBV 버퍼 내에 데이터가 들어가도록 제어하면 된다. 이와 같이, 본 발명에 의해 재부호화된 프레임의 간격은, 규격에 합치하는 재부호화를 행하기 때문에, 당연히 반드시 일정한 것은 아니고, 따라서, 디코더 측에 통지하는 프레임 간격도 일정하지는 않다.

전술한 바와 같이, 본 발명에 따른 재부호화의 구조에서는, 인코더와 디코더는 실시간으로는 동작하지 않는다. 디코드는 대응하는 시간 내의 모든 프레임에 대하여 행하고, 인코더는 오리지널 비디오 스트림과 독립해서 파라미터를 설정한다.

Claims

동화상을 부호화한 비트 스트림으로부터 동화상의 프레임을 복호하는 복호부와,

상기 복호부에 의해 복호된 프레임으로부터, 재부호화할 프레임을 선택하는 프레임 선택부와,

상기 프레임 선택부에 의해 선택된 프레임만을 재부호화하는 부호화부와,

상기 부호화부에 의해 프레임을 재부호화한 후, 그 프레임으로부터 다음으로 재부호화 대상으로 되는 프레임까지의 프레임 간격을 산출하고, 그 산출한 프레임 간격을 상기 복호부에 통지하는 간격 통지부

를 구비하고,

상기 복호부는, 상기 간격 통지부에 의한 통지 후, 그 통지된 프레임 간격에 기초하는 시각이 경과할 때까지 상기 비트 스트림의 복호를 실행하고,

상기 프레임 선택부는, 상기 시각이 경과할 때까지의 프레임 중 최후의 프레임을, 다음으로 재부호화할 프레임으로서 선택하는 것을 특징으로 하는 동화상 재부호화 장치.
제1항에 있어서,

상기 간격 통지부는, 상기 부호화부에 의해 프레임을 재부호화한 때의 레이트 제어 정보에 기초하여, 상기 프레임 간격을 산출하는 부분을 갖는 것을 특징으로 하는 동화상 재부호화 장치.
제2항에 있어서,

상기 레이트 제어 정보는, 상기 부호화부에 의해 재부호화한 프레임의 화상 사이즈, 그 프레임의 재부호화 시의 부호량, 상기 부호화부에서의 부호화 비트 레이트, 및, 상기 부호화부에 의한 재부호화 종료 시에서의, 복호할 때의 비디오 메모리를 가상한 가상 버퍼의 점유량 중 어느 하나 또는 복수의 정보인 것을 특징으로 하는 동화상 재부호화 장치.
제1항에 있어서,

재부호화 대상으로 되는 비트 스트림의 지정과, 동화상 재부호화 지시를 포함하는 조작을 접수하는 조작 입력부를 더 구비하고,

상기 부호화부는, 상기 조작 입력부에 의해 입력된 조작에 기초하는 부호화 비트 레이트로 부호화를 실행하는 것을 특징으로 하는 동화상 재부호화 장치.
제4항에 있어서,

상기 조작 입력부에 의해 입력된 조작에 관한 정보에 기초하여, 미리 상기 프레임 간격의 최소값을 예상하는 최소값 산출부를 더 구비하고, 상기 복호부는, 상기 간격 통지부로부터의 프레임 간격의 통지에 앞서, 상기 최소값 산출부에 의해 산출한 프레임 간격의 최소값이 나타내는 시각에 이르기까지, 복호를 계속해 두는 것을 특징으로 하는 동화상 재부호화 장치.
제1항에 있어서,

상기 부호화부는, 재부호화 대상의 프레임을, 프레임내 부호화하는 부분 및 재부호화하는 대상의 프레임을 프레임간 부호화하는 부분을 갖는 것을 특징으로 하는 동화상 재부호화 장치.
제1항 내지 제6항 중 어느 한 항의 동화상 재부호화 장치를 구비한 동화상 편집 장치로서,

상기 비트 스트림에 대하여, 편집의 지시를 유저로부터 접수하는 편집 접수부와,

상기 편집 접수부에 의해 접수한 지시에 기초하여 동화상을 편집하는 편집부

를 구비하고,

상기 동화상 재부호화 장치는, 상기 편집부에 의한 동화상의 편집에 수반하여 편집 후의 동화상을 재부호화하는 것을 특징으로 하는 동화상 편집 장치.
동화상을 부호화한 비트 스트림으로부터 동화상의 프레임을 복호하는 복호부와, 그 복호부에 의해 복호한 프레임을 재부호화하는 부호화부를 구비한 동화상 재부호화 장치를 위한 방법으로서,

상기 복호부에 의해 복호된 프레임으로부터, 재부호화할 프레임을 선택하는 프레임 선택 스텝과,

상기 프레임 선택 스텝에서 선택된 프레임만을 상기 부호화부에 의해 부호화시키는 부호화 지시 스텝과,

상기 부호화부에 의해 프레임이 재부호화된 후, 그 프레임으로부터 다음으로 재부호화 대상으로 되는 프레임까지의 프레임 간격을 산출하고, 그 산출한 프레임 간격을 상기 복호부에 통지하는 간격 통지 스텝과,

상기 간격 통지 스텝에 의한 통지 후, 그 통지된 프레임 간격에 기초하는 시각이 경과할 때까지 상기 비트 스트림의 복호를 실행하도록 상기 복호부에 지시하는 복호 지시 스텝을 포함하고,

상기 프레임 선택 스텝은, 상기 시각이 경과할 때까지의 프레임 중 최후의 프레임을, 다음으로 재부호화할 프레임으로서 선택하는 스텝을 갖는 것을 특징으로 하는 동화상 재부호화 장치를 위한 방법.
제8항에 있어서,

상기 간격 통지 스텝은, 상기 부호화부에 의해 프레임을 재부호화한 때의 레이트 제어 정보에 기초하여, 상기 프레임 간격을 산출하는 스텝을 갖는 것을 특징으로 하는 방법.
제9항에 있어서,

상기 레이트 제어 정보는, 상기 부호화부에 의해 재부호화한 프레임의 화상 사이즈, 그 프레임의 재부호화 시의 부호량, 상기 부호화부에서의 부호화 비트 레이트, 및, 상기 부호화부에 의한 재부호화 종료 시에서의, 복호할 때의 비디오 메모리를 가상한 가상 버퍼의 점유량 중 어느 하나 또는 복수의 정보인 것을 특징으로 하는 방법.
제8항에 있어서,

재부호화 대상으로 되는 비트 스트림의 지정과, 동화상 재부호화 지시를 포함하는 조작을 접수하는 조작 입력 스텝을 더 포함하고,

상기 부호화 지시 스텝은, 상기 부호화부에, 상기 조작 입력 스텝에서 입력된 조작에 기초하는 부호화 비트 레이트로 부호화를 실행하도록 지시하는 것을 특징으로 하는 방법.
제11항에 있어서,

상기 조작 입력 스텝에 의해 입력된 조작에 관한 정보에 기초하여, 미리 상기 프레임 간격의 최소값을 예상하는 최소값 산출 스텝을 더 포함하고,

상기 복호 지시 스텝은, 상기 복호부에, 상기 간격 통지 스텝에 의한 프레임 간격의 통지에 앞서, 상기 최소값 산출 스텝에서 산출한 프레임 간격의 최소값이 나타내는 시각에 이르기까지, 복호를 계속하도록 지시하는 것을 특징으로 하는 방법.
제8항에 있어서,

상기 부호화부는, 재부호화 대상의 프레임을, 프레임내 부호화하는 부분 및 재부호화하는 대상의 프레임을 프레임간 부호화하는 부분을 갖는 것을 특징으로 하는 방법.
제8항에 있어서,

상기 비트 스트림에 대하여, 편집의 지시를 유저로부터 접수하는 편집 접수 스텝과,

상기 편집 접수 스텝에서 접수한 지시에 기초하여 동화상을 편집하는 편집 스텝과,

상기 편집 스텝에서의 동화상의 편집에 수반하여 편집 후의 동화상을 재부호화하도록 상기 복호부 및 부호화부를 제어하는 스텝을 포함하는 것을 특징으로 하는 방법.
동화상을 부호화한 비트 스트림으로부터 상기 동화상의 프레임을 복호하는 복호 스텝과,

상기 복호 스텝에 의해 복호된 상기 프레임으로부터, 재부호화할 프레임을 선택하는 프레임 선택 스텝과,

상기 프레임 선택 스텝에 의해 선택된 상기 프레임만을 재부호화하는 부호화 스텝과,

상기 부호화 스텝에 의해 프레임을 재부호화한 후, 그 프레임으로부터 다음으로 재부호화 대상으로 되는 프레임까지의 프레임 간격을 산출하고, 그 산출한 프레임 간격을 상기 복호 스텝에 통지하는 간격 통지 스텝을 포함하고,

상기 복호 스텝은 상기 간격 통지 스텝에 의한 통지 후, 그 통지된 프레임 간격에 기초하는 시각이 경과할 때까지 상기 비트 스트림의 복호를 실행하고,

상기 프레임 선택 스텝은, 상기 시각이 경과할 때까지의 프레임 중 최후의 프레임을, 다음으로 재부호화할 프레임으로서 선택하는 것을 특징으로 하는 동화상 재부호화 방법.
제15항의 동화상 재부호화 방법을 포함한 동화상 편집 방법으로서,

상기 비트 스트림에 대하여, 편집의 지시를 유저로부터 접수하는 편집 접수 스텝과,

상기 편집 접수 스텝에서 접수한 상기 지시에 기초하여 동화상을 편집하는 편집 스텝을 포함하고,

상기 동화상 재부호화 방법은, 상기 편집 스텝에서의 상기 동화상의 편집에 수반하여 편집 후의 동화상을 재부호화하는 것을 특징으로 하는 동화상 편집 방법.