KR20050042745A

KR20050042745A - 콘텐츠 편집 장치

Info

Publication number: KR20050042745A
Application number: KR1020047007616A
Authority: KR
Inventors: 준야 가꾸
Original assignee: 산요덴키가부시키가이샤
Priority date: 2002-09-19
Filing date: 2003-09-03
Publication date: 2005-05-10
Also published as: AU2003261919A1; JP3973522B2; US20060013561A1; KR100581322B1; EP1542461A1; WO2004028154A1; EP1542461A4; JP2004112369A; CN1330175C; CN1606870A; DE60336663D1; US7509019B2; EP1542461B1

Abstract

콘텐츠 편집 장치(10)는 CPU(12)를 포함한다. 무비 파일1을 형성하는 JPEG 데이터 및 음성 데이터와 무비 파일2를 형성하는 JPEG 데이터 및 음성 데이터를 결합할 때, CPU(12)는 결합 음성 데이터의 재생 주파수를 무비 파일1의 음성 데이터의 샘플링 주파수와 무비 파일2의 음성 데이터의 샘플링 주파수에 기초하여 산출한다. 산출된 샘플링 주파수는, 결합 JPEG 데이터 및 결합 음성 데이터의 재생을 동시에 완료시킬 수 있는 주파수이다. 이 샘플링 주파수는, 결합 파일에 기입된다.

Description

콘텐츠 편집 장치{CONTENT EDITING DEVICE}

본 발명은, 콘텐츠 결합 장치에 관한 것으로, 특히 예를 들면, 디지털 비디오 카메라나 TV 프로그램을 녹화하는 하드디스크 비디오 레코더에 적용되어, 기록 완료한 제1 콘텐츠를 형성하는 제1 동화상 신호 및 제1 음성 신호와 기록 완료한 제2 콘텐츠를 형성하는 제2 동화상 신호 및 제2 음성 신호를 각각 결합하여 결합 콘텐츠를 생성하는, 콘텐츠 편집 장치에 관한 것이다.

<종래기술>

종래의 이 종류의 콘텐츠 편집 장치의 일례가, 2000년 7월 28일자로 출원 공개된 일본 특개2000-207875호 공보에 개시되어 있다. 이 종래 기술에 따르면, 조인트 모드가 선택되면, 한쪽 파일의 동화상 신호 및 음성 신호가 내부 메모리를 경유하여 소정량씩 다른 쪽의 파일로 전송된다. 이에 의해, 다른 쪽의 파일에 포함되는 동화상 신호 및 음성 신호의 말미에 한쪽의 파일로부터 전송된 동화상 신호 및 음성 신호가 각각 접속된다. 즉, 2개의 파일을 결합한 결합 파일이 생성된다.

그러나, 결합 전의 2개의 파일 사이에서 음성 신호의 샘플링 주파수에 편차가 있는 경우에, 결합 파일의 음성 신호를 한쪽의 샘플링 주파수에 따라 재생하면, 동화상 신호 및 음성 신호의 재생을 동시에 종료할 수 없다. 예를 들면, 한쪽의 파일에 포함되는 음성 신호의 샘플링 주파수가 7980㎐이고, 다른 쪽의 파일에 포함되는 음성 신호의 샘플링 주파수가 8040㎐인 경우에, 결합 파일의 음성 신호를 8040㎐에서 재생하면, 음성 신호의 재생이 동화상 신호보다도 빠르게 종료한다.

<발명의 개시>

그 때문에, 본 발명의 주된 목적은, 결합 동화상 신호 및 결합 음성 신호의 재생을 동시에 완료시킬 수 있는, 콘텐츠 편집 장치를 제공하는 것이다.

본 발명에 따르면, 제1 콘텐츠를 형성하는 제1 동화상 신호 및 제1 음성 신호와 제2 콘텐츠를 형성하는 제2 동화상 신호 및 제2 음성 신호를 각각 결합하여 결합 콘텐츠를 생성하는 콘텐츠 편집 장치는, 결합 콘텐츠를 형성하는 결합 동화상 신호 및 결합 음성 신호의 재생 시간이 상호 일치하는 결합 음성 신호의 최적 재생 주파수를 산출하는 최적 재생 주파수 산출 수단, 및 최적 재생 주파수를 결합 콘텐츠에 할당하는 주파수 할당 수단을 구비한다.

결합 콘텐츠는, 기록 완료한 제1 콘텐츠를 형성하는 제1 동화상 신호 및 제1 음성 신호와 기록 완료한 제2 콘텐츠를 형성하는 제2 동화상 신호 및 제2 음성 신호를 각각 결합하여 생성된다. 최적 재생 주파수 산출 수단은, 결합 콘텐츠를 형성하는 결합 동화상 신호 및 결합 음성 신호의 재생 시간이 상호 일치하는 결합 음성 신호의 최적 재생 주파수를 산출하고, 주파수 할당 수단은, 산출된 최적 재생 주파수를 결합 콘텐츠에 할당한다. 결합 콘텐츠에 할당된 최적 재생 주파수에 따라 결합 음성 신호를 재생하면, 결합 동화상 신호 및 결합 음성 신호의 재생이 동시에 완료한다.

최적 재생 주파수 산출 수단은, 제1 음성 신호 및 제2 음성 신호의 합계 사이즈와 제1 동화상 신호 및 제2 동화상 신호의 합계 기록 시간에 기초하여 최적 재생 주파수를 산출하는 것이 바람직하다.

제1 음성 신호의 제1 재생 주파수가 제1 재생 주파수 검출 수단에 의해서 검출되고, 최적 재생 주파수와 제1 재생 주파수와의 편차량에 상관하는 제1 상관값이 제1 상관값 산출 수단에 의해 산출되는 것이 바람직하다. 이 때, 제1 동화상 신호의 화면 수는, 제1 상관값에 기초하여 제1 화면 수 조정 수단에 의해 조정된다. 제1 재생 주파수와 최적 재생 주파수와의 편차가 크면, 동화상 재생 및 음성 재생을 동시에 종료할 수 있어도, 재생 도중에 동화상과 음성과의 동기를 확보할 수 없다. 편차량이 상관하는 제1 상관값에 기초하여 제1 동화상 신호의 화면 수를 조정함으로써, 제1 동화상 신호에 기초하는 재생 동화상과 재생 음성과의 사이에서 동기를 확보할 수 있다.

제1 조정 수단의 조정에서는, 증가 수단에 의해 제1 동화상 신호의 화면 수가 증가되고, 감소 수단에 의해 제1 동화상 신호의 화면 수가 감소되는 것이 바람직하다. 능동화 수단은, 제1 상관값에 따르는 타이밍에서 증가 수단 및 감소 수단 중 어느 한쪽을 능동화한다. 예를 들면, 능동화 수단은, 제1 상관값이 제1 극성을 나타낼 때 증가 수단을 능동화하고, 제1 상관값이 제2 극성을 나타낼 때 감소 수단을 능동화한다.

제1 동화상 신호를 형성하는 복수 화면의 정지 화상 신호는, 메모리에 일시적으로 저장되어, 처리 순서 정보에 따르는 순서로 판독되는 것이 더 바람직하다. 이 때, 증가 수단은 특정 화면의 정지 화상 신호가 중복하도록 처리 순서 정보를 작성하고, 감소 수단은 특정 화면의 정지 화상 신호가 누락하도록 처리 순서 정보를 작성한다. 이 결과, 결합 콘텐츠 내에서, 정지 화상 신호의 중복/누락이 발생한다.

제1 동화상 신호를 형성하는 정지 화상 신호의 인덱스 정보를 정보 할당 수단에 의해 결합 콘텐츠에 할당하는 경우, 증가 수단은 특정 화면의 정지 화상 신호의 인덱스 정보에 보간을 실시하고, 감소 수단은 특정 화면의 정지 화상 신호의 인덱스 정보에 추출을 실시하는 것이 바람직하다. 인덱스 정보를 참조하여 동화상 재생을 행하면, 재생 동화상을 형성하는 화면에 중복/누락이 발생한다.

본 발명의 상술한 목적, 그 밖의 목적, 특징 및 이점은, 도면을 참조하여 행하는 이하의 실시예의 상세한 설명으로부터 한층 분명하게 한다.

도 1은 본 발명의 제1 실시예를 도시하는 블록도.

도 2는 무비 파일의 구조의 일례를 도시하는 도해도.

도 3은 SDRAM의 맵핑 상태의 일례를 도시하는 도해도.

도 4는 액세스 정보 테이블의 구성의 일례를 도시하는 도해도.

도 5A는 인덱스 정보의 작성 처리의 일부를 도시하는 도해도.

도 5B는 인덱스 정보의 작성 처리의 다른 일부를 도시하는 도해도.

도 5C는 인덱스 정보의 작성 처리의 그 밖의 일부를 도시하는 도해도.

도 6A는 액세스 정보 테이블의 작성 처리의 일부를 도시하는 도해도.

도 6B는 액세스 정보 테이블의 작성 처리의 다른 일부를 도시하는 도해도.

도 6C는 액세스 정보 테이블의 작성 처리의 그 밖의 일부를 도시하는 도해도.

도 7A는 인덱스 정보의 작성 처리의 일부를 도시하는 도해도.

도 7B는 인덱스 정보의 작성 처리의 다른 일부를 도시하는 도해도.

도 7C는 인덱스 정보의 작성 처리의 그 밖의 일부를 도시하는 도해도.

도 8A는 액세스 정보 테이블의 작성 처리의 일부를 도시하는 도해도.

도 8B는 액세스 정보 테이블의 작성 처리의 다른 일부를 도시하는 도해도.

도 8C는 액세스 정보 테이블의 작성 처리의 그 밖의 일부를 도시하는 도해도.

도 9는 파일 결합을 행할 때의 CPU의 동작의 일부를 도시하는 흐름도.

도 10은 파일 결합을 행할 때의 CPU의 동작의 다른 일부를 도시하는 흐름도.

도 11은 파일 결합을 행할 때의 CPU의 동작의 그 밖의 일부를 도시하는 흐름도.

도 12는 파일 결합을 행할 때의 CPU의 동작의 그 밖의 일부를 도시하는 흐름도.

도 13은 파일 결합을 행할 때의 CPU의 동작의 다른 일부를 도시하는 흐름도.

도 14는 파일 결합을 행할 때의 CPU의 동작의 그 밖의 일부를 도시하는 흐름도.

도 15는 파일 결합을 행할 때의 CPU의 동작의 그 밖의 일부를 도시하는 흐름도.

도 16은 파일 결합을 행할 때의 CPU의 동작의 다른 일부를 도시하는 흐름도.

도 17은 파일 재생을 행할 때의 CPU의 동작의 일부를 도시하는 흐름도.

<발명을 실시하기 위한 최량의 형태>

도 1을 참조하면, 이 실시예의 콘텐츠 편집 장치(디지털 비디오 카메라 : 10)는, CPU(12)를 포함한다. 메뉴 키(16)에 의해 파일 결합 모드가 선택되면, 기록 매체(22)에 기록된 2개의 무비 파일을 결합하는 파일 결합 처리가, CPU(12)에 의해 실행된다. 파일 결합 처리에서는, 원하는 2개의 무비 파일로부터 JPEG 데이터 및 음성 데이터가 판독되고, 판독된 JPEG 데이터 및 음성 데이터는, I/F 회로(18) 및 메모리 제어 회로(26)를 통해 SDRAM(28)에 전송된다. SDRAM(28)에 저장된 JPEG 데이터 및 음성 데이터는 그 후, 메모리 제어 회로(26) 및 I/F 회로(18)를 통해 기록 매체(22)에 복귀되어, 신규로 작성된 무비 파일 즉 결합 파일에 기입된다.

또, 기록 매체(22)는 착탈 가능하며, 슬롯(20)에 장착되었을 때에 I/F 회로(18)를 통한 액세스가 가능하게 된다.

무비 파일은, QuickTime 포맷에 따라 도 2에 도시한 바와 같이 구성된다. 즉, 파일의 선두에 무비 파일 헤더가 배치되고, 무비 파일 헤더 이후에 음성 청크 및 화상 청크가 교대로 배치되고, 그리고 파일 말미에 인덱스 청크가 배치된다. 각각의 음성 청크는 3 프레임 상당의 음성 데이터에 의해 형성되고, 각각의 화상 청크는 3 프레임의 JPEG 데이터에 의해 형성된다. 따라서, 음성 청크와 그것에 계속되는 화상 청크가, 상호 관련된다. 도 2에서 각 프레임의 JPEG 데이터에 첨부된 번호 0, 1, 2, …n은 프레임 번호이고, 도 2에 따르면, n+1 프레임의 JPEG 데이터가 무비 파일에 저장된다.

인덱스 청크에는, 음성 데이터의 인덱스 정보 및 JPEG 데이터의 인덱스 정보가 기입된다. 음성 데이터의 인덱스 정보는, 무비 파일의 선두로부터 각각의 음성 청크까지의 거리로 표시되는 위치 정보와 각각의 음성 청크의 사이즈 정보로 이루어지고, JPEG 데이터의 인덱스 정보는, 무비 파일의 선두로부터 각 프레임의 JPEG 데이터까지의 거리로 표시되는 위치 정보와 각 프레임의 JPEG 데이터의 사이즈 정보로 이루어진다. 즉, 음성 데이터는 1 청크마다 관리되고, JPEG 데이터는 1 프레임마다 관리된다. 인덱스 청크에는 또, 무비 파일에 저장된 JPEG 데이터의 프레임 레이트값 및 토탈 프레임 수, 및 무비 파일에 저장된 음성 데이터의 샘플링 주파수가 제어 정보로서 기입된다.

각각의 음성 청크의 사이즈는, 무비 파일 헤더를 작성한 디지털 비디오 카메라의 성능에 따라 서로 다르다. 예를 들면, 디지털 카메라에 설치된 이미지 센서의 프레임 레이트가 30fps이고, 음성 처리 회로의 샘플링 주파수가 7980㎐이면, 1초(=30 프레임)에 상당하는 음성 데이터의 사이즈는 7980바이트가 되고, 음성 청크의 사이즈는 798바이트가 된다. 별도의 디지털 비디오 카메라에 설치된 이미지 센서의 프레임 레이트가 30fps이고, 음성 처리 회로의 샘플링 주파수가 8040㎐이면, 1초(=30 프레임)에 상당하는 음성 데이터의 사이즈는 8040바이트가 되고, 음성 청크의 사이즈는 804 바이트가 된다. 기록 매체(22)는 착탈 가능하기 때문에, 기록 매체(22)에 기록된 복수의 무비 파일에 주목하면, 음성 청크의 사이즈는 서로 다를 가능성이 있다.

파일 결합 처리에서는, 우선 결합하려는 2개의 무비 파일1 및 2로부터 제어 정보 즉 JPEG 데이터의 프레임 레이트 및 토탈 프레임 수와 음성 데이터의 샘플링 주파수가 검출되고, 결합 파일에 저장되는 JPEG 데이터의 프레임 레이트 및 토탈 프레임 수와 결합 파일에 저장되는 음성 데이터의 재생 시의 샘플링 주파수가 결정된다.

이 실시예에서는, 무비 파일1 및 무비 파일2중 어디에서도 JPEG 데이터는 30fps의 프레임 레이트를 갖는 것을 전제로 한다. 이 때문에, 결합 파일에 저장되는 JPEG 데이터의 프레임 레이트도 30fps로 결정된다. 또한, 결합 파일에 저장되는 JPEG 데이터의 토탈 프레임 수는, 무비 파일1 및 무비 파일2로부터 검출된 토탈 프레임 수의 합계값으로 결정된다. 한편, 결합 파일에 저장되는 음성 데이터의 재생 시의 샘플링 주파수는, 무비 파일1 및 무비 파일2로부터 검출된 샘플링 주파수에 기초하여, JPEG 데이터 및 음성 데이터의 재생이 동시에 종료하는 주파수로 결정된다.

단, 결합 파일의 토탈 프레임 수가 많을수록, 재생 화상과 재생 음성과의 편차가 커진다. 따라서, 무비 파일1의 JPEG 데이터를 결합 파일에 전송할 때는, 무비 파일1에 할당된 샘플링 주파수와 결합 파일용으로 요구된 샘플링 주파수와의 편차량에 기초하여, 프레임 보간 또는 프레임 추출이 실행된다. 또한, 무비 파일2의 JPEG 데이터를 결합 파일에 전송할 때는, 무비 파일2에 할당된 샘플링 주파수와 결합 파일용으로 요구된 샘플링 주파수와의 편차량에 기초하여, 프레임 보간 또는 프레임 추출이 실행된다.

또, 프레임 보간/추출의 실행에 의해, 파일 결합의 도중에 프레임 수의 변동이 발생한다. 그러나, 무비 파일1의 JPEG 데이터에 프레임 보간이 실행될 때는 무비 파일2의 JPEC 데이터에 프레임 추출이 실시되고, 무비 파일1의 JPEG 데이터에 프레임 추출이 실행될 때는 무비 파일2의 JPEG 데이터에 프레임 보간이 실시된다. 이 때문에, 결합 파일에 저장되는 JPEG 데이터의 토탈 프레임 수는, 결합 처리의 개시 시에 결정된 토탈 프레임 수로부터 크게 어긋나지는 않는다.

프레임 보간/추출 처리에 대하여, 이하에 자세히 설명한다. 결합 파일에 저장되는 JPEG 데이터 및 음성 데이터의 인덱스 정보는, 도 3에 도시하는 요령으로 SDRAM(26) 상에 작성된다. 또한, 기록 매체(22) 내의 무비 파일1 또는 무비 파일2로부터 SDRAM(26)에 전송된 JPEG 데이터의 액세스 정보가, 도 4에 도시하는 액세스 정보 테이블(12t) 상에 작성된다.

도 3을 참조하면, SDRAM(26)에 작성되는 JPEG 데이터의 인덱스 정보는, 결합 파일의 선두로부터 각 프레임의 JPEG 데이터까지의 거리로 표시되는 위치 정보와, 각 프레임의 JPEG 데이터의 사이즈 정보를 포함하고, SDRAM(26)에 작성되는 음성 데이터의 인덱스 정보는, 결합 파일의 선두로부터 각각의 음성 청크까지의 거리로 표시되는 위치 정보와, 각각의 음성 청크의 사이즈 정보를 포함한다. 또한, 도 4를 참조하면, 액세스 정보는, SDRAM(26)에 저장된 JPEG 데이터의 선두 어드레스를 나타내는 어드레스 정보와, 각 프레임의 JPEG 데이터의 사이즈를 나타내는 정보를 포함한다. 도 4에서, 변수 i는 결합 파일에 기입되는 JPEG 데이터의 프레임 번호이다. 프레임 보간/추출 처리는, 이러한 인덱스 정보 및 액세스 정보에 대하여 실시된다.

프레임 보간 처리가 실행되는 경우, 인덱스 정보는 도 5A∼도 5C에 도시하는 요령으로 SDRAM(26) 상에 작성되고, 액세스 정보는 도 6A∼도 6C에 도시하는 요령으로 액세스 정보 테이블(12t) 위에 작성된다.

도 5A에 따르면, JPEG 데이터 P의 인덱스 정보가 SDRAM(26)에 설정되어 있다. 이 상태에서 프레임 보간이 필요하게 되면, 도 5B에 도시한 바와 같이 동일한 JPEG 데이터 P의 인덱스 정보가 연속하여 설정된다. 이렇게 해서 JPEG 데이터 P의 인덱스 정보가 보간된 후에는, 도 5C에 도시한 바와 같이 JPEG 데이터 P+1의 인덱스 정보가 SDRAM(26)에 설정된다.

또한, 도 6A에 따르면, JPEG 데이터 P의 액세스 정보가 변수 i(=P)에 할당되어 있다. 이 상태에서 프레임 보간이 필요하게 되면, 도 6B에 도시한 바와 같이 JPEG 데이터 P의 액세스 정보가 변수 i(=P+1)에 할당된다. 이렇게 해서 JPEG 데이터 P의 액세스 정보가 보간된 후에는, 도 6C에 도시한 바와 같이 JPEG 데이터 P+1의 액세스 정보가 변수 i(=P+2)에 할당된다.

프레임 추출 처리가 실행되는 경우, 인덱스 정보는 도 7A∼도 7C에 도시하는 요령으로 SDRAM(26) 상에 작성되고, 액세스 정보는 도 8A∼도 8C에 도시하는 요령으로 액세스 정보 테이블(12t) 상에 작성된다.

도 7A에 따르면, JPEG 데이터 P의 인덱스 정보와 JPEG 데이터 P+1의 인덱스 정보가 SDRAM(26)에 설정되어 있다. 이 상태에서 프레임 추출이 필요하게 되면, 도 7B에 도시한 바와 같이, JPEG 데이터 P+1의 인덱스 정보가 JPEG 데이터 P+2의 인덱스 정보에 의해 덮어쓰기된다. 이에 의해, JPEG 데이터 P+1의 인덱스 정보가 추출된다. JPEG 데이터 P+2의 인덱스 정보의 다음에는, 도 7C에 도시한 바와 같이 JPEG 데이터 P+3의 인덱스 정보가 설정된다.

또한, 도 8A에 따르면, JPEG 데이터 P의 액세스 정보와 JPEG 데이터 P+1의 액세스 정보가 액세스 정보 테이블(52b)에 설정되어 있다. 이 상태에서 프레임 추출이 필요하게 되면, 도 8B에 도시한 바와 같이, JPEG 데이터 P+1의 액세스 정보가 JPEG 데이터 P+2의 액세스 정보에 의해 덮어쓰기된다. 이에 의해, JPEC 데이터 P+1의 액세스 정보가 추출된다. JPEG 데이터 P+2의 액세스 정보 다음은, 도 8C에 도시한 바와 같이 JPEG 데이터 P+3의 액세스 정보가 설정된다.

SDRAM(26)에 저장된 JPEG 데이터는, 액세스 정보 테이블(12t)을 참조하여 판독되고, 결합 파일에 기입된다. 무비 파일1 또는 무비 파일2로부터 SDRAM(26)에는 각 프레임의 JPEG 데이터가 순차적으로 전송되지만, 액세스 정보에 프레임 보간이 실시되었을 때에는 특정 프레임의 JPEG 데이터가 2회 연속하여 SDRAM(26)으로부터 결합 파일에 전송되고, 액세스 정보에 프레임 추출이 실시되었을 때에는 특정 프레임의 JPEG 데이터의 판독이 취소된다. 그 결과, 결합 파일에 저장되는 JPEG 데이터에, 부분적인 중복 또는 누락이 발생한다. 액세스 정보의 보간/추출과 함께 인덱스 정보의 보간/추출도 행해지고 있기 때문에, 결합 파일에 저장된 JPEG 데이터 및 인덱스 정보 사이에서 편차가 발생하지는 않는다.

또, 무비 파일1 또는 무비 파일2로부터 SDRAM(26)에의 JPEG 데이터의 전송은, 기본적으로 3 프레임 단위로 실행된다. 이 3 프레임 단위의 JPEG 데이터 전송 처리 동안에, 3 프레임 상당의 음성 데이터가 무비 파일1 또는 무비 파일2로부터 SDRAM(26)으로 전송된다. 3 프레임의 JPEG 데이터 및 3 프레임 상당의 음성 데이터가 SDRAM(26)에 확보되면, 이들의 데이터가 통합되어 결합 파일로 전송된다. 결합 파일에는 음성 청크 및 화상 청크가 1개씩 형성된다.

결합 파일에의 JPEG 데이터 및 음성 데이터의 전송이 완료되면, 파일 결합 처리의 개시 시에 결정된 제어 정보(프레임 레이트, 토탈 프레임 수 및 샘플링 주파수)와 SDRAM(26) 상에 작성된 인덱스 정보를 포함하는 인덱스 청크가 결합 파일의 말미에 저장되어, 이것에 의해서 결합 파일이 완성된다.

메뉴 키(16)의 조작에 의해 원하는 무비 파일(결합 파일을 포함함)의 재생이 지시되면, CPU(12)에 의해 파일 재생 처리가 실행된다. 우선 원하는 무비 파일의 인덱스 청크로부터 제어 정보가 검출되고, 검출한 제어 정보에 포함되는 샘플링 주파수가 음성 처리 회로(34)에 설정된다. 이어서, 원하는 무비 파일에 저장된 JPEG 데이터 및 음성 데이터가 인덱스 정보에 기초하여 소정량씩 판독되고, 메모리 제어 회로(26)를 통해 SDRAM(28)에 기입된다.

JPEG 코덱(24)은, SDRAM(28)에 저장된 각 프레임의 JPEG 데이터를 메모리 제어 회로(26)를 통하여 판독하고, 판독된 JPEG 데이터에 JPEG 신장을 실시한다. 신장된 화상 데이터는, 메모리 제어 회로(26)를 통해 SDRAM(28)에 기입되고, 그 후 메모리 제어 회로(26)를 통해 비디오 인코더(30)에 공급된다. 비디오 인코더(30)는 공급된 화상 데이터를 콤포지트 비디오 신호로 변환하고, 변환된 콤포지트 비디오 신호를 모니터(32)에 공급한다. 그 결과, 재생 동화상이 화면에 표시된다.

음성 처리 회로(34)는, SDRAM(28)에 저장된 음성 데이터를 메모리 제어 회로(26)를 통해 판독하고, 판독된 음성 데이터를 재생 개시 시에 설정된 샘플링 주파수에 따라 아날로그 음성 신호로 변환한다. 변환된 아날로그 음성 신호는, 스피커(36)로부터 출력된다.

CPU(12)는, 자세히 설명하면, 도 9∼도 16에 도시하는 흐름도에 따라 파일 결합을 행하고, 도 17에 도시하는 흐름도에 따라 파일 재생을 행한다. 또, 이들 흐름도에 대응하는 제어 프로그램은 ROM(14)에 기억되어 있다.

우선, 파일 결합에 관하여, 도 9의 단계 S1에서는 파일 선택 처리를 행한다. 이에 의해, 결합해야 할 2개의 무비 파일1 및 무비 파일2가 선택된다.

단계 S3에서는 무비 파일1의 인덱스 청크로부터 제어 정보를 검출하고, 계속되는 단계 S5에서는 검출된 제어 정보에 기초하여 각종 변수를 설정한다. 검출되는 제어 정보에는, JPEG 데이터의 프레임 레이트 및 토탈 프레임 수와, 음성 데이터의 샘플링 주파수가 포함된다. 프레임 레이트는 변수 frm_rate1로서 설정되고, 토탈 프레임 수는 변수 total_frm1로서 설정되고, 그리고 샘플링 주파수는 변수 aud_freq1로서 설정된다.

단계 S7 및 S9에서는, 무비 파일2에 대하여 단계 S3 및 S5와 마찬가지의 처리를 실행한다. 즉, 무비 파일2의 제어 정보를 단계 S7에서 검출하고, 검출된 제어 정보에 기초하는 각종 변수를 단계 S9에서 설정한다. 무비 파일2에 포함되는 JPEG 데이터의 프레임 레이트는 변수 frm_rate2로서 설정되고, 무비 파일2에 포함되는 JPEG 데이터의 토탈 프레임 수는 변수 total_frm2로서 설정되고, 그리고 무비 파일2에 포함되는 음성 데이터의 샘플링 주파수는 변수 aud_freq2로서 설정된다.

단계 S11에서는, 변수 frm_rate3 및 total_frm3을 수학식 1 및 수학식 2에 따라 산출하고, 변수 aud_freq3을 수학식 3∼수학식 6에 따라 산출한다. 여기서, 변수 frm_rate3 및 total_frm3은, 결합 파일에 저장되는 JPEG 데이터의 프레임 레이트 및 토탈 프레임 수를 나타내고, 변수 aud_freq3은 결합 파일에 저장되는 음성 데이터를 재생할 때의 샘플링 주파수를 나타낸다.

수학식 1에 따르면, 변수 frm_rate1이 변수 frm_rate3으로서 설정된다. JPEG 데이터의 프레임 레이트는 무비 파일1 및 무비 파일2 사이에서 일치하고 있기 때문에, 변수 frm_rate1 및 frm_rate2 중 어느 하나를 변수 frm_rate3으로서 설정해도 된다.

수학식 2에 따르면, 변수 total_frm1 및 total_frm2가 상호 가산된다. 이에 의해, 결합 파일에 저장되는 JPEG 데이터의 토탈 프레임수가 구해진다.

수학식 3에서는 무비 파일1에 저장된 음성 데이터의 사이즈 aud_sz1이 구해지고, 수학식 4에서는 무비 파일2에 저장된 음성 데이터의 사이즈 aud_sz2가 구해지고, 그리고 수학식 5에서는 결합 파일에 저장되는 JPEG 데이터의 재생에 필요한 시간 frm_sec가 구해진다. 수학식 6에 따르면, 각각의 음성 데이터의 합성 사이즈(=aud_sz1+aud_sz2)가, 시간 frm_sec에 의해 제산된다. 제산에 의해 구해진 주파수는, 결합 파일에 저장된 JPEG 데이터 및 음성 데이터의 재생을 동시에 종료시킬 수 있는 음성 데이터의 샘플링 주파수이다.

예를 들면, 무비 파일1에 저장된 JPEG 데이터의 프레임 레이트 및 토탈 프레임 수가 각각 30fps 및 54000프레임(=1800초)이고, 또한 무비 파일1에 저장된 음성 데이터의 샘플링 주파수가 7980㎐인 경우, 변수 frm_rate1은 "30"으로 설정되고, 변수 total_frm1은 "54000"로 설정되고, 그리고 변수 aud_freq1이 "7980"으로 설정된다.

또한, 무비 파일2에 저장된 JPEG 데이터의 프레임 레이트 및 토탈 프레임 수가 각각 30fps 및 108000프레임(=3600초)이고, 또한 무비 파일2에 저장된 음성 데이터의 샘플링 주파수가 8040㎐인 경우, 변수 frm_rate1은 "30"으로 설정되고, 변수 total_frm1은 "108000"으로 설정되며, 그리고 변수 aud_freq1이 "8040"으로 설정된다.

이 경우, 결합 파일에 관련된 변수 frm_rate3, total_frm3 및 aud_freq3은, 각각 "30", "162000" 및 "8020"이 된다. 즉, 결합 파일에 저장되는 JPEG 데이터의 프레임 레이트 및 토탈 프레임수는, 각각 30fps 및 162000프레임(=5400초)으로 결정되고, 결합 파일에 저장되는 음성 데이터의 샘플링 주파수는, 8020㎐로 결정된다.

단계 S13에서는, 변수 frm_num 및 Δfrm_num을 "0"으로 설정한다. 변수 frm_num은, 주목하는 프레임의 JPEG 데이터를 SDRAM(28)의 어떤 위치에 기입해야하는지 특정하기 위한 변수이고, "0"∼"3" 사이에서 갱신된다. 단, 실제로 의미를 갖는 수치는 "0", "1" 및 "2"이다. 변수 Δfrm_num은, 프레임 보간/추출 처리에 기인하는 프레임 수의 변동량을 나타내는 변수이다.

단계 S15에서는, 변수 aud_freq3 및 aud_freq1이 상호 일치하는지의 여부를 판단한다. 그리고, YES이면 단계 S19에서 변수 frm_crct1을 "0"으로 설정하고나서 단계 S21로 진행하지만, NO이면 단계 S17에서 수학식 7 및 수학식 8에 따라 변수 frm_crct1을 산출하고나서 단계 S21로 진행한다.

수학식 7에 의해 구해지는 변수 frmnum_rep1은, 무비 파일1에 저장된 음성 데이터를 변수 aud_freq3을 따르는 샘플링 주파수로 재생했을 때에, 음성 데이터 및 JPEG 데이터의 재생을 동시에 종료시키기 위해 필요한 프레임 수이다. 수학식 8에서는, 변수 total_frm1로부터 변수 frmnum_rep1이 감산되고, 변수 total_frm1이 이 감산값으로 제산된다.

이렇게 해서 얻어지는 변수 frm_crct1은, 무비 파일1 및 무비 파일3 사이에서의 샘플링 주파수의 편차량에 상관하는 상관값으로서, 프레임 보간 및 프레임 추출의 모든 처리를 어느 정도의 주기로 행해야되는지 나타내게 된다. 변수 frm_crct1이 나타내는 수치의 크기에 따라 주기가 특정되고, 수치의 극성에 따라 프레임 보간 및 프레임 추출 중 어느 것을 행할지 특정된다. 또, 부극성이 프레임 보간에 대응하고, 정극성이 프레임 추출에 대응한다.

변수 frm_rate1, total_frm1, aud_freq1, frm_rate2, total_frm2 및 aud_freq2가 상술한 수치를 취하는 경우, 변수 frm_crct1은 "200"으로 결정된다(소수점 이하는 버림). 이 경우, 200프레임에 1회의 비율로 프레임 추출이 실행된다.

단계 S21에서는 결합 파일의 파일 헤더를 작성하고, 단계 S23에서는 변수 i 및 next_crct를 "0"으로 설정한다. 변수 i는, 상술한 바와 같이, 무비 파일1 또는 무비 파일2에 저장된 JPEG 데이터를 특정하기 위한 변수이다. 변수 next_crct는, 프레임 보간/추출 처리가 보류 형태인지의 여부를 판별하기 위한 변수이다. 보류 상태일 때, 변수 next_crct는 "1"을 나타낸다.

단계 S25에서는 무비 파일1에 저장된 i 프레임째의 JPEG 데이터를 SDRAM(28)에 전송한다. 자세히 설명하면, I/F 회로(18)를 통하여 기록 매체(22)에 액세스하고, 무비 파일1로부터 i 프레임째의 JPEG 데이터를 검출하고, 그리고 검출한 JPEG 데이터를 메모리 제어 회로(26)를 통해 SDRAM(28)에 기입한다. 기입 위치는, 변수 frm_num에 의해 특정된다.

단계 S27에서는 변수 i의 값을 판별하여, 단계 S29에서는 변수 frm_crct1의 값을 판별하고, 단계 S31에서는 변수 i를 변수 frm_crct1로 제산했을 때의 나머지(=i%frm_crct1)를 판별하고, 그리고 단계 S33에서는 변수 next_crct의 값을 판별한다.

여기서, 변수 i가 "0"인 경우, 변수 frm_crct1이 "0"인 경우, 혹은 나머지 i%frm_crct1이 "0" 이외이고, 또한 변수 next_crct가 "0"인 경우에는, 현 프레임은 프레임 보간/추출 처리를 행해야되는 프레임이 아니라고 판단하여, 단계 S59로 진행한다. 이것에 대하여, 변수 i 및 frm_crct1의 각각이 "0" 이외이고 또한 나머지 i%frm_crct1이 "0"인 경우, 혹은 변수 i 및 frm_crct1 및 나머지 i%frm_crct1 각각이 "0" 이외이고 또한 변수 next_ crct가 "1"인 경우에는, 현 프레임은 프레임 보간/추출 처리를 행해야되는 프레임으로 판단하여, 단계 S35로 진행한다.

단계 S35에서는, 변수 frm_crct1이 "0" 미만인지의 여부를 판단한다. 여기서 YES이면, 즉 변수 frm_crct1이 부극성이면, 프레임 보간 처리가 필요하다고 판단하여 단계 S37로 진행하지만, NO이면, 즉 변수 frm_crct1이 정극성이면, 프레임 추출 처리가 필요하다고 판단하여 단계 S49로 진행한다.

단계 S37에서는 변수 frm_num을 "2"와 비교하여, frm_num=2이면, 단계 S57에서 변수 next_crct를 "1"로 설정하고나서 단계 S59로 진행한다. 상술된 바와 같이, 무비 파일 위에서는 3 프레임의 JPEG 데이터에 의해 1개의 화상 청크가 형성되고, SDRAM(28)에 전송된 JPEG 데이터의 결합 파일에의 기입은 청크 단위로 실행된다. 한편, frm_num=2는 3 프레임의 JPEG 데이터가 이미 SDRAM(26)에 저장되어 있는 것을 의미하며, 이 때에는 프레임 보간 처리를 행할 수 없다. 따라서, 프레임 보간 처리를 보류 상태로 하도록, 단계 S57에서 변수 next_crct를 "1"로 설정한다. 프레임 보간 처리는, 다음 프레임에서 실행된다.

이것에 대하여, 변수 frm_num이 "0" 또는 "1"이면, 프레임 보간 처리를 실행하도록, 단계 S39로 진행한다. 우선, 단계 S39에서 변수 next_crct를 "0"으로 설정한다. 즉, 이제부터 프레임 보간 처리가 실행되기 때문에, 보류 상태를 해제하도록 변수 next_crct를 "0"으로 복귀한다.

계속되는 단계 S41에서는, i 프레임째의 JPEG 데이터의 인덱스 정보를 SDRAM(28)에 작성한다. 상술된 바와 같이, 무비 파일의 인덱스 청크에서는, JPEG 데이터의 파일 상의 위치 및 사이즈는 1 프레임마다 관리된다. 이 때문에, 단계 S41에서는, 1 프레임의 JPEG 데이터의 위치 정보 및 사이즈 정보를 인덱스 정보로서 작성한다. 또한, 3 프레임의 JPEG 데이터에 의해 1개의 화상 청크가 형성되기 때문에, 현 프레임이 연속하는 3 프레임의 몇번째인지를 변수 frm_num로부터 특정하고, 이에 의해 인덱스 정보를 SDRAM(26)의 어떤 위치에 작성하는지 결정한다. 도 5A에 도시한 바와 같이 인덱스 정보가 맵핑되어 있는 상태에서 단계 S41이 실행된 경우, 맵핑 형태는 도 5A로부터 도 5B로 천이한다.

단계 S43에서는, i 프레임째의 JPEG 데이터의 액세스 정보를 도 4에 도시하는 액세스 정보 테이블(12t) 위에 작성한다. 즉, SDRAM(26)에 존재하는 i 프레임째의 JPEG 데이터의 선두 어드레스 정보 및 사이즈 정보를 액세스 정보로서 작성하고, 작성한 액세스 정보를 액세스 정보 테이블(12t)에 설정한다. 이 때에도, 변수 frm_num에 기초하여 액세스 정보의 기입처를 특정한다. 도 6A에 도시한 바와 같이 액세스 정보가 설정되어 있는 상태에서 단계 S43이 실행된 경우, 설정 상태는 도 6A로부터 도 6B로 천이한다.

단계 S43의 처리가 완료하면, 단계 S45에서 변수 Δfrm_num을 인크리먼트하고, 단계 S47에서 변수 frm_num을 인크리먼트하고, 그 후 단계 S59로 진행한다.

프레임 추출 처리가 필요할 때에는 단계 S35로부터 단계 S49로 진행하여, 변수 frm_num이 "0"인지의 여부를 판단한다. 여기서 frm_num=0이라고 판단되면, 단계 S57에서 변수 next_crct를 "1"로 설정한다. 상술된 바와 같이, 변수 frm_num은 "0"∼"3"의 사이에서만 갱신된다. 한편, 프레임 추출 처리에서는, 단계 S55에서 변수 frm_num이 디크리먼트된다. 그 결과, frm_num=0의 상태에서 프레임 추출 처리를 행하면, 처리가 파탄된다. 따라서, frm_num=0으로 판단되었을 때는, 프레임 추출 처리를 보류 상태로 하도록, 단계 S57에서 변수 next_crct를 "1"로 설정한다. 프레임 추출 처리는, 다음 프레임에서 실행된다.

이것에 대하여, 변수 frm_num이 "1" 또는 "2"이면, 프레임 추출 처리를 행하 도록, 단계 S51로 진행한다. 단계 S51에서는 변수 next_crct를 "0"으로 설정하고, 계속되는 단계 S53 및 S55에서는 변수 Δfrm_num 및 frm_num을 디크리먼트한다. 변수 frm_num이 디크리먼트됨으로써, 다음 회의 인덱스 정보 작성 처리에서 인덱스 정보의 덮어쓰기가 발생하고, 다음 회의 액세스 정보 작성 처리에서 액세스 정보의 덮어쓰기가 발생한다. 따라서, 도 7A에 도시한 바와 같이 인덱스 정보가 맵핑되어 있는 상태에서 덮어쓰기가 발생하면, 맵핑 상태는 도 7A로부터 도 7B로 천이한다. 또한, 도 8A에 도시한 바와 같이 액세스 정보가 설정되어 있는 상태에서 덮어쓰기가 발생하면, 설정 형태는 도 8A로부터 도 8B로 천이한다.

단계 S59∼S63에서는 상술한 단계 S41∼S45와 마찬가지의 처리를 실행하고, 계속되는 단계 S65에서는 변수 frm_num을 "3"과 비교한다. 여기서, 변수 frm_num이 "1" 또는 "2"이면 그대로 단계 S73으로 진행하지만, 변수 frm_num이 "3"이면 단계 S67∼S71의 처리를 거쳐 단계 S73으로 진행한다.

단계 S67에서는, 무비 파일1(및 2)에 저장된 3 프레임 상당의 음성 데이터를 SDRAM(26)으로 전송한다. 구체적으로 설명하면, 현 시점에서 SDRAM(26)에 저장되어 있는 JPEG 데이터에 대응하는 3 프레임 상당의 음성 데이터를 특정하고, 특정한 음성 데이터를 I/F 회로(18)를 통하여 기록 매체(22)로부터 판독하고, 그리고 판독된 음성 데이터를 메모리 제어 회로(26)를 통해 SDRAM(28)에 기입한다.

결합 파일에 대하여 구해진 음성 데이터의 샘플링 주파수가 8020㎐이면, 무비 파일1로부터 판독되는 3프레임 상당의 음성 데이터의 사이즈는 802바이트로 된다. 무비 파일1에 저장된 음성 데이터의 샘플링 주파수가 결합 파일과 상이한 경우, 이 음성 데이터의 판독은, 2개의 음성 청크에 걸쳐 행해진다. 또한, 이 2개의 음성 청크는, 무비 파일1 및 무비 파일2로부터 각각 특정되는 경우도 있다.

단계 S69에서는, SDRAM(26)에 확보된 JPEG 데이터 및 음성 데이터를 결합 파일로 전송한다. 구체적으로 설명하면, 메모리 제어 회로(26)를 통하여 3 프레임의 JPEG 데이터 및 3 프레임 상당의 음성 데이터를 SDRAM(28)으로부터 판독하고, 판독된 이들 데이터를 I/F 회로(18)를 통하여 기록 매체(22) 내의 결합 파일에 기입한다. 특히, JPEG 데이터에 대해서는, 액세스 정보 테이블(12t)을 참조하여, SDRAM(28)로부터 판독한다. 이에 의해, 결합 파일 내에 음성 청크 및 화상 청크가 1개씩 형성된다. 단계 S37∼S47의 프레임 보간 처리가 실행되었을 때에는, 화상 청크 내에서 JPEG 데이터의 중복이 발생하고, 단계 S51∼S55의 프레임 추출 처리가 행해졌을 때는, 화상 청크 내에서 JPEG 데이터의 누락이 발생한다.

단계 S69의 처리가 완료되면, 단계 S71에서 변수 frm_num을 "0"으로 설정한다.

단계 S73에서는 변수 i를 인크리먼트하고, 계속되는 단계 S75에서는 갱신된 변수 i를 "total_frm1-1"과 비교한다. 여기서 변수 i가 "total_frml-1" 이하이면, 무비 파일1로부터의 데이터 판독은 아직 완료하지 않았다고 판단하여, 단계 S25로 되돌아간다. 이것에 대하여, 변수 i가 "total_frml-1"을 상회할 때는, 무비 파일1로부터의 JPEG 데이터의 판독이 완료되었다고 판단하여, 단계 S77로 진행한다.

단계 S77∼S135에서는, 필요에 따라 무비 파일1의 말미 부분의 데이터를 결합 파일로 전송함과 함께, 무비 파일2로부터 결합 파일로의 데이터의 전송을 행한다. 단, 단계 S77∼S81은 상술한 단계 S15∼S19와 거의 마찬가지이며, 단계 S83∼S135는 상술한 단계 S21∼S75와 거의 마찬가지이기 때문에, 중복된 설명은 가능한한 생략한다.

단계 S77에서는 변수 aud_freq3과 변수 aud_freq2를 비교하고, 비교 결과에 따라 단계 S79 또는 S81에서 변수 frm_crct2를 결정한다. 특히, 단계 S79에서는, 수학식 9 및 수학식 10에 따라 변수 frm_crct2를 산출한다.

변수 frm_rate1, total_frm1, aud_freq1, frm_rate2, total_frm2 및 aud_freq2가 상술한 수치를 취하는 경우, 변수 frm_crct2는 "-401"로 결정된다. 이 경우, 401 프레임에 1회의 비율로 프레임 보간이 실행된다.

단계 S85에서는, 무비 파일2에 저장된 i 프레임째의 JPEG 데이터를 SDRAM(28)에 전송한다. 또한, 단계 S89에서는 변수 frm_crct2의 값을 판별하고, 단계 S91에서는 변수 i를 변수 frm_crct2로 제산한 나머지(=i%frm_crct2)의 값을 판별한다. 또한, 단계 S95에서는 변수 frm_crct2가 "0" 미만인지의 여부를 판단한다.

단계 S127에서는 무비 파일(1 및)2에 저장된 3 프레임 상당의 음성 데이터를 SDRAM(26)에 전송한다. 이 때에도, 음성 데이터의 판독은, 샘플링 주파수에 의해 2개의 음성 청크에 걸치는 경우가 있으며, 또한 이 2개의 음성 청크∼무비 파일1 및 무비 파일2로부터 각각 특정되는 경우가 있다. 단계 S135에서는, 변수 i를 "total_frm2-1"과 비교한다. 단계 S135-YES라고 판단되면, 무비 파일2로부터의 JPEG 데이터의 판독이 완료되었다고 판단하여, 단계 S137 이후의 처리로 진행한다.

단계 S137에서는 변수 frm_num을 "0"과 비교한다. 그리고, frm_num=0이면 그대로 단계 S143으로 진행하지만, frm_num>0이면 단계 S139∼S141을 거쳐 단계 S143으로 진행한다. 단계 S139에서는, 무비 파일2의 말미 부분에 존재하는 3 프레임상당에 충족되지 않는 음성 데이터를 SDRAM(28)으로 전송하고, 단계 S141에서는 SDRAM(28)에 저장된 3 프레임 미만의 JPEG 데이터 및 3 프레임 상당 미만의 음성 데이터를 결합 파일에 저장한다. 이에 의해, 무비 파일1 및 무비 파일2로부터 결합 파일에의 JPEG 데이터 및 음성 데이터의 전송이 완료된다.

단계 S143에서는, 변수 total_frm3을 갱신하도록, 수학식 11의 연산을 실행한다.

결합 파일에 저장되는 JPEG 데이터의 토탈 프레임 수는, 프레임 보간/추출 처리에 의해 변동될 수 있기 때문에, 수학식 11에 의해 변수 Δfrm_num을 변수 total_ frm3에 가산하도록 하고 있다.

단계 S145에서는, 변수 frm_rate3에 따르는 프레임 레이트, 변수 total_fram3에 따르는 토탈 프레임 수 및 변수 aud_freq3에 따르는 샘플링 주파수를 포함하는 제어 정보를 결합 파일에 기입하고, 단계 S147에서는 SDRAM(28) 상에 작성된 인덱스 정보를 결합 파일에 기입한다. 이에 의해, 결합 파일의 말미에 인덱스 청크가 형성되어, 결합 파일이 완성된다.

파일 재생을 위해 원하는 무비 파일이 오퍼레이터에 의해 선택되면, CPU(12)는 도 17에 도시하는 파일 재생 처리를 실행한다.

우선 단계 S201에서 원하는 무비 파일로부터 제어 정보를 검출하고, 검출된 제어 정보에 포함되는 샘플링 주파수를 음성 처리 회로(34)에 설정한다. 단계 S203에서는 변수 i를 "0"으로 설정하고, 단계 S205에서는 변수 i에 대응하는 JPEG 데이터 및 음성 데이터를 SDRAM(28)으로 전송한다. JPEG 데이터 및 음성 데이터는 원하는 무비 파일로부터 판독되어, 메모리 제어 회로(26)를 통해 SDRAM(28)에 기입된다.

단계 S207에서는 도시하지 않은 TG(Timing Generator)로부터 수직 동기 신호가 발생했는지의 여부를 판별하여, YES이면 단계 S209로 진행한다. 수직 동기 신호는 1/30초에 1회의 비율로 발생하고, 단계 S209 이후의 처리는 1/30초마다 실행된다.

단계 S209에서는 JPEG 코덱(24)에 신장 처리를 명령하고, 단계 S211에서는 음성 처리 회로(34)에 재생 처리를 명령한다.

JPEG 코덱(24)은, SDRAM(28)에 저장된 1 프레임의 JPEG 데이터를 메모리 제어 회로(26)를 통해 판독하고, 판독된 JPEG 데이터에 신장 처리를 실시한다. 신장 화상 데이터는, 메모리 제어 회로(26)를 통해 SDRAM(28)에 기입되고, 그 후 메모리 제어 회로(26)를 통해 비디오 인코더(30)에 공급된다. 비디오 인코더(30)는 공급된 화상 데이터를 콤포지트 비디오 신호로 변환하고, 변환된 콤포지트 비디오 신호를 모니터(32)에 공급한다. 그 결과, 재생 화상이 화면에 표시된다.

음성 처리 회로(34)는, SDRAM(28)에 저장된 음성 데이터를 메모리 제어 회로(26)를 통해 판독하고, 판독된 음성 데이터를 단계 S201에서 설정된 샘플링 주파수에 따라 아날로그 음성 신호로 변환한다. 변환된 아날로그 음성 신호는, 스피커(36)로부터 출력된다.

단계 S213에서는 JPEG 코덱(24)의 신장 처리가 완료되었는지의 여부를 판단하여, YES이면 단계 S215에서 변수 i를 인크리먼트하고나서 단계 S217로 진행한다. 단계 S217에서는 갱신된 변수 i를 원하는 무비 파일에 저장된 JPEG 데이터의 토탈 프레임수와 비교하여, i<토탈 프레임 수이면 단계 S205로 되돌아간다. 이 때문에, 모든 프레임의 JPEG 데이터가 재생될 때까지, 단계 S205∼S217의 처리가 반복된다.

이상의 설명으로부터 알 수 있듯이, 결합 파일(결합 콘텐츠)은, 무비 파일1(제1 콘텐츠)을 형성하는 JPEG 데이터 및 음성 데이터와 무비 파일2(제2 콘텐츠)를 형성하는 JPEG 데이터 및 음성 데이터를 각각 결합하여 생성된다. 결합 파일에 저장된 결합 음성 데이터를 재생할 때의 샘플링 주파수는, 단계 S11에서 산출된다. 이 주파수는, 결합 파일에 저장된 결합 JPEG 데이터 및 결합 음성 데이터 각각의 재생 시간이 상호 일치하는 최적 재생 주파수로서, 단계 S145에서 결합 파일에 기입된다.

이 때문에, 결합 음성 데이터를 단계 S11에서 산출된 샘플링 주파수에 따라 재생하면, 결합 JPEG 데이터 및 결합 음성 데이터의 재생이 동시에 완료된다.

단, 결합 파일에 할당된 샘플링 주파수와 무비 파일1 또는 무비 파일2에 할당된 샘플링 주파수와의 편차가 크면, 화상 및 음성의 재생을 동시에 종료할 수 있지만, 재생 도중에 화상과 음성 사이에 무시할 수 없는 편차가 발생한다.

따라서, 이 실시예에서는 무비 파일1에 할당된 샘플링 주파수와 결합 파일용으로 산출된 샘플링 주파수와의 편차량에 상관하는 상관값, 즉 변수 frm_crct1이 단계 S17에서 산출되고, 무비 파일2에 할당된 샘플링 주파수와 결합 파일용으로 산출된 샘플링 주파수와의 편차량에 상관하는 상관값, 즉 변수 frm_crct2가 단계 S79에서 산출된다. 무비 파일1로부터 판독된 JPEG 데이터의 프레임 수는 변수 frm_crct1에 기초하여 조정되고, 무비 파일2로부터 판독된 JPEG 데이터의 프레임 수는 변수 frm_crct2에 기초하여 조정된다. 이에 의해, 재생 화상과 재생 음성과의 편차를 억제할 수 있다.

JPEG 데이터의 프레임 수는, 액세스 정보의 보간/추출 및 인덱스 정보의 보간/추출에 따라 조정된다. 액세스 정보는 SDRAM(28)에 전송된 JPEG 데이터의 판독 제어에 이용되기 때문에, 액세스 정보의 보간/추출에 따라, 결합 파일에의 저장 시에 JPEG 데이터의 프레임 수가 조정된다. 또한, 인덱스 정보는 결합 파일의 재생 제어에 이용되기 때문에, 인덱스 정보의 보간/추출에 따라, 재생 시에 JPEG 데이터의 프레임 수가 조정된다.

또, 이 실시예에서는, QuickTime 형식의 무비 파일을 결합하도록 하고 있지만, 본 발명은 MPEG 형식의 무비 파일의 결합에도 적용할 수 있다.

또한, 이 실시예에서는, 액세스 정보 및 인덱스 정보의 양방에 추출/보간을 실시하도록 하고 있지만, QuickTime 형식을 고려하지 않으면, 인덱스 정보에만 추출/보간을 실시하도록 해도 된다. 이에 의해, 액세스 정보의 추출 처리에 기인하는 JPEG 데이터의 누락을 방지할 수 있다.

본 발명이 상세히 설명되고 도시되었지만, 그것은 단순한 도해 및 일례로서 이용한 것으로, 한정해서는 안되는 것은 분명하며, 본 발명의 정신 및 범위는 첨부된 청구항의 문언에 의해서만 한정된다.

Claims

제1 콘텐츠를 형성하는 제1 동화상 신호 및 제1 음성 신호와 제2 콘텐츠를 형성하는 제2 동화상 신호 및 제2 음성 신호를 각각 결합하여 결합 콘텐츠를 생성하는 콘텐츠 편집 장치에 있어서,

상기 결합 콘텐츠를 형성하는 결합 동화상 신호 및 결합 음성 신호의 재생 시간이 상호 일치하는 상기 결합 음성 신호의 최적 재생 주파수를 산출하는 최적 재생 주파수 산출 수단, 및

상기 최적 재생 주파수를 상기 결합 콘텐츠에 할당하는 주파수 할당 수단

을 포함하는 콘텐츠 편집 장치.
제1항에 있어서,

상기 최적 재생 주파수 산출 수단은, 상기 제1 음성 신호 및 상기 제2 음성 신호의 합계 사이즈와 상기 제1 동화상 신호 및 상기 제2 동화상 신호의 합계 기록 시간에 기초하여 상기 최적 재생 주파수를 산출하는 콘텐츠 편집 장치.
제1항 또는 제2항에 있어서,

상기 제1 음성 신호의 제1 재생 주파수를 검출하는 제1 재생 주파수 검출 수단,

상기 최적 재생 주파수와 상기 제1 재생 주파수와의 편차량에 상관하는 제1 상관값을 산출하는 제1 상관값 산출 수단, 및

상기 제1 동화상 신호의 화면 수를 상기 제1 상관값에 기초하여 조정하는 제1 화면 수 조정 수단

을 포함하는 콘텐츠 편집 장치.
제3항에 있어서,

상기 제1 조정 수단은, 상기 제1 동화상 신호의 화면 수를 증가시키는 증가 수단,

상기 제1 동화상 신호의 화면 수를 감소시키는 감소 수단, 및

상기 제1 상관값에 따르는 타이밍에서 상기 증가 수단 및 상기 감소 수단 중 어느 한쪽을 능동화하는 능동화 수단

을 포함하는 콘텐츠 편집 장치.
제4항에 있어서,

상기 능동화 수단은, 상기 제1 상관값이 제1 극성을 나타낼 때 상기 증가 수단을 능동화하고, 상기 제1 상관값이 제2 극성을 나타낼 때 상기 감소 수단을 능동화하는 콘텐츠 편집 장치.
제4항 또는 제5항에 있어서,

상기 제1 동화상 신호를 형성하는 복수 화면의 정지 화상 신호를 일시적으로 저장하는 메모리, 및

상기 메모리에 저장된 정지 화상 신호를 처리 순서 정보에 따르는 순서로 판독하는 판독 수단을 더 포함하고,

상기 증가 수단은 특정 화면의 정지 화상 신호가 중복하도록 상기 처리 순서 정보를 작성하고,

상기 감소 수단은 특정 화면의 정지 화상 신호가 누락하도록 상기 처리 순서 정보를 작성하는 콘텐츠 편집 장치.
제4항 내지 제6항 중 어느 하나의 항에 있어서,

상기 제1 동화상 신호를 형성하는 정지 화상 신호의 인덱스 정보를 상기 결합 콘텐츠에 할당하는 정보 할당 수단을 더 포함하고,

상기 증가 수단은 특정 화면의 정지 화상 신호의 인덱스 정보에 보간을 실시하고,

상기 감소 수단은 특정 화면의 정지 화상 신호의 인덱스 정보에 추출을 실시하는 콘텐츠 편집 장치.
제3항 내지 제7항 중 어느 하나의 항에 있어서,

상기 제2 음성 신호의 제2 재생 주파수를 검출하는 제2 재생 주파수 검출 수단,

상기 최적 재생 주파수와 상기 제2 재생 주파수와의 편차량에 상관하는 제2 상관값을 산출하는 제2 상관값 산출 수단, 및

상기 제2 동화상 신호의 화면 수를 상기 제2 상관값에 기초하여 조정하는 제2 화면 수 조정 수단

을 포함하는 콘텐츠 편집 장치.