KR100581323B1

KR100581323B1 - 데이터 처리 장치

Info

Publication number: KR100581323B1
Application number: KR1020047007677A
Authority: KR
Inventors: 준야 가꾸
Original assignee: 산요덴키가부시키가이샤
Priority date: 2002-09-10
Filing date: 2003-09-03
Publication date: 2006-11-17
Also published as: AU2003264380A1; US20060164519A1; EP1549062A1; JP4162454B2; CN1606877A; WO2004025956A1; EP1549062A4; KR20040054788A; CN1330180C; US7382401B2; JP2004104471A

Abstract

디지털 비디오 카메라(10)는 마이크(34)를 포함한다. 마이크(34) 및 A/D 변환기(36)를 통해서 취득된 음성 데이터와 JPEG 코덱(32)에 의해서 생성된 복수 화면의 JPEG 데이터에 병행하여 기록 처리를 실시할 때, 음성 데이터의 실제 처리량(=8043바이트/초)과 가상 처리량(=8040바이트/초)의 오차가, CPU(52)에 의해서 30 프레임마다 산출된다. 산출된 오차가 임계값을 상회하면, 기록 매체(50)에 기록되는 JPEG 데이터의 프레임 수가 씨닝/보간에 의해서 조정된다.

디지털 비디오 카메라, 씨닝, 보간, SDRAM

Description

데이터 처리 장치{DATA PROCESSING DEVICE}

본 발명은, 데이터 처리 장치에 관한 것으로, 특히 예를 들면 비디오 카메라에 적용되어, 서로 관련된 음성 데이터와 복수 화면의 정지 화상 데이터를 병행하여 처리하는 데이터 처리 장치에 관한 것이다.

비디오 카메라에서는, 촬영 모드가 선택되면, 이미지 센서에 의해 촬영된 동화상 데이터와 마이크로부터 취득된 음성 데이터가 병행하여 기록 처리가 실시되고, 재생 모드가 선택되면 기록 매체로부터 재생된 동화상 데이터와 음성 데이터가 병행하여 재생 처리가 실시된다.

단, 종래 기술에서는, 설계의 형편 상, 하드웨어에 의한 실제 처리와 소프트웨어의 계산 사이에서 음성 데이터의 샘플링 주파수에 편차가 발생하였다. 구체적으로는, 하드웨어 상에서의 실제 샘플링 주파수가 8043㎐인 데 대하여, 소프트웨어 상에서 계산에 사용하는 샘플링 주파수는 8040㎐였다. 이 때문에, 종래 기술에서는, 음성 데이터의 씨닝(thinning-out)/보간(interpolation)에 의해 동화상 데이터와 음성 데이터의 동기를 확보하도록 하였다. 그러나, 음성 데이터에 씨닝/보간을 실시하면, 음성 노이즈가 발생하여 시청자에게 불쾌감을 준다고 하는 문제가 있었다.

<발명의 개시>

그 때문에, 본 발명의 주된 목적은, 화상 데이터와 음성 데이터의 동기를 확보할 수 있고, 또한 음성 노이즈의 발생을 방지 할 수 있는, 데이터 처리 장치를 제공하는 것이다.

본 발명에 따르면, 서로 관련된 음성 데이터와 복수 화면의 정지 화상 데이터를 병행하여 처리하는 데이터 처리 장치는, 음성 데이터의 실제 처리량과 가상 처리량의 오차를 소정 주기로 산출하는 산출 수단과, 산출 수단에 의해 산출된 오차에 기초하여 정지 화상 데이터의 화면수를 조정하는 조정 수단을 구비한다.

서로 관련된 음성 데이터와 복수 화면의 정지 화상 데이터를 병행하여 처리함에 있어서, 음성 데이터의 실제 처리량과 가상 처리량의 오차가, 산출 수단에 의해 소정 주기로 산출된다. 조정 수단은, 산출된 오차에 기초하여 정지 화상 데이터의 화면수를 조정한다.

즉, 본 발명에서는, 음성 데이터를 조정하였던 종래 기술과 달리, 정지 화상 데이터의 화면수가 조정된다. 이 때문에, 음성 노이즈의 발생을 방지하면서, 화상 데이터와 음성 데이터의 동기가 확보된다.

바람직하게는, 처리된 정지 화상 데이터의 화면수가 카운트 수단에 의해 카운트되고, 음성 데이터의 실제 처리량이 1 화면 기간마다 적산 수단에 의해 적산된다. 이 때, 산출 수단은, 1 화면에 상당하는 가상 처리량을 카운트 수단에 의한 카운트값에 기초하여 적산한 제1 적산값과 적산 수단에 의해 구해진 제2 적산값의 차분값을 구한다.

조정 수단은, 바람직하게는, 산출된 오차를 N(N : 1 이상의 정수) 화면에 상 당하는 음성 데이터의 가상 처리량과 비교하고, 비교 결과에 기초하여 조정을 행한다.

화면 조정에서는, 자세하게는, 적산값이 부족한 수치일 때 화면수가 증가되고, 적산값이 잉여분의 수치일 때 화면수가 감소된다.

복수 화면의 정지 화상 데이터를 메모리에 일시적으로 저장하고, 메모리에 저장된 정지 화상 데이터를 처리 수순 정보에 따른 순서로 판독하는 경우, 바람직하게는, 비교 결과에 기초하여 이 처리 수순 정보를 작성함으로써, 화면수가 조정된다.

바람직하게는, 음성 데이터 및 복수 화면의 정지 화상 데이터는 제1 기록 수단에 의해 기록 매체에 기록되고, 각 화면의 정지 화상 데이터의 인덱스 정보는 제2 기록 수단에 의해 기록 매체에 기록된다. 이 때, 조정 실행 수단은, 비교 수단의 비교 결과에 기초하여, 제2 기록 수단에 의해 기록되는 인덱스 정보에 씨닝/보간을 실시한다. 인덱스 정보의 씨닝/보간에 의해서, 재생되는 정지 화상 데이터의 화면수의 조정이 가능해진다.

바람직하게는, 가상 처리량은 실제 처리량에 근사하거나 또한 소프트웨어 계산에 적합한 수치를 나타낸다.

본 발명의 상술한 목적, 그 밖의 목적, 특징 및 이점은, 도면을 참조하여 행하는 이하의 실시예의 상세한 설명으로부터 한층 분명해진다.

도 1은 본 발명의 일 실시예를 도시하는 블록도.

도 2는 SDRAM의 맵핑 상태의 일례를 도시하는 도해도.

도 3은 SDRAM의 맵핑 상태의 다른 일례를 도시하는 도해도.

도 4는 지시 리스트의 구성의 일례를 도시하는 도해도.

도 5는 액세스 정보 테이블의 구성의 일례를 도시하는 도해도.

도 6은 기록 매체의 구성의 일례를 도시하는 도해도.

도 7은 빈 영역 테이블의 구성의 일례를 도시하는 도해도.

도 8은 완성 상태의 무비 파일의 구조를 도시하는 도해도.

도 9A는 인덱스 정보의 작성 처리의 일부를 도시하는 도해도, 도 9B는 인덱스 정보의 작성 처리의 다른 일부를 도시하는 도해도, 도 9C는 인덱스 정보의 작성 처리의 또 다른 일부를 도시하는 도해도.

도 10A는 액세스 정보 테이블의 작성 처리의 일부를 도시하는 도해도, 도 10B는 액세스 정보 테이블의 작성 처리의 다른 일부를 도시하는 도해도, 도 10C는 액세스 정보 테이블의 작성 처리의 또 다른 일부를 도시하는 도해도.

도 11A는 인덱스 정보의 작성 처리의 일부를 도시하는 도해도, 도 11B는 인덱스 정보의 작성 처리의 다른 일부를 도시하는 도해도, 도 11C는 인덱스 정보의 작성 처리의 또 다른 일부를 도시하는 도해도.

도 12A는 액세스 정보 테이블의 작성 처리의 일부를 도시하는 도해도, 도 12B는 액세스 정보 테이블의 작성 처리의 다른 일부를 도시하는 도해도, 도 12C는 액세스 정보 테이블의 작성 처리의 또 다른 일부를 도시하는 도해도.

도 13은 촬영 처리 태스크를 행할 때의 CPU 동작의 일부를 도시하는 흐름도.

도 14는 촬영 처리 태스크를 행할 때의 CPU 동작의 다른 일부를 도시하는 흐름도.

도 15는 촬영 처리 태스크를 행할 때의 CPU 동작의 또 다른 일부를 도시하는 흐름도.

도 16은 촬영 처리 태스크를 행할 때의 CPU 동작의 또 다른 일부를 도시하는 흐름도.

도 17은 촬영 처리 태스크를 행할 때의 CPU 동작의 다른 일부를 도시하는 흐름도.

도 18은 촬영 처리 태스크를 행할 때의 CPU 동작의 또 다른 일부를 도시하는 흐름도.

도 19는 촬영 처리 태스크를 행할 때의 CPU 동작의 또 다른 일부를 도시하는 흐름도.

도 20은 BG 처리 태스크를 행할 때의 CPU 동작의 일부를 도시하는 흐름도.

도 21은 BG 처리 태스크를 행할 때의 CPU 동작의 다른 일부를 도시하는 흐름도.

<발명을 실시하기 위한 최량의 형태>

도 1을 참조하면, 이 실시예의 디지털 비디오 카메라(10)는, 이미지 센서(12)를 포함한다. 이미지 센서(12)의 전방에는 도시하지 않은 조리개 유닛 및 광학 렌즈가 배치되어 있고, 피사체의 광학상은, 이들 부재를 거쳐서, 이미지 센서(12)로 조사된다.

모드 전환 스위치(62)에 의해 촬영 모드가 선택되면, 대응하는 상태 신호가 시스템 컨트롤러(56)로부터 CPU(52)에 공급된다. CPU(52)는 μITRON과 같은 멀티태스크 OS를 탑재한 멀티태스크 CPU로, 촬영 모드에서는, 촬영 처리 태스크, 촬영 조건 제어 태스크, BG(Back Ground) 처리 태스크 등의 복수의 태스크가 병렬하여 실행된다. 구체적으로는, 각각의 태스크는, 미리 설정된 우선 순위에 따라서, 또한 후술하는 수직 동기 신호에 응답하여, 시분할로 실행된다.

촬영 처리 태스크에서는, 오퍼레이터는 메뉴키(60)의 조작에 의해 복수의 촬영 모드로부터 원하는 촬영 모드를 선택할 수 있다. 촬영 화상의 해상도 및 프레임레이트 및 취득 음성의 음향 방식, 비트레이트 및 샘플링레이트 중 어느 하나가, 각 촬영 모드에서 서로 다르다. 원하는 촬영 모드가 선택되면, 대응하는 정보 신호가 시스템 컨트롤러(56)로부터 CPU(52)로 공급된다. CPU(52)는 선택된 촬영 모드를 나타내는 촬영 모드 정보(해상도, 프레임레이트, 음향 방식, 비트레이트, 샘플링레이트)와, 여기에서 작성하는 무비 파일의 파일명을 레지스터 rgst에 저장한다.

또한, CPU(52)는 촬영 모드 정보가 나타내는 해상도 및 프레임레이트에서의 촬영을 타이밍 제너레이터(TG)(14)에 명령한다. TG(14)는 시그널 제너레이터(SG)(16)로부터 출력되는 수직 동기 신호 및 수평 동기 신호에 기초하여 원하는 촬영 모드(해상도, 프레임레이트)에 따른 타이밍 신호를 생성하고, 이미지 센서(12)를 래스터 스캔 방식으로 구동한다. 이미지 센서(12)에서는 원하는 해상도를 갖는 원시 화상 신호(전하)가 원하는 프레임레이트로 출력되고, 출력된 원시 화상 신호는 CDS/AGC 회로(18) 및 A/D 변환기(20)를 거쳐서, 디지털 신호인 원시 화상 데이터로서 신호 처리 회로(22)에 입력된다.

설정된 줌 배율이 "1.0"일 때, 신호 처리 회로(22)는 A/D 변환기(20)로부터 입력된 원시 화상 데이터에 화이트밸런스 조정, 색 분리, YUV 변환 등의 일련의 신호 처리를 실시하여 1.0배의 YUV 데이터를 생성한다. 설정된 줌 배율이 "1.0" 미만일 때, A/D 변환기(20)로부터 입력된 원시 화상 데이터는, 우선 줌 회로(22a)에 의해 축소 줌이 실시되고, 축소 줌 후에 상술한 일련의 신호 처리가 실행된다. 이러한 처리에 의해서 생성된 YUV 데이터는, 버스 B1 및 메모리 제어 회로(26)를 통하여 SDRAM(26)에 저장된다.

한편, 설정된 줌 배율이 "1.0"보다도 클 때, 즉 확대 줌 처리가 필요할 때, 줌 회로(22a)는, 우선 A/D 변환 기기(20)로부터 입력된 원시 화상 데이터를 버스 B1 및 메모리 제어 회로(24)를 통해서 SDRAM(26)에 일단 기입한다. 줌 회로(22a)는 계속해서, 확대 줌 처리에 필요한 일부 에리어의 원시 화상 데이터를 버스 B1 및 메모리 제어 회로(24)를 통해서 판독하고, 판독된 일부 에리어의 원시 화상 데이터에 확대 줌을 실시한다. 확대된 원시 화상 데이터는, 상술한 일련의 신호 처리에 의해서 YUV 데이터로 변환된다. 이것에 의해서, "1.0"보다도 큰 배율의 YUV 데이터가 생성된다. 생성된 YUV 데이터는, 버스 B1 및 메모리 제어 회로(26)를 통하여 SDRAM(26)에 저장된다.

비디오 인코더(28)는, 버스 B1 및 메모리 제어 회로(24)를 통해서 SDRAM(26)으로부터 YUV 데이터를 판독하고, 판독한 YUV 데이터를 콤포지트 화상 신호로 인코 드한다. 인코드된 콤포지트 화상 신호는 모니터(30)에 공급되고, 그 결과, 피사체의 리얼타임 동화상(스루 화상)이 모니터(30)에 표시된다.

촬영 조건 제어 태스크에서는, CPU(52)는 포커싱량, 노광 시간, 화이트밸런스 조정 게인, 전자 줌 배율 등의 촬영 조건을 제어한다. 구체적으로는, 피사체의 밝기에 따라 포커싱량 또는 노광 시간을 조정하고, 피사체의 색에 따라 화이트밸런스 조정 게인을 보정하고, 그리고 줌 키(64)의 조작 상태를 나타내는 상태 신호의 변동에 따라 전자 줌 배율을 조정한다. 그 결과, 스루 화상의 밝기 및 색 맞춤 변동이 방지되고, 줌 키(64)의 조작에 응답하여 스루 화상의 줌 배율이 변화한다.

또, 줌 키(64)에 의해서 "1.0"보다도 큰 줌 배율이 선택되었을 때, 상술한 바와 같은 원시 화상 데이터를 SDRAM(26)에 일단 저장하는 처리가 실행된다.

오퍼레이터에 의해서 셔터 버튼(58)이 눌러져, 대응하는 상태 신호가 시스템 컨트롤러(56)로부터 공급되면, CPU(52)는 촬영된 동화상을 저장한 무비 파일을 기록 매체(50)에 작성한다. 여기서, 기록 매체(50)는 착탈 가능한 기록 매체로, 슬롯(48)에 장착되었을 때에 I/F(46)에 의해 액세스가 가능해진다. 기록 매체(50)에는 CPU(50a), 버퍼 메모리(50b) 및 하드디스크(50c)가 설치되고, 하드디스크(50c)에는 도 6에 도시한 바와 같이 FAT 영역(501c), 루트 디렉토리 영역(502c) 및 데이터 영역(503c)이 형성된다. 데이터 영역(503c)으로의 데이터 기입은, 버퍼 메모리(50b)를 통하여 소정량씩 행해진다.

동화상의 기록 시에, CPU(52)는 BG 처리 태스크를 기동한다. 이 때, 촬영 처리 태스크와 BG 처리 태스크 사이에 처리가 원활하게 행해지도록, 도 4에 도시한 바와 같은 지시 리스트(52a)가 작성된다.

지시 리스트(52a)에는, 우선 "BG 처리 개시", "파일 작성", "테이블 작성" 및 "파일 오픈" 각각에 대응하는 커맨드 및 파라미터가 설정된다. "BG 처리 개시"에 의해서 BG 처리 태스크가 개시되고, "파일 작성"에 의해서 무비 파일의 파일명과 "0"을 나타내는 사이즈 정보가 도 6에 도시하는 루트 디렉토리 영역(502c)에 기입된다. "테이블 작성"에는, 도 7에 도시한 바와 같은 빈 영역 테이블(52c)이 작성된다. 도 7에 따르면, 데이터 영역(503c)에 형성된 각각의 빈 영역의 선두 어드레스 및 빈 사이즈가, 사이즈가 큰 순서로 설정된다. "파일 오픈"에서는, 데이터를 기입하는 무비 파일을 특정하기 위한 핸들 번호가 작성된다.

이렇게 해서 데이터 기입의 준비가 완료되면, CPU(52)는 무비 파일 헤더를 작성하기 위해, 다음의 1 프레임 기간에서 썸네일 화상의 취득 처리 및 헤더 정보의 작성 처리를 행한다. 우선, 신호 처리 회로(22)에 씨닝 처리를 명령하고, JPEG 코덱(32)에 압축 처리를 명령한다. 신호 처리 회로(22)는 상술한 YUV 변환 외에 추가로 씨닝 처리를 행하고, 이것에 의해서 생성된 썸네일 YUV 데이터를 버스 B1 및 메모리 제어 회로(24)를 통해서 SDRAM(26)에 기입한다. JPEG 코덱(32)은, 버스 B1 및 메모리 제어 회로(24)를 통해서 SDRAM(26)으로부터 썸네일 YUV 데이터를 판독하고, 판독된 썸네일 YUV 데이터에 JPEG 압축을 실시한다. JPEG 코덱(32)은 그 후, JPEG 압축에 의해서 생성된 썸네일 화상의 JPEC 원시 데이터 Rth를 버스 B1 및 메모리 제어 회로(24)를 통해서 SDRAM(26)에 기입한다.

또한, CPU(46)는 썸네일 화상의 JPEG 헤더 Hth를 스스로 작성하고, 작성한 JPEG 헤더 Hth를 버스 B1 및 메모리 제어 회로(24)를 통해서 SDRAM(26)에 기입한다. 또한, CPU(46)는 상술한 촬영 모드 정보를 포함하는 헤더 정보 Hinf를 스스로 작성하고, 작성한 헤더 정보 Hinf를 버스 B1 및 메모리 제어 회로(24)를 통해서 SDRAM(26)에 기입한다. 이에 의해, JPEG 원시 데이터 Rth, JPEG 헤더 Hth 및 헤더 정보 Hinf가, 도 2에 도시한 바와 같이 SDRAM(26)에 맵핑된다.

지시 리스트(52a)에는, "파일 기입"이 설정된다. 이 "파일 기입"이 BG 처리에 의해서 실행됨으로써, JPEG 원시 데이터 Rth, JPEG 헤더 Hth 및 헤더 정보 Hinf가 SDRAM(26)으로부터 판독되고, 버스 B1 및 I/F 회로(46)를 통하여 기록 매체(50)에 공급된다. 이것에 의해서, 도 7에 도시하는 무비 파일 헤더가 도 6에 도시하는 데이터 영역(503c)에 작성된다. 또, JPEG 헤더 Hth 및 JPEG 원시 데이터 Rth에 의해, 도 7에 도시하는 JPEG 데이터 TH가 형성된다.

무비 파일 헤더의 작성이 완료되면, CPU(52)는 수직 동기 신호가 발생할 때마다 화상 취득 처리 및 음성 취득 처리를 행한다.

화상 취득 처리에서는, 스스로 작성한 JPEG 헤더를 버스 B1 및 메모리 제어 회로(24)를 통해서 SDRAM(26)에 기입함과 함께, JPEG 코덱(32)에 압축 명령을 공급한다. JPEG 코덱(32)은 압축 명령이 공급되었을 때, 현 프레임의 YUV 데이터를 버스 B1 및 메모리 제어 회로(24)를 통해서 SDRAM(26)으로부터 판독하고, 판독된 YUV 데이터를 목표 사이즈까지 압축한다. 압축 처리에 의해 현 프레임의 JPEG 원시 데이터가 생성되면, JPEG 코덱(32)은 이 JPEG 원시 데이터를 버스 B1 및 메모리 제어 회로(24)를 통해서 SDRAM(26)에 기입한다.

여기서, JPEG 압축 시의 목표 사이즈는 기록 매체(50)로의 기록 상황에 따라 변경된다. 즉, 기록 처리 속도가 느리면, 보틀넥에 의해 처리가 실패할 가능성이 있기 때문에, 기록 매체(50)의 기록 상황이 주기적으로 검출되고, 검출 결과에 따라 JPEG 압축 시의 목표 사이즈가 변경된다. 이 목표 사이즈 변경 처리에 대해서는, 후단에서 자세히 설명한다.

음성 취득 처리에서는 신호 처리 회로(38)에 처리 명령을 공급한다. 신호 처리 회로(38)는 처리 명령이 공급되었을 때, SRAM(38a)에 축적된 1 프레임 상당의 음성 데이터를 버스 B1 및 메모리 제어 회로(38a)를 통해서 SDRAM(26)에 기입한다. 이러한 화상 취득 처리 및 음성 취득 처리가 1 프레임 기간마다 행해진 결과, 각 프레임의 JPEG 헤더, JPEG 원시 데이터 및 음성 데이터는, 도 2에 도시한 바와 같이 SDRAM(26)에 맵핑된다.

또한, 도 2에서 JPEG 헤더 및 JPEG 원시 데이터에는 1 프레임마다 연속 번호 0, 1, 2, …가 부여되지만, 음성 데이터에는 3 프레임마다 연속 번호 0, 1, 2, …가 부여된다. 또한, 동일한 번호가 부여된 JPEG 헤더 및 JPEG 원시 데이터에 의해서 1 프레임분의 JPEG 데이터가 형성되고, 각 프레임의 JPEG 데이터의 선두 및 말미에는, 도 8에 도시한 바와 같이 마커 SOI(Start Of Image) 및 EOI(End Of Image)가 할당된다.

또한, CPU(52)는 1 프레임 기간이 경과할 때마다 JPEG 원시 데이터의 액세스 정보, JPEG 헤더의 액세스 정보 및 JPEG 데이터의 인덱스 정보를 작성하고, 3 프레임 기간이 경과할 때마다 음성 데이터의 액세스 정보 및 음성 데이터의 인덱스 정 보를 작성한다.

JPEG 원시 데이터의 액세스 정보는, 각 프레임의 데이터 사이즈와 SDRAM(26)에서의 선두 어드레스로 이루어지고, 또한 JPEG 헤더의 액세스 정보도, 각 프레임의 데이터 사이즈와 SDRAM(26)에서의 선두 어드레스로 이루어진다. JPEG 데이터의 인덱스 정보는 각 프레임의 데이터 사이즈와 기록 매체(50)에 기입되었을 때의 무비 파일의 선두부터의 거리로 이루어진다.

또한, 음성 데이터의 액세스 정보는 3 프레임 상당의 데이터 사이즈와 SDRAM(26)에서의 선두 어드레스로 이루어지고, 음성 데이터의 인덱스 정보는, 3 프레임 상당의 데이터 사이즈와 기록 매체(50)에 기입되었을 때의 무비 파일의 선두부터의 거리로 이루어진다.

액세스 정보는 도 5에 도시하는 액세스 정보 테이블(52b)에 작성되고, 인덱스 정보는 도 3에 도시한 형태로 SDRAM(26)에 작성된다. 도 5에 따르면, 3 프레임분의 JPEG 원시 데이터의 SDRAM 어드레스 및 데이터 사이즈와, 3 프레임분의 JPEG 헤더의 SDRAM 어드레스 및 데이터 사이즈와, 3 프레임 상당의 음성 데이터의 SDRAM 어드레스 및 데이터 사이즈가 서로 관련된다. 또한, 도 3에 따르면, 3 프레임 상당의 음성 데이터의 위치 정보 및 사이즈 정보와 3 프레임분의 JPEG 데이터의 위치 정보 및 사이즈 정보가, SDRAM(26)에 교대로 맵핑된다.

또한, 음성 신호의 샘플링 주파수에는 하드웨어에 의한 실제 처리와 소프트웨어의 계산 사이에서 편차가 발생하는 경우가 있다. 이 실시예에서는, 이 편차를 보상하도록, JPEG 데이터의 인덱스 정보 및 액세스 정보에 씨닝/보간이 실시된다. 그 씨닝/보간 처리에 대해서는, 후단에서 자세히 설명한다.

CPU(52)는, 3 프레임 상당의 음성 데이터와 3 프레임의 JPEG 데이터를 기록 매체(50)에 기입하도록, 상술한 액세스 정보에 기초하여 "파일 기입"을 지시 리스트(52a)에 설정한다. BG 처리에 의해서 이 "파일 기입"이 실행됨으로써, 3 프레임 상당의 음성 데이터와 3 프레임의 JPEG 데이터가 SDRAM(26)으로부터 판독되고, 버스 B1 및 I/F 회로(46)를 통하여 기록 매체(50)에 공급된다. 기록 매체(50)의 데이터 영역(503c)에는, 3 프레임 상당의 음성 데이터로 이루어지는 음성 청크(chunk)와 3 프레임의 JPEG 데이터로 이루어지는 화상 청크가 기록된다. 도 8에 도시한 바와 같이, 음성 청크 및 화상 청크는 무비 파일 상에 교대로 맵핑된다.

셔터 버튼(58)이 재차 눌러지면, CPU(52)는 화상 취득 및 음성 취득을 중지하고, 도 3에 도시한 형태로 SDRAM(26)에 작성된 인덱스 정보를 기록 매체(50)에 기록하도록 "파일 기입"을 지시 리스트(52a)에 설정한다. BG 처리 태스크에 의해서 이 "파일 기입"이 실행됨으로써, 인덱스 정보가 SDRAM(26)으로부터 판독되고, 버스 B1 및 I/F 회로(46)를 통하여 기록 매체(50)에 공급된다. 그 결과, 도 8에 도시하는 인덱스 청크가 무비 파일의 말미에 형성된다. 인덱스 청크에서는, 음성 데이터의 파일 상의 위치 및 사이즈는 3 프레임에 상당하는 시간마다 관리되고, JPEG 데이터의 파일 상의 위치 및 사이즈는 1 프레임마다 관리된다.

인덱스 청크의 작성이 완료되면, CPU(52)는 금회 작성된 무비 파일의 토탈 사이즈값을 산출하고, 산출한 토탈 사이즈값을 무비 파일 헤더에 기입하도록 "파일 기입"을 지시 리스트(52a)에 설정한다. 이 파일 기입이 BG 처리 태스크에 의해 실 행됨으로써 토탈 사이즈값이 무비 파일 헤더의 헤더 정보 Hinf에 추가되고, 이에 의해서 QuickTime 규격을 만족하는 무비 파일의 작성이 완료된다.

CPU(52)는 계속해서, "파일 클로즈" 및 "BG 처리 종료"를 지시 리스트(52a)에 설정한다. "파일 클로즈"가 BG 처리에 의해서 실행되면, 루트 디렉토리 영역(502c)에 기입된 사이즈 정보와 FAT 영역(501c)에 기입된 FAT 정보가 갱신된다. 구체적으로는, 금회 작성된 무비 파일의 파일명이 디렉토리 엔트리로부터 검출되고, 검출된 파일명에 할당된 사이즈 정보가 "0"에서 토탈 사이즈값으로 갱신된다. 또한, 금회 작성된 무비 파일의 기입 영역(클래스터)에 링크가 형성되도록 FAT 정보가 갱신된다. BG 처리는 "BG 처리 종료"에 의해 종료된다.

모드 전환 스위치(62)에 의해서 재생 모드가 선택되고, 또한 메뉴키(60)에 의해서 원하는 무비 파일이 선택되면, 대응하는 상태 신호가 시스템 컨트롤러(56)에 공급된다. CPU(52)는, 선택된 무비 파일을 기록 매체(50)로부터 검출하고, 검출한 무비 파일 내의 음성 데이터 및 JPEG 데이터를 재생한다. 이 때, 재생 순서는 무비 파일 내의 인덱스 정보에 따른다.

도 3에 도시한 형태로 작성된 인덱스 정보가 무비 파일에 존재하는 경우, 음성 데이터 및 JPEG 데이터는, 음성 데이터 0, JPEG 데이터 0∼2, 음성 데이터 1, JPEG 데이터 3∼5, …의 순서로 기록 매체(50)로부터 판독된다. 판독된 음성 데이터 및 JPEG 데이터는, 우선 메모리 제어 회로(24)에 의해서 SDRAM(26)에 저장된다. CPU(52)는, JPEG 데이터의 인덱스 정보에 따른 순서로 JPEG 코덱(32)에 신장 명령을 공급하고, 음성 데이터의 인덱스 정보에 따른 순서로 신호 처리 회로(40)에 처 리 명령을 공급한다.

JPEG 코덱(32)은 원하는 프레임의 JPEG 데이터를 형성하는 JPEG 원시 데이터를 버스 B1 및 메모리 제어 회로(24)를 통해서 SDRAM(26)으로부터 판독하고, 판독된 JPEG 원시 데이터에 JPEG 신장을 실시한다. JPEG 신장에 의해서 생성된 YUV 데이터는, 버스 B1 및 메모리 제어 회로(24)를 통해서 SDRAM(26)에 저장되고, 그 후 버스 B1 및 메모리 제어 회로(24)를 통해서 비디오 인코더(28)에 공급된다. 그 결과, 대응하는 재생 화상이 모니터(30)에 표시된다.

신호 처리 회로(40)는, 원하는 3 프레임에 상당하는 음성 데이터를 버스 B1 및 메모리 제어 회로(24)를 통해서 SDRAM(26)으로부터 판독하고, 판독된 음성 데이터를 SRAM(40a)에 축적한다. SRAM(40a)에 축적된 음성 데이터는 그 후 D/A 변환기(42)에 의해서 아날로그 음성 신호로 변환되고, 변환된 음성 신호가 스피커(44)로부터 출력된다.

이러한 처리가 반복됨으로써, 재생 동화상이 모니터(30)에 표시되고, 이 재생 동화상에 동기하는 음성 신호가 스피커(44)로부터 출력된다.

촬영 모드가 선택되었을 때, CPU(52)는 ROM(54)에 기억된 제어 프로그램에 따라서, 도 13∼도 19에 도시하는 촬영 처리 태스크와 도 20∼도 21에 도시하는 BG 처리 태스크를 실행한다.

우선 도 13을 참조하여, 단계 S1에서는 촬영 모드 결정 처리를 행한다. 구체적으로는, 복수의 촬영 모드를 나타내는 메뉴를 모니터(30)에 표시하고, 메뉴키(52)의 조작에 응답하여 원하는 촬영 모드를 결정한다. 촬영 모드가 결정되 면 단계 S3으로 진행하여, 결정된 촬영 모드를 나타내는 촬영 모드 정보를 작성한다. 설정 정보는, 예를 들면 "해상도: VGA", "프레임레이트: 30fps", "음향 방식: 모노럴", "비트레이트: 8 비트", "샘플링레이트: 8040㎐"가 된다. 단계 S5에서는, 금회의 촬영 처리에 의해 작성한 무비 파일의 파일명을 결정한다. 파일명은, 예를 들면 "VCLP0003.MOV"가 된다. 작성/결정된 촬영 모드 정보 및 파일명은, 레지스터 rgst에 등록된다.

단계 S7에서는, 각종 변수를 초기화한다. 구체적으로는, 변수 I, frmcnt, flsz, BG_RemData, pre_flsz, t_sz 및 aud_sz 각각을 "0"으로 설정하고, 변수 trgt_sz를 최대값 MAX로 설정하고, 그리고 변수 audsz_fps를 이론값 LG로 설정한다.

여기서, 변수 i 및 frmcnt는, 모두 프레임 번호를 나타내는 변수이다. 변수 i는 수직 동기 신호에 응답하여 계속 증가되고, 변수 frmcnt는 수직 동기 신호에 응답하여 "0"∼"3" 사이에서 순환적으로 갱신된다. 변수 frmcnt가 취하는 수치 "0"∼"3" 중, 실제로 의미를 갖는 것은 "0"∼"2"이다. 상술된 바와 같이, 3 프레임의 JPEG 데이터에 의해 1개의 화상 청크가 형성된다. 변수 frmcnt는 주목하는 JPEG 데이터가 화상 청크의 몇번째 데이터인지를 특정하기 위해서 사용된다.

변수 flsz는 JPEG 압축에 의해서 생성된 JPEG 원시 데이터의 토탈 사이즈값을 나타내는 변수이다. 변수 BG_RemData는, "파일 기입"의 지시가 도 4에 도시하는 지시 리스트(52a)에 설정되지만 아직 기록 매체(50)에 기록되어 있지 않은 JPEG 원시 데이터의 사이즈를 나타내는 변수이다. 변수 pre_flsz는 기록 매체(50)에 이 미 기록된 JPEG 원시 데이터의 토탈 사이즈값을 나타내는 변수이다.

변수 trgt_sz는, 각 프레임의 YUV 데이터를 압축할 때의 목표 사이즈값을 나타내는 변수이고, 변수 t_sz는, 이 목표 사이즈값의 산출에 사용되는 변수이다.

변수 aud_sz는 취득된 음성 데이터의 토탈 사이즈값(바이트)을 나타내는 변수이고, 변수 audsz_fps는 1 프레임 상당의 음성 데이터의 사이즈값을 나타내는 변수이다. 단, 변수 audsz_fps로서 설정되는 이론값 LG는, 소프트웨어 계산 상의 샘플링레이트에 기초하여 결정된 1 프레임 상당의 음성 데이터의 사이즈값이다. 예를 들면, 결정된 촬영 모드의 실제의 샘플링레이트가 8043㎐이면, 소프트웨어 계산 상의 샘플링레이트는 8040㎐가 되고, 이론값 LG는 268(=8040/30)바이트가 된다. 또, 8040㎐라는 수치는, 하드웨어 상에서의 데이터 전송이 1 워드(=4바이트) 단위로 실행되는 것, 및 이론값 LG를 정수로 표현할 수 있는 것을 근거로 하는 것이다.

단계 S9에서는, 스루 화상 표시를 행하도록, TG(14), 신호 처리 회로(22) 및 비디오 인코더(28) 각각에 처리 명령을 공급한다. 모니터(30)에는, 피사체의 스루 화상이 표시된다. 스루 화상이 표시되어 있는 상태에서 오퍼레이터가 셔터 버튼(58)을 누르면, 단계 S11∼S19 각각에 "BG 처리 개시", "파일 작성", "테이블 작성" 및 "파일 오픈"을 도 4에 도시하는 지시 리스트(52a)의 리스트 번호 "0"∼"3"으로 설정한다.

종류	커맨드	파라미터 1	파라미터 2	파라미터 3	파라미터 4
BG 처리 개시	FILE_STRT	-------	-------	-------	-------
파일 작성	FILE_CREATE	드라이브 번호	파일 패스	-------	-------
테이블 작성	FILE_SET_ALLOC	드라이브 번호	-------	-------	-------
파일 오픈	FILE_OPEN	드라이브 번호	파일 패스	-------	-------
파일 기입	FILE_WRITE	핸들 번호	SDRAM 어드레스	사이즈(byte)	데이터 종별
파일 클로즈	FILE_CLOSE	-------	-------	-------	-------
BG 처리 종료	FILE_END	-------	-------	-------	-------

표 1을 참조하여, "BG 처리 개시"에서는 커맨드로서 FILE_STRT가 설정되고, "파일 작성"에서는 커맨드, 파라미터 1 및 2로서 FILE_CREATE, 드라이브 번호(기록 매체(44)를 구동하는 드라이브의 번호) 및 파일 패스가 설정된다. 또한, "테이블 작성"에서는 커맨드 및 파라미터 1로서 FILE_SET_ALLOC 및 드라이브 번호가 설정되고, "파일 오픈"에서는 커맨드, 파라미터 1 및 2로서 FILE_OPEN, 드라이브 번호 및 파일 패스가 설정된다. "파일 작성"에서 설정되는 파일 패스에는 사이즈 정보와 단계 S25에서 결정된 파일명이 포함되고, 이 사이즈 정보 및 파일명이 디렉토리 엔트리에 기입된다. 단, 무비 파일은 미완성이기 때문에, 사이즈 정보는 "0"을 나타낸다.

단계 S19의 처리가 완료된 후, SG(16)로부터 수직 동기 신호가 출력되면, 단계 S21에서 "예"라고 판단하고, 단계 S23에서 변수 i의 값을 판별한다. 여기서 변수 i가 "1" 이상의 값이면 그대로 단계 S31로 진행하지만, 변수 i가 "0"이면 단계 S25∼S29의 처리를 거쳐서 단계 S31로 진행한다.

단계 S25에서는, 썸네일 화상의 취득 처리를 행한다. 구체적으로는, 스스로 작성한 JPEG 헤더 Hth를 SDRAM(26)에 기입함과 함께, 신호 처리 회로(22) 및 JPEG 코덱(32) 각각에 씨닝 처리 및 압축 처리를 명령한다.

신호 처리 회로(22)는, YUV 데이터의 씨닝 처리를 1 프레임 기간에 걸쳐 행하고, 이에 의해서 생성된 썸네일 YUV 데이터를 버스 B1 및 메모리 제어 회로(24)를 통해서 SDRAM(26)에 기입한다. JPEG 코덱(32)은 이 썸네일 YUV 데이터를 버스 B1 및 메모리 제어 회로(24)를 통해서 SDRAM(26)으로부터 판독하고, 판독된 썸네일 YUV 데이터에 JPEG 압축 처리를 실시하여 JPEG 원시 데이터 Rth를 생성하고, 그리고 JPEG 원시 데이터 Rth를 버스 B1 및 메모리 제어 회로(24)를 통해서 SDRAM(26)에 기입한다. JPEG 헤더 Hth 및 JPEG 원시 데이터 Rth는, 도 2에 도시한 바와 같이 SDRAM(26)에 맵핑된다.

계속되는 단계 S27에서는, 상술한 촬영 모드 정보(해상도, 프레임레이트, 음향 방식, 비트레이트, 샘플링레이트)를 포함한 헤더 정보 Hinf를 작성하고, 이 헤더 정보 Hinf를 버스 B1 및 메모리 제어 회로(24)를 통해서 SDRAM(26)에 기입한다. 헤더 정보 Hinf는, 도 2에 도시한 바와 같이 JPEG 헤더 Hth 위에 맵핑된다.

이렇게 해서 무비 파일 헤더를 형성하는 헤더 정보 Hinf, JPEG 헤더 Hth 및 JPEG 원시 데이터 Rth가 SDRAM(26)에 저장되면, 단계 S29에서 "파일 기입"을 도 4에 도시하는 지시 리스트(52a)의 리스트 번호 "4" 및 "5"의 란에 설정한다. 표 1에서 알 수 있듯이, "파일 기입"에서는 커맨드, 파라미터 1, 2, 3 및 4로서 FILE_WRITE, 핸들 번호(파일 오픈 처리에 의해 획득), SDRAM 어드레스, 데이터 사이즈 및 데이터 종별이 설정된다. "파일 기입"이 2개 설정되는 것은, SDRAM(26) 상에서 헤더 정보 Hinf 및 JPEG 헤더 Hth는 연속하고 있지만, JPEG 원시 데이터 Rth는 떨어져 있는 위치에 저장되어 있기 때문이다.

리스트 번호 "4"의 란에서는, SDRAM 어드레스로서 헤더 정보 Hinf의 개시 어드레스가 설정되고, 데이터 사이즈로서 헤더 정보 Hinf 및 JPEG 헤더 Hth의 합계 사이즈가 설정되고, 그리고 데이터 종별로서 "무비 파일 헤더"가 설정된다. 또한, 리스트 번호 "5" 란에서는, SDRAM 어드레스로서 JPEG 원시 데이터 Rth의 개시 어드레스가 설정되고, 데이터 사이즈로서 JPEG 원시 데이터 Rth의 사이즈가 설정되고, 그리고 데이터 종별로서 "무비 파일 헤더"가 설정된다. 그 결과, 도 8에 도시하는 무비 파일 헤더 위에는, 헤더 정보 Hinf, JPEG 헤더 Hth 및 JPEG 원시 데이터 Rth가 이 순서대로 연속하게 된다. 또, 상술된 바와 같이 JPEG 헤더 Hth 및 JPEG 원시 데이터 Rth에 의해서, JPEG 데이터 TH가 형성된다.

단계 S31에서는, JPEG 코덱(32)에 압축 처리 명령을 공급한다. 이 압축 처리 명령에는, 변수 trgt_sz에 따른 목표 사이즈값이 포함된다. JPEG 코덱(32)은, 1 프레임분의 YUV 데이터를 버스 B1 및 메모리 제어 회로(24)를 통해서 SDRAM(26)으로부터 판독하고, 판독된 YUV 데이터에 압축 처리를 실시하여 목표 사이즈에 가까운 사이즈의 JPEG 원시 데이터를 작성하고, 그리고 생성된 JPEG 원시 데이터를 버스 B1 및 메모리 제어 회로(24)를 통해서 SDRAM(26)에 기입한다. JPEG 원시 데이터는, 도 2에 도시한 형태로 SDRAM(26)에 맵핑된다. 상술된 바와 같이, 동일한 프레임으로 얻어진 JPEG 헤더 및 JPEG 원시 데이터에 의해서 상기 프레임의 JPEG 데이터가 형성되고, 이 JPEG 데이터의 선두 및 말미에는 마커 SOI 및 EOI가 기입된다.

단계 S33에서는, 1 프레임에 상당하는 음성 데이터의 취득 처리를 행하도록, 신호 처리 회로(38)에 처리 명령을 공급한다. 신호 처리 회로(38)는 A/D 변환기(36)로부터 공급되고 또한 SRAM(38a)에 유지된 1 프레임 상당의 음성 데이터를, 버스 B1 및 메모리 제어 회로(24)를 통해서 SDRAM(26)에 기입한다. 음성 데이터는 도 2에 도시한 형태로 SDRAM(26)에 맵핑된다. 또한, 신호 처리 회로(38)는 SDRAM(26)에 기입한 음성 데이터의 사이즈값, 즉 취득 사이즈값을 CPU(52)로 반송한다. 이 때문에, 단계 S35에서는 수학식 1에 따른 연산을 실행하여, 반송된 취득 사이즈값을 변수 aud_sz에 적산한다.

수학식 1의 연산이 완료되면, 단계 S37에서 JPEG 압축 완료의 유무를 판별한다. JPEG 코덱(32)은, 단계 S31의 압축 명령에 기초한 JPEG 압축이 완료되면, 생성된 JPEG 원시 데이터의 사이즈값 즉 압축 사이즈값과 압축 완료 신호를 CPU(46)로 반송한다. 이에 따라, 단계 S37에서는 압축 완료 신호가 반송되었을 때에 "예"라고 판단된다.

단계 S39에서는, 반송된 압축 사이즈값을 변수 flsz에 가산하도록, 수학식 2의 연산을 실행한다.

단계 S41에서는, 스스로 작성한 JPEG 헤더를 버스 B1 및 메모리 제어 회로(24)를 통해서 SDRAM(26)에 기입하고, 계속되는 단계 S43에서는, 현 프레임의 JPEG 데이터의 인덱스 정보를 버스 B1 및 메모리 제어 회로(24)를 통해서 SDRAM(26)에 기입한다. JPEG 헤더는 도 2에 도시한 형태로 SDRAM(26)에 맵핑되고, 인덱스 정보는 도 3에 도시한 형태로 SDRAM(26)에 맵핑된다.

상술된 바와 같이, 무비 파일의 인덱스 청크에서는, JPEG 데이터의 파일 상의 위치 및 사이즈는 1 프레임마다 관리된다. 이 때문에, 단계 S43에서는, 1 프레임의 JPEG 데이터의 위치 정보 및 사이즈 정보를 인덱스 정보로서 작성한다. 또한, 무비 파일 상에서는 3 프레임분의 JPEG 데이터에 의해서 하나의 화상 청크가 형성된다. 이 때문에, 단계 S43에서는, 현 프레임이 연속하는 3 프레임의 몇번째인지를 변수 frmcnt부터 특정하고, 이에 의해 인덱스 정보를 SDRAM(26)의 어떤 위치에 작성할지를 결정한다.

단계 S45에서는, 현 프레임의 JPEG 원시 데이터 및 JPEG 헤더의 액세스 정보를 도 5에 도시하는 액세스 정보 테이블(52b) 내에 작성한다. 즉, SDRAM(26)에 존재하는 현 프레임의 JPEG 원시 데이터의 선두 어드레스 정보 및 사이즈 정보를 현 프레임의 JPEG 원시 데이터의 액세스 정보로서 작성하고, SDRAM(26)에 존재하는 현 프레임의 JPEG 헤더의 선두 어드레스 정보 및 사이즈 정보를 현 프레임의 JPEG 헤더의 액세스 정보로서 작성한다. 그리고 작성한 각각의 액세스 정보를 액세스 정보 테이블(52b)에 설정된 변수 i에 할당한다.

단계 S45의 처리가 완료되면, 단계 S47에서 변수 i를 현 촬영 모드의 프레임레이트값 FPS와 비교한다. 현 촬영 모드의 프레임레이트가 30fps이면, 프레임레이트값 FPS는 "30"이 되고, 변수 i는 "30"과 비교된다. 그리고, i<FPS이면 그대로 단계 S83으로 진행하지만, i≥FPS이면 단계 S49∼81의 처리를 거쳐서 단계 S81로 진행한다.

단계 S49에서는 변수 frmcnt가 "2" 미만인지의 여부를 판단하고, "예"이면, 수학식 3의 조건이 만족되는지의 여부를 단계 S51에서 판단한다. 한편, 변수 frmcnt가 "2" 이상이면, 수학식 4의 조건이 만족되는지의 여부를 단계 S59에서 판단한다.

aud_sz는, 실제로 취득된 음성 데이터의 토탈 사이즈값으로, audsz_fps*(i+1)는, 취득 개시로부터의 프레임 수와 이론값 LG와의 승산값이다. 수학식 3 및 수학식 4 중 어느 하나에서도, 양 수치의 차분값이 이론값 LG와 비교된다. 그리고, 차분값이 이론값 LG 이하에 있는 한 그대로 단계 S63으로 진행하지만, 차분값이 이론값 LG를 상회하면, 단계 S53∼S57을 거쳐서, 혹은 단계 S61을 거쳐서, 단계 S63으로 진행한다.

예를 들면, 실제의 샘플링레이트가 8043㎐이고, 소프트웨어 계산 상의 샘플링레이트가 8040㎐이면, 양자의 오차는 3㎐이다. 그러면, 1초에 상당하는 음성 데이터의 사이즈값에 3바이트의 편차가 발생한다. 이론값 LG는 268바이트이기 때문 에, 약 90초에 1회의 비율로 수학식 3의 조건이 만족되고, 단계 S53∼S57이 처리된다. 또한, 실제의 샘플링레이트가 8034㎐이고 소프트웨어 계산 상의 샘플링레이트가 8040㎐이면, 양자의 오차는 6㎐가 된다. 이 때에는, 약 45초에 1회의 비율로 수학식 4의 조건이 만족되고, 단계 S61의 처리가 실행된다.

단계 S53에서는, 변수 i 및 frmcnt 각각을 증가한다. 단계 S55에서는 전회와 동일한 화상 인덱스 정보, 즉 직전의 단계 S43에서 작성한 인덱스 정보와 동일한 인덱스 정보를 SDRAM(26) 내에 작성하고, 단계 S57에서는 전회와 동일한 액세스 정보 즉 직전의 단계 S45에서 작성한 액세스 정보와 동일한 액세스 정보를 액세스 정보 테이블(52b) 내에 작성한다. 단계 S57의 처리가 완료되면, 단계 S63으로 진행한다. 한편, 단계 S61에서는 변수 i 및 frmcnt 각각을 감소하고, 그 후 단계 S63으로 진행한다.

따라서, 인덱스 정보가 도 9A에 도시한 형태로 SDRAM(26)에 설정되고 또한 액세스 정보가 도 10A에 도시한 형태로 액세스 정보 테이블(52b)로 설정된 후에 수학식 3에 나타내는 조건이 만족된 경우, 단계 S53∼S57 처리에 의해서, 동일한 JPEG 데이터의 인덱스 정보가 도 9B에 도시한 바와 같이 SDRAM(26)에 설정되고, 동일한 JPEG 데이터를 형성하는 JPEG 원시 데이터 및 JPEG 헤더의 액세스 정보가 도 10B에 도시한 바와 같이 액세스 정보 테이블(52b)에 설정된다.

도 9A에 따르면, JPEG 데이터 P의 인덱스 정보가 SDRAM(26)에 설정되어 있다. 이 상태에서, 변수 frmcnt가 증가되고, 또한 직전의 단계 S43에서 작성한 인덱스 정보가 재차 유효화되기 때문에, 도 9B에 도시한 바와 같이 JPEG 데이터 P의 인덱스 정보가 보간된다. JPEG 데이터 P의 인덱스 정보가 보간된 후에는, 도 9C에 도시한 바와 같이 JPEG 데이터 P+1의 인덱스 정보가 설정된다.

도 10A에 따르면, JPEG 원시 데이터 P 및 JPEG 헤더 P의 액세스 정보가 변수 i(=P)에 할당되어 있다. 이 상태에서 변수 i가 증가되고, 또한 직전의 단계 S45에서 작성한 액세스 정보가 재차 유효화되기 때문에, 도 10B에 도시한 바와 같이 JPEG 원시 데이터 P 및 JPEG 헤더 P의 액세스 정보가 변수 i(=P+1)에 할당되게 된다. JPEG 원시 데이터 P 및 JPEG 헤더 P의 액세스 정보가 보간된 후에는, 도 10C에 도시한 바와 같이 JPEG 원시 데이터 P+1 및 JPEG 헤더 P+1의 액세스 정보가 변수 i(=P+2)에 할당된다.

한편, 인덱스 정보가 도 11A에 도시한 형태로 SDRAM(26)에 설정되고 또한 액세스 정보가 도 12A에 도시한 형태로 액세스 정보 테이블(52b)에 설정된 후에 수학식 4에 도시하는 조건이 만족된 경우, 단계 S61의 처리에 의해서, 도 11B에 도시한 바와 같이, 인덱스 정보의 일부가 후속의 인덱스 정보에 의해서 덧씌우기되고, 도 12B에 도시한 바와 같이 액세스 정보의 일부가 후속의 액세스 정보에 의해서 덧씌우기된다.

도 11A에 따르면, JPEG 데이터 P의 인덱스 정보와 JPEG 데이터 P+1의 인덱스 정보가, SDRAM(26)에 설정되어 있다. 이 상태에서 변수 frmcnt가 감소되기 때문에, 다음회의 단계 S43의 처리에 의해서, 도 11B에 도시한 바와 같이, JPEG 데이터 P+1의 인덱스 정보가 JPEG 데이터 P+2의 인덱스 정보에 의해서 덧씌우기된다. 이것에 의해서, JPEG 데이터 P+1의 인덱스 정보가 씨닝된다. JPEG 데이터 P+2의 인 덱스 정보 다음은, 도 11C에 도시한 바와 같이 JPEG 데이터 P+3의 인덱스 정보가 설정된다.

도 12A에 따르면, JPEG 원시 데이터 P 및 JPEG 헤더 P의 액세스 정보와 JPEG 원시 데이터 P+1 및 JPEG 헤더 P+1의 액세스 정보가, 액세스 정보 테이블(52b)에 설정되어 있다. 이 상태에서 변수 i가 감소되기 때문에, 다음회의 단계 S45의 처리에 의해서, 도 12B에 도시한 바와 같이, JPEG 원시 데이터 P+1 및 JPEG 헤더 P+1의 액세스 정보가 JPEG 원시 데이터 P+2 및 JPEG 헤더 P+2의 액세스 정보에 의해서 덧씌우기된다. 이것에 의해서, JPEG 데이터 P+1의 액세스 정보가 씨닝된다. JPEG 원시 데이터 P+2 및 JPEG 헤더 P+2의 액세스 정보 다음은, 도 12C에 도시한 바와 같이 JPEG 원시 데이터 P+3 및 JPEG 헤더 P+3의 액세스 정보가 설정된다.

또, 단계 S53에서 변수 i가 증가되는 것으로, 다음회 이후의 단계 S51에서는 "아니오"와의 판단이 계속된다. 또한, 단계 S61에서 변수 i가 감소되는 것으로, 다음회 이후 "아니오" 단계 S59에서는 "아니오"와의 판단이 계속된다.

단계 S63에서는, 변수 i를 프레임레이트값 FPS으로 나눗셈하였을 때의 나머지(=i% FPS)를 판별한다. 여기서 나머지가 "0"이 아니면, 그대로 단계 S83으로 진행하지만, 나머지가 "0"이면 단계 S65∼S81의 처리를 거쳐서 단계 S83으로 진행한다. 나머지가 "0"이 되는 것은 30 프레임의 1회이기 때문에, 단계 S65∼S81의 처리는 30 프레임에 1회의 비율로 실행된다.

단계 S65에서는 변수 flsz 및 pre_flsz에 수학식 5에 따른 연산을 실시하고, 단계 S67에서는 수학식 5에 의해서 구해진 차분값 Δflsz와 변수 BG_RemData와 프 레임레이트값 FPS와 수학식 6에 따른 연산을 실시한다.

수학식 5에서, 변수 flsz는 JPEG 압축에 의해서 얻어진 JPEG 원시 데이터의 토탈 사이즈값이고, 변수 pre_flsz는 기록 매체(50)에 이미 기록된 JPEG 원시 데이터의 토탈 사이즈값이다. 후술하는 바와 같이 변수 pre_flsz는 30 프레임에 1회에 비율로만 갱신되고, 수학식 5에 따른 연산 또한 30 프레임에 1회의 비율로만 갱신되기 때문에, 차분값 Δflsz는 최신 30 프레임으로 생성된 JPEG 원시 데이터의 토탈 사이즈를 나타낸다.

수학식 6에서, 변수 BG_RemData는, "파일 기입"의 지시가 지시 리스트(52a)에 설정되지만 아직 기록 매체(50)에 기록되어 있지 않은 JPEG 원시 데이터의 토탈 사이즈값이다. 이 변수 BG_RemData는, "파일 기입"의 처리에 요하는 시간이 짧을수록 작아지고, 반대로 "파일 기입"의 처리에 요하는 시간이 길수록 커진다. 차분값Δflsz에서 이러한 변수 BG_RemData를 뺄셈한 뺄셈값은, 현 시점의 "파일 기입"의 처리 속도를 반영하고, 이 뺄셈값을 프레임레이트값 FPS로 나눗셈한 나눗셈값은, 현 시점의 처리 속도 하에서의 변수 BG_RemData의 변동량이 규정된 범위 내에 들어가는 압축 사이즈값이 된다. 이러한 압축 사이즈값이, 변수 t_sz로서 산출된다.

여기서, "파일 기입"의 처리 속도의 변동 요인으로서는, CPU(50a)의 처리 속도나 버퍼 메모리(50b)의 용량과 같은 기록 매체(50)의 특성 이외에, 버스 B1의 점유율이나 BG 처리 태스크 이외의 태스크의 처리 상황 등을 생각할 수 있다.

상술된 바와 같이, 줌 키(64)의 조작에 의해서 "1.0"보다도 큰 줌 배율이 선택되면, 원시 화상 데이터는, SDRAM(26)에 일단 저장되고나서 신호 처리 회로(22)에 입력된다. 이 때, 원시 화상 데이터는, 버스 B1을 통하여 SDRAM(26)에 공급되고, 버스 B1을 통하여 신호 처리 회로(22)로 복귀된다. 버스 B1의 점유율은 원시 화상 데이터의 전송 처리에 의해 상승하고, 이것에 의해서 "파일 기입"의 처리 속도가 저하하게 된다.

또한, 카메라의 패닝이나 틸팅에 의해서 피사체의 밝기나 색 맞춤이 크게 변화하면, 촬영 조건 제어 태스크가 기동하여, 포커싱량, 노광 시간, 화이트밸런스 조정 게인 등이 조정된다. 각각의 태스크를 동시에 실행할 수는 없기 때문에, 촬영 조건 제어 태스크가 기동하면, BG 처리 태스크는 중단되고, 이것에 의해 "파일 기입"의 처리 속도가 저하하게 된다.

이 실시예에서는, 이러한 "파일 기입"의 처리 속도의 변동을 고려하여, 변수 t_sz를 주기적으로 갱신하도록 하고 있다. 변수 t_sz의 갱신 결과, 후술하는 바와 같이 목표 사이즈값 더 나아가서는 JPEG 압축율이 갱신된다.

단계 S69에서는 산출된 변수 t_sz를 변수 trgt_sz와 비교하고, t_sz<trgt_sz이면, 단계 S71에서 변수 t_sz를 최소값 MIN과 비교한다. 그리고, t_sz≥MIN이면 그대로 단계 S79로 진행하지만, t_sz<MIN이면 단계 S73에서 변수 t_sz를 최소값 MIN으로 갱신하고나서 단계 S79로 진행한다. 한편, 단계 S69에서 t_sz≥trgt_sz라고 판단되면, 단계 S75에서 변수 t_sz를 최대값 MAX와 비교한다. 그리고, t_sz≤MAX이면 그대로 단계 S79로 진행하지만, t_sz>MAX이면 단계 S77에서 변수 t_sz를 최대값 MAX로 갱신하고나서 단계 S79로 진행한다. 단계 S79에서는, 변수 t_sz를 변수 trgt_sz로서 설정한다.

수학식 6에 따르면, 변수 BG_RemData가 크면 변수 t_sz가 작아지고, 반대로 변수 BG_RemData가 작으면 변수 t_sz가 커진다. 따라서, "t_sz<trgt_sz"는, 미기록의 JPEG 데이터량이 많은 것, 즉 "파일 기입"의 처리 속도가 느린 것을 의미한다. 또한, "t_sz≥trgt_sz"는, 미기록의 JPEG 데이터량이 적은 것, 즉 기록 매체(50)의 기록 특성이 우수한 것을 의미한다.

그래서, 변수 t_sz가 변수 trgt_sz를 하회할 때에는, 보다 작은 목표 사이즈값(보다 높은 JPEG 압축율)을 다음의 1초 동안 유효화하도록, 변수 t_sz를 변수 trgt_sz로서 설정한다. 이것에 의해서, 다음회의 1초 동안 생성되는 JPEG 데이터의 사이즈는 금회의 1초 동안 생성된 JPEG 데이터보다도 작아져, "파일 기입"의 처리 속도 저하에 기인하는 처리의 실패를 피할 수 있다.

한편, 변수 t_sz가 변수 trgt_sz 이상일 때는, 보다 큰 목표 사이즈값(보다 낮은 JPEG 압축율)을 다음의 1초 동안 유효화하도록, 변수 t_sz를 변수 trgt_sz로 설정한다. 이것에 의해서, 다음회의 1초 동안 생성되는 JPEG 데이터의 사이즈는 금회의 1초 동안 생성된 JPEG 데이터보다도 커져, 압축 처리에 기인하는 화질의 열화가 저감된다.

단계 S81에서는, 변수 flsz 및 BG_RemData에 수학식 7의 연산을 실시하여, 변수 pre_flsz를 갱신한다.

수학식 7에 따르면, 지금까지 생성된 JPEG 원시 데이터의 토탈 사이즈값으로부터, 미기록의 JPEG 원시 데이터의 토탈 사이즈값이 뺄셈된다. 또한 이 연산도 30 프레임마다 실행되기 때문에, 변수 pre_flsz는 30 프레임에 1회의 비율로 갱신된다. 다음회, 즉 30 프레임 후의 수학식 5의 연산에서는, 이렇게 해서 갱신된 변수 pre_flsz가 최신의 변수 flsz에서 뺄셈된다.

단계 S83에서는 변수 frmcnt를 증가하고, 계속되는 단계 S85에서는 증가된 변수 frmcnt의 값을 판별한다. 그리고, 변수 frmcnt가 "1" 또는 "2"이면 그대로 단계 S95로 진행하지만, 변수 frmcnt가 "3"이면, 단계 S87∼S93의 처리를 거쳐서 단계 S95로 진행한다.

단계 S87에서는 음성 데이터의 인덱스 정보를 SDRAM(26)에 기입한다. 도 7에 도시하는 무비 파일 상에서는, 3 프레임에 상당하는 시간의 음성 데이터에 의해서 1개의 음성 청크가 형성된다. 또한, 인덱스 청크에서는, 음성 데이터의 파일 상의 위치 및 사이즈는 3 프레임에 상당하는 시간마다 관리된다. 이 때문에, 단계 S85에서는, 최신 3 프레임에 상당하는 음성 데이터의 위치 정보 및 사이즈 정보를 작성하고, 작성한 인덱스 정보를 도 3에 도시한 바와 같이 SDRAM(26)에 기입한다.

계속되는 단계 S89에서는 음성 데이터의 액세스 정보를 액세스 정보 테이블(52b)에 기입한다. 즉, SDRAM(26)에 존재하는 3 프레임 상당의 음성 데이터의 선두 어드레스 정보와 사이즈 정보를 액세스 정보로서 작성하고, 작성한 액세스 정보를 액세스 정보 테이블(52b)에 기입한다. 이 때, 액세스 정보는, 주목하는 3 프레임의 JPEG 데이터의 액세스 정보에 관련시킨다.

단계 S91에서는, 액세스 정보 테이블(52b)에 설정된 3 프레임분의 JPEG 원시 데이터와, 3 프레임분의 JPEG 헤더의 액세스 정보와, 3 프레임 상당의 음성 데이터의 액세스 정보를 참조하여, "파일 기입"을 도 4에 도시하는 지시 리스트(52a)에 설정한다. 도 2에 도시한 바와 같이, 3 프레임 상당의 음성 데이터는 SDRAM(26) 상에서 연속하지만, 3 프레임의 JPEG 원시 데이터 및 JPEG 헤더는 SDRAM(26) 상에서 이산적으로 분포한다. 이 때문에, 단계 S91에서는, 합계 7개분의 "파일 기입"를 지시 리스트(52a)에 설정한다.

이 7개의 "파일 기입" 중 1번째로 설정되는 "파일 기입"에서는, SDRAM 어드레스는 주목하는 3 프레임 상당의 음성 데이터의 개시 어드레스를 나타내고, 데이터 사이즈는 주목하는 3 프레임 상당의 음성 데이터의 사이즈를 나타내고, 그리고 데이터 종별은 음성 청크를 나타낸다. 여기서, 개시 어드레스 및 데이터 사이즈는, 단계 S87에서 작성된 액세스 정보를 형성하는 SDRAM 어드레스 및 데이터 사이즈와 같다.

2번째, 4번째 및 6번째로 설정되는 "파일 기입"에서는, SDRAM 어드레스는 주목하는 3 프레임의 JPEG 헤더의 개시 어드레스를 나타내고, 데이터 사이즈는 주목하는 3 프레임의 JPEG 헤더의 사이즈를 나타내고, 그리고 데이터 종별은 JPEG 헤더 를 나타낸다. 여기서, 개시 어드레스 및 데이터 사이즈는, 단계 S45 또는 S57에서 작성된 최신 3 프레임의 JPEG 헤더의 액세스 정보를 형성하는 SDRAM 어드레스 및 데이터 사이즈와 같다.

3번째, 5번째 및 7번째로 설정되는 "파일 기입"에서는, SDRAM 어드레스는 주목하는 3 프레임의 JPEG 원시 데이터의 개시 어드레스를 나타내고, 데이터 사이즈는 주목하는 3 프레임의 JPEG 원시 데이터의 사이즈를 나타내고, 그리고 데이터 종별은 JPEG 원시 데이터를 나타낸다. 여기서, 개시 어드레스 및 데이터 사이즈는, 단계 S45또는 S57에서 작성된 최신 3 프레임의 JPEG 원시 데이터의 액세스 정보를 형성하는 SDRAM 어드레스 및 데이터 사이즈와 같다.

이러한 지시 리스트(52a)의 지시가 BG 처리 태스크에서 실행됨으로써, 3 프레임 상당의 음성 데이터와 3 프레임의 JPEG 데이터가 메모리 제어 회로(24)에 의해서 SDRAM(26)으로부터 판독되고, 버스 B1 및 I/F 회로(46)를 통해서 기록 매체(50)에 공급된다. 그 결과, 음성 청크 및 화상 청크가 도 8에 도시하는 무비 파일 상에서 교대로 분포하게 된다.

단계 S93에서는, 단계 S91에서 지시 리스트(52a)에 설정한 3 프레임의 JPEG 원시 데이터의 사이즈값을 변수 BG_RemData에 가산하도록, 수학식 8의 연산을 실행한다.

단계 S95에서는 프레임 번호 i를 증가하고, 계속되는 단계 S97에서는 셔터 버튼(58)의 조작의 유무를 판별한다. 셔터 버튼(58)이 눌러지지 않는 한 단계 S21∼S95의 처리를 반복하고, 각 프레임에서 생성된 JPEG 헤더, JPEG 원시 데이터 및 음성 데이터는, SDRAM(26)에 도 2에 도시한 형태로 맵핑된다.

셔터 버튼(58)을 누르면 단계 S99로 진행하여, 변수 frmcnt의 값을 판별한다. 여기서 변수 frmcnt가 "3"이면 그대로 단계 S103으로 진행하지만, 변수 frmcnt가 "1" 또는 "2"이면 단계 S101에서 "파일 기입"을 지시 리스트(52a)에 설정하고나서 단계 S103으로 진행한다.

변수 frmcnt가 "1"인 경우, 최후의 음성 청크 및 화상 청크는 1 프레임분의 음성 데이터 및 JPEG 데이터에 의해 형성되고, 지시 리스트(52a)에는 합계 3개의 "파일 기입"이 설정된다. 변수 frmcnt가 "2"인 경우, 최후의 음성 청크 및 화상 청크는 2 프레임분의 음성 데이터 및 JPEG 데이터에 의해서 형성되고, 지시 리스트(52a)에는 합계 5개의 "파일 기입"이 설정된다. 이것에 의해서, 1 프레임분 또는 2 프레임분의 음성 데이터로 이루어지는 음성 청크와, 1 프레임 또는 2 프레임의 JPEG 데이터로 이루어지는 화상 청크가 무비 파일에 형성된다.

단계 S103에서는, 도 3에 도시하는 인덱스 정보를 무비 파일에 기입하도록, "파일 기입"을 지시 리스트(52a)에 설정한다. 여기서 설정되는 SDRAM 어드레스 및 데이터 사이즈는, 도 3에 도시하는 인덱스 정보의 개시 어드레스 및 합계 사이즈를 나타내고, 데이터 종별은 무비 파일 헤더를 도시한다. BG 처리에 의해서 이 "파일 기입"이 실행됨으로써, 도 3에 도시하는 모든 인덱스 정보를 포함하는 인덱스 청크가 무비 파일의 말미에 형성된다.

단계 S105에서는, 인덱스 정보에 포함되는 사이즈 정보에 기초하여 무비 파일의 토탈 사이즈를 산출하고, 산출된 토탈 사이즈 데이터를 SDRAM(26)에 기입한다. 계속되는 단계 S107∼S111에서는, "파일 기입", "파일 클로즈" 및 "BG 처리 종료"를 지시 리스트(52a)에 설정한다. "파일 기입"에 설정되는 SDRAM 어드레스 및 데이터 사이즈는 토탈 사이즈 데이터의 선두 어드레스 및 데이터 사이즈를 나타내고, 데이터 종별은 무비 파일 헤더를 나타낸다. 또한, "파일 클로즈"에서는 FILE_CLOSE가 커맨드로서 설정되고, "BG 처리 종료"에서는 FILE_END가 커맨드로서 설정된다.

"파일 기입"이 BG 처리에 의해서 실행됨으로써, 토탈 사이즈값이 무비 파일 헤더의 사이즈 정보에 추가된다. 또한, "파일 클로즈"가 BG 처리에 의해 실행됨으로써, 디렉토리 엔트리의 사이즈 정보(단계 S15의 처리에 기초하여 기입된 사이즈 정보)가 "0"으로부터 토탈 사이즈값으로 갱신되고, 또한 금회 작성된 무비 파일의 기입 영역에 링크가 형성되도록 FAT 영역(501c)의 FAT 정보가 갱신된다. BG 처리는 "BG 처리 종료"에 의해서 종료한다.

또, 토탈 사이즈값을 무비 파일 헤더에 기입하기 위해서는, 기입처 어드레스를 갱신할 필요가 있고, 실제로는 단계 S105의 "파일 기입"의 설정에 앞서서 "씨크 처리"가 지시 리스트(52a)에 설정된다.

BG 처리 태스크는 도 20∼도 21에 도시하는 흐름도에 따른다. 우선 단계 S121에서 판독처의 리스트 번호 L을 "0"으로 설정하고, 계속해서 단계 S123에서는 리스트 번호 L로부터 판독된 커맨드가 FILE_STRT인지의 여부 판단한다. 여기서 " 예"이면, 단계 S125에서 리스트 번호 L을 증가하고, 증가 후의 리스트 번호 L로부터 판독된 커맨드의 내용을 단계 S127, S131, S135, S139, S147에서 각각 판별한다.

판독된 커맨드가 FILE_CREATE 이면 단계 S127에서 "예"라고 판단하고, 단계 S129에서 파일 작성 처리를 행한다. 구체적으로는, 파라미터 1로 설정된 드라이브 번호에 의해서 기록 매체(50)를 특정하고, 파라미터 2로 설정된 파일 패스에 기초하여 기록 매체(50)의 디렉토리 엔트리에 파일명과 사이즈 0을 나타내는 사이즈 정보를 기입한다. 처리를 끝내면, 단계 S125로 되돌아간다.

판독된 커맨드가 FILE_SET_ALLOC 이면 단계 S131에서 "예"라고 판단하고, 단계 S133에서 테이블 작성 처리를 행한다. 즉, 파라미터 1로 설정된 드라이브 번호에 의해서 기록 매체(50)를 특정하고, FAT 정보를 참조하여 도 7에 도시하는 빈 영역 테이블(52c)을 작성한다. 처리를 끝내면, 단계 S125로 되돌아간다.

판독된 커맨드가 FILE_OPEN이면 단계 S135에서 단계 S137로 진행하여, 파일 오픈 처리를 행한다. 즉, 파라미터 1로 설정된 드라이브 번호에 의해서 기록 매체(50)를 특정하고, 파라미터 2로 설정된 파일 패스에 기초하여 파일을 특정하고, 그리고 이 파일에 할당하는 핸들 번호를 작성한다. 작성한 핸들 번호는 촬영 처리에 이용된다. 처리를 끝내면, 단계 S125로 되돌아간다.

판독된 커맨드가 FILE_WRITE이면 단계 S139 내지 단계 S141로 진행하여, 파일 기입 처리를 행한다. 구체적으로는, 파라미터 1로 설정된 핸들 번호에 의해 기입처의 무비 파일을 특정하고, 파라미터 2 및 3으로 설정된 SDRAM 어드레스 및 데 이터 사이즈에 따라서 판독 개시 어드레스 및 판독 사이즈를 특정한다. 그리고, 판독 개시 어드레스 및 판독 사이즈에 기초하여 SDRAM(26)으로부터 워드 단위로 데이터를 판독하고, 판독한 데이터를 기입처의 무비 파일 정보와 함께 기록 매체(50)의 CPU(50a)에 공급한다.

파라미터 3으로 설정된 판독 사이즈가 기록 매체(50)에 형성된 버퍼 메모리(50b)보다도 크면, 버퍼 메모리(50b)가 가득찬 시점에서 CPU(50a)에서부터 CPU(52)로 BUSY 신호가 반송된다. 단계 S141의 처리는 BUSY 신호에 응답하여 중단된다. 버퍼 메모리(50b)에서부터 하드디스크(50c)로의 데이터 전송에 의해 버퍼 메모리(50b)에 충분한 빈 용량이 확보되면, CPU(50a)에서부터 CPU(52)로 READY 신호가 반송된다. 단계 S141의 처리는 이 READY 신호에 응답하여 재개된다.

파라미터 3으로 설정된 판독 사이즈에 상당하는 데이터의 기록 매체(50)로의 전송이 완료되면, 이 판독 사이즈를 적산함과 함께, 1 클러스터분의 기입이 완료할 때마다 기입 클러스터의 링크 상태를 나타내는 FAT 정보를 작성한다. 데이터 사이즈의 적산값 및 FAT 정보는, SDRAM(26)에 유지된다.

단계 S143에서는, 파라미터 4로 설정된 데이터 종별을 판별한다. 여기서 데이터 종별이 "JPEG 원시 데이터"가 아니면 그대로 단계 S125로 되돌아가지만, 데이터 종별이 "JPEG 원시 데이터"이면, 단계 S145에서 수학식 9에 따른 연산을 실행하고나서 단계 S125로 되돌아간다.

수학식 9에 따르면, 파라미터 3으로 설정된 데이터 사이즈가, 변수 BG_RemData에서 뺄셈된다. 이것에 의해서, 변수 BG_RemData가, 지시 리스트(52a)에 설정되지만 아직 기록 매체(50)에 기록되어 있지 않은 JPEG 원시 데이터의 사이즈를 나타내게 된다.

판독된 커맨드가 FILE_CLOSE이면 단계 S147 내지 단계 S149로 진행하여, 파일 클로즈 처리를 행한다. 구체적으로는, 오픈하고 있는 무비 파일의 파일명에 할당된 사이즈 정보를 SDRAM(26)에 유지된 토탈 사이즈값에 따라서 갱신하고, SDRAM(26)에 의해서 유지된 FAT 정보에 의해서 FAT 영역(501c)의 FAT 정보를 갱신한다. 처리가 완료되면, 단계 S125로 되돌아간다.

판독된 커맨드가 FILE_END이면, 단계 S147에서 "아니오"라고 판단하고, 단계 S121로 되돌아간다. BG 처리는 대기 상태로 이행한다.

이상의 설명에서 알 수 있듯이, 서로 관련된 음성 데이터와 복수 화면의 JPEG 데이터에 병행하여 기록 처리를 실시할 때, 음성 데이터의 실제 처리량(=8043바이트/초)과 가상 처리량(=8040바이트/초)의 오차가, CPU(52)에 의해 30 프레임마다 산출된다(S51, S59). 산출된 오차가 임계값을 상회하면, 기록 매체(50)에 기록되는 JPEG 데이터의 프레임수가 조정된다(S53∼S57, S61). 구체적으로는, 인덱스 정보 및 액세스 정보의 씨닝/보간에 의해 프레임수가 조정된다. 이 때문에, 음성 노이즈의 발생을 방지하면서, 재생 동화상과 재생 음성의 동기를 확보할 수 있다.

또, 이 실시예에서는, JPEG 방식으로 화상 압축을 행하도록 하고 있지만, JPEG 방식 대신에 MPEG 방식을 채용하여, 목표 사이즈값을 GOP 단위로 갱신하도록 해도 된다.

또한, 이 실시예에서는, 목표 사이즈값을 30 프레임마다 갱신하도록 하고 있지만, 소프트웨어 계산을 쉽게 하기 위해서, 32 프레임, 64 프레임, 128 프레임과 같은 2제곱에 상당하는 프레임 수마다 목표 사이즈를 갱신하도록 해도 된다.

또한, 이 실시예에서는, 프레임 수를 조정할지의 여부의 판단에 이용하는 임계값을 1 프레임 상당의 음성 데이터량(=268바이트)으로 설정하도록 하고 있지만, 이 임계값은, 268바이트의 정수배로 해도 된다.

또한, 이 실시예에서는, 기록 처리를 행할 때에 JPEG 데이터의 프레임 수를 조정하도록 하고 있지만, 프레임 수의 조정은 재생 처리 시에 행하도록 해도 된다.

또한, 이 실시예에서는, 액세스 정보 및 인덱스 정보의 양쪽으로 씨닝/보간을 실시하도록 하고 있지만, 인덱스 정보에만 기초하여 JPEG 데이터의 재생 순서를 제어하는 경우에는, 인덱스 정보에만 씨닝/보간을 실시하도록 해도 된다. 이것에 의해서, 액세스 정보의 씨닝 처리에 기인하는 JPEG 데이터의 누락을 방지할 수 있다.

또한, 이 실시예에서는, 동화상 신호의 기록 방식으로서 FAT 방식을 채용하고 있지만, 이 대신에 UDF(Universal Disk Format) 방식을 채용해도 된다.

또한, 이 실시예에서는 디지털 비디오 카메라를 이용하여 설명하고 있지만, 본 발명은, 예를 들면 TV 프로그램을 녹화하는 거치형의 하드디스크 레코더에도 적용할 수 있는 것은 물론이다.

본 발명이 상세히 설명되고 도시되었지만, 그것은 단순한 도해 및 일례로서 이용한 것으로, 한정적으로 해석되어서는 안되는 것은 분명하고, 본 발명의 정신 및 범위는 첨부된 청구항의 문언에 의해서만 한정된다.

Claims

서로 관련된 음성 데이터와 복수 프레임의 정지 화상 데이터를 병행하여 처리하는 데이터 처리 장치로서,

상기 음성 데이터의 가상 처리량과 실제 처리량의 오차를 소정 주기로 산출하는 산출 수단과,

상기 산출 수단에 의해 산출된 오차에 기초하여 상기 정지 화상 데이터의 프레임수를 조정하는 조정 수단을 구비하는 데이터 처리 장치.
제1항에 있어서,

처리된 정지 화상 데이터의 프레임수를 카운트하는 카운트 수단과,

상기 음성 데이터의 실제 처리량을 1 프레임 기간마다 적산하는 적산 수단을 더 구비하고,

상기 산출 수단은, 1 프레임에 상당하는 가상 처리량을 상기 카운트 수단에 의한 카운트값에 기초하여 적산한 제1 적산값과 상기 적산 수단에 의해 구해진 제2 적산값과의 차분을 구하는 데이터 처리 장치.
제1항 또는 제2항에 있어서,

상기 조정 수단은, 상기 오차를 N(N:1 이상의 정수) 프레임에 상당하는 음성 데이터의 가상 처리량과 비교하는 비교 수단과, 상기 비교 수단의 비교 결과에 기초하여 조정을 행하는 조정 실행 수단을 포함하는 데이터 처리 장치.
제3항에 있어서,

상기 조정 실행 수단은, 상기 오차가 부족분의 수치일 때 상기 정지 화상 데이터의 프레임수를 증가시키는 증가 수단과, 상기 오차가 잉여분의 수치일 때 상기 정지 화상 데이터의 프레임수를 감소시키는 감소 수단을 포함하는 데이터 처리 장치.
제3항에 있어서,

상기 복수 프레임의 정지 화상 데이터를 일시적으로 저장하는 메모리와,

상기 메모리에 저장된 정지 화상 데이터를 처리 순서 정보에 따른 순서로 판독하는 판독 수단을 더 구비하고,

상기 조정 실행 수단은 상기 비교 수단의 비교 결과에 기초하여 상기 처리 순서 정보를 작성하는 데이터 처리 장치.
제3항에 있어서,

상기 음성 데이터 및 상기 복수 프레임의 정지 화상 데이터를 기록 매체에 기록하는 제1 기록 수단과,

각 프레임의 정지 화상 데이터의 인덱스 정보를 상기 기록 매체에 기록하는 제2 기록 수단을 더 구비하고,

상기 조정 실행 수단은 상기 비교 수단의 비교 결과에 기초하여 상기 제2 기록 수단에 의해 기록되는 인덱스 정보에 씨닝/보간을 실시하는 데이터 처리 장치.
제3항에 있어서,

상기 가상 처리량은 상기 실제 처리량에 근사하거나 또한 소프트웨어 계산에 적합한 수치를 나타내는 데이터 처리 장치.
제1항 또는 제2항의 데이터 처리 장치를 구비하는 비디오 카메라.