JP4162454B2 - データ処理装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、データ処理装置に関し、特にたとえばビデオカメラに適用され、互いに関連する音声データと複数画面の静止画像データとを並行して処理する、データ処理装置に関する。
【０００２】
【従来技術】
ビデオカメラでは、撮影モードが選択されると、イメージセンサによって撮影された動画像データとマイクから取り込まれた音声データとが並行して記録処理を施され、再生モードが選択されると記録媒体から再生された動画像データと音声データとが並行して再生処理を施される。
【０００３】
ただし、従来技術では、設計の都合上、ハードウェアによる実際の処理とソフトウェアの計算との間で音声データのサンプリング周波数にずれが生じていた。具体的には、ハードウェア上での実際のサンプリング周波数が８０４３Ｈｚであるのに対して、ソフトウェア上で計算に使用するサンプリング周波数は、８０４０Ｈｚであった。このため、従来技術では、音声データの間引き／補間によって動画像データと音声データとの同期を確保するようにしていた。
【０００４】
【発明が解決しようとする課題】
しかし、音声データに間引き／補間を施すと、音声ノイズが発生して視聴者に不快感を与えるという問題があった。
【０００５】
それゆえに、この発明の主たる目的は、画像データと音声データとの同期を確保でき、かつ音声ノイズの発生を防止することができる、データ処理装置を提供することである。
【０００６】
【課題を解決するための手段】
この発明は、互いに関連する音声データと複数画面の静止画像データとを並行して処理するデータ処理装置において、音声データの実処理量と仮想処理量との誤差を所定周期で算出する算出手段、および算出手段によって算出された誤差に基づいて静止画像データの画面数を調整する調整手段を備えることを特徴とする、データ処理装置である。
【０００７】
【作用】
互いに関連する音声データと複数画面の静止画像データとを並行して処理するにあたって、音声データの実処理量と仮想処理量との誤差が、算出手段によって所定周期で算出される。調整手段は、算出された誤差に基づいて静止画像データの画面数を調整する。
【０００８】
つまり、この発明では、音声データを調整していた従来技術と異なり、静止画像データの画面数が調整される。このため、音声ノイズの発生を防止しつつ、画像データと音声データとの同期が確保される。
【０００９】
好ましくは、処理された静止画像データの画面数がカウント手段によって繰り返しカウントされ、処理された音声データのサイズがカウント手段によるカウント毎に積算手段によって積算される。このとき、算出手段は、誤差として、１画面に相当する音声データのサイズを示す理論値をカウント手段によるカウント毎に積算した第１積算値と積算手段によって求められた第２積算値との差分値を求める。
【００１０】
調整手段は、好ましくは、算出された誤差をＮ（Ｎ：１以上の整数）画面に相当する音声データの仮想処理量と比較し、比較結果に基づいて調整を行う。
【００１１】
画面調整では、詳しくは、誤差が不足分の数値であるとき画面数が増加され、誤差が余剰分の数値であるとき画面数が減少される。
【００１２】
複数画面の静止画像データをメモリに一時的に格納し、メモリに格納された静止画像データを処理手順情報に従う順序で読み出す場合、好ましくは、比較結果に基づいてこの処理手順情報を作成することで、画面数が調整される。
【００１３】
好ましくは、音声データおよび複数画面の静止画像データは第１記録手段によって記録媒体に記録され、各画面の静止画像データのインデックス情報は第２記録手段によって記録媒体に記録される。このとき、調整実行手段は、比較手段の比較結果に基づいて、第２記録手段によって記録されるインデックス情報に間引き／補間を施す。インデックス情報の間引き／補間によって、再生される静止画像データの画面数の調整が可能となる。
【００１４】
好ましくは、仮想処理量は実処理量に近似するかつソフトウェア計算に適した数値を示す。
【００１５】
【発明の効果】
この発明によれば、静止画像データの画面数を調整するようにしたため、音声ノイズの発生を防止しつつ、画像データと音声データとの同期を確保することができる。
【００１６】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【００１７】
【実施例】
図１を参照して、この実施例のディジタルビデオカメラ１０は、イメージセンサ１２を含む。イメージセンサ１２の前方には図示しない絞りユニットおよび光学レンズが配置されており、被写体の光学像は、これらの部材を経て、イメージセンサ１２に照射される。
【００１８】
モード切換スイッチ６２によって撮影モードが選択されると、対応する状態信号がシステムコントローラ５６からＣＰＵ５２に与えられる。ＣＰＵ５２はμＩＴＲＯＮのようなマルチタスクＯＳを搭載したマルチタスクＣＰＵであり、撮影モードでは、撮影処理タスク、撮影条件制御タスク、ＢＧ（Back Ground）処理タスクなどの複数のタスクが並列して実行される。具体的には、各々のタスクは、予め設定された優先順位に従って、かつ後述する垂直同期信号に応答して、時分割で実行される。
【００１９】
撮影処理タスクでは、オペレータはメニューキー６０の操作によって複数の撮影モードから所望の撮影モードを選択できる。撮影画像の解像度およびフレームレートならびに取込音声の音響方式，ビットレートおよびサンプリングレートのいずれかが、各撮影モードにおいて異なる。所望の撮影モードが選択されると、対応する情報信号がシステムコントローラ５６からＣＰＵ５２に与えられる。ＣＰＵ５２は、選択された撮影モードを示す撮影モード情報（解像度，フレームレート，音響方式，ビットレート，サンプリングレート）と、これから作成するムービファイルのファイル名とをレジスタｒｇｓｔに格納する。
【００２０】
ＣＰＵ５２はまた、撮影モード情報が示す解像度およびフレームレートでの撮影をタイミングジェネレータ（ＴＧ）１４に命令する。ＴＧ１４は、シグナルジェネレータ（ＳＧ）１６から出力される垂直同期信号および水平同期信号に基づいて所望の撮影モード（解像度，フレームレート）に従うタイミング信号を生成し、イメージセンサ１２をラスタスキャン方式で駆動する。イメージセンサ１２からは、所望の解像度を持つ生画像信号（電荷）が所望のフレームレートで出力され、出力された生画像信号は、ＣＤＳ／ＡＧＣ回路１８およびＡ／Ｄ変換器２０を経て、ディジタル信号である生画像データとして信号処理回路２２に入力される。
【００２１】
設定されたズーム倍率が“１．０”のとき、信号処理回路２２は、Ａ／Ｄ変換器２０から入力された生画像データに白バランス調整，色分離，ＹＵＶ変換などの一連の信号処理を施して１．０倍のＹＵＶデータを生成する。設定されたズーム倍率が“１．０”未満のとき、Ａ／Ｄ変換器２０から入力された生画像データは、まずズーム回路２２ａによって縮小ズームを施され、縮小ズームの後に上述の一連の信号処理が実行される。かかる処理によって生成されたＹＵＶデータは、バスＢ１およびメモリ制御回路２６を介してＳＤＲＡＭ２６に格納される。
【００２２】
一方、設定されたズーム倍率が“１．０”よりも大きいとき、つまり拡大ズーム処理が必要なとき、ズーム回路２２ａは、まずＡ／Ｄ変換機器２０から入力された生画像データをバスＢ１およびメモリ制御回路２４を通してＳＤＲＡＭ２６に一旦書き込む。ズーム回路２２ａは続いて、拡大ズーム処理に必要な一部のエリアの生画像データをバスＢ１およびメモリ制御回路２４を通して読み出し、読み出された一部のエリアの生画像データに拡大ズームを施す。拡大された生画像データは、上述の一連の信号処理によってＹＵＶデータに変換される。これによって、“１．０”よりも大きい倍率のＹＵＶデータが生成される。生成されたＹＵＶデータは、バスＢ１およびメモリ制御回路２６を介してＳＤＲＡＭ２６に格納される。
【００２３】
ビデオエンコーダ２８は、バスＢ１およびメモリ制御回路２４を通してＳＤＲＡＭ２６からＹＵＶデータを読み出し、読み出したＹＵＶデータをコンポジット画像信号にエンコードする。エンコードされたコンポジット画像信号はモニタ３０に与えられ、この結果、被写体のリアルタイム動画像（スルー画像）がモニタ３０に表示される。
【００２４】
撮影条件制御タスクでは、ＣＰＵ５２は、絞り量，露光時間，白バランス調整ゲイン，電子ズーム倍率などの撮影条件を制御する。具体的には、被写体の明るさに応じて絞り量または露光時間を調整し、被写体の色に応じて白バランス調整ゲインを補正し、そしてズームキー６４の操作状態を示す状態信号の変動に応じて電子ズーム倍率を調整する。この結果、スルー画像の明るさおよび色あいの変動が防止され、ズームキー６４の操作に応答してスルー画像のズーム倍率が変化する。
【００２５】
なお、ズームキー６４によって“１．０”よりも大きなズーム倍率が選択されたとき、上述のような生画像データをＳＤＲＡＭ２６に一旦格納する処理が実行される。
【００２６】
オペレータによってシャッタボタン５８が押され、対応する状態信号がシステムコントローラ５６から与えられると、ＣＰＵ５２は、撮影された動画像を格納したムービファイルを記録媒体５０に作成する。ここで、記録媒体５０は着脱自在の記録媒体であり、スロット４８に装着されたときにＩ／Ｆ４６によってアクセス可能となる。記録媒体５０にはＣＰＵ５０ａ，バッファメモリ５０ｂおよびハードディスク５０ｃが設けられ、ハードディスク５０ｃには図６に示すようにＦＡＴ領域５０１ｃ，ルートディレクトリ領域５０２ｃおよびデータ領域５０３ｃが形成される。データ領域５０３ｃへのデータ書き込みは、バッファメモリ５０ｂを介して所定量ずつ行われる。
【００２７】
動画像の記録時、ＣＰＵ５２は、ＢＧ処理タスクを起動する。このとき、撮影処理タスクとＢＧ処理タスクとの間で処理が円滑に行なれるように、図４に示すような指示リスト５２ａが作成される。
【００２８】
指示リスト５２ａには、まず“ＢＧ処理開始”，“ファイル作成”，“テーブル作成”および“ファイルオープン”の各々に対応するコマンドおよびパラメータが設定される。“ＢＧ処理開始”によってＢＧ処理タスクが開始され、“ファイル作成”によってムービファイルのファイル名と“０”を示すサイズ情報とが図６に示すルートディレクトリ領域５０２ｃに書き込まれる。“テーブル作成”では、図７に示すような空き領域テーブル５２ｃが作成される。図７によれば、データ領域５０３ｃに形成された各々の空き領域の先頭アドレスおよび空きサイズが、サイズが大きい順に設定される。“ファイルオープン”では、データを書き込むムービファイルを特定するためのハンドル番号が作成される。
【００２９】
こうしてデータ書き込みの準備が完了すると、ＣＰＵ５２は、ムービファイルヘッダを作成すべく、次の１フレーム期間においてサムネイル画像の取り込み処理およびヘッダ情報の作成処理を行う。まず、信号処理回路２２に間引き処理を命令し、ＪＰＥＧコーデック３２に圧縮処理を命令する。信号処理回路２２は、上述のＹＵＶ変換に加えて間引き処理を行い、これによって生成されたサムネイルＹＵＶデータをバスＢ１およびメモリ制御回路２４を通してＳＤＲＡＭ２６に書き込む。ＪＰＥＧコーデック３２は、バスＢ１およびメモリ制御回路２４を通してＳＤＲＡＭ２６からサムネイルＹＵＶデータを読み出し、読み出されたサムネイルＹＵＶデータにＪＰＥＧ圧縮を施す。ＪＰＥＧコーデック３２はその後、ＪＰＥＧ圧縮によって生成されたサムネイル画像のＪＰＥＧ生データＲｔｈをバスＢ１およびメモリ制御回路２４を通してＳＤＲＡＭ２６に書き込む。
【００３０】
ＣＰＵ４６はまた、サムネイル画像のＪＰＥＧヘッダＨｔｈを自ら作成し、作成したＪＰＥＧヘッダＨｔｈをバスＢ１およびメモリ制御回路２４を通してＳＤＲＡＭ２６に書き込む。ＣＰＵ４６はさらに、上述の撮影モード情報を含むヘッダ情報Ｈｉｎｆを自ら作成し、作成したヘッダ情報ＨｉｎｆをバスＢ１およびメモリ制御回路２４を通してＳＤＲＡＭ２６に書き込む。これによって、ＪＰＥＧ生データＲｔｈ，ＪＰＥＧヘッダＨｔｈおよびヘッダ情報Ｈｉｎｆが、図２に示すようにＳＤＲＡＭ２６にマッピングされる。
【００３１】
指示リスト５２ａには、“ファイル書き込み”が設定される。この“ファイル書き込み”がＢＧ処理によって実行されることで、ＪＰＥＧ生データＲｔｈ，ＪＰＥＧヘッダＨｔｈおよびヘッダ情報ＨｉｎｆがＳＤＲＡＭ２６から読み出され、バスＢ１およびＩ／Ｆ回路４６を介して記録媒体５０に与えられる。これによって、図７に示すムービファイルヘッダが図６に示すデータ領域５０３ｃに作成される。なお、ＪＰＥＧヘッダＨｔｈおよびＪＰＥＧ生データＲｔｈによって、図７に示すＪＰＥＧデータＴＨが形成される。
【００３２】
ムービファイルヘッダの作成が完了すると、ＣＰＵ５２は、垂直同期信号が発生する毎に画像取り込み処理および音声取り込み処理を行う。
【００３３】
画像取り込み処理では、自ら作成したＪＰＥＧヘッダをバスＢ１およびメモリ制御回路２４を通してＳＤＲＡＭ２６に書き込むとともに、ＪＰＥＧコーデック３２に圧縮命令を与える。ＪＰＥＧコーデック３２は、圧縮命令が与えられたとき、現フレームのＹＵＶデータをバスＢ１およびメモリ制御回路２４を通してＳＤＲＡＭ２６から読み出し、読み出されたＹＵＶデータを目標サイズまで圧縮する。圧縮処理によって現フレームのＪＰＥＧ生データが生成されると、ＪＰＥＧコーデック３２は、このＪＰＥＧ生データをバスＢ１およびメモリ制御回路２４を通してＳＤＲＡＭ２６に書き込む。
【００３４】
ここで、ＪＰＥＧ圧縮時の目標サイズは記録媒体５０への記録状況に応じて変更される。つまり、記録処理速度が遅いと、ボトルネックによって処理が破綻する可能性があるため、記録媒体５０の記録状況が周期的に検出され、検出結果に応じてＪＰＥＧ圧縮時の目標サイズが変更される。この目標サイズ変更処理については、後段で詳しく説明する。
【００３５】
音声取り込み処理では、信号処理回路３８に処理命令を与える。信号処理回路３８は、処理命令が与えられたとき、ＳＲＡＭ３８ａに蓄積された１フレーム相当の音声データをバスＢ１およびメモリ制御回路３８ａを通してＳＤＲＡＭ２６に書き込む。このような画像取り込み処理および音声取り込み処理が１フレーム期間毎に行なわれた結果、各フレームのＪＰＥＧヘッダ，ＪＰＥＧ生データおよび音声データは、図２に示すようにＳＤＲＡＭ２６にマッピングされる。
【００３６】
なお、図２においてＪＰＥＧヘッダおよびＪＰＥＧ生データには１フレーム毎に連続番号０，１，２，…が付されるが、音声データには３フレーム毎に連続番号０，１，２，…が付される。また、同じ番号が付されたＪＰＥＧヘッダおよびＪＰＥＧ生データによって１フレーム分のＪＰＥＧデータが形成され、各フレームのＪＰＥＧデータの先頭および末尾には、図８に示すようにマーカＳＯＩ（Start Of Image）およびＥＯＩ（End Of Image）が割り当てられる。
【００３７】
ＣＰＵ５２はまた、１フレーム期間が経過する毎にＪＰＥＧ生データのアクセス情報，ＪＰＥＧヘッダのアクセス情報およびＪＰＥＧデータのインデックス情報を作成し、３フレーム期間が経過する毎に音声データのアクセス情報および音声データのインデックス情報を作成する。
【００３８】
ＪＰＥＧ生データのアクセス情報は、各フレームのデータサイズとＳＤＲＡＭ２６における先頭アドレスとからなり、ＪＰＥＧヘッダのアクセス情報もまた、各フレームのデータサイズとＳＤＲＡＭ２６における先頭アドレスとからなる。ＪＰＥＧデータのインデックス情報は、各フレームのデータサイズと記録媒体５０に書き込まれたときのムービファイルの先頭からの距離とからなる。
【００３９】
また、音声データのアクセス情報は、３フレーム相当のデータサイズとＳＤＲＡＭ２６における先頭アドレスとからなり、音声データのインデックス情報は、３フレーム相当のデータサイズと記録媒体５０に書き込まれたときのムービファイルの先頭からの距離とからなる。
【００４０】
アクセス情報は図５に示すアクセス情報テーブル５２ｂに作成され、インデックス情報は図３に示す要領でＳＤＲＡＭ２６に作成される。図５によれば、３フレーム分のＪＰＥＧ生データのＳＤＲＡＭアドレスおよびデータサイズと、３フレーム分のＪＰＥＧヘッダのＳＤＲＡＭアドレスおよびデータサイズと、３フレーム相当の音声データのＳＤＲＡＭアドレスおよびデータサイズとが、互いに関連付けられる。また、図３によれば、３フレーム相当の音声データの位置情報およびサイズ情報と３フレーム分のＪＰＥＧデータの位置情報およびサイズ情報とが、ＳＤＲＡＭ２６に交互にマッピングされる。
【００４１】
なお、音声信号のサンプリング周波数には、ハードウェアによる実際の処理とソフトウェアの計算との間でずれが生じる場合がある。この実施例では、このずれを補償するべく、ＪＰＥＧデータのインデックス情報およびアクセス情報に間引き／補間が施される。この間引き／補間処理については、後段で詳しく説明する。
【００４２】
ＣＰＵ５２は、３フレーム相当の音声データと３フレームのＪＰＥＧデータとを記録媒体５０に書き込むべく、上述のアクセス情報に基づいて“ファイル書き込み”を指示リスト５２ａに設定する。ＢＧ処理によってこの“ファイル書き込み”が実行されることで、３フレーム相当の音声データと３フレームのＪＰＥＧデータとがＳＤＲＡＭ２６から読み出され、バスＢ１およびＩ／Ｆ回路４６を介して記録媒体５０に与えられる。記録媒体５０のデータ領域５０３ｃには、３フレーム相当の音声データからなる音声チャンクと３フレームのＪＰＥＧデータからなる画像チャンクとが記録される。図８に示すように、音声チャンクおよび画像チャンクは、ムービファイル上に交互にマッピングされる。
【００４３】
シャッタボタン５８が再度押されると、ＣＰＵ５２は、画像取り込みおよび音声取り込みを中止し、図３に示す要領でＳＤＲＡＭ２６に作成されたインデックス情報を記録媒体５０に記録するべく“ファイル書き込み”を指示リスト５２ａに設定する。ＢＧ処理タスクによってこの“ファイル書き込み”が実行されることで、インデックス情報がＳＤＲＡＭ２６から読み出され、バスＢ１およびＩ／Ｆ回路４６を介して記録媒体５０に与えられる。この結果、図８に示すインデックスチャンクがムービファイルの末尾に形成される。インデックスチャンクでは、音声データのファイル上の位置およびサイズは３フレームに相当する時間毎に管理され、ＪＰＥＧデータのファイル上の位置およびサイズは１フレーム毎に管理される。
【００４４】
インデックスチャンクの作成が完了すると、ＣＰＵ５２は、今回作成されたムービファイルのトータルサイズ値を算出し、算出したトータルサイズ値をムービファイルヘッダに書き込むべく“ファイル書き込み”を指示リスト５２ａに設定する。このファイル書き込みがＢＧ処理タスクによって実行されることでトータルサイズ値がムービファイルヘッダのヘッダ情報Ｈｉｎｆに追加され、これによってQuickTime規格を満足するムービファイルの作成が完了する。
【００４５】
ＣＰＵ５２は続いて、“ファイルクローズ”および“ＢＧ処理終了”を指示リスト５２ａに設定する。“ファイルクローズ”がＢＧ処理によって実行されると、ルートディレクトリ領域５０２ｃに書き込まれたサイズ情報とＦＡＴ領域５０１ｃに書き込まれたＦＡＴ情報とが更新される。具体的には、今回作成されたムービファイルのファイル名がディレクトリエントリから検出され、検出されたファイル名に割り当てられたサイズ情報が“０”からトータルサイズ値に更新される。また、今回作成されたムービファイルの書き込み領域（クラスタ）にリンクが形成されるようにＦＡＴ情報が更新される。ＢＧ処理は、“ＢＧ処理終了”によって終了される。
【００４６】
モード切換スイッチ６２によって再生モードが選択され、かつメニューキー６０によって所望のムービファイルが選択されると、対応する状態信号がシステムコントローラ５６に与えられる。ＣＰＵ５２は、選択されたムービファイルを記録媒体５０から検出し、検出したムービファイル内の音声データおよびＪＰＥＧデータを再生する。このとき、再生順序は、ムービファイル内のインデックス情報に従う。
【００４７】
図３に示す要領で作成されたインデックス情報がムービファイルに存在する場合、音声データおよびＪＰＥＧデータは、音声データ０，ＪＰＥＧデータ０〜２，音声データ１，ＪＰＥＧデータ３〜５，…の順で記録媒体５０から読み出される。読み出された音声データおよびＪＰＥＧデータは、まずメモリ制御回路２４によってＳＤＲＡＭ２６に格納される。ＣＰＵ５２は、ＪＰＥＧデータのインデックス情報に従う順序でＪＰＥＧコーデック３２に伸長命令を与え、音声データのインデックス情報に従う順序で信号処理回路４０に処理命令を与える。
【００４８】
ＪＰＥＧコーデック３２は、所望フレームのＪＰＥＧデータを形成するＪＰＥＧ生データをバスＢ１およびメモリ制御回路２４を通してＳＤＲＡＭ２６から読み出し、読み出されたＪＰＥＧ生データにＪＰＥＧ伸長を施す。ＪＰＥＧ伸長によって生成されたＹＵＶデータは、バスＢ１およびメモリ制御回路２４を通してＳＤＲＡＭ２６に格納され、その後バスＢ１およびメモリ制御回路２４を通してビデオエンコーダ２８に与えられる。この結果、対応する再生画像がモニタ３０に表示される。
【００４９】
信号処理回路４０は、所望の３フレームに相当する音声データをバスＢ１およびメモリ制御回路２４を通してＳＤＲＡＭ２６から読み出し、読み出された音声データをＳＲＡＭ４０ａに蓄積する。ＳＲＡＭ４０ａに蓄積された音声データはその後Ｄ／Ａ変換機４２によってアナログ音声信号に変換され、変換された音声信号がスピーカ４４から出力される。
【００５０】
このような処理が繰り返されることで、再生動画像がモニタ３０に表示され、この再生動画像に同期する音声信号がスピーカ４４から出力される。
【００５１】
撮影モードが選択されたとき、ＣＰＵ５２は、ＲＯＭ５４に記憶された制御プログラムに従って、図１３〜図１９に示す撮影処理タスクと図２０〜図２１に示すＢＧ処理タスクとを実行する。
【００５２】
まず図１３を参照して、ステップＳ１では撮影モード決定処理を行う。具体的には、複数の撮影モードを示すメニューをモニタ３０に表示し、メニューキー５２の操作に応答して所望の撮影モードを決定する。撮影モードが決定されるとステップＳ３に進み、決定された撮影モードを示す撮影モード情報を作成する。設定情報は、たとえば“解像度：ＶＧＡ”，“フレームレート：３０ｆｐｓ”，“音響方式：モノラル”，“ビットレート：８ビット”，“サンプリングレート：８０４０Ｈｚ”とされる。ステップＳ５では、今回の撮影処理によって作成するムービファイルのファイル名を決定する。ファイル名は、たとえば“ＶＣＬＰ０００３．ＭＯＶ”とされる。作成／決定された撮影モード情報およびファイル名は、レジスタｒｇｓｔに登録される。
【００５３】
ステップＳ７では、各種変数を初期化する。具体的には、変数ｉ，ｆｒｍｃｎｔ，ｆｌｓｚ，ＢＧ＿ＲｅｍＤａｔａ，ｐｒｅ＿ｆｌｓｚ，ｔ＿ｓｚおよびａｕｄ＿ｓｚの各々を“０”に設定し、変数ｔｒｇｔ＿ｓｚを最大値ＭＡＸに設定し、そして変数ａｕｄｓｚ＿ｆｐｓを理論値ＬＧに設定する。
【００５４】
ここで、変数ｉおよびｆｒｍｃｎｔは、いずれもフレーム番号を示す変数である。変数ｉは垂直同期信号に応答してインクリメントされ続け、変数ｆｒｍｃｎｔは垂直同期信号に応答して“０”〜“３”の間で循環的に更新される。変数ｆｒｍｃｎｔがとる数値“０”〜“３”のうち、実際に意味を持つのは“０”〜“２”である。上述のように、３フレームのＪＰＥＧデータによって１つの画像チャンクが形成される。変数ｆｒｍｃｎｔは、注目するＪＰＥＧデータが画像チャンクの何番目のデータであるかを特定するために使用される。
【００５５】
変数ｆｌｓｚは、ＪＰＥＧ圧縮によって生成されたＪＰＥＧ生データのトータルサイズ値を示す変数である。変数ＢＧ＿ＲｅｍＤａｔａは、“ファイル書き込み”の指示が図４に示す指示リスト５２ａに設定されたが未だ記録媒体５０に記録されていないＪＰＥＧ生データのサイズを示す変数である。変数ｐｒｅ＿ｆｌｓｚは、記録媒体５０に既に記録されたＪＰＥＧ生データのトータルサイズ値を示す変数である。
【００５６】
変数ｔｒｇｔ＿ｓｚは、各フレームのＹＵＶデータを圧縮するときの目標サイズ値を示す変数であり、変数ｔ＿ｓｚは、この目標サイズ値の算出に使用される変数である。
【００５７】
変数ａｕｄ＿ｓｚは取り込まれた音声データのトータルサイズ値（バイト）を示す変数であり、変数ａｕｄｓｚ＿ｆｐｓは１フレーム相当の音声データのサイズ値を示す変数である。ただし、変数ａｕｄｓｚ＿ｆｐｓとして設定される理論値ＬＧは、ソフトウェア計算上のサンプリングレートに基づいて決定された１フレーム相当の音声データのサイズ値である。たとえば、決定された撮影モードの実際のサンプリングレートが８０４３Ｈｚであれば、ソフトウェア計算上のサンプリングレートは８０４０Ｈｚとされ、理論値ＬＧは２６８（＝８０４０／３０）バイトとされる。なお、８０４０Ｈｚという数値は、ハードウェア上でのデータ転送が１ワード（＝４バイト）単位で実行されること、および理論値ＬＧを整数で表現できることを根拠とするものである。
【００５８】
ステップＳ９では、スルー画像表示を行うべく、ＴＧ１４，信号処理回路２２およびビデオエンコーダ２８の各々に処理命令を与える。モニタ３０には、被写体のスルー画像が表示される。スルー画像が表示されている状態でオペレータによってシャッタボタン５８が押されると、ステップＳ１１〜Ｓ１９の各々で“ＢＧ処理開始”，“ファイル作成”，“テーブル作成”および“ファイルオープン”を図４に示す指示リスト５２ａのリスト番号“０”〜“３”に設定する。
【００５９】
【表１】

【００６０】
表１を参照して、“ＢＧ処理開始”ではコマンドとしてFILE＿STRTが設定され、“ファイル作成”ではコマンド，パラメータ１および２としてFILE＿CREATE，ドライブ番号（記録媒体４４を駆動するドライブの番号）およびファイルパスが設定される。また、“テーブル作成”ではコマンドおよびパラメータ１としてFILE＿SET＿ALLOCおよびドライブ番号が設定され、“ファイルオープン”ではコマンド，パラメータ１および２としてFILE＿OPEN，ドライブ番号およびファイルパスが設定される。“ファイル作成”で設定されるファイルパスにはサイズ情報とステップＳ２５で決定されたファイル名とが含まれ、このサイズ情報およびファイル名がディレクトリエントリに書き込まれる。ただし、ムービファイルは未完成であるため、サイズ情報は“０”を示す。
ステップＳ１９の処理が完了した後、ＳＧ１６から垂直同期信号が出力されると、ステップＳ２１でＹＥＳと判断し、ステップＳ２３で変数ｉの値を判別する。ここで変数ｉが“１”以上の値であればそのままステップＳ３１に進むが、変数ｉが“０”であればステップＳ２５〜Ｓ２９の処理を経てステップＳ３１に進む。
【００６１】
ステップＳ２５では、サムネイル画像の取り込み処理を行う。具体的には、自ら作成したＪＰＥＧヘッダＨｔｈをＳＤＲＡＭ２６に書き込むとともに、信号処理回路２２およびＪＰＥＧコーデック３２の各々に間引き処理および圧縮処理を命令する。
【００６２】
信号処理回路２２は、ＹＵＶデータの間引き処理を１フレーム期間にわたって行い、これによって生成されたサムネイルＹＵＶデータをバスＢ１およびメモリ制御回路２４を通してＳＤＲＡＭ２６に書き込む。ＪＰＥＧコーデック３２は、このサムネイルＹＵＶデータをバスＢ１およびメモリ制御回路２４を通してＳＤＲＡＭ２６から読み出し、読み出されたサムネイルＹＵＶデータにＪＰＥＧ圧縮処理を施してＪＰＥＧ生データＲｔｈを生成し、そしてＪＰＥＧ生データＲｔｈをバスＢ１およびメモリ制御回路２４を通してＳＤＲＡＭ２６に書き込む。ＪＰＥＧヘッダＨｔｈおよびＪＰＥＧ生データＲｔｈは、図２に示すようにＳＤＲＡＭ２６にマッピングされる。
続くステップＳ２７では、上述の撮影モード情報（解像度，フレームレート，音響方式，ビットレート，サンプリングレート）を含むヘッダ情報Ｈｉｎｆを作成し、このヘッダ情報ＨｉｎｆをバスＢ１およびメモリ制御回路２４を通してＳＤＲＡＭ２６に書き込む。ヘッダ情報Ｈｉｎｆは、図２に示すようにＪＰＥＧヘッダＨｔｈの上にマッピングされる。
【００６３】
こうしてムービファイルヘッダを形成するヘッダ情報Ｈｉｎｆ，ＪＰＥＧヘッダＨｔｈおよびＪＰＥＧ生データＲｔｈがＳＤＲＡＭ２６に格納されると、ステップＳ２９で“ファイル書き込み”を図４に示す指示リスト５２ａのリスト番号“４”および“５”の欄に設定する。表１から分かるように、“ファイル書き込み”ではコマンド，パラメータ１，２，３および４としてFILE＿WRITE，ハンドル番号（ファイルオープン処理によって獲得），ＳＤＲＡＭアドレス，データサイズおよびデータ種別が設定される。“ファイル書き込み”が２つ設定されるのは、ＳＤＲＡＭ２６上においてヘッダ情報ＨｉｎｆおよびＪＰＥＧヘッダＨｔｈは連続しているものの、ＪＰＥＧ生データＲｔｈは離れた位置に格納されているからである。
【００６４】
リスト番号“４”の欄では、ＳＤＲＡＭアドレスとしてヘッダ情報Ｈｉｎｆの開始アドレスが設定され、データサイズとしてヘッダ情報ＨｉｎｆおよびＪＰＥＧヘッダＨｔｈの合計サイズが設定され、そしてデータ種別として“ムービファイルヘッダ”が設定される。また、リスト番号“５”の欄では、ＳＤＲＡＭアドレスとしてＪＰＥＧ生データＲｔｈの開始アドレスが設定され、データサイズとしてＪＰＥＧ生データＲｔｈのサイズが設定され、そしてデータ種別として“ムービファイルヘッダ”が設定される。この結果、図８に示すムービファイルヘッダ上では、ヘッダ情報Ｈｉｎｆ，ＪＰＥＧヘッダＨｔｈおよびＪＰＥＧ生データＲｔｈがこの順で連続することとなる。なお、上述のようにＪＰＥＧヘッダＨｔｈおよびＪＰＥＧ生データＲｔｈによって、ＪＰＥＧデータＴＨが形成される。
【００６５】
ステップＳ３１では、ＪＰＥＧコーデック３２に圧縮処理命令を与える。この圧縮処理命令には、変数ｔｒｇｔ＿ｓｚに従う目標サイズ値が含まれる。ＪＰＥＧコーデック３２は、１フレーム分のＹＵＶデータをバスＢ１およびメモリ制御回路２４を通してＳＤＲＡＭ２６から読み出し、読み出されたＹＵＶデータに圧縮処理を施して目標サイズに近いサイズのＪＰＥＧ生データを作成し、そして生成されたＪＰＥＧ生データをバスＢ１およびメモリ制御回路２４を通してＳＤＲＡＭ２６に書き込む。ＪＰＥＧ生データは、図２に示す要領でＳＤＲＡＭ２６にマッピングされる。上述のように、同じフレームで得られたＪＰＥＧヘッダおよびＪＰＥＧ生データによって当該フレームのＪＰＥＧデータが形成され、このＪＰＥＧデータの先頭および末尾にはマーカＳＯＩおよびＥＯＩが書き込まれる。
【００６６】
ステップＳ３３では、１フレームに相当する音声データの取り込み処理を行うべく、信号処理回路３８に処理命令を与える。信号処理回路３８は、Ａ／Ｄ変換器３６から与えられかつＳＲＡＭ３８ａに保持された１フレーム相当の音声データを、バスＢ１およびメモリ制御回路２４を通してＳＤＲＡＭ２６に書き込む。音声データは、図２に示す要領でＳＤＲＡＭ２６にマッピングされる。信号処理回路３８はまた、ＳＤＲＡＭ２６に書き込んだ音声データのサイズ値つまり取り込みサイズ値をＣＰＵ５２に返送する。このため、ステップＳ３５では数１に従う演算を実行し、返送された取り込みサイズ値を変数ａｕｄ＿ｓｚに積算する。
【００６７】
【数１】
ａｕｄ＿ｓｚ＝ａｕｄ＿ｓｚ+取り込みサイズ値
数１の演算が完了すると、ステップＳ３７でＪＰＥＧ圧縮の完了の有無を判別する。ＪＰＥＧコーデック３２は、ステップＳ３１の圧縮命令に基づくＪＰＥＧ圧縮が完了すると、生成されたＪＰＥＧ生データのサイズ値つまり圧縮サイズ値と圧縮完了信号とをＣＰＵ４６に返送する。このため、ステップＳ３７では、圧縮完了信号が返送されたときにＹＥＳと判断される。
【００６８】
ステップＳ３９では、返送された圧縮サイズ値を変数ｆｌｓｚに加算するべく、数２の演算を実行する。
【００６９】
【数２】
ｆｌｓｚ＝ｆｌｓｚ＋圧縮サイズ値
ステップＳ４１では、自ら作成したＪＰＥＧヘッダをバスＢ１およびメモリ制御回路２４を通してＳＤＲＡＭ２６に書き込み、続くステップＳ４３では、現フレームのＪＰＥＧデータのインデックス情報をバスＢ１およびメモリ制御回路２４を通してＳＤＲＡＭ２６に書き込む。ＪＰＥＧヘッダは図２に示す要領でＳＤＲＡＭ２６にマッピングされ、インデックス情報は図３に示す要領でＳＤＲＡＭ２６にマッピングされる。
【００７０】
上述のように、ムービファイルのインデックスチャンクでは、ＪＰＥＧデータのファイル上の位置およびサイズは１フレーム毎に管理される。このため、ステップＳ４３では、１フレームのＪＰＥＧデータの位置情報およびサイズ情報をインデックス情報として作成する。また、ムービファイル上では３フレーム分のＪＰＥＧデータによって１つの画像チャンクが形成される。このため、ステップＳ４３では、現フレームが連続する３フレームの何番目であるかを変数ｆｒｍｃｎｔから特定し、これによってインデックス情報をＳＤＲＡＭ２６のどの位置に作成するかを決定する。
【００７１】
ステップＳ４５では、現フレームのＪＰＥＧ生データおよびＪＰＥＧヘッダのアクセス情報を図５に示すアクセス情報テーブル５２ｂ内に作成する。つまり、ＳＤＲＡＭ２６に存在する現フレームのＪＰＥＧ生データの先頭アドレス情報およびサイズ情報を現フレームのＪＰＥＧ生データのアクセス情報として作成し、ＳＤＲＡＭ２６に存在する現フレームのＪＰＥＧヘッダの先頭アドレス情報およびサイズ情報を現フレームのＪＰＥＧヘッダのアクセス情報として作成する。そして作成した各々のアクセス情報をアクセス情報テーブル５２ｂに設定された変数ｉに割り当てる。
【００７２】
ステップＳ４５の処理が完了すると、ステップＳ４７で変数ｉを現撮影モードのフレームレート値ＦＰＳと比較する。現撮影モードのフレームレートが３０ｆｐｓであれば、フレームレート値ＦＰＳは“３０”となり、変数ｉは“３０”と比較される。そして、ｉ＜ＦＰＳであればそのままステップＳ８３に進むが、ｉ≧ＦＰＳであればステップＳ４９〜８１の処理を経てステップＳ８１に進む。
【００７３】
ステップＳ４９では変数ｆｒｍｃｎｔが“２”未満かどうか判断し、ＹＥＳであれば、数３の条件が満たされるかどうかをステップＳ５１で判断する。一方、変数ｆｒｍｃｎｔが“２”以上であれば、数４の条件が満たされるかどうかをステップＳ５９で判断する。
【００７４】
【数３】
ａｕｄ＿ｓｚ−（ａｕｄｓｚ＿ｆｐｓ＊（ｉ＋１））＞ａｕｄｓｚ＿ｆｐｓ
【００７５】
【数４】
（ａｕｄｓｚ＿ｆｐｓ＊（ｉ＋１））−ａｕｄ＿ｓｚ＞ａｕｄｓｚ＿ｆｐｓ
ａｕｄ＿ｓｚは、実際に取り込まれた音声データのトータルサイズ値であり、ａｕｄｓｚ＿ｆｐｓ＊（ｉ＋１）は、取り込み開始からのフレーム数と理論値ＬＧとの掛け算値である。数３および数４のいずれにおいても、両数値の差分値が理論値ＬＧと比較される。そして、差分値が理論値ＬＧ以下である限りはそのままステップＳ６３に進むが、差分値が理論値ＬＧを上回ると、ステップＳ５３〜Ｓ５７を経て、あるいはステップＳ６１を経て、ステップＳ６３に進む。
【００７６】
たとえば、実際のサンプリングレートが８０４３Ｈｚであり、ソフトウェア計算上のサンプリングレートが８０４０Ｈｚであれば、両者の誤差は３Ｈｚである。すると、１秒に相当する音声データのサイズ値に３バイトのずれが発生する。理論値ＬＧは２６８バイトであるため、約９０秒に１回の割合で数３の条件が満たされ、ステップＳ５３〜Ｓ５７が処理される。また、実際のサンプリングレートが８０３４Ｈｚでソフトウェア計算上のサンプリングレートが８０４０Ｈｚであれば、両者の誤差は６Ｈｚとなる。このときは、約４５秒に１回の割合で数４の条件が満たされ、ステップＳ６１の処理が実行される。
【００７７】
ステップＳ５３では、変数ｉおよびｆｒｍｃｎｔの各々をインクリメントする。ステップＳ５５では前回と同じ画像インデックス情報つまり直前のステップＳ４３で作成したインデックス情報と同じインデックス情報をＳＤＲＡＭ２６内に作成し、ステップＳ５７では前回と同じアクセス情報つまり直前のステップＳ４５で作成したアクセス情報と同じアクセス情報をアクセス情報テーブル５２ｂ内に作成する。ステップＳ５７の処理が完了すると、ステップＳ６３に進む。一方、ステップＳ６１では変数ｉおよびｆｒｍｃｎｔの各々をディクリメントし、その後ステップＳ６３に進む。
【００７８】
したがって、インデックス情報が図９（Ａ）に示す要領でＳＤＲＡＭ２６に設定されかつアクセス情報が図１０（Ａ）に示す要領でアクセス情報テーブル５２ｂに設定された後に数３に示す条件が満たされた場合、ステップＳ５３〜Ｓ５７の処理によって、同じＪＰＥＧデータのインデックス情報が図９（Ｂ）に示すようにＳＤＲＡＭ２６に設定され、同じＪＰＥＧデータを形成するＪＰＥＧ生データおよびＪＰＥＧヘッダのアクセス情報が図１０（Ｂ）に示すようにアクセス情報テーブル５２ｂに設定される。
【００７９】
図９（Ａ）によれば、ＪＰＥＧデータＰのインデックス情報がＳＤＲＡＭ２６に設定されている。この状態で、変数ｆｒｍｃｎｔがインクリメントされ、かつ直前のステップＳ４３で作成したインデックス情報が再度有効化されるため、図９（Ｂ）に示すようにＪＰＥＧデータＰのインデックス情報が補間される。ＪＰＥＧデータＰのインデックス情報が補間された後は、図９（Ｃ）に示すようにＪＰＥＧデータＰ＋１のインデックス情報が設定される。
【００８０】
図１０（Ａ）によれば、ＪＰＥＧ生データＰおよびＪＰＥＧヘッダＰのアクセス情報が変数ｉ（＝Ｐ）に割り当てられている。この状態で変数ｉがインクリメントされ、かつ直前のステップＳ４５で作成したアクセス情報が再度有効化されるため、図１０（Ｂ）に示すようにＪＰＥＧ生データＰおよびＪＰＥＧヘッダＰのアクセス情報が変数ｉ（＝Ｐ＋１）に割り当てられることになる。ＪＰＥＧ生データＰおよびＪＰＥＧヘッダＰのアクセス情報が補間された後は、図１０（Ｃ）に示すようにＪＰＥＧ生データＰ＋１およびＪＰＥＧヘッダＰ+１のアクセス情報が変数ｉ（＝Ｐ＋２）に割り当てられる。
【００８１】
一方、インデックス情報が図１１（Ａ）に示す要領でＳＤＲＡＭ２６に設定されかつアクセス情報が図１２（Ａ）に示す要領でアクセス情報テーブル５２ｂに設定された後に数４に示す条件が満たされた場合、ステップＳ６１の処理によって、図１１（Ｂ）に示すように、インデックス情報の一部が後続のインデックス情報によって上書きされ、図１２（Ｂ）に示すようにアクセス情報の一部が後続のアクセス情報によって上書きされる。
【００８２】
図１１（Ａ）によれば、ＪＰＥＧデータＰのインデックス情報とＪＰＥＧデータＰ＋１のインデックス情報とが、ＳＤＲＡＭ２６に設定されている。この状態で変数ｆｒｍｃｎｔがディクリメントされるため、次回のステップＳ４３の処理によって、図１１（Ｂ）に示すように、ＪＰＥＧデータＰ+１のインデックス情報がＪＰＥＧデータＰ＋２のインデックス情報によって上書きされる。これによって、ＪＰＥＧデータＰ＋１のインデックス情報が間引かれる。ＪＰＥＧデータＰ＋２のインデックス情報の次は、図１１（Ｃ）に示すようにＪＰＥＧデータＰ＋３のインデックス情報が設定される。
【００８３】
図１２（Ａ）によれば、ＪＰＥＧ生データＰおよびＪＰＥＧヘッダＰのアクセス情報とＪＰＥＧ生データＰ＋１およびＪＰＥＧヘッダＰ＋１のアクセス情報とが、アクセス情報テーブル５２ｂに設定されている。この状態で変数ｉがディクリメントされるため、次回のステップＳ４５の処理によって、図１２（Ｂ）に示すように、ＪＰＥＧ生データＰ＋１およびＪＰＥＧヘッダＰ＋１のアクセス情報がＪＰＥＧ生データＰ＋２およびＪＰＥＧヘッダＰ＋２のアクセス情報によって上書きされる。これによって、ＪＰＥＧデータＰ＋１のアクセス情報が間引かれる。ＪＰＥＧ生データＰ＋２およびＪＰＥＧヘッダＰ＋２のアクセス情報の次は、図１２（Ｃ）に示すようにＪＰＥＧ生データＰ＋３およびＪＰＥＧヘッダＰ＋３のアクセス情報が設定される。
【００８４】
なお、ステップＳ５３で変数ｉがインクリメントされることで、次回以降のステップＳ５１ではＮＯとの判断が継続する。また、ステップＳ６１で変数ｉがディクリメントされることで、次回以降ＮＯステップＳ５９ではＮＯとの判断が継続する。
【００８５】
ステップＳ６３では、変数ｉをフレームレート値ＦＰＳで割り算したときの余り（＝ｉ％ＦＰＳ）を判別する。ここで余りが“０”でなければ、そのままステップＳ８３に進むが、余りが“０”であればステップＳ６５〜Ｓ８１の処理を経てステップＳ８３に進む。余りが“０”となるのは３０フレームの１回であるため、ステップＳ６５〜Ｓ８１の処理は３０フレームに１回の割合で実行される。
【００８６】
ステップＳ６５では変数ｆｌｓｚおよびｐｒｅ＿ｆｌｓｚに数５に従う演算を施し、ステップＳ６７では数５によって求められた差分値Δｆｌｓｚと変数ＢＧ＿ＲｅｍＤａｔａとフレームレート値ＦＰＳとに数６に従う演算を施す。
【００８７】
【数５】
Δｆｌｓｚ＝ｆｌｓｚ−ｐｒｅ＿ｆｌｓｚ
【００８８】
【数６】
ｔ＿ｓｚ＝（Δｆｌｓｚ−ＢＧ＿ＲｅｍＤａｔａ）／ＦＰＳ
数５において、変数ｆｌｓｚはＪＰＥＧ圧縮によって得られたＪＰＥＧ生データのトータルサイズ値であり、変数ｐｒｅ＿ｆｌｓｚは記録媒体５０に既に記録されたＪＰＥＧ生データのトータルサイズ値である。後述するように変数ｐｒｅ＿ｆｌｓｚは３０フレームに１回に割合でしか更新されず、数５に従う演算もまた３０フレームに１回の割合でしか更新されないため、差分値Δｆｌｓｚは最新の３０フレームで生成されたＪＰＥＧ生データのトータルサイズを示す。
【００８９】
数６において、変数ＢＧ＿ＲｅｍＤａｔａは、“ファイル書き込み”の指示が指示リスト５２ａに設定されたが未だ記録媒体５０に記録されていないＪＰＥＧ生データのトータルサイズ値である。この変数ＢＧ＿ＲｅｍＤａｔａは、“ファイル書き込み”の処理に要する時間が短いほど小さくなり、逆に“ファイル書き込み”の処理に要する時間が長いほど大きくなる。差分値Δｆｌｓｚからこのような変数ＢＧ＿ＲｅｍＤａｔａを引き算した引き算値は、現時点の“ファイル書き込み”の処理速度を反映し、この引き算値をフレームレート値ＦＰＳで割り算した割り算値は、現時点の処理速度の下での変数ＢＧ＿ＲｅｍＤａｔａの変動量が規定の範囲内に収まる圧縮サイズ値となる。かかる圧縮サイズ値が、変数ｔ＿ｓｚとして算出される。
【００９０】
ここで、“ファイル書き込み”の処理速度の変動要因としては、ＣＰＵ５０ａの処理速度やバッファメモリ５０ｂの容量のような記録媒体５０の特性のほかに、バスＢ１の占有率やＢＧ処理タスク以外のタスクの処理状況などが考えられる。
【００９１】
上述のように、ズームキー６４の操作によって“１．０”よりも大きいズーム倍率が選択されると、生画像データは、ＳＤＲＡＭ２６に一旦格納されてから信号処理回路２２に入力される。このとき、生画像データは、バスＢ１を介してＳＤＲＡＭ２６に与えられ、バスＢ１を介して信号処理回路２２に戻される。バスＢ１の占有率は生画像データの転送処理によって上昇し、これによって“ファイル書き込み”の処理速度が低下してしまう。
【００９２】
また、カメラのパンニングやチルティングによって被写体の明るさや色あいが大きく変化すると、撮影条件制御タスクが起動して、絞り量，露光時間，白バランス調整ゲインなどが調整される。各々のタスクを同時に実行することはできないため、撮影条件制御タスクが起動すると、ＢＧ処理タスクは中断され、これによって“ファイル書き込み”の処理速度が低下してしまう。
【００９３】
この実施例では、かかる“ファイル書き込み”の処理速度の変動を考慮して、変数ｔ＿ｓｚを周期的に更新するようにしている。変数ｔ＿ｓｚの更新の結果、後述するように目標サイズ値ひいてはＪＰＥＧ圧縮率が更新される。
【００９４】
ステップＳ６９では算出された変数ｔ＿ｓｚを変数ｔｒｇｔ＿ｓｚと比較し、ｔ＿ｓｚ＜ｔｒｇｔ＿ｓｚであれば、ステップＳ７１で変数ｔ＿ｓｚを最小値ＭＩＮと比較する。そして、ｔ＿ｓｚ≧ＭＩＮであればそのままステップＳ７９に進むが、ｔ＿ｓｚ＜ＭＩＮであればステップＳ７３で変数ｔ＿ｓｚを最小値ＭＩＮに更新してからステップＳ７９に進む。一方、ステップＳ６９でｔ＿ｓｚ≧ｔｒｇｔ＿ｓｚと判断されると、ステップＳ７５で変数ｔ＿ｓｚを最大値ＭＡＸと比較する。そして、ｔ＿ｓｚ≦ＭＡＸであればそのままステップＳ７９に進むが、ｔ＿ｓｚ＞ＭＡＸであればステップＳ７７で変数ｔ＿ｓｚを最大値ＭＡＸに更新してからステップＳ７９に進む。ステップＳ７９では、変数ｔ＿ｓｚを変数ｔｒｇｔ＿ｓｚとして設定する。
【００９５】
数６によれば、変数ＢＧ＿ＲｅｍＤａｔａが大きいと変数ｔ＿ｓｚが小さくなり、逆に変数ＢＧ＿ＲｅｍＤａｔａが小さいと変数ｔ＿ｓｚが大きくなる。したがって、“ｔ＿ｓｚ＜ｔｒｇｔ＿ｓｚ”は、未記録のＪＰＥＧデータ量が多いこと、即ち“ファイル書き込み”の処理速度が遅いことを意味する。また、“ｔ＿ｓｚ≧ｔｒｇｔ＿ｓｚ”は、未記録のＪＰＥＧデータ量が少ないこと、即ち記録媒体５０の記録特性が優れていることを意味する。
【００９６】
そこで、変数ｔ＿ｓｚが変数ｔｒｇｔ＿ｓｚを下回るときは、より小さい目標サイズ値（より高いＪＰＥＧ圧縮率）を次の１秒間で有効化するべく、変数ｔ＿ｓｚが変数ｔｒｇｔ＿ｓｚとして設定する。これによって、次回の１秒間で生成されるＪＰＥＧデータのサイズは今回の１秒間で生成されたＪＰＥＧデータよりも小さくなり、“ファイル書き込み”の処理速度の低下に起因する処理の破綻が回避される。
【００９７】
一方、変数ｔ＿ｓｚが変数ｔｒｇｔ＿ｓｚ以上であるときは、より大きな目標サイズ値（より低いＪＰＥＧ圧縮率）を次の１秒間で有効化するべく、変数ｔ＿ｓｚを変数ｔｒｇｔ＿ｓｚに設定する。これによって、次回の１秒間で生成されるＪＰＥＧデータのサイズは今回の１秒間で生成されたＪＰＥＧデータよりも大きくなり、圧縮処理に起因する画質の劣化が低減される。
【００９８】
ステップＳ８１では、変数ｆｌｓｚおよびＢＧ＿ＲｅｍＤａｔａに数７の演算を施して、変数ｐｒｅ＿ｆｌｓｚを更新する。
【００９９】
【数７】
ｐｒｅ＿ｆｌｓｚ＝ｆｌｓｚ−ＢＧ＿ＲｅｍＤａｔａ
数７によれば、これまでに生成されたＪＰＥＧ生データのトータルサイズ値から、未記録のＪＰＥＧ生データのトータルサイズ値が引き算される。この演算もまた３０フレーム毎に実行されるため、変数ｐｒｅ＿ｆｌｓｚは３０フレームに１回の割合で更新される。次回つまり３０フレーム後の数５の演算では、こうして更新された変数ｐｒｅ＿ｆｌｓｚが最新の変数ｆｌｓｚから引き算される。
【０１００】
ステップＳ８３では変数ｆｒｍｃｎｔをインクリメントし、続くステップＳ８５ではインクリメントされた変数ｆｒｍｃｎｔの値を判別する。そして、変数ｆｒｍｃｎｔが“１”または“２”であればそのままステップＳ９５に進むが、変数ｆｒｍｃｎｔが“３”であれば、ステップＳ８７〜Ｓ９３の処理を経てステップＳ９５に進む。
【０１０１】
ステップＳ８７では音声データのインデックス情報をＳＤＲＡＭ２６に書き込む。図７に示すムービファイル上では、３フレームに相当する時間の音声データによって１つの音声チャンクが形成される。また、インデックスチャンクでは、音声データのファイル上の位置およびサイズは３フレームに相当する時間毎に管理される。このため、ステップＳ８５では、最新の３フレームに相当する音声データの位置情報およびサイズ情報を作成し、作成したインデックス情報を図３に示すようにＳＤＲＡＭ２６に書き込む。
【０１０２】
続くステップＳ８９では音声データのアクセス情報をアクセス情報テーブル５２ｂに書き込む。つまり、ＳＤＲＡＭ２６に存在する３フレーム相当の音声データの先頭アドレス情報とサイズ情報とをアクセス情報として作成し、作成したアクセス情報をアクセス情報テーブル５２ｂに書き込む。このとき、アクセス情報は、注目する３フレームのＪＰＥＧデータのアクセス情報に関連付けられる。
【０１０３】
ステップＳ９１では、アクセス情報テーブル５２ｂに設定された３フレーム分のＪＰＥＧ生データと、３フレーム分のＪＰＥＧヘッダのアクセス情報と、３フレーム相当の音声データのアクセス情報とを参照して、“ファイル書き込み”を図４に示す指示リスト５２ａに設定する。図２に示すように、３フレーム相当の音声データはＳＤＲＡＭ２６上で連続するが、３フレームのＪＰＥＧ生データおよびＪＰＥＧヘッダはＳＤＲＡＭ２６上で離散的に分布する。このため、ステップＳ９１では、合計７つ分の“ファイル書き込み”を指示リスト５２ａに設定する。
【０１０４】
この７つの“ファイル書き込み”のうち１番目に設定される“ファイル書き込み”では、ＳＤＲＡＭアドレスは注目する３フレーム相当の音声データの開始アドレスを示し、データサイズは注目する３フレーム相当の音声データのサイズを示し、そしてデータ種別は音声チャンクを示す。ここで、開始アドレスおよびデータサイズは、ステップＳ８７で作成されたアクセス情報を形成するＳＤＲＡＭアドレスおよびデータサイズに等しい。
【０１０５】
２番目，４番目および６番目に設定される“ファイル書き込み”では、ＳＤＲＡＭアドレスは注目する３フレームのＪＰＥＧヘッダの開始アドレスを示し、データサイズは注目する３フレームのＪＰＥＧヘッダのサイズを示し、そしてデータ種別はＪＰＥＧヘッダを示す。ここで、開始アドレスおよびデータサイズは、ステップＳ４５またはＳ５７で作成された最新３フレームのＪＰＥＧヘッダのアクセス情報を形成するＳＤＲＡＭアドレスおよびデータサイズに等しい。
【０１０６】
３番目，５番目および７番目に設定される“ファイル書き込み”では、ＳＤＲＡＭアドレスは注目する３フレームのＪＰＥＧ生データの開始アドレスを示し、データサイズは注目する３フレームのＪＰＥＧ生データのサイズを示し、そしてデータ種別はＪＰＥＧ生データを示す。ここで、開始アドレスおよびデータサイズは、ステップＳ４５またはＳ５７で作成された最新３フレームのＪＰＥＧ生データのアクセス情報を形成するＳＤＲＡＭアドレスおよびデータサイズに等しい。
【０１０７】
このような指示リスト５２ａの指示がＢＧ処理タスクで実行されることで、３フレーム相当の音声データと３フレームのＪＰＥＧデータとがメモリ制御回路２４によってＳＤＲＡＭ２６から読み出され、バスＢ１およびＩ／Ｆ回路４６を通して記録媒体５０に与えられる。この結果、音声チャンクおよび画像チャンクが図８に示すムービファイル上で交互に分布することになる。
【０１０８】
ステップＳ９３では、ステップＳ９１で指示リスト５２ａに設定した３フレームのＪＰＥＧ生データのサイズ値を変数ＢＧ＿ＲｅｍＤａｔａに加算するべく、数８の演算を実行する。
【０１０９】
【数８】
ＢＧ＿ＲｅｍＤａｔａ＝ＢＧ＿ＲｅｍＤａｔａ＋ＪＰＥＧ生データサイズ値
ステップＳ９５ではフレーム番号ｉをインクリメントし、続くステップＳ９７ではシャッタボタン５８の操作の有無を判別する。シャッタボタン５８が押されない限りステップＳ２１〜Ｓ９５の処理を繰り返し、各フレームで生成されたＪＰＥＧヘッダ，ＪＰＥＧ生データおよび音声データは、ＳＤＲＡＭ２６に図２に示す要領でマッピングされる。
【０１１０】
シャッタボタン５８が押されるとステップＳ９９に進み、変数ｆｒｍｃｎｔの値を判別する。ここで変数ｆｒｍｃｎｔが“３”であればそのままステップＳ１０３に進むが、変数ｆｒｍｃｎｔが“１”または“２”であればステップＳ１０１で“ファイル書き込み”を指示リスト５２ａに設定してからステップＳ１０３に進む。
【０１１１】
変数ｆｒｍｃｎｔが“１”の場合、最後の音声チャンクおよび画像チャンクは１フレーム分の音声データおよびＪＰＥＧデータによって形成され、指示リスト５２ａには合計３つの“ファイル書き込み”が設定される。変数ｆｒｍｃｎｔが“２”の場合、最後の音声チャンクおよび画像チャンクは２フレーム分の音声データおよびＪＰＥＧデータによって形成され、指示リスト５２ａには合計５つの“ファイル書き込み”が設定される。これによって、１フレーム分または２フレーム分の音声データからなる音声チャンクと、１フレームまたは２フレームのＪＰＥＧデータからなる画像チャンクとが、ムービファイルに形成される。
【０１１２】
ステップＳ１０３では、図３に示すインデックス情報をムービファイルに書き込むべく、“ファイル書き込み”を指示リスト５２ａに設定する。ここで設定されるＳＤＲＡＭアドレスおよびデータサイズは、図３に示すインデックス情報の開始アドレスおよび合計サイズを示し、データ種別はムービファイルヘッダを示す。ＢＧ処理によってこの“ファイル書き込み”が実行されることで、図３に示す全てのインデックス情報を含むインデックスチャンクがムービファイルの末尾に形成される。
【０１１３】
ステップＳ１０５では、インデックス情報に含まれるサイズ情報に基づいてムービファイルのトータルサイズを算出し、算出されたトータルサイズデータをＳＤＲＡＭ２６に書き込む。続くステップＳ１０７〜Ｓ１１１では、“ファイル書き込み”，“ファイルクローズ”および“ＢＧ処理終了”を指示リスト５２ａに設定する。“ファイル書き込み”で設定されるＳＤＲＡＭアドレスおよびデータサイズはトータルサイズデータの先頭アドレスおよびデータサイズを示し、データ種別はムービファイルヘッダを示す。また、“ファイルクローズ”ではFILE＿CLOSEがコマンドとして設定され、“ＢＧ処理終了”ではFILE＿ENDがコマンドとして設定される。
【０１１４】
“ファイル書き込み”がＢＧ処理によって実行されることで、トータルサイズ値がムービファイルヘッダのサイズ情報に追加される。また、“ファイルクローズ”がＢＧ処理によって実行されることで、ディレクトリエントリのサイズ情報（ステップＳ１５の処理に基づいて書き込まれたサイズ情報）が“０”からトータルサイズ値に更新され、かつ今回作成されたムービファイルの書き込み領域にリンクが形成されるようにＦＡＴ領域５０１ｃのＦＡＴ情報が更新される。ＢＧ処理は、“ＢＧ処理終了”によって終了する。
【０１１５】
なお、トータルサイズ値をムービファイルヘッダに書き込むためには、書き込み先アドレスを更新する必要があり、実際には、ステップＳ１０５の“ファイル書き込み”の設定に先立って“シーク処理”が指示リスト５２ａに設定される。
【０１１６】
ＢＧ処理タスクは、図２０〜図２１に示すフロー図に従う。まずステップＳ１２１で読み出し先のリスト番号Ｌを“０”に設定し、続くステップＳ１２３ではリスト番号Ｌから読み出されたコマンドがFILE＿STRTであるかどうか判断する。ここでＹＥＳであれば、ステップＳ１２５でリスト番号Ｌをインクリメントし、インクリメント後のリスト番号Ｌから読み出されたコマンドの内容をステップＳ１２７，Ｓ１３１，Ｓ１３５，Ｓ１３９，Ｓ１４７の各々で判別する。
【０１１７】
読み出されたコマンドがFILE＿CREATEであればステップＳ１２７でＹＥＳと判断し、ステップＳ１２９でファイル作成処理を行う。具体的には、パラメータ１に設定されたドライブ番号によって記録媒体５０を特定し、パラメータ２に設定されたファイルパスに基づいて記録媒体５０のディレクトリエントリにファイル名とサイズ０を示すサイズ情報とを書き込む。処理を終えると、ステップＳ１２５に戻る。
【０１１８】
読み出されたコマンドがFILE＿SET＿ALLOCであればステップＳ１３１でＹＥＳと判断し、ステップＳ１３３でテーブル作成処理を行う。つまり、パラメータ１に設定されたドライブ番号によって記録媒体５０を特定し、ＦＡＴ情報を参照して図７に示す空き領域テーブル５２ｃを作成する。処理を終えると、ステップＳ１２５に戻る。
【０１１９】
読み出されたコマンドがFILE＿OPENであればステップＳ１３５からステップＳ１３７に進み、ファイルオープン処理を行う。つまり、パラメータ１に設定されたドライブ番号によって記録媒体５０を特定し、パラメータ２に設定されたファイルパスに基づいてファイルを特定し、そしてこのファイルに割り当てるハンドル番号を作成する。作成したハンドル番号は撮影処理に用いられる。処理を終えると、ステップＳ１２５に戻る。
【０１２０】
読み出されたコマンドがFILE＿WRITEであればステップＳ１３９からステップＳ１４１に進み、ファイル書き込み処理を行う。具体的には、パラメータ１に設定されたハンドル番号によって書き込み先のムービファイルを特定し、パラメータ２および３に設定されたＳＤＲＡＭアドレスおよびデータサイズに従って読み出し開始アドレスおよび読み出しサイズを特定する。そして、読み出し開始アドレスおよび読み出しサイズに基づいてＳＤＲＡＭ２６からワード単位でデータを読み出し、読み出したデータを書き込み先のムービファイル情報とともに記録媒体５０のＣＰＵ５０ａに与える。
【０１２１】
パラメータ３に設定された読み出しサイズが記録媒体５０に設けられたバッファメモリ５０ｂよりも大きければ、バッファメモリ５０ｂが満杯となった時点でＣＰＵ５０ａからＣＰＵ５２にＢＵＳＹ信号が返送される。ステップＳ１４１の処理は、ＢＵＳＹ信号に応答して中断される。バッファメモリ５０ｂからハードディスク５０ｃへのデータ転送によってバッファメモリ５０ｂに十分な空き容量が確保されると、ＣＰＵ５０ａからＣＰＵ５２にＲＥＡＤＹ信号が返送される。ステップＳ１４１の処理は、このＲＥＡＤＹ信号に応答して再開される。
【０１２２】
パラメータ３に設定された読み出しサイズに相当するデータの記録媒体５０への転送が完了すると、この読み出しサイズを積算するとともに、１クラスタ分の書き込みが完了する毎に書込クラスタのリンク状態を示すＦＡＴ情報を作成する。データサイズの積算値およびＦＡＴ情報は、ＳＤＲＡＭ２６に保持される。
【０１２３】
ステップＳ１４３では、パラメータ４に設定されたデータ種別を判別する。ここでデータ種別が“ＪＰＥＧ生データ”でなければそのままステップＳ１２５に戻るが、データ種別が“ＪＰＥＧ生データ”であれば、ステップＳ１４５で数９に従う演算を実行してからステップＳ１２５に戻る。
【０１２４】
【数９】
ＢＧ＿ＲｅｍＤａｔａ＝ＢＧ＿ＲｅｍＤａｔａ−ＪＰＥＧ生データサイズ値
数９によれば、パラメータ３に設定されたデータサイズが、変数ＢＧ＿ＲｅｍＤａｔａから引き算される。これによって、変数ＢＧ＿ＲｅｍＤａｔａが、指示リスト５２ａに設定されたが未だ記録媒体５０に記録されていないＪＰＥＧ生データのサイズを示すこととなる。
【０１２５】
読み出されたコマンドがFILE＿CLOSEであればステップＳ１４７からステップＳ１４９に進み、ファイルクローズ処理を行う。具体的には、オープンしているムービファイルのファイル名に割り当てられたサイズ情報をＳＤＲＡＭ２６に保持されたトータルサイズ値によって更新し、ＳＤＲＡＭ２６によって保持されたＦＡＴ情報によってＦＡＴ領域５０１ｃのＦＡＴ情報を更新する。処理が完了すると、ステップＳ１２５に戻る。
【０１２６】
読み出されたコマンドがFILE＿ENDであれば、ステップＳ１４７でＮＯと判断し、ステップＳ１２１に戻る。ＢＧ処理は待機状態に移行する。
【０１２７】
以上の説明から分かるように、互いに関連する音声データと複数画面のＪＰＥＧデータとに並行して記録処理を施すとき、音声データの実処理量（＝８０４３バイト／秒）と仮想処理量（＝８０４０バイト／秒）との誤差が、ＣＰＵ５２によって３０フレーム毎に算出される（S51,S59）。算出された誤差が閾値を上回ると、記録媒体５０に記録されるＪＰＥＧデータのフレーム数が調整される（S53~S57,S61）。具体的には、インデックス情報およびアクセス情報の間引き／補間によってフレーム数が調整される。このため、音声ノイズの発生を防止しつつ、再生動画像と再生音声との同期を確保することができる。
【０１２８】
なお、この実施例では、ＪＰＥＧ方式で画像圧縮を行うようにしているが、ＪＰＥＧ方式に代えてＭＰＥＧ方式を採用し、目標サイズ値をＧＯＰ単位で更新するようにしてもよい。
【０１２９】
また、この実施例では、目標サイズ値を３０フレーム毎に更新するようにしているが、ソフトウェア計算を容易にするために、３２フレーム，６４フレーム，１２８フレームのような２のべき乗に相当するフレーム数毎に目標サイズを更新するようにしてもよい。
【０１３０】
さらに、この実施例では、フレーム数を調整するかどうかの判断に用いる閾値を１フレーム相当の音声データ量（＝２６８バイト）に設定するようにしているが、この閾値は、２６８バイトの整数倍としてもよい。
【０１３１】
また、この実施例では、記録処理を行うときにＪＰＥＧデータのフレーム数を調整するようにしているが、フレーム数の調整は再生処理の際に行うようにしてもよい。
【０１３２】
さらに、この実施例では、アクセス情報およびインデックス情報の両方に間引き／補間を施すようにしているが、インデックス情報のみに基づいてＪＰＥＧデータの再生順序を制御する場合は、インデックス情報のみに間引き／補間を施すようにしてもよい。これによって、アクセス情報の間引き処理に起因するＪＰＥＧデータの欠落を防止することができる。
【０１３３】
さらにまた、この実施例では、動画像信号の記録方式としてＦＡＴ方式を採用しているが、これに代えてＵＤＦ（Universal Disk Format）方式を採用してもよい。
【０１３４】
さらにまた、この実施例ではディジタルビデオカメラを用いて説明しているが、この発明は、たとえばＴＶ番組を録画する据え置き型のハードディスクレコーダにも適用できることは言うまでもない。
【図面の簡単な説明】
【図１】この発明の一実施例を示すブロック図である。
【図２】ＳＤＲＡＭのマッピング状態の一例を示す図解図である。
【図３】ＳＤＲＡＭのマッピング状態の他の一例を示す図解図である。
【図４】指示リストの構成の一例を示す図解図である。
【図５】アクセス情報テーブルの構成の一例を示す図解図である。
【図６】記録媒体の構成の一例を示す図解図である。
【図７】空き領域テーブルの構成の一例を示す図解図である。
【図８】完成状態のムービファイルの構造を示す図解図である。
【図９】インデックス情報の作成処理の一部を示す図解図である。
【図１０】アクセス情報テーブルの作成処理の一部を示す図解図である。
【図１１】インデックス情報の作成処理の他の一部を示す図解図である。
【図１２】アクセス情報テーブルの作成処理の他の一部を示す図解図である。
【図１３】撮影処理タスクを行うときのＣＰＵの動作の一部を示すフロー図である。
【図１４】撮影処理タスクを行うときのＣＰＵの動作の他の一部を示すフロー図である。
【図１５】撮影処理タスクを行うときのＣＰＵの動作のその他の一部を示すフロー図である。
【図１６】撮影処理タスクを行うときのＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図１７】撮影処理タスクを行うときのＣＰＵの動作の他の一部を示すフロー図である。
【図１８】撮影処理タスクを行うときのＣＰＵの動作のその他の一部を示すフロー図である。
【図１９】撮影処理タスクを行うときのＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図２０】ＢＧ処理タスクを行うときのＣＰＵの動作の一部を示すフロー図である。
【図２１】ＢＧ処理タスクを行うときのＣＰＵの動作の他の一部を示すフロー図である。
【符号の説明】
１０…ディジタルビデオカメラ
１２…イメージセンサ
２２，３８，４０…信号処理回路
２６…ＳＤＲＡＭ
３２…ＪＰＥＧコーデック
３４…マイク
４４…記録媒体
５２…ＣＰＵ

Claims (6)

1. 互いに関連する音声データと複数画面の静止画像データとを並行して処理するデータ処理装置において、
   処理された静止画像データの画面数を繰り返しカウントするカウント手段、
   処理された音声データのサイズを前記カウント手段によるカウント毎に積算する積算手段、
   前記音声データの仮想処理量と実処理量との誤差として、１画面に相当する音声データのサイズを示す理論値を前記カウント手段によるカウント毎に積算した第１積算値と前記積算手段によって求められた第２積算値との差分を所定周期で算出する算出手段、および
   前記算出手段によって算出された誤差に基づいて、処理される静止画像データの画面数を調整する調整手段を備え、
   前記調整手段は、前記誤差が不足分の数値であるとき前記静止画像データの処理画面数を増加させる一方、前記誤差が余剰分の数値であるとき前記静止画像データの処理画面数を減少させることを特徴とする、データ処理装置。
2. 前記算出手段によって算出された誤差をＮ（Ｎ：１以上の整数）画面に相当する音声データの仮想処理量と比較する比較手段をさらに備え、
   前記調整手段は、前記比較手段の比較結果に基づいて、前記誤差の大きさが前記Ｎ画面に相当する音声データの仮想処理量を上回ったとき調整を実行する、請求項１記載のデータ処理装置。
3. 前記複数画面の静止画像データを一時的に格納するメモリ、および
   前記メモリに格納された静止画像データを処理順序情報に従う順序で読み出す読み出し手段をさらに備え、
   前記調整実行手段は前記比較手段の比較結果に基づいて前記処理順序情報を作成する、請求項２記載のデータ処理装置。
4. 前記音声データおよび前記複数画面の静止画像データを記録媒体に記録する第１記録手段、および
   各画面の静止画像データのインデックス情報を前記記録媒体に記録する第２記録手段をさらに備え、
   前記調整実行手段は前記比較手段の比較結果に基づいて記第２記録手段によって記録されるインデックス情報に間引き／補間を施す、請求項２または３記載のデータ処理装置。
5. 前記仮想処理量は前記実処理量に近似するかつソフトウェア計算に適した数値を示す、請求項１ないし４のいずれかに記載のデータ処理装置。
6. 請求項１ないし５のいずれかに記載のデータ処理装置を備える、ビデオカメラ。

Images