JP4560788B2

JP4560788B2 - カメラ装置及び録画装置並びにプログラム

Info

Publication number: JP4560788B2
Application number: JP2005153385A
Authority: JP
Inventors: 祐司栗山
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2005-05-26
Filing date: 2005-05-26
Publication date: 2010-10-13
Anticipated expiration: 2025-05-26
Also published as: JP2006333038A

Description

本発明は、デジタルカメラ（デジタルスチルカメラ）、デジタルビデオカメラ、携帯電話、ビデオデッキなどの音声付動画記録機能を持つ装置（カメラ装置やカメラ装置を含む録画装置）並びにそのためのプログラムに関する。

入力された動画と音声をリアルタイムで符号化（データ容量を圧縮するものでもよいし、圧縮しないものでもよい）してファイル化し、記憶媒体に記憶するデジタルカメラなどの録画装置がある。
従前は、録画を一時停止／再開する場合、再開後の録画データを中断時点に記録していたファイルと違うファイルに記録する動作が一般的であったが、近年では、動画再生中に静止画を撮影し、静止画撮影後に一連の動画撮影に復帰するという動作仕様から、録画再開後のデータも同一ファイルに記録する要求が出てきた。
そこで、特許文献１の撮影装置に見られるように、音声付動画データの記録中において、任意のタイミングでの一時停止（この場合、静止画撮影のための一時停止）を可能とし、この一時停止によって分断された動画撮影のデータを連続再生可能な形態で結合して単一のファイルとして記録保存する技術が提案されている。

ところで、画像データの符号化単位と音声データの符号化単位とは、各々の再生時間が異なり、データの記録の一時停止や再開はこの圧縮符号化単位で行われる。また、一時停止が指令された場合でも、符号化が１単位分全て終了する時点まで記録を継続しなければならない。このため、一時停止と再開を繰り返した場合、これによって細切れに生成されたデータを単純に結合しただけでは、ファイルの画像データと音声データの間には、再生タイミングのズレが蓄積されて問題となる恐れがある（具体例は、図８によって後述する）。
例えば、音声をＩＭＡ−ＡＤＰＣＭ形式で圧縮符号化する場合、圧縮単位（＝記録単位）が約４６ミリ秒分のデータであり、録画停止のタイミングによっては画像と音声の再生タイミングに１回の一時停止によって４６ミリ秒分の差が発生する可能性がある。この４６ミリ秒分の差は、１回分であれば、人に認知できない位の同期ズレであるが、停止／再開を繰り返して蓄積されれば、人が認知できる程度のズレ量になる可能性がある。こうして画像と音声の再生タイミングが大きくずれると、特に音声が先行する場合に、音声付動画を視聴するユーザは相当の違和感を覚え、製品品質の低下となる。

なお、特許文献２や特許文献３には、ネットワークを介してビデオデータ（画像と音声のデータ）を伝送して再生するシステム（遠隔ビデオ再生システムやＴＶ電話システム）において、伝送遅延による音声と画像（映像）の同期ズレを調整する技術、或いは、表示予定時刻からの動画再生のタイミングのズレを調整する技術が開示されている。この場合、特許文献２に記載された技術では、無音データの挿入又は削除を行うことによって、音声と画像の同期ズレを修正している。また、特許文献３の技術では、動画再生処理が間に合わないときに、動画データを間引く（削除する）ことによって、動画再生タイミングを調整している。

特開２００４−２０１２８２号公報特開平９−６５３０３号公報特開平７−１９３７８６号公報

しかしながら、上記従来技術では、画像データと音声データの圧縮符号化単位が異なる音声付動画記録の一時停止と再開を繰り返すことに起因する前述の再生タイミングのズレ（画像と音声のズレ）を効率的に抑制すること、さらには、実際の画像ではない代替フレーム（画像のダミーデータ）の表示期間を最小限にすることについては考慮されていなかった。

まず、特許文献１の撮影装置は、静止画撮影処理の期間（動画撮影の一時停止中の間）においても音声の記録については継続し、動画撮影の一時停止によって欠落した動画フレーム（画像データ）に対しては、これに代わる代替フレームを挿入して単一の動画ファイルを構成する。代替フレームは、例えば一時停止される直前の動画撮影処理によって得られた動画フレームを用いて生成する。この場合、一時停止中も録音が継続され、一時停止によって欠落した分だけ複数の代替フレームが挿入されるため、音声と画像の再生タイミングがずれることが防止される。しかし、一時停止した時間だけ必ず実際とは異なる複数の代替フレームが表示されるため、連続して再生される一連の動画において、比較的長時間代替フレームが表示されて、視聴する人が違和感を覚え易くなるという短所がある。特に動画撮影中の静止画撮影が複数回行われて一時停止が複数回行われた場合には、上記代替フレームが一時停止された時間分だけ頻繁に表示されることになり、好ましいとはいえない。

また、特許文献２や特許文献３の技術は、ネットワークを介してビデオデータを伝送して再生するシステムであり、入力された動画と音声をリアルタイムで符号化してファイル化し記憶媒体に記憶する録画装置において、静止画撮影などのための一時停止が繰り返された場合でも、音声と画像のズレが抑制された単一の音声付動画ファイルを、効率よく、また上記違和感の問題なく生成することについては、考慮されていない。
そこで、本発明の目的は、上記の問題点を解決すること、具体的には、入力された動画と音声をリアルタイムで符号化してファイル化し記憶媒体に記憶する装置（カメラ装置やカメラ装置を含む録画装置）において、静止画撮影などのための一時停止が繰り返された場合でも、音声と画像のズレが抑制された単一の音声付動画ファイルを、効率よく生成することができる装置並びにそのためのプログラムを提供することにある。さらに、実際の画像や音声ではないダミーデータの再生期間を最小限とし、上記違和感の問題を改善できる技術を提供することにある。

本発明のカメラ装置または録画装置は、画像取り込みの開始指示に応じて、逐次入力される画像データを第１の所定時間毎に符号化する画像取込処理を開始し、画像取り込みの停止指示に応じて、前記第１の所定時間毎の符号化の区切り位置で該画像取込処理を停止する画像取込手段と、音声取り込みの開始指示に応じて、前記マイクより逐次入力される音声データを前記第１の所定時間とは異なる第２の所定時間毎に符号化する音声取込処理を開始し、音声取り込みの停止指示に応じて、前記第２の所定時間毎の符号化の区切り位置で該音声取込処理を停止する音声取込手段と、音声付動画の記録開始が指示されてから記録終了が指示されるまでの間、前記画像取込手段による画像取込処理と前記音声取込手段による音声取込処理とを平行して実行させ、これらの処理により所定時間毎に符号化した形態で得られた複数の画像データおよび複数の音声データを音声付動画として連続再生可能な形態に結合して記録する音声付動画記録手段と、前記音声付動画記録手段による音声付動画の記録中に一時停止が指示された際は、前記画像取込手段による画像取込処理の停止を指示すると共に、前記音声取込手段による音声取込処理の停止を指示する一時停止手段と、前記音声付動画記録手段による音声付動画記録の停止中に再開が指示された際は、前記画像取込手段による画像取り込みの開始を指示すると共に、前記音声取込手段による音声取込処理の開始を指示する再開手段と、前記一時停止手段および前記再開手段による音声付動画記録の一時停止と再開を繰り返すことにより、前記連続再生可能な形態で結合される画像データと音声データとの間に蓄積されてゆく再生タイミングのズレ量を判定する判定手段と、前記判定手段による判定結果に応じて、前記音声付動画記録手段により連続再生可能な形態に結合して記録される複数の画像データおよび複数の音声データに対して、画像データ又は音声データの削除又は挿入を行う同期調整処理を実行することで、前記再生タイミングのズレ量を減少させる同期調整制御手段と、を備え、前記同期調整制御手段は、音声付動画記録を停止したときの画像データと音声データの記録時間を比較し、画像データの方が長い場合には更に、音声データを挿入した方が差分が小さくなるか否かを判断し、音声データを挿入した方が差分が小さくなると判断された場合には音声データを挿入し、そうでない場合には画像データを削除することを特徴とする。
また、上記カメラ装置または録画装置において、前記同期調整制御手段が、前記音声付動画記録手段により連続再生可能な形態に結合して記録される複数の画像データおよび複数の音声データに対して、画像データ又は音声データの削除又は挿入を行うか、或いは、前記一時停止手段によって前記画像取込処理の停止を指示するタイミングと、前記音声取込処理の停止を指示するタイミングとをずらすか、或いは、前記再開手段によって画像取込処理の再開を指示するタイミングと、前記音声取込処理の再開を指示するタイミングとをずらすか、のうちの何れかの同期調整処理を選択的に実行するようにしてもよい。
また、上記カメラ装置または録画装置において、前記判定手段が前記ズレ量を判定するタイミングは、前記一時停止が指示された時、又は、前記再開が指示された時であるようにしてもよい。
また、上記カメラ装置または録画装置において、前記判定手段により判定された前記ズレ量が規定値以上になると、前記同期調整制御手段が前記同期調整処理を実行するようにしてもよい。
また、上記カメラ装置または録画装置において、前記規定値は、画像より音声の再生タイミングが遅れている場合と、音声より画像の再生タイミングが遅れている場合とで、異なる値とされ、音声より画像の再生タイミングが遅れている場合の方が、比較的小さい値に設定されているようにしてもよい。
また、上記カメラ装置または録画装置において、前記同期調整処理の態様が複数ある場合、前記同期調整制御手段は、前記ズレ量が最小になる態様を選択して前記同期調整処理を実行するようにしてもよい。

本発明では、一時停止手段と再開手段によって、音声付動画の記録を一時停止してその後再開することが可能となり、例えば音声付動画記録中の静止画撮影（又は静止画のキャプチャ）が可能となる。また、音声付動画記録手段が、音声付動画の記録開始が指示されてから記録終了が指示されるまでの間、画像取込手段による画像取込処理と音声取込手段による音声取込処理とを平行して実行させ、これらの処理により所定時間毎に符号化した形態で得られた複数の画像データおよび複数の音声データを音声付動画として連続再生可能な形態に結合して記録するから、静止画撮影などによって記録が中断されても、中断の前と後の画像や音声を含むデータであって連続再生可能な音声付動画の一体的なデータが得られる。
しかも判定手段が、音声付動画記録の一時停止と再開を繰り返すことにより蓄積されてゆく恐れのある前記画像データと音声データの再生タイミングのズレ量を判定し、同期調整制御手段が、この判定手段による判定結果に応じて、前記再生タイミングのズレ量を減少させる所定の同期調整処理の実行を制御する。
このため、ズレ量に応じた必要最小限の同期調整処理が可能となり、静止画撮影などのための一時停止が繰り返された場合でも、音声と画像のズレが抑制された単一の音声付動画ファイルを、効率よく生成することができる。
更に、前記同期調整制御手段が、音声付動画記録手段により連続再生可能な形態に結合して記録される複数の画像データおよび複数の音声データに対して、画像データ又は音声データの削除又は挿入を行うものである。この場合、画像データ又は音声データの削除又は挿入という簡単な処理で、音声と画像のズレを抑制できる。またこの場合、画像データ又は音声データの削除又は挿入は、判定手段による判定結果に応じて必要に応じて実行すればよく、データを挿入するにしても、挿入するデータの数は、所定時間（第１の所定時間又は第２の所定時間）分の一つのデータだけでよい。したがって、実際の画像や音声ではないダミーデータの再生期間を最小限とし、前述の違和感の問題を格段に改善できる。
なお図７（ａ）〜（ｄ）は、本発明における同期調整処理の具体例を説明する図である。図中における「後半音声」や「後半画像」は、音声付動画再開後（一時停止終了後）に得られた音声データや画像データを意味する。このうち、図７（ａ）は、一時停止時点までに得られたデータにおいて音声が短い場合（即ち、一時停止までの音声の記録時間が画像の記録時間に比べて短いため、そのままでは一時停止後の画像の再生タイミングが音声に比べて遅れることになる場合）に、後半音声１（再開後の音声取込処理によって得られた１番目の音声データ）の直前にダミー音声を挿入している。図７（ｂ）は、逆に画像が短い場合（即ち、一時停止までの画像の記録時間が音声の記録時間に比べて短いため、そのままでは音声の再生タイミングが画像に比べて遅れることになる場合）に、後半音声１を破棄している（即ち、連続再生可能な音声付動画のデータとして結合する対象から削除している）。図７（ｃ）は、同様に画像が短い場合に、後半画像１（再開後の画像取込処理によって得られた１番目の画像データ）の直前にダミー画像を挿入している。また、図７（ｄ）は、同様に音声が短い場合に、後半画像１を破棄している。
また、他の発明では、前記一時停止手段によって前記画像取込処理の停止を指示するタイミングと、前記音声取込処理の停止を指示するタイミングとをずらすことによって、前記同期調整処理を実現する（具体例は図１４（ａ）により後述する）。このため、ダミーの画像データや音声データがなく、これらダミーデータによって視聴者が違和感を覚える恐れが全くなくなる。
また、他の発明では、前記再開手段によって前記画像取込処理の再開を指示するタイミングと、前記音声取込処理の再開を指示するタイミングとをずらすことによって、前記同期調整処理を実現する（具体例は図１４（ｂ）により後述する）。このため、ダミーの画像データや音声データがなく、これらダミーデータによって視聴者が違和感を覚える恐れが全くなくなる。また、図１４（ｂ）によって後述するように、前記ズレ量を常にゼロにすることができるという長所もある。
また、他の発明では、原理の異なる３種類の同期調整処理のうちの何れかが選択的に実行されるから、ユーザの選択等によって、ユーザの好み等に応じて同期調整処理の種類を変更できるという利点がある。
また、他の発明では、前記判定手段が前記ズレ量を判定するタイミングが、前記一時停止が指示された時、又は、前記再開が指示された時であるため、前記ズレ量を、一時停止までの記録時間の差として正確に算出でき、前記ズレ量を抑制する同期調整処理が的確に実行できる。
また、他の発明では、前記判定手段により判定された前記ズレ量が規定値以上になると、前記同期調整制御手段が同期調整処理を実行する構成であるから、この規定値を適度に設定することによって、前記ズレ量が問題にならない許容値（人が認知できないような僅かなもの）以内である場合には、同期調整処理を省略して動作を簡略化することができる。
また、他の発明では、前記規定値が、画像より音声の再生タイミングが遅れている場合と、音声より画像の再生タイミングが遅れている場合とで、異なる値とされ、音声より画像の再生タイミングが遅れている場合の方が、比較的小さい値に設定されている。このため、前記ズレ量の方向の違いによる前記許容値の違いに応じた最適な値に、前記規定値を設定することができる。即ち、一般の人間は、衛星放送などの影響で、画像より音声の再生タイミングが遅れている場合には比較的違和感を覚え難い（そういう状況には比較的慣れている）。また逆に、音声より画像の再生タイミングが遅れている場合（音声が先行して再生される場合）には、異常を感じ易い。本発明によれば、このような事情に適合した最適な規定値となり、人が異常を感じ易い方向のズレ量は、比較的小さい場合も前記同期調整処理を実行して的確に抑制する一方、人が異常を感じ難い方向のズレ量の場合には、大きな規定値に到達するまで同期調整処理を実行しないで動作をなるべく簡略化できる。
また、他の発明では、前記同期調整処理の態様が複数ある場合、前記同期調整制御手段が、前記ズレ量が最小になる態様を選択して前記同期調整処理を実行する。このため、同期調整処理によってズレ量を最小化することができる。

以下、本発明の実施形態を、デジタルカメラを例にして、図面を参照しながら詳しく説明する。なお、以下の説明における様々な細部の特定ないし実例および数値や文字列その他の記号の例示は、本発明の思想を明瞭にするための、あくまでも参考であって、それらのすべてまたは一部によって本発明の思想が限定されないことは明らかである。また、周知の手法、周知の手順、周知のアーキテクチャおよび周知の回路構成等（以下「周知事項」）についてはその細部にわたる説明を避けるが、これも説明を簡潔にするためであって、これら周知事項のすべてまたは一部を意図的に排除するものではない。かかる周知事項は本発明の出願時点で当業者の知り得るところであるので、以下の説明に当然含まれている。

まず、第１の実施形態であるデジタルカメラ１（カメラ装置、録画装置）の構成を説明する。
図１は、デジタルカメラ１の正面図及び背面図である。この図において、特に限定しないが、デジタルカメラ１は、箱形のカメラボディ２の前面に沈胴式のレンズ鏡筒３、ストロボ発光窓４及び光学式ファインダー前面窓５などを配置すると共に、カメラボディ２の上面に電源スイッチ６、シャッターボタン７、及び動画ボタン７ａ（音声付動画の記録開始及び終了を指令するもの）などを配置し、さらに、カメラボディ２の背面に光学式ファインダー後面窓８、撮影モード／再生モード切り換えスイッチ９、ズーム操作スイッチ１０、ＭＥＮＵボタン１１、上下左右方向移動ボタン１２、ＳＥＴボタン１３、ＤＩＳＰボタン１４、及び、数インチ程度の大きさの表示画面をもつ透過型の液晶モニター１５（表示部、電子ファインダー）などを配置し、加えて、カメラボディ２の底面に蓋１６を設け、この蓋１６を開くことによってカメラボディ２の内部に実装されたバッテリ１７及びカード型メモリやカード型ハードディスクなどの大容量の外部メモリ１８を着脱できるようになっている。

図２は、デジタルカメラ１の内部ブロック図である。この図において、デジタルカメラ１は、機能別に、撮像系１９、制御系２０、画像記憶系２１、表示系２２及び操作系２３などに分類することができる。

これらの系毎に説明すると、撮像系１９は、ボディ前面のレンズ鏡筒３に収められたズーム機能及びオートフォーカス機能付の撮影レンズ群２４と、この撮影レンズ群２４を通過した被写体像を二次元のカラー画像信号に変換するＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などからなる電子撮像部２５と、この電子撮像部２５からのカラー画像信号に対して所要の画像処理を施す映像処理部２６と、画像処理後のカラー画像信号を一時的に記臆する画像メモリ２７とを備えるとともに、レンズ鏡筒３の不図示のフォーカス機構を駆動するフォーカス駆動部２８と、同ズーム機構を駆動するズーム駆動部２９と、ボディ前面のストロボ発光窓４に設けられたストロボ３０と、このストロボ３０を駆動するストロボ駆動部３１と、これらの各部（電子撮像部２５、映像処理部２６、フォーカス駆動部２８、ズーム駆動部２９、ストロボ駆動部３１）を制御するための撮影制御部３２とを備える。

制御系２０は、上記の各系を制御してデジタルカメラ１の動作を集中的にコントロールする中央演算処理装置（以下、ＣＰＵ）３３と、このＣＰＵ３３の動作に必要な制御プログラムやデータを不揮発的に記憶するプログラムメモリ３４と、ユーザ固有のデータ等を不揮発的且つ書き換え可能に記憶するユーザデータメモリ３５とを備える。
なお、ＣＰＵ３３を中心とする制御系２０は、本発明の一時停止手段、再開手段、判定手段、同期調整制御手段を構成している。また、制御系２０と撮像系１９は、本発明の画像取込手段を構成している。また、制御系２０と後述する音声処理部５０は、本発明の音声取込手段を構成している。また、ＣＰＵ３３やプログラムメモリ３４は、本発明におけるコンピュータを構成する。

画像記憶系２１は、メモリインターフェース部３６と、このメモリインターフェース部３６に着脱可能に接続される外部メモリ１８とを備える。
表示系２２は、ＣＰＵ３３から適宜に出力される表示データを一時的に保持するビデオメモリ（ＶＲＡＭ３７）を含む表示制御部３８と、表示制御部３８の出力信号を表示する液晶モニター１５とを備える。

操作系２３は、カメラボディ２の各部に設けられた様々な操作ボタン類、すなわち、シャッターボタン７、動画ボタン７ａ、撮影モード／再生モード切り換えスイッチ９、ズーム操作スイッチ１０、ＭＥＮＵボタン１１、上下左右方向移動ボタン１２、ＳＥＴボタン１３、ＤＩＳＰボタン１４を含む操作入力部３９と、この操作入力部３９からの操作信号をＣＰＵ３３に入力するための入力回路４０とを備える。

また、デジタルカメラ１内には、音声処理部５０が設けられている。音声処理部５０は、音声を取り込むための図示省略したマイクと、その信号を必要に応じて増幅してデジタル化し所定の形式のデジタルデータとする音声処理回路とを含み、制御系２０のＣＰＵ３３に接続されている。

図３は、デジタルカメラ１のメモリマップ図である。図示の縦長矩形の長辺はＣＰＵ３３からアクセスできるアドレスの範囲を表している。たとえば、一番上を最下位アドレス（電源投入時のスタートアドレス）、一番下を最上位アドレスとすると、最下位アドレスを含む所定の範囲がプログラムメモリ３４に割り当てられており、それ以外の重複しない領域がユーザデータメモリ３５と外部メモリ１８にそれぞれ割り当てられている。

デジタルカメラ１の電源投入時、ＣＰＵ３３は、このメモリマップの最下位アドレスにアクセスし、その最下位アドレスに書き込まれているアドレスから制御プログラムを開始して、デジタルカメラ１の所要の動作、すなわち、画像の撮影モードや撮影済画像の再生モードを実行したり、あるいは、必要に応じて撮影モード用の各種設定処理並びに再生モード用の各種設定処理を実行したりする。また、ＣＰＵ３３は、必要に応じてユーザデータメモリ３５の任意アドレスにアクセスし、ユーザ固有のデータを所定のエリアに格納したり、または、更新したり、さらには、外部メモリ１８の任意アドレスにアクセスして、撮影画像データを格納したり、または、撮影済画像データを読み出したりする。

次に、以上の構成を有するデジタルカメラ１の動作を説明する。
デジタルカメラ１の電源スイッチ６をＯＮにすると、まず、撮影モード／再生モード切り換えスイッチ９の現在のスイッチ位置を調べて「撮影モード」であるか「再生モード」であるかを判定する（モード判定処理）。そして、判定結果が「再生モード」であれば、所要の再生モード処理を実行し、「撮影モード」であれば、以下の撮影モード処理を実行する。再生モード処理とは、撮影済の画像データを外部メモリ１８から読み出して液晶モニター１５に再生表示するモードのことである。

撮影モード処理の流れは、概略、次のとおりである。まず、ＭＥＮＵボタン１１の押し下げ操作を判定する処理（ＭＥＮＵボタン操作判定処理）を実行し、ＭＥＮＵボタン１１が押し下げ操作された場合には、撮影モード用のＭＥＮＵ処理を実行した後、再び前記モード判定処理のステップに戻る。

撮影モード用のＭＥＮＵ処理では、まず、液晶モニター１５に撮影モード用メニュー画面を表示する。次いで、ユーザによるメニュー項目の選択操作に対応した分岐判断の処理（分岐判断処理）を行い、いずれのメニュー項目も選択されていなければ、ＭＥＮＵボタン１１の再押し下げを判定し、押し下げられていなければ、前記分岐判断処理のステップに戻って処理を繰り返す。一方、ＭＥＮＵボタン１１が再押し下げられた場合には、撮影モード用メニュー画面を消した後、再び前記モード判定処理のステップに戻る。

前記分岐判断処理では、撮影モードにおける様々な設定メニュー、たとえば、静止画撮影や音声付動画撮影などの「撮影モード」、撮影画像の画素数を指定するための「サイズ」及び撮影画像の圧縮率を指定するための「画質」など、のうちのいずれかの分岐判断を行い、その判断結果に対応した処理を実行する。

次に、撮影モード処理における前記ＭＥＮＵボタン操作判定処理の判定結果が“ＮＯ”のとき、すなわち、ＭＥＮＵボタン１１が押し下げ操作されなかった場合には、ＣＣＤ画像を読み込み、これをそのまま構図確認用のスルー画像として液晶モニター１５に表示する（スルー画像処理）。ここで、“ＣＣＤ画像”とは、撮像系１９の電子撮像部２５で生成され、映像信号処理部２６で所要の画像処理が施された後、画像メモリ２７に書き込まれた二次元のカラー画像信号のことをいう。

上記スルー画像処理の後、動画ボタン７ａの押し下げを判定する処理（動画ボタン操作判定処理）を実行し、動画ボタン７ａが押し下げられなかった場合には、シャッターボタン７の押し下げを判定し、シャッターボタン７も押し下げられなかった場合には、再び前記モード判定処理のステップに戻る。一方、シャッターボタン７が押し下げられた場合（半押しに続き全押し操作があった場合）には、静止画の撮影を実行し、その撮影画像データをそのまま（いわゆるＲＡＷ画像撮影の場合）または圧縮処理（たとえば、ＪＰＥＧ形式）して外部メモリ１８の空き領域に格納した後、再び前記モード判定処理のステップに戻る。なお、シャッターボタン７が半押しされた時点で、フォーカス機構が動作してピント合わせが行われるのは周知のとおりである。

また、上記動画ボタン操作判定処理において、動画ボタン７ａが押し下げられたと判定した場合には、後述する図５の処理が開始され、音声付動画の撮影（音声の録音含む）が開始される。音声付動画の撮影が開始されると、その後、シャッターボタン７の押し下げを判定する処理（動画撮影中のシャッターボタン操作判定処理）を実行し、シャッターボタン７が押し下げられなかった場合には、次の動画ボタン再操作判定処理のステップに進む。一方、シャッターボタン７が押し下げられた場合（半押しに続き全押し操作があった場合）には、音声付動画の撮影を一時停止させるイベント通知（一時停止イベント通知）を実行するとともに、音声付動画撮影中の静止画の撮影を実行し、その撮影画像データをそのまま又は圧縮処理して外部メモリ１８の空き領域に格納する。そして、この静止画撮影の処理が音声付動画撮影を再開できる状態まで終了した時点で、録画再開イベント通知を出力して音声付動画撮影を再開し、前述の動画撮影中のシャッターボタン操作判定処理に戻る。

そして、動画ボタン再操作判定処理では、動画ボタン７ａの再押し下げを判定し、動画ボタン７ａが押し下げられなかった場合には、前述した動画撮影中のシャッターボタン操作判定処理のステップに戻る。一方、動画ボタン７ａが押し下げられた場合には、音声付動画の撮影（音声の録音含む）を終了し、ここまでの一連の撮影で得られた複数の画像データと音声データとを結合してなる一つの音声付動画ファイル（例えば、ＭＰＥＧ４形式）を生成し、外部メモリ１８の空き領域に格納した後、再び前記モード判定処理のステップに戻る。

図４（ａ）は、上記音声付動画撮影中の映像（画像）の取込処理を示すフローチャートである。まずステップＳ１１で、画像取込開始要求（後述するステップＳ３２で出力されるもの）が有ったか否か判定し、この要求が有った場合にはステップＳ１２に進み、撮像素子（電子撮像部２５）で露光された画像データを作業用バッファ（例えば画像メモリ２７）内に蓄積してステップＳ１３に進む。一方、ステップＳ１１で上記要求が無いと判定した場合には、ステップＳ１１を繰り返す（画像取込開始要求が有るまで待機する）。

ステップＳ１３では、画像データの符号化のための所定時間（第１の所定時間）に対応する分の画像データが蓄積されたか否か判定し、“ＹＥＳ”であればステップＳ１４に進み、“ＮＯ”であればステップＳ１２を繰り返す。
ステップＳ１４では、前述の作業用バッファ内に蓄積された画像データを圧縮符号化し、次いでステップＳ１５に進んで画像取り込みイベント通知を行う。
ステップＳ１５を経ると、ステップＳ１６で、画像取込停止要求（後述するステップＳ４０、４２で出力されるもの）が有ったか否か判定し、この要求が有った場合にはステップＳ１１に戻り（画像取込を停止して待機し）、上記要求が無いと判定した場合にはステップＳ１２に戻る（次の所定時間分の画像取込を実行する）。
なお、画像取り込み開始要求によってステップＳ１１を経て開始されたステップＳ１２〜Ｓ１５の処理は、ステップＳ１６の判定結果が“ＹＥＳ”になるまでの間（即ち、録画が一時停止されるか、或いは録画終了となるまでの期間）、所定の周期（通常は、画像フレーム周期）で繰り返され、結果としてこの所定の周期で画像取り込みイベントが繰り返し発生する（即ち、符号化の１単位分の画像データが取り込まれる度に発生する）ことになる。

図４（ｂ）は、上記音声付動画撮影中の音声の取込処理を示すフローチャートである。まずステップＳ２１で、音声取込開始要求（後述するステップＳ３３で出力されるもの）が有ったか否か判定し、この要求が有った場合にはステップＳ２２に進み、音声処理部５０のマイクより入力された音声データを作業用バッファ（例えば音声処理部内のメモリ）内に蓄積してステップＳ２３に進む。一方、ステップＳ２１で上記要求が無いと判定した場合には、ステップＳ２１を繰り返す（音声取込開始要求が有るまで待機する）。

ステップＳ２３では、音声データの符号化のための所定時間（第１の所定時間と異なる第２の所定時間）に対応する分の音声データが蓄積されたか否か判定し、“ＹＥＳ”であればステップＳ２４に進み、“ＮＯ”であればステップＳ２２を繰り返す。
ステップＳ２４では、前述の作業用バッファ内に蓄積された音声データを圧縮符号化し、次いでステップＳ２５に進んで音声取り込みイベント通知を行う。
ステップＳ２５を経ると、ステップＳ２６で、音声取込停止要求（後述するステップＳ４１、４２で出力されるもの）が有ったか否か判定し、この要求が有った場合にはステップＳ２１に戻り（音声取込を停止して待機し）、上記要求が無いと判定した場合にはステップＳ２２に戻る（次の所定時間分の音声取込を実行する）。
なお、音声取り込み開始要求によってステップＳ２１を経て開始されたステップＳ２２〜Ｓ２５の処理は、ステップＳ２６の判定結果が“ＹＥＳ”になるまでの間（即ち、録画が一時停止されるか、或いは録画終了となるまでの期間）、所定の周期（音声記録単位周期）で繰り返され、結果としてこの所定の周期で音声取り込みイベントが繰り返し発生する（即ち、符号化の１単位分の音声データが取り込まれる度に発生する）ことになる。

次に図５は、上記音声付動画撮影のメイン処理を示すフローチャートである。
このメイン処理は、前述の動画ボタン操作判定処理で、動画ボタン７ａが押し下げられたと判定されると、開始される。
まずステップＳ３１では、画像や音声の記録時間をカウントするカウンタ（画像用と音声用が有る）の値をゼロにクリア（初期化）する。次いでステップＳ３２では、画像取込開始要求を出力し、その後ステップＳ３３では、音声取込開始要求を出力し、ステップＳ３４に進む。
ステップＳ３４では、なんらかのイベント通知（前述の一時停止イベント通知、画像取り込みイベント通知、音声取り込みイベント通知、又は録画再開イベント通知）が出力されるまで待機し、イベント通知が出力されると、次のステップＳ３５に進む。

ステップＳ３５では、イベント通知が一時停止イベント通知か否か判定し、判定結果が“ＮＯ”であればステップＳ３６に進み、“ＹＥＳ”であればステップＳ４２に進む。
ステップＳ３６では、イベント通知が音声取り込みイベント通知か否か判定し、判定結果が“ＮＯ”であればステップＳ３７に進み、“ＹＥＳ”であればステップＳ４３に進む。
ステップＳ３７では、イベント通知が画像取り込みイベント通知か否か判定し、判定結果が“ＮＯ”であればステップＳ３８に進み、“ＹＥＳ”であればステップＳ４９に進む。
ステップＳ３８では、イベント通知が録画再開イベント通知か否か判定し、判定結果が“ＮＯ”であればステップＳ３９に進み、“ＹＥＳ”であればステップＳ５５に進む。ステップＳ５５を経ると、ステップＳ３２に戻る。

ステップＳ３９は、録画終了か否か判定し、録画終了の場合（即ち、前述の動画ボタン再操作判定処理の判定結果が“ＹＥＳ”の場合）には、ステップＳ４０、Ｓ４１を順次実行して一連の処理を終了し、録画終了でない場合（即ち、前述の動画ボタン再操作判定処理の判定結果が“ＮＯ”の場合）には、ステップＳ３４に戻る。
ステップＳ４０、Ｓ４１は、それぞれ画像取込停止要求又は音声取込停止要求を出力する。
ステップＳ４２では、画像取込停止要求と音声取込停止要求を出力し、ステップＳ３９に進む。

ステップＳ４３では、音声削除指示（後述するステップＳ７１で設定されるもの）が設定されているか否か判定し、設定されていれば今回の音声データ（今回の音声取り込みイベント通知が出力される直前に圧縮符号化された所定時間分の音声データ）を破棄してステップＳ３９に進む。ここで、音声データを破棄するとは、音声付動画ファイルを構成する対象から削除することを意味し、必ずしもデータそのものをメモリから抹消することを意味しない。また、ステップＳ４３の判定結果が“ＮＯ”の場合（音声削除指示が設定されていない場合）、ステップＳ４４に進んで、音声のカウンタを第２の所定時間分だけカウントアップし、ステップＳ４５に進む。

ステップＳ４５では、音声挿入指示（後述するステップＳ６８で設定されるもの）が設定されているか否か判定し、設定されていればステップＳ４７に進み、今回の音声データの直前に第２の所定時間分のダミーの音声データ（この場合、無音データ）を挿入し、その後ステップＳ４８に進む。
ステップＳ４８では、音声のカウンタを第２の所定時間分だけカウントアップし、ステップＳ４６に進む。
ステップＳ４６では、挿入された音声データがあればその音声データと、今回の音声データ（破棄されなかったもの）とを、一つの音声付動画ファイルを構成する対象として記録する。なお、このステップＳ４６と後述するステップＳ５２の処理が、一度の録画が終了するまで（即ち、ステップＳ３９の判定結果が“ＹＥＳ”となるまで）繰り返されることによって、一つの音声付動画ファイル（複数の画像データおよび複数の音声データを音声付動画として連続再生可能な形態に結合したもの）が形成される。

次に、ステップＳ４９では、画像削除指示（後述するステップＳ６７で設定されるもの）が設定されているか否か判定し、設定されていれば今回の画像データ（今回の画像取り込みイベント通知が出力される直前に圧縮符号化された所定時間分の画像データ）を破棄してステップＳ３９に進む。ここで、画像データを破棄するとは、音声付動画ファイルを構成する対象から削除することを意味し、必ずしもデータそのものをメモリから抹消することを意味しない。また、ステップＳ４９の判定結果が“ＮＯ”の場合（画像削除指示が設定されていない場合）、ステップＳ５０に進んで、画像のカウンタを第１の所定時間分だけカウントアップし、ステップＳ５１に進む。

ステップＳ５１では、画像挿入指示（後述するステップＳ７２で設定されるもの）が設定されているか否か判定し、設定されていればステップＳ５３に進み、今回の画像データの直前に第１の所定時間分のダミーの画像データ（例えば、前回の画像データ）を挿入し、その後ステップＳ５４に進む。ここで、前回の画像データとは、一つ前の画像取り込みイベント通知によってステップＳ５２で記録された第１の所定時間分の画像データ（通常は、１フレーム分の画像データ）を意味する。
ステップＳ５４では、画像のカウンタを第１の所定時間分だけカウントアップし、ステップＳ５２に進む。
ステップＳ５２では、挿入された画像データがあればその画像データと、今回の画像データ（破棄されなかったもの）とを、一つの音声付動画ファイルを構成する対象として記録する。
なお、ステップＳ４６やＳ５２の直後には、必要に応じて後述するステップＳ６１と同じ処理（データ操作指示をクリアする処理）を実行する。

次に図６は、前述の図５のステップＳ５５で実行されるデータ操作指示設定の処理（サブルーチン）を示すフローチャートである。
この処理が開始されると、まずステップＳ６１で、データ操作指示をクリアする（即ち、音声挿入指示、音声削除指示、画像挿入指示、画像削除指示の全ての設定を、非設定に初期化する）。
次いでステップＳ６２で、画像と音声の録画時間（前述した画像と音声のカウンタの値）を比較し、画像の録画時間の方が長い場合には、ステップＳ６３を経てステップＳ６５に進む。一方、画像の録画時間の方が短い場合には、ステップＳ６４を経てステップＳ６９に進む。また、画像と音声の録画時間が等しい場合には、ステップＳ６３とＳ６４を経てこのサブルーチンを終了し、図５のメイン処理に戻る（即ち、ステップＳ３２に戻る）。

そしてステップＳ６５では、画像と音声の録画時間の差（以下場合により、単に差分という）が、閾値１より小さいか否か判定し、小さいときには同期調整（画像と音声の再生タイミングのズレの調整）が不要であるとして、このサブルーチンを終了し、図５のメイン処理に戻る。一方、ステップＳ６５の判定結果が“ＮＯ”の場合（差分が閾値１以上の場合）には、ステップＳ６６に進み、音声データを所定時間分挿入した方が画像データを所定時間分削除する場合によりも前記差分が小さくなるか否か判定する。そして、このステップＳ６６の判定結果が“ＹＥＳ”の場合には、ステップＳ６８で音声挿入指示の設定を実行し、逆に“ＮＯ”の場合には、ステップＳ６７で画像削除指示の設定を実行する。なお、ステップＳ６７やステップＳ６８を経ると、このサブルーチンを終了し、図５のメイン処理に戻る。

またステップＳ６９では、前記差分が、閾値２より小さいか否か判定し、小さいときには同期調整が不要であるとして、このサブルーチンを終了し、図５のメイン処理に戻る。一方、ステップＳ６９の判定結果が“ＮＯ”の場合（差分が閾値２以上の場合）には、ステップＳ７０に進み、画像データを所定時間分挿入した方が音声データを所定時間分削除する場合よりも前記差分が小さくなるか否か判定する。そして、このステップＳ７０の判定結果が“ＹＥＳ”の場合には、ステップＳ７２で画像挿入指示の設定を実行し、逆に“ＮＯ”の場合には、ステップＳ７１で音声削除指示の設定を実行する。なお、ステップＳ７１やステップＳ７２を経ると、このサブルーチンを終了し、図５のメイン処理に戻る。
なお、閾値１と閾値２の値としては、人が認知できない画像と音声のズレ量の例えば最大値に相当する値が、実験的に求められて設定されている。

以上説明した構成の本実施形態のデジタルカメラ１では、撮影モード／再生モード切り換えスイッチ９によって撮影モードが選択されている状態で、動画ボタン７ａが押し下げ操作されると、音声付動画記録のメイン処理（図５）が開始される。すると、画像と音声の取り込み開始要求（開始指示）が設定され（ステップＳ３２、Ｓ３３）、これにより図４（ａ）、（ｂ）に示すステップＳ１１、Ｓ２１の判定結果が肯定的になるため、図４（ａ）に示す画像取込処理（ステップＳ１２〜Ｓ１４）と、図４（ｂ）に示す音声取込処理（ステップＳ２２〜Ｓ２４）が開始される。この画像取込処理では、逐次入力される画像データが第１の所定時間毎に符号化され、また音声取込処理では、逐次入力される音声データが前記第１の所定時間とは異なる第２の所定時間毎に符号化される。

なお、これら画像取込処理や音声取込処理によって所定時間分の画像データや音声データが１個符号化される度に、画像取り込みイベント通知や音声取り込みイベント通知が出力され（ステップＳ１５、Ｓ２５）、メイン処理においてステップＳ４３以降やステップＳ４９以降がその都度実行される。このステップＳ４３以降やステップＳ４９以降の処理によれば、音声や画像の挿入又は削除の指示が無い場合、ステップＳ４４やＳ５０によるカウントアップ（音声や画像の記録時間のカウントアップ）が行われるとともに、ステップＳ４６やＳ５２によるデータ記録が実行され、所定時間毎に符号化した形態で得られた複数の画像データおよび複数の音声データが音声付動画として連続再生可能な形態（通常は、一つの動画ファイルの形態）に結合されて記録される（即ち、本発明の音声付動画記録手段の機能が実現される）。

そして既述したように、この音声付動画記録中にシャッターボタン７が押し下げられると（即ち、音声付動画記録中の静止画撮影がユーザによって指令されると）、静止画撮影処理が行われるとともに、音声付動画の撮影を一時停止させるイベント通知（一時停止イベント通知）が実行され（即ち、一時停止要求が出力され）、これによりメイン処理のステップＳ４２が実行されて、画像取り込み停止要求及び音声取り込み停止要求が設定される。
なお既述したように、音声付動画記録中の静止画撮影処理が終了すると、録画再開イベント通知が出力され（即ち、再開要求が出力され）、これによりメイン処理のステップＳ５５（図６のデータ操作指示設定の処理）が実行される。
また、この音声付動画記録中に動画ボタン７ａが再度押し下げ操作されると（即ち、音声付動画記録の終了がユーザによって指令されると）、メイン処理のステップＳ３９の判定結果が“ＹＥＳ”になり、ステップＳ４０、Ｓ４１によって、やはり画像取り込み停止要求及び音声取り込み停止要求が設定される。

こうして画像取り込み停止要求及び音声取り込み停止要求が設定されると、図４のステップＳ１６やＳ２６の判定結果が“ＹＥＳ”になるため、前記画像取込処理や音声取込処理が、停止される。
但し、画像取込処理や音声取込処理が実際に停止されるのは、停止要求があった時点（即ち、音声付動画記録中の静止画撮影のための操作があった時点、或いは、音声付動画記録を終了させる操作があった時点）ではなく、停止要求があった時点で取り込みを開始していた画像データ又は音声データ（所定時間分のデータ）の１個分のデータを全て取り込んだ後である。何故なら、停止要求を判断するステップＳ１６やＳ２６は、所定時間分のデータの符号化の処理が終了した後に実行される構成だからである（図４参照）。

このため、単純にデータを結合するだけでは、音声付動画記録の一時停止と再開が繰り返されることにより、画像と音声の符号化の単位（第１所定時間と第２所定時間）の違いに起因して、結合される画像データと音声データとの間に再生タイミングのズレ量が蓄積されてゆく恐れがある。
図８（ａ）及び（ｂ）は、上記ズレ量を説明する図（画像データの符号化のための第１所定時間の方が音声データの第２所定時間よりも小さい場合の例）である。

まず図８（ａ）は、音声付動画記録が開始されて、３個目の画像データと２個目の音声データを符号化している最中に一時停止要求（静止画撮影の指令）があり、その後音声付動画記録が再開されて、５個目の画像データと４個目の音声データを符号化している最中に再度一時停止要求があり、その後また音声付動画記録が再開されたケースにおける、各データの時間軸（横軸）上の配置（記録又は再生のタイミング）を示す図である。そして、図８（ａ）の上段が記録時のタイミング、図８（ａ）の下段が再生時のタイミングである。このケースの場合、単純にデータを結合して再生すると、図８（ａ）の下段に示すように、同時に記録された４個目の画像データと３個目の音声データが、“ズレ１”だけ再生開始のタイミングがずれてしまい、また同時に記録された６個目の画像データと５個目の音声データが、“ズレ２”だけ再生開始のタイミングがずれてしまう。

次に図８（ｂ）は、音声付動画記録が開始されて、３個目の画像データと２個目の音声データを符号化している最中に一時停止要求があり、その後音声付動画記録が再開されて、６個目の画像データと４個目の音声データを符号化している最中に再度一時停止要求があり、その後また音声付動画記録が再開されたケースにおける、各データの時間軸（横軸）上の配置を示す図（上段が記録時のタイミング、下段が再生時のタイミング）である。このケースの場合、単純にデータを結合して再生すると、図８（ｂ）の下段に示すように、同時に記録された４個目の画像データと３個目の音声データが、“ズレ１”だけ再生開始のタイミングがずれてしまい、また同時に記録された７個目の画像データと５個目の音声データが、“ズレ２”だけ再生開始のタイミングがずれてしまう。しかもこの場合、“ズレ２”がかなり大きくなり、音声の再生が画像に対して大きく先行し、視聴者に違和感を覚えさせる。

そこで本形態例では、上述した画像と音声の再生タイミングのズレ量が判定され（ステップＳ４４、Ｓ４８、Ｓ５０、Ｓ５４、ステップＳ６２、ステップＳ６３、Ｓ６４）、このズレ量に応じて実行されるデータ操作（データの挿入又は削除）による同期調整処理（ステップＳ４３、Ｓ４５、Ｓ４７、ステップＳ６５〜Ｓ６８、ステップＳ４９、Ｓ５１、Ｓ５３、ステップＳ６９〜Ｓ７２等によって構成される処理）によって、上記ズレ量が適宜抑制される（即ち、本発明の判定手段と同期調整制御手段の機能が実現される）。以下、この動作を説明する。

まず、再開要求（録画再開イベント通知）によって開始されるデータ操作指示設定の処理（図６）によれば、画像と音声の記録時間が比較され（ステップＳ６２）、画像の記録時間が大きい場合（画像の再生が遅れる方向のズレ量が生じる状況の場合）に、画像と音声の記録時間の差分として計算されるズレ量が閾値１以上であると、画像削除指示の設定又は音声挿入指示の設定が実行される（ステップＳ６３、ステップＳ６５〜Ｓ６８）。なお、画像削除指示の設定をするか音声挿入指示の設定をするかは、データの挿入又は削除によってズレ量がより小さくなる方が選択される（ステップＳ６６）。例えば、画像フレーム周期（第１の所定時間）が３３ミリ秒、音声記録単位（第２の所定時間）が４６ミリ秒、画像の記録時間が音声の記録時間よりも大きくて差分が４０ミリ秒である場合、画像データ削除後のズレ量は７ミリ秒となり、音声データ挿入後のズレ量は６ミリ秒となるので、よりズレ量が抑制される音声データ挿入が選択される（即ち、ステップＳ６７ではなくてステップ６８が実行される）。
また同様に、画像の記録時間が小さい場合（音声の再生が遅れる方向のズレ量が生じる状況の場合）に、画像と音声の記録時間の差分として計算されるズレ量が閾値２以上であると、音声削除指示の設定又は画像挿入指示の設定が実行される（ステップＳ６４、ステップＳ６９〜Ｓ７２）。

一方、図５のメイン処理では、図６の処理で設定された同期調整の指示に応じて、録画再開直後に、画像又は音声のデータの挿入又は削除が実行される。
即ち、録画が再開されて音声取り込みイベント通知が発生した時に、音声削除指示があると、ステップＳ４３の判定結果が“ＹＥＳ”になるため、ステップＳ４６が実行されずに、その時点で取り込まれた音声データが結合する対象から除外される。また、同様に音声取り込みイベント通知が発生した時に、音声挿入指示があると、ステップＳ４３の判定結果が“ＮＯ”になってステップＳ４５の判定結果が“ＹＥＳ”になるため、ステップＳ４４、Ｓ４６に加えてステップＳ４７、Ｓ４８が実行されて、その時点で取り込まれた音声データの直前に無音データ（ダミー音声）が結合する対象として挿入されるとともに、その分だけ余分に記録時間のカウントアップが行われる。

また、録画が再開されて既述した画像取り込みイベント通知が発生した時に、画像削除指示があると、ステップＳ４９の判定結果が“ＹＥＳ”になるため、ステップＳ５２が実行されずに、その時点で取り込まれた画像データが結合する対象から除外される。また、同様に画像取り込みイベント通知が発生した時に、画像挿入指示があると、ステップＳ４９の判定結果が“ＮＯ”になってステップＳ５１の判定結果が“ＹＥＳ”になるため、ステップＳ５０、Ｓ５２に加えてステップＳ５３、Ｓ５４が実行されて、その時点で取り込まれた画像データの直前にダミーフレーム（ダミー画像）が結合する対象として挿入されるとともに、その分だけ余分に記録時間のカウントアップが行われる。

以上説明した前記ズレ量の判定処理と同期調整処理によれば、例えば図９及び図１０に示すように、前記ズレ量が抑制される。
図９は、図８（ｂ）と同様に、音声付動画記録が開始されて、３個目の画像データと２個目の音声データを符号化している最中に一時停止要求があり、その後音声付動画記録が再開されて、６個目の画像データと４個目の音声データを符号化している最中に再度一時停止要求があり、その後また音声付動画記録が再開されたケースにおける、各データの時間軸（横軸）上の配置（記録又は再生のタイミング）を示す図である。そして、図９の上段が記録時のタイミング、図９の中段が再生時のタイミングａ（ダミー音声を挿入した場合）であり、図９の下段が再生時のタイミングｂ（画像データ６を削除した場合）である。

このケースの場合、ダミー音声が挿入されることによって、図９の中段に示すように、同時に記録された７個目の画像データと５個目の音声データの再生タイミングのズレ量“ズレ２”が、同期調整をしない場合（図８（ｂ）の下段）に比べて格段に抑制され、視聴者がこのズレを確実に認知できなくなる。また、画像データ６が削除されることによって、図９の下段に示すように、やはり“ズレ２”が、同期調整をしない場合（図８（ｂ）の下段）に比べて格段に抑制され、視聴者がこのズレを確実に認知できなくなる。なお本例では、既述したようにズレ量がより小さくなる同期調整が選択されて実行されるため、この場合実際に再生されるのは、図９の中段に示すものとなる。

次に図１０は、音声付動画記録が開始されて、２個目の画像データと２個目の音声データを符号化している最中に一時停止要求があり、その後音声付動画記録が再開されて、４個目の画像データと４個目の音声データを符号化している最中に再度一時停止要求があり、その後また音声付動画記録が再開されたケースにおける、各データの時間軸（横軸）上の配置（記録又は再生のタイミング）を示す図である。そして、図１０の最上段が記録時のタイミング、図１０の２段目が再生時のタイミング（同期調整をなにもしない場合）であり、図１０の３段目が再生時のタイミングｃ（ダミー画像を挿入した場合）であり、図１０の最下段が再生時のタイミングｄ（音声データ４を削除した場合）である。

このケースの場合、ダミー画像が挿入されることによって、図１０の３段目に示すように、同時に記録された５個目の画像データと５個目の音声データの再生タイミングのズレ量“ズレ２”が、同期調整をしない場合（図１０の２段目）に比べて格段に抑制され、視聴者がこのズレを確実に認知できなくなる。また、音声データ４が削除されることによって、図１０の最下段に示すように、やはり“ズレ２”が、同期調整をしない場合（図１０の２段目）に比べて格段に抑制され、視聴者がこのズレを確実に認知できなくなる。なお本例では、既述したようにズレ量がより小さくなる同期調整が選択されて実行されるため、この場合実際に再生されるのは、図１０の３段目に示すものとなる。

したがって、本形態例のデジタルカメラ１によれば、音声付動画の記録を一時停止してその後再開することが可能となり、音声付動画記録中の静止画撮影が可能となる。また、静止画撮影によって音声付動画の記録が中断されても、中断の前と後の画像や音声を含むデータであって連続再生可能な音声付動画の一体的なデータが得られる。
しかも、音声付動画記録の一時停止と再開を繰り返すことにより蓄積されてゆく前記画像データと音声データの再生タイミングのズレ量が判定され、この判定手段による判定結果に応じて、前記再生タイミングのズレ量を減少させる所定の同期調整処理が実行される。
このため、ズレ量に応じた必要最小限の同期調整処理が可能となり、静止画撮影のための一時停止が繰り返された場合でも、音声と画像のズレが抑制された単一の音声付動画ファイルを、効率よく生成することができる。

しかも本形態例では、前記同期調整処理が、連続再生可能な形態に結合して記録される複数の画像データおよび複数の音声データに対して、画像データ又は音声データの削除又は挿入を行うものである。このため、画像データ又は音声データの削除又は挿入という簡単な処理で、音声と画像のズレを抑制できる。またこの場合、画像データ又は音声データの削除又は挿入は、判定手段による判定結果に応じて必要に応じて実行すればよく、データを挿入するにしても、挿入するデータの数は、所定時間（第１の所定時間又は第２の所定時間）分の一つのデータだけでよい。したがって、実際の画像や音声ではないダミーデータの再生期間を最小限とし、前述の違和感の問題を格段に改善できる。

また本形態例では、前記ズレ量を判定するタイミングが、記録再開が指示された時（一時停止後の時点）であるため、前記ズレ量を、一時停止までの記録時間の差として正確に算出でき、前記ズレ量を抑制する同期調整処理が的確に実行できる。
また本形態例では、判定された前記ズレ量が規定値（閾値１又は閾値２）以上になると、同期調整処理を実行する構成であるから、この規定値を適度に設定することによって、前記ズレ量が問題にならない許容値（人が認知できないような僅かなもの）以内である場合には、同期調整処理を省略して動作を簡略化することができる。

また本形態例では、前記規定値が、画像より音声の再生タイミングが遅れている場合と、音声より画像の再生タイミングが遅れている場合とで、異なる値（閾値１又は閾値２）とされ、音声より画像の再生タイミングが遅れている場合の方（閾値１）が、比較的小さい値に設定されている。このため、前記ズレ量の方向の違いによる前記許容値の違いに応じた最適な値に、前記規定値を設定することができる。
また本形態例では、前記同期調整処理の態様が複数あり、前記ズレ量が最小になる態様を選択して前記同期調整処理が実行される。このため、同期調整処理によってズレ量を最小化することができる。

本発明は、以上の実施形態に限定されず、その技術思想の範囲内において様々な変形例や発展例を含むことは勿論であり、たとえば、以下のようにしてもよい。

以下、第２の実施形態について説明する。なお、この第２の実施形態は前述した第１の実施形態に対して制御処理内容のみが異なる。以下、前述した第１の実施形態と同様の構成については、同符号を使用し、重複する説明を省略する。
図１１は、本形態例（第２の実施形態）におけるメイン処理（図５の処理に相当）のフローチャートである。この場合、一時停止のイベント通知が出されてステップＳ３５の判断結果が“ＹＥＳ”になると、ステップＳ４２ａの一時停止時処理（図１２（ａ）により詳細後述する）を実行した後、ステップＳ４２ｂでデータ操作指示をクリアする（即ち、音声挿入指示、画像挿入指示の全ての設定を、非設定に初期化する）。

また、音声取り込みイベント通知が出されてステップＳ３６の判断結果が“ＹＥＳ”になると、ステップＳ４３ａで同期合わせモード１が設定されているか否か判定し、この判断結果が“ＹＥＳ”になると（同期合わせモード１が設定されていると）、ステップＳ４４に進む。一方、ステップＳ４３ａの判断結果が“ＮＯ”になると（同期合わせモード１以外が設定されていると）、ステップＳ４８に進む。
なお、同期合わせモードは、同期調整方法（前記ズレ量の抑制方法）の違いに対応したモードであり、この場合三種類のモード（同期合わせモード１〜３）が有り、カメラ１のユーザ等（メンテナンス等を行う作業員でもよい）が、例えば前述の撮影モード用のＭＥＮＵ処理において設定する。

また、画像取り込みイベント通知が出されてステップＳ３７の判断結果が“ＹＥＳ”になると、ステップＳ４９ａで同期合わせモード１が設定されているか否か判定し、この判断結果が“ＹＥＳ”になると（同期合わせモード１が設定されていると）、ステップＳ５０に進む。一方、ステップＳ４９ａの判断結果が“ＮＯ”になると（同期合わせモード１以外が設定されていると）、ステップＳ５４に進む。
また、ステップＳ４６やステップＳ５２の直後には、データ操作指示をクリアするステップＳ４６ａ、Ｓ５２ａが設けられている。

また、録画再開のイベント通知が出されてステップＳ３８の判断結果が“ＹＥＳ”になると、ステップＳ５５ａの再開時処理（図１２（ｂ）により詳細後述する）を実行した後、ステップＳ５５ｂでデータ操作指示をクリアする構成となっている。

次に図１２（ａ）は、前述の一時停止時処理を示すフローチャートである。
この処理が開始されると（即ち、メイン処理がステップＳ４２ａに進むと）、まず、ステップＳ８１でデータ操作指示設定処理（図１３により詳細後述する）を実行した後、ステップＳ８２に進み、同期合わせモードが同期合わせモード２であるか否か判定し、この判断結果が“ＹＥＳ”になると（同期合わせモード２が設定されていると）、ステップＳ８３に進む。一方、ステップＳ８２の判断結果が“ＮＯ”になると（同期合わせモード２以外が設定されていると）、本処理を終了しリターンする（メイン処理のステップＳ４２ｂに進む）。

ステップＳ８３では、画像挿入指示（図１３のステップＳ７２で設定されるもの）が設定されているか否か判定し、設定されていればステップＳ８４に進み、設定されていなければステップＳ８５に進む。
ステップＳ８４では、同期調整のために、停止タイミングを第１の所定時間分だけ延長して画像取込停止要求を出力し、ステップＳ８６に進む。なお、このステップＳ８４が実行されると、画像取込処理の停止が所定時間遅延するので、画像データが１個だけ通常よりも多く取り込まれて画像記録が一時停止することになる。
ステップＳ８５では、画像取込停止要求を出力し、ステップＳ８６に進む。

ステップＳ８６では、音声挿入指示（図１３のステップＳ６８で設定されるもの）が設定されているか否か判定し、設定されていればステップＳ８７に進み、設定されていなければステップＳ８８に進む。
ステップＳ８７では、同期調整のために、停止タイミングを第２の所定時間分だけ延長して音声取込停止要求を出力した後、本処理を終了しリターンする。なお、このステップＳ８７が実行されると、音声取込処理の停止が所定時間遅延するので、音声データが１個だけ通常よりも多く取り込まれて音声記録が一時停止することになる。
ステップＳ８８では、音声取込停止要求を出力した後、本処理を終了しリターンする。

次に図１２（ｂ）は、前述の再開時処理を示すフローチャートである。
この処理が開始されると（即ち、メイン処理がステップＳ５５ａに進むと）、まず、ステップＳ９１で、同期合わせモードが同期合わせモード３であるか否か判定し、この判断結果が“ＹＥＳ”になると（同期合わせモード３が設定されていると）、ステップＳ９２に進む。一方、ステップＳ９１の判断結果が“ＮＯ”になると（同期合わせモード３以外が設定されていると）、本処理を終了しリターンする（メイン処理のステップＳ５５ｂに進む）。

ステップＳ９２では、画像と音声の録画時間（前述した画像と音声のカウンタの値）を比較し、画像の録画時間の方が長い場合にはステップＳ９３に進み、画像の録画時間の方が短い場合にはステップＳ９７に進み、画像と音声の録画時間が等しい場合には、ステップＳ９５に進む。
ステップＳ９３では、音声取込開始要求を出力し、ステップＳ９４に進む。
ステップＳ９４では、同期調整のために、画像と音声の録画時間の差（差分）だけずらして（遅延させて）画像取込開始要求を出力し、その後このサブルーチンを終了してメイン処理に戻る（即ち、ステップＳ５５ｂに戻る）。

ステップＳ９５では、音声取込開始要求を出力し、ステップＳ９６に進む。
ステップＳ９６では、画像取込開始要求を出力し、その後このサブルーチンを終了してメイン処理に戻る。
ステップＳ９７では、画像取込開始要求を出力し、ステップＳ９８に進む。
ステップＳ９８では、同期調整のために、画像と音声の録画時間の差（差分）だけずらして（遅延させて）音声取込開始要求を出力し、その後このサブルーチンを終了してメイン処理に戻る。

次に図１３は、前述のデータ操作指示設定の処理（前記ステップＳ８１で実行される処理）を示すフローチャートである。
この処理は、前述した第１の実施形態の処理（図６に示す）において、ステップＳ６６、Ｓ６７、Ｓ７０、Ｓ７１を削除したものである。そして、ステップＳ６５の判定で差分が閾値１以上になっていると判定されたときには、ステップＳ６８（音声挿入指示設定）を実行し、ステップＳ６９の判定で差分が閾値２以上になっていると判定されたときには、ステップＳ７２（画像挿入指示設定）を実行するものである。

以上説明した構成の第２の実施形態のデジタルカメラ１では、次のようにして画像と音声のズレ量が適宜抑制される。
まず、同期合わせモードが同期合わせモード１である場合、メイン処理（図１１）では、音声取り込みイベント通知があったときに、ステップＳ４３ａを経てステップＳ４４やＳ４５が実行されるようになり、画像取り込みイベント通知があったときには、ステップＳ４９ａを経てステップＳ５０やＳ５１が実行されるようになる。また、一時停止時処理（図１２（ａ））では、ステップＳ８１（データ操作指示設定処理；図１３）のみが実行された後に、ステップＳ８２を経てメイン処理に戻り、再開時処理（図１２（ｂ））では、何れの処理も実行することなくステップＳ９１を経てメイン処理に戻る。即ち、同期調整のための一時停止タイミングの設定や、記録再開タイミングの設定は実行されない。

このため、音声よりも画像の再生が遅れる状況になって（画像の記録時間の方が大きくなって）、前記ズレ量（差分）が閾値１以上になると、ステップＳ６８（図１３）の設定が実行され、これを受けてステップＳ４５を経てステップＳ４７（図１１）が実行され、前述の実施の形態と同様に無音データが挿入される。これにより、前述の図９の中段に示すように、前記ズレ量が抑制される。
また、画像よりも音声の再生が遅れる状況になって（音声の記録時間の方が大きくなって）、前記ズレ量（差分）が閾値２以上になると、ステップＳ７２（図１３）の設定が実行され、これを受けてステップＳ５１を経てステップＳ５３（図１１）が実行され、前述の実施の形態と同様にダミー画像が挿入される。これにより、前述の図１０の３段目に示すように、前記ズレ量が抑制される。

次に、同期合わせモードが同期合わせモード２である場合、メイン処理では、音声取り込みイベント通知があったときに、ステップＳ４３ａを経て、ステップＳ４４、Ｓ４５、Ｓ４７がスルーされる（実行されずに飛ばされる）ようになり、画像取り込みイベント通知があったときには、ステップＳ４９ａを経てステップＳ５０、Ｓ５１、Ｓ５３がスルーされるようになる。即ち、ダミーの画像や音声のデータの挿入は行われない。また、再開時処理（図１２（ｂ））では、何れの処理も実行することなくステップＳ９１を経てメイン処理に戻る。即ち、同期調整のための記録再開タイミングの設定は実行されない。

しかし、一時停止時処理では、ステップＳ８１（データ操作指示設定処理）が実行された後に、ステップＳ８２を経てステップＳ８３に進み、ステップＳ８３以降の処理が実行される。ステップＳ８３以降の処理では、画像挿入指示が有ればステップＳ８４（画像記録の一時停止タイミングを所定時間遅延させる設定）とステップＳ８８（音声記録を遅延させないで通常どおりに一時停止させる設定）が実行され、音声挿入指示が有ればステップＳ８５（画像記録を遅延させないで通常どおりに一時停止させる設定）とステップＳ８７（音声記録の一時停止タイミングを所定時間遅延させる設定）が実行され、画像挿入指示も音声挿入指示も無いとステップＳ８５とステップＳ８８が実行される。

このため、音声よりも画像の再生が遅れる状況になって前記ズレ量（差分）が閾値１以上になると、ステップＳ６８（図１３）の設定が実行され、これを受けてステップＳ８６を経てステップＳ８７（図１２）が実行され、例えば図１４（ａ）の上段に示すように、一時停止時に音声記録の停止が延長されて音声データが１個だけ余分に記録される。これにより、例えば図１４（ａ）の下段に示すように、前記ズレ量が抑制される。
また、画像よりも音声の再生が遅れる状況になって前記ズレ量（差分）が閾値２以上になると、ステップＳ７２（図１３）の設定が実行され、これを受けてステップＳ８３を経てステップＳ８４（図１１）が実行され、一時停止時に画像記録の停止が延長されて画像データが１個だけ余分に記録される。これにより、前記ズレ量が抑制される。

なお、図１４（ａ）は、音声付動画記録が開始されて、３個目の画像データと２個目の音声データを符号化している最中に一時停止要求があり、その後音声付動画記録が再開されて、６個目の画像データと４個目の音声データを符号化している最中に再度一時停止要求があり、その後また音声付動画記録が再開されたケースにおける、各データの時間軸（横軸）上の配置（記録又は再生のタイミング）を示す図である（上段が記録時のタイミング、下段が再生時のタイミングである）。この場合、２回目の一時停止の際に、音声記録の停止が遅延され、この遅延によって５番目の音声データが一時停止前に１個余分に取り込まれており、この結果“ズレ２”が格段に小さく抑制されている。

次に、同期合わせモードが同期合わせモード３である場合、メイン処理では、音声取り込みイベント通知があったときに、ステップＳ４３ａを経て、ステップＳ４４、Ｓ４５、Ｓ４７がスルーされる（実行されずに飛ばされる）ようになり、画像取り込みイベント通知があったときには、ステップＳ４９ａを経てステップＳ５０、Ｓ５１、Ｓ５３がスルーされるようになる。即ち、ダミーの画像や音声のデータの挿入は行われない。また、一時停止時処理では、ステップＳ８１のみが実行された後に、ステップＳ８２を経てメイン処理に戻る。即ち、同期調整のための一時停止タイミングの設定は実行されない。

しかし、再開時処理では、ステップＳ９１を経てステップＳ９２に進み、ステップＳ９２以降の処理が実行される。ステップＳ９２以降の処理では、音声よりも画像の記録時間の方が大きい場合、ステップＳ９３（音声記録を遅延させないで通常どおりに再開させる設定）とステップＳ９４（画像記録の再開タイミングを差分だけ遅延させる設定）が実行され、音声と画像の記録時間が等しい場合、ステップＳ９５（音声記録を遅延させないで通常どおりに再開させる設定）とステップＳ９６（画像記録を遅延させないで通常どおりに再開させる設定）が実行され、画像よりも音声の記録時間の方が大きい場合、ステップＳ９７（画像記録を遅延させないで通常どおりに再開させる設定）とステップＳ９８（音声記録の再開タイミングを差分だけ遅延させる設定）が実行される。

このため、音声よりも画像の再生が遅れる状況になると、ステップＳ９４の設定が実行され、例えば図１４（ｂ）の上段に示すように、一時停止からの記録再開時に画像記録の開始が音声よりも差分だけ遅延する。これにより、例えば図１４（ｂ）の下段に示すように、前記ズレ量がゼロに抑制される（即ち、画像と音声の再生タイミングの相対関係は、記録時と全く同一となる）。
また、画像よりも音声の再生が遅れる状況になると、ステップＳ９８の設定が実行され、一時停止からの記録再開時に音声記録の開始が画像よりも差分だけ遅延する。これにより、前記ズレ量がやはりゼロに抑制される。

なお、図１４（ｂ）は、音声付動画記録が開始されて、３個目の画像データと２個目の音声データを符号化している最中に一時停止要求があり、その後音声付動画記録が再開されたケースにおける、各データの時間軸（横軸）上の配置（記録又は再生のタイミング）を示す図である（上段が記録時のタイミング、下段が再生時のタイミングである）。この場合、一時停止からの記録再開の際に、画像記録の開始が音声よりも遅延し、この遅延によってデータ結合後も前記ズレ量がゼロとなっている。
なお、本形態例（第２の実施形態）によれば、原理の異なる３種類の同期調整処理のうちの何れかが選択的に実行されるから、ユーザ等の選択によって、ユーザの好み等に応じて同期調整処理の種類を変更できるという利点がある。

次に、本発明に対する比較例について説明する。なおこの比較例は、図１６（ａ）に示すように動画撮影の一時停止指令があっても音声記録を継続し、画像記録が一時停止した分だけダミーの画像データを挿入するものであり、前述した第１の実施形態に対して制御処理内容のみが異なる。
図１５は、本比較例におけるメイン処理（図５の処理に相当）のフローチャートである。この場合、画像と音声の記録時間を比較しないので、記録時間をカウントするための処理（ステップＳ３１、Ｓ４４等）は削除されている。また、データ操作指示設定に基づくデータ操作（画像や音声のダミーデータの挿入又は削除）も行わないので、そのための処理（ステップＳ４３、Ｓ４５、Ｓ４７、Ｓ４９、Ｓ５１、Ｓ５３）も削除されている。

また、一時停止のイベント通知が出されてステップＳ３５の判断結果が“ＹＥＳ”になると、ステップＳ１０１で画像取り込み停止要求が出力されるとともに、画像タイマーの計時が開始される。ここで画像タイマーは、画像取込の所定時間（第１の所定時間）が経過する毎にタイマアップするもので、この画像タイマーがタイマアップすると画像タイマーのイベント通知が出力される。

また、録画再開のイベント通知が出されてステップＳ３８の判断結果が“ＹＥＳ”になると、ステップＳ１０２で画像タイマーの計時が停止される（画像タイマーのイベント通知が出力されなくなる）とともに、画像取り込み開始要求が出力される。
また、音声取り込みイベント通知が出されてステップＳ３６の判断結果が“ＹＥＳ”になると、ステップＳ４６（音声データ記録）が実行される。

また、画像取り込みイベント通知が出されてステップＳ３７の判断結果が“ＹＥＳ”になると、ステップＳ５２（画像データ記録）が実行される。
また、前述の画像タイマーのイベント通知が出されると、ステップＳ１０３の判断ステップで判断結果が“ＹＥＳ”になり、ステップＳ１０４が実行される構成となっている。なお、ステップＳ１０４では、既述のステップＳ５３（図５）と同じ処理（ダミー画像データ記録）が実行される。

以上説明した構成の比較例では、図１６（ｂ）に示すように動画撮影の一時停止指令が何回あっても音声記録をずっと継続し、画像記録が一時停止した分だけダミーの画像データを挿入する。このため、画像と音声のタイミングは、記録時も再生時も全く変わらず、前記ズレ量はゼロになる（画像と音声の再生タイミングのズレが全く発生しない）。
但し、一時停止が繰り返される度に、一時停止している期間に相当する複数のダミー画像が挿入されるため、ダミー画像が格段に多くなって視聴者が違和感を覚え易いという既述した短所がある。
これに対して既述した本発明の実施形態では、ダミー画像が格段に少なくなる。特に、前述の第２の実施形態における同期合わせモード２，３によれば、図１４に示すように、ダミー画像やダミー音声の挿入が全くない。

なお、本発明の実施形態としては、以上の実施形態以外にも各種の態様があり得ることはいうまでもない。
例えば、前述の第２の実施形態における同期合わせモード１〜３のうちの何れか一つの同期調整のみを実施する態様としてもよい。或いは、前述の第２の実施形態における同期合わせモード１〜３のうちの何れか二つを選択的に実施する態様としてもよい。
また、音声付動画撮影の一時停止の要因として、前記実施形態では静止画撮影を挙げているが、これ以外の要因によって一時停止する態様（例えば、ユーザの操作指令によって一時停止する態様）もあり得る。また、例えばテレビ放送を録画するビデオデッキにも本発明は適用することができ、この場合一時停止の要因としては、例えば動画記録中の静止画のキャプチャや、ユーザの操作指令による動画記録の一時停止があり得る。

デジタルカメラ１の正面図及び背面図である。デジタルカメラ１の内部ブロック図である。デジタルカメラ１のメモリマップ図である。音声付動画撮影中の画像や音声の取込処理を示すフローチャートである。音声付動画撮影のメイン処理を示すフローチャートである。データ操作指示設定の処理を示すフローチャートである。画像と音声の再生タイミングのズレ量を抑制する同期調整処理の原理を説明する図である。前記ズレ量の発生を具体的に説明する図である。同期調整処理（音声データ挿入等）によって前記ズレ量が減少する作用を説明する図である。同期調整処理（画像データ挿入等）によって前記ズレ量が減少する作用を説明する図である。第２の実施形態における音声付動画撮影のメイン処理を示すフローチャートである。第２の実施形態における一時停止時処理や再開時処理を示すフローチャートである。第２の実施形態におけるデータ操作指示設定の処理を示すフローチャートである。第２の実施形態の同期調整処理（一時停止又は記録再開のタイミング調整）によって前記ズレ量が抑制される作用を説明する図である。比較例における音声付動画撮影のメイン処理を示すフローチャートである。比較例の原理及び比較例の問題を説明する図である。

符号の説明

１デジタルカメラ（録画装置）
１９撮像系（画像取込手段）
２０制御系（一時停止手段、再開手段、判定手段、同期調整制御手段、画像取込手段、音声取込手段）
２５電子撮像部
５０音声処理部（音声取込手段）

Claims

被写体像を二次元の画像データに変換する電子撮像部と、
音声を取り込むためのマイクと、
画像取り込みの開始指示に応じて、前記電子撮像部より逐次入力される画像データを第１の所定時間毎に符号化する画像取込処理を開始し、画像取り込みの停止指示に応じて、前記第１の所定時間毎の符号化の区切り位置で該画像取込処理を停止する画像取込手段と、
音声取り込みの開始指示に応じて、前記マイクより逐次入力される音声データを前記第１の所定時間とは異なる第２の所定時間毎に符号化する音声取込処理を開始し、音声取り込みの停止指示に応じて、前記第２の所定時間毎の符号化の区切り位置で該音声取込処理を停止する音声取込手段と、
音声付動画の記録開始が指示されてから記録終了が指示されるまでの間、前記画像取込手段による画像取込処理と前記音声取込手段による音声取込処理とを平行して実行させ、これらの処理により所定時間毎に符号化した形態で得られた複数の画像データおよび複数の音声データを音声付動画として連続再生可能な形態に結合して記録する音声付動画記録手段と、
前記音声付動画記録手段による音声付動画の記録中に一時停止が指示された際は、前記画像取込手段による画像取込処理の停止を指示すると共に、前記音声取込手段による音声取込処理の停止を指示する一時停止手段と、
前記音声付動画記録手段による音声付動画記録の停止中に再開が指示された際は、前記画像取込手段による画像取り込みの開始を指示すると共に、前記音声取込手段による音声取込処理の開始を指示する再開手段と、
前記一時停止手段および前記再開手段による音声付動画記録の一時停止と再開を繰り返すことにより、前記連続再生可能な形態で結合される画像データと音声データとの間に蓄積されてゆく再生タイミングのズレ量を判定する判定手段と、
前記判定手段による判定結果に応じて、前記音声付動画記録手段により連続再生可能な形態に結合して記録される複数の画像データおよび複数の音声データに対して、画像データ又は音声データの削除又は挿入を行う同期調整処理を実行することで、前記再生タイミングのズレ量を減少させる同期調整制御手段と、を備え、
前記同期調整制御手段は、音声付動画記録を停止したときの画像データと音声データの記録時間を比較し、画像データの方が長い場合には更に、音声データを挿入した方が差分が小さくなるか否かを判断し、音声データを挿入した方が差分が小さくなると判断された場合には音声データを挿入し、そうでない場合には画像データを削除することを特徴とするカメラ装置。
被写体像を二次元の画像データに変換する電子撮像部と、
音声を取り込むためのマイクと、
画像取り込みの開始指示に応じて、前記電子撮像部より逐次入力される画像データを第１の所定時間毎に符号化する画像取込処理を開始し、画像取り込みの停止指示に応じて、前記第１の所定時間毎の符号化の区切り位置で該画像取込処理を停止する画像取込手段と、
音声取り込みの開始指示に応じて、前記マイクより逐次入力される音声データを前記第１の所定時間とは異なる第２の所定時間毎に符号化する音声取込処理を開始し、音声取り込みの停止指示に応じて、前記第２の所定時間毎の符号化の区切り位置で該音声取込処理を停止する音声取込手段と、
音声付動画の記録開始が指示されてから記録終了が指示されるまでの間、前記画像取込手段による画像取込処理と前記音声取込手段による音声取込処理とを平行して実行させ、これらの処理により所定時間毎に符号化した形態で得られた複数の画像データおよび複数の音声データを音声付動画として連続再生可能な形態に結合して記録する音声付動画記録手段と、
前記音声付動画記録手段による音声付動画の記録中に一時停止が指示された際は、前記画像取込手段による画像取込処理の停止を指示すると共に、前記音声取込手段による音声取込処理の停止を指示する一時停止手段と、
前記音声付動画記録手段による音声付動画記録の停止中に再開が指示された際は、前記画像取込手段による画像取り込みの開始を指示すると共に、前記音声取込手段による音声取込処理の開始を指示する再開手段と、
前記一時停止手段および前記再開手段による音声付動画記録の一時停止と再開を繰り返すことにより、前記連続再生可能な形態で結合される画像データと音声データとの間に蓄積されてゆく再生タイミングのズレ量を判定する判定手段と、
前記判定手段による判定結果に応じて、前記音声付動画記録手段により連続再生可能な形態に結合して記録される複数の画像データおよび複数の音声データに対して、画像データ又は音声データの削除又は挿入を行う同期調整処理を実行することで、前記再生タイミングのズレ量を減少させる同期調整制御手段と、を備え、
前記同期調整制御手段は、音声付動画記録を停止したときの画像データと音声データの記録時間を比較し、音声データの方が長い場合には更に、画像データを挿入した方が差分が小さくなるか否かを判断し、画像データを挿入した方が差分が小さくなると判断された場合には画像データを挿入し、そうでない場合には音声データを削除することを特徴とするカメラ装置。
前記同期調整制御手段は、前記音声付動画記録手段により連続再生可能な形態に結合して記録される複数の画像データおよび複数の音声データに対して、画像データ又は音声データの削除又は挿入を行うか、或いは、前記一時停止手段によって前記画像取込処理の停止を指示するタイミングと、前記音声取込処理の停止を指示するタイミングとをずらすか、或いは、前記再開手段によって画像取込処理の再開を指示するタイミングと、前記音声取込処理の再開を指示するタイミングとをずらすか、のうちの何れかの同期調整処理を選択的に実行するものであることを特徴とする請求項１または２に記載のカメラ装置。
前記判定手段が前記ズレ量を判定するタイミングは、前記一時停止が指示された時、又は、前記再開が指示された時であることを特徴とする請求項１〜３の何れかに記載のカメラ装置。
前記判定手段により判定された前記ズレ量が規定値以上になると、前記同期調整制御手段が前記同期調整処理を実行することを特徴とする請求項１〜４の何れかに記載のカメラ装置。
前記規定値は、画像より音声の再生タイミングが遅れている場合と、音声より画像の再生タイミングが遅れている場合とで、異なる値とされ、音声より画像の再生タイミングが遅れている場合の方が、比較的小さい値に設定されていることを特徴とする請求項５記載のカメラ装置。
前記同期調整処理の態様が複数ある場合、前記同期調整制御手段は、前記ズレ量が最小になる態様を選択して前記同期調整処理を実行することを特徴とする請求項１〜６の何れかに記載のカメラ装置。
画像取り込みの開始指示に応じて、逐次入力される画像データを第１の所定時間毎に符号化する画像取込処理を開始し、画像取り込みの停止指示に応じて、前記第１の所定時間毎の符号化の区切り位置で該画像取込処理を停止する画像取込手段と、
音声取り込みの開始指示に応じて、逐次入力される音声データを前記第１の所定時間とは異なる第２の所定時間毎に符号化する音声取込処理を開始し、音声取り込みの停止指示に応じて、前記第２の所定時間毎の符号化の区切り位置で該音声取込処理を停止する音声取込手段と、
音声付動画の記録開始が指示されてから記録終了が指示されるまでの間、前記画像取込手段による画像取込処理と前記音声取込手段による音声取込処理とを平行して実行させ、これらの処理により所定時間毎に符号化した形態で得られた複数の画像データおよび複数の音声データを音声付動画として連続再生可能な形態に結合して記録する音声付動画記録手段と、
前記音声付動画記録手段による音声付動画の記録中に一時停止が指示された際は、前記画像取込手段による画像取込処理の停止を指示すると共に、前記音声取込手段による音声取込処理の停止を指示する一時停止手段と、
前記音声付動画記録手段による音声付動画記録の停止中に再開が指示された際は、前記画像取込手段による画像取り込みの開始を指示すると共に、前記音声取込手段による音声取込処理の開始を指示する再開手段と、
前記一時停止手段および前記再開手段による音声付動画記録の一時停止と再開を繰り返すことにより、前記連続再生可能な形態で結合される画像データと音声データとの間に蓄積されてゆく再生タイミングのズレ量を判定する判定手段と、
前記判定手段による判定結果に応じて、前記音声付動画記録手段により連続再生可能な形態に結合して記録される複数の画像データおよび複数の音声データに対して、画像データ又は音声データの削除又は挿入を行う同期調整処理を実行することで、前記再生タイミングのズレ量を減少させる同期調整制御手段と、を備え、
前記同期調整制御手段は、音声付動画記録を停止したときの画像データと音声データの記録時間を比較し、画像データの方が長い場合には更に、音声データを挿入した方が差分が小さくなるか否かを判断し、音声データを挿入した方が差分が小さくなると判断された場合には音声データを挿入し、そうでない場合には画像データを削除することを特徴とする録画装置。
画像取り込みの開始指示に応じて、逐次入力される画像データを第１の所定時間毎に符号化する画像取込処理を開始し、画像取り込みの停止指示に応じて、前記第１の所定時間毎の符号化の区切り位置で該画像取込処理を停止する画像取込手段と、
音声取り込みの開始指示に応じて、逐次入力される音声データを前記第１の所定時間とは異なる第２の所定時間毎に符号化する音声取込処理を開始し、音声取り込みの停止指示に応じて、前記第２の所定時間毎の符号化の区切り位置で該音声取込処理を停止する音声取込手段と、
音声付動画の記録開始が指示されてから記録終了が指示されるまでの間、前記画像取込手段による画像取込処理と前記音声取込手段による音声取込処理とを平行して実行させ、これらの処理により所定時間毎に符号化した形態で得られた複数の画像データおよび複数の音声データを音声付動画として連続再生可能な形態に結合して記録する音声付動画記録手段と、
前記音声付動画記録手段による音声付動画の記録中に一時停止が指示された際は、前記画像取込手段による画像取込処理の停止を指示すると共に、前記音声取込手段による音声取込処理の停止を指示する一時停止手段と、
前記音声付動画記録手段による音声付動画記録の停止中に再開が指示された際は、前記画像取込手段による画像取り込みの開始を指示すると共に、前記音声取込手段による音声取込処理の開始を指示する再開手段と、
前記一時停止手段および前記再開手段による音声付動画記録の一時停止と再開を繰り返すことにより、前記連続再生可能な形態で結合される画像データと音声データとの間に蓄積されてゆく再生タイミングのズレ量を判定する判定手段と、
前記判定手段による判定結果に応じて、前記音声付動画記録手段により連続再生可能な形態に結合して記録される複数の画像データおよび複数の音声データに対して、画像データ又は音声データの削除又は挿入を行う同期調整処理を実行することで、前記再生タイミングのズレ量を減少させる同期調整制御手段と、を備え、
前記同期調整制御手段は、音声付動画記録を停止したときの画像データと音声データの記録時間を比較し、音声データの方が長い場合には更に、画像データを挿入した方が差分が小さくなるか否かを判断し、画像データを挿入した方が差分が小さくなると判断された場合には画像データを挿入し、そうでない場合には音声データを削除することを特徴とする録画装置。
前記同期調整制御手段は、前記音声付動画記録手段により連続再生可能な形態に結合して記録される複数の画像データおよび複数の音声データに対して、画像データ又は音声データの削除又は挿入を行うか、或いは、前記一時停止手段によって前記画像取込処理の停止を指示するタイミングと、前記音声取込処理の停止を指示するタイミングとをずらすか、或いは、前記再開手段によって画像取込処理の再開を指示するタイミングと、前記音声取込処理の再開を指示するタイミングとをずらすか、のうちの何れかの同期調整処理を選択的に実行するものであることを特徴とする請求項８または９に記載の録画装置。
前記判定手段が前記ズレ量を判定するタイミングは、前記一時停止が指示された時、又は、前記再開が指示された時であることを特徴とする請求項８〜１０の何れかに記載の録画装置。
前記判定手段により判定された前記ズレ量が規定値以上になると、前記同期調整制御手段が前記同期調整処理を実行することを特徴とする請求項８〜１１の何れかに記載の録画装置。
前記規定値は、画像より音声の再生タイミングが遅れている場合と、音声より画像の再生タイミングが遅れている場合とで、異なる値とされ、音声より画像の再生タイミングが遅れている場合の方が、比較的小さい値に設定されていることを特徴とする請求項１２記載の録画装置。
前記同期調整処理の態様が複数ある場合、前記同期調整制御手段は、前記ズレ量が最小になる態様を選択して前記同期調整処理を実行することを特徴とする請求項８〜１３の何れかに記載の録画装置。