JP3900812B2 - 画像記録装置 - Google Patents
画像記録装置 Download PDFInfo
- Publication number
- JP3900812B2 JP3900812B2 JP2000291560A JP2000291560A JP3900812B2 JP 3900812 B2 JP3900812 B2 JP 3900812B2 JP 2000291560 A JP2000291560 A JP 2000291560A JP 2000291560 A JP2000291560 A JP 2000291560A JP 3900812 B2 JP3900812 B2 JP 3900812B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- recording
- unit
- voice input
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、デジタルカメラ等の画像記録装置に関し、より詳しくは撮影モードの制御に関する。
【０００２】
【従来の技術】
近年、ＣＣＤ等の固体撮像素子を用いて撮像した被写体画像をＪＰＥＧ等の圧縮処理技術により圧縮し画像データとしてフラッシュメモリ等の記録媒体に記録するデジタルカメラが普及している。また、この種のデジタルカメラにおいては、静止画を記録する静止画モードに加え、連一定時間の動画を記録する動画モードや、さらには静止画又は動画の撮影と同時に音声を記録する音声付き撮影モードを備えたものがある。
【０００３】
【発明が解決しようとする課題】
しかしながら、前述したように静止画及び動画モードを有し、複数形式で画像を記録できるデジタルカメラにおいては、撮影者は、記録する画像の種類（静止画や動画）に応じて撮影モードを予め設定しておく必要があるため、事前に設定しておいた撮影モードと異なる撮影モードのシャッターチャンスが訪れたときには、撮影を開始する直前に撮影モードを変更する必要があり、シャッターチャンスを逃してしまう事態が生じやすいという問題があった。
【０００４】
また、音声付き撮影モードを有するものにおいては、音声と画像の両方を最良の状態で記録できることが望ましいが、撮影時の状況によっては、音声、画像のどちらか一方しか最良の状態で記録できないことも度々あり、そのような場合には、無用の画像データや音声データを記録することにより記録用のメモリが無駄に消費されるという問題があった。
【０００５】
本発明は、かかる従来の課題に鑑みてなされたものであり、撮影者に煩雑な操作を行わせることなく撮影者が望む撮影モードでの撮影が可能となり、また記録用のメモリの有効利用を可能とする画像記録装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
前記課題を解決するために請求項１記載の発明にあっては、撮像手段により撮像した被写体の画像データを静止画用のデータ形式で記録する静止画モード、及び動画用のデータ形式で記録する動画モードを備えた画像記録装置において、被写体の撮像を指示する撮影指示操作を行う操作手段と、この操作手段による撮影指示操作の継続時間を計測する操作継続計時手段と、この操作継続計時手段により計測された操作継続時間が決められた時間を超えることに伴い、前記撮像手段により撮像した被写体の画像データの記録形式を前記静止画用から前記動画用に切り換える切換手段と、前記操作継続計時手段により計測された操作継続時間が決められた時間を超えることに伴い、前記撮像手段によって撮像された被写体の画像データを逐次圧縮し、前記動画用の画像データを生成するデータ生成手段とを備えたものとした。
【０００９】
かかる構成においては、操作手段の撮影指示操作が行われている間に、動画形式用の画像データの圧縮が開始されるため、撮影指示操作が行われている間に動画用の画像データを個別に記憶しておく場合に比べ、確保すべき画像データの記憶容量が少なくて済む。
【００１０】
また、請求項２記載の発明にあっては、前記操作手段の撮影指示操作に伴い記録された画像データの表示に際して再生される音声を入力する音声入力手段と、この音声入力手段に入力した音声を前記操作手段の撮影指示操作に伴い記録する記録手段と、前記音声入力手段における音声の入力レベルを検出する検出手段と、この検出手段の検出結果が継続して所定のレベルを超えた状態にある時間を計測するレベル継続計時手段と、前記操作手段による撮影指示操作が継続されている間に、前記レベル継続計時手段により計測された時間が所定時間以上であるときだけ、前記音声入力手段に入力した音声を前記操作手段による撮影指示操作に伴い撮像された被写体の画像に対応させて前記記録手段に記録させる制御手段とを備えたものとした。
【００１１】
かかる構成において、撮影時には、音声入力手段に入力した音声の入力レベルが所定のレベルを超えた状態が所定時間以上であったときだけ音声が記録されるため、画像データの表示に際して再生した時に有効でない音声の記録が防止できる。
【００１２】
また、請求項３記載の発明にあっては、撮像手段により撮像した被写体の画像を画像データとして記録する画像記録装置において、被写体の撮像を指示する撮影指示操作を行う操作手段と、この操作手段の撮影指示操作に伴い記録された画像データの表示に際して再生される音声を入力する音声入力手段と、この音声入力手段に入力した音声を記録する記録手段と、前記音声入力手段における音声の入力レベルを検出する検出手段と、この検出手段の検出結果が継続して所定のレベルを超えた状態にある時間を計測するレベル継続計時手段と、前記操作手段による撮影指示操作が継続されている間に、前記レベル継続計時手段により計測された時間が所定時間以上であるときだけ、前記音声入力手段に入力した音声を前記操作手段による撮影指示操作に伴い撮像された被写体の画像に対応させて前記記録手段に記録させる制御手段とを備えたものとした。
【００１３】
かかる構成においても、撮影時には、音声入力手段に入力した音声の入力レベルが所定のレベルを超えた状態が所定時間以上であったときだけ音声が記録されるため、記録した画像の表示に際して再生した時に有効でない音声の記録が防止できる。
【００１４】
また、請求項４記載の発明にあっては、前記制御手段は、前記操作手段による撮影指示操作が継続されている時間内に、前記レベル継続計時手段により計測された時間が所定の長さに達しなかったとき、予め用意されている音声を、前記操作手段による撮影指示操作に伴い撮像された被写体の画像に対応させて前記記録手段に記録させるものとした。かかる構成においては、常に撮影された画像と共に有効な音声を記録することができる。
【００１５】
また、請求項５記載の発明にあっては、前記制御手段は、前記音声入力手段に入力した音声を前記操作手段による撮影指示操作に伴い撮像された被写体の画像に重畳して前記記録手段に記録させるものとした。
【００１６】
また、請求項６記載の発明にあっては、前記撮像手段による被写体の撮像時における露光量を検出する露出検出手段を備え、前記制御手段は、前記露出検出手段により検出された露光量が所定量に達していないとき、前記操作手段の撮影指示操作に伴う前記画像データの記録を中止するものとした。かかる構成においては、撮影時には、無駄な画像データが記録されることがない。
【００１７】
また、請求項７記載の発明にあっては、前記制御手段は、前記露出検出手段により検出された露光量が所定量に達していないとき、前記音声入力手段に入力した音声を予め用意された画像に重畳して前記記録手段に記録させるものとした。かかる構成においては、常に撮影時の音声と共に有効な画像を記録することができる。
【００１８】
【発明の実施の形態】
（第１の実施の形態）
以下、本発明の一実施の形態を図にしたがって説明する。図１は、本発明の画像記録装置であるデジタルカメラ１の電気的構成を示すブロック図である。
【００１９】
デジタルカメラ１は、主としてＣＣＤ２、ＣＣＤ制御部３、ＹＵＶプロセッサ４、メモリーコントローラ５、画像メモリ６、ビデオエンコーダ７、ビデオ出力部８、制御部９、記録媒体１０、キー処理部１１から構成されている。
【００２０】
ＣＣＤ２は、ＣＣＤ制御部３で作られるタイミング信号に基づき駆動され、図示しないカメラ本体に設けられたレンズにより結像された被写体像を撮像し、カラー画像信号（アナログ）としてＣＣＤ制御部３へ出力する。ＣＣＤ制御部３は、入力したカラー画像信号をタイミング信号に基づき順次Ａ／Ｄ変換し、ＹＵＶプロセッサ４に送る。ＹＵＶプロセッサ４は、カラー画像の各画素から輝度成分データ（Ｙ）と、２つの色成分データ（Ｃｂ，Ｃｒ）を作成する。メモリーコントローラ５は、ＹＵＶプロセッサ４が作成した３種類の画像データを画像メモリ６に順に蓄えるとともに、撮影待機状態にあるときには、画像メモリ６から第１フィールド、第２フィールドに応じて、１ラインおきのＹデータ、Ｃｂデータ、Ｃｒデータを読み込み、それを順次ビデオエンコーダ７に送る。
【００２１】
ビデオエンコーダ７は、メモリーコントローラ５から送られたデータをＲＧＢ信号に変換し、ビデオ出力部８に送る。ビデオ出力部８は液晶モジュールを有しており、液晶モジュールには、ビデオエンコーダ７から送られたＲＧＢ信号に基づく画像、すなわち撮影待機時にはスルー画像が、また記録画像の再生時には、記録媒体１０に記憶されている記録画像が表示される。
【００２２】
制御部９は、ＣＰＵ、ＲＯＭ、ＲＡＭ等から構成されている。ＲＯＭは、ＣＰＵにより実行される各種の制御プログラム、及び制御時に使用されるデータ等を格納しており、ＲＡＭは、ＣＰＵにより実行される各種処理において使用されるワーク領域を有している。ＣＰＵは、前記制御プログラム、及びカメラ本体に配設されたシャッタキー、電源キー、モード切替キー等の複数の操作キーを含むキー処理部１１から送られるキー入力信号に基づきメモリーコントローラ５の動作を制御する。また、制御部９は、前記シャッタキーが操作された撮影時には、前記メモリーコントローラ５によって読み込んだ画像データを静止画用（例えばＪＰＥＧ形式）のデータや、動画用（例えばＭＰＥＧ形式）のデータに変換し、変換したデータを記録媒体１０に記憶する。記録媒体１０は、例えばフラッシュメモリ等である。
【００２３】
次に、かかるデジタルカメラ１の本発明に係る動作を説明する。図２は、撮影待機状態にあるとき、制御部９のＣＰＵが一定間隔で実行するキー処理を示すフローチャート、図４は、かかる処理に対応するデジタルカメラ１の動作を説明するためのタイミングチャートである。
【００２４】
以下、図２に従って説明する。ＣＰＵはキー処理動作を開始すると、まずキー処理部１１から送られるキー入力信号に基づき、シャッタキーが押されているか否かを判別する（ステップＳＡ１）。シャッタキーが押されていないときには、前回ＯＮフラグが立っているか否かを更に判別し（ステップＳＡ８）、かかる判別の結果もＮＯであったときには、そのまま処理を終了する。一方、撮影者によってシャッタキーが押され、ステップＳＡ１の判別結果がＹＥＳであったときには、さらに前回ＯＮフラグが立っているか否か、すなわちシャッタキーが押された直後であるか否かを更に判別する（ステップＳＡ２）。ここで、シャッタキーが押された直後であれば、ステップＳＡ３〜ステップＳＡ６の「ＮＥＷ ＯＮ処理」を行う。すなわち、まず前回ＯＮフラグをセットし（ステップＳＡ３）、動画判別用のタイマー値をクリアする（ステップＳＡ４）。次に、タイマ割込処理を許可し（ステップＳＡ５）、最初の１枚分の画像データを静止画用のデータとして使用するサイズで画像メモリ６に取り込む（ステップＳＡ６）。
【００２５】
前記タイマ割込処理は、図３及び図４に示すように、０．２秒おきにＣＣＤ２で撮像した撮影画像の１枚分の画像データを画像メモリ６に取り込む処理（ステップＳＢ１）であって、取り込んだ画像データは、静止画用のデータとして使用するサイズよりも小さな動画用のデータとして、前回の画像を上書きすることなく、画像メモリ６の個別のエリアに格納する。
【００２６】
この後、シャッタキーが押されていると判別されたとき（ステップＳＡ２でＹＥＳ）、及びシャッタキーが押されていないと判別されたときであっても、前回ＯＮフラグが立っており（ステップＳＡ８でＹＥＳ）、かつ前述した動画判別用のタイマーによりカウントされている時間が所定のチャタリング時間を経過していなければ（ステップＳＡ９でＮＯ）、「ＯＮ中処理」として動画判別用タイマーの値をインクリメントする処理を行う（ステップＳＡ７）。つまり、シャッタキーが押され続けている間には、かかる「ＯＮ中処理」が継続されとともに、その間には、図３に示したタイマ割込処理が０．２秒おきに行われることによって、動画用の撮影画像データが画像メモリ６に順次蓄積される。
【００２７】
しかる後、撮影者がシャッタキーを押すことをやめると（ステップＳＡ１がＮＯ、ステップＳＡ８，ＳＡ９が共にＹＥＳ）、以下の「ＮＥＷ ＯＦＦ処理」を行う。すなわち、前回ＯＮフラグをクリアし（ステップＳＡ１０）、図３に示したタイマ割込処理を禁止した後（ステップＳＡ１１）、ＯＮ中処理でカウントしていたタイマー値が所定の動画判別時間（本実施の形態では、１．１秒）を超えているか否かを判別する（ステップＳＡ１２）。ここで、図４（ａ）に示したように、撮影者がシャッタキーを押していた時間が例えば０．９秒であって、動画判別時間を超えていなければ静止画モード処理に移行し（ステップＳＡ１２でＮＯ）、図４（ｂ）に示したように、撮影者がシャッタキーを押していた時間（操作継続時間）が例えば４．７秒であって、動画判別用タイマー値が動画判別時間を超えていれば動画モード処理に移行する（ステップＳＡ１２でＹＥＳ）。
【００２８】
動画モード処理では、ステップＳＡ６で画像メモリ６に最初に取り込んだ画像データのサイズを静止画サイズから動画サイズに変換し（ステップＳＡ１３）、サイズ変換した最初の画像データと、前記タイマ割込処理で初めから動画サイズで格納されている残りの（２枚目以降の）画像データを動画形式で記録媒体１０に記録する（ステップＳＡ１４）。また、静止画モード処理では、画像メモリ６に最初に取り込んだ静止画サイズの画像データをそのまま静止画形式で記録媒体１０に記録し（ステップＳＡ１５）、処理を終了する。
【００２９】
したがって、撮影者は、記録画像の種類（静止画と動画）を設定する作業を予め行っていなくとも、シャッタキーを押す時間を調整するだけで、所望する種類の画像を記録することができる。このため、シャッタチャンスが訪れたときには、直ちに撮影を開始するとともに、その時々の判断で被写体を静止画として又は動画として記録することが可能である。また、本実施の形態においては、シャッターキーが押された直後に、ステップＳＡ６で、静止画用のサイズで画像メモリ６に取り込んだ最初の１枚分の画像データを、動画モード処理に移行したとき動画用の最初の１枚分のデータとして使用するようにしたことから、動画用の画像データのメモリ領域を、１フレーム分に相当する領域だけ節約することができる。
【００３０】
（第２の実施の形態）
次に、本発明の第２の実施の形態について説明する。本実施の形態は、図１に示したデジタルカメラ１において、例えば前記制御部９のＣＰＵが比較的高い処理性能を有している場合に関するものである。図５は、制御部９のＣＰＵが一定間隔で実行する他のキー処理を示すフローチャートである。以下、同図に従い本実施の形態におけるデジタルカメラ１の動作を説明する。
【００３１】
本実施の形態においてもＣＰＵはキー処理動作を開始すると、まずキー処理部１１から送られるキー入力信号に基づき、シャッタキーが押されているか否かを判別する（ステップＳＣ１）。シャッタキーが押されておらず、かつ前回ＯＮフラグが立っていないときには（ステップＳＣ１、ステップＳＣ１１が共にＮＯ）、そのまま処理を終了する。一方、撮影者によってシャッタキーが押された直後には（ステップＳＣ１がＹＥＳ、ステップＳＣ２がＮＯ）、ステップＳＣ３〜ステップＳＣ６の「ＮＥＷ ＯＮ処理」を行う。すなわち、まず前回ＯＮフラグをセットし（ステップＳＣ３）、動画判別用のタイマー値をクリアする（ステップＳＣ４）。次に、後述する０．２秒おきのタイマ割込処理を許可し（ステップＳＣ５）、最初の１枚分の画像データを静止画用のデータとして使用するサイズで画像メモリ６に取り込む（ステップＳＣ６）。
【００３２】
この後、シャッタキーが押されていると判別されている間（ステップＳＣ２でＹＥＳ）、及びシャッタキーが押されていないと判別されたときであっても、前回ＯＮフラグが立っており（ステップＳＣ１１でＹＥＳ）、かつ動画判別用のタイマーによりカウントされている時間が所定のチャタリング時間を経過していないければ（ステップＳＣ１２でＮＯ）、以下の「ＯＮ中処理」を行う。「ＯＮ中処理」では、まず前記タイマー値をインクリメントした後（ステップＳＣ７）、それが所定の動画判別時間（本実施の形態においても１．１秒）を超えているか否かを判別する（ステップＳＣ８）。かかる判別の結果がＮＯである間には、前述したステップＳＣ５で許可されたタイマ割込処理を行う。本実施の形態においても割込処理の間隔は０．２秒おきであり、図６に示すように、割込時に前記タイマー値が前記動画判別時間を超えていないときには（ステップＳＤ１でＮＯ）、ＣＣＤ２で撮像した撮影画像の１枚分の画像データを、静止画用のデータとして使用するサイズよりも小さな動画用のデータとして、前回の画像を上書きすることなく、画像メモリ６の個別のエリアに格納する（ステップＳＤ２）。したがって、シャッタキーが押され続けられている間には、その継続時間が動画判別時間を超えるまで、０．２秒おきに動画用の撮影画像データが画像メモリ６に順次蓄積される。なお、この時点までの動作は、第１の実施の形態の場合と実質的に同一である。
【００３３】
また、「ＯＮ中処理」の実行に際して、シャッタキーが押されている時間が動画判別時間を超え、ステップＳＣ８の判別結果がＹＥＳになると、まず、ステップＳＣ６で画像メモリ６に最初に取り込んだ画像データのサイズを静止画サイズから動画サイズに変換し（ステップＳＣ９）、次に、前記タイマ割込処理で初めから動画サイズで格納されている残りの（２枚目以降の）画像データを圧縮動画形式、例えばＭＰＥＧ形式で画像メモリ６に記録する（ステップＳＣ１０）。なお、図示したフローチャートには明記しないが、かかるステップＳＣ９及びステップＳＣ１０の処理については、前述した「ＮＥＷ ＯＮ処理」を新たに行った後に１回だけ行うものとする。そして、これ以降もシャッタキーが押され続けた場合には、０．２秒おきに行われる図６のタイマ割込処理にけるステップＳＤ１の判別結果がＹＥＳとなり、予め画像メモリ６に圧縮動画形式で記録されている圧縮データに、ＣＣＤ２で撮像した撮影画像の１枚分の新たな画像データを逐次追加する、つまり圧縮データを更新するリアルタイムでの動画記録を行う（ステップＳＣ１０）。
【００３４】
しかる後、撮影者がシャッタキーを押すことをやめると（ステップＳＣ１がＮＯ、ステップＳＣ１１，ＳＡ１２が共にＹＥＳ）、以下の「ＮＥＷ ＯＦＦ処理」を行う。すなわち、前回ＯＮフラグをクリアし（ステップＳＣ１３）、図６のタイマ割込処理を禁止した後（ステップＳＣ１４）、「ＯＮ中処理」でカウントしていたタイマー値が動画判別時間（１．１秒）を超えているか否かを判別する（ステップＳＣ１５）。ここで、タイマー値、つまり撮影者がシャッタキーを押していた時間（操作継続時間）が動画判別時間を超えていれば動画モード処理に移行し（ステップＳＣ１５でＹＥＳ）、撮影者がシャッタキーを押していた時間が動画判別時間を超えていなければ静止画モード処理に移行する（ステップＳＣ１５でＮＯ）。
【００３５】
動画モード処理では、所定の動画ヘッダデータを生成するとともに、図６のタイマ割込処理で逐次圧縮記録されていた圧縮データを読み出し、それに生成した動画ヘッダデータを付加して記録媒体１０に記録する（ステップＳＣ１６）。また、静止画モード処理では、第１の実施の形態と同様、画像メモリ６に最初に取り込んだ静止画サイズの画像データをそのまま静止画形式で記録媒体１０に記録し（ステップＳＣ１７）、処理を終了する。
【００３６】
したがって、本実施の形態においても、第１の実施の形態と同様、撮影者は、記録画像の種類（静止画と動画）を設定する作業を予め行っていなくとも、シャッタキーを押す時間を調整するだけで、所望する種類の画像を記録することができる。しかも、本実施の形態においては、シャッタキーが押されていた時間が動画判別時間を超えた後には、シャッタキーが離されるまでの間に取得した動画を構成する全ての画像データを逐次圧縮して動画データとして画像メモリ６の同一のメモリ領域に記憶させるため、第１の実施の形態のように、動画を構成する全ての画像データを画像メモリ６上に個別に残しておく場合よりも、画像メモリ６に確保すべきメモリ領域が少なくなる。よって、第１の実施の形態に比べると、画像メモリ６の容量を増やすことなく、より長時間に亙る動画を記録することが可能である。
【００３７】
なお、本実施の形態では、リアルタイムでの圧縮動画データの生成を制御部９のＣＰＵが行う場合について説明したが、これに限らず、圧縮動画データを生成するための専用の回路やプロセッサを設けた構成としてもよい。また、第１及び第２の実施の形態においては、動画用の画像データの取り込むタイマ割込処理の間隔を０．２秒とし、かつ動画判別時間を１．１秒としたが、これらの時間には任意の時間が設定できる。
【００３８】
（第３の実施の形態）
次に、本発明の第３の実施の形態について説明する。本実施の形態は、静止画又は動画の撮影と同時に音声を記録する音声付き撮影モードを備えたデジタルカメラに関するものである。
【００３９】
図７は、本実施の形態に係るデジタルカメラ２１の電気的構成を示すブロック図である。このデジタルカメラ２１は、静止画及び動画に加えて音声の記録が可能なものであって、音声入力部２２、Ａ／Ｄ変換部２３、音声レベル検出部２４、Ｄ／Ａ変換部２５、音声出力部２６を有している。音声入力部２２は、図示しないカメラ本体に配置されたマイク等を有しており、カメラ本体周囲の音を収集するとともに、それを音声信号として出力する。Ａ／Ｄ変換部２３は、音声入力部２２の出力信号をデジタル信号に変換し、音声データとして音声レベル検出部２４へ出力する。なお、本実施の形態における音声データのサンプリング周波数は２０ｋＨｚである。音声レベル検出部２４は、デジタル信号に変換された音声のレベルを検出するとともに、その検出結果を音声レベル情報として制御部９に送る回路によって構成されている。
【００４０】
音声レベル検出部２４に入力した音声データは、メモリコントローラ５によって画像メモリ６に一時記憶され、その後、制御部９によって、ＣＣＤ２から取り込まれた画像データと多重化されて記憶媒体１０に記録される。制御部９は、必要に応じて記憶媒体１０から画像データを読み出すとともに、画像データに多重化された音声データを分離する。Ｄ／Ａ変換部２５は、制御部９によって分離された音声データを音声信号（アナログ信号）に変換し、音声出力部２６へ出力する。音声出力部２６は、入力した音声信号を増幅するアンプ、及び増幅後の音声信号を音声に変換し放音するスピーカ等を有している。なお、これ以外については、図１のデジタルカメラ１と同一であるための、同一部分に同一の符号を付すことにより説明を省略する。
【００４１】
次に、かかるデジタルカメラ２１の本発明に係る動作を説明する。図８は、撮影待機状態にあるとき、制御部９のＣＰＵが一定間隔で実行するキー処理を示すフローチャートであり、図１０及び図１１は、そのキー処理に対応するデジタルカメラ２１の動作を説明するためのタイミングチャートである。なお、本実施の形態のキー処理においても、第１の実施の形態と同様、制御部９のＣＰＵは、シャッタキーが押されていた時間が所定の動画判別時間（本実施の形態では３．１秒）を超えていたと判断した場合には動画モード処理を行い、また動画判別時間を超えていないと判断した場合には静止画モード処理を行う。
【００４２】
以下、図８に従って説明すると、ＣＰＵはキー処理動作の開始に伴い、シャッタキーが押されているか否かを判別し（ステップＳＥ１）、ここでシャッタキーが押されておらず、かつ前回ＯＮフラグが立っていないときには（ステップＳＥ１、ステップＳＥ１２が共にＮＯ）、そのまま処理を終了する。一方、撮影者によってシャッタキーが押されており、かつ前回ＯＮフラグが立っていないとき（ステップＳＥ１でＹＥＳ、ステップＳＥ２でＮＯ）、つまりシャッタキーが押された直後には、ステップＳＥ３〜ステップＳＥ１０の「ＮＥＷ ＯＮ処理」を行う。かかる処理では、第１の実施の形態と同様に、まず前回ＯＮフラグをセットし、動画判別用のタイマー値をクリアした後、図３で既説した０．２秒おきのタイマ割込処理を許可するとともに、最初の１枚分の画像データを静止画用のデータとして使用するサイズで画像メモリ６に取り込む（ステップＳＥ３〜ステップＳＥ６）。
【００４３】
引き続き、ＣＰＵは、５０μ秒おきの音声割り込み処理（詳細については後述する）を許可して音声入力部２２による音声の取り込み（録音動作）を開始するとともに（ステップＳＥ７）、最初の音声データを画像メモリ６の予め割り当てられている所定の音声記憶エリアに取り込んだ後（ステップＳＥ８）、音声多重フラグをクリアし（ステップＳＥ９）、更にレベル継続フラグをクリアする（ステップＳＥ１０）。音声多重フラグとレベル継続フラグは、図１０及び図１１に示したような、音声入力部２２のマイクに入力する音声のレベル状態の変化を反映するものであって、レベル継続フラグは、前記音声のレベルが、図１０及び図１１に破線で示した所定レベル以上となった場合にセットされるフラグ、音声多重フラグは、前記音声のレベルが前記所定レベルを超え、かつその状態が一定の音声多重決定時間（本実施の形態では０．４秒）を超えて継続した場合にセットされるフラグである。
【００４４】
また、上記「ＮＥＷ ＯＮ処理」の後、シャッタキーが押されていると判別されている間（ステップＳＥ２でＹＥＳ）、及びシャッタキーが押されていないと判別されたときであっても、前回ＯＮフラグが立っており（ステップＳＥ１２でＹＥＳ）、かつ動画判別用タイマーによりカウントされている時間が所定のチャタリング時間を経過していなければ（ステップＳＦ１３でＮＯ）、「ＯＮ中処理」として動画判別用タイマーの値をインクリメントする処理を行う（ステップＳＥ１１）。つまり、シャッタキーが押され続けている間には、かかる「ＯＮ中処理」が継続されとともに、その間には、前述したステップＳＥ５で許可したタイマ割込処理によって０．２秒おきに画像データの取り込みを行い、かつステップＳＥ７で許可した音声割り込み処理によって５０μ秒おきに音声データの取り込みを行う。
【００４５】
図９は、前記音声割り込み処理における動作を示すフローチャートであって、音声割り込み処理に際しては、まず音声入力部２２に入力しＡ／Ｄ変換部２３で変換された音声データを画像メモリ６上の所定の音声記憶エリアに一時記憶した後（ステップＳＦ１）、前述した音声多重フラグが立っているか否かを判別する（ステップＳＦ２）。前述した「ＮＥＷ ＯＮ処理」の直後においては、かかる判別の結果はＮＯであり、引き続き、音声レベル検出部２４によって検出された音声レベル（ステップＳＦ１で取り込んだ音声のレベル）が所定レベル以上であるか否かを判別する（ステップＳＦ３）。ここで所定レベル以上でなければ（ステップＳＦ３でＮＯ）、レベル継続フラグをクリアし、またはクリア状態のまま（ステップＳＦ１０）処理を終了する。
【００４６】
また、割り込み時に音声のレベルが所定レベル以上であり（ステップＳＦ３でＹＥＳ）、かつレベル継続フラグが立っていなければ（ステップＳＦ４でＮＯ）、レベル継続フラグをセットした後（ステップＳＦ５）、音声レベル判定タイマーの値をクリアする（ステップＳＦ６）。その後、レベル継続フラグが立っている間においては（ステップＳＦ４でＹＥＳ）、割り込み時に音声レベル判定タイマーの値をインクリメントするとともに（ステップＳＦ７）、そのタイマー値が０．４秒を超えたか否かを判別し（ステップＳＦ８）、それを超えた場合には、音声多重フラグをセットする（ステップＳＦ９）。そして、音声多重フラグを一度セットした後の割り込み時においては、ステップＳＦ２の判別結果がＹＥＳとなり、取り込んだ音声データを逐次画像メモリ６上の音声記憶エリアに一時記憶する処理（ステップＳＦ１）だけを繰り返し行う。
【００４７】
再び図８に戻り、「ＯＮ中処理」が継続されている間に、撮影者がシャッタキーを押すことをやめると（ステップＳＥ１がＮＯ、ステップＳＥ１２，ＳＥ１３が共にＹＥＳ）、以下の「ＮＥＷ ＯＦＦ処理」を行う。すなわち、前回ＯＮフラグをクリアし（ステップＳＥ１４）、図３のタイマ割込処理を禁止し（ステップＳＥ１５）、図９の音声割り込み処理を禁止した後（ステップＳＥ１６）、「ＯＮ中処理」でカウントしていたタイマー値が動画判別時間（３．１秒）を超えているか否かを判別する（ステップＳＥ１７）。ここで、タイマー値、つまり撮影者がシャッタキーを押していた時間（操作継続時間）が動画判別時間を超えていなければ、図１０に示したように静止画モード処理に移行し（ステップＳＥ１７でＮＯ）、撮影者がシャッタキーを押していた時間が動画判別時間を超えていれば、図１１に示したように動画モード処理に移行する（ステップＳＥ１７でＹＥＳ）。
【００４８】
動画モード処理では、ステップＳＥ６で画像メモリ６に最初に取り込んだ画像データのサイズを静止画サイズから動画サイズに変換し（ステップＳＥ１８）、サイズ変換した最初の画像データと、前記タイマ割込処理で初めから動画サイズで格納されている残りの（２枚目以降の）画像データを動画形式で画像メモリ６の所定領域にいったん記録する（ステップＳＥ１９）。また、静止画モード処理では、画像メモリ６に最初に取り込んだ静止画サイズの画像データをそのまま静止画形式で画像メモリ６の所定領域にいったん記録する（ステップＳＥ２０）。
【００４９】
さらに、いずれかの形式で画像データを記録した後には、引き続き音声多重フラグが立っているか否かを判別する（ステップＳＥ２１）。ここで、音声多重フラグが立っている場合、すなわちシャッタキーが押されている間に所定値レベル以上の音声が０．４秒を超え継続して入力していた場合には（ステップＳＥ２１でＹＥＳ）、画像メモリ６の音声記憶エリアに記憶されている音声データを読み出すとともに、それを静止画形式または動画形式でいったん記録した画像データに多重化して、最終的な音声付き画像形式で記録手段１０に記録する（ステップＳＥ２２）。逆に、上記条件を満たさない場合には、画像メモリ６の所定領域にいったん記録したデータをそのまま記録手段１０に記録し、処理を終了する。
【００５０】
したがって、本実施の形態においても、撮影者はシャッタキーを押す時間を調整するだけで、静止画モードによる撮影と動画モードによる撮影を行うことができる。さらに、撮影者は音声付き、音声なしの２種類の画像記録形式を撮影前に選択しなくとも、音声付きの撮影に適した状況では、音声付きの静止画または動画を撮影することができ、逆に音声なしの撮影に適した状況では、音声なしの静止画または動画を撮影することができる。これによってもシャッターチャンスを逃す頻度を減らすことができる。しかも、音声の入力レベルが前述した条件を満たさないとき、例えば撮影時の音が小さすぎ、再生時に録音内容が聞き取れないようなときには、自動的に音声なし画像形式で記録されるため、無駄な音声データを省略することができ、画像データの記録サイズを抑えることができる。その結果、記録手段１０におけるデータの記録容量を有効に使用することができる。
【００５１】
なお、本実施の形態においては、画像メモリ６の一部に音声記憶エリアを設け、そこにシャッタキーが押されている間の音声データを記憶するようにしたが、画像メモリ６とは別に音声用メモリを設け、それに音声データを一時記憶するようにしてもよい。また、音声データが画像データに多重化されず、画像メモリ６の一部や別に設けられた音声用メモリに画像データに対応させて記録される構成であっても構わない。また、本実施の形態では、動画取り込み間隔を０．２秒、音声取り込み間隔を５０μ秒、動画判別時間を３．１秒、音声多重決定時間を０．４秒としたが、これらの時間には任意の時間が設定できる。
【００５２】
また、以下のようにすることもできる。例えば、音声データを記憶する音声ＲＯＭを別途設け、そこに事前に用意した楽音データ等のデフォルト音声データ（１又は複数）を記憶させておいたり、上記デフォルト音声データを記録手段１０等に記憶しておいたりするとともに、前述したキー処理のステップＳＥ２１の判別結果がＮＯであって、音声多重フラグが立っていなかった場合には、前記音声ＲＯＭ等に記憶されているデフォルト音声データを画像データに多重化して、最終的に音声付き画像形式で記録手段１０に記録する構成とすることができる。その場合には、常に有効な音声付きの静止画または動画を記録することができる。さらには、上記デフォルト音声データの使用の有無を撮影者が事前に設定できるようにしておけば、使い勝手が向上する。また、記録手段１０の一部にデフォルト音声データを記憶する領域を設ける場合等においては、使用者が、前記音声入力部２２のマイクを用いた所定の録音操作により記録した音声や、または外部から入力した音声のデータを、所定の設定操作によりデフォルト音声データとして記録（更新）させることができる構成とすれば、より一層使い勝手が向上する。
【００５３】
（第４の実施の形態）
次に、本発明の第４の実施の形態について説明する。本実施の形態も第３の実施の形態と同様、静止画又は動画の撮影と同時に音声を記録する音声付き撮影モードを備えたデジタルカメラに関するものである。
【００５４】
図１２は、本実施の形態に係るデジタルカメラ３１の電気的構成を示すブロック図である。以下、第３の実施の形態のデジタルカメラ２１（図７）と異なる部分について説明すると、デジタルカメラ３１においては前述した音声レベル検出部２４が廃止される一方、露光量判定手部３２が設けられている。露光量判定手部３２は、メモリーコントローラ５から送られた画像データに基づき撮影時に適切な露光量で撮影が行われたかどうかを判定するとともに、その判定結果を露光情報として制御部９に送る回路によって構成されている。なお、これ以外については、図７のデジタルカメラ２１と同一であるための、同一部分に同一の符号を付すことにより説明を省略する。また、制御部９のＣＰＵが比較的高い処理性能を有している場合には、前記露光量判定手部３２をなくして、制御部９側で独自に前記露光情報を取得する構成とすることができる。
【００５５】
次に、かかるデジタルカメラ３１の本発明に係る動作を説明する。図１３は、撮影待機状態にあるとき、制御部９のＣＰＵが一定間隔で実行するキー処理を示すフローチャートである。なお、本実施の形態のキー処理においても、第３の実施の形態と同様、制御部９のＣＰＵは、シャッタキーが押されていた時間が所定の動画判別時間（３．１秒）を超えていたと判断した場合には動画モード処理を行い、また前記動画判別時間を超えていないと判断した場合には静止画モード処理を行う。
【００５６】
すなわち制御部９のＣＰＵは、前述した実施の形態と同様、撮影者によってシャッタキーが押された直後には（ステップＳＧ１でＹＥＳ、ステップＳＧ２でＮＯ）、「ＮＥＷ ＯＮ処理」を行う。かかる処理では、まず前回ＯＮフラグをセットし（ステップＳＧ３）、動画判別用のタイマー値をクリアした後（ステップＳＧ４）、露光量判定手部３２からの露光情報に基づき露光量が適切か否かを判別する（ステップＳＧ５）。ここで、露光量が適切であれば、そのまま図３で既説した０．２秒おきのタイマ割込処理を許可するとともに（ステップＳＧ６）、最初の１枚分の画像データを静止画用のデータとして使用するサイズで画像メモリ６に取り込んだ後（ステップＳＧ７）、ステップＳＧ８へ進む。逆に、例えば露出が大幅に不足しており露光量が適切でないと判定された場合には（ステップＳＧ５でＮＯ）、直ちにステップＳＧ８へ進む。
【００５７】
しかる後、５０μ秒おきの音声割り込み処理を許可して音声入力部２２による音声の取り込み（録音動作）を開始する（ステップＳＧ８）。なお、本実施の形態における音声割り込み処理は、第３の実施の形態と異なり、音声入力部２２に入力しＡ／Ｄ変換部２３で変換された音声データを画像メモリ６上の所定の音声記憶エリアに逐次一時記憶する処理（図９のステップＳＦ１の処理）のみである。引き続き、最初の音声データを画像メモリ６の予め割り当てられている所定の音声記憶エリアに取り込んだ後（ステップＳＧ９）、「ＮＥＷ ＯＮ処理」を終了する。
【００５８】
また、上記「ＮＥＷ ＯＮ処理」の後には、第３の実施の形態と同様の手順で、動画判別用タイマーの値をインクリメントする「ＯＮ中処理」を行い（ステップＳＧ１０）、シャッタキーが押され続けている間には、かかる「ＯＮ中処理」を継続する。その間には、前述したステップＳＧ５の判別結果がＹＥＳであった状況下では、０．２秒おきに画像データの取り込みを行い、かつ５０μ秒おきに音声データの取り込みを行う。逆にステップＳＧ５の判別結果がＮＯであった状況下では、５０μ秒おきの音声データの取り込みだけを行う。
【００５９】
その後、「ＯＮ中処理」が継続されている間に、撮影者がシャッタキーを押すことをやめると（ステップＳＧ１がＮＯ、ステップＳＧ１１，ＳＥ１２が共にＹＥＳ）、ステップＳＧ１３〜ＳＧ２２の「ＮＥＷ ＯＦＦ処理」を行う。まず、前回ＯＮフラグをクリアした後（ステップＳＧ１３）、ＣＣＤ２からの画像取り込みを行っていた場合、つまり０．２秒おきのタイマ割込処理を許可している場合には（ステップＳＧ１４でＹＥＳ）、まずタイマ割込処理を禁止（画像取り込みを終了）し（ステップＳＧ１５）、「ＯＮ中処理」でカウントしていたタイマー値が動画判別時間（３．１秒）を超えているか否かを判別する（ステップＳＧ１６）。そして、かかる判別の結果に応じて、第３の実施の形態と同様に静止画モードと動画モードとにそれぞれ移行し、静止画または動画のいずれかの形式で画像データを画像メモリ６の所定領域にいったん記録し（ステップＳＧ１７〜ＳＧ１９）、ステップＳＧ２１へ進む。
【００６０】
一方、ステップＳＧ１４の判別結果がＮＯであって、０．２秒おきのタイマ割込処理を許可していなかった場合には、ステップＳＧ１５〜ＳＧ１９の処理を行わずにそのまま、ステップＳＧ２１へ進み、５０μ秒おきの音声割り込み処理を禁止（音声データの取り込みを終了）する。しかる後、画像メモリ６の音声記憶エリアに記憶されている音声データを読み出すとともに、それを記録手段１０に記録し（ステップＳＧ２２）、処理を終了する。このとき、前記音声データは、画像メモリ６に静止画または動画のいずれかの形式の画像データが記録されていれば、その画像データに多重化した状態で記録し、また、上記画像データが記録されていなければ、それを単独で記録する。
【００６１】
したがって、本実施の形態においても、撮影者はシャッタキーを押す時間を調整するだけで、静止画モードによる撮影と動画モードによる撮影を行うことができる。さらに、音声付きの撮影モードが選択された状態では、適切な露光量で画像が取り込まれなかったとき、例えば大きく露光量が不足しており、再生時に画像が判読できないようなときには、自動的に音声だけが記録されるため、無駄な画像データの記録を省略することができ、データの記録サイズを抑えることができる。その結果、記録手段１０におけるデータの記録容量を有効に使用することができる。
【００６２】
なお、本実施の形態においても、第３の実施の形態と同様、画像メモリ６の一部に音声記憶エリアを設け、そこにシャッタキーが押されている間の音声データを記憶するようにしたが、画像メモリ６とは別に音声用メモリを設け、それに音声データを一時記憶するようにしてもよい。また、音声データが画像データに多重化されず、画像メモリ６の一部や別に設けられた音声用メモリに画像データに対応させて記録される構成であっても構わない。また、動画取り込み間隔等の各設定時間についても同様である。
【００６３】
また、以下のようにすることもできる。例えば、画像データを記憶する画像ＲＯＭを別途設け、そこに事前に用意した自然画やそれ以外の任意のパターン画像等のデフォルト画像データ（静止画データ、動画データのいずれでもよく、また複数であっても構わない。）を記憶させておいたり、上記デフォルト画像データを記録手段１０等に記憶しておいたりするとともに、前述したキー処理のステップＳＧ１４の判別結果がＮＯであって、０．２秒おきのタイマ割込処理を許可していなかった場合には、前記画像ＲＯＭ等に記憶されているデフォルト画像データを読み出し、それを撮像した画像データに代えて画像メモリ６に記憶し、そのデフォルト画像データに音声データを多重化し、又は対応させて記録手段１０に記録する構成とすることができる。その場合には、音声を常に有効な画像とともに記録することができる。さらには、上記デフォルト画像データの使用の有無を撮影者が事前に設定できるようにしておけば、使い勝手が向上する。また、記録手段１０の一部にデフォルト画像データを記憶する領域を設ける場合等においては、使用者が、撮影した画像や事前に撮影され記録されている画像の中から選択した任意の画像のデータを、所定の設定操作によりデフォルト画像データとして記録（更新）させることができる構成とすれば、より一層使い勝手が向上する。
【００６４】
【発明の効果】
以上説明したように本発明においては、撮影指示手段における操作継続時間が決められた時間を超えないときには被写体の画像データが静止画用のデータ形式で記録され、また決められた時間を超えたときには動画用のデータ形式で記録されるようにした。よって、撮影者はシャッタキーを押す時間を調整するだけで、静止画モードによる撮影と動画モードによる撮影を行うことができ、撮影者に煩雑な操作を行わせることなく撮影者が望む撮影モードでの撮影が可能となる。
【００６５】
また、操作手段の撮影指示操作が行われている間に、動画形式用の画像データの圧縮を開始させ、確保すべき画像データの記憶容量が少なくて済むようにした。よって、より長時間に亙る動画の記録が可能となる。
【００６６】
また、被写体の撮影時には、記録した画像の表示に際して再生した時に有効でない音声の記録が防止できることから、無用の音声データを記録することによる記録用のメモリが無駄な消費をなくし、記録用のメモリの有効利用が可能となる。また、撮影時の状況に応じて、常に撮影された画像と共に有効な音声を記録したり、常に撮影時の音声と共に有効な画像を記録したりすることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係るデジタルカメラの電気的構成を示すブロック図である。
【図２】撮影待機状態で制御部のＣＰＵが一定間隔で実行するキー処理を示すフローチャートである。
【図３】同撮影待機状態で制御部のＣＰＵが一定間隔で実行するタイマー割込処理を示すフローチャートである。
【図４】図２のキー処理に伴い、静止画モードに移行する場合（ａ）と、動画モードに移行する場合（ｂ）とにおけるデジタルカメラ動作を示すタイミングチャートである。
【図５】本発明の第２の実施の形態に係る、撮影待機状態で制御部のＣＰＵが一定間隔で実行するキー処理を示すフローチャートである。
【図６】同実施の形態において、制御部のＣＰＵが一定間隔で実行するタイマー割込処理を示すフローチャートである。
【図７】本発明の第３の実施の形態に係るデジタルカメラの電気的構成を示すブロック図である。
【図８】同実施の形態において、撮影待機状態で制御部のＣＰＵが一定間隔で実行するキー処理を示すフローチャートである。
【図９】制御部のＣＰＵが一定間隔で実行する音声割込処理を示すフローチャートである。
【図１０】図８のキー処理に伴い、静止画モードに移行する場合におけるデジタルカメラ動作を示すタイミングチャートである。
【図１１】図８のキー処理に伴い、動画モードに移行する場合におけるデジタルカメラ動作を示すタイミングチャートである。
【図１２】本発明の第４の実施の形態に係るデジタルカメラの電気的構成を示すブロック図である。
【図１３】同実施の形態において、撮影待機状態で制御部のＣＰＵが一定間隔で実行するキー処理を示すフローチャートである。
【符号の説明】
１ デジタルカメラ
２ ＣＣＤ
６ 画像メモリ
９ 制御部
１０ 記録媒体
１１ キー処理部
２１ デジタルカメラ
２２ 音声入力部
２４ 音声レベル検出部
３１ デジタルカメラ
３２ 露光量判定手部
【発明の属する技術分野】
本発明は、デジタルカメラ等の画像記録装置に関し、より詳しくは撮影モードの制御に関する。
【０００２】
【従来の技術】
近年、ＣＣＤ等の固体撮像素子を用いて撮像した被写体画像をＪＰＥＧ等の圧縮処理技術により圧縮し画像データとしてフラッシュメモリ等の記録媒体に記録するデジタルカメラが普及している。また、この種のデジタルカメラにおいては、静止画を記録する静止画モードに加え、連一定時間の動画を記録する動画モードや、さらには静止画又は動画の撮影と同時に音声を記録する音声付き撮影モードを備えたものがある。
【０００３】
【発明が解決しようとする課題】
しかしながら、前述したように静止画及び動画モードを有し、複数形式で画像を記録できるデジタルカメラにおいては、撮影者は、記録する画像の種類（静止画や動画）に応じて撮影モードを予め設定しておく必要があるため、事前に設定しておいた撮影モードと異なる撮影モードのシャッターチャンスが訪れたときには、撮影を開始する直前に撮影モードを変更する必要があり、シャッターチャンスを逃してしまう事態が生じやすいという問題があった。
【０００４】
また、音声付き撮影モードを有するものにおいては、音声と画像の両方を最良の状態で記録できることが望ましいが、撮影時の状況によっては、音声、画像のどちらか一方しか最良の状態で記録できないことも度々あり、そのような場合には、無用の画像データや音声データを記録することにより記録用のメモリが無駄に消費されるという問題があった。
【０００５】
本発明は、かかる従来の課題に鑑みてなされたものであり、撮影者に煩雑な操作を行わせることなく撮影者が望む撮影モードでの撮影が可能となり、また記録用のメモリの有効利用を可能とする画像記録装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
前記課題を解決するために請求項１記載の発明にあっては、撮像手段により撮像した被写体の画像データを静止画用のデータ形式で記録する静止画モード、及び動画用のデータ形式で記録する動画モードを備えた画像記録装置において、被写体の撮像を指示する撮影指示操作を行う操作手段と、この操作手段による撮影指示操作の継続時間を計測する操作継続計時手段と、この操作継続計時手段により計測された操作継続時間が決められた時間を超えることに伴い、前記撮像手段により撮像した被写体の画像データの記録形式を前記静止画用から前記動画用に切り換える切換手段と、前記操作継続計時手段により計測された操作継続時間が決められた時間を超えることに伴い、前記撮像手段によって撮像された被写体の画像データを逐次圧縮し、前記動画用の画像データを生成するデータ生成手段とを備えたものとした。
【０００９】
かかる構成においては、操作手段の撮影指示操作が行われている間に、動画形式用の画像データの圧縮が開始されるため、撮影指示操作が行われている間に動画用の画像データを個別に記憶しておく場合に比べ、確保すべき画像データの記憶容量が少なくて済む。
【００１０】
また、請求項２記載の発明にあっては、前記操作手段の撮影指示操作に伴い記録された画像データの表示に際して再生される音声を入力する音声入力手段と、この音声入力手段に入力した音声を前記操作手段の撮影指示操作に伴い記録する記録手段と、前記音声入力手段における音声の入力レベルを検出する検出手段と、この検出手段の検出結果が継続して所定のレベルを超えた状態にある時間を計測するレベル継続計時手段と、前記操作手段による撮影指示操作が継続されている間に、前記レベル継続計時手段により計測された時間が所定時間以上であるときだけ、前記音声入力手段に入力した音声を前記操作手段による撮影指示操作に伴い撮像された被写体の画像に対応させて前記記録手段に記録させる制御手段とを備えたものとした。
【００１１】
かかる構成において、撮影時には、音声入力手段に入力した音声の入力レベルが所定のレベルを超えた状態が所定時間以上であったときだけ音声が記録されるため、画像データの表示に際して再生した時に有効でない音声の記録が防止できる。
【００１２】
また、請求項３記載の発明にあっては、撮像手段により撮像した被写体の画像を画像データとして記録する画像記録装置において、被写体の撮像を指示する撮影指示操作を行う操作手段と、この操作手段の撮影指示操作に伴い記録された画像データの表示に際して再生される音声を入力する音声入力手段と、この音声入力手段に入力した音声を記録する記録手段と、前記音声入力手段における音声の入力レベルを検出する検出手段と、この検出手段の検出結果が継続して所定のレベルを超えた状態にある時間を計測するレベル継続計時手段と、前記操作手段による撮影指示操作が継続されている間に、前記レベル継続計時手段により計測された時間が所定時間以上であるときだけ、前記音声入力手段に入力した音声を前記操作手段による撮影指示操作に伴い撮像された被写体の画像に対応させて前記記録手段に記録させる制御手段とを備えたものとした。
【００１３】
かかる構成においても、撮影時には、音声入力手段に入力した音声の入力レベルが所定のレベルを超えた状態が所定時間以上であったときだけ音声が記録されるため、記録した画像の表示に際して再生した時に有効でない音声の記録が防止できる。
【００１４】
また、請求項４記載の発明にあっては、前記制御手段は、前記操作手段による撮影指示操作が継続されている時間内に、前記レベル継続計時手段により計測された時間が所定の長さに達しなかったとき、予め用意されている音声を、前記操作手段による撮影指示操作に伴い撮像された被写体の画像に対応させて前記記録手段に記録させるものとした。かかる構成においては、常に撮影された画像と共に有効な音声を記録することができる。
【００１５】
また、請求項５記載の発明にあっては、前記制御手段は、前記音声入力手段に入力した音声を前記操作手段による撮影指示操作に伴い撮像された被写体の画像に重畳して前記記録手段に記録させるものとした。
【００１６】
また、請求項６記載の発明にあっては、前記撮像手段による被写体の撮像時における露光量を検出する露出検出手段を備え、前記制御手段は、前記露出検出手段により検出された露光量が所定量に達していないとき、前記操作手段の撮影指示操作に伴う前記画像データの記録を中止するものとした。かかる構成においては、撮影時には、無駄な画像データが記録されることがない。
【００１７】
また、請求項７記載の発明にあっては、前記制御手段は、前記露出検出手段により検出された露光量が所定量に達していないとき、前記音声入力手段に入力した音声を予め用意された画像に重畳して前記記録手段に記録させるものとした。かかる構成においては、常に撮影時の音声と共に有効な画像を記録することができる。
【００１８】
【発明の実施の形態】
（第１の実施の形態）
以下、本発明の一実施の形態を図にしたがって説明する。図１は、本発明の画像記録装置であるデジタルカメラ１の電気的構成を示すブロック図である。
【００１９】
デジタルカメラ１は、主としてＣＣＤ２、ＣＣＤ制御部３、ＹＵＶプロセッサ４、メモリーコントローラ５、画像メモリ６、ビデオエンコーダ７、ビデオ出力部８、制御部９、記録媒体１０、キー処理部１１から構成されている。
【００２０】
ＣＣＤ２は、ＣＣＤ制御部３で作られるタイミング信号に基づき駆動され、図示しないカメラ本体に設けられたレンズにより結像された被写体像を撮像し、カラー画像信号（アナログ）としてＣＣＤ制御部３へ出力する。ＣＣＤ制御部３は、入力したカラー画像信号をタイミング信号に基づき順次Ａ／Ｄ変換し、ＹＵＶプロセッサ４に送る。ＹＵＶプロセッサ４は、カラー画像の各画素から輝度成分データ（Ｙ）と、２つの色成分データ（Ｃｂ，Ｃｒ）を作成する。メモリーコントローラ５は、ＹＵＶプロセッサ４が作成した３種類の画像データを画像メモリ６に順に蓄えるとともに、撮影待機状態にあるときには、画像メモリ６から第１フィールド、第２フィールドに応じて、１ラインおきのＹデータ、Ｃｂデータ、Ｃｒデータを読み込み、それを順次ビデオエンコーダ７に送る。
【００２１】
ビデオエンコーダ７は、メモリーコントローラ５から送られたデータをＲＧＢ信号に変換し、ビデオ出力部８に送る。ビデオ出力部８は液晶モジュールを有しており、液晶モジュールには、ビデオエンコーダ７から送られたＲＧＢ信号に基づく画像、すなわち撮影待機時にはスルー画像が、また記録画像の再生時には、記録媒体１０に記憶されている記録画像が表示される。
【００２２】
制御部９は、ＣＰＵ、ＲＯＭ、ＲＡＭ等から構成されている。ＲＯＭは、ＣＰＵにより実行される各種の制御プログラム、及び制御時に使用されるデータ等を格納しており、ＲＡＭは、ＣＰＵにより実行される各種処理において使用されるワーク領域を有している。ＣＰＵは、前記制御プログラム、及びカメラ本体に配設されたシャッタキー、電源キー、モード切替キー等の複数の操作キーを含むキー処理部１１から送られるキー入力信号に基づきメモリーコントローラ５の動作を制御する。また、制御部９は、前記シャッタキーが操作された撮影時には、前記メモリーコントローラ５によって読み込んだ画像データを静止画用（例えばＪＰＥＧ形式）のデータや、動画用（例えばＭＰＥＧ形式）のデータに変換し、変換したデータを記録媒体１０に記憶する。記録媒体１０は、例えばフラッシュメモリ等である。
【００２３】
次に、かかるデジタルカメラ１の本発明に係る動作を説明する。図２は、撮影待機状態にあるとき、制御部９のＣＰＵが一定間隔で実行するキー処理を示すフローチャート、図４は、かかる処理に対応するデジタルカメラ１の動作を説明するためのタイミングチャートである。
【００２４】
以下、図２に従って説明する。ＣＰＵはキー処理動作を開始すると、まずキー処理部１１から送られるキー入力信号に基づき、シャッタキーが押されているか否かを判別する（ステップＳＡ１）。シャッタキーが押されていないときには、前回ＯＮフラグが立っているか否かを更に判別し（ステップＳＡ８）、かかる判別の結果もＮＯであったときには、そのまま処理を終了する。一方、撮影者によってシャッタキーが押され、ステップＳＡ１の判別結果がＹＥＳであったときには、さらに前回ＯＮフラグが立っているか否か、すなわちシャッタキーが押された直後であるか否かを更に判別する（ステップＳＡ２）。ここで、シャッタキーが押された直後であれば、ステップＳＡ３〜ステップＳＡ６の「ＮＥＷ ＯＮ処理」を行う。すなわち、まず前回ＯＮフラグをセットし（ステップＳＡ３）、動画判別用のタイマー値をクリアする（ステップＳＡ４）。次に、タイマ割込処理を許可し（ステップＳＡ５）、最初の１枚分の画像データを静止画用のデータとして使用するサイズで画像メモリ６に取り込む（ステップＳＡ６）。
【００２５】
前記タイマ割込処理は、図３及び図４に示すように、０．２秒おきにＣＣＤ２で撮像した撮影画像の１枚分の画像データを画像メモリ６に取り込む処理（ステップＳＢ１）であって、取り込んだ画像データは、静止画用のデータとして使用するサイズよりも小さな動画用のデータとして、前回の画像を上書きすることなく、画像メモリ６の個別のエリアに格納する。
【００２６】
この後、シャッタキーが押されていると判別されたとき（ステップＳＡ２でＹＥＳ）、及びシャッタキーが押されていないと判別されたときであっても、前回ＯＮフラグが立っており（ステップＳＡ８でＹＥＳ）、かつ前述した動画判別用のタイマーによりカウントされている時間が所定のチャタリング時間を経過していなければ（ステップＳＡ９でＮＯ）、「ＯＮ中処理」として動画判別用タイマーの値をインクリメントする処理を行う（ステップＳＡ７）。つまり、シャッタキーが押され続けている間には、かかる「ＯＮ中処理」が継続されとともに、その間には、図３に示したタイマ割込処理が０．２秒おきに行われることによって、動画用の撮影画像データが画像メモリ６に順次蓄積される。
【００２７】
しかる後、撮影者がシャッタキーを押すことをやめると（ステップＳＡ１がＮＯ、ステップＳＡ８，ＳＡ９が共にＹＥＳ）、以下の「ＮＥＷ ＯＦＦ処理」を行う。すなわち、前回ＯＮフラグをクリアし（ステップＳＡ１０）、図３に示したタイマ割込処理を禁止した後（ステップＳＡ１１）、ＯＮ中処理でカウントしていたタイマー値が所定の動画判別時間（本実施の形態では、１．１秒）を超えているか否かを判別する（ステップＳＡ１２）。ここで、図４（ａ）に示したように、撮影者がシャッタキーを押していた時間が例えば０．９秒であって、動画判別時間を超えていなければ静止画モード処理に移行し（ステップＳＡ１２でＮＯ）、図４（ｂ）に示したように、撮影者がシャッタキーを押していた時間（操作継続時間）が例えば４．７秒であって、動画判別用タイマー値が動画判別時間を超えていれば動画モード処理に移行する（ステップＳＡ１２でＹＥＳ）。
【００２８】
動画モード処理では、ステップＳＡ６で画像メモリ６に最初に取り込んだ画像データのサイズを静止画サイズから動画サイズに変換し（ステップＳＡ１３）、サイズ変換した最初の画像データと、前記タイマ割込処理で初めから動画サイズで格納されている残りの（２枚目以降の）画像データを動画形式で記録媒体１０に記録する（ステップＳＡ１４）。また、静止画モード処理では、画像メモリ６に最初に取り込んだ静止画サイズの画像データをそのまま静止画形式で記録媒体１０に記録し（ステップＳＡ１５）、処理を終了する。
【００２９】
したがって、撮影者は、記録画像の種類（静止画と動画）を設定する作業を予め行っていなくとも、シャッタキーを押す時間を調整するだけで、所望する種類の画像を記録することができる。このため、シャッタチャンスが訪れたときには、直ちに撮影を開始するとともに、その時々の判断で被写体を静止画として又は動画として記録することが可能である。また、本実施の形態においては、シャッターキーが押された直後に、ステップＳＡ６で、静止画用のサイズで画像メモリ６に取り込んだ最初の１枚分の画像データを、動画モード処理に移行したとき動画用の最初の１枚分のデータとして使用するようにしたことから、動画用の画像データのメモリ領域を、１フレーム分に相当する領域だけ節約することができる。
【００３０】
（第２の実施の形態）
次に、本発明の第２の実施の形態について説明する。本実施の形態は、図１に示したデジタルカメラ１において、例えば前記制御部９のＣＰＵが比較的高い処理性能を有している場合に関するものである。図５は、制御部９のＣＰＵが一定間隔で実行する他のキー処理を示すフローチャートである。以下、同図に従い本実施の形態におけるデジタルカメラ１の動作を説明する。
【００３１】
本実施の形態においてもＣＰＵはキー処理動作を開始すると、まずキー処理部１１から送られるキー入力信号に基づき、シャッタキーが押されているか否かを判別する（ステップＳＣ１）。シャッタキーが押されておらず、かつ前回ＯＮフラグが立っていないときには（ステップＳＣ１、ステップＳＣ１１が共にＮＯ）、そのまま処理を終了する。一方、撮影者によってシャッタキーが押された直後には（ステップＳＣ１がＹＥＳ、ステップＳＣ２がＮＯ）、ステップＳＣ３〜ステップＳＣ６の「ＮＥＷ ＯＮ処理」を行う。すなわち、まず前回ＯＮフラグをセットし（ステップＳＣ３）、動画判別用のタイマー値をクリアする（ステップＳＣ４）。次に、後述する０．２秒おきのタイマ割込処理を許可し（ステップＳＣ５）、最初の１枚分の画像データを静止画用のデータとして使用するサイズで画像メモリ６に取り込む（ステップＳＣ６）。
【００３２】
この後、シャッタキーが押されていると判別されている間（ステップＳＣ２でＹＥＳ）、及びシャッタキーが押されていないと判別されたときであっても、前回ＯＮフラグが立っており（ステップＳＣ１１でＹＥＳ）、かつ動画判別用のタイマーによりカウントされている時間が所定のチャタリング時間を経過していないければ（ステップＳＣ１２でＮＯ）、以下の「ＯＮ中処理」を行う。「ＯＮ中処理」では、まず前記タイマー値をインクリメントした後（ステップＳＣ７）、それが所定の動画判別時間（本実施の形態においても１．１秒）を超えているか否かを判別する（ステップＳＣ８）。かかる判別の結果がＮＯである間には、前述したステップＳＣ５で許可されたタイマ割込処理を行う。本実施の形態においても割込処理の間隔は０．２秒おきであり、図６に示すように、割込時に前記タイマー値が前記動画判別時間を超えていないときには（ステップＳＤ１でＮＯ）、ＣＣＤ２で撮像した撮影画像の１枚分の画像データを、静止画用のデータとして使用するサイズよりも小さな動画用のデータとして、前回の画像を上書きすることなく、画像メモリ６の個別のエリアに格納する（ステップＳＤ２）。したがって、シャッタキーが押され続けられている間には、その継続時間が動画判別時間を超えるまで、０．２秒おきに動画用の撮影画像データが画像メモリ６に順次蓄積される。なお、この時点までの動作は、第１の実施の形態の場合と実質的に同一である。
【００３３】
また、「ＯＮ中処理」の実行に際して、シャッタキーが押されている時間が動画判別時間を超え、ステップＳＣ８の判別結果がＹＥＳになると、まず、ステップＳＣ６で画像メモリ６に最初に取り込んだ画像データのサイズを静止画サイズから動画サイズに変換し（ステップＳＣ９）、次に、前記タイマ割込処理で初めから動画サイズで格納されている残りの（２枚目以降の）画像データを圧縮動画形式、例えばＭＰＥＧ形式で画像メモリ６に記録する（ステップＳＣ１０）。なお、図示したフローチャートには明記しないが、かかるステップＳＣ９及びステップＳＣ１０の処理については、前述した「ＮＥＷ ＯＮ処理」を新たに行った後に１回だけ行うものとする。そして、これ以降もシャッタキーが押され続けた場合には、０．２秒おきに行われる図６のタイマ割込処理にけるステップＳＤ１の判別結果がＹＥＳとなり、予め画像メモリ６に圧縮動画形式で記録されている圧縮データに、ＣＣＤ２で撮像した撮影画像の１枚分の新たな画像データを逐次追加する、つまり圧縮データを更新するリアルタイムでの動画記録を行う（ステップＳＣ１０）。
【００３４】
しかる後、撮影者がシャッタキーを押すことをやめると（ステップＳＣ１がＮＯ、ステップＳＣ１１，ＳＡ１２が共にＹＥＳ）、以下の「ＮＥＷ ＯＦＦ処理」を行う。すなわち、前回ＯＮフラグをクリアし（ステップＳＣ１３）、図６のタイマ割込処理を禁止した後（ステップＳＣ１４）、「ＯＮ中処理」でカウントしていたタイマー値が動画判別時間（１．１秒）を超えているか否かを判別する（ステップＳＣ１５）。ここで、タイマー値、つまり撮影者がシャッタキーを押していた時間（操作継続時間）が動画判別時間を超えていれば動画モード処理に移行し（ステップＳＣ１５でＹＥＳ）、撮影者がシャッタキーを押していた時間が動画判別時間を超えていなければ静止画モード処理に移行する（ステップＳＣ１５でＮＯ）。
【００３５】
動画モード処理では、所定の動画ヘッダデータを生成するとともに、図６のタイマ割込処理で逐次圧縮記録されていた圧縮データを読み出し、それに生成した動画ヘッダデータを付加して記録媒体１０に記録する（ステップＳＣ１６）。また、静止画モード処理では、第１の実施の形態と同様、画像メモリ６に最初に取り込んだ静止画サイズの画像データをそのまま静止画形式で記録媒体１０に記録し（ステップＳＣ１７）、処理を終了する。
【００３６】
したがって、本実施の形態においても、第１の実施の形態と同様、撮影者は、記録画像の種類（静止画と動画）を設定する作業を予め行っていなくとも、シャッタキーを押す時間を調整するだけで、所望する種類の画像を記録することができる。しかも、本実施の形態においては、シャッタキーが押されていた時間が動画判別時間を超えた後には、シャッタキーが離されるまでの間に取得した動画を構成する全ての画像データを逐次圧縮して動画データとして画像メモリ６の同一のメモリ領域に記憶させるため、第１の実施の形態のように、動画を構成する全ての画像データを画像メモリ６上に個別に残しておく場合よりも、画像メモリ６に確保すべきメモリ領域が少なくなる。よって、第１の実施の形態に比べると、画像メモリ６の容量を増やすことなく、より長時間に亙る動画を記録することが可能である。
【００３７】
なお、本実施の形態では、リアルタイムでの圧縮動画データの生成を制御部９のＣＰＵが行う場合について説明したが、これに限らず、圧縮動画データを生成するための専用の回路やプロセッサを設けた構成としてもよい。また、第１及び第２の実施の形態においては、動画用の画像データの取り込むタイマ割込処理の間隔を０．２秒とし、かつ動画判別時間を１．１秒としたが、これらの時間には任意の時間が設定できる。
【００３８】
（第３の実施の形態）
次に、本発明の第３の実施の形態について説明する。本実施の形態は、静止画又は動画の撮影と同時に音声を記録する音声付き撮影モードを備えたデジタルカメラに関するものである。
【００３９】
図７は、本実施の形態に係るデジタルカメラ２１の電気的構成を示すブロック図である。このデジタルカメラ２１は、静止画及び動画に加えて音声の記録が可能なものであって、音声入力部２２、Ａ／Ｄ変換部２３、音声レベル検出部２４、Ｄ／Ａ変換部２５、音声出力部２６を有している。音声入力部２２は、図示しないカメラ本体に配置されたマイク等を有しており、カメラ本体周囲の音を収集するとともに、それを音声信号として出力する。Ａ／Ｄ変換部２３は、音声入力部２２の出力信号をデジタル信号に変換し、音声データとして音声レベル検出部２４へ出力する。なお、本実施の形態における音声データのサンプリング周波数は２０ｋＨｚである。音声レベル検出部２４は、デジタル信号に変換された音声のレベルを検出するとともに、その検出結果を音声レベル情報として制御部９に送る回路によって構成されている。
【００４０】
音声レベル検出部２４に入力した音声データは、メモリコントローラ５によって画像メモリ６に一時記憶され、その後、制御部９によって、ＣＣＤ２から取り込まれた画像データと多重化されて記憶媒体１０に記録される。制御部９は、必要に応じて記憶媒体１０から画像データを読み出すとともに、画像データに多重化された音声データを分離する。Ｄ／Ａ変換部２５は、制御部９によって分離された音声データを音声信号（アナログ信号）に変換し、音声出力部２６へ出力する。音声出力部２６は、入力した音声信号を増幅するアンプ、及び増幅後の音声信号を音声に変換し放音するスピーカ等を有している。なお、これ以外については、図１のデジタルカメラ１と同一であるための、同一部分に同一の符号を付すことにより説明を省略する。
【００４１】
次に、かかるデジタルカメラ２１の本発明に係る動作を説明する。図８は、撮影待機状態にあるとき、制御部９のＣＰＵが一定間隔で実行するキー処理を示すフローチャートであり、図１０及び図１１は、そのキー処理に対応するデジタルカメラ２１の動作を説明するためのタイミングチャートである。なお、本実施の形態のキー処理においても、第１の実施の形態と同様、制御部９のＣＰＵは、シャッタキーが押されていた時間が所定の動画判別時間（本実施の形態では３．１秒）を超えていたと判断した場合には動画モード処理を行い、また動画判別時間を超えていないと判断した場合には静止画モード処理を行う。
【００４２】
以下、図８に従って説明すると、ＣＰＵはキー処理動作の開始に伴い、シャッタキーが押されているか否かを判別し（ステップＳＥ１）、ここでシャッタキーが押されておらず、かつ前回ＯＮフラグが立っていないときには（ステップＳＥ１、ステップＳＥ１２が共にＮＯ）、そのまま処理を終了する。一方、撮影者によってシャッタキーが押されており、かつ前回ＯＮフラグが立っていないとき（ステップＳＥ１でＹＥＳ、ステップＳＥ２でＮＯ）、つまりシャッタキーが押された直後には、ステップＳＥ３〜ステップＳＥ１０の「ＮＥＷ ＯＮ処理」を行う。かかる処理では、第１の実施の形態と同様に、まず前回ＯＮフラグをセットし、動画判別用のタイマー値をクリアした後、図３で既説した０．２秒おきのタイマ割込処理を許可するとともに、最初の１枚分の画像データを静止画用のデータとして使用するサイズで画像メモリ６に取り込む（ステップＳＥ３〜ステップＳＥ６）。
【００４３】
引き続き、ＣＰＵは、５０μ秒おきの音声割り込み処理（詳細については後述する）を許可して音声入力部２２による音声の取り込み（録音動作）を開始するとともに（ステップＳＥ７）、最初の音声データを画像メモリ６の予め割り当てられている所定の音声記憶エリアに取り込んだ後（ステップＳＥ８）、音声多重フラグをクリアし（ステップＳＥ９）、更にレベル継続フラグをクリアする（ステップＳＥ１０）。音声多重フラグとレベル継続フラグは、図１０及び図１１に示したような、音声入力部２２のマイクに入力する音声のレベル状態の変化を反映するものであって、レベル継続フラグは、前記音声のレベルが、図１０及び図１１に破線で示した所定レベル以上となった場合にセットされるフラグ、音声多重フラグは、前記音声のレベルが前記所定レベルを超え、かつその状態が一定の音声多重決定時間（本実施の形態では０．４秒）を超えて継続した場合にセットされるフラグである。
【００４４】
また、上記「ＮＥＷ ＯＮ処理」の後、シャッタキーが押されていると判別されている間（ステップＳＥ２でＹＥＳ）、及びシャッタキーが押されていないと判別されたときであっても、前回ＯＮフラグが立っており（ステップＳＥ１２でＹＥＳ）、かつ動画判別用タイマーによりカウントされている時間が所定のチャタリング時間を経過していなければ（ステップＳＦ１３でＮＯ）、「ＯＮ中処理」として動画判別用タイマーの値をインクリメントする処理を行う（ステップＳＥ１１）。つまり、シャッタキーが押され続けている間には、かかる「ＯＮ中処理」が継続されとともに、その間には、前述したステップＳＥ５で許可したタイマ割込処理によって０．２秒おきに画像データの取り込みを行い、かつステップＳＥ７で許可した音声割り込み処理によって５０μ秒おきに音声データの取り込みを行う。
【００４５】
図９は、前記音声割り込み処理における動作を示すフローチャートであって、音声割り込み処理に際しては、まず音声入力部２２に入力しＡ／Ｄ変換部２３で変換された音声データを画像メモリ６上の所定の音声記憶エリアに一時記憶した後（ステップＳＦ１）、前述した音声多重フラグが立っているか否かを判別する（ステップＳＦ２）。前述した「ＮＥＷ ＯＮ処理」の直後においては、かかる判別の結果はＮＯであり、引き続き、音声レベル検出部２４によって検出された音声レベル（ステップＳＦ１で取り込んだ音声のレベル）が所定レベル以上であるか否かを判別する（ステップＳＦ３）。ここで所定レベル以上でなければ（ステップＳＦ３でＮＯ）、レベル継続フラグをクリアし、またはクリア状態のまま（ステップＳＦ１０）処理を終了する。
【００４６】
また、割り込み時に音声のレベルが所定レベル以上であり（ステップＳＦ３でＹＥＳ）、かつレベル継続フラグが立っていなければ（ステップＳＦ４でＮＯ）、レベル継続フラグをセットした後（ステップＳＦ５）、音声レベル判定タイマーの値をクリアする（ステップＳＦ６）。その後、レベル継続フラグが立っている間においては（ステップＳＦ４でＹＥＳ）、割り込み時に音声レベル判定タイマーの値をインクリメントするとともに（ステップＳＦ７）、そのタイマー値が０．４秒を超えたか否かを判別し（ステップＳＦ８）、それを超えた場合には、音声多重フラグをセットする（ステップＳＦ９）。そして、音声多重フラグを一度セットした後の割り込み時においては、ステップＳＦ２の判別結果がＹＥＳとなり、取り込んだ音声データを逐次画像メモリ６上の音声記憶エリアに一時記憶する処理（ステップＳＦ１）だけを繰り返し行う。
【００４７】
再び図８に戻り、「ＯＮ中処理」が継続されている間に、撮影者がシャッタキーを押すことをやめると（ステップＳＥ１がＮＯ、ステップＳＥ１２，ＳＥ１３が共にＹＥＳ）、以下の「ＮＥＷ ＯＦＦ処理」を行う。すなわち、前回ＯＮフラグをクリアし（ステップＳＥ１４）、図３のタイマ割込処理を禁止し（ステップＳＥ１５）、図９の音声割り込み処理を禁止した後（ステップＳＥ１６）、「ＯＮ中処理」でカウントしていたタイマー値が動画判別時間（３．１秒）を超えているか否かを判別する（ステップＳＥ１７）。ここで、タイマー値、つまり撮影者がシャッタキーを押していた時間（操作継続時間）が動画判別時間を超えていなければ、図１０に示したように静止画モード処理に移行し（ステップＳＥ１７でＮＯ）、撮影者がシャッタキーを押していた時間が動画判別時間を超えていれば、図１１に示したように動画モード処理に移行する（ステップＳＥ１７でＹＥＳ）。
【００４８】
動画モード処理では、ステップＳＥ６で画像メモリ６に最初に取り込んだ画像データのサイズを静止画サイズから動画サイズに変換し（ステップＳＥ１８）、サイズ変換した最初の画像データと、前記タイマ割込処理で初めから動画サイズで格納されている残りの（２枚目以降の）画像データを動画形式で画像メモリ６の所定領域にいったん記録する（ステップＳＥ１９）。また、静止画モード処理では、画像メモリ６に最初に取り込んだ静止画サイズの画像データをそのまま静止画形式で画像メモリ６の所定領域にいったん記録する（ステップＳＥ２０）。
【００４９】
さらに、いずれかの形式で画像データを記録した後には、引き続き音声多重フラグが立っているか否かを判別する（ステップＳＥ２１）。ここで、音声多重フラグが立っている場合、すなわちシャッタキーが押されている間に所定値レベル以上の音声が０．４秒を超え継続して入力していた場合には（ステップＳＥ２１でＹＥＳ）、画像メモリ６の音声記憶エリアに記憶されている音声データを読み出すとともに、それを静止画形式または動画形式でいったん記録した画像データに多重化して、最終的な音声付き画像形式で記録手段１０に記録する（ステップＳＥ２２）。逆に、上記条件を満たさない場合には、画像メモリ６の所定領域にいったん記録したデータをそのまま記録手段１０に記録し、処理を終了する。
【００５０】
したがって、本実施の形態においても、撮影者はシャッタキーを押す時間を調整するだけで、静止画モードによる撮影と動画モードによる撮影を行うことができる。さらに、撮影者は音声付き、音声なしの２種類の画像記録形式を撮影前に選択しなくとも、音声付きの撮影に適した状況では、音声付きの静止画または動画を撮影することができ、逆に音声なしの撮影に適した状況では、音声なしの静止画または動画を撮影することができる。これによってもシャッターチャンスを逃す頻度を減らすことができる。しかも、音声の入力レベルが前述した条件を満たさないとき、例えば撮影時の音が小さすぎ、再生時に録音内容が聞き取れないようなときには、自動的に音声なし画像形式で記録されるため、無駄な音声データを省略することができ、画像データの記録サイズを抑えることができる。その結果、記録手段１０におけるデータの記録容量を有効に使用することができる。
【００５１】
なお、本実施の形態においては、画像メモリ６の一部に音声記憶エリアを設け、そこにシャッタキーが押されている間の音声データを記憶するようにしたが、画像メモリ６とは別に音声用メモリを設け、それに音声データを一時記憶するようにしてもよい。また、音声データが画像データに多重化されず、画像メモリ６の一部や別に設けられた音声用メモリに画像データに対応させて記録される構成であっても構わない。また、本実施の形態では、動画取り込み間隔を０．２秒、音声取り込み間隔を５０μ秒、動画判別時間を３．１秒、音声多重決定時間を０．４秒としたが、これらの時間には任意の時間が設定できる。
【００５２】
また、以下のようにすることもできる。例えば、音声データを記憶する音声ＲＯＭを別途設け、そこに事前に用意した楽音データ等のデフォルト音声データ（１又は複数）を記憶させておいたり、上記デフォルト音声データを記録手段１０等に記憶しておいたりするとともに、前述したキー処理のステップＳＥ２１の判別結果がＮＯであって、音声多重フラグが立っていなかった場合には、前記音声ＲＯＭ等に記憶されているデフォルト音声データを画像データに多重化して、最終的に音声付き画像形式で記録手段１０に記録する構成とすることができる。その場合には、常に有効な音声付きの静止画または動画を記録することができる。さらには、上記デフォルト音声データの使用の有無を撮影者が事前に設定できるようにしておけば、使い勝手が向上する。また、記録手段１０の一部にデフォルト音声データを記憶する領域を設ける場合等においては、使用者が、前記音声入力部２２のマイクを用いた所定の録音操作により記録した音声や、または外部から入力した音声のデータを、所定の設定操作によりデフォルト音声データとして記録（更新）させることができる構成とすれば、より一層使い勝手が向上する。
【００５３】
（第４の実施の形態）
次に、本発明の第４の実施の形態について説明する。本実施の形態も第３の実施の形態と同様、静止画又は動画の撮影と同時に音声を記録する音声付き撮影モードを備えたデジタルカメラに関するものである。
【００５４】
図１２は、本実施の形態に係るデジタルカメラ３１の電気的構成を示すブロック図である。以下、第３の実施の形態のデジタルカメラ２１（図７）と異なる部分について説明すると、デジタルカメラ３１においては前述した音声レベル検出部２４が廃止される一方、露光量判定手部３２が設けられている。露光量判定手部３２は、メモリーコントローラ５から送られた画像データに基づき撮影時に適切な露光量で撮影が行われたかどうかを判定するとともに、その判定結果を露光情報として制御部９に送る回路によって構成されている。なお、これ以外については、図７のデジタルカメラ２１と同一であるための、同一部分に同一の符号を付すことにより説明を省略する。また、制御部９のＣＰＵが比較的高い処理性能を有している場合には、前記露光量判定手部３２をなくして、制御部９側で独自に前記露光情報を取得する構成とすることができる。
【００５５】
次に、かかるデジタルカメラ３１の本発明に係る動作を説明する。図１３は、撮影待機状態にあるとき、制御部９のＣＰＵが一定間隔で実行するキー処理を示すフローチャートである。なお、本実施の形態のキー処理においても、第３の実施の形態と同様、制御部９のＣＰＵは、シャッタキーが押されていた時間が所定の動画判別時間（３．１秒）を超えていたと判断した場合には動画モード処理を行い、また前記動画判別時間を超えていないと判断した場合には静止画モード処理を行う。
【００５６】
すなわち制御部９のＣＰＵは、前述した実施の形態と同様、撮影者によってシャッタキーが押された直後には（ステップＳＧ１でＹＥＳ、ステップＳＧ２でＮＯ）、「ＮＥＷ ＯＮ処理」を行う。かかる処理では、まず前回ＯＮフラグをセットし（ステップＳＧ３）、動画判別用のタイマー値をクリアした後（ステップＳＧ４）、露光量判定手部３２からの露光情報に基づき露光量が適切か否かを判別する（ステップＳＧ５）。ここで、露光量が適切であれば、そのまま図３で既説した０．２秒おきのタイマ割込処理を許可するとともに（ステップＳＧ６）、最初の１枚分の画像データを静止画用のデータとして使用するサイズで画像メモリ６に取り込んだ後（ステップＳＧ７）、ステップＳＧ８へ進む。逆に、例えば露出が大幅に不足しており露光量が適切でないと判定された場合には（ステップＳＧ５でＮＯ）、直ちにステップＳＧ８へ進む。
【００５７】
しかる後、５０μ秒おきの音声割り込み処理を許可して音声入力部２２による音声の取り込み（録音動作）を開始する（ステップＳＧ８）。なお、本実施の形態における音声割り込み処理は、第３の実施の形態と異なり、音声入力部２２に入力しＡ／Ｄ変換部２３で変換された音声データを画像メモリ６上の所定の音声記憶エリアに逐次一時記憶する処理（図９のステップＳＦ１の処理）のみである。引き続き、最初の音声データを画像メモリ６の予め割り当てられている所定の音声記憶エリアに取り込んだ後（ステップＳＧ９）、「ＮＥＷ ＯＮ処理」を終了する。
【００５８】
また、上記「ＮＥＷ ＯＮ処理」の後には、第３の実施の形態と同様の手順で、動画判別用タイマーの値をインクリメントする「ＯＮ中処理」を行い（ステップＳＧ１０）、シャッタキーが押され続けている間には、かかる「ＯＮ中処理」を継続する。その間には、前述したステップＳＧ５の判別結果がＹＥＳであった状況下では、０．２秒おきに画像データの取り込みを行い、かつ５０μ秒おきに音声データの取り込みを行う。逆にステップＳＧ５の判別結果がＮＯであった状況下では、５０μ秒おきの音声データの取り込みだけを行う。
【００５９】
その後、「ＯＮ中処理」が継続されている間に、撮影者がシャッタキーを押すことをやめると（ステップＳＧ１がＮＯ、ステップＳＧ１１，ＳＥ１２が共にＹＥＳ）、ステップＳＧ１３〜ＳＧ２２の「ＮＥＷ ＯＦＦ処理」を行う。まず、前回ＯＮフラグをクリアした後（ステップＳＧ１３）、ＣＣＤ２からの画像取り込みを行っていた場合、つまり０．２秒おきのタイマ割込処理を許可している場合には（ステップＳＧ１４でＹＥＳ）、まずタイマ割込処理を禁止（画像取り込みを終了）し（ステップＳＧ１５）、「ＯＮ中処理」でカウントしていたタイマー値が動画判別時間（３．１秒）を超えているか否かを判別する（ステップＳＧ１６）。そして、かかる判別の結果に応じて、第３の実施の形態と同様に静止画モードと動画モードとにそれぞれ移行し、静止画または動画のいずれかの形式で画像データを画像メモリ６の所定領域にいったん記録し（ステップＳＧ１７〜ＳＧ１９）、ステップＳＧ２１へ進む。
【００６０】
一方、ステップＳＧ１４の判別結果がＮＯであって、０．２秒おきのタイマ割込処理を許可していなかった場合には、ステップＳＧ１５〜ＳＧ１９の処理を行わずにそのまま、ステップＳＧ２１へ進み、５０μ秒おきの音声割り込み処理を禁止（音声データの取り込みを終了）する。しかる後、画像メモリ６の音声記憶エリアに記憶されている音声データを読み出すとともに、それを記録手段１０に記録し（ステップＳＧ２２）、処理を終了する。このとき、前記音声データは、画像メモリ６に静止画または動画のいずれかの形式の画像データが記録されていれば、その画像データに多重化した状態で記録し、また、上記画像データが記録されていなければ、それを単独で記録する。
【００６１】
したがって、本実施の形態においても、撮影者はシャッタキーを押す時間を調整するだけで、静止画モードによる撮影と動画モードによる撮影を行うことができる。さらに、音声付きの撮影モードが選択された状態では、適切な露光量で画像が取り込まれなかったとき、例えば大きく露光量が不足しており、再生時に画像が判読できないようなときには、自動的に音声だけが記録されるため、無駄な画像データの記録を省略することができ、データの記録サイズを抑えることができる。その結果、記録手段１０におけるデータの記録容量を有効に使用することができる。
【００６２】
なお、本実施の形態においても、第３の実施の形態と同様、画像メモリ６の一部に音声記憶エリアを設け、そこにシャッタキーが押されている間の音声データを記憶するようにしたが、画像メモリ６とは別に音声用メモリを設け、それに音声データを一時記憶するようにしてもよい。また、音声データが画像データに多重化されず、画像メモリ６の一部や別に設けられた音声用メモリに画像データに対応させて記録される構成であっても構わない。また、動画取り込み間隔等の各設定時間についても同様である。
【００６３】
また、以下のようにすることもできる。例えば、画像データを記憶する画像ＲＯＭを別途設け、そこに事前に用意した自然画やそれ以外の任意のパターン画像等のデフォルト画像データ（静止画データ、動画データのいずれでもよく、また複数であっても構わない。）を記憶させておいたり、上記デフォルト画像データを記録手段１０等に記憶しておいたりするとともに、前述したキー処理のステップＳＧ１４の判別結果がＮＯであって、０．２秒おきのタイマ割込処理を許可していなかった場合には、前記画像ＲＯＭ等に記憶されているデフォルト画像データを読み出し、それを撮像した画像データに代えて画像メモリ６に記憶し、そのデフォルト画像データに音声データを多重化し、又は対応させて記録手段１０に記録する構成とすることができる。その場合には、音声を常に有効な画像とともに記録することができる。さらには、上記デフォルト画像データの使用の有無を撮影者が事前に設定できるようにしておけば、使い勝手が向上する。また、記録手段１０の一部にデフォルト画像データを記憶する領域を設ける場合等においては、使用者が、撮影した画像や事前に撮影され記録されている画像の中から選択した任意の画像のデータを、所定の設定操作によりデフォルト画像データとして記録（更新）させることができる構成とすれば、より一層使い勝手が向上する。
【００６４】
【発明の効果】
以上説明したように本発明においては、撮影指示手段における操作継続時間が決められた時間を超えないときには被写体の画像データが静止画用のデータ形式で記録され、また決められた時間を超えたときには動画用のデータ形式で記録されるようにした。よって、撮影者はシャッタキーを押す時間を調整するだけで、静止画モードによる撮影と動画モードによる撮影を行うことができ、撮影者に煩雑な操作を行わせることなく撮影者が望む撮影モードでの撮影が可能となる。
【００６５】
また、操作手段の撮影指示操作が行われている間に、動画形式用の画像データの圧縮を開始させ、確保すべき画像データの記憶容量が少なくて済むようにした。よって、より長時間に亙る動画の記録が可能となる。
【００６６】
また、被写体の撮影時には、記録した画像の表示に際して再生した時に有効でない音声の記録が防止できることから、無用の音声データを記録することによる記録用のメモリが無駄な消費をなくし、記録用のメモリの有効利用が可能となる。また、撮影時の状況に応じて、常に撮影された画像と共に有効な音声を記録したり、常に撮影時の音声と共に有効な画像を記録したりすることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係るデジタルカメラの電気的構成を示すブロック図である。
【図２】撮影待機状態で制御部のＣＰＵが一定間隔で実行するキー処理を示すフローチャートである。
【図３】同撮影待機状態で制御部のＣＰＵが一定間隔で実行するタイマー割込処理を示すフローチャートである。
【図４】図２のキー処理に伴い、静止画モードに移行する場合（ａ）と、動画モードに移行する場合（ｂ）とにおけるデジタルカメラ動作を示すタイミングチャートである。
【図５】本発明の第２の実施の形態に係る、撮影待機状態で制御部のＣＰＵが一定間隔で実行するキー処理を示すフローチャートである。
【図６】同実施の形態において、制御部のＣＰＵが一定間隔で実行するタイマー割込処理を示すフローチャートである。
【図７】本発明の第３の実施の形態に係るデジタルカメラの電気的構成を示すブロック図である。
【図８】同実施の形態において、撮影待機状態で制御部のＣＰＵが一定間隔で実行するキー処理を示すフローチャートである。
【図９】制御部のＣＰＵが一定間隔で実行する音声割込処理を示すフローチャートである。
【図１０】図８のキー処理に伴い、静止画モードに移行する場合におけるデジタルカメラ動作を示すタイミングチャートである。
【図１１】図８のキー処理に伴い、動画モードに移行する場合におけるデジタルカメラ動作を示すタイミングチャートである。
【図１２】本発明の第４の実施の形態に係るデジタルカメラの電気的構成を示すブロック図である。
【図１３】同実施の形態において、撮影待機状態で制御部のＣＰＵが一定間隔で実行するキー処理を示すフローチャートである。
【符号の説明】
１ デジタルカメラ
２ ＣＣＤ
６ 画像メモリ
９ 制御部
１０ 記録媒体
１１ キー処理部
２１ デジタルカメラ
２２ 音声入力部
２４ 音声レベル検出部
３１ デジタルカメラ
３２ 露光量判定手部
Claims (7)
- 撮像手段により撮像した被写体の画像データを静止画用のデータ形式で記録する静止画モード、及び動画用のデータ形式で記録する動画モードを備えた画像記録装置において、
被写体の撮像を指示する撮影指示操作を行う操作手段と、
この操作手段による撮影指示操作の継続時間を計測する操作継続計時手段と、
この操作継続計時手段により計測された操作継続時間が決められた時間を超えることに伴い、前記撮像手段により撮像した被写体の画像データの記録形式を前記静止画用から前記動画用に切り換える切換手段と、
前記操作継続計時手段により計測された操作継続時間が決められた時間を超えることに伴い、前記撮像手段によって撮像された被写体の画像データを逐次圧縮し、前記動画用の画像データを生成するデータ生成手段と
を備えたことを特徴とする画像記録装置。 - 前記操作手段の撮影指示操作に伴い記録された画像データの表示に際して再生される音声を入力する音声入力手段と、
この音声入力手段に入力した音声を前記操作手段の撮影指示操作に伴い記録する記録手段と、前記音声入力手段における音声の入力レベルを検出する検出手段と、
この検出手段の検出結果が継続して所定のレベルを超えた状態にある時間を計測するレベル継続計時手段と、
前記操作手段による撮影指示操作が継続されている間に、前記レベル継続計時手段により計測された時間が所定時間以上であるときだけ、前記音声入力手段に入力した音声を前記操作手段による撮影指示操作に伴い撮像された被写体の画像に対応させて前記記録手段に記録させる制御手段と
を備えたことを特徴とする請求項１記載の画像記録装置。 - 撮像手段により撮像した被写体の画像を画像データとして記録する画像記録装置において、
被写体の撮像を指示する撮影指示操作を行う操作手段と、
この操作手段の撮影指示操作に伴い記録された画像データの表示に際して再生される音声を入力する音声入力手段と、この音声入力手段に入力した音声を記録する記録手段と、前記音声入力手段における音声の入力レベルを検出する検出手段と、
この検出手段の検出結果が継続して所定のレベルを超えた状態にある時間を計測するレベル継続計時手段と、
前記操作手段による撮影指示操作が継続されている間に、前記レベル継続計時手段により計測された時間が所定時間以上であるときだけ、前記音声入力手段に入力した音声を前記操作手段による撮影指示操作に伴い撮像された被写体の画像に対応させて前記記録手段に記録させる制御手段と
を備えたことを特徴とする画像記録装置。 - 前記制御手段は、前記操作手段による撮影指示操作が継続されている時間内に、前記レベル継続計時手段により計測された時間が所定の長さに達しなかったとき、予め用意されている音声を、前記操作手段による撮影指示操作に伴い撮像された被写体の画像に対応させて前記記録手段に記録させることを特徴とする請求項２又は３記載の画像記録装置。
- 前記制御手段は、前記音声入力手段に入力した音声を前記操作手段による撮影指示操作に伴い撮像された被写体の画像に重畳して前記記録手段に記録させることを特徴とする請求項２乃至４いずれか記載の画像記録装置。
- 前記撮像手段による被写体の撮像時における露光量を検出する露出検出手段を備え、前記制御手段は、前記露出検出手段により検出された露光量が所定量に達していないとき、前記操作手段の撮影指示操作に伴う前記画像データの記録を中止することを特徴とする請求項２乃至５いずれか記載の画像記録装置。
- 前記制御手段は、前記露出検出手段により検出された露光量が所定量に達していないとき、前記音声入力手段に入力した音声を予め用意された画像に重畳して前記記録手段に記録させることを特徴とする請求項６記載の画像記録装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000291560A JP3900812B2 (ja) | 2000-09-26 | 2000-09-26 | 画像記録装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000291560A JP3900812B2 (ja) | 2000-09-26 | 2000-09-26 | 画像記録装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002101331A JP2002101331A (ja) | 2002-04-05 |
| JP3900812B2 true JP3900812B2 (ja) | 2007-04-04 |
Family
ID=18774614
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000291560A Expired - Fee Related JP3900812B2 (ja) | 2000-09-26 | 2000-09-26 | 画像記録装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3900812B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006165770A (ja) * | 2004-12-03 | 2006-06-22 | Nikon Corp | デジタルカメラ |
| EP1667418B1 (en) | 2004-12-03 | 2013-01-16 | Nikon Corporation | Digital camera having video file creating function |
| JP2006268992A (ja) * | 2005-03-25 | 2006-10-05 | Funai Electric Co Ltd | 光ディスク記録再生装置 |
| JP4682382B2 (ja) * | 2005-11-17 | 2011-05-11 | 株式会社メガチップス | 撮像装置 |
| CN105009564A (zh) * | 2013-03-08 | 2015-10-28 | 汤姆逊许可公司 | 使用虚拟按钮和手势进行摄像机控制的方法和装置 |
| US9258480B2 (en) | 2014-03-31 | 2016-02-09 | Facebook, Inc. | Techniques to selectively capture visual media using a single interface element |
-
2000
- 2000-09-26 JP JP2000291560A patent/JP3900812B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002101331A (ja) | 2002-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8482624B2 (en) | Image pickup device with still picture pickup function during moving picture pickup operation | |
| JP5117280B2 (ja) | 撮像装置、撮像方法、再生装置および再生方法 | |
| EP1577876A1 (en) | Electronic apparatus with display unit, information-processing method, and computer product | |
| US20010008416A1 (en) | Image reproducing apparatus and digital camera | |
| JP2008199671A (ja) | 撮影装置及びプログラム | |
| JP2001358980A (ja) | デジタルカメラ | |
| JP2008153795A (ja) | 動画撮影装置、動画再生制御方法、及び動画再生制御プログラム | |
| JP3900812B2 (ja) | 画像記録装置 | |
| JP3881168B2 (ja) | ディジタル・カメラおよびその動作制御方法ならびに画像再生装置および方法 | |
| JP3955540B2 (ja) | 画像処理装置 | |
| JP4298191B2 (ja) | カメラおよびコンピュータが実行するためのプログラム | |
| JP4654947B2 (ja) | 動画処理装置及びそのプログラム | |
| JP2008131168A (ja) | 音声データ編集装置、音声データ編集方法、音声データ編集プログラム | |
| JP4348614B2 (ja) | 動画再生装置、撮像装置及びそのプログラム | |
| JP5188277B2 (ja) | 撮像装置及びその制御方法、並びにプログラム | |
| JP2004312218A (ja) | デジタルカメラおよび画像再生装置 | |
| JP4404290B2 (ja) | 動画撮影装置、及び動画撮影方法 | |
| JP4515005B2 (ja) | 電子カメラ | |
| JP5171369B2 (ja) | 集音環境判定装置及びそれを備えた電子機器並びに集音環境判定方法 | |
| JP2004088518A (ja) | 撮像記録装置、画像再生装置及び画像記録再生制御プログラム | |
| JPH077647A (ja) | 電子スチルカメラ | |
| JP2001186393A (ja) | カメラ | |
| JP2006314136A (ja) | 撮影装置及び撮影方法 | |
| JP2005218126A (ja) | 撮影装置及び撮影方法 | |
| JP2003234993A (ja) | デジタルカメラ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050329 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060911 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060919 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061108 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061212 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061225 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110112 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110112 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120112 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130112 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130112 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |