JP4487314B2 - 動画撮像装置及びそのプログラム - Google Patents

Description

本発明は、動画撮像装置及びそのプログラムに係り、詳しくは、動画撮影中に静止画撮影を行なうことができる動画撮像装置及びそのプログラムに関する。

近年においては、技術の進歩により動画撮影中に静止画撮影を行なうことができるデジタルカメラの技術が広く知られている。
これに伴い、動画撮影中における静止画撮影によって記録される動画品質の低下を防止する技術などが登場してきている（特許文献）。

公開特許公報 特開２００1−１１１９３４

しかしながら、従来のデジタルカメラなどにおいては、音声付動画撮影を行なっているときに静止画撮影を行なうと、シャッタ音が放音されるため、音声付動画撮影中にシャッタ音まで録音されてしまい、動画の再生中に被写体の音声とともにシャッタ音が鳴ってしまい煩わしいという問題点があった。
また、デジタルカメラなどの動画撮像装置においては、シャッタ音を放音するスピーカと、マイクの位置が近すぎてしまうため、スピーカから放音されたシャッタ音をマイクで集音して録音すると、音質が悪くなるという問題点があった。
また、撮影目的や状況によっては、シャッタ音の放音や録音を行った方が良い場合もあるが、撮影目的や状況によってシャッタ音の放音、録音を制御することはできなかった。

そこで本発明は、かかる従来の問題点に鑑みてなされたものであり、動画撮影中に静止画撮影を行った場合でも、撮影目的や状況によってシャッタ音の録音、放音を制御することができる動画撮像装置及びそのプログラムを提供することを目的とする。

上記目的達成のため、本発明による動画撮像装置は、被写体を撮像する撮像手段と、音を集音するマイクロホンと、前記撮像手段による動画の撮影を制御して得られた動画データを記録手段に記録するとともに、前記マイクロホンにより集音された音を音データとして記録する音声付動画撮影記録制御手段と、ユーザが静止画の撮影を指示するための指示手段と、前記指示手段により静止画の撮影が指示された場合は、撮影を報知する報知音の音データを記憶手段から読み出して報知手段から放音させる放音制御手段と、前記音声付動画撮影記録制御手段により撮影された動画データと、前記マイクロホンにより集音された音データとを記録している最中に、前記指示手段により静止画の撮影が指示された場合には、前記音声付動画撮影記録制御手段により制御されている前記撮像手段による動画の撮影を一時中断して、前記撮像手段による静止画の撮影を制御して得られた静止画データを前記記録手段に記録する静止画撮影記録制御手段と、前記放音制御手段により放音される報知音を記録するか否かを判定する第１の判定手段と、前記第１の判定手段により報知音を記録しないと判定され、且つ、前記音声付動画撮影記録制御手段により撮影された動画データと、前記マイクにより集音された音の音データとを記録している最中に、前記指示手段により静止画の撮影が指示された場合には、前記音声付動画撮影記録制御手段により記録される音に報知音が含まれないように制御する第１の制御手段と、を備え、前記第１の判定手段は、前記静止画撮影記録制御手段により制御される静止画の撮影及び得られた静止画データの記録により、欠落する動画フレームが所定枚数以下しかないと判定した場合には、報知音の音データを記録しないと判定することを特徴とする。

また、前記第１の判定手段は、前記音声付動画撮影記録処理により撮影される動画のフレームレートが所定フレームレート以上でない場合は、欠落する動画フレームが所定枚数以下しかないと判定するようにしてもよい。

また、前記第１の判定手段は、前記静止画撮影記録制御手段により撮影される静止画の解像度が所定の解像度以上でない場合には、欠落する動画フレームが所定枚数以下しかないと判定するようにしてもよい。

また、ユーザが報知音を記録するか否かを設定するための第１の設定手段を備え、前記第１の判定手段は、前記第１の設定手段により設定された結果に基づいて判定するようにしてもよい。

また、前記第１の制御手段は、前記放音制御手段による報知音の放音を禁止することにより、前記音声付動画撮影記録制御手段により記録される音に報知音が含まれないように制御するようにしてもよい。

また、前記第１の制御手段は、前記マイクロホンにより集音された音のうち前記放音制御手段により放音された報知音を除去することにより、前記音声付動画撮影記録制御手段により記録される音に報知音が含まれないように制御するようにしてもよい。

また、前記第１の判定手段により報知音を記録すると判定され、且つ、前記音声付動画撮影記録制御手段により撮影された動画データと、前記マイクにより集音された音データとを記録している最中に、前記指示手段により静止画の撮影が指示された場合には、前記マイクロホンにより集音された音のうち前記放音制御手段により放音された報知音を除去し、該報知音が除去された音の音データに前記記憶手段に記憶されている報知音の音データを合成して前記記録手段に記録する第２の制御手段を備えるようにしてもよい。

また、前記放音制御手段により放音された報知音を記録するか、前記記憶手段に記憶されている報知音の音データを合成して記録するか否かを判定する第２の判定手段を備え、前記第２の制御手段は、前記第２の判定手段により報知音の音データを合成して記録すると判定された場合は、前記マイクロホンにより集音された音のうち前記放音制御手段により放音された報知音を除去し、該報知音が除去された音の音データに前記記憶手段に記憶されている報知音の音データを合成して前記記録手段に記録するようにしてもよい。

また、ユーザが報知音を記録するか、報知音の音データを合成して記録するかを設定するための第２の設定手段を備え、前記第２の判定手段は、前記第２の設定手段により設定された結果に基づいて判定するようにしてもよい。

また、報知音の放音が必要か否かを判定する第２の判定手段と、前記第２の判定手段による判定にしたがって、前記放音制御手段による報知音の放音、非放音を制御する報知制御手段と、を備えるようにしてもよい。

また、前記第２の判定手段は、撮影場所が屋外であるという条件、録音レベルが所定レベル以上であるという条件、被写体の動きが所定以上であるという条件のうち、少なくとも１つ以上の条件に基づいて判定するようにしてもよい。

また、ユーザが報知音の放音を行なうか否かを設定するための第２の設定手段を備え、前記第３の判定手段は、前記第２の設定手段により設定された結果に基づいて判定するようにしてもよい。

また、前記第２の制御手段は、前記第２の判定手段により報知音の放音が不必要と判定された場合には、前記マイクロホンにより集音された音の音データに、前記記憶手段に記憶されている報知音の音データを合成して記録するようにしてもよい。

上記目的達成のため、本発明によるプログラムは、被写体を撮像する撮像素子を制御して動画の撮影を行ない、該得られた動画データを記録媒体に記録するとともに、音を集音するマイクロホンにより集音された音を音データとして記録する音声付動画撮影記録処理と、静止画の撮影を指示する指示処理と、前記指示処理により静止画の撮影が指示された場合は、撮影を報知する報知音の音データを記憶媒体から読み出して報知部から放音させる放音処理と、前記音声付動画撮影記録処理により撮影された動画データと、前記マイクロホンにより集音された音データとを記録している最中に、前記指示手段により静止画の撮影が指示された場合には、前記音声付動画撮影記録処理により制御されている前記撮像素子による動画の撮影を一時中断して、前記撮像素子による静止画の撮影を制御して得られた静止画データを前記記録媒体に記録する静止画撮影記録処理と、前記放音処理により放音される報知音を記録するか否かを判定する判定処理と、前記判定処理により報知音を記録しないと判定され、且つ、前記音声付動画撮影記録処理により撮影された動画データと、前記マイクにより集音された音の音データとを記録している最中に、前記指示処理により静止画の撮影が指示された場合には、前記音声付動画撮影記録処理により記録される音に報知音が含まれないように制御する処理と、をコンピュータで実行させるプログラムであって、前記判定処理は、前記静止画撮影記録制御処理により制御される静止画の撮影及び得られた静止画データの記録により、欠落する動画フレームが所定枚数以下しかないと判定した場合には、報知音の音データを記録しないと判定することを特徴とする。

本発明によれば、被写体を撮像する撮像手段と、音を集音するマイクロホンと、前記撮像手段による動画の撮影を制御して得られた動画データを記録手段に記録するとともに、前記マイクロホンにより集音された音を音データとして記録する音声付動画撮影記録制御手段と、ユーザが静止画の撮影を指示するための指示手段と、前記指示手段により静止画の撮影が指示された場合は、撮影を報知する報知音の音データを読み出して報知手段から放音させる放音制御手段と、前記音声付動画撮影記録制御手段により撮影された動画データと、前記マイクロホンにより集音された音データとを記録している最中に、前記指示手段により静止画の撮影が指示された場合には、前記音声付動画撮影記録制御手段により制御されている前記撮像手段による動画の撮影を一時中断して、前記撮像手段による静止画の撮影を制御して得られた静止画データを前記記録手段に記録する静止画撮影記録制御手段と、前記放音制御手段により放音される報知音を記録するか否かを判定する第１の判定手段と、前記第１の判定手段により報知音を記録しないと判定され、且つ、前記音声付動画撮影記録制御手段により撮影された動画データと、前記マイクロホンにより集音された音の音データとを記録している最中に、前記指示手段により静止画の撮影が指示された場合には、前記音声付動画撮影記録制御手段により記録される音に報知音が含まれないように制御する第１の制御手段と、を備え、前記第１の判定手段は、前記静止画撮影記録制御手段により制御される静止画の撮影及び得られた静止画データの記録により、欠落する動画フレームが所定枚数以下しかないと判定した場合には、報知音の音データを記録しないと判定するようにしたので、動画データの再生時において、被写体の音声とともに煩わしいシャッタ音が鳴ることがない。
また、請求項２記載の発明によれば、前記第１の判定手段は、前記静止画撮影記録制御手段により制御される静止画の撮影及び得られた静止画データの記録により、欠落する動画フレームが所定枚数以下しかないと判定した場合には、報知音の音データを記録しないと判定するようにしたので、動画再生時において被写体の音声とともに煩わしいシャッタ音が鳴ることがない。
また、欠落する動画フレームが所定枚数以上の場合には、シャッタ音を記録するので、動画再生時において欠落動画フレームの直前にシャッタ音がなり、ユーザがここで静止画撮影を行なったということを認識させ、動画フレームの欠落による違和感を軽減させることができる。

以下、本実施の形態について、図面を参照して詳細に説明する。
[実施の形態]
Ａ．デジタルカメラの構成
図１は、本発明の動画撮像装置を実現するデジタルカメラ１の電気的な概略構成を示すブロック図である。
デジタルカメラ１は、撮影レンズ２、レンズ駆動ブロック３、絞り兼用シャッタ４、ＣＣＤ５、ＴＧ（timing generator）６、ユニット回路７、ＤＲＡＭ８、メモリ９、ＣＰＵ１０、フラッシュメモリ１１、画像表示部１２、キー入力部１３、音声処理部１４、ストロボ駆動部１５、ストロボ発光部１６、カードＩ／Ｆ１７を備えており、カードＩ／Ｆ１７には、図示しないデジタルカメラ１本体のカードスロットに着脱自在に装着されたメモリ・カード１８が接続されている。

撮影レンズ２は、図示しないフォーカスレンズ、ズームレンズを含み、レンズ駆動ブロック３が接続されている。このレンズ駆動ブロック３は、図示しないフォーカスレンズ、ズームレンズをそれぞれ光軸方向に駆動させるモータと、ＣＰＵ１０からの制御信号にしたがってフォーカスモータ、ズームモータをそれぞれ光軸方向に駆動させるフォーカスモータドライバ、ズームモータドライバから構成されている。

絞り兼用シャッタ４は、図示しない駆動回路を含み、駆動回路はＣＰＵ１０から送られてくる制御信号にしたがって絞り兼用シャッタを動作させる。この絞り兼用シャッタは、絞りとシャッタとして機能する。
絞りとは、撮影レンズ２から入ってくる光の量を制御する機構のことをいい、シャッタとは、ＣＣＤ５に光を当てる時間を制御する機構のことをいい、ＣＣＤ５に光を当てる時間は、シャッタの開閉の速度（シャッタ速度）によって変わってくる。露出は、この絞りとシャッタ速度によって定めることができる。

ＣＣＤ５（撮像手段）は、撮影レンズ２、絞り兼用シャッタ４を介して投影された被写体の光を電気信号に変換し、撮像信号としてユニット回路７に出力する。また、ＣＣＤ５は、ＴＧ６によって生成された所定周波数のタイミング信号にしたがって駆動する。ＴＧ６にはユニット回路７が接続されている。
ユニット回路７は、ＣＣＤ５から出力される撮像信号を相関二重サンプリングして保持するＣＤＳ（Correlated Double Sampling）回路、そのサンプリング後の撮像信号の自動利得調整を行うＡＧＣ（Automatic Gain Control）回路、その自動利得調整後のアナログの撮像信号をデジタル信号に変換するＡ／Ｄ変換器から構成されており、ＣＣＤ５の撮像信号は、ユニット回路７を経てデジタル信号としてＣＰＵ１０に送られる。

ＣＰＵ１０は、ユニット回路７から送られてきた画像データの画像処理（画素補間処理、γ補正、輝度色差信号の生成、ホワイトバランス処理、露出補正処理等）、画像データの圧縮・伸張（例えば、ＪＰＥＧ形式やＭ−ＪＰＥＧ形式又はＭＰＥＧ形式の圧縮・伸張）の処理などを行う機能を有するとともに、デジタルカメラ１の各部を制御するワンチップマイコンである。

ＤＲＡＭ８は、ＣＣＤ５によって撮像された後、ＣＰＵ１０に送られてきた画像データを一時記憶するバッファメモリとして使用されるとともに、ＣＰＵ１０のワーキングメモリとして使用される。
フラッシュメモリ１１やメモリ・カード１８は、ＣＣＤ５によって撮像された画像データなどを保存しておく記録媒体である。なお、本実施例では、画像データの書き込み（記録）、読み込みは、専らフラッシュメモリ１１を用いて説明しているが、ユーザのキー入力部１３の操作により、画像データをフラッシュメモリ１１に記録するか、メモリ・カード１８に記録するか等を選択することができる。フラッシュメモリ１１や、メモリ・カード１８は、本発明の記録手段として機能する。

画像表示部１２は、カラーＬＣＤとその駆動回路を含み、撮影待機状態にあるときには、ＣＣＤ５によって撮像された被写体をスルー画像として表示し、記録画像の再生時には、保存用フラッシュメモリ１１やメモリ・カード１８から読み出され、伸張された記録画像を表示させる。
キー入力部１３は、シャッタボタン、録画開始／終了ボタン、モードキー等の複数の操作キーを含み、ユーザのキー操作に応じた操作信号をＣＰＵ１０に出力する。このキー入力部１３は、本発明の指示手段、第１の設定手段、第２の設定手段、第３の設定手段として機能する。

音声処理部１４は、内蔵マイク（マイクロホン）、アンプ、Ａ／Ｄ変換器、Ｄ／Ａ変換器、アンプ、内蔵スピーカ（報知手段）、シャッタ音除去フィルタ等を含み、動画撮影時や音声付静止画撮影時には、内蔵マイクに入力された音声をデジタル信号に変換してＣＰＵ１０に送る。送られてきた音声データは、バッファメモリ（ＤＲＡＭ８）に順次記憶され、ＣＣＤ５によって撮像された画像データとともにフラッシュメモリ１１又はメモリ・カード１８に記録される。

また、音声処理部１４は、静止画撮影時には、シャッタ音を内蔵スピーカから放音し、動画像や音声付静止画像の再生時には、各画像データに付属する音声データに基づく音声等を内蔵スピーカから放音する。なお、このシャッタ音の音データはメモリ９に記録されており、静止画撮影を行なう場合には、ＣＰＵ１０は、メモリ９からシャッタ音の音データを読み出し、音声処理部１４は、該読み出されたシャッタ音の音データを内蔵スピーカから放音する。

シャッタ音除去フィルタは、内蔵マイクによって集音された音のうちシャッタ音のみを除去するためのフィルタである。動画撮影中に静止画撮影処理を行うと内蔵スピーカからシャッタ音が放音され、放音されたスピーカ音が内蔵マイクを通して録音されてしまうため、内蔵マイクによって集音された音のうちシャッタ音のみを除去するためである。

ＣＰＵ１０は、内蔵マイクに入力されたシャッタ音を除去するか否かの判断を行い、内蔵マイクに入力されたシャッタ音を除去する場合には音声処理部１４に制御信号を送り、音声処理部１４は、該送られてきた制御信号に従ってシャッタ音除去フィルタをＯｎさせて、シャッタ音を除去させる。なお、シャッタ音除去フィルタがＯｆｆの場合には、内蔵マイクから入力された音のうちシャッタ音が除去されずにそのまま録音される。また、ＣＰＵ１０は、シャッタ音除去フィルタをＯｎさせて、静止画撮影を行なうとシャッタ音除去フィルタがＯｆｆとなるような制御信号を音声処理部１４に送る

ストロボ駆動部１５は、ＣＰＵ１０の制御信号にしたがって、ストロボ発光部１６を閃光駆動させ、ストロボ発光部１６はストロボを閃光させる。ＣＰＵ１０は、図示しない測光回路によって撮影シーンが暗いか否かを判断し、撮影シーンが暗いと判断し、且つ、静止画撮影を行うと判断した場合（シャッタボタン押下時）には、ストロボ駆動部１５に制御信号を送る。

メモリ９には、ＣＰＵ１０によるデジタルカメラ1の各部の制御に必要なプログラム、及び各部の制御に必要なデータが記録されており、ＣＰＵ９は、このプログラムにしたがって処理を行うことにより、本発明の音声付動画撮影記録制御手段、静止画撮影記録制御手段、放音制御手段、第１の判定手段、第２の判定手段、第３の判定手段、第１の制御手段、第２の制御手段、報知制御手段として機能する。
また、メモリ７には、シャッタ音の音データが記録されており、シャッタ音記録判定処理及びシャッタ音放音非放音判定処理によって判定された判定結果を記憶しておく記憶領域Ａ、記憶領域Ｂを有する。メモリ７は、本発明の記憶手段として機能する。

Ｂ.デジタルカメラ１の動作
第１の実施の形態におけるデジタルカメラ１の撮影モードの動作を図２及び図３のフローチャートにしたがって説明する。

まず、ユーザのキー入力部１３のモードキーの操作により撮影モードに設定されると、ＣＰＵ１０は、ＣＣＤ５による被写体の撮像を所定のフレームレート（１／３０秒の固定周期）で開始させ、該撮像された画像データに対して画像処理を施して、バッファメモリ（ＤＲＡＭ８）に記憶させ、該記憶された画像データを画像表示部１２に表示させるという、いわゆるスルー画像表示を行う（ステップＳ１）。

スルー画像を画像表示部１２に表示させると、ＣＰＵ１０は、ユーザによって静止画撮影の指示が行われたか否かの判断を行う（ステップＳ２）。この判断は、キー入力１３からシャッタボタン押下に対応する操作信号が送られてきた場合には、静止画撮影の指示が行われたと判断する。
ステップＳ２で、静止画撮影の指示が行われたと判断すると、ＣＰＵ１０は、メモリ９からシャッタ音の音データを読み出し、音声処理部１４の内蔵スピーカから該読み出した音データの音（シャッタ音）を放音させる（ステップＳ３）。つまり、シャッタ音を放音させることにより撮影が行なわれた旨を撮影者及び被写体に報知させることができる。

次いで、ＣＰＵ１０は、静止画撮影処理を行い、該撮影処理により得られた静止画像データをフラッシュメモリ１１に記録させて（ステップＳ４）、ステップＳ２に戻る。
一方、ステップＳ２で、静止画撮影の指示が行われていないと判断すると、ＣＰＵ１０は、ユーザによって動画撮影の指示が行われたか否かの判断を行う（ステップＳ５）。この判断は、キー入力部１３から録画開始／終了ボタンの押下に対応する操作信号が送られてきた場合には、動画撮影の指示が行われたと判断する。

ステップＳ５で、動画撮影の指示が行われていないと判断するとステップＳ２に戻り、動画撮影の指示が行われたと判断すると、ＣＰＵ１０は動画撮影・記録処理を開始させる（ステップＳ６）。つまり、ＣＣＤ５により、ある一定のフレームレートで撮像され、バッファメモリに記憶された動画データのフレームデータに対してＪＰＥＧ圧縮を施し、該圧縮したフレームデータを順次フラッシュメモリ１１に記録していく。

次いで、ＣＰＵ１０は、音声録音処理を開始させる（ステップＳ７）。つまり、音声処理部１４の内蔵マイクに集音された被写体等の音声などの音声データを順次フラッシュメモリ１１に記録していく。
次いで、ＣＰＵ１０は、シャッタ音記録判定処理を行う（ステップＳ８）。このシャッタ音合記録判定処理は、シャッタ音の録音、つまり、シャッタ音の音データを記録するか否かの判定を行なう。この判定処理により得られた判定結果を示す情報をメモリ９の記憶領域Ａに記憶させる。このシャッタ音記録判定処理については後で説明する。

次いで、ＣＰＵ１０は、シャッタ音放音非放音判定処理を行う（ステップＳ９）。このシャッタ音放音非放音判定処理は、動画撮影・記録処理中に静止画撮影の指示が行われた場合には、静止画撮影記録処理に先立ってシャッタ音を音声処理部１４の内蔵スピーカから放音させるか否かの判定を行なう。この判定処理によりシャッタ音を放音すると判定した場合にはメモリ９の記憶領域Ｂにその旨を示す情報を記憶させ、シャッタ音を放音しないと判定した場合には該記憶領域Ｂにその旨を示す情報を記憶させる。このシャッタ音放音非放音判定処理については、後で説明する。

次いで、ＣＰＵ１０は、ユーザによって動画撮影を終了する旨の指示が行われたか否かの判断を行う（ステップＳ１０）。この判断は、キー入力部１３から録画開始／終了ボタンの押下に対応する操作信号が送られてきた場合には、動画撮影を終了すると判断する。
ステップＳ１０で、動画撮影を終了する旨の指示が行われたと判断した場合には、ＣＰＵ１０は、動画撮影・記録処理、音声録音処理を終了して、順次記録した動画フレームデータ、音声データから動画ファイルを生成して（ステップＳ１１）、ステップＳ２に戻る。

一方、ステップＳ１０で、動画撮影を終了する旨の指示が行われていないと判断した場合には、ＣＰＵ１０は、静止画撮影の指示が行われたか否かの判断を行う（ステップＳ１２）。この判断は、上述したようにキー入力部１３からシャッタボタン押下に対応する操作信号が送られてきた場合には、静止画撮影の指示が行われたと判断する。

ステップＳ１２で、静止画撮影の指示が行われていないと判断するとステップＳ９に戻り、静止画撮影の指示が行われたと判断すると、ＣＰＵ１０は、静止画撮影に先立ってシャッタ音を放音するか否かの判断を行う（ステップＳ１３）。この判断は、メモリ９の記憶領域Ｂに記憶されている情報に基づいて判断を行う。つまり、記憶領域Ａにシャッタ音を放音させる旨を示す情報が記憶されている場合にはシャッタ音を放音すると判断し、記憶領域Ｂにシャッタ音を放音しない旨を示す情報が記憶されている場合にはシャッタ音を放音しないと判断する。なお、ユーザがシャッタ音の放音／非放音を設定することができるようにし、ユーザによってシャッタ音の放音／非放音が設定されている場合には、その設定にしたがって判断するようにしてもよい。つまり、記憶領域Ｂには、シャッタ音を放音しない旨の情報が記憶されている場合でも、ユーザによってシャッタ音を放音すると設定されている場合には、シャッタ音を放音すると判断する。

ステップＳ１３で、シャッタ音を放音すると判断すると、ＣＰＵ１０は、シャッタ音を記録するか否かの判断を行う（ステップＳ１４）。この判断は、メモリ９の記憶領域Ａに記憶されている情報に基づいて行なう。記憶領域Ａに、シャッタ音の記録を示す情報が記憶されている場合にはシャッタ音を記録すると判断し、シャッタ音を記録しないことを示す情報が記憶されている場合にはシャッタ音を記録しないと判断する。なお、ユーザがシャッタ音の記録／非記録を設定することができるようにし、ユーザによってシャッタ音の記録／非記録が設定されている場合には、その設定にしたがって判断するようにしてもよい。つまり、記憶領域Ａには、シャッタ音を記録しない旨の情報が記録されている場合でも、ユーザによってシャッタ音を記録すると設定されている場合には、シャッタ音を記録すると判断する。

ステップＳ１４で、シャッタ音を記録すると判断すると、ＣＰＵ１０は、シャッタ音を合成記録するか否かの判断を行う（ステップＳ１５）。つまり、シャッタ音を内蔵スピーカから放音することにより内蔵マイクを介して該放音されたシャッタ音の録音を行なうのか、内蔵マイクを介して録音されている音データにメモリ９に記録されているシャッタ音の音データを合成させることによりシャッタ音の録音を行なうのかを判断する。この判断の手法として、静止画アニメモードに設定されている場合には、合成音の記録を行なうと判断するようにしてもよいし、所定の撮影条件で動画撮影が行なわれている場合や、静止画撮影を行なおうとしている場合には合成音の記録を行なうと判断するようにしてもよい。更に、ユーザにより合成音を記録すると設定された場合には、合成音の記録を行なうと判断するようにしてもよい。

ステップＳ１５で、シャッタ音の合成記録を行なうと判断すると、ＣＰＵ１０は、音声処理部１４のシャッタ音除去フィルタをＯｎにする（ステップＳ１６）。これにより、内蔵マイクによって集音された被写体の音声、シャッタ音などの音データのうち、シャッタ音の音データのみを除去することができる。
図４は、シャッタ音除去フィルタがＯｎ、Ｏｆｆのときにおける音声処理部の様子を示すものである。

シャッタ音除去フィルタのＯｎ、Ｏｆｆに拘わらず、内蔵マイクによって集音された音（被写体の音声、シャッタ音）の音データはシャッタ音除去フィルタに入力させるが、シャッタ音除去フィルタがＯｎの場合には図４（ａ）に示すように、シャッタ音除去フィルタは入力された音データのうちシャッタ音の音データのみを除去して、出力する。つまり、被写体の音声しか出力されないこととなる。

次いで、ＣＰＵ１０は、メモリ９からシャッタ音の音データを読み出して、内蔵スピーカからシャッタ音を放音させるとともに、シャッタ音除去フィルタ２０から出力された音データに該読み出したシャッタ音の音データを合成記録させて（ステップＳ１７）、ステップＳ２３に進む。つまり、内蔵マイク１９に入力されたシャッタ音はシャッタ音除去フィルタ２０によって除去され、該シャッタ音が除去された音データ（被写体の音声の音データ）にシャッタ音の音データが合成されて記録されることとなる。これにより、録音されるシャッタ音の音質を良くすることができる。

一方、ステップＳ１５で、シャッタ音の合成音を記録しないと判断すると、ＣＰＵ１０は、メモリ９に記録されているシャッタ音の音データを読み出し、音声処理部１４の内蔵スピーカからシャッタ音を放音して（ステップＳ１８）、ステップＳ２３に進む。これにより、内蔵スピーカから放音されたシャッタ音は、内蔵マイク１９を介してシャッタ音が記録されることとなる。
シャッタ音除去フィルタ２０がＯｆｆの場合には、図４（ｂ）に示すように、シャッタ音除去フィルタ２０は、シャッタ音を除去することなく入力された音データをそのまま出力する。つまり、シャッタ音除去フィルタ２０がＯｆｆの時には、シャッタ音が除去されることなく、内蔵マイク１９に集音された音（被写体の音声とシャッタ音）の音データが記録されることとなる。

一方、ステップＳ１４で、シャッタ音を記録しないと判断すると、ＣＰＵ１０は、ＣＰＵ１０は、音声処理部１４のシャッタ音除去フィルタ２０をＯｎにする（ステップＳ１９）。これにより、内蔵マイク１９によって集音された被写体の音声、シャッタ音などの音データのうち、シャッタ音の音データのみを除去することができる。
次いで、ＣＰＵ１５は、メモリ９に記録されているシャッタ音の音データを読み出し、音声処理部１４の内蔵スピーカからシャッタ音を放音して（ステップＳ２０）、ステップＳ２３に進む。これにより、内蔵スピーカからシャッタ音が放音された場合であっても、内蔵スピーカに入力されたシャッタ音はシャッタ音除去フィルタ２０によって除去されるのでシャッタ音が記録されない。

一方、ステップＳ１３で、シャッタ音を放音しないと判断すると、ＣＰＵ１０は、シャッタ音を記録するか否かの判断を行う（ステップＳ２１）。この判断は、上述したようにメモリ９の記憶領域Ａに記憶されている情報に基づいて行なう。記憶領域Ａに、シャッタ音の記録を示す情報が記憶されている場合にはシャッタ音を記録すると判断し、シャッタ音を記録しないことを示す情報が記憶されている場合にはシャッタ音を記録しないと判断する。

ステップＳ２１で、シャッタ音を記録すると判断すると、ＣＰＵ１０は、メモリ９からシャッタ音の音データを読み出し、内蔵マイク１９を介して得られた音データに該読み出したシャッタ音の音データを合成記録させて（ステップＳ２２）、ステップＳ２３に進む。
一方、ステップＳ２１で、シャッタ音を記録しないと判断すると、そのままステップＳ２３に進む。

ステップＳ２３に進むと、ＣＰＵ１０は、静止画撮影処理を行い、該撮影処理により得られた画像データをフラッシュメモリ１１に記録する。
次いで、動画撮影・記録処理を再開して（ステップＳ２２）、ステップＳ９に戻る。つまり、ＣＣＤ５により、所定のフレームレート（１／３０秒の固定周期）で撮像され、バッファメモリに記憶された動画データのフレームデータに対してＪＰＥＧ圧縮を施し、該圧縮したフレームデータを順次フラッシュメモリ１１に記録するという処理を再開する。

Ｂ−１．シャッタ音記録判定処理
次に、シャッタ音記録判定処理の動作の一例として、図５のフローチャートに従って説明する。
まず、ＣＰＵ１０は、フレームレートが所定フレームレート以上であるか否かの判断を行う（ステップＳ３１）。
ステップＳ３１で、フレームレートが所定フレームレート以上でないと判断すると、ＣＰＵ１０は、静止画撮影により得られる静止画像の解像度が所定の解像度以上であるか否かの判断を行う（ステップＳ３２）。

ここで、ステップＳ３１での判断と、ステップＳ３２での判断は、静止画撮影処理により欠落する動画フレームが多いか（所定枚数以上か）否かを判断している。つまり、動画のフレームレートが所定フレームレート以上である場合、静止画の解像度が所定の解像度以上の場合には、欠落する動画フレームデータが多い（所定枚数以上）ということになる。
なお、動画のフレームレート、静止画の解像度、及び、判断基準となる所定フレームレート、所定の解像度は予め設定されているが、ユーザが動画のフレームレート、静止画の解像度、及び、判断基準となる所定フレームレート、所定の解像度の設定を行なうことができるようにしてもよい。

ステップＳ３２で、静止画像の解像度が所定の解像度以上でないと判断すると、ＣＰＵ１０は、シャッタ音を記録しないと判定し、その旨を示す情報を記憶領域Ａに記憶させる（ステップＳ３３）。つまり、フレームレートが所定以上でない場合、静止画の解像度が所定の解像度以上でない場合には、静止画撮影記録処理により動画撮影・記録処理が中止になっても、欠落する動画フレームの枚数は少ないので（所定枚数以下なので）、該動画撮影・記録処理により得られた動画データを再生した場合でも、ユーザは欠落していることに気づかないからであり、耳障りなシャッタ音を録音するのは好ましくないからである。

ステップＳ３１でフレームレートが所定フレームレート以上と判断した場合、ステップＳ３２で静止画像の解像度が所定の解像度以上と判断した場合は、静止画撮影処理により動画撮影が中止することにより、欠落する動画フレームの枚数が多くなり（所定枚数以上となり）、該動画撮影・記録処理により得られた動画データを再生した場合には、その動画フレームの欠落により不自然な動画が再生されることになる。
したがって、ステップＳ３１でフレームレートが所定フレームレート以上と判断した場合、ステップＳ３２で静止画像の解像度が所定の解像度以上と判断した場合には、ＣＰＵ１０は、シャッタ音を記録すると判定し、その旨を示す情報を記憶領域Ａに記憶させる（ステップＳ３４）。

つまり、静止画撮影前にシャッタ音を録音させることにより、動画再生時において欠落動画フレームの直前にシャッタ音がなり、ユーザがここで静止画撮影を行なったということを認識させ、動画フレームの欠落の不自然さを払拭させるというものである。
なお、この所定フレームレート、及び所定の解像度は、予め決まっていても良いが、ユーザがこの所定フレームレート、解像度を設定することができるようにしてもよい。
なお、言うまでもないが、他の条件に基づいて、シャッタ音を記録するか否かの判定を行なうようにしてもよい。

Ｂ−２．シャッタ音放音非放音判定処理
次に、シャッタ音放音非放音判定処理の動作の一例として、図６のフローチャートに従って説明する。
まず、ＣＰＵ１０は、撮影場所が屋外であるか否かの判断を行う（ステップＳ５１）。この判断は、自動ホワイトバランス処理により得た光の光源の色温度が太陽光の色温度であると判断すると屋外と判断し、自動ホワイトバランス処理により得た光の光源の色温度が太陽光の色温度でないとないと判断すると屋内と判断する。

ステップＳ５１で、撮影場所が屋外でないと判断すると、ＣＰＵ１０は、録音している音声（記録している音声データ）の録音レベルが所定以上であるか否かの判断を行う（ステップＳ５２）。
ステップＳ５２で、録音レベルが所定レベル以上でないと判断すると、被写体の動きが所定以上であるか否かを判断する（ステップＳ５３）。つまり、動画フレームの画像を認識して被写体の動きが所定レベル以上であるか否かの判断を行う。動きのない画像は、直前に認識した画像との差分が０となり、動きがあればあるほど直前に認識した画像との差分が大きくなるので、この差分が所定以上であるか否かの判断を行うこととなる。

ステップＳ５３で、被写体の動きが所定以上でないと判断すると、シャッタ音の報知が不必要であると判定し、その判定結果をメモリ９の記憶領域Ｂに記憶させる（ステップＳ５４）。
一方、ステップＳ５１で屋外でないと判断された場合、ステップＳ５２で録音レベルが所定以上でないと判断された場合、ステップＳ５３で被写体の動きが所定以上であると判断した場合には、シャッタ音の放音が必要であると判定し、その判定結果を記憶領域Ｂに記憶させる（ステップＳ５５）。
つまり、撮影場所が屋外の場合や録音レベルが高い場合、被写体の動きは所定以上（激しい）場合には、騒々しい場所で撮影すると考えられるためシャッタ音を放音することにより、被写体に対してこれから撮影を行なう旨を伝達することができる。
なお、言うまでもないが、他の条件に基づいてシャッタ音を放音／非放音の判定を行なうようにしてもよい。

Ｃ．以上のように、実施の形態においては、音声付動画撮影記録処理中に静止画撮影の指示が行われると、シャッタ音を記録するか否かの判断を行い、シャッタ音を記録しないと判断すると、シャッタ音除去フィルタをＯｎさせることにより、内蔵マイク１９により集音された音からシャッタ音を除去して音を録音するようにしたので、該動画データの再生時において、被写体の音声とともに煩わしいシャッタ音が鳴ることがない。

また、動画のフレームレートが所定フレームレート以上、静止画の解像度が所定解像度以上の場合には、シャッタ音を記録すると判断するようにしたので、動画再生時において欠落動画フレームの直前にシャッタ音を鳴らすことができ、ユーザはここで静止画撮影を行なったということを認識するとともに動画フレームの欠落の違和感を軽減させることができる。

また、シャッタ音が記録すると判断された場合には、合成音を記録させるか否かを判断し、合成音を記録すると判断すると、メモリ９からシャッタ音の音データを読み出して、内蔵スピーカからシャッタ音を放音させるとともに、シャッタ音除去フィルタ２０から出力された音データに該読み出したシャッタ音の音データを合成記録させるようにしたので、音質のよりシャッタ音を録音することができる。

また、シャッタ音を放音させるか否かの判断を行うようにしたので、シャッタ音の放音が必要な場合のみシャッタ音を放音することができる。
また、シャッタ音を放音させないと判断された場合で、且つ、シャッタ音を記録すると判断された場合には、シャッタ音の音データをメモリ９から読み出し、内蔵マイク１９によって集音された音データに該読み出したシャッタ音の音データを合成して記録するようにしたので、動画撮影中にシャッタ音が放音されない場合でも、動画の再生時にはシャッタ音が放音されるので、ユーザはこの場面で静止画撮影を行なったのだな、と再確認することができる。

なお、図３のステップＳ１３でシャッタ音を放音させると判断し、ステップＳ１４でシャッタ音を記録しないと判断した場合には、ステップＳ１９でシャッタ音除去フィルタをＯｎにさせて、ステップＳ２０でシャッタ音を放音させるようにしたが、ステップＳ１４でシャッタ音を記録しないと判断した場合には、シャッタ音を内蔵スピーカから放音させないようにしてもよい。つまり、シャッタ音の放音を禁止するようにしてもよい。この方法でも、シャッタ音は記録されずにすむこととなる。

また、図５のシャッタ音記録判定処理においては、動画のフレームレートが所定フレーム以上、静止画の解像度が所定の解像度以上の場合には、欠落する動画フレームが多い（所定枚数以上）と判断するようにしたが、静止画撮影記録処理によって実際に欠落した動画フレームが、所定枚数以上の場合にはシャッタ音を記録すると判定するようにしてもよい。
この場合には、ステップＳ１３でシャッタ音の報知を行うと判断すると、シャッタ音除去フィルタをＯｎし、シャッタ音を放音して静止画撮影記録処理を実行させる。その後、シャッタ音記録判定処理によって、静止画撮影記録処理により実際に欠落した動画フレームが所定枚数以上である場合には、シャッタ音を記録すると判定し、後から、シャッタ音の音データを合成するようにしてもよい。このときには、静止画撮影処理を実行する際に録音された音データにシャッタ音を合成させるようにする。

また、図３のステップＳ１３で、シャッタ音を鳴らすか否かの判断を行うようにしたが、シャッタ音を通常の音で鳴らすか、小さい音で鳴らすかを判断するようにしてもよい。
ステップＳ１３で、通常の音で鳴らすと判定した場合には、ステップＳ１４に進み、上記実施の形態と同様のステップを踏む。
一方、ステップＳ１３で、小さい音で鳴らすと判断した場合は、ステップＳ１４〜ステップＳ２０と同様のステップを踏む。つまり、シャッタ音を通常の音で鳴らすと判断した場合と同様のステップを踏むことになる。しかし、シャッタ音を鳴らす場合には、小さい音でシャッタ音を鳴らし、シャッタ音を合成して記録する場合には、シャッタ音が小さい音で再生されるような音データを合成して記録する。この場合には、内蔵スピーカで放音されたシャッタ音を内蔵マイクを介して記録する場合であっても、内蔵スピーカから放音されるシャッタ音は小さいため、内蔵マイクを介してシャッタ音を記録しても、音割れもせず、音質の悪いシャッタ音が記録されることもない。
また、図６のシャッタ音放音非放音判定処理においては、ステップＳ５３でＮに分岐すると、ステップＳ５４でシャッタ音の小さい音で鳴らすと判定し、その判定結果を記憶領域Ｂに記憶させる。また、ステップＳ５１、ステップＳ５２、ステップＳ５３で、Ｙに分岐すると、ステップＳ５５でシャッタ音を通常の音で鳴らすと判定し、その判定結果を記憶領域Ｂに記憶させる。

更に、上記実施の形態におけるデジタルカメラ１は、上記実施の形態に限定されるものではなく、カメラ付き携帯電話、カメラ付きＰＤＡ、カメラ付きパソコン、カメラ付きＩＣレコーダ、又はデジタルビデオカメラ等でもよく、要は動画撮影中に静止画撮影を行なうことができる機器であれば何でもよい。

本発明の実施の形態のデジタルカメラのブロック図である。 本実施の形態のデジタルカメラの動作を示すフローチャートである。 本実施の形態のデジタルカメラの動作を示すフローチャートである。 シャッタ音除去フィルタがＯｎ、Ｏｆｆのときにおける音声処理部の様子を示す図である。 シャッタ音記判定処理の動作を示すフローチャートである。 シャッタ音放音非放音判定処理の動作を示すフローチャートである。

符号の説明

１ デジタルカメラ
２ 撮影レンズ
３ レンズ駆動ブロック
４ 絞り兼用シャッタ
５ ＣＣＤ
６ ＴＧ
７ ユニット回路
８ ＤＲＡＭ
９ メモリ
１０ ＣＰＵ
１１ フラッシュメモリ
１２ 画像表示部
１３ キー入力部
１４ 音声処理部
１５ ストロボ駆動部
１６ ストロボ発光部
１７ カードＩ／Ｆ
１８ メモリ・カード
１９ 内蔵マイク
２０ シャッタ音除去フィルタ

Claims (12)

1. 被写体を撮像する撮像手段と、
   音を集音するマイクロホンと、
   前記撮像手段による動画の撮影を制御して得られた動画データを記録手段に記録するとともに、前記マイクロホンにより集音された音を音データとして記録する音声付動画撮影記録制御手段と、
   ユーザが静止画の撮影を指示するための指示手段と、
   前記指示手段により静止画の撮影が指示された場合は、撮影を報知する報知音の音データを記憶手段から読み出して報知手段から放音させる放音制御手段と、
   前記音声付動画撮影記録制御手段により撮影された動画データと、前記マイクロホンにより集音された音データとを記録している最中に、前記指示手段により静止画の撮影が指示された場合には、前記音声付動画撮影記録制御手段により制御されている前記撮像手段による動画の撮影を一時中断して、前記撮像手段による静止画の撮影を制御して得られた静止画データを前記記録手段に記録する静止画撮影記録制御手段と、
   前記放音制御手段により放音される報知音を記録するか否かを判定する第１の判定手段と、
   前記第１の判定手段により報知音を記録しないと判定され、且つ、前記音声付動画撮影記録制御手段により撮影された動画データと、前記マイクにより集音された音の音データとを記録している最中に、前記指示手段により静止画の撮影が指示された場合には、前記音声付動画撮影記録制御手段により記録される音に報知音が含まれないように制御する第１の制御手段と、を備え、
   前記第１の判定手段は、前記静止画撮影記録制御手段により制御される静止画の撮影及び得られた静止画データの記録により、欠落する動画フレームが所定枚数以下しかないと判定した場合には、報知音の音データを記録しないと判定することを特徴とする動画撮像装置。
2. 前記第１の判定手段は、前記音声付動画撮影記録処理により撮影される動画のフレームレートが所定フレームレート以上でない場合は、欠落する動画フレームが所定枚数以下しかないと判定することを特徴とする請求項１記載の動画撮像装置。
3. 前記第１の判定手段は、前記静止画撮影記録制御手段により撮影される静止画の解像度が所定の解像度以上でない場合には、欠落する動画フレームが所定枚数以下しかないと判定することを特徴とする請求項１又は２記載の動画撮像装置。
4. ユーザが報知音を記録するか否かを設定するための第１の設定手段を備え、
   前記第１の判定手段は、前記第１の設定手段により設定された結果に基づいて判定することを特徴とする請求項１乃至３の何れかに記載の動画撮像装置
5. 前記第１の制御手段は、前記放音制御手段による報知音の放音を禁止することにより、前記音声付動画撮影記録制御手段により記録される音に報知音が含まれないように制御することを特徴とする請求項１乃至４の何れかに記載の動画撮像装置。
6. 前記第１の制御手段は、前記マイクロホンにより集音された音のうち前記放音制御手段により放音された報知音を除去することにより、前記音声付動画撮影記録制御手段により記録される音に報知音が含まれないように制御することを特徴とする請求項１乃至４の何れかに記載の動画撮像装置。
7. 前記第１の判定手段により報知音を記録すると判定され、且つ、前記音声付動画撮影記録制御手段により撮影された動画データと、前記マイクにより集音された音データとを記録している最中に、前記指示手段により静止画の撮影が指示された場合には、前記マイクロホンにより集音された音のうち前記放音制御手段により放音された報知音を除去し、該報知音が除去された音の音データに前記記憶手段に記憶されている報知音の音データを合成して前記記録手段に記録する第２の制御手段を備えたことを特徴とする請求項１乃至６の何れかに記載の動画撮像装置。
8. 報知音の放音が必要か否かを判定する第２の判定手段と、
   前記第２の判定手段による判定にしたがって、前記放音制御手段による報知音の放音、非放音を制御する報知制御手段と、
   を備えたことを特徴とする請求項１乃至７の何れかに記載の動画撮像装置。
9. 前記第２の判定手段は、 撮影場所が屋外であるという条件、録音レベルが所定レベル以上であるという条件、被写体の動きが所定以上であるという条件のうち、少なくとも１つ以上の条件に基づいて判定することを特徴とする請求項８記載の動画撮像装置。
10. ユーザが報知音の放音を行なうか否かを設定するための第２の設定手段を備え、
    前記第２の判定手段は、前記第２の設定手段により設定された結果に基づいて判定することを特徴とする請求項９記載の動画撮像装置。
11. 前記第２の制御手段は、前記第２の判定手段により報知音の放音が不必要と判定された場合には、前記マイクロホンにより集音された音の音データに、前記記憶手段に記憶されている報知音の音データを合成して記録することを特徴とする請求項８乃至１０の何れかに記載の動画撮像装置。
12. 被写体を撮像する撮像素子を制御して動画の撮影を行ない、該得られた動画データを記録媒体に記録するとともに、音を集音するマイクロホンにより集音された音を音データとして記録する音声付動画撮影記録処理と、
    静止画の撮影を指示する指示処理と、
    前記指示処理により静止画の撮影が指示された場合は、撮影を報知する報知音の音データを記憶媒体から読み出して報知部から放音させる放音処理と、
    前記音声付動画撮影記録処理により撮影された動画データと、前記マイクロホンにより集音された音データとを記録している最中に、前記指示手段により静止画の撮影が指示された場合には、前記音声付動画撮影記録処理により制御されている前記撮像素子による動画の撮影を一時中断して、前記撮像素子による静止画の撮影を制御して得られた静止画データを前記記録媒体に記録する静止画撮影記録処理と、
    前記放音処理により放音される報知音を記録するか否かを判定する判定処理と、
    前記判定処理により報知音を記録しないと判定され、且つ、前記音声付動画撮影記録処理により撮影された動画データと、前記マイクにより集音された音の音データとを記録している最中に、前記指示処理により静止画の撮影が指示された場合には、前記音声付動画撮影記録処理により記録される音に報知音が含まれないように制御する処理と、をコンピュータで実行させるプログラムであって、
    前記判定処理は、前記静止画撮影記録制御処理により制御される静止画の撮影及び得られた静止画データの記録により、欠落する動画フレームが所定枚数以下しかないと判定した場合には、報知音の音データを記録しないと判定することを特徴とするプログラム。
    

Images