JP4742912B2 - 画像音声記録装置、画像音声記録方法および画像音声記録制御プログラム - Google Patents

Description

本発明は、連写撮影機能を備えたデジタルカメラなどの画像音声記録装置、その画像音声記録方法および画像音声記録制御プログラムに関する。

従来、連写撮影機能を備えたデジタルカメラにおいて、連写撮影に伴う音声も入力して記録し、これを連続表示・再生することで簡易動画再生するものがある。

このような連写撮影による簡易動画の記録・再生が可能なデジタルカメラでは、連写撮影の開始から終了まで、つまり連写撮影モードでのシャッタ押下による連写撮影開始の時点からシャッタ開放による撮影終了の時点まで入力音声も連続して記録し、連写撮影した１セットの画像群（簡易動画）と記録した音声とを対応付けて記憶管理している。

従って連写撮影した簡易動画の再生を開始すると、その再生開始時点から当該撮影画像群に対応付けられて記憶されている音声も前記連写撮影・音声記録時と全く同じタイミングによって再生出力される（例えば、特許文献１参照。）。
特開２００４−０８８５１８号公報

前記従来の簡易動画の記録・再生が可能なデジタルカメラでは、連写撮影の開始から終了まで同時に入力音声も連続記録して対応付けて記憶管理するため、連写撮影中に被写体側から実際に音声が発せられたのがその一時期であっても、そのタイミングには関係なく無音期間を含む連写撮影中全過程の音声データとしてその１セットの画像群（簡易動画）に対応付けられて管理されてしまう。

このため、連写撮影した簡易動画（１セットの画像群）の再生を行うときには勿論、例えばその簡易動画（１セットの画像群）の中の個別の撮影画像について音声付きで再生する場合に、何れの撮影画像を選択して再生するときにも前記連写撮影中全過程の音声データが再生され、実際には無音期間であった撮影画像にもタイミングがずれた何らかの音声が付けられて再生されてしまう。

本発明は、このような課題に鑑みなされたもので、連写撮影を行った際に、実際に音声のあったタイミングの撮影画像に対応付けて入力音声を記憶管理することが可能になる画像音声記録装置、その画像音声記録方法および画像音声記録制御プログラムを提供することを目的とする。

請求項１に記載の画像音声記録装置は、撮影手段と音声入力手段を有する画像音声記録装置であって、前記撮影手段により複数枚の静止画像を連続して撮影させる連写撮影制御手段と、この連写撮影制御手段による連続撮影制御中に、前記音声入力手段により入力される音声が一定レベルを超えたか否かを判断する音声レベル判断手段と、前記連写撮影制御手段による複数枚の静止画像の連続撮影制御に伴い前記音声入力手段により入力される音声を記録する音声記録手段と、前記連写撮影制御手段により連続撮影された複数枚の静止画像のうち、前記音声レベル判断手段により一定レベルを超える音声が入力されたと判断されたところで撮影された静止画像に対し、前記音声記録手段により記録された音声を対応付けて記憶する静止画音声対応記憶手段と、前記音声記録手段により記録された音声のうち、前記音声レベル判断手段により一定レベルを超える音声が入力されたと判断された期間にて記録された音声を抽出する記録音声抽出手段とを備え、前記静止画音声対応記憶手段は、前記連写撮影制御手段により連続撮影された複数枚の静止画像のうち、前記音声レベル判断手段により一定レベルを超える音声が入力されたと判断された期間にて撮影された静止画像に対し、前記記録音声抽出手段により抽出された音声を対応付けて記憶することを特徴としている。

請求項２に記載の画像音声記録装置は、撮影手段と音声入力手段を有する画像音声記録装置であって、前記撮影手段により複数枚の静止画像を連続して撮影させる連写撮影制御手段と、この連写撮影制御手段による連続撮影制御中に、前記音声入力手段により入力される音声が一定レベルを超えたか否かを判断する音声レベル判断手段と、前記連写撮影制御手段による複数枚の静止画像の連続撮影制御に伴い前記音声入力手段により入力される音声を記録する音声記録手段と、前記連写撮影制御手段により連続撮影された複数枚の静止画像のうち、前記音声レベル判断手段により一定レベルを超える音声が入力されたと判断されたところで撮影された静止画像に対し、前記音声記録手段により記録された音声を対応付けて記憶する静止画音声対応記憶手段とを備え、前記音声記録手段は、前記連写撮影制御手段による複数枚の静止画像の連続撮影制御に伴い、前記音声レベル判断手段により一定レベルを超えたと判断されたときから一定レベル以下と判断されたときの間に前記音声入力手段により入力された音声を記録し、前記静止画音声対応記憶手段は、前記連写撮影制御手段により連続撮影された複数枚の静止画像のうち、前記音声レベル判断手段により一定レベルを超える音声が入力されたと判断された期間にて撮影された静止画像に対し、前記音声記録手段により記録された音声を対応付けて記憶することを特徴としている。

請求項３に記載の画像音声記録方法は、撮影手段と音声入力手段を有する画像音声記録装置を用いた画像音声記録方法であって、前記撮影手段により複数枚の静止画像を連続して撮影させる連写撮影制御ステップと、この連写撮影制御ステップによる連続撮影制御中に、前記音声入力手段により入力される音声が一定レベルを超えたか否かを判断する音声レベル判断ステップと、前記連写撮影制御ステップによる複数枚の静止画像の連続撮影制御に伴い前記音声入力手段により入力される音声をメモリに記録させる音声記録制御ステップと、前記連写撮影制御ステップにより連続撮影された複数枚の静止画像のうち、前記音声レベル判断ステップにより一定レベルを超える音声が入力されたと判断されたところで撮影された静止画像に対し、前記音声記録制御ステップによりメモリに記録された音声を対応付けて管理する静止画音声対応管理ステップと、前記音声記録制御ステップによりメモリに記録された音声のうち、前記音声レベル判断ステップにより一定レベルを超える音声が入力されたと判断された期間にて記録された音声を抽出する記録音声抽出ステップとを含み、前記静止画音声対応管理ステップは、前記連写撮影制御ステップにより連続撮影された複数枚の静止画像のうち、前記音声レベル判断ステップにより一定レベルを超える音声が入力されたと判断された期間にて撮影された静止画像に対し、前記記録音声抽出ステップにより抽出された音声を対応付けて管理することを特徴としている。

請求項４に記載の画像音声記録方法は、撮影手段と音声入力手段を有する画像音声記録装置を用いた画像音声記録方法であって、前記撮影手段により複数枚の静止画像を連続して撮影させる連写撮影制御ステップと、この連写撮影制御ステップによる連続撮影制御中に、前記音声入力手段により入力される音声が一定レベルを超えたか否かを判断する音声レベル判断ステップと、前記連写撮影制御ステップによる複数枚の静止画像の連続撮影制御に伴い前記音声入力手段により入力される音声をメモリに記録させる音声記録制御ステップと、前記連写撮影制御ステップにより連続撮影された複数枚の静止画像のうち、前記音声レベル判断ステップにより一定レベルを超える音声が入力されたと判断されたところで撮影された静止画像に対し、前記音声記録制御ステップによりメモリに記録された音声を対応付けて管理する静止画音声対応管理ステップとを含み、前記音声記録制御ステップは、前記連写撮影制御ステップによる複数枚の静止画像の連続撮影制御に伴い、前記音声レベル判断ステップにより一定レベルを超えたと判断されたときから一定レベル以下と判断されたときの間に前記音声入力手段により入力された音声をメモリに記録させ、前記静止画音声対応管理ステップは、前記連写撮影制御ステップにより連続撮影された複数枚の静止画像のうち、前記音声レベル判断ステップにより一定レベルを超える音声が入力されたと判断された期間にて撮影された静止画像に対し、前記音声記録制御ステップによりメモリに記録された音声を対応付けて管理することを特徴としている。

請求項５に記載の画像音声記録制御プログラムは、撮影手段と音声入力手段を有する画像音声記録装置のコンピュータを制御するための画像音声記録制御プログラムであって、前記コンピュータを、前記撮影手段により複数枚の静止画像を連続して撮影させる連写撮影制御手段、この連写撮影制御手段による連続撮影制御中に、前記音声入力手段により入力される音声が一定レベルを超えたか否かを判断する音声レベル判断手段、前記連写撮影制御手段による複数枚の静止画像の連続撮影制御に伴い前記音声入力手段により入力される音声をメモリに記録させる音声記録制御手段、前記連写撮影制御手段により連続撮影された複数枚の静止画像のうち、前記音声レベル判断手段により一定レベルを超える音声が入力されたと判断されたところで撮影された静止画像に対し、前記音声記録制御手段によりメモリに記録された音声を対応付けて管理する静止画音声対応管理手段、前記音声記録制御手段によりメモリに記録された音声のうち、前記音声レベル判断手段により一定レベルを超える音声が入力されたと判断された期間にて記録された音声を抽出する記録音声抽出手段として機能させ、前記静止画音声対応管理手段は、前記連写撮影制御手段により連続撮影された複数枚の静止画像のうち、前記音声レベル判断手段により一定レベルを超える音声が入力されたと判断された期間にて撮影された静止画像に対し、前記記録音声抽出手段により抽出された音声を対応付けて管理することを特徴としている。
請求項６に記載の画像音声記録制御プログラムは、撮影手段と音声入力手段を有する画像音声記録装置のコンピュータを制御するための画像音声記録制御プログラムであって、前記コンピュータを、前記撮影手段により複数枚の静止画像を連続して撮影させる連写撮影制御手段、この連写撮影制御手段による連続撮影制御中に、前記音声入力手段により入力される音声が一定レベルを超えたか否かを判断する音声レベル判断手段、前記連写撮影制御手段による複数枚の静止画像の連続撮影制御に伴い前記音声入力手段により入力される音声をメモリに記録させる音声記録制御手段、前記連写撮影制御手段により連続撮影された複数枚の静止画像のうち、前記音声レベル判断手段により一定レベルを超える音声が入力されたと判断されたところで撮影された静止画像に対し、前記音声記録制御手段によりメモリに記録された音声を対応付けて管理する静止画音声対応管理手段として機能させ、前記音声記録制御手段は、前記連写撮影制御手段による複数枚の静止画像の連続撮影制御に伴い、前記音声レベル判断手段により一定レベルを超えたと判断されたときから一定レベル以下と判断されたときの間に前記音声入力手段により入力された音声をメモリに記録させ、前記静止画音声対応管理手段は、前記連写撮影制御手段により連続撮影された複数枚の静止画像のうち、前記音声レベル判断手段により一定レベルを超える音声が入力されたと判断された期間にて撮影された静止画像に対し、前記音声記録制御手段によりメモリに記録された音声を対応付けて管理することを特徴としている。

本発明によれば、連写撮影（あるいは動画撮影）を行った際に、実際に音声のあったタイミングの撮影画像に対応付けて入力音声を記憶管理することが可能になる画像音声記録装置、その画像音声記録方法および画像音声記録制御プログラムを提供できる。

以下図面により本発明の実施の形態について説明する。

図１は、本発明の画像音声記録装置の実施形態に係るデジタルカメラ１０の電子回路の構成を示すブロック図である。

このデジタルカメラ１０の電子回路には、コンピュータであるＣＰＵ(Central Processing Unit)１１が備えられる。

ＣＰＵ１１は、メモリ１２内に予め記憶された画像・音声の記録制御プログラムやその再生制御プログラム、あるいは外部メモリドライブ１３にセットされたカード型メモリなどの外部メモリ（外部記録媒体）から前記メモリ１２内に読み込まれた各種の制御プログラムに従って回路各部の動作を制御するもので、メモリ１２の具体的なデバイスとしては、フラッシュメモリ、ＤＲＡＭ(Dynamic Random Access Memory)、ＳＲＡＭ(Static Random Access Memory)などが使用され、前記プログラムデータ格納用の他に、各種の動作制御に応じてＣＰＵ１１に入出力される種々のデータの一時退避用、あるいは計算用などとして利用される。

前記メモリ１２に記憶された各種のプログラムは、キー入力部１４からのシャッタキーやモード切替キーなどによるキー入力信号に応じて起動され、画像入力部１５により撮影入力された画像データや音声入力部１６により入力された音声データの処理を司る。

ＣＰＵ１１には、前記メモリ１２、外部メモリドライブ１３、キー入力部１４、画像入力部１５、音声入力部１６が接続される他に、モニタ（画像表示／音声出力）１７が接続され、撮影された画像データや入力された音声データはこのモニタ１７によって再生される。

前記画像入力部１５は、撮像レンズ、ＣＣＤ(Charge coupled Device)、Ａ／Ｄ変換回路などを備えて構成され、また音声入力部１６はマイクからなり、モニタ１７はＬＣＤ(Liquid Crystal Display)およびスピーカからなる。

なお、このデジタルカメラ１０は、動画撮影モードの設定により動画の撮影・記録も行うことができる。

次に、前記構成のデジタルカメラ１０による画像音声記録機能について説明する。

（第１実施形態）
図２は、前記デジタルカメラ１０による第１実施形態の画像音声記録処理を示すフローチャートである。

図３は、前記デジタルカメラ１０による第１実施形態の画像音声記録処理に伴う画像・音声の記録状態とその記録データの管理状態を示す図である。

音声付きの連写撮影モードに設定されている状態で、キー入力部１４からのシャッタ押下に伴う入力信号が検知されると（ステップＳ１）、音声入力部１６により入力される音声データの記録が開始されると共に（ステップＳ２）、画像入力部１５により撮像される画像データの例えば毎秒１枚ずつの静止画撮影が開始される（ステップＳ３）。

この音声データの記録処理と静止画像データの撮影記録処理とは、メモリ１２内の音声／画像用メモリに対して、図３（Ａ）に示すようなタイミングで行われていく。

そして、例えば１枚目の静止画（Ａ）が撮影された時点で、一定レベルを超える入力音声の発生開始検出を示す“音声発生開始フラグ”が未設定であるか否か判断され（ステップＳ４）、フラグ未設定と判断されると（ステップＳ４（ｙｅｓ））、現在の入力音声信号から音声発生状態がチャックされ、一定レベルを超える音声信号が入力されているか否か判断される（ステップＳ５）。

ここで現在、本デジタルカメラ１０の周辺に実際の音声は発生して無く、一定レベルを超える音声信号が入力されてないと判断されると（ステップＳ５（ｎｏ））、前記キー入力部１４からの信号入力に基づきシャッタが開放されたか否か判断され（ステップＳ７）、当該シャッタの開放がないシャッタ押下の継続操作中であると判断された場合には（ステップＳ７（ｎｏ））、再び画像入力部１５により撮像される画像データに基づいた次の静止画撮影が実施される（ステップＳ３）。

そして、２枚目の静止画（Ｂ）が撮影された時点で、“音声発生開始フラグ”未設定（ステップＳ４（ｙｅｓ））、一定レベルを超える音声信号入力あり（ステップＳ５（ｙｅｓ））と判断されると、当該２枚目に撮影処理された静止画像データ（Ｂ）に対して“音声発生開始フラグ”が付加される（ステップＳ６）。

この後、“音声発生開始フラグ”設定済み（ステップＳ４（ｎｏ））、シャッタ未開放（ステップＳ７（ｎｏ））と判断されながら、例えば３枚目の静止画（Ｃ）、４枚目の静止画（Ｄ）が撮影処理された後に（ステップＳ７→Ｓ３，Ｓ４→Ｓ７）、シャッタが開放されたと判断されると（ステップＳ７（ｙｅｓ））、それ以降の静止画撮影処理が停止されるのに伴い入力音声の記録処理も終了される（ステップＳ８）。

この際、メモリ１２内の音声／画像用メモリに対しては、図３（Ａ）に示すように、シャッタ押下時点からシャッタ開放時点までに連写撮影された静止画像データ（Ａ〜Ｄ）およびその同一期間内に入力された音声データが記録保持されている。そして、そのうち前記２枚目の静止画像データ（Ｂ）には“音声発生開始フラグ”が付加されて記録されている。

すると、前記“音声発生開始フラグ”が付加されたところの２枚目の静止画像データ（Ｂ）が抽出され（ステップＳ９）、図３（Ｂ）に示すように、この抽出された２枚目の静止画像データ（Ｂ）に対して前記記録された音声データが対応付けされて同メモリ１２内に保存管理される（ステップＳ１０）。この場合、前記静止画像（Ｂ）と記録音声データとは、例えばそのファイル名の一部(CIMG0001.)を関係付けて対応付けされる。

したがって、前記構成のデジタルカメラ１０による第１実施形態の画像音声記録機能によれば、連写撮影の開始から終了までに記録した音声データを、実際に音声が発せられた最初のタイミングで撮影したところの静止画像データに対応付けて記憶管理できるので、音声付きの連写撮影画像の連続再生（簡易動画再生）を行う場合には、当該連写撮影された複数枚の静止画像データ（Ａ〜Ｄ）を順次再生表示するのに合わせて前記記録した音声データを再生出力して画像・音声のタイミングの合った違和感のない簡易動画再生が行えるのは勿論、個別の静止画像データを音声付きで再生する場合でも、実際に音声が発せられた最初のタイミングで撮影された静止画像（Ｂ）を再生表示するときにだけ前記記録した音声データを再生出力して違和感のない音声付き個別静止画再生を行うことができる。

よって、実際は無音期間であった個別静止画の再生出力に伴い、タイミングがずれた音声が付けられて再生されてしまう不具合を解消することができる。

具体的には、例えばゴルフのショットを音声付きで連写撮影した場合など、ボールインパクトのタイミング付近で撮影された静止画像を個別に選択して再生したときにだけインパクトの記録音声を再生できるようになり、バックスイング中に撮影された静止画像を個別に選択して再生したときに前記インパクトの記録音声が再生されてしまう不自然さを無くすことができる。

なお、前記第１実施形態の画像音声記録機能では、連写撮影に伴い記録された音声データを、実際に音声が発せられた最初のタイミングで撮影された静止画像に対応付けて記憶管理する構成としたが、次の第２実施形態で説明する画像音声記録機能のように、連写撮影に伴い実際に音声が発せられている期間にだけその音声を記録すると共に、当該実際の音声発生期間に撮影された１枚または複数枚の静止画像にだけ対応付けて前記記録した音声を記憶管理し、効率的で無駄のない簡易動画再生処理およびより違和感のない個別静止画像の音声付き再生処理を行うようにしてもよい。

（第２実施形態（その１））
図４は、前記デジタルカメラ１０による第２実施形態（その１）の画像音声記録処理を示すフローチャートである。

図５は、前記デジタルカメラ１０による第２実施形態の画像音声記録処理に伴う画像・音声の記録状態とその記録データの管理状態を示す図である。

音声付きの連写撮影モードに設定されている状態で、キー入力部１４からのシャッタ押下に伴う入力信号が検知されると（ステップＡ１）、画像入力部１５により撮像される画像データの例えば毎秒１枚ずつの静止画撮影が開始される（ステップＡ２）。

すると、この連写による１枚ずつの静止画撮影の都度、音声入力部１６にて入力される音声信号に基づき周辺の音声発生状態がチェックされ（ステップＡ３・Ａ６）、当該入力音声信号が一定レベルを超えていて且つ今回撮影した静止画に対し“音声発生フラグ”が未設定であるか否か（ステップＡ３）、または当該入力音声信号が一定レベル以下であって且つ今回撮影した静止画に対し“音声終了フラグ”が未設定であるか否か（ステップＡ６）が判断される。

例えば１枚目の静止画（Ａ）が撮影された際に（ステップＡ２）、入力音声信号が一定レベルを超えていて且つ今回撮影した静止画（Ａ）に対し“音声発生フラグ”が未設定であると判断された場合には（ステップＡ３（ｙｅｓ））、音声入力部１６により入力される音声データの記録が開始されると共に（ステップＡ４）、今回撮影した静止画（Ａ）に対して“音声発生フラグ”が記録設定される（ステップＡ５）。

すると、前記キー入力部１４からの信号入力に基づきシャッタが開放されたか否か判断され（ステップＡ９）、当該シャッタの開放がないシャッタ押下の継続操作中であると判断された場合には（ステップＡ９（ｎｏ））、前記ステップＡ４での音声データ記録状態のまま再び画像入力部１５により撮像される画像データに基づいた次の静止画撮影が実施される（ステップＡ２）。

そして、２枚目の静止画（Ｂ）が撮影された際に（ステップＡ２）、未だ入力音声信号が一定レベルを超えていて且つ今回撮影した静止画（Ｂ）に対し“音声発生フラグ”が未設定であると判断された場合には（ステップＡ３（ｙｅｓ））、音声入力部１６により入力される音声データの記録処理が継続されると共に（ステップＡ４）、今回撮影した静止画（Ｂ）に対しても“音声発生フラグ”が記録設定される（ステップＡ５）。

そしてさらに、シャッタ押下の継続操作中であると判断され（ステップＡ９（ｎｏ））、３枚目の静止画（Ｃ）が撮影された際に（ステップＡ２）、入力音声信号が一定レベル以下であって且つ今回撮影した静止画（Ｃ）に対し“音声終了フラグ”が未設定であると判断された場合には（ステップＡ６（ｙｅｓ））、音声入力部１６により入力される音声データの記録処理が終了されると共に（ステップＡ７）、今回撮影した静止画（Ｃ）に対して“音声終了フラグ”が記録設定される（ステップＡ８）。

またさらに、シャッタ押下の継続操作中であると判断され（ステップＡ９（ｎｏ））、４枚目の静止画（Ｄ）が撮影された際に（ステップＡ２）、入力音声信号が引き続き一定レベル以下であって且つ今回撮影した静止画（Ｄ）に対し“音声終了フラグ”が未設定であると判断された場合には（ステップＡ６（ｙｅｓ））、音声入力部１６により入力される音声データの記録終了が継続されると共に（ステップＡ７）、今回撮影した静止画（Ｄ）に対しても“音声終了フラグ”が記録設定される（ステップＡ８）。

この後、シャッタが開放されたと判断された際に（ステップＡ９（ｙｅｓ））、音声記録中であるか否かが確認判断され（ステップＡ１０）、音声記録中であると判断された場合には（ステップＡ１０（ｙｅｓ））、当該入力音声の記録処理は終了される（ステップＡ１１）。

この際、メモリ１２内の音声／画像用メモリに対しては、図５（Ａ）に示すように、シャッタ押下時点からシャッタ開放時点までに連写撮影された静止画像データ（Ａ〜Ｄ）および実際の音声発生時点から音声終了時点までの期間に入力された音声データが記録保持されている。そして、この音声記録期間に対応する前記１枚目と２枚目の静止画像データ（Ａ）（Ｂ）には“音声発生フラグ”が記録設定される一方、当該音声記録期間外に対応する前記３枚目と４枚目の静止画像データ（Ｃ）（Ｄ）には“音声終了フラグ”が記録設定されている。

すると、前記“音声発生フラグ”付きの静止画像から、“音声終了フラグ”付きの静止画像との間、または音声記録終了時との間に撮影された１枚目と２枚目の静止画像データ（Ａ）（Ｂ）が抽出され（ステップＡ１２）、図５（Ｂ）に示すように、この抽出された１枚目と２枚目の静止画像データ（Ａ）（Ｂ）の各々に対して前記実際の音声発生期間に応じて記録された音声データが対応付けされて同メモリ１２内に保存管理される（ステップＡ１３）。

したがって、前記構成のデジタルカメラ１０による第２実施形態（その１）の画像音声記録機能によれば、連写撮影中で実際の音声発生期間に応じて記録された音声データを、当該実際に音声が発せられているところで撮影した静止画像データに対応付けて記憶管理できるので、音声付きの連写撮影画像の連続再生（簡易動画再生）を行う場合には、当該連写撮影された複数枚の静止画像データ（Ａ〜Ｄ）を順次再生表示するのに合わせて当該記録した音声データをその記録タイミングのまま再生出力して画像・音声のタイミングの合った違和感のない簡易動画再生が効率的に行えるのは勿論、個別の静止画像データを音声付きで再生する場合でも、実際に音声が発せられたタイミングで撮影された静止画像（Ａ）（Ｂ）を再生表示するときにだけ前記記録した音声データを再生出力してより違和感のない音声付き個別静止画再生を行うことができる。

よって、この第２実施形態（その１）の画像音声記録機能の場合でも、実際は無音期間であった個別静止画（Ｃ）（Ｄ）の再生出力に伴い、タイミングがずれた音声が付けられて再生されてしまう不具合を解消することができる。

なお、前記第２実施形態（その１）の画像音声記録機能では、連写撮影中の実際の音声発生期間にだけ音声データを記録し、この音声発生期間に応じて“音声発生フラグ”を設定した静止画像データにだけ前記記録した音声データを対応付けて記憶管理する構成としたが、次の第２実施形態（その２）で説明する画像音声記録機能のように、連写撮影の開始から終了までの入力音声データを記録する一方で、実際の音声発生期間に応じて“音声発生フラグ”を設定した静止画撮影期間の記録音声データだけ切り出し、この切り出した記録音声データを前記第２実施形態（その１）と同様に“音声発生フラグ”を設定した静止画像データにだけ対応付けて記憶管理する構成としてもよい。

（第２実施形態（その２））
図６は、前記デジタルカメラ１０による第２実施形態（その２）の画像音声記録処理を示すフローチャートである。

音声付きの連写撮影モードに設定されている状態で、キー入力部１４からのシャッタ押下に伴う入力信号が検知されると（ステップＢ１）、先ず、音声入力部１６により入力される音声データの記録が開始されると共に（ステップＢ２）、画像入力部１５により撮像される画像データの例えば毎秒１枚ずつの静止画撮影が開始される（ステップＢ３）。

すると、この連写による１枚ずつの静止画撮影の都度、音声入力部１６にて入力される音声信号に基づき周辺の音声発生状態がチェックされ（ステップＢ４・Ｂ６）、当該入力音声信号が一定レベルを超えていて且つ今回撮影した静止画に対し“音声発生フラグ”が未設定であるか否か（ステップＢ４）、または当該入力音声信号が一定レベル以下であって且つ今回撮影した静止画に対し“音声終了フラグ”が未設定であるか否か（ステップＢ６）が判断される。

例えば１枚目の静止画（Ａ）が撮影された際に（ステップＢ３）、入力音声信号が一定レベルを超えていて且つ今回撮影した静止画（Ａ）に対し“音声発生フラグ”が未設定であると判断された場合には（ステップＢ４（ｙｅｓ））、今回撮影した静止画（Ａ）に対して“音声発生フラグ”が記録設定される（ステップＢ５）。

すると、前記キー入力部１４からの信号入力に基づきシャッタが開放されたか否か判断され（ステップＢ８）、当該シャッタの開放がないシャッタ押下の継続操作中であると判断された場合には（ステップＢ８（ｎｏ））、再び画像入力部１５により撮像される画像データに基づいた次の静止画撮影が実施される（ステップＢ３）。

そして、２枚目の静止画（Ｂ）が撮影された際に（ステップＢ３）、未だ入力音声信号が一定レベルを超えていて且つ今回撮影した静止画（Ｂ）に対し“音声発生フラグ”が未設定であると判断された場合には（ステップＢ４（ｙｅｓ））、当該今回撮影した静止画（Ｂ）に対しても“音声発生フラグ”が記録設定される（ステップＢ５）。

そしてさらに、シャッタ押下の継続操作中であると判断され（ステップＢ８（ｎｏ））、３枚目の静止画（Ｃ）が撮影された際に（ステップＢ３）、入力音声信号が一定レベル以下であって且つ今回撮影した静止画（Ｃ）に対し“音声終了フラグ”が未設定であると判断された場合には（ステップＢ６（ｙｅｓ））、当該今回撮影した静止画（Ｃ）に対して“音声終了フラグ”が記録設定される（ステップＢ７）。

またさらに、シャッタ押下の継続操作中であると判断され（ステップＢ８（ｎｏ））、４枚目の静止画（Ｄ）が撮影された際に（ステップＢ３）、入力音声信号が引き続き一定レベル以下であって且つ今回撮影した静止画（Ｄ）に対し“音声終了フラグ”が未設定であると判断された場合には（ステップＢ６（ｙｅｓ））、当該今回撮影した静止画（Ｄ）に対しても“音声終了フラグ”が記録設定される（ステップＢ７）。

この後、シャッタが開放されたと判断された場合に（ステップＢ８（ｙｅｓ））、入力音声の記録処理は終了される（ステップＢ９）。

この際、メモリ１２内の音声／画像用メモリに対しては、シャッタ押下時点からシャッタ開放時点までに連写撮影された静止画像データ（Ａ〜Ｄ）および同連写撮影期間に入力された音声データが記録保持されている。そして、実際の音声発生期間に対応する前記１枚目と２枚目の静止画像データ（Ａ）（Ｂ）には“音声発生フラグ”が記録設定される一方、当該実際の音声発生期間外に対応する前記３枚目と４枚目の静止画像データ（Ｃ）（Ｄ）には“音声終了フラグ”が記録設定されている。

すると、前記“音声発生フラグ”付きの静止画像から、“音声終了フラグ”付きの静止画像との間に撮影された１枚目と２枚目の静止画像データ（Ａ）（Ｂ）が抽出されると共に（ステップＢ１０）、当該“音声発生フラグ”付き静止画像（Ａ）（Ｂ）の撮影期間に応じたところの記録音声データが前記連写撮影期間の全体に渡り記録された音声データから切り出されて抽出される（ステップＢ１１）。

そして、前記図５（Ｂ）で示したように、前記抽出された１枚目と２枚目の静止画像データ（Ａ）（Ｂ）の各々に対して、前記“音声発生フラグ”の設定された実際の音声発生期間に応じて抽出された音声データが対応付けされて同メモリ１２内に保存管理される（ステップＢ１２）。

したがって、前記構成のデジタルカメラ１０による第２実施形態（その２）の画像音声記録機能によれば、連写撮影期間の全体に渡り記録された音声データから実際の音声発生期間に応じて抽出された音声データを、当該実際に音声が発せられているところで撮影した静止画像データに対応付けて記憶管理できるので、音声付きの連写撮影画像の連続再生（簡易動画再生）を行う場合には、当該連写撮影された複数枚の静止画像データ（Ａ〜Ｄ）を順次再生表示するのに合わせて当該記録した音声データをその記録タイミングのまま再生出力して画像・音声のタイミングの合った違和感のない簡易動画再生が効率的に行えるのは勿論、個別の静止画像データを音声付きで再生する場合でも、実際に音声が発せられたタイミングで撮影された静止画像（Ａ）（Ｂ）を再生表示するときにだけその撮影タイミングに合わせて抽出された音声データを再生出力してより違和感のない音声付き個別静止画再生を行うことができる。

よって、この第２実施形態（その２）の画像音声記録機能の場合でも、実際は無音期間であった個別静止画（Ｃ）（Ｄ）の再生出力に伴い、タイミングがずれた音声が付けられて再生されてしまう不具合を解消することができる。

なお、前記各実施形態の画像音声記録機能では、連写撮影された複数枚の静止画像データの中で、実際の音声発生時期に応じた撮影静止画像データだけに対して記録音声を対応付けて保存管理し、個別の静止画像を選択して音声付きで再生する場合に本来無音期間であった撮影静止画像に何らかの音声が共に再生されてしまう不具合を解消する構成としたが、次の第３実施形態で説明する画像音声記録機能のように、音声同時記録を伴う連写撮影後において、ユーザが音声付きで個別再生したい撮影静止画像を予め選択指定することで、当該指定された静止画像の撮影時期前後一定時間に記録された音声データを抽出し、該指定された静止画像データに対応付けて記憶管理する構成としてもよい。

（第３実施形態）
図７は、前記デジタルカメラ１０による第３実施形態の画像音声記録処理を示すフローチャートである。

図８は、前記デジタルカメラ１０による第３実施形態の画像音声記録処理に伴う画像・音声の記録状態とその記録データの管理状態を示す図である。

音声付きの連写撮影モードに設定されている状態で、キー入力部１４からのシャッタ押下に伴う入力信号が検知されると（ステップＣ１）、音声入力部１６により入力される音声データの記録が開始されると共に（ステップＣ２）、画像入力部１５により撮像される画像データの例えば毎秒１枚ずつの静止画撮影が開始される（ステップＣ３）。

そして、前記キー入力部１４からの信号入力に基づきシャッタが開放されたか否か判断され（ステップＣ４）、当該シャッタの開放がないシャッタ押下の継続操作中であると判断された場合には（ステップＣ４（ｎｏ））、繰り返し画像入力部１５により撮像される画像データに基づいた次の静止画撮影が実施される（ステップＣ３）。

このように、音声データの記録を伴う連写撮影により、例えば４枚の静止画像（Ａ〜Ｄ）が撮影記録された後（ステップＣ２，Ｃ３，Ｃ４→Ｃ３）、シャッタが開放されたと判断されると（ステップＣ４（ｙｅｓ））、それ以降の静止画撮影処理が停止されるのに伴い入力音声の記録処理も終了される（ステップＣ５）。

この際、メモリ１２内の音声／画像用メモリに対しては、図８（Ａ）に示すように、
シャッタ押下時点からシャッタ開放時点までに連写撮影された静止画像データ（Ａ〜Ｄ）および同連写撮影期間に入力された音声データが記録保持されている。

そして、前記連写撮影された静止画像データ（Ａ〜Ｄ）を表示させた中で、ユーザによるキー入力操作に応じて音声付きで個別再生したい撮影静止画像（Ｂ）が選択されて指定されると（ステップＣ６）、当該指定された静止画像（Ｂ）の撮影時期前後一定時間に記録された音声データが抽出され（ステップＣ７）、図８（Ｂ）に示すように、該指定された静止画像データ（Ｂ）に対応付けされて同メモリ１２内に保存管理される（ステップＣ８）。

したがって、前記構成のデジタルカメラ１０による第３実施形態の画像音声記録機能によれば、連写撮影の開始から終了までに記録した音声データのうち、ユーザ指定の静止画撮影時期に対応した一定時間に記録した音声データを抽出し、当該ユーザ指定された静止画像データに対応付けて記憶管理できるので、音声付きの連写撮影画像の連続再生（簡易動画再生）を行う場合には、当該連写撮影された複数枚の静止画像データ（Ａ〜Ｄ）を順次再生表示するのに合わせて同連写撮影期間に記録した音声データをそのまま再生出力し画像・音声のタイミングの合った違和感のない簡易動画再生が行えるのは勿論、予め選択指定した個別の静止画像データを音声付きで再生する場合でも、当該指定の静止画像の撮影時期に記録した音声データだけを同時再生出力でき、違和感のない音声付き個別静止画再生を行うことができる。

なお、前記第３実施形態の画像音声記録機能では、音声記録を伴う連写撮影後にユーザにより指定された静止画像の撮影時期前後一定時間に記録された音声データを抽出し、該指定された静止画像データに対応付けて記憶管理する構成としたが、次の第４実施形態で説明する画像音声記録機能のように、動画記録中の任意のタイミングでのユーザ操作に伴う静止画抽出に伴い、同タイミングにおける入力音声を記録し、前記抽出された静止画像データに対応付けて記憶管理する構成としてもよい。

これによれば、動画撮影中に抽出した個別の静止画像を音声付きで再生する場合でも、当該静止画像に合わせた記録音声を違和感なく再生出力することができる。

（第４実施形態）
図９は、前記デジタルカメラ１０による第４実施形態の画像音声記録処理を示すフローチャートである。

図１０は、前記デジタルカメラ１０による第４実施形態の画像音声記録処理に伴う画像・音声の記録状態とその記録データの管理状態を示す図である。

キー入力部１４における動画用シャッタの押下操作が検知されると（ステップＤ１）、画像入力部１５により入力される動画像データの撮影記録が開始される（ステップＤ２）。

この動画像データの撮影記録処理中において、ユーザ任意のタイミングでの静止画用シャッタの押下操作が検知されると（ステップＤ３）、図１０（Ａ）に示すように、前記動画像データの撮影記録処理が一時中断された後（ステップＤ４）、音声入力部１６にて入力される音声の記録が開始されると共に（ステップＤ５）、その時点の静止画像データが撮影記録され（ステップＤ６）、前記音声の記録が終了される（ステップＤ７）。そして、前記動画像データの撮影記録処理が再開される（ステップＤ８）。

この後、前記動画用シャッタの再押下操作が検知されると（ステップＤ９）、前記動画像データの撮影記録処理が終了されると共に、前記静止画撮影に伴い一時中断された前後動画像の記録データが結合されて保存される（ステップＤ１０）。

すると、前記静止画用シャッタの押下操作に伴い撮影記録された静止画像データに対して、その時点に記録された音声データが対応付けされてメモリ１２内に保存管理される（ステップＤ１１）。

したがって、前記構成のデジタルカメラ１０による第４実施形態の画像音声記録機能によれば、動画撮影中の任意のタイミングでのユーザ操作に伴う静止画データの抽出に伴い、静止画抽出時の入力音声を記録し、当該静止画像データに対応付けて記憶管理できるので、動画の撮影・再生が行えるのは勿論、当該動画撮影中に抽出した個別の静止画像を再生する場合でも、該静止画像に合わせた記録音声を違和感なく再生できるようになる。

なお、前記各実施形態において記載した手法、すなわち、図２のフローチャートに示す第１実施形態の画像音声記録処理、図４のフローチャートに示す第２実施形態（その１）の画像音声記録処理、図６のフローチャートに示す第２実施形態（その２）の画像音声記録処理、図７のフローチャートに示す第３実施形態の画像音声記録処理、図９のフローチャートに示す第４実施形態の画像音声記録処理などの各手法は、コンピュータに実行させることができるプログラムとして、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記憶媒体１３に格納して配布することができる。そして、デジタルカメラ１０のコンピュータは、この外部記憶媒体１３に記憶されたプログラムをメモリ１２内に読み込み、この読み込んだプログラムによって動作が制御されることにより、前記各実施形態において説明した連写撮影あるいは動画撮影に伴う個別静止画対応の音声記録機能を実現し、前述した手法による同様の処理を実行することができる。

また、前記各手法を実現するためのプログラムのデータは、プログラムコードの形態としてネットワーク（公衆回線）上を伝送させることができ、このネットワークに接続された通信端末装置によって本デジタルカメラ１０のメモリ１２内に前記のプログラムデータを取り込み、前述した連写撮影あるいは動画撮影に伴う個別静止画対応の音声記録機能を実現することもできる。

なお、本願発明は、前記各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、前記各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、各実施形態に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの構成要件が組み合わされても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み合わされた構成が発明として抽出され得るものである。

本発明の画像音声記録装置の実施形態に係るデジタルカメラ１０の電子回路の構成を示すブロック図。 前記デジタルカメラ１０による第１実施形態の画像音声記録処理を示すフローチャート。 前記デジタルカメラ１０による第１実施形態の画像音声記録処理に伴う画像・音声の記録状態とその記録データの管理状態を示す図。 前記デジタルカメラ１０による第２実施形態（その１）の画像音声記録処理を示すフローチャート。 前記デジタルカメラ１０による第２実施形態の画像音声記録処理に伴う画像・音声の記録状態とその記録データの管理状態を示す図。 前記デジタルカメラ１０による第２実施形態（その２）の画像音声記録処理を示すフローチャート。 前記デジタルカメラ１０による第３実施形態の画像音声記録処理を示すフローチャート。 前記デジタルカメラ１０による第３実施形態の画像音声記録処理に伴う画像・音声の記録状態とその記録データの管理状態を示す図。 前記デジタルカメラ１０による第４実施形態の画像音声記録処理を示すフローチャート。 前記デジタルカメラ１０による第４実施形態の画像音声記録処理に伴う画像・音声の記録状態とその記録データの管理状態を示す図。

符号の説明

１０ …デジタルカメラ
１１ …ＣＰＵ
１２ …メモリ
１３ …外部メモリドライブ
１４ …キー入力部
１５ …画像入力部
１６ …音声入力部
１７ …モニタ（画像／音声）

Claims (6)

1. 撮影手段と音声入力手段を有する画像音声記録装置であって、
   前記撮影手段により複数枚の静止画像を連続して撮影させる連写撮影制御手段と、
   この連写撮影制御手段による連続撮影制御中に、前記音声入力手段により入力される音声が一定レベルを超えたか否かを判断する音声レベル判断手段と、
   前記連写撮影制御手段による複数枚の静止画像の連続撮影制御に伴い前記音声入力手段により入力される音声を記録する音声記録手段と、
   前記連写撮影制御手段により連続撮影された複数枚の静止画像のうち、前記音声レベル判断手段により一定レベルを超える音声が入力されたと判断されたところで撮影された静止画像に対し、前記音声記録手段により記録された音声を対応付けて記憶する静止画音声対応記憶手段と、
   前記音声記録手段により記録された音声のうち、前記音声レベル判断手段により一定レベルを超える音声が入力されたと判断された期間にて記録された音声を抽出する記録音声抽出手段と、
   を備え、
   前記静止画音声対応記憶手段は、前記連写撮影制御手段により連続撮影された複数枚の静止画像のうち、前記音声レベル判断手段により一定レベルを超える音声が入力されたと判断された期間にて撮影された静止画像に対し、前記記録音声抽出手段により抽出された音声を対応付けて記憶する、
   ことを特徴とする画像音声記録装置。
2. 撮影手段と音声入力手段を有する画像音声記録装置であって、
   前記撮影手段により複数枚の静止画像を連続して撮影させる連写撮影制御手段と、
   この連写撮影制御手段による連続撮影制御中に、前記音声入力手段により入力される音声が一定レベルを超えたか否かを判断する音声レベル判断手段と、
   前記連写撮影制御手段による複数枚の静止画像の連続撮影制御に伴い前記音声入力手段により入力される音声を記録する音声記録手段と、
   前記連写撮影制御手段により連続撮影された複数枚の静止画像のうち、前記音声レベル判断手段により一定レベルを超える音声が入力されたと判断されたところで撮影された静止画像に対し、前記音声記録手段により記録された音声を対応付けて記憶する静止画音声対応記憶手段と、
   を備え、
   前記音声記録手段は、前記連写撮影制御手段による複数枚の静止画像の連続撮影制御に伴い、前記音声レベル判断手段により一定レベルを超えたと判断されたときから一定レベル以下と判断されたときの間に前記音声入力手段により入力された音声を記録し、
   前記静止画音声対応記憶手段は、前記連写撮影制御手段により連続撮影された複数枚の静止画像のうち、前記音声レベル判断手段により一定レベルを超える音声が入力されたと判断された期間にて撮影された静止画像に対し、前記音声記録手段により記録された音声を対応付けて記憶する、
   ことを特徴とする画像音声記録装置。
3. 撮影手段と音声入力手段を有する画像音声記録装置を用いた画像音声記録方法であって、
   前記撮影手段により複数枚の静止画像を連続して撮影させる連写撮影制御ステップと、
   この連写撮影制御ステップによる連続撮影制御中に、前記音声入力手段により入力される音声が一定レベルを超えたか否かを判断する音声レベル判断ステップと、
   前記連写撮影制御ステップによる複数枚の静止画像の連続撮影制御に伴い前記音声入力手段により入力される音声をメモリに記録させる音声記録制御ステップと、
   前記連写撮影制御ステップにより連続撮影された複数枚の静止画像のうち、前記音声レベル判断ステップにより一定レベルを超える音声が入力されたと判断されたところで撮影された静止画像に対し、前記音声記録制御ステップによりメモリに記録された音声を対応付けて管理する静止画音声対応管理ステップと、
   前記音声記録制御ステップによりメモリに記録された音声のうち、前記音声レベル判断ステップにより一定レベルを超える音声が入力されたと判断された期間にて記録された音声を抽出する記録音声抽出ステップと、
   を含み、
   前記静止画音声対応管理ステップは、前記連写撮影制御ステップにより連続撮影された複数枚の静止画像のうち、前記音声レベル判断ステップにより一定レベルを超える音声が入力されたと判断された期間にて撮影された静止画像に対し、前記記録音声抽出ステップにより抽出された音声を対応付けて管理する、
   ことを特徴とする画像音声記録方法。
4. 撮影手段と音声入力手段を有する画像音声記録装置を用いた画像音声記録方法であって、
   前記撮影手段により複数枚の静止画像を連続して撮影させる連写撮影制御ステップと、
   この連写撮影制御ステップによる連続撮影制御中に、前記音声入力手段により入力される音声が一定レベルを超えたか否かを判断する音声レベル判断ステップと、
   前記連写撮影制御ステップによる複数枚の静止画像の連続撮影制御に伴い前記音声入力手段により入力される音声をメモリに記録させる音声記録制御ステップと、
   前記連写撮影制御ステップにより連続撮影された複数枚の静止画像のうち、前記音声レベル判断ステップにより一定レベルを超える音声が入力されたと判断されたところで撮影された静止画像に対し、前記音声記録制御ステップによりメモリに記録された音声を対応付けて管理する静止画音声対応管理ステップと、
   を含み、
   前記音声記録制御ステップは、前記連写撮影制御ステップによる複数枚の静止画像の連続撮影制御に伴い、前記音声レベル判断ステップにより一定レベルを超えたと判断されたときから一定レベル以下と判断されたときの間に前記音声入力手段により入力された音声をメモリに記録させ、
   前記静止画音声対応管理ステップは、前記連写撮影制御ステップにより連続撮影された複数枚の静止画像のうち、前記音声レベル判断ステップにより一定レベルを超える音声が入力されたと判断された期間にて撮影された静止画像に対し、前記音声記録制御ステップによりメモリに記録された音声を対応付けて管理する、
   ことを特徴とする画像音声記録方法。
5. 撮影手段と音声入力手段を有する画像音声記録装置のコンピュータを制御するための画像音声記録制御プログラムであって、
   前記コンピュータを、
   前記撮影手段により複数枚の静止画像を連続して撮影させる連写撮影制御手段、
   この連写撮影制御手段による連続撮影制御中に、前記音声入力手段により入力される音声が一定レベルを超えたか否かを判断する音声レベル判断手段、
   前記連写撮影制御手段による複数枚の静止画像の連続撮影制御に伴い前記音声入力手段により入力される音声をメモリに記録させる音声記録制御手段、
   前記連写撮影制御手段により連続撮影された複数枚の静止画像のうち、前記音声レベル判断手段により一定レベルを超える音声が入力されたと判断されたところで撮影された静止画像に対し、前記音声記録制御手段によりメモリに記録された音声を対応付けて管理する静止画音声対応管理手段、
   前記音声記録制御手段によりメモリに記録された音声のうち、前記音声レベル判断手段により一定レベルを超える音声が入力されたと判断された期間にて記録された音声を抽出する記録音声抽出手段、
   として機能させ、
   前記静止画音声対応管理手段は、前記連写撮影制御手段により連続撮影された複数枚の静止画像のうち、前記音声レベル判断手段により一定レベルを超える音声が入力されたと判断された期間にて撮影された静止画像に対し、前記記録音声抽出手段により抽出された音声を対応付けて管理する、
   ことを特徴とするコンピュータ読み込み可能な画像音声記録制御プログラム。
6. 撮影手段と音声入力手段を有する画像音声記録装置のコンピュータを制御するための画像音声記録制御プログラムであって、
   前記コンピュータを、
   前記撮影手段により複数枚の静止画像を連続して撮影させる連写撮影制御手段、
   この連写撮影制御手段による連続撮影制御中に、前記音声入力手段により入力される音声が一定レベルを超えたか否かを判断する音声レベル判断手段、
   前記連写撮影制御手段による複数枚の静止画像の連続撮影制御に伴い前記音声入力手段により入力される音声をメモリに記録させる音声記録制御手段、
   前記連写撮影制御手段により連続撮影された複数枚の静止画像のうち、前記音声レベル判断手段により一定レベルを超える音声が入力されたと判断されたところで撮影された静止画像に対し、前記音声記録制御手段によりメモリに記録された音声を対応付けて管理する静止画音声対応管理手段、
   として機能させ、
   前記音声記録制御手段は、前記連写撮影制御手段による複数枚の静止画像の連続撮影制御に伴い、前記音声レベル判断手段により一定レベルを超えたと判断されたときから一定レベル以下と判断されたときの間に前記音声入力手段により入力された音声をメモリに記録させ、
   前記静止画音声対応管理手段は、前記連写撮影制御手段により連続撮影された複数枚の静止画像のうち、前記音声レベル判断手段により一定レベルを超える音声が入力されたと判断された期間にて撮影された静止画像に対し、前記音声記録制御手段によりメモリに記録された音声を対応付けて管理する、
   ことを特徴とするコンピュータ読み込み可能な画像音声記録制御プログラム。

Images