JP5682512B2 - 撮像装置及び画像音声再生装置 - Google Patents

Description

本発明は、動画像を記録可能な撮像装置及び動画像を再生可能な画像音声再生装置に関するものである。

動画像の撮影中に静止画像の同時撮影を行う撮像装置が知られている（例えば、特許文献１参照）。この撮像装置においては、静止画像の再生を行う際に、動画像撮影により取得した音声データの特定部分を抽出することにより、音声と共に再生を行っている。

特開２００８−２８３７０８号公報

しかし、この撮像装置においては、音声の収録時間及び抽出された音声データの特定部分の時間は静止画像の再生時間に応じた時間ではなく、静止画像の再生を行う際に特定部分の音声のリピート再生または一回再生等の処理を行うため、臨場感が損なわれる場合もあった。

一方で、被写体が実際の動きよりスローに動くスローモーション動画像等のような、印象的な映像効果を有する動画像の撮影を行い、音声と共に再生を行いたいという要望もある。

本発明の目的は、スローモーション動画像及び静止画像の再生時間に応じた音声データの記録を行うことができる撮像装置を提供することである。

また、本発明の目的は、スローモーション動画像及び静止画像の再生時間に応じた音声の再生を行うことができる画像音声再生装置を提供することである。

本発明は以下のような解決手段により上記課題を解決する。

本発明に係る撮像装置は、被写体からの光を撮像する撮像素子からの撮像信号に基づく複数のフレーム画像及び音声を取得する集音部からの音声信号に基づく生録音データを順次記憶する記憶部と、第１所定時間の間に前記記憶部に記憶された前記複数のフレーム画像に基づいて、前記記憶部に単位時間に記憶される前記フレーム画像の数を示す第１フレームレートより少ない第２フレームレートで再生されるスローモーション動画像データを生成する動画像データ生成部と、前記第１所定時間の間に前記記憶部に記憶された前記複数のフレーム画像のうちの少なくとも１つのフレーム画像に基づいて少なくとも１つの静止画像データを生成する静止画像データ生成部と、前記第１所定時間の開始時とともに記憶開始され且つ該第１所定時間よりも長い第２所定時間の間に前記記憶部に記憶された前記生録音データに基づいて、前記生録音データの中の第１の位置を含み且つ前記第２所定時間よりも短い第１の音声データと、前記生録音データの中の前記第１の位置とは異なる第２の位置を含み且つ前記第２所定時間よりも短い第２の音声データと、を含む音声データを生成する音声データ生成部と、前記音声データ生成部により生成された前記第１の音声データと前記第２の音声データとを、前記動画像データ生成部により生成された前記スローモーション動画像データ及び前記静止画像データ生成部により生成された静止画像データにそれぞれ個別に関連付けて記録媒体に記録する記録制御部とを備えることを特徴とする。

また、本発明に係る画像音声再生装置は、被写体からの光を撮像する撮像素子からの撮像信号に基づき、第１所定時間の間に取得された複数のフレーム画像に基づき生成され、単位時間に前記撮像信号に基づき生成されるフレーム画像の数を示す第１フレームレートより少ない第２フレームレートで再生されるスローモーション動画像のスローモーション動画像データと、前記複数のフレーム画像の中の少なくとも１枚のフレーム画像に基づき生成される静止画像データと、音声を取得する集音部から前記第１所定時間の開始時とともに取得開始され且つ該第１所定時間よりも長い第２所定時間の間に取得された生録音データに基づいて生成され且つ前記スローモーション動画像データと前記静止画像データにそれぞれ個別に関連付けられている、前記生録音データの中の第１の位置を含み且つ前記第２所定時間よりも短い第１の音声データと、前記生録音データの中の前記第１の位置とは異なる第２の位置を含み且つ前記第２所定時間よりも短い第２の音声データと、を記憶する記憶部と、前記記憶部に記憶されている前記スローモーション動画像データに基づく前記スローモーション動画像または前記静止画像データに基づく前記静止画像を表示部に表示する画像表示制御部と、前記画像表示制御部による画像表示制御中に、前記第１の音声データまたは前記第２の音声データに基づく音声を音声出力部から出力する音声出力制御部とを備えることを特徴とする。

本発明に係る撮像装置によれば、スローモーション動画像及び静止画像の再生時間に応じた音声データの記録を行うことができる。

また、本発明に係る画像音声再生装置によれば、スローモーション動画像及び静止画像の再生時間に応じた音声の再生を行うことができる。

第１の実施の形態に係る電子カメラのシステム構成を示すブロック図である。 第１の実施の形態に係る電子カメラのスローモーション動画像データ、静止画像データ及び音声データの生成処理を示すタイムチャートである。 第１の実施の形態に係る電子カメラのスローモーション動画像、静止画像及び音声の再生処理を示すタイムチャートである。 第２の実施の形態に係る電子カメラのスローモーション動画像データ、静止画像データ及び音声データの生成処理を示すタイムチャートである。 第３の実施の形態に係る電子カメラのスローモーション動画像データ、静止画像データ及び音声データの生成処理を示すタイムチャートである。 第３の実施の形態に係る電子カメラの音声データの記録処理を示す図である。 第４の実施の形態に係る電子カメラのスローモーション動画像データ、静止画像データ及び音声データの生成処理を示すタイムチャートである。 第５の実施の形態に係る電子カメラのスローモーション動画像データ、静止画像データ及び音声データの生成処理を示すタイムチャートである。

以下、図面を参照して本発明の実施の形態に係る撮像装置及び画像音声再生装置として電子カメラについて説明する。図１は、実施の形態に係る電子カメラのシステム構成を示すブロック図である。図１に示すように電子カメラ２は、マイクロプロセッサ等により構成され、電子カメラ２の各部を統括的に制御する制御部４を備えている。制御部４には、撮像素子６、アンプ・Ａ／Ｄ変換部８、記録媒体１０、表示部１２、スピーカ１４、操作部１６、及びバッファメモリ１８が接続されている。

撮像素子６は、ＣＣＤまたはＣＭＯＳ等により構成され、不図示の撮影レンズを介した被写体光を撮像して撮像信号を制御部４に対して出力する。制御部４は、撮像素子６からの撮像信号をアナログ信号からデジタル信号に変換し、デジタル信号から画像データを作成する。ＣＭＯＳ型撮像素子の場合は、直接デジタル信号を出力する場合もある。

アンプ・Ａ／Ｄ変換部８は、マイク９により集音された電子カメラ２周辺の音声のアナログ信号をデジタル信号に変換し、変換された音声のデジタル信号を制御部４に対して出力する。制御部４は、アンプ・Ａ／Ｄ変換部８から出力された音声のデジタル信号から音声データを作成する。記録媒体１０は、電子カメラ２に設けられたカードスロット（図示せず）に着脱可能に装着される可搬性を有する記録媒体であり、例えば、ＣＦカード、ＳＤカード、スマートメディア等が用いられる。記録媒体１０には、制御部４において作成された画像データや音声データ等が記録される。

表示部１２は、電子カメラ２の背面部に配置されるＬＣＤ等により構成されるモニタまたはＬＣＤ等により構成されるＥＶＦ等により構成され、撮像素子６からの撮像信号に基づくスルー画像、記録媒体１０に記録されている動画像データに基づく動画像、スローモーション動画像データ（以下、スロー動画像データという。）に基づくスローモーション動画像（以下、スロー動画像という。）、静止画像データに基づく静止画像、及び電子カメラ２内の不図示のメモリに記憶されている撮影に関する情報等を表示する。スピーカ１４は、記録媒体１０に記録されている音声データに基づく音声を出力する。

操作部１６は、電子カメラ２の電源をオン／オフする電源スイッチ、動画像を撮影する動画像撮影モードやスロー動画像を撮影するスローモーション動画像撮影モード等の撮影モードを設定するためのコマンドダイヤル、動画像や静止画像の撮影及び音声の録音開始等を指示するためのレリーズボタン、表示部１２にメニュー等を表示させるためのメニューボタン、メニュー項目等の選択や様々な設定時に操作される十字キー、メニュー項目等の選択や様々な設定に対する確定操作を行うためのＯＫボタン等を含んで構成されている。

バッファメモリ１８は、撮像素子６からの撮像信号に基づき生成された画像データ及びアンプ・Ａ／Ｄ変換部８から出力された生録音データを一時的に記憶する。ここで、電子カメラ２がスロー動画像の撮影を行う場合には、バッファメモリ１８は撮像素子６から動画像サイクル（６０ｆｐｓ等）に同期して出力される撮像信号に基づく複数の画像データ、即ちスロー動画像を構成する複数のフレーム画像をＦＩＦＯ（ｆｉｒｓｔ ｉｎ ｆｉｒｓｔ ｏｕｔ）方式で順次記憶する。

この実施の形態に係る電子カメラ２では撮像素子６から出力され、バッファメモリ１８に単位時間に記憶されるフレーム画像の数を示す第１フレームレートより少ない第２フレームレートで再生されるスロー動画像データを生成し、かつ該スロー動画像データを形成する複数のフレーム画像の少なくとも１つのフレーム画像に基づく静止画像データを生成し、生成されたスロー動画像データ及び静止画像データを互いに関連付けて記録媒体１０に記録することができる。また、マイク９により集音しアンプ・Ａ／Ｄ変換部８により生成した生録音データに基づく音声データをスロー動画像データ及び静止画像データに関連付けて記録媒体１０に記録することができる。

なお、この実施の形態では、静止画像データとなるフレーム画像がバッファメモリ１８に記憶された時から第３所定時間ｔ_３前までの間にバッファメモリ１８に記憶された複数のフレーム画像、及び静止画像データとなるフレーム画像がバッファメモリ１８に記憶された後から第４所定時間ｔ_４後までの間にバッファメモリ１８に記憶された複数のフレーム画像に基づいて、スロー動画像データを生成する。即ち、所定時間（第１所定時間ｔ_１＝第３所定時間ｔ_３＋第４所定時間ｔ_４）の間にバッファメモリ１８に記憶された複数のフレーム画像に基づいてスロー動画像データを生成し、第３所定時間ｔ_３終了時（第４所定時間ｔ_４開始時）にバッファメモリ１８に記憶されたフレーム画像に基づいて静止画像データを生成する。なお、第１所定時間ｔ_１（例えば１秒等）、第３所定時間ｔ_３（例えば０．６秒等）、及び第４所定時間ｔ_４（例えば０．４秒等）は、予め設定され、図示しないメモリ等に記憶されており、変更可能に構成されている。

また、この実施の形態では、静止画像データとなるフレーム画像がバッファメモリ１８に記憶された時から第３所定時間ｔ_３前までの間にバッファメモリ１８に記憶された音声、及び静止画像データとなるフレーム画像がバッファメモリ１８に記憶された後から第５所定時間ｔ_５後までの間にバッファメモリ１８に記憶された音声に基づいて、音声データを生成する。即ち、所定時間（第２所定時間ｔ_２＝第３所定時間ｔ_３＋第５所定時間ｔ_５）の間にバッファメモリ１８に記憶された音声に基づいて音声データを生成する。なお、第２所定時間ｔ_２（例えば１０秒等）、第３所定時間ｔ_３（例えば０．６秒等）及び第５所定時間ｔ_５（例えば９．４秒等）は、予め設定され、図示しないメモリ等に記憶されており、変更可能に構成されている。

以下、図面を参照して第１の実施の形態に係る電子カメラ２においてスロー動画像、静止画像の撮影及び音声の録音を行う場合の処理について説明する。ユーザーがコマンドダイヤルを操作することにより撮影モードをスローモーション動画像撮影モードに設定すると、制御部４は、スロー動画像、該スロー動画像に関連する静止画像の撮影及び該スロー動画像に関連する音声の録音を行うためのスローモーション動画像撮影モードに移行する。次に、制御部４は、ユーザーによりレリーズボタンの半押し操作が行われたか否かを判別する。レリーズボタンが半押しされると、制御部４は、スロー動画像及び静止画像の撮影準備、即ち主要被写体に対して合焦させ、図２のＴＳ１（レリーズボタン半押し時点）に示すようにスロー動画像の撮影及び音声の録音、即ちバッファメモリ１８へのフレーム画像及び音声のバッファリングを開始する。

なお、この実施の形態においては、ユーザーによるレリーズボタンの全押し操作時（ＴＳ２）に、撮像素子６から出力される撮像信号に基づくフレーム画像に基づいて静止画像データを生成する。したがって、バッファメモリ１８が例えばｎ枚（ｎは自然数）のフレーム画像を記憶可能な記憶領域を有している場合に、バッファメモリ１８にｎ枚のフレーム画像が記憶された後においては、レリーズボタンの全押し操作（ＴＳ２）が行われるまで、フレーム画像が生成されるたびに、バッファメモリ１８内の最古のフレーム画像を削除し、生成されたフレーム画像（最新のフレーム画像）をバッファメモリ１８に記憶する処理を繰り返す。

また、バッファメモリ１８が例えばｓ時間分（ｓ＞０）の音声を記憶可能な記憶領域を有している場合に、バッファメモリ１８にｓ時間分の音声が記憶された後においては、レリーズボタンの全押し操作（ＴＳ２）が行われるまで音声が出力されるたびに、バッファメモリ１８内の最古の音声を削除し、出力された音声（最新の音声）をＦＩＦＯ方式でバッファメモリ１８に記憶する処理を繰り返す。

次に、制御部４は、バッファメモリ１８へのフレーム画像及び音声の記憶を繰り返している最中にレリーズボタンの全押し操作が行われたか否かを判別する。レリーズボタンが全押しされると、制御部４は、静止画像データの生成を指示する静止画像撮影指示が入力されたと判断し、第４所定時間ｔ_４及び第５所定時間ｔ_５を開始（第３所定時間ｔ_３を終了）させる。

次に、制御部４は、第４所定時間ｔ_４及び第５所定時間ｔ_５が経過したか否かを判別する。第４所定時間ｔ_４が経過した場合には、制御部４は、スロー動画像データを生成するのに必要な枚数のフレーム画像（図２に示す画像保存対象）のバッファメモリ１８へのバッファリングを終了する。また、第５所定時間ｔ_５が経過した場合には、制御部４は、音声データを生成するのに必要な時間分の音声（図２に示す音声保存対象）のバッファメモリ１８へのバッファリングを終了する。

なお、第５所定時間ｔ_５は第４所定時間ｔ_４よりも長いため、制御部４は音声の録音が終了していない旨をユーザーに報知する。ここで、表示部１２に録音中である旨を示す画像や文字を表示することにより音声の録音が終了していない旨をユーザーに報知してもよい。また、表示部１２に録音経過時間を示すインジケータ等を表示することにより音声の録音が終了していない旨をユーザーに報知してもよい。更に、表示部１２に録音終了までの残り時間を表示することにより音声の録音が終了していない旨をユーザーに報知してもよい。

次に、制御部４は、スロー動画像データ、静止画像データ及び音声データの生成を行う。まず、スロー動画像データの生成処理について説明する。制御部４は、図２に示すようにレリーズボタンが全押しされた時から第３所定時間ｔ_３（この実施の形態では０．６秒）前までの間にバッファメモリ１８にバッファリングされた複数のフレーム画像と、レリーズボタンが全押しされた時から第４所定時間ｔ_４（この実施の形態では０．４秒）後までの間にバッファメモリ１８にバッファリングされた複数のフレーム画像に基づいて、スロー動画像データを生成する。具体的には、撮像素子６から出力されるフレームレート（撮影フレームレート）と同等の第１フレームレート（例えば６０フレーム／秒等）でバッファメモリ１８に記憶されているフレーム画像を、第１フレームレートより少ない第２フレームレート（例えば第１フレームレートの１／２．５である２４フレーム／秒等）でバッファメモリ１８から読み出し、読み出したフレーム画像に対して制御部４内の縮小回路（不図示）により動画像用の解像度へのリサイズ（解像度大から小へ）処理、制御部４内の動画像用信号処理回路（不図示）により動画像用の画像処理（動画像用圧縮処理を含む）を施すことにより、スロー動画像データを作成する。なお、第３所定時間ｔ_３、第４所定時間ｔ_４及び第２フレームレートは、予め設定され、図示しないメモリ等に記憶されており、変更可能に構成されている。

また、図２に示すように制御部４は、レリーズボタンが全押しされた時（ＴＳ２）に、撮像素子６から出力される撮像信号に基づくフレーム画像に基づいて、静止画像データを生成する。具体的にはレリーズボタンが全押しされた時（ＴＳ２）に、バッファメモリ１８に記憶されたフレーム画像をバッファメモリ１８から読み出し、読み出されたフレーム画像に対して制御部４内の静止画像用信号処理回路（不図示）により静止画像用の画像処理（静止画像用圧縮処理を含む）を施すことにより静止画像データを生成する。

また、図２に示すように制御部４は、レリーズボタンが全押しされた時（ＴＳ２）から第３所定時間ｔ_３（この実施の形態では０．６秒）前までの間にバッファメモリ１８にバッファリングされた音声と、レリーズボタンが全押しされた時（ＴＳ２）から第５所定時間ｔ_５（この実施の形態では９．４秒）後までの間、即ち第２所定時間ｔ_２の間（この実施の形態では１０秒）にバッファメモリ１８にバッファリングされた音声に基づいて、音声データを生成する。

次に、制御部４は生成された音声データをスロー動画像データ及び静止画像データに関連付けて記録媒体１８に記録する。具体的には、スロー動画像データ、静止画像データ及び音声データのファイル名を同一にして記録媒体１０に記録する。

なお、スロー動画像データ、静止画像データ及び音声データのファイル名を同一にする構成に加えて、または代えて、スロー動画像データ及び静止画像データへの音声データの情報及びセットＩＤ情報を付加することにより、スロー動画像データ、静止画像データ及び音声データの関連を識別可能な構成としてもよい。

この場合には、音声データの情報及びセットＩＤ情報を、スロー動画像データの付属情報として、スロー動画像データや他の情報と共に、所定の形式で、メーカー独自情報領域内に付加して記録媒体１０に記録する。同様に、音声データの情報及びセットＩＤ情報を、静止画像データの付属情報として、静止画像データである圧縮データ（画像）や他の情報と共に、Ｅｘｉｆ（Ｅｘｃｈａｎｇａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）等の所定の形式で、ＡＰＰ１セグメントのメーカー独自情報領域内（Ｅｘｉｆにおいてはメーカーノート内）に付加して記録媒体１０に記録する。

ここで、セットＩＤ情報は、異なるファイル（異なる拡張子を有するファイル）として記録媒体１０に記録されるスロー動画像データ及び静止画像データを関連付けるための情報であり、制御部４は、スロー動画像データ（または静止画像データ）のセットＩＤ情報を参照することにより、同一のセットＩＤ情報を有する静止画像データ（またはスロー動画像データ）を該スロー動画像データに関連する静止画像データ（または該静止画像データに関連するスロー動画像データ）として認識する。また、音声データ情報として、音声データに割り当てられるファイル名や数値等がスロー動画像データ及び静止画像データの付属情報として記録されており、電子カメラ２は、例えば図示しないメモリ内に音声データのファイル名や数値等を示すデータベースを有している。

次に、図３に示すタイムチャートを参照して第１の実施の形態に係る電子カメラ２においてスロー動画像及び静止画像を再生する際の処理について説明する。まず、ユーザーがコマンドダイヤルを操作して再生モードを設定すると、制御部４は記録媒体１０に記録されているスロー動画像データに基づくスロー動画像、静止画像データに基づく静止画像及び音声データに基づく音声を再生するための再生モードに移行する。そして、ユーザーにより操作部１６を介してスロー動画像の再生指示がなされたか否かを判別する。ここで、スロー動画像の再生指示としては、例えば撮影日時の古い順または新しい順に、表示部１２にスロー動画像や静止画像等が表示されている場合における、次の画像の表示を指示する十字キーの左ボタン、前の画像の表示を指示する十字キーの右ボタン、図示しないコマ送りボタンの押下、例えば記録媒体１０に記録されている画像データのサムネイル画像の一覧等が表示されている場合における、十字キーを用いたスロー動画像のサムネイル画像選択後のＯＫボタンの押下等が挙げられる。

スロー動画像の再生指示がなされた場合には、制御部４は再生指示がなされたスロー動画像のスロー動画像データ、スロー動画像データに関連付けて記録媒体１０に記録されている静止画像データ及び音声データをそれぞれバッファメモリ１８にバッファリングする。

次に、制御部４は、スロー動画像が再生されることを印象付けるために、表示部１２に表示されていた画像と、スロー動画像を形成する最初のフレーム画像との間に、黒画像を短時間ｆ_１（約０．５秒）の間、表示部１２に表示する。即ち、表示部１２の表示画面を一旦暗転させた後、バッファメモリ１８にバッファリングされたスロー動画像の再生を開始する。具体的には、第３所定時間ｔ_３の間に撮影された複数のフレーム画像及び第４所定時間ｔ_４の間に撮影された複数のフレーム画像を、第１フレームレート（撮影フレームレート）より少ない第２フレームレートで、表示部１２に時系列に表示すると同時に、後述するように音声を再生する。このとき、スロー動画像の再生開始から所定時間ｆ_１（約０．５秒）かけてスロー動画像がフェードインする等のトランジションエフェクトを施す。

また、制御部４は、スロー動画像が再生されることを印象付けるために、スピーカ１４から出力されていた音声と、スロー動画像と共に再生する音声との間に、音量を抑えた音声を短時間の間、スピーカ１４から出力する。または、制御部４は、スピーカ１４からの音声の出力を短時間の間、停止する。即ち、スピーカ１４から出力される音声を一旦無音とさせた後、バッファメモリ１８にバッファリングされた音声の再生を開始する。具体的には、第３の所定時間の間に集音された音声及び第５の所定時間の間に集音された音声を、上述のスロー動画像と同時に再生する。このとき、音声の再生開始から所定時間ｆ_４（約０．５秒）かけて音声がフェードインする等の音声に対する処理を施す。なお、図３においては、再生開始からスロー動画像に対してトランジションエフェクトを施す時間ｆ_１と、音声に対する処理を施す時間ｆ_４とを同一の長さとしているが、異なる長さであってもよい。

そして、制御部４は、スロー動画像及び音声の再生を継続し、スロー動画像の再生終了（ＴＰ２）から所定時間ｆ_２（約０．５秒）前から、スロー動画像の再生終了（ＴＰ２）までの間、スロー動画像がフェードアウトする等のトランジションエフェクトを施す。そして、制御部４は、スロー動画像の再生が終了したと判別した場合、例えば第３所定時間ｔ_３が０．６秒、第４所定時間ｔ_４が０．４秒、第２フレームレートが第１フレームレートの１／２．５の場合にあっては、スロー動画像の再生開始から２．５秒経過した後に、バッファメモリ１８にバッファリングされた静止画像を表示部１２に表示する。このとき、静止画像の再生開始（ＴＰ２）から所定時間ｆ３（約０．５秒）かけて静止画像がフェードインする等のトランジションエフェクトを施す。

また、音声の再生は、バッファメモリ１８にバッファリングされている全ての音声の再生が終了するまで継続する。即ち、制御部４は、スロー動画像の再生終了や静止画像の再生開始にかかわらず、音声の再生を継続し、音声の再生終了ＴＰ３から所定時間ｆ_５（約０．５秒）前から、音声の再生終了までの間、音声がフェードアウトする等の音声に対する処理を施す。なお、この実施の形態においては、音声データに基づく音声の再生時間が第２所定時間ｔ_２であるため、ＴＰ３はＴＰ１から第２所定時間ｔ_２を経過した時となる。

次に、制御部４は、ユーザーにより操作部１６を介して静止画像の表示停止の指示がなされたか否かを判別する。静止画像の表示停止の指示としては、例えば静止画像の表示中であって、スロー動画像の再表示を指示するＯＫボタン、次の画像表示を指示する十字キーの左ボタン、前の画像表示を指示する十字キーの右ボタンの押下等が挙げられる。静止画像の表示停止の指示がなされた場合には、制御部４は図５のＴＰ４の時点に示すように静止画像の表示を停止する。

この第１の実施の形態に係る電子カメラによれば、スローモーション動画像及び静止画像の再生時間に応じた音声データの記録及び再生を行うことができる。

次に、図４を参照して第２の実施の形態に係る電子カメラ２においてスロー動画像、静止画像の撮影及び音声の録音を行う場合の処理について説明する。

ユーザーがコマンドダイヤルを操作することにより撮影モードをスローモーション動画像撮影モードに設定すると、制御部４はスローモーション動画像撮影モードに移行する。次に、制御部４は、ユーザーによりレリーズボタンの半押し操作がなされたか否かを判別する。レリーズボタンが半押しされると、制御部４は、図４のＴＳ１（レリーズボタン半押し時点）に示すようにバッファメモリ１８へのフレーム画像及び音声のバッファリングを開始する。なお、このバッファリング処理は第１の実施の形態におけるバッファリング処理と同様であるため説明は省略する。

次に、制御部４は、バッファメモリ１８へのフレーム画像及び音声の記憶を繰り返している最中にレリーズボタンの全押し操作がなされたか否かを判別する。レリーズボタンが全押しされると、制御部４は、静止画像データの生成を指示する静止画像撮影指示が入力されたと判断し、第４所定時間ｔ_４及び第５所定時間ｔ_５を開始（第３所定時間ｔ_３を終了）させる。

次に、制御部４は、レリーズボタンが全押しされて（ＴＳ２）から第４所定時間ｔ_４が経過したか否かを判別する。第４所定時間ｔ_４が経過した場合には、制御部４は、スロー動画像データを作成するのに必要な枚数のフレーム画像（図４に示す画像保存対象）のバッファメモリ１８へのバッファリングを終了する。

次に、制御部４は、ＴＳ２から第４所定時間ｔ_４の経過後にユーザーにより再びレリーズボタンの全押し操作がなされたか否かを判別する。レリーズボタンが全押しされた場合には、制御部４は、録音の終了指示が入力されたと判断し、第５所定時間ｔ_５を終了させる。即ち、ＴＳ３の時点で音声データを生成するのに必要な時間分の音声（図４に示す音声保存対象）の、バッファメモリ１８へのバッファリングを終了する。なお、レリーズボタンが全押しされる前に、生成することができる音声データの最大の長さである規定最大録音時間Ｌ（例えば１０秒等）を経過した場合には、制御部４は、第５所定時間ｔ_５を終了させる。なお、操作部１６が録音の終了指示を行う録音停止ボタンを備える場合には、録音停止ボタンが押下された時に、制御部４は、第５所定時間ｔ_５を終了させる構成としてもよい。

次に、制御部４は、スロー動画像データ、静止画像データ及び音声データの生成を行い、生成された音声データをスロー動画像データ及び静止画像データに関連付けて記録媒体１０に記録する。なお、これらのデータの生成処理及び記録処理は第１の実施の形態における処理と同様であるため説明は省略する。

また、第２の実施の形態に係る電子カメラ２においてスロー動画像及び静止画像を再生する処理は第１の実施の形態に係る電子カメラ２における再生処理と同様であるため説明を省略する。

この第２の実施の形態に係る電子カメラによれば、ユーザーが必要とする音声を録音し終わるまで、スロー動画像及び静止画像に関連付けた音声の録音を行うことができる。

なお、この第２の実施の形態においては、スロー動画像の再生時間よりも長い再生時間を有する音声を再生する構成として説明したが、音声の再生時間がスロー動画像の再生時間と同じ程度の長さである場合には、スロー動画像と同時に音声を１回再生した後、静止画像を再生する際に音声を再度再生する。この場合には、制御部４は、音声の再生時間に合わせて静止画像の再生を行う。

また、この第２の実施の形態においては、シャッタボタンが全押しされた時に制御部４は、録音終了指示が入力されたと判断する構成としたが、電子カメラ２の操作部１６が音声の録音を指示する録音ボタンを備える場合には、制御部４は録音ボタンの押下操作がなされている間に音声の録音を行う構成としてもよい。即ち、レリーズボタンが全押しされた時に、録音ボタンが押下されている場合には、制御部４は、第４所定時間ｔ_４及び第５所定時間ｔ_５を開始（第３所定時間ｔ_３を終了）させ、録音ボタンが押下されなくなった時に第５所定時間ｔ_５を終了させる。即ち、録音ボタンが押下されている時間を第５所定時間ｔ_５として音声を取得する。この場合には、録音ボタンをレリーズボタンの近傍に配置することにより、例えば、ユーザーが人差し指でレリーズボタンの操作を行い、親指で録音ボタンを操作可能な構成とすることができる。従って、ユーザーが所望する音声の録音を容易な操作により行うことができる。

また、この場合において、レリーズボタンが全押しされた時に、録音ボタンが押下されていない場合には、録音を行わない構成とする。このときバッファメモリ１８にバッファリングした複数のフレーム画像に基づいて生成されたスロー動画像データに基づくスロー動画像及び、レリーズボタンが全押しされた時に撮像素子６から出力される撮像信号に基づくフレーム画像に基づいて生成された静止画像データに基づく静止画像を再生する際に、制御部４は、スピーカ１４から出力する音声として不図示のメモリに記憶されたＢＧＭを用いる。また、不図示のメモリに複数のＢＧＭが記憶されている場合には、スロー動画像及び静止画像に応じたテーマのＢＧＭをユーザーが選択する構成としてもよい。

また、この場合において、レリーズボタンが半押しされ、さらに録音ボタンが押下された場合に第２所定時間ｔ_２を開始し、その後録音ボタンが押下されなくなった場合に第２所定時間ｔ_２を終了する構成としてもよい。

次に、図５及び図６を参照して第３の実施の形態に係る電子カメラ２においてスロー動画像、静止画像の撮影及び音声の録音を行う場合の処理について説明する。

ユーザーがコマンドダイヤルを操作することによりスローモーション動画像撮影モードを設定すると、制御部４はスローモーション動画像撮影モードに移行する。次に、制御部４は、ユーザーによりレリーズボタンの半押し操作がなされたか否かを判別する。レリーズボタンが半押しされると、図５のＴＳ１（レリーズボタン半押し時点）に示すように制御部４は、スロー動画像及び静止画像の撮影準備、即ち主要被写体に対して合焦させ、スロー動画像の撮影、即ちバッファメモリ１８へのフレーム画像のバッファリングを開始する。また、このとき制御部４は、第２所定時間ｔ_２を開始させ、音声のバッファメモリ１８へのバッファリングを開始する。

ここで、この第３の実施の形態においては、フレーム画像については第１の実施の形態と同様にＦＩＦＯ方式でバッファメモリ１８に順次記憶する。一方、ユーザーによるレリーズボタンの半押し操作がされた時から、第２所定時間ｔ_２（第５所定時間ｔ_５）を終了させるまでの間にバッファメモリ１８に記憶される音声については、削除処理を行うことなくバッファメモリ１８に記憶する。

次に、制御部４は、バッファメモリ１８へのフレーム画像の記憶を繰り返している最中にレリーズボタンの全押し操作がなされたか否かを判別する。レリーズボタンが全押しされた場合には、制御部４は、静止画像データの生成を指示する静止画像撮影指示が入力されたと判断し、第４所定時間ｔ_４を開始（第３所定時間ｔ_３を終了）させる。

次に、制御部４は、レリーズボタンが全押しされて（ＴＳ２）から第４所定時間ｔ_４が経過したか否かを判別する。第４所定時間ｔ_４が経過した場合には、制御部４は、スロー動画像データを作成するのに必要な枚数のフレーム画像（図５に示す画像保存対象）のバッファメモリ１８へのバッファリングを終了する。

次に、制御部４は、第４所定時間ｔ_４の経過後にユーザーにより再びレリーズボタンの全押し操作がなされたか否かを判別する。レリーズボタンが全押しされた場合には（ＴＳ３）、制御部４は、録音の終了指示が入力されたと判断し、第２所定時間ｔ_２（第５所定時間ｔ_５）を終了させ、音声（図５に示す音声保存対象）のバッファメモリ１８へのバッファリングを終了する。なお、レリーズボタンが全押しされる前に、生成することができる音声データの最大の長さである規定最大録音時間（例えば２０〜３０秒等）を経過した場合には、制御部４は、第２所定時間ｔ_２（第５所定時間ｔ_５）を終了させる。なお、操作部１６が録音の終了指示を行う録音停止ボタンを備える場合には、録音停止ボタンが押下された時に、制御部４は、第２所定時間ｔ_２（第５所定時間ｔ_５）を終了させる構成としてもよい。

次に、制御部４は、スロー動画像データ、静止画像データ及び音声データの生成を行う。ここで、スロー動画像データ及び静止画像データの生成処理は第１の実施の形態における処理と同様であるため説明は省略する。

また、制御部４は、レリーズボタンが半押しされた時（ＴＳ１）から第２所定時間ｔ_２の間にバッファメモリ１８にバッファリングされた音声に基づいて音声データを生成する。

次に、制御部４は、生成された音声データをスロー動画像データ及び静止画像データに関連付けて記録媒体１０に記録する。なお、この記録処理は第１の実施の形態における処理と同様であるため説明は省略する。

次に、図６（ａ）に示すように制御部４は、生成された音声データに基づく音声の再生を行う。即ち、音声をスピーカ１４から出力する。また、制御部４は、音声の再生を行っている最中に、ユーザーによりＯＫボタンの押下操作等がなされたか否かを判別する。ＯＫボタンの押下操作等がなされた場合には、制御部４は、再生を行っている音声のベスト位置が指定されたと判定し、図６（ｂ）の実線部分に示すように、再生中の音声の音声データからベスト位置Ｂを含む第２所定時間ｔ_２よりも短い所定の長さ（この実施の形態においては１０秒）の新たな音声データを生成する。ここで、図６（ｂ）の破線で示す部分の音声データは削除される。なお、制御部４は、生成された音声の再生を行う際に、生成されたスロー動画像データに基づくスロー動画像及び生成された静止画像データに基づく静止画像の再生を行ってもよい。即ち、スロー動画像及び静止画像を表示部１２に出力してもよい。

次に、制御部４は再生を行った音声の音声データに代えて新たな音声データを記録媒体１０に記録する。即ち、新たな音声データの上書き保存を行い、この新たな音声データをスロー動画像データ及び静止画像データに関連付けて記録する。

なお、音声の再生を行っている最中に、ユーザーにより複数回ＯＫボタンの押下操作がなされた場合には、制御部４は、複数のベスト位置について、それぞれベスト位置を含む所定の長さの音声データを生成し、複数の音声データをつなぎ合わせて新たな音声データを生成する。例えば、２回ＯＫボタンの押下操作がなされた場合には、２つのベスト位置について、それぞれベスト位置を含む５秒の音声データを生成し、これら２つの音声データをつなぎ合わせて新たな音声データを生成する。また、３回ＯＫボタンの押下操作がなされた場合には、３つのベスト位置について、それぞれベスト位置を含む３．３秒の音声データを生成し、これら３つの音声データをつなぎ合わせて新たな音声データを生成する。なお、複数の音声データをつなぎ合わせて新たな音声データを生成する際に、音声データのつなぎ目に対してクロスフェード等の処理を行う。

この第３の実施の形態に係る電子カメラによれば、スロー動画像データ及び静止画像データに関連付けられる音声データを、ユーザーが指定することができるため、所望の音声データをより的確に記録媒体に記録することができる。

なお、この第３の実施の形態においては、新たな音声データを生成し、記録媒体１０に上書き保存する構成としたが、上書き保存を行わず別の音声データのファイルを生成してもよい。この場合には、新たな音声データにスロー動画像データ及び静止画像データを関連付けるために、制御部４は、スロー動画像データ及び静止画像データのコピーを作成し、バッファメモリ１８に記憶する。次に、制御部４は、新たな音声データ、コピーにより作成したスロー動画像データ及び静止画像データに同一の新たなファイル名を付けて記録媒体１０に記録する。従って、１つのスロー動画像及び静止画像に対して異なった音声を関連付けた複数のファイルを作成することができる。

また、この第３の実施の形態において、音声の再生を行っている最中に、ベスト位置の指定を受け付ける構成としたが、音声の再生を行っている最中に、表示部１２にインジケータを表示する構成としてもよい。インジケータには音声の再生位置を示すバー及び静止画像撮影指示が入力された時点を示すポインタを表示する。この場合には、ユーザーは目視によりおおよその再生位置を確認しながらベスト位置の指定をすることができる。

また、この第３の実施の形態において、複数のベスト位置を指定する場合には、スロー動画像の再生と同時に再生する音声と、静止画像の再生と同時に再生する音声とを別々に指定してもよい。例えば２つのベスト位置を指定する場合には、スロー動画像の再生と同時に再生する２．５秒の音声と、静止画像の再生と同時に再生する７．５秒の音声とを指定することができる。

次に、図７を参照して第４の実施の形態に係る電子カメラ２においてスロー動画像、静止画像の撮影及び音声の録音を行う場合の処理について説明する。なお、図７（ａ）に示すタイムチャートに合わせて、図７（ｂ）にはマイク９により集音された音声の音声レベルを表すグラフを示している。

ユーザーがコマンドダイヤルを操作することにより撮影モードをスローモーション動画像撮影モードに設定すると、制御部４はスローモーション動画像撮影モードに移行する。次に、制御部４は、ユーザーによりレリーズボタンの半押し操作がなされたか否かを判別する。レリーズボタンが半押しされると、制御部４は図７のＴＳ１（レリーズボタン半押し時点）に示すようにバッファメモリ１８へのフレーム画像及び音声のバッファリングを開始する。なお、このバッファリング処理は第１の実施の形態におけるバッファリング処理と同様であるため説明は省略する。

次に、制御部４は、マイク９を介して取得された音声の音声レベルの検出を行い、バッファメモリ１８へのフレーム画像及び音声の記憶を繰り返している最中に音声レベルが閾値Ｖ_１以上になったか否かを判別する。図７のＴＳ２で示す時点のように音声レベルが閾値Ｖ_１以上になった場合には、制御部４は、静止画像データの生成を指示する静止画像撮影指示が入力されたと判断し、第４所定時間ｔ_４及び第５所定時間ｔ_５を開始（第３所定時間ｔ_３を終了）させる。なお、図７（ｂ）にはイメージ図として、列車の汽笛によりＴＳ２で示す時点で音声レベルが閾値Ｖ_１以上となり、かつ、ピークとなる例を示している。

次に、制御部４は、音声レベルが閾値Ｖ_１以上となった時（ＴＳ２）から第４所定時間ｔ_４が経過したか否かを判別する。第４所定時間ｔ_４が経過した場合には、制御部４は、スロー動画像データを作成するのに必要な枚数のフレーム画像（図７（ａ）に示す画像保存対象）のバッファメモリ１８へのバッファリングを終了する。

次に、制御部４は、第４所定時間ｔ_４の経過後に音声レベルが閾値Ｖ_２よりも小さくなったか否かを判別する。音声レベルが閾値Ｖ_２より小さくなったと場合には、制御部４は、録音の終了指示が入力されたと判断し、第５所定時間ｔ_５を終了させ、音声データを生成するのに必要な音声（図７（ａ）に示す音声保存対象）のバッファメモリ１８へのバッファリングを終了する。なお、音声レベルが録音終了をすべき閾値より小さくなる前に、生成することができる音声データの最大の長さである規定最大録音時間（例えば１０秒等）を経過した場合には、制御部４は、第５所定時間ｔ_５を終了させる。

次に、制御部４は、スロー動画像データ、静止画像データ及び音声データの生成を行う。まず、スロー動画像データの生成について説明する。制御部４は、音声レベルが閾値Ｖ_１以上になった時から第３所定時間ｔ_３（この実施の形態では０．６秒）前までの間にバッファメモリ１８にバッファリングされた複数のフレーム画像と、音声レベルが閾値Ｖ_１以上になった時から第４所定時間ｔ_４（この実施の形態では０．４秒）後までの間にバッファメモリ１８にバッファリングされた複数のフレーム画像に基づいて、スロー動画像データを生成する。具体的には、第１の実施の形態と同様にフレームレートの変更、リサイズ処理等を行いスロー動画像データを生成する。

また、図７に示すように制御部４は、音声レベルが閾値Ｖ_１となった時に、撮像素子６から出力される撮像信号に基づくフレーム画像に基づいて、静止画像データを生成する。具体的には、第１の実施の形態と同様に静止画像用の画像処理を施すことにより静止画像データを生成する。なお、音声レベルがピークとなった時に、撮像素子６から出力される撮像信号に基づくフレーム画像に基づいて、静止画像データを生成してもよい。この場合には音声レベルが閾値Ｖ_１となった時に生成される静止画像データに加えて、音声レベルがピークとなった時の静止画像データを生成してもよいし、音声レベルが閾値Ｖ_１となった時に生成される静止画像データに代えて、音声レベルがピークとなった時の静止画像データを生成してもよい。

また、図７に示すように制御部４は、音声レベルが閾値Ｖ_１になった時から第３所定時間ｔ_３（この実施の形態では０．６秒）前までの間にバッファメモリ１８にバッファリングされた音声と、音声レベルが閾値Ｖ_１になった時から第５所定時間ｔ_５後までの間、即ち第２所定時間ｔ_２の間にバッファメモリ１８にバッファリングされた音声に基づいて、音声データを生成する。

次に、制御部４は生成したスロー動画像データ、静止画像データ及び音声データをそれぞれ関連付けて記録媒体１０に記録する。なお、記録媒体１０に記録する際の処理は第１の実施の形態における処理と同様であるため説明は省略する。

この第４の実施の形態に係る電子カメラによれば、拍手や歓声等の音声レベルが盛り上がるタイミングで撮影及び録音を行うことができるため、パーティー等においてユーザーが所望するタイミングでのスロー動画像データ、静止画像データ及び音声データを記録することができる。

なお、この第４の実施の形態においては、制御部４は音声レベルが閾値Ｖ_１以上になった時に静止画像データの生成を指示する静止画像撮影指示が入力されたと判断し、第４所定時間ｔ_４及び第５所定時間ｔ_５を開始（第３所定時間ｔ_３を終了）させる構成としたが、第４所定時間ｔ_４及び第５所定時間ｔ_５を開始させるタイミングを異ならせる構成としてもよい。即ち、ユーザーによるレリーズボタンの全押し操作がされた時に第４所定時間ｔ_４を開始（フレーム画像のバッファリングについて第３所定時間ｔ_３を終了）させ、音声レベルが閾値Ｖ_１以上となった時に第５所定時間ｔ_５を開始（音声のバッファリングについて第３所定時間ｔ_３を終了）させる構成としてもよい。

この場合には、制御部４は、レリーズボタンが全押しされた時から第３所定時間ｔ_３前までの間にバッファメモリ１８にバッファリングされた複数のフレーム画像と、レリーズボタンが全押しされた時から第４所定時間ｔ_４後までの間にバッファメモリ１８にバッファリングされた複数のフレーム画像とに基づいて、スロー動画像データを生成し、レリーズボタンが全押しされた時に、撮像素子６から出力される撮像信号に基づくフレーム画像に基づいて、静止画像データを生成する。また、音声レベルが閾値Ｖ_１以上になった時から第３所定時間ｔ_３前までの間にバッファメモリ１８にバッファリングされた音声と、音声レベルが閾値Ｖ_１以上になった時から第５所定時間ｔ_５後までの間にバッファメモリ１８にバッファリングされた音声に基づいて音声データを生成する。

また、上述の各実施の形態においては、レリーズボタンが全押しされた場合または、音声のレベルが閾値Ｖ_１以上となった場合に、制御部４は静止画像生成指示が入力されたと判断する構成としたが、制御部４はフレーム画像に基づいて笑顔認識などの顔認識を行い、例えば、笑顔を認識すると、静止画像生成指示が入力されたと判断し、第４所定時間ｔ_４を開始（フレーム画像のバッファリングについて第３所定時間ｔ_３を終了）させる構成としてもよい。

また、上述の第４の実施の形態においては、レリーズボタンが半押しされると、制御部４はバッファメモリ１８へのフレーム画像データ及び音声データのバッファリングを開始する構成としたが、スローモーション動画像撮影モードにおいてメニューボタンやＯＫボタン等の操作によりパーティー会場等での撮影に適したパーティーモードを設定したときに、制御部４はバッファメモリ１８へのフレーム画像データ及び音声データのバッファリングを開始する構成としてもよい。

次に、図８を参照して第５の実施の形態に係る電子カメラ２においてスロー動画像、静止画像の撮影及び音声の録音を行う場合の処理について説明する。なお、理解を容易にするため、図８（ａ）に示すタイムチャートに合わせて、図８（ｂ）には撮像素子６から出力される撮像信号に基づくフレーム画像を示している。

ユーザーがコマンドダイヤルを操作することにより撮影モードをスローモーション動画像撮影モードに設定すると、制御部４はスローモーション動画像撮影モードに移行する。次に、制御部４は、ユーザーによりレリーズボタンの半押し操作がなされたか否かを判別する。レリーズボタンが半押しされると、制御部４は図８のＴＳ１（レリーズボタン半押し時点）に示すようにバッファメモリ１８へのフレーム画像及び音声のバッファリングを開始する。なお、このバッファリング処理は第１の実施の形態におけるバッファリング処理と同様であるため説明は省略する。

次に、制御部４は撮像素子６から出力される撮像信号に基づく複数のフレーム画像を解析した差分に基づいて、フレーム画像中の被写体に動きがあったか否かを判別する。図８（ｂ）の（ｉｉ）に示すように、ＴＳ４の時点で被写体に動きがあった場合には、制御部４は、音声データの生成を指示する録音開始指示が入力されたと判断し、第２所定時間ｔ_２を開始させる。

次に、制御部４は、バッファメモリ１８へのフレーム画像及び音声の記憶を繰り返している最中にレリーズボタンの全押し操作がなされたか否かを判別する。レリーズボタンが全押しされると、制御部４は、静止画像データの生成を指示する静止画像撮影指示が入力されたと判断し、第４所定時間ｔ_４を開始（第３所定時間ｔ_３を終了）させる。

次に、制御部４は、レリーズボタンが全押しされた時（ＴＳ２）から第４所定時間ｔ_４が経過したか否かを判別する。第４所定時間ｔ_４が経過した場合には、制御部４は、スロー動画像データを作成するのに必要な枚数のフレーム画像（図８（ａ）に示す画像保存対象）のバッファメモリ１８へのバッファリングを終了する。

次に、制御部４は、撮像素子６から出力される撮像信号に基づく複数のフレーム画像（図８（ｂ）の（ｉｉｉ）〜（Ｖ）等）を解析した差分に基づいて、フレーム画像中の被写体に動きがなくなったか否かを判別する。例えば、図８（ｂ）の（ｖ）に示すように、フレーム画像中の被写体に動きがなくなった場合には、制御部４は、録音の終了指示が入力されたと判断し、第２所定時間ｔ_２を終了させる。即ち、音声（図８（ａ）に示す音声保存対象）のバッファメモリ１８へのバッファリングを終了する。

次に、制御部４は、スロー動画像データ、静止画像データ及び音声データの生成を行い、生成された音声データをスロー動画像データ及び静止画像データに関連付けて記録媒体１０に記録する。なお、これらのデータの生成処理及び記録処理は第１の実施の形態における処理と同様であるため説明は省略する。

この第５の実施の形態に係る電子カメラによれば、被写体に動きがある間の音声をスロー動画像及び静止画像に関連付けて記録することができる。

なお、この第５の実施の形態において記録媒体１０に記録された音声データに基づく音声の長さがスロー動画像及び静止画像の再生時間よりも長い場合には、上述の第３の実施形態におけるベスト位置の指定処理を行うことにより新たな音声データを生成し、新たな音声データを記録媒体１０に記録してもよい。また、この場合には、後述する第７の実施形態における静止画像の表示時間の調整処理を行ってもよい。

次に、図面を参照して第６の実施の形態に係る電子カメラ２においてスロー動画像、静止画像の撮影及び音声の録音を行う場合の処理について説明する。

ユーザーがコマンドダイヤルを操作することにより撮影モードをスローモーション動画像撮影モードに設定すると、制御部４はスローモーション動画像撮影モードに移行する。次に、制御部４は、ユーザーによりレリーズボタンの半押し操作がなされたか否かを判別する。レリーズボタンが半押しされると、制御部４は第１の実施の形態において（図２参照）レリーズボタンの半押しがされた場合に行う処理と同様にバッファメモリ１８へのフレーム画像及び音声のバッファリングを開始する。

次に、レリーズボタンが全押しされると、制御部４は、第１の実施の形態と同様の処理を行う。即ち、第４所定時間ｔ_４及び第５所定時間ｔ_５を開始（第３所定時間ｔ_３を終了）させ、第４所定時間ｔ_４経過後にスロー動画像データを生成するのに必要な枚数のフレーム画像のバッファメモリ１８へのバッファリングを終了する。また、第５所定時間ｔ_５経過後に音声データを生成するのに必要な時間分の音声のバッファメモリ１８へのバッファリングを終了する。

次に、制御部４は、第１の実施の形態における処理と同様にスロー動画像データ、静止画像データを生成する。また、制御部４はバッファメモリ１８にバッファリングされた音声データを生成するのに必要な時間分の音声の解析を行い、所定の周期を有する音声であるか否かを判別する。所定の周期を有する音声であると判別されると、制御部４は、所定の周期分（少なくとも一周期分）の音声データを生成する。

次に、制御部４は、第１の実施の形態における処理と同様に、生成された音声データをスロー動画像データ及び静止画像データに関連付けて記録媒体１０に記録する。

次に、第６の実施の形態に係る電子カメラ２においてスロー動画像及び静止画像を再生する際の処理について説明する。

まず、ユーザーがコマンドダイヤルを操作して再生モードを設定すると、制御部４は、第１の実施の形態と同様に再生モードに移行する。そして、制御部４は、第１の実施の形態と同様にユーザーにより操作部１６を介してスロー動画像の再生指示が行われたか否かを判別する。

スロー動画像の再生指示がなされた場合には、制御部４は、再生指示がなされたスロー動画像のスロー動画像データ、スロー動画像データに関連付けて記録媒体１０に記録されている静止画像データ及び音声データをそれぞれバッファメモリ１８にバッファリングし、スロー動画像、静止画像及び音声の再生処理を行う。スロー動画像及び静止画像の再生処理については第１の実施の形態と同様の処理を行うため説明は省略する。

また、制御部４は、スロー動画像が再生されることを印象付けるために、スピーカ１４から出力されていた音声と、スロー動画像と共に再生する音声との間に、音量を抑えた音声を短時間の間、スピーカ１４から出力する。即ち、スピーカ１４から出力される音声を一旦無音とさせた後、バッファメモリ１８にバッファリングされた音声の再生を開始する。具体的には、所定の周期分の音声データに基づく音声を繰り返して再生すると同時に、スロー動画像及び静止画像の再生を行う。このとき、スロー動画像及び音声の再生開始から所定時間（約０．５秒）かけて音声がフェードインする等の音声に対する処理を施す。

また、所定の周期分の音声データに基づく音声を繰り返し単位として再生するため、繰り返し単位と繰り返し単位との間の音声に対して所定時間クロスフェード等の処理を施してもよい。また、繰り返し単位毎に音声の周波数を高くする、または低くする等の処理を施してもよい。この場合には、より印象的なスロー動画像及び静止画像の再生を行うことができる。

この第６の実施の形態に係る電子カメラによれば、周期的な音声について所定の周期分の音声のみを記録媒体に記録するため、記録媒体に記録するデータの容量を少なくすることができる。

次に、第７の実施の形態に係る電子カメラ２においてスロー動画像及び静止画像を再生する際の処理について説明する。

まず、ユーザーがコマンドダイヤルを操作して再生モードを設定すると、制御部４は、第１の実施の形態と同様に再生モードに移行する。そして、制御部４は、第１の実施の形態と同様にユーザーにより操作部１６を介してスロー動画像の再生指示が行われたか否かを判別する。

スロー動画像の再生指示がなされた場合には、制御部４は、再生指示がなされたスロー動画像のスロー動画像データ、スロー動画像データに関連付けて記録媒体１０に記録されている静止画像データ及び音声データをそれぞれバッファメモリ１８にバッファリングする。

次に、制御部４は音声データに基づく音声の再生時間を取得し、取得した音声の再生時間に基づいてスロー動画像、静止画像及び音声の再生処理を行う。具体的には、スロー動画像の標準再生時間（この実施の形態では２．５秒）と静止画像の標準表示時間（この実施の形態では７．５秒）とを合わせた画像再生標準時間（この実施の形態では１０秒）と、音声の再生時間を比較し、静止画像の表示時間を音声の再生時間に合わせて調整して再生を行う。

例えば、音声の再生時間が１０秒よりも短い場合には、制御部４は、スロー動画像の再生を標準再生時間行った後に、静止画像を標準表示時間よりも短い時間、即ち音声の再生が終了するまで表示する。また、音声の再生時間が１０秒よりも長い場合には、制御部４はスロー動画像の再生を標準再生時間行った後に、静止画像を標準表示時間よりも長い時間、即ち音声の再生が終了するまで表示する。

この第７の実施の形態に係る電子カメラによれば、複数のスロー動画像及び静止画像の再生を行う場合には、音声の再生時間に合わせて１つの音声の音声データに関連付けられたスロー動画像データに基づくスロー動画像及び静止画像データに基づく静止画像を再生することができる。従って、音声の再生途中で次のスロー動画像の再生が開始されたり、または、音声の再生が終了した状態で静止画像の表示が継続されたりすることによる違和感を軽減することができる。

なお、上述の第７の実施の形態においては、静止画像の表示時間を音声の再生時間に合わせて調整する構成としたが、この構成に加えて、または、代えて、制御部４は、スロー動画像の再生速度を調整する構成としてもよい。

また、この第７の実施の形態においてスロー動画像及び静止画像の再生を行う際に、第１の実施の形態における処理と同様にスロー動画像及び静止画像に対してフェードイン、フェードアウト等のトランジションエフェクトを施してもよいし、音声に対してフェードイン、フェードアウト等の処理を施してもよい。

なお、上述の各実施の形態においては、スロー動画像を再生した後に静止画像を再生する構成としたが、複数のスロー動画像のみを連続して再生する構成としてもよい。この場合において、音声データに基づく音声の再生時間がスロー動画像の再生時間よりも長い場合には、第３の実施の形態における処理のようにユーザーにより指定されたベスト位置を含む音声をスロー動画像と同時に再生してもよいし、第４の実施の形態における処理のように音声レベルのピーク位置を含む音声をスロー動画像と同時に再生してもよい。また、スロー動画像の再生速度を調整して再生し、音声データに基づく音声はそのまま再生してもよい。

なお、上述の各実施の形態において、音声データをスロー動画像データ及び静止画像データに関連付けて記録媒体１０に記録する構成としたが、この音声データに基づく音声の再生時間がスロー動画像データに基づくスロー動画像の再生時間及び静止画像データに基づく静止画像の再生時間よりも長い場合には、音声データに基づく音声の再生時間を短くした新たな音声データを生成して記録媒体１０に記録してもよいし、スロー動画像及び静止画像の再生時間に合わせて必要な部分のみを再生してもよい。また、この場合において、新たな音声データを生成する場合には、スロー動画像データに基づくスロー動画像の再生時間以上の再生時間を有する新たな音声データを生成する。

上述の各実施の形態においては、フレーム画像を撮影する際に音声の録音を行い、録音された音声に基づく音声データにフレーム画像に基づくスロー動画像データ及び静止画像データを関連付ける構成としたが、録音された音声に基づく音声データを予め準備された音声データなどの別の音声データに差し替え可能な構成としてもよい。

２…電子カメラ、４…制御部、６…撮像素子、９…マイク、１０…記録媒体、１２…表示部、１４…スピーカ、１８…バッファメモリ

Claims (15)

1. 被写体からの光を撮像する撮像素子からの撮像信号に基づく複数のフレーム画像及び音声を取得する集音部からの音声信号に基づく生録音データを順次記憶する記憶部と、
   第１所定時間の間に前記記憶部に記憶された前記複数のフレーム画像に基づいて、前記記憶部に単位時間に記憶される前記フレーム画像の数を示す第１フレームレートより少ない第２フレームレートで再生されるスローモーション動画像データを生成する動画像データ生成部と、
   前記第１所定時間の間に前記記憶部に記憶された前記複数のフレーム画像のうちの少なくとも１つのフレーム画像に基づいて少なくとも１つの静止画像データを生成する静止画像データ生成部と、
   前記第１所定時間の開始時とともに記憶開始され且つ該第１所定時間よりも長い第２所定時間の間に前記記憶部に記憶された前記生録音データに基づいて、前記生録音データの中の第１の位置を含み且つ前記第２所定時間よりも短い第１の音声データと、前記生録音データの中の前記第１の位置とは異なる第２の位置を含み且つ前記第２所定時間よりも短い第２の音声データと、を含む音声データを生成する音声データ生成部と、
   前記音声データ生成部により生成された前記第１の音声データと前記第２の音声データとを、前記動画像データ生成部により生成された前記スローモーション動画像データ及び前記静止画像データ生成部により生成された静止画像データにそれぞれ個別に関連付けて記録媒体に記録する記録制御部と
   を備えることを特徴とする撮像装置。
2. 前記記憶部が前記複数のフレーム画像を順次記憶している最中に、前記静止画像データの生成を指示する静止画像撮影指示が入力されたか否かを判別する判別部を備え、
   前記動画像データ生成部は、前記判別部により前記静止画像撮影指示が入力されたと判別された時から第３所定時間前までの間に前記記憶部に記憶された前記複数のフレーム画像、及び前記判別部により前記静止画像撮影指示が入力されたと判別された時から第４所定時間後までの間に前記記憶部に記憶された前記複数のフレーム画像に基づいて、前記スローモーション動画像データを生成し、
   前記静止画像データ生成部は、前記判別部により前記静止画像撮影指示が入力されたと判別された時、またはその前後に前記記憶部に記憶された前記フレーム画像に基づいて前記静止画像データを生成し、
   前記音声データ生成部は、前記判別部により前記静止画像撮影指示が入力されたと判別された時から前記第３所定時間前までの間に前記記憶部に記憶された前記生録音データ及び、前記判別部により前記静止画像撮影指示が入力されたと判別された時から前記第４所定時間よりも長い第５所定時間後までの間に前記記憶部に記憶された前記生録音データに基づいて前記音声データを生成することを特徴とする請求項１に記載の撮像装置。
3. 前記記憶部が前記生録音データを順次記憶している最中に、前記集音部による音声の取得の終了を指示する録音終了指示が入力されたか否かを判別する終了判別部を備え、
   前記終了判別部により前記録音終了指示が入力されたと判別された時を前記第５所定時間の終了時間とすることを特徴とする請求項２に記載の撮像装置。
4. 前記記憶部に記憶されている前記生録音データの位置を指定する指定部を備え、
   前記記憶部が前記複数のフレーム画像及び前記生録音データの記憶を開始した時を前記第２所定時間の開始時間とし、
   前記音声データ生成部は、前記第２所定時間に記憶された前記生録音データにおいて前記指定部により指定された位置に基づいて、前記音声データを生成することを特徴とする請求項１に記載の撮像装置。
5. 前記複数のフレーム画像の前記被写体の動き情報を検出する動き情報検出部を備え、
   前記動き情報に基づいて前記第２所定時間の開始時間及び終了時間を決定することを特徴とする請求項１に記載の撮像装置。
6. 前記判別部は、前記記憶部が前記複数のフレーム画像及び前記生録音データを順次記憶している最中に、前記集音部により取得された音声の音声レベルを検出し、前記音声レベルが所定の閾値以上である場合に前記静止画像撮影指示が入力されたと判別することを特徴とする請求項２または３に記載の撮像装置。
7. 前記フレーム画像中の前記被写体の顔領域を認識する顔認識部を備え、
   前記判別部は、顔認識部により認識した顔の状態に基づいて前記静止画像撮影指示が入力されたと判別することを特徴とする請求項２または３に記載の撮像装置。
8. 前記集音部により取得した前記生録音データが周期的な音声の繰り返しである場合には、前記音声データ生成部は、少なくとも１周期分の音声に基づいて前記音声データを生成することを特徴とする請求項１〜７の何れか一項に記載の撮像装置。
9. 前記音声データを生成するための前記生録音データの取得中であることを報知する報知部を備えることを特徴とする請求項１〜８の何れか一項に記載の撮像装置。
10. 前記動画像データ生成部により生成された前記スローモーション動画像データ及び前記静止画像データ生成部により生成された前記静止画像データに基づく静止画像の再生を行う画像再生部と、
    前記画像再生部による再生時間中に前記音声データ生成部により生成された前記音声データに基づく音声の再生を行なう音声再生部と
    を備えることを特徴とする請求項１〜９の何れか一項に記載の撮像装置。
11. 被写体からの光を撮像する撮像素子からの撮像信号に基づき、第１所定時間の間に取得された複数のフレーム画像に基づき生成され、単位時間に前記撮像信号に基づき生成されるフレーム画像の数を示す第１フレームレートより少ない第２フレームレートで再生されるスローモーション動画像のスローモーション動画像データと、前記複数のフレーム画像の中の少なくとも１枚のフレーム画像に基づき生成される静止画像データと、音声を取得する集音部から前記第１所定時間の開始時とともに取得開始され且つ該第１所定時間よりも長い第２所定時間の間に取得された生録音データに基づいて生成され且つ前記スローモーション動画像データと前記静止画像データにそれぞれ個別に関連付けられている、前記生録音データの中の第１の位置を含み且つ前記第２所定時間よりも短い第１の音声データと、前記生録音データの中の前記第１の位置とは異なる第２の位置を含み且つ前記第２所定時間よりも短い第２の音声データと、を記憶する記憶部と、
    前記記憶部に記憶されている前記スローモーション動画像データに基づく前記スローモーション動画像または前記静止画像データに基づく前記静止画像を表示部に表示する画像表示制御部と、
    前記画像表示制御部による画像表示制御中に、前記第１の音声データまたは前記第２の音声データに基づく音声を音声出力部から出力する音声出力制御部と
    を備えることを特徴とする画像音声再生装置。
12. 前記表示部により表示される前記スローモーション動画像の開始部分、終了部分、前記静止画像の開始部分、終了部分の少なくとも１つの部分に対してフェード処理を行なう画像制御部と、
    前記音声出力部により出力される前記音声の開始部分、終了部分の少なくとも１つの部分に対してフェード処理を行なう音声制御部と、
    を備えることを特徴とする請求項１１記載の画像音声再生装置。
13. 前記音声出力制御部は、前記音声データに基づく音声の出力時間を、前記スローモーション動画像及び前記静止画像の表示時間に合わせて調整することを特徴とする請求項１１または１２に記載の画像音声再生装置。
14. 前記画像表示制御部は、前記スローモーション動画像及び前記静止画像の再生時間を前記音声の出力時間に合わせて調整することを特徴とする請求項１１〜１３の何れか一項に記載の画像音声再生装置。
15. 前記表示部により前記静止画像を表示している最中に、前記表示の終了を指示する終了指示が入力された場合に、前記静止画像の表示を終了することを特徴とする請求項１１〜１４の何れか一項に記載の画像音声再生装置。