WO2012160847A1

WO2012160847A1 - 撮像装置、画像処理装置、及び撮像方法

Info

Publication number: WO2012160847A1
Application number: PCT/JP2012/054316
Authority: WO
Inventors: 学市川
Original assignee: オリンパスイメージング株式会社
Priority date: 2011-05-25
Filing date: 2012-02-22
Publication date: 2012-11-29
Also published as: JP5186021B2; CN103339925B; US20130293733A1; JP2012248937A; US9118844B2; CN103339925A

Abstract

　動画撮影により動画像データが取得される(S204,S205)。動画撮影中に静止画撮影の実行が指示された場合に(S206:Yes)、静止画撮影の実行が指示されたタイミングにおいて得られた画像データを画像処理して得られた静止画像データと、該静止画像データの付随情報と、を含む静止画情報が記憶される(S207)。また、静止画撮影の実行が指示されたタイミングを示すタイミング情報が取得される(S208)。そして、静止画情報とタイミング情報とに基づいて、動画像データに対して特殊効果画像処理がさらに施される。

Description

撮像装置、画像処理装置、及び撮像方法

　本発明は、動画像に対して特殊効果画像処理を施す撮像装置、画像処理装置、及び撮像方法に関する。

　近年、デジタルカメラのような撮像装置では、静止画像の撮影だけでなく、動画像の撮影も行えるようになっている。このような撮像装置では、例えば動画撮影用に設けられた動画撮影指示部（動画ボタン）を操作することによって、容易に動画像の撮影を実行することができる。このような静止画撮影と動画撮影の両方が実行可能な撮像装置に関する提案が例えば特開２００１－４５４０９号公報においてなされている。特開２００１－４５４０９号公報では、動画撮影中に静止画レリーズスイッチ（静止画撮影指示部）を用いた静止画撮影の指示がなされた場合に、その指示がなされたタイミングで得られた静止画像に対して静止画フラグを付加しておくようにしている。そして、特開２００１－４５４０９号公報では、動画像の再生時に動画像の再生と並行して静止画フラグが付加された静止画像を再生するようにしている。

　また、再生される画像に対して画像処理を施すことによって特殊な視覚効果を与えるようにした技術が提案されている。例えば、特開２０１０－１１４７２９号公報では、画像処理によってシェーディングを付加するようにしている。

　特開２００１－４５４０９号公報では、ユーザが自身の意図したタイミングでレリーズスイッチを操作することにより、自身の意図したタイミングで得られた静止画像を後で動画像とともに再生することが可能である。しかしながら、特開２００１－４５４０９号公報では、動画像そのものに対してはユーザの意図を反映させることはできない。

　また、特開２０１０－１１４７２９号公報の技術は動画像に対しても適用することができる。この場合、動画像の撮影に先立ってシェーディング等の特殊効果画像処理を実行するように設定しておけば、そのときのシーンに対するユーザの好みを反映することができる。しかしながら、動画撮影中にはユーザの意思を反映させることができない。このため、従来では、動画像の撮影後の編集段階において動画像に対して特殊効果画像処理を施す必要がある。

　本発明は、前記の事情に鑑みてなされたもので、編集等を意識して行わずに、動画撮影中のユーザが意図したタイミングで動画像に対して特殊効果画像処理を施すことが可能な撮像装置、画像処理装置、撮像方法を提供することを目的とする。

　前記の目的を達成するために、本発明の第１の態様の撮像装置は、被写体を撮像して画像データを得る撮像部と、前記撮像部で得られた画像データに対して画像処理を施す画像処理部と、前記撮像部に対して静止画撮影の実行を指示するための静止画撮影指示部と、前記静止画撮影指示部の指示に応じて前記撮像部で得られた画像データを前記画像処理部で画像処理して得られた静止画像データと、該静止画像データの付随情報と、を含む静止画情報を記憶する静止画情報記憶部と、前記撮像部に対して動画撮影の実行を指示するための動画撮影指示部と、前記動画撮影指示部の指示に応じて前記撮像部で得られた複数の画像データを前記画像処理部で画像処理して得られた動画像データを記録する動画記録部と、前記動画撮影の実行中に前記静止画撮影指示部によって前記静止画撮影の実行が指示された場合に、該静止画撮影の実行が指示されたタイミングを示すタイミング情報を取得するタイミング情報取得部と、を具備し、前記画像処理部は、前記静止画情報記憶部に記憶された前記静止画情報と前記タイミング情報取得部によって取得された前記タイミング情報とに基づいて、前記動画像データに対して特殊効果画像処理をさらに施すことを特徴とする。

　前記の目的を達成するために、本発明の第２の態様の画像処理装置は、第１の態様に記載の撮像装置で得られた前記静止画情報と前記タイミング情報とが入力され、該入力された前記静止画情報と前記タイミング情報とに基づいて、動画像データに対して特殊効果画像処理を施す特殊効果画像処理部を具備することを特徴とする。

　前記の目的を達成するために、本発明の第３の態様の撮像方法は、動画撮影指示部が、撮像部に対して動画撮影の実行を指示し、前記動画撮影指示部の指示に応じて前記撮像部が、被写体を撮像して複数の画像データを得て、画像処理部が前記撮像部で得られた複数の画像データに対して画像処理を施して動画像データを得て、前記動画撮影の実行中に静止画撮影指示部が、前記撮像部に対して静止画撮影の実行を指示し、前記静止画撮影指示部の指示に応じて静止画情報記憶部が、前記撮像部で得られた画像データを前記画像処理部で画像処理して得られた静止画像データと、該静止画像データの付随情報と、を含む静止画情報を記憶し、前記静止画撮影指示部の指示に応じてタイミング情報取得部が、前記静止画撮影の実行が指示されたタイミングを示すタイミング情報を取得し、前記画像処理部が、前記静止画情報記憶部に記憶された前記静止画情報と前記タイミング情報取得部によって取得された前記タイミング情報とに基づいて、前記動画像データに対して特殊効果画像処理をさらに施す、ことを特徴とする。

図１は、本発明の各実施形態に係る撮像装置の一例としてのデジタルカメラの構成を示すブロック図である。図２は、デジタルカメラのメイン動作を示すフローチャートである。図３は、本発明の第１の実施形態における動画撮影処理の詳細を示したフローチャートである。図４は、本発明の第１の実施形態における図３のステップＳ２０９の処理の一例を示すフローチャートである。図５は、本発明の第１の実施形態における合成係数の設定テーブルの例を示す図である。図６は、合成処理の例を説明するための図である。図７は、本発明の第２の実施形態における図３のステップＳ２０９の処理の例を示すフローチャートである。図８Ａは、画像データの循環記憶の例を示した図であって、７枚目の画像データまでの記憶の例を示した図である。図８Ｂは、画像データの循環記憶の例を示した図であって、８枚目の画像データ以後の記憶の例を示した図である。図９は、本発明の第２の実施形態における合成係数の設定テーブルの例を示す図である。図１０は、再生速度の変化特性の一例を示す図である。図１１は、過去フレームの生成について説明するための図である。図１２は、現在フレームの生成について説明するための図である。図１３は、本発明の第３の実施形態における図３のステップＳ２０９の処理の例を示すフローチャートである。図１４は、ゲインマップの例を示した図である。図１５は、図１４に示すゲインマップに従ってシェーディングを付加する処理を行った場合の例を示す図である。図１６は、本発明の第４の実施形態における動画撮影処理の詳細を示したフローチャートである。図１７は、本発明の第４の実施形態における動画再生処理の詳細を示したフローチャートである。図１８は、特殊効果画像処理部を特殊効果画像処理装置に持たせた変形例の構成を示すブロック図である。

　以下、図面を参照して本発明の実施形態を説明する。　
　［第１の実施形態］
　図１は、本発明の各実施形態に係る撮像装置の一例としてのデジタルカメラの構成を示すブロック図である。図１に示すデジタルカメラ１０は、レンズ交換式のデジタルカメラである。しかしながら、必ずしもレンズ交換式のデジタルカメラである必要はなく、レンズ一体式のデジタルカメラであっても良い。

　図１に示すデジタルカメラ１０は、交換式レンズ１００と、カメラ本体２００と、を有している。交換式レンズ１００は、カメラ本体２００に対して着脱自在に構成されている。カメラ本体２００に交換式レンズ１００が装着された場合に、交換式レンズ１００は、カメラ本体２００と通信自在に接続される。これにより、交換式レンズ１００は、カメラ本体２００の制御に従って動作可能な状態となる。

　交換式レンズ１００は、レンズ１０１と、絞り１０２と、ドライバ１０３と、レンズマイクロコンピュータ１０４と、Ｆｌａｓｈメモリ１０５と、を有している。　
　レンズ１０１は、図示しない被写体からの光束をカメラ本体２００内の撮像素子２０２に集光するための光学系である。このレンズ１０１は、フォーカスレンズ及びズームレンズ等の複数のレンズを有している。

　絞り１０２は、開閉自在に構成され、レンズ１０１を介して入射した光束の量を調整する。ドライバ１０３は、モータ等を有している。このドライバ１０３は、レンズマイクロコンピュータ１０４の制御に従って、レンズ１０１内のフォーカスレンズやズームレンズをその光軸方向に駆動させたり、絞り１０２を開閉駆動させたりする。

　レンズマイクロコンピュータ１０４は、交換式レンズ１００がカメラ本体２００に装着された際にインターフェイス（Ｉ/Ｆ）１０６を介してカメラ本体２００内のマイクロコンピュータ２１５と通信自在に接続される。このレンズマイクロコンピュータ１０４は、マイクロコンピュータ２１５からの制御に従ってドライバ１０３を駆動させる。また、レンズマイクロコンピュータ１０４は、Ｆｌａｓｈメモリ１０５に記憶されている交換式レンズ１００のレンズ情報等を、Ｉ/Ｆ１０６を介してマイクロコンピュータ２１５に通信する。　
　Ｆｌａｓｈメモリ１０５は、レンズ１０１の収差情報等のレンズ情報や交換式レンズ１００の動作を実行するために必要なプログラム等を記憶している。

　カメラ本体２００は、メカシャッタ２０１と、撮像素子２０２と、アナログ処理部２０３と、アナログ/デジタル（Ａ/Ｄ）変換部２０４と、バス２０５と、ＲＡＭ２０６と、ＡＥ処理部２０７と、ＡＦ処理部２０８と、画像処理部２０９と、画像圧縮展開部２１０と、メモリインターフェイス（Ｉ/Ｆ）２１１と、記録媒体２１２と、表示ドライバ２１３と、表示部２１４と、マイクロコンピュータ２１５と、操作部２１６と、Ｆｌａｓｈメモリ２１７と、顔検出部２１８と、を有している。

　メカシャッタ２０１は、撮像素子２０２の光電変換面を遮光状態又は露出状態とするように移動自在に構成されている。このメカシャッタ２０１を移動させることにより撮像素子２０２の露光時間が調整される。

　撮像素子２０２は、レンズ１０１を介して集光された被写体からの光束が結像される光電変換面を有している。光電変換面は、複数の画素が２次元状に配置されて構成されている。また、光電変換面の光入射側には、カラーフィルタが設けられている。このような撮像素子２０２は、光電変換面に結像された光束に対応した像（被写体像）を、その光量に応じた電気信号（以下、画像信号という）に変換して出力する。

　ここで、撮像素子２０２は、ＣＣＤ方式やＣＭＯＳ方式等の種々の構成の撮像素子が知られている。また、カラーフィルタの色配列もベイヤ配列等の種々の配列が知られている。本実施形態は、撮像素子２０２の構成が特定の構成に限定されるものではなく、種々の構成の撮像素子を用いることが可能である。ただし、撮像素子２０２は、露光時間を電子的に制御する電子シャッタ機能を有していることが望ましい。以下の説明においては撮像素子２０２が電子シャッタ機能を有しているものとする。

　アナログ処理部２０３は、撮像素子２０２により得られた画像信号に対してＣＤＳ（相関二重サンプリング）処理やＡＧＣ（自動利得制御）処理等のアナログ処理を施す。Ａ/Ｄ変換部２０４は、アナログ処理部２０３においてアナログ処理された画像信号をデジタル信号（以下、画像データという）に変換する。

　ここで、撮像素子２０２、アナログ処理部２０３、Ａ/Ｄ変換部２０４が、撮像部の一例として機能する。

　バス２０５は、カメラ本体２００の内部で発生した各種のデータを転送するための転送路である。ＲＡＭ２０６は、カメラ本体２００内部で発生した各種のデータを一時的に記憶するための記憶部である。このＲＡＭ２０６が、静止画情報記憶部の一例として機能する。ここで、ＲＡＭ２０６は、例えばＤＲＡＭである。

　ＡＥ処理部２０７は、画像データを用いて被写体輝度を算出する。被写体輝度は、画像データから算出するだけでなく、例えば専用の測光センサで測定するようにしても良い。ＡＦ処理部２０８は、画像データから高周波成分の信号を取り出し、取り出した高周波成分の信号を積算してＡＦ用の合焦評価値を取得する。

　画像処理部２０９は、画像データに対する各種の画像処理を行う。本実施形態における画像処理部２０９は、基本画像処理部２０９１と、特殊効果画像処理部２０９２と、を有している。　
　基本画像処理部２０９１は、画像の表示や記録のために必要な基本的な画像処理を画像データに対して施す。この基本的な画像処理とは、例えば、オプティカルブラック減算処理、ホワイトバランス補正処理、カラーマトリクス演算処理、ガンマ変換処理、エッジ強調処理、ノイズ低減処理が含まれる。この他、基本画像処理部２０９１は、リサイズ処理等も行う。　
　オプティカルブラック減算処理は、画像データの暗電流成分（オプティカルブラック）を減算して除去する処理である。ホワイトバランス補正処理は、画像データの色バランスを補正するためのゲインを乗じる処理である。カラーマトリクス演算処理は、画像データ全体の色相や彩度の調整を行うためのマトリクス演算を行う処理である。ガンマ変換処理は、画像データの階調特性を所定の特性に変換する処理である。エッジ強調処理は、画像データにおけるエッジ（輪郭）成分を強調する処理である。ノイズ低減処理は、画像データにおけるノイズ成分を除去する処理である。リサイズ処理は、画像データを所望のサイズに拡大又は縮小するように補間する処理である。　
　また、カラーフィルタの色配列によっては、基本画像処理としてさらに同時化処理が必要な場合もある。同時化処理は、ベイヤ配列に対応した画像データ等の、１つの画素が１つの色成分に対応している画像データを、１つの画素が複数の色成分に対応している画像データに変換する処理である。

　特殊効果画像処理部２０９２は、画像に対して特殊な視角効果を与えるための特殊効果画像処理を画像データに対して施す。この特殊効果画像処理としては、例えばシェーディング付加処理、ぼかし付加処理、ソフトフォーカス処理、画像合成処理が含まれる。

　シェーディング付加処理は、画像にシェーディング（陰影）を付加する処理である。ぼかし付加処理は、画像内の被写体領域を除く領域にぼかしを付加する処理である。ソフトフォーカス処理は、画像の全体にぼかしを付加する処理である。画像合成処理は、複数の画像データを合成して１枚の新たな画像データを生成する処理である。

　画像圧縮展開部２１０は、画像の記録時においては、画像処理部２０９における画像処理によって得られた画像データに対してＪＰＥＧ方式等の静止画圧縮処理又はＭＰＥＧ方式等の動画圧縮処理を施す。また、画像圧縮展開部２１０は、画像の再生時においては、圧縮処理が施された画像データに対して展開（デコード）処理を施す。

　メモリＩ/Ｆ２１１は、マイクロコンピュータ２１５等が記録媒体２１２にアクセスするためのインターフェイスである。記録媒体２１２は、例えばカメラ本体２００に着脱自在になされたメモリカードである。この記録媒体２１２は、画像ファイル等を記録する。画像ファイルは、画像圧縮展開部２１０によって圧縮された画像データに、ヘッダ情報が付加されたファイルである。記録媒体２１２が、動画記録部の一例として機能する。

　表示ドライバ２１３は、画像処理部２０９で得られた画像データ又は画像圧縮展開部２１０で伸張された画像データを映像信号に変換して表示部２１４に出力する。表示部２１４は、例えば液晶ディスプレイ（ＬＣＤ）である。この表示部２１４は、表示ドライバ２１３から入力された映像信号に基づく画像を表示する。

　マイクロコンピュータ２１５は、メカシャッタ２０１、撮像素子２０２、表示ドライバ２１３といったカメラ本体２００の各部の動作を統括的に制御する。また、マイクロコンピュータ２１５は、ＡＥ処理部２０７で演算された被写体輝度を用いてＡＥ処理を行ったり、ＡＦ処理部２０８で演算されたＡＦ評価値を用いてＡＦ処理を行ったりもする。また、マイクロコンピュータ２１５は、交換式レンズ１００の装着時には、交換式レンズ１００の動作も制御する。さらに、本実施形態におけるマイクロコンピュータ２１５は、タイミング取得部としての機能も有している。具体的には、マイクロコンピュータ２１５は、動画撮影中においてユーザにより操作部２１６のレリーズボタン２１６１が全押しされた、即ち静止画撮影の実行が指示されたタイミング（以下、レリーズタイミングという）を示す情報を取得する。

　操作部２１６は、ユーザによって操作される各種の操作部材である。本実施形態における操作部２１６は、レリーズボタン２１６１と、動画記録ボタン２１６２と、メニューボタン２１６３と、再生ボタン２１６４と、電源ボタン２１６５と、を有している。ここで、これらのボタンは、一部又は全部をタッチパネルによって操作される仮想的な操作部として構成しても良い。

　レリーズボタン２１６１は、ファースト（１ｓｔ）レリーズスイッチとセカンド（２ｎｄ）レリーズスイッチの２段スイッチを有している。レリーズボタン２１６１が半押しされて、ファーストレリーズスイッチがオンされた場合に、マイクロコンピュータ２１５は、ＡＥ処理やＡＦ処理等の撮影準備処理を実行する。また、レリーズボタン２１６１が全押しされて、セカンドレリーズスイッチがオンされた場合に、マイクロコンピュータ２１５は、静止画撮影処理を実行する。このようにレリーズボタン２１６１は、マイクロコンピュータ２１５に対して静止画撮影の実行を指示するための静止画撮影指示部の一例として機能する。

　動画記録ボタン２１６２は、マイクロコンピュータ２１５に対して動画撮影の実行を指示するための動画撮影指示部の一例として機能する。動画記録ボタン２１６２が押された場合、マイクロコンピュータ２１５は、動画撮影処理を実行する。また、動画撮影処理の実行中に動画記録ボタン２１６２が押された場合、マイクロコンピュータ２１５は、動画撮影処理を終了する。

　メニューボタン２１６３は、メニュー画面の表示を指示するための操作部である。メニュー画面上において、ユーザは、カメラ本体２００の各種の設定を変更することが可能である。再生ボタン２１６４は、マイクロコンピュータ２１５に対して静止画ファイル又は動画ファイルの再生を指示するための操作部である。電源ボタン２１６５は、カメラ本体２００の電源のオン又はオフを指示するための操作部である。

　Ｆｌａｓｈメモリ２１７は、例えばホワイトバランス補正用のホワイトバランスゲイン、カラーマトリクス演算用のカラーマトリクス係数、ガンマ変換用のガンマテーブルといった画像処理部２０９の動作に必要なパラメータ等の、カメラ本体２００の動作に必要な各種のパラメータを記憶している。ここで、本実施形態におけるＦｌａｓｈメモリ２１７は、特殊効果画像処理において用いられる合成係数を設定するためのテーブルも記憶している。また、Ｆｌａｓｈメモリ２１７は、マイクロコンピュータ２１５が実行する種々のプログラムも記憶している。

　顔検出部２１８は、画像データ内の顔部の像を、特徴量マッチング等を用いて検出し、検出した顔部の範囲（顔範囲）を示す情報をマイクロコンピュータ２１５に出力する。

　以下、図１で示したデジタルカメラの動作について説明する。図２は、図１で示したデジタルカメラのメイン動作を示すフローチャートである。図２の動作は、例えば図１に示すデジタルカメラの電源がオンされた場合に行われる。

　デジタルカメラの電源オン後において、マイクロコンピュータ２１５は、初期化処理を行う（ステップＳ１０１）。初期化処理において、マイクロコンピュータ２１５は、自身が有するレジスタに設定されている記録中フラグをＯｆｆにする等の処理を行う。記録中フラグは、動画記録中であるか否かを示すフラグである。記録中フラグがＯｆｆになっている間は、動画記録中でないことを示す。一方、記録中フラグがＯｎになっている間は、動画記録中であることを示す。

　次に、マイクロコンピュータ２１５は、ユーザによって操作部２１６の再生ボタン２１６４が押されたか否かを判定する（ステップＳ１０２）。ステップＳ１０２の判定において、再生ボタン２１６４が押された場合に、マイクロコンピュータ２１５は、再生処理を実行する（ステップＳ１０３）。　
　再生処理において、マイクロコンピュータ２１５は、ユーザによる画像ファイル（静止画像ファイル又は動画像ファイル）の選択を待つ。そして、画像ファイルが選択された場合に、マイクロコンピュータ２１５は、選択された画像ファイルを画像圧縮展開部２１０によりデコードする。そして、マイクロコンピュータ２１５は、選択された画像ファイルからデコードされた画像データを表示ドライバ２１３に入力する。表示ドライバ２１３は、入力された画像データを映像信号に変換し、この映像信号に対応した画像を表示部２１４に表示させる。その後、ユーザによって再生終了の指示がなされた場合、例えば再生ボタン２１６４が再び押された場合に、マイクロコンピュータ２１５は、処理をステップＳ１０２に戻す。

　また、ステップＳ１０２の判定において再生ボタンが押されていない場合に、マイクロコンピュータ２１５は、ユーザによって操作部２１６のメニューボタン２１６３が押されたか否かを判定する（ステップＳ１０４）。ステップＳ１０４の判定において、メニューボタン２１６３が押された場合に、マイクロコンピュータ２１５は、表示ドライバ２１３を制御して表示部２１４にメニュー画面を表示させた後、カメラ設定処理を実行する（ステップＳ１０５）。　
　カメラ設定処理において、マイクロコンピュータ２１５は、ユーザからのカメラ設定の変更の指示を待つ。そして、何らかのカメラ設定の変更の指示がなされた場合に、マイクロコンピュータ２１５は、その指示に従ってカメラ設定を変更する。このカメラ設定処理においては、例えば静止画撮影時や動画撮影時の画像の記録モードの設定が変更される。また、カメラ設定処理において、後述する特殊効果画像処理を実行するか否かも変更することが可能である。

　また、ステップＳ１０４の判定において、メニューボタン２１６３が押されていない場合に、マイクロコンピュータ２１５は、ユーザによって操作部２１６の動画記録ボタン２１６２が押されたか否かを判定する（ステップＳ１０６）。ステップＳ１０６の判定において、動画記録ボタン２１６２が押された場合に、マイクロコンピュータ２１５は、記録中フラグを反転させる（ステップＳ１０７）。即ち、マイクロコンピュータ２１５は、記録中フラグがＯｆｆの場合にはＯｎに、Ｏｎの場合にはＯｆｆにする。その後、マイクロコンピュータ２１５は、現在、動画記録中であるか否か、即ち記録中フラグがＯｎであるか否かを判定する（ステップＳ１０８）。

　ステップＳ１０８の判定において、記録中フラグがＯｎである場合に、マイクロコンピュータ２１５は、動画ファイルを生成し、生成した動画ファイルを記録媒体２１２に記録する（ステップＳ１０９）。動画ファイルは、ヘッダ情報記録部と動画像記録部とを有する。ヘッダ情報部には、動画ファイル用のヘッダ情報を記録する。このヘッダ情報としては、ファイル名や、動画撮影時の撮影情報（ＩＳＯ感度、絞り値、撮影日時等）、動画像データを構成する複数の画像データのそれぞれの位置を特定するためのポインタ情報等を記録する。この他、本実施形態においては、ヘッダ情報として、静止画情報及びタイミング情報を記録する。これらの静止画情報及びタイミング情報の詳細については後述する。また、動画像記録部には、動画像データを圧縮した状態で記録する。

　ステップＳ１０６の判定において動画記録ボタン２１６２が押されていない場合、ステップＳ１０８の判定において記録中フラグがＯｎでない場合、ステップＳ１０９において動画ファイルを生成した後、マイクロコンピュータ２１５は、現在、動画記録中であるか否か、即ち記録中フラグがＯｎであるか否かを判定する（ステップＳ１１０）。ステップＳ１１０の判定において、記録中フラグがＯｆｆである場合に、マイクロコンピュータ２１５は、ユーザによって操作部２１６のレリーズボタン２１６１が半押しされてレリーズボタン２１６１の状態がＯｆｆ状態から１ｓｔレリーズスイッチのＯｎ状態に遷移したか否かを判定する（ステップＳ１１１）。ステップＳ１１１の判定において、レリーズボタン２１６１の状態が１ｓｔレリーズスイッチのＯｎ状態に遷移した場合に、マイクロコンピュータ２１５は、顔検出処理、ＡＥ処理、及びＡＦ処理を行う（ステップＳ１１２）。　
　顔検出処理において、マイクロコンピュータ２１５は、顔検出部２１８によって顔範囲を検出させる。　
　ＡＥ処理において、マイクロコンピュータ２１５は、ＡＥ処理部２０７によって被写体輝度を算出させる。その後、マイクロコンピュータ２１５は、ＡＥ処理部２０７によって算出された被写体輝度に応じて静止画撮影の実行時におけるＩＳＯ感度、絞り値、シャッタ速を決定する。なお、ＡＥ処理において、特定の顔部の輝度が適正となるようにＩＳＯ感度、絞り値、シャッタ速を決定するようにしても良い。　
　ＡＦ処理において、マイクロコンピュータ２１５は、ＡＦ処理部２０８によって合焦評価値を取得させる。そして、マイクロコンピュータ２１５は、ＡＦ処理部２０８で取得された合焦評価値により、画像データにおけるコントラストを評価しつつ、レンズ１０１のフォーカスレンズを微少量ずつ駆動させるようにレンズマイクロコンピュータ１０４に指示する。その後、マイクロコンピュータ２１５は、コントラストが最大となった時点でフォーカスレンズの駆動を停止させるようにレンズマイクロコンピュータ１０４に指示する。このようなＡＦ処理は、所謂コントラスト方式のＡＦ処理である。ＡＦ処理として位相差ＡＦ処理を用いるようにしても良い。なお、ＡＦ処理において、特定の顔範囲に対して合焦するようにフォーカスレンズを駆動させるようにしても良い。

　ここで、図２の例における顔検出処理、ＡＥ処理及びＡＦ処理は、レリーズボタン２１６１の状態が１ｓｔレリーズスイッチのＯｎ状態に遷移したタイミングにおいて実行されるものである。即ち、レリーズボタンの状態が１ｓｔレリーズスイッチのＯｎ状態に遷移しないタイミング、例えば、レリーズボタンの状態がＯｆｆ状態のままである場合、１ｓｔレリーズスイッチのＯｎ状態のままである場合、後述する２ｎｄレリーズスイッチのＯｎ状態のままである場合等では、顔検出処理、ＡＥ処理及びＡＦ処理は実行されない。

　ステップＳ１１１の判定において、レリーズボタン２１６１の状態が１ｓｔレリーズスイッチのＯｎ状態に遷移していない場合に、マイクロコンピュータ２１５は、ユーザによって操作部２１６のレリーズボタン２１６１が全押しされてレリーズボタン２１６１の状態が２ｎｄレリーズスイッチのＯｎ状態となっているか否かを判定する（ステップＳ１１３）。

　ステップＳ１１３の判定において、レリーズボタンの状態が２ｎｄレリーズスイッチのＯｎ状態である場合に、マイクロコンピュータ２１５は、静止画撮影処理を実行する（ステップＳ１１４）。このために、マイクロコンピュータ２１５は、ステップＳ１１２において決定したＩＳＯ感度に応じてアナログ処理部２０３におけるゲイン制御量（増幅率）を設定するとともに、ステップＳ１１２において決定した絞り値をレンズマイクロコンピュータ１０４に送信する。その後、マイクロコンピュータ２１５は、レンズマイクロコンピュータ１０４の制御による絞り１０２の駆動と同期して、ステップＳ１１２において決定したシャッタ速に応じてメカシャッタ２０１を動作させて撮像素子２０２の露光量を制御する。このような静止画撮影処理により、画像データがＲＡＭ２０６に記憶される。

　静止画撮影処理を実行した後、マイクロコンピュータ２１５は、静止画撮影処理によってＲＡＭ２０６に記憶された画像データに対して画像処理部２０９を用いて画像処理を施すことによって静止画像データを生成する（ステップＳ１１５）。この際、特殊効果画像処理を施すように予め設定されている場合には、基本画像処理部２０９１による基本画像処理と特殊効果画像処理部２０９２による特殊効果画像処理の両方を画像データに対して施す。一方、特殊効果画像処理を施すように予め設定されていない場合には、基本画像処理部２０９１による基本画像処理のみを画像データに対して施す。

　画像処理の後、マイクロコンピュータ２１５は、画像処理の結果としてＲＡＭ２０６に記憶された静止画像データを、静止画ファイルとして記録する処理を行う（ステップＳ１１６）。この際、マイクロコンピュータ２１５は、静止画撮影処理の結果としてＲＡＭ２０６に記憶された静止画像データに対する静止画圧縮処理を実行するように画像圧縮展開部２１０に指示する。この指示を受けて画像圧縮展開部２１０は、予め設定された記録モードに対応するように静止画圧縮処理を行い、圧縮された静止画像データをＲＡＭ２０６に記憶させる。その後、マイクロコンピュータ２１５は、画像圧縮展開部２１０により圧縮された静止画像データをＲＡＭ２０６から読み出し、読み出した静止画像データに所定のヘッダ情報を付加して静止画ファイルを作成し、作成した静止画ファイルを記録媒体２１２に記録する。静止画ファイルは、ヘッダ情報記録部と静止画像記録部とを有する。ヘッダ情報部には、静止画ファイル用のヘッダ情報を記録する。このヘッダ情報としては、ファイル名や、静止画撮影時の撮影情報（ＩＳＯ感度、絞り値、撮影日時等）等を記録する。また、静止画像記録部には、静止画像データを圧縮状態で記録する。

　また、ステップＳ１１３の判定において、レリーズボタンの状態が２ｎｄレリーズスイッチのＯｎ状態でない場合に、マイクロコンピュータ２１５は、ＡＥ処理を実行する（ステップＳ１１７）。このＡＥ処理は、ライブビュー表示のための処理である。ＡＥ処理の後、マイクロコンピュータ２１５は、ライブビュー表示用の撮影処理を実行する（ステップＳ１１８）。この撮影処理において、マイクロコンピュータ２１５は、ＡＥ処理によって決定したシャッタ速に応じて撮像素子２０２の電子シャッタ機能を動作させて撮像素子２０２の露光量を制御する。撮影処理の後、マイクロコンピュータ２１５は、撮影処理の結果としてＲＡＭ２０６に記憶された画像データに対して、画像処理部２０９を用いて画像処理を施す（ステップＳ１１９）。画像処理の後、マイクロコンピュータ２１５は、画像処理の結果としてＲＡＭ２０６に記憶された画像データを再生するように表示ドライバ２１３に指示する。この指示を受けて表示ドライバ２１３は、ＲＡＭ２０６から画像データを読み出し、読み出した画像データを映像信号に変換して表示部２１４に出力する。表示部２１４は、この映像信号に基づいて画像を再生する（ステップＳ１２０）。このようなライブビュー表示により、ユーザは、表示部２１４を用いて構図の確認等を行うことができる。

　また、ステップＳ１１０の判定において、記録中フラグがＯｎである場合に、マイクロコンピュータ２１５は、動画撮影処理を実行する（ステップＳ１２１）。この動画撮影処理の詳細については後述する。

　また、ステップＳ１１２、Ｓ１１６、Ｓ１２０、Ｓ１２１の後、マイクロコンピュータ２１５は、デジタルカメラの電源がオフされたか否かを判定する（ステップＳ１２２）。ステップＳ１２２の判定において、デジタルカメラの電源がオフされていない場合に、マイクロコンピュータ２１５は、ステップＳ１０２以後の処理を実行する。一方、ステップＳ１２２の判定において、デジタルカメラの電源がオフされた場合に、マイクロコンピュータ２１５は、図２の処理を終了させる。

　図３は、本実施形態における動画撮影処理の詳細を示したフローチャートである。ここで、図３においては、カメラ設定処理において特殊効果画像処理を実行するように設定されているものとして説明を行う。

　動画撮影処理において、マイクロコンピュータ２１５は、顔検出処理、ＡＥ処理を実行する（ステップＳ２０１）。続いて、マイクロコンピュータ２１５は、レリーズボタン２１６１の状態がＯｆｆ状態から１ｓｔレリーズスイッチのＯｎ状態に遷移したか否かを判定する（ステップＳ２０２）。ステップＳ２０２の判定において、レリーズボタン２１６１の状態が１ｓｔレリーズスイッチのＯｎ状態に遷移した場合に、マイクロコンピュータ２１５は、ＡＦ処理を行う（ステップＳ２０３）。また、ステップＳ２０３の判定において、レリーズボタン２１６１の状態が１ｓｔレリーズスイッチのＯｎ状態に遷移していない場合に、マイクロコンピュータ２１５は、ステップＳ２０３の処理をスキップする。

　その後、マイクロコンピュータ２１５は、撮影処理を実行する（ステップＳ２０４）。この撮影処理においてマイクロコンピュータ２１５は、ライブビュー表示用の撮影処理と同様に、ＡＥ処理によって決定したシャッタ速に応じて撮像素子２０２の電子シャッタ機能を動作させて撮像素子２０２の露光量を制御する。その後、マイクロコンピュータ２１５は、撮影処理の結果としてＲＡＭ２０６に記憶された画像データに対して、画像処理部２０９を用いて画像処理を施す（ステップＳ２０５）。ステップＳ２０５においては、画像データに対して基本画像処理を施す。

　続いて、マイクロコンピュータ２１５は、レリーズボタン２１６１の状態が２ｎｄレリーズスイッチのＯｎ状態であるか否かを判定する（ステップＳ２０６）。ステップＳ２０６の判定において、レリーズボタン２１６１の状態が２ｎｄレリーズスイッチのＯｎ状態である場合に、マイクロコンピュータ２１５は、そのときの静止画情報を例えばＲＡＭ２０６に記憶させる（ステップＳ２０７）。　
　静止画情報とは、動画撮影中においてレリーズボタン２１６１が全押しされたタイミング（レリーズタイミング）の直前のフレームの画像データに関する付随情報である。本実施形態では、例えば、レリーズタイミングの直前のフレームの画像データそのものを静止画情報として記憶させる。この記憶された画像データは、動画撮影中に得られたものであるが、１つの静止画像データとして取り扱われる。以後、この記憶された画像データを動画内静止画像データという。　
　また、レリーズボタンタイミングの直前のＡＦ処理において合焦した画像内の位置を示す情報（以下、ＡＦ情報という）を静止画情報として記憶させるようにしても良い。さらに、レリーズタイミングの直前の顔検出処理において得られた特定の顔範囲を示す情報（以下、顔情報という）を、静止画情報として記憶させることが可能である。この他、動画内静止画像データの主要被写体を特定できる各種の情報を静止画情報として記憶させることが可能である。

　静止画情報を記憶させた後、マイクロコンピュータ２１５は、レリーズタイミングを示すタイミング情報を取得する（ステップＳ２０８）。タイミング情報は、例えば動画撮影処理の開始からレリーズタイミングまでの経過時間やレリーズタイミングを示す時刻である。この他、動画内静止画像データに対応した動画ファイル内の画像データのフレーム番号や、動画内静止画像データに対応した画像データの動画ファイルの先頭からの位置を示す情報（ポインタ情報）をタイミング情報としても良い。

　タイミング情報を取得した後、マイクロコンピュータ２１５は、特殊効果画像処理、ライブビュー表示処理、記録処理をそれぞれ実行する（ステップＳ２０９）。その後、マイクロコンピュータ２１５は、図３の処理を終了させて図２のステップＳ１２２以後の処理を実行する。

　図４は、第１の実施形態における図３のステップＳ２０９の処理の一例を示すフローチャートである。図４において、マイクロコンピュータ２１５は、現在の動画撮影の対象となっているフレーム（現在フレーム）の画像データの取得タイミングとタイミング情報によって示されるレリーズタイミングとの時間差、即ちレリーズタイミングからの経過時間が所定時間Ｔ（例えば３秒以内）であるか否かを判定する（ステップＳ３０１）。ここで、タイミング情報がフレーム番号やポインタ情報である場合には、動画ファイル内での画像データの位置差が所定以内であるかを判定する。

　ステップＳ３０１の判定において、現在フレームの画像データの取得タイミングとタイミング情報によって示されるレリーズタイミングとの時間差が所定時間以内でない場合に、マイクロコンピュータ２１５は、ステップＳ３０２とステップＳ３０３の処理をスキップする。この場合には、現在フレームの画像データに対する特殊効果画像処理は行わない。

　一方、ステップＳ３０１の判定において、現在フレームの画像データの取得タイミングとタイミング情報によって示されるレリーズタイミングとの時間差が所定時間以内である場合に、マイクロコンピュータ２１５は、Ｆｌａｓｈメモリ２１７に記憶されているテーブルに従って合成係数を算出する（ステップＳ３０２）。合成係数を算出した後、マイクロコンピュータ２１５は、画像処理部２０９を用いて静止画情報としてＲＡＭ２０６に記憶させた動画内静止画像データと現在フレームの画像データとを合成（重畳）し、合成により得られた画像データを新たな現在フレームの画像データとしてＲＡＭ２０６に記憶させる（ステップＳ３０３）。

　ステップＳ３０１において現在フレームの画像データの取得タイミングとタイミング情報によって示されるレリーズタイミングとの時間差が所定時間以内でない場合、又はステップＳ３０３の後、マイクロコンピュータ２１５は、ＲＡＭ２０６に記憶されている現在フレームの画像データに基づく画像をライブビュー表示するように表示ドライバ２１３に指示する（ステップＳ３０４）。上述の合成によって得られた合成画像データを再生した場合、今回再生されるべき現在フレームの画像に、レリーズタイミングに対応して取得された動画内静止画像が重畳された状態の残像効果を有する画像が表示部２１４に表示される。

　続いて、マイクロコンピュータ２１５は、ＲＡＭ２０６に記憶されている現在フレームの画像データを、図２のステップＳ１０９で予め作成した動画ファイルに追記する（ステップＳ３０５）。現フレームの画像データを動画ファイルに追記した後、マイクロコンピュータ２１５は、図４の処理を終了させる。ステップＳ３０５において、マイクロコンピュータ２１５は、ＲＡＭ２０６に記憶されている現在フレームの画像データに対して動画圧縮処理を実行するように画像圧縮展開部２１０に指示する。この指示を受けて画像圧縮展開部２１０は、予め設定された記録モードに対応するように動画圧縮処理を行い、圧縮された画像データをＲＡＭ２０６に記憶させる。その後、マイクロコンピュータ２１５は、圧縮された画像データをＲＡＭ２０６から読み出し、読み出した画像データを予め作成した動画像ファイルの動画像記録部に追記する。

　図５は、ステップＳ３０２において合成係数を算出するための合成係数の設定テーブルの例を示す図である。図５に示すように、合成係数は、０.０から１.０の範囲で設定する。さらに、合成係数は、レリーズタイミングの直後の時点（図の０の時点）から所定時間Ｔが経過した時点で０.０となるように設定することが望ましい。

　図５は、このような２つの条件を満足する合成係数のテーブルの例を示している。例えば、図５のａのテーブルの特性は、合成係数が、所定時間Ｔをかけて０.０まで減少する特性である。また、図５のｂのテーブルの特性は、合成係数が、ある時間の間は一定であり、その後に０.０まで減少する特性である。さらに、図５のｃのテーブルの特性は、合成係数が１.０まで増加した後、０.０まで減少する特性である。このように、各種の特性の合成係数のテーブルを設定しておくことができる。マイクロコンピュータ２１５は、図５のようにして予め記憶されているテーブルを用いて、レリーズタイミングとの時間差に応じた合成係数を算出する。なお、複数の特性のテーブルが記憶されている場合には、その中の何れのテーブルを用いるかをユーザが設定できるようにしても良い。

　図６は、ステップＳ３０３の合成処理の例を説明するための図である。ここで、図６は、以下の（式１）に従って合成を行った例を示している。　
　　　Ｃ＝α×Ａ＋Ｂ　　　　　　　　　　　　　　　　　　　　　　　（式１）　
ここで、（式１）のＡは動画内静止画像データの値を示し、Ｂは現在フレームの画像データの値を示し、αは合成係数を示し、Ｃは合成後の画像データの値を示している。また、図６の例の合成係数αは、図５の特性ａに対応している。

　上述したように、一連の動画撮影中にレリーズボタン２１６１が全押しされると、その直前のフレームの画像データが動画内静止画像データとして記憶される。その後、レリーズタイミングから所定時間Ｔ秒（例えば３秒）が経過するまで合成が行われる。（式１）に従って動画内静止画像データを合成することにより、半透明状態の動画内静止画像が現在フレームの画像に重畳され、図６に示す合成画像データＣ１、Ｃ２、Ｃ３が生成される。

　合成係数のテーブルが図５の特性ａを有している場合、合成係数αは時間経過に伴って減少する。このため、合成画像データＣ１よりも合成画像データＣ２のほうが、合成される動画内静止画像データの透明度が大きくなる。そして、動画内静止画像データは、所定時間Ｔ（３秒）が経過した時点で完全に透明となる。このときに得られる合成画像データＣ３は、合成が行われていないのと等価な画像データとなる。

　ここで、上述の例では、（式１）に従って動画内静止画像データの透明度のみを変更して合成している。しかしながら、本実施形態においては、動画内静止画像データと現在フレームの画像データとを任意の手法で合成することが可能である。例えば、以下の（式２）に従って両者を合成しても良い。　
　　　Ｃ＝α×Ａ＋（１－α）×Ｂ　　　　　　　　　　　　　　　　（式２）　
（式２）の場合、動画内静止画像データと現在フレームの画像データの両者に対して半透明化処理がなされて合成が行われる。

　また、静止画情報として顔情報を記憶させている場合には、図６に示すように、動画内静止画像データの顔範囲の画像データのみを合成するようにしても良い。この場合、画像処理部２０９は、顔情報によって特定される顔範囲の画像データを動画内静止画像データから抽出し、抽出した顔範囲の画像データを現在フレームの画像データに合成する。この場合の顔範囲の画像データの合成位置は、特に限定されるものではない。例えば、固定位置としても良いし、現在フレームの画像データにおける被写体位置（顔範囲）としても良いし、ユーザが適宜設定できるようにしても良い。さらに、顔情報の代わりにＡＦ情報を用いて画像データを抽出するようにしても良い。

　また、図６に示すように、動画内静止画像データの顔範囲の画像データを拡大してから合成するようにしても良い。この場合の拡大率は、拡大後の顔範囲の画像データが現在フレームの画像データの画角内に収まるように設定することが望ましい。また、ユーザが拡大率を設定できるようにしても良い。さらには、動画内静止画像データの顔範囲の画像データを拡大してから合成するか否かをユーザが設定できるようにしても良い。

　以上説明したように、本実施形態によれば、ユーザが動画撮影中の所望のタイミングでレリーズボタン２１６１を全押しするだけで、そのタイミングに対応した画像データに対して特殊効果画像処理としての合成処理が施される。このように、本実施形態によれば、ユーザは動画撮影後に編集等を行うことなく、動画撮影中の意図したタイミングで特殊効果画像処理を施すことが可能である。

　また、特殊効果画像処理としての合成処理を施す際、動画内静止画像データの合成係数を、レリーズタイミングからの経過時間に応じて変化させ、一定時間後にゼロにするように設定することにより、再生時における急激な画像の変化を抑制して自然な残像効果を与えることが可能である。

　ここで、第１の実施形態においては、動画内静止画像データを取得するタイミングをレリーズボタン２１６１が全押しされたタイミングとしている。このタイミングを指示する操作部をレリーズボタン２１６１以外のものとしても良い。

　［第２の実施形態］　
　次に、本発明の第２の実施形態について説明する。第２の実施形態は、第１の実施形態とは別の特殊効果画像処理を施す例である。第２の実施形態においては、特殊効果画像処理として、レリーズタイミングに前後するタイミングに対応した動画像の再生時間を変更する処理を施す。

　以下、第２の実施形態において、第１の実施形態と同一の部分については説明を省略する。本実施形態においては、画像バッファ用の記憶領域がＲＡＭ２０６に設けられている。この画像バッファ用の記憶領域は、静止画像データや動画像データを記憶するための記憶領域とは別個に設けられている。画像バッファ用の記憶領域は、後述の特殊効果画像処理において過去フレームの画像データを保持しておくための記憶領域である。

　図７は、第２の実施形態における図３のステップＳ２０９の処理の例を示すフローチャートである。図７において、マイクロコンピュータ２１５は、現在の動画撮影の対象となっているフレーム（現在フレーム）の画像データの取得タイミングとタイミング情報によって示されるレリーズタイミングとの時間差、即ちレリーズタイミングからの経過時間が所定時間Ｔ（例えば３秒以内）であるか否かを判定する（ステップＳ４０１）。ステップＳ４０１の判定において、現在フレームの画像データの取得タイミングとタイミング情報によって示されるレリーズタイミングとの時間差が所定時間以内でない場合に、マイクロコンピュータ２１５は、ＲＡＭ２０６に記憶されている現在フレームの画像データに基づく画像をライブビュー表示するように表示ドライバ２１３に指示する（ステップＳ４０２）。

　続いて、マイクロコンピュータ２１５は、画像バッファがフル状態となったか否かを判定する（ステップＳ４０３）。ステップＳ４０３の判定において、画像バッファがフル状態となった場合に、マイクロコンピュータ２１５は、画像バッファに記録されている画像データを、図２のステップＳ１０９で予め作成した動画ファイルに追記する（ステップＳ４０４）。その後、マイクロコンピュータ２１５は、現在フレームの画像データをＲＡＭ２０６内に構成された画像バッファに記憶させる（ステップＳ４０５）。また、ステップＳ４０３の判定において、画像バッファがフル状態となっていない場合に、マイクロコンピュータ２１５は、ステップＳ４０４の処理をスキップする。

　ステップＳ４０４においては、画像バッファに記録されている画像データの中で最も古い画像データから順に動画ファイルに記録する。例えば、画像バッファが７枚の画像データを格納できるだけの容量を有しているとする。この場合、７枚目の画像データが記憶されるまでは、図８Ａに示すようにして、画像バッファに画像データを順次記憶させる。これに対し、８枚目の画像データ以後については、図８Ｂに示すようにして、最古の画像データを動画ファイルに追記してから記憶させる。図８Ｂに示すようにして画像データを循環的に画像バッファに記憶させることにより、画像バッファの容量が少なくとも画像データを逐次記憶させることが可能となる。

　また、ステップＳ４０１の判定において、現在フレームの画像データの取得タイミングとタイミング情報によって示されるレリーズタイミングとの時間差が所定時間以内である場合に、マイクロコンピュータ２１５は、現在フレームの画像データがレリーズタイミングに対応したフレームの画像データであるか否かを判定する（ステップＳ４０６）。ステップＳ４０６の判定において、現在フレームの画像データがレリーズタイミングに対応したフレームの画像データである場合に、マイクロコンピュータ２１５は、画像処理部２０９によって現在フレームの画像データの一部（例えば顔範囲やＡＦ範囲）を切り出す（ステップＳ４０７）。そして、マイクロコンピュータ２１５は、切り出した画像データの一部の像を用いて、第２の実施形態における特殊効果画像処理としての過去フレームの画像データの生成処理を行う（ステップＳ４０８）。この過去フレームの画像データの生成処理については後述する。

　過去フレームの画像データを生成した後、マイクロコンピュータ２１５は、ステップＳ４０８で生成した過去フレームの画像データを、図２のステップＳ１０９で予め作成した動画ファイルに追記する（ステップＳ４０９）。過去フレームの画像データを動画ファイルに追記した後、マイクロコンピュータ２１５は、生成した過去フレームの画像データに基づく画像をライブビュー表示するように表示ドライバ２１３に指示する（ステップＳ４１０）。その後にマイクロコンピュータ２１５は、図７に示す処理を終了させる。

　また、ステップＳ４０６の判定において、現在フレームの画像データがレリーズタイミングに対応したフレームの画像データでない場合に、マイクロコンピュータ２１５は、画像処理部２０９によって切り出した画像データの一部の像を用いて、第２の実施形態における特殊効果画像処理としての新たな現在フレームの画像データの生成処理を行う（ステップＳ４１１）。この現在フレームの画像データの生成処理についても後述する。

　現在フレームの画像データを生成した後、マイクロコンピュータ２１５は、生成した現在フレームの画像データに基づく画像をライブビュー表示するように表示ドライバ２１３に指示する（ステップＳ４１２）。その後、マイクロコンピュータ２１５は、ステップＳ４１１で生成した現在フレームの画像データを、図２のステップＳ１０９で予め作成した動画ファイルに追記する（ステップＳ４１３）。現在フレームの画像データを動画ファイルに追記した後、マイクロコンピュータ２１５は、図７に示す処理を終了させる。

　以下、第２の実施形態における特殊効果画像処理としてのフレームの生成処理について説明する。図９は、ステップＳ４０８又はＳ４１１におけるフレーム生成のための合成係数の設定テーブルの例を示す図である。

　図９に示すように、第２の実施形態における合成係数も、第１の実施形態と同様、０.０から１.０の範囲で設定する。また、第２の実施形態においては、合成係数を、レリーズタイミング（図の０の時点）の前後の所定時間Ｔの範囲内で設定する。そして、第２の実施形態における合成係数は、レリーズタイミングから±Ｔの時点でそれぞれ０.０となるように設定する。これらの条件を満足していれば、合成係数の特性は任意に設定して良い。図９の例は、合成係数が、－Ｔの時点から０の時点までは０.０から０.５まで単調増加し、その後、Ｔの時点となる前に０.０まで減少する特性である。

　さらに、本実施形態では、レリーズタイミングの前後の所定時間Ｔの範囲内の動画像データの再生速度を変更する。この際、±Ｔの時点では再生速度を等倍速（１倍速）としておくことが望ましい。さらに、動画像の全体としての再生時間が変わらないよう、高速再生処理によって減少するフレーム数と低速再生処理によって増加するフレーム数とを一致させるように再生速度を変更することがより望ましい。

　図１０は、再生速度の変化特性の一例を示す図である。図１０は、再生速度を、等倍速から２倍速まで変化させた後、２倍速から１/２まで変化させ、その後に再び等倍速まで戻す例である。図１０のようにして再生速度を変更する場合、高速再生処理を行う領域（図の等倍のライン以上の領域の面積）と低速再生処理を行う領域（図の等倍のライン以下の領域の面積）とを等しくすることができる。これにより、高速再生によって減少するフレーム数と低速再生によって増加するフレーム数とが一致する。

　図１１は、ステップＳ４０８における過去フレームの生成について説明するための図である。まず、画像バッファに記憶されている画像データ（ｍ－６）～（ｍ－１）のそれぞれに、レリーズタイミングに対応した画像データ（ｍ）から生成された動画内静止画像データを合成する。また、レリーズタイミングに対応した画像データ（ｍ）にも動画内静止画像データを合成する。合成の仕方は、第１の実施形態と同様である。即ち、動画内静止画像データの一部（例えば顔範囲）を切り出し、この切り出した一部の像の画角を拡大する。そして、図９に示したようなレリーズタイミングからの時間差と対応付けられた合成係数に従って、拡大後の動画内静止画像データの一部の像を合成対象の画像データと合成する。勿論、第１の実施形態と同様、動画内静止画像データの一部の像の画角を拡大せずに、即ち画角を同じくして合成しても良い。

　動画内静止画像データの合成処理によって得られたそれぞれの合成画像データ（ｍ－６）～（ｍ－１）は、画像バッファに上書き記憶される。また、合成画像データ（ｍ）は、ＲＡＭ２０６の画像バッファとは別の記憶領域に上書き記憶される。続いて、再生速度を変化させるように再生速度変更後画像データを生成する。１フレーム分の画像データの再生時間が変わらないとすると、再生速度を高速化するには再生する画像データの数を減少させれば良く、再生速度を低速化するには再生する画像データの数を増加させれば良い。例えば、連続する複数のフレームの画像データを再生する際に、これらのフレームの画像データを合成してから再生したり、間引きして再生したりすることにより、再生速度を高速化することができる。逆に、連続する複数のフレームの画像データを再生する際に、連続するフレームの中間のフレームの画像データをさらに再生したり、同じフレームの画像データを複数回再生したりすることにより、再生速度を低速化することができる。

　図１１のようにして記憶された画像データから、図１０に示すような再生速度の特性を有する動画像データを生成する場合、合成画像データ（ｍ－６）は等倍速で再生する。したがって、合成画像データ（ｍ－６）は何らの処理も適用しない。

　続いて、合成画像データ（ｍ－５）、（ｍ－４）と合成画像データ（ｍ－３）、（ｍ－２）は、２倍速で再生する。このために、合成画像データ（ｍ－５）と合成画像データ（ｍ－４）とをさらに合成して再生速度変更後画像データ（ｍ－５）を生成する。また、合成画像データ（ｍ－３）と合成画像データ（ｍ－２）とをさらに合成して再生速度変更後画像データ（ｍ－４）を生成する。これらの合成処理の際の合成画像データの合成比は例えば１：１である。合成画像データ（ｍ－５）～（ｍ－２）の４フレーム分を再生する代わりに、再生速度変更後画像データ（ｍ－５）、（ｍ－４）の２フレーム分を再生することにより、再生速度は、２倍速となる。ここでは、高速化処理として、２フレーム分の合成画像データをさらに合成する例を示したが、２フレームのうちの一方を間引くようにしても良い。

　続いて、合成画像データ（ｍ－１）は等倍速で再生する。したがって、合成画像データ（ｍ－１）は何らの処理も適用せずに再生速度変更後画像データ（ｍ－３）とする。次の合成画像データ（ｍ）は、１/２倍速で再生する。このために、合成画像データ（ｍ）をコピーして再生速度変更後画像データ（ｍ－２）、（ｍ－１）を生成する。同一の画像データである再生速度変更後画像データ（ｍ－２）、（ｍ－１）を連続して再生することにより、再生速度は、１/２倍速となる。ここでは、低速化処理として、同じ合成画像データをコピーする処理を示したが、２フレームの中間フレームの合成画像データを新たに生成するようにしても良い。

　合成画像データ（ｍ）を用いて再生速度変更後画像データ（ｍ－１）を生成するまでの処理が、過去フレームの生成処理である。このような過去フレームの生成処理の後、それまで画像バッファに記憶されていた合成画像データが消去される。その後は、所定時間Ｔが経過するまでは、動画撮影によって新たな画像データが取得される毎に、ステップＳ４１１の現在フレームの生成処理を行う。以下、図１２を参照して現在フレームの生成処理を説明する。

　合成画像データ（ｍ）の次の動画撮影タイミングにおいて、画像データ（ｍ＋１）が得られる。まず、画像データ（ｍ＋１）に動画内静止画像データを合成して合成画像データ（ｍ＋１）を生成する。この合成画像データ（ｍ＋１）はＲＡＭ２０６に上書き記憶される。合成画像データ（ｍ＋１）は、１/２倍速で再生する。このために、合成画像データ（ｍ＋１）をコピーして再生速度変更後画像データ（ｍ）、（ｍ＋１）を生成する。

　その後は、再生速度が等倍に戻るように再生速度変更後画像データ（ｍ＋２）、（ｍ＋３）、（ｍ＋４）を順次生成していく。図１２に示すように、再生速度変更後画像データ（ｍ＋２）は、合成画像データ（ｍ＋２）である。また、再生速度変更後画像データ（ｍ＋３）は、合成画像データ（ｍ＋２）と合成画像データ（ｍ＋３）の中間フレームの合成画像データである。さらに、再生速度変更後画像データ（ｍ＋４）は、合成画像データ（ｍ＋４）である。　
　図１２においては、図示していないが、所定時間Ｔが経過するまでに合成画像データ（ｍ＋５）、（ｍ＋６）も得られる。これらは、等倍速で再生する。

　以上説明したように、本実施形態によれば、ユーザが動画撮影中の所望のタイミングでレリーズボタン２１６１を全押しするだけで、そのタイミングに対して前後するタイミングの画像データに対して特殊効果画像処理としての再生速度変化処理が施される。このように、本実施形態においても、ユーザは動画撮影後に編集等を行うことなく、動画撮影中の意図したタイミングで特殊効果画像処理を施すことが可能である。

　また、特殊効果画像処理の終了時点で再生速度が等倍速に戻るように、再生速度変更後画像データを生成することにより、特殊効果画像処理を施す前後での急激な再生速度の変化を抑制することが可能である。

　ここで、上述の第２の実施形態においては、動画内静止画像データを合成してから再生速度の変更処理を行うようにしている。逆に、再生速度の変更処理を行ってから動画内静止画像データを合成しても良い。また、第２の実施形態においては、動画内静止画像データの合成処理自体を省略しても良い。この場合、静止画情報として動画内静止画像データを記憶させる必要はない。

　また、上述の例では、再生速度を２倍又は１/２倍とする処理を行っている。しかしながら、再生速度は、必ずしも２倍又は１/２倍とする必要はなく、任意に設定することが可能である。例えば、３フレームの分の合成画像データを合成して再生すれば、再生速度を３倍とすることが可能である。逆に、同じ合成画像データを３回連続で再生すれば、再生速度を１/３倍とすることが可能である。ただし、３倍速とする高速化処理を行った場合、この処理によって減少した３フレーム分を、低速化処理によって補間することが望ましい。

　［第３の実施形態］
　次に、本発明の第３の実施形態について説明する。第３の実施形態は、第１及び第２の実施形態とはまた別の特殊効果画像処理を施す例である。第３の実施形態においては、特殊効果画像処理として、ゲインマップに従って画像データを処理する。この特殊効果画像処理には、シェーディングを付加する処理、彩度を変更する処理、ぼかしを付加する処理、ソフトフォーカス処理等が含まれる。

　以下、第３の実施形態において、第１及び第２の実施形態と同一の部分については説明を省略する。図１３は、第３の実施形態における図３のステップＳ２０９の処理の例を示すフローチャートである。図１３において、マイクロコンピュータ２１５は、現在の動画撮影の対象となっているフレーム（現在フレーム）の画像データの取得タイミングとタイミング情報によって示されるレリーズタイミングとの時間差、即ちレリーズタイミングからの経過時間が所定時間Ｔ（例えば３秒以内）であるか否かを判定する（ステップＳ５０１）。ステップＳ５０１の判定において、現在フレームの画像データの取得タイミングとタイミング情報によって示されるレリーズタイミングとの時間差が所定時間以内である場合に、マイクロコンピュータ２１５は、第３の実施形態における特殊効果画像処理のためのゲインマップを作成する（ステップＳ５０２）。ゲインマップの作成処理については後述する。ゲインマップを作成した後、マイクロコンピュータ２１５は、特殊効果画像処理を実行する（ステップＳ５０３）。

　また、ステップＳ５０１の判定において、現在フレームの画像データの取得タイミングとタイミング情報によって示されるレリーズタイミングとの時間差が所定時間以内でない場合に、マイクロコンピュータ２１５は、ステップＳ５０２及びステップＳ５０３の処理をスキップする。

　ステップＳ５０１の判定において現在フレームの画像データの取得タイミングとタイミング情報によって示されるレリーズタイミングとの時間差が所定時間以内でない場合、又はステップＳ５０３において特殊効果画像処理を実行した後、マイクロコンピュータ２１５は、特殊効果画像処理の結果としてＲＡＭ２０６に記憶されている画像データに基づく画像をライブビュー表示するように表示ドライバ２１３に指示する（ステップＳ５０４）。その後、マイクロコンピュータ２１５は、特殊効果画像処理の結果としてＲＡＭ２０６に記憶されている画像データを、図２のステップＳ１０９で予め作成した動画ファイルに追記する（ステップＳ５０５）。その後、マイクロコンピュータ２１５は、図１３の処理を終了させる。

　図１４は、ステップＳ５０２において作成されるゲインマップの例を示した図である。ゲインマップは、画像上の位置と特殊効果画像処理の内容によって特定される係数とを対応付けたテーブルである。この係数は、シェーディングを付加する処理の場合には例えばシェーディングを付加するために画像データに乗じるゲイン値であり、彩度を変更する処理の場合には例えば色差信号（ＣｂＣｒ）に乗じるゲイン値であり、ソフトフォーカス処理とぼかしを付加する処理の場合には例えばぼかしの程度を決めるフィルタ係数に対応する値である。

　図１４に示すゲインマップのテーブルは、静止画情報によって特定される中心位置における係数が１であり、中心位置からの距離に応じて係数が０まで減少する特性を有する。中心位置は、顔情報によって特定された顔範囲の中心位置又はＡＦ情報によって特定されたＡＦ範囲の中心位置とする。

　さらに、図１４に示すように、本実施形態におけるゲインマップのテーブルは、レリーズタイミングからの時間経過に応じた複数の特性のゲインマップのテーブルが設けられている。図１４に示すゲインマップのテーブルは、レリーズタイミングからの経過時間が長いほど、係数が１に近づくように設定されている。

　本実施形態においては、レリーズタイミングからの経過時間に対応したゲインマップのテーブルを順次選択して特殊効果画像処理を施す。図１５は、図１４に示すゲインマップに従ってシェーディングを付加する処理を行った場合の例を示す図である。図１５に示すように、同一の画像内では、中心位置（図１５の場合は顔範囲）付近からの距離が遠くなるに従って画像が暗くなる。そして、レリーズタイミングからの経過時間が長くなるほど、画像が全体的に明るくなり、所定時間Ｔ（例えば３秒）が経過した時点でシェーディングを付加する処理を行っていないのと等価な状態となる。

　また、図示は省略しているが、彩度変更処理を行った場合には、同一の画像内では、中心位置付近からの距離が遠くなるに従って低彩度となるように彩度補正用のカラーマトリクスが設定される。また、ソフトフォーカス処理の場合には、中心位置付近からの距離が遠くなるに従ってぼけの程度が大きくなるようにローパスフィルタの係数が設定される。

　また、ぼかしを付加する処理の場合には、画像データ内における係数が１の領域、即ち顔範囲やＡＦ範囲に対応した領域を除く領域に対して、図１４で示したゲインマップに従ったぼかし処理を実行する。この場合、画像内の顔範囲（ＡＦ範囲）の部分のみが鮮明な像となり、その他の部分がぼけた像となる。このようなぼかしを付加する処理により、ジオラマ撮影で得られるような特殊効果が付加された画像を得ることが可能である。

　以上説明したように、本実施形態によれば、ユーザが動画撮影中の所望のタイミングでレリーズボタン２１６１を全押しするだけで、そのタイミングに対応した画像データに対してレリーズタイミングからの経過時間に応じた異なる視覚効果を与える特殊効果画像処理が施される。このように、本実施形態においても、ユーザは動画撮影後に編集等を行うことなく、動画撮影中の意図したタイミングで特殊効果画像処理を施すことが可能である。

　ここで、第３の実施形態において、第１の実施形態で説明した合成処理や第２の実施形態で説明した再生速度変更処理を併用するようにしても良い。　
　また、第３の実施形態では、静止画情報としての顔情報やＡＦ情報に従って、特殊効果画像処理を施すためのゲインマップを作成している。この他、静止画情報として例えば被写体輝度を用いることで、被写体輝度に応じてゲインマップの係数を変えるようにする等も可能である。

　［第４の実施形態］
　次に、本発明の第４の実施形態について説明する。上述した第１～第３の実施形態は、何れも動画撮影中に特殊効果画像処理を施す例について説明している。これに対し、第４の実施形態は、動画再生時に特殊効果画像処理を施す例である。

　以下、第４の実施形態において、第１～第３の実施形態と同一の部分については説明を省略する。図１６は、本実施形態における動画撮影処理の詳細を示したフローチャートである。ここで、図１６のステップＳ２０１～Ｓ２０６の処理は、図３と同様である。したがって説明を省略する。

　ステップＳ２０６の判定において、レリーズボタン２１６１の状態が２ｎｄレリーズスイッチのＯｎ状態である場合に、マイクロコンピュータ２１５は、そのときの静止画情報を例えばＲＡＭ２０６に記憶させる（ステップＳ６０７）。静止画情報は、基本的には第１の実施形態と同様である。しかしながら、第４の実施形態においては、静止画情報としてさらに特殊効果画像処理を実行するか否かを示す特殊効果再生情報を記録しておく。

　静止画情報を記憶させた後、マイクロコンピュータ２１５は、レリーズタイミングを示すタイミング情報を取得する（ステップＳ６０８）。マイクロコンピュータ２１５は、ステップＳ６０７で静止画情報として記憶させた静止画像データ（動画内静止画像データ）を、静止画ファイルとして記録する処理を行う（ステップＳ６０９）。続いて、マイクロコンピュータ２１５は、ＲＡＭ２０６に記憶されている現在フレームの画像データを、図２のステップＳ１０９で予め作成した動画ファイルに追記する（ステップＳ６１０）。ここで、タイミング情報は、例えば動画像ファイルのヘッダ情報部に記録しておく。タイミング情報を静止画ファイルのヘッダ情報部に記録しても良い。動画ファイルへの画像データの記録が終了した後、マイクロコンピュータ２１５は、図１６の処理を終了させて図２のステップＳ１２２以後の処理を実行する。　
　このように、本実施形態においては、動画撮影時において特殊効果画像処理を施さない代わりに、静止画情報及びタイミング情報を記録しておく。

　図１７は、本実施形態における動画再生処理について示すフローチャートである。この図１７の処理は、図２のステップＳ１０３の再生処理の際に行われる。上述したように、本実施形態においては、動作再生時に特殊効果画像処理を施す。ここで、本実施形態では、特殊効果画像処理を実行する旨を示す情報が特殊効果再生情報として記録されている場合に特殊効果画像処理を行う。

　また、図１７は、第１の実施形態で説明した合成処理を特殊効果画像処理として実行する例を示している。第２の実施形態及び第３の実施形態で説明した特殊効果画像処理を実行するようにしても良い。

　図１７の再生処理において、マイクロコンピュータ２１５は、ユーザによる動画像ファイルの選択を待つ（ステップＳ７０１）。そして、動画像ファイルが選択された場合に、マイクロコンピュータ２１５は、選択された動画像ファイルを画像圧縮展開部２１０によりデコードする（ステップＳ７０２）。

　そして、マイクロコンピュータ２１５は、現在の再生対象のフレームの画像データの取得タイミングとタイミング情報によって示されるレリーズタイミングとの時間差、即ちレリーズタイミングからの経過時間が所定時間Ｔ（例えば３秒以内）であるか否かを判定する（ステップＳ７０３）。ステップＳ７０３の判定において、現在フレームの画像データの取得タイミングとタイミング情報によって示されるレリーズタイミングとの時間差が所定時間以内である場合に、マイクロコンピュータ２１５は、Ｆｌａｓｈメモリ２１７に記憶されているテーブルに従って合成係数を算出する（ステップＳ７０４）。合成係数を算出した後、マイクロコンピュータ２１５は、画像処理部２０９を用いて静止画ファイルに記録した動画内静止画像データと現在フレームの画像データとを合成（重畳）し、合成により得られた画像データを新たな現在フレームの画像データとしてＲＡＭ２０６に記憶させる（ステップＳ７０５）。

　ステップＳ７０３において現在フレームの画像データの取得タイミングとタイミング情報によって示されるレリーズタイミングとの時間差が所定時間以内でない場合、又はステップＳ７０５の後、マイクロコンピュータ２１５は、ＲＡＭ２０６に記憶されている現在フレームの画像データに基づく画像を表示するように表示ドライバ２１３に指示する（ステップＳ７０６）。

　現在フレームの画像データを再生した後、マイクロコンピュータ２１５は、選択された動画像の再生が終了したか、即ち動画像データを構成する全フレームの画像データの再生が終了したか否かを判定する（ステップＳ７０７）。ステップＳ７０７の判定において、動画像の再生が終了していない場合に、マイクロコンピュータ２１５は、次のフレームの画像データを再生すべく、ステップＳ７０２以後の処理を実行する。また、ステップＳ７０７の判定において、動画像の再生が終了した場合に、マイクロコンピュータ２１５は、動画再生処理を終了するか、即ち、ユーザによって再生終了の指示がなされたか否かを判定する（ステップＳ７０８）。ステップＳ７０８の判定において、動画再生処理を終了しない場合に、マイクロコンピュータ２１５は、ステップＳ７０１以後の処理を実行する。一方、ステップＳ７０８の判定において、動画再生処理を終了しない場合に、マイクロコンピュータ２１５は、図１７の処理を終了させて図２のステップＳ１０１以後の処理を実行する。

　以上説明したように、本実施形態によれば、動画撮影時に特殊効果画像処理を施していなくとも、再生時において特殊効果画像処理を施した動画像を再生することが可能である。この場合でも、ユーザは編集操作を意識する必要がない。

　ここで、本実施形態では、図１６及び図１７の処理の何れもデジタルカメラ１０が行う例を示している。しかしながら、デジタルカメラ１０において図１６の動画撮影処理のみを行い、デジタルカメラ１０とは別体の特殊効果画像処理装置において図１７の処理を実行するようにしても良い。このような変形例の構成を図１８に示す。図１８の例では、撮像装置の一例としてのデジタルカメラ１０の画像処理部２０９が、特殊効果画像処理部２０９２を有していない。その代わりに、カメラ本体２００には、特殊効果画像処理装置２０と通信するためのインターフェイス（Ｉ/Ｆ）２１９が設けられている。また、特殊効果画像処理装置２０は、画像圧縮展開部３０１と、特殊効果画像処理部３０２と、を有している。画像圧縮展開部３０１は、画像圧縮展開部２１０と同様の機能を有する。また、特殊効果画像処理部３０２は、特殊効果画像処理部２０９２と同様の機能を有する。

　ここで、図１８の例では、デジタルカメラ１０のカメラ本体２００と特殊効果画像処理装置２０とが直接接続されているように図示されているが、Ｉ/Ｆ２１９は、無線インターフェイスであっても良い。この他、本実施形態の技術は、カメラ本体２００と特殊効果画像処理装置２０との間で動画像ファイル（静止画情報及びタイミング情報を含む）の授受を行える各種の場合において適用可能である。例えば、記録媒体２１２がカメラ本体２００に対して着脱自在に構成されていれば、動画ファイルが記録されている記録媒体２１２をカメラ本体２００から取り出し、この取り出した記録媒体２１２内の動画ファイルを特殊効果画像処理装置２０で読み出して処理するような形態であっても本実施形態の技術は適用可能である。

　以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

　さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

Claims

　被写体を撮像して画像データを得る撮像部と、
　前記撮像部で得られた画像データに対して画像処理を施す画像処理部と、
　前記撮像部に対して静止画撮影の実行を指示するための静止画撮影指示部と、
　前記静止画撮影指示部の指示に応じて前記撮像部で得られた画像データを前記画像処理部で画像処理して得られた静止画像データと、該静止画像データの付随情報と、を含む静止画情報を記憶する静止画情報記憶部と、
　前記撮像部に対して動画撮影の実行を指示するための動画撮影指示部と、
　前記動画撮影指示部の指示に応じて前記撮像部で得られた複数の画像データを前記画像処理部で画像処理して得られた動画像データを記録する動画記録部と、
　前記動画撮影の実行中に前記静止画撮影指示部によって前記静止画撮影の実行が指示された場合に、該静止画撮影の実行が指示されたタイミングを示すタイミング情報を取得するタイミング情報取得部と、
　を具備し、
　前記画像処理部は、前記静止画情報記憶部に記憶された前記静止画情報と前記タイミング情報取得部によって取得された前記タイミング情報とに基づいて、前記動画像データに対して特殊効果画像処理をさらに施すことを特徴とする撮像装置。
　前記画像処理部は、前記特殊効果画像処理として、前記動画像データを構成する複数の前記画像データのうちの前記タイミング情報に対応した画像データに前記静止画像データを重畳させる処理を前記動画像データに対して施すことを特徴とする請求項１に記載の撮像装置。
　前記画像処理部は、前記重畳させる処理として、前記重畳する静止画像データの重畳比率を前記タイミングからの経過時間に応じて変化させ、一定時間後にゼロにする処理を前記動画像データに対して施すことを特徴とする請求項２に記載の撮像装置。
　前記画像処理部は、前記動画記録部が前記動画像データを記録する前に前記特殊効果画像処理を前記動画像データに対して施し、
　前記動画記録部は、前記特殊効果画像処理が施された動画像データを記録することを特徴とする請求項１に記載の撮像装置。
　前記画像処理部は、前記動画記録部に記録された動画像データの再生が指示された際に前記特殊効果画像処理を該動画記録部に記録された動画像データに対して施し、
　前記特殊効果画像処理が施された動画像データを表示部に再生する再生制御部をさらに具備することを特徴とする請求項１に記載の撮像装置。
　前記画像処理部は、前記タイミング情報に対応した画像データと前記静止画像データの双方の画角を同じ画角として、前記タイミング情報に対応した画像データに前記静止画像データを重畳することを特徴とする請求項２又は３に記載の撮像装置。
　前記画像処理部は、前記静止画像データに記録されている前記被写体の像を前記タイミング情報に対応した画像データに記録されている前記被写体の像の画角よりも拡大した画角で、前記タイミング情報に対応した画像データに前記静止画像データを重畳することを特徴とする請求項２又は３に記載の撮像装置。
　前記付随情報には前記被写体の顔検出情報が含まれており、
　前記画像処理部は、前記静止画像データに記録されている前記被写体の像としての前記顔検出情報によって示される前記静止画像データの顔部の像の画角よりも拡大した画角で、前記タイミング情報に対応した画像データに前記静止画像データを重畳することを特徴とする請求項７に記載の撮像装置。
　前記画像処理部は、前記特殊効果画像処理として、前記動画像データを構成する複数の前記画像データのうちの前記タイミング情報に対応した画像データに対して前後するタイミングの画像データの再生速度を変化させる処理を施すことを特徴とする請求項１に記載の撮像装置。
　前記画像処理部は、前記特殊効果画像処理として、前記静止画像データに対してシェーディングを付加する処理を施すことを特徴とする請求項１に記載の撮像装置。
　前記画像処理部は、前記特殊効果画像処理として、前記静止画像データに対してぼかしを付加する処理を施すことを特徴とする請求項１に記載の撮像装置。
　前記付随情報には前記被写体の顔検出情報が含まれており、
　前記画像処理部は、前記顔検出情報によって示される前記静止画像データに記録されている前記被写体の顔部の像を中心として前記シェーディングを付加する処理を施すことを特徴とする請求項１０に記載の撮像装置。
　前記付随情報には前記被写体の顔検出情報が含まれており、
　前記画像処理部は、前記顔検出情報によって示される前記静止画像データに記録されている前記被写体の顔部の像を除く領域に前記ぼかしを付加する処理を施すことを特徴とする請求項１１に記載の撮像装置。
　前記付随情報にはＡＦ情報が含まれており、
　前記画像処理部は、前記ＡＦ情報によって示される前記静止画像データのＡＦ中心を中心として前記シェーディングを付加する処理を施すことを特徴とする請求項１０に記載の撮像装置。
　前記付随情報にはＡＦ情報が含まれており、
　前記画像処理部は、前記ＡＦ情報によって示される前記静止画像データのＡＦ中心を除く領域に前記ぼかしを付加する処理を施すことを特徴とする請求項１１に記載の撮像装置。
　前記付随情報には、前記動画像データの再生時に該再生される前記動画像データに前記特殊効果画像処理を施すかどうかを指示する特殊効果再生情報がさらに含まれ、
　前記画像処理部は、前記特殊効果再生情報によって前記特殊効果画像処理を施すように指示された場合に前記動画像データに特殊効果画像処理を施すことを特徴とする請求項１に記載の撮像装置。
　請求項１に記載の撮像装置で得られた前記静止画情報と前記タイミング情報とが入力され、該入力された前記静止画情報と前記タイミング情報とに基づいて、動画像データに対して特殊効果画像処理を施す特殊効果画像処理部を具備することを特徴とする画像処理装置。
　動画撮影指示部が、撮像部に対して動画撮影の実行を指示し、
　前記動画撮影指示部の指示に応じて前記撮像部が、被写体を撮像して複数の画像データを得て、
　画像処理部が前記撮像部で得られた複数の画像データに対して画像処理を施して動画像データを得て、
　前記動画撮影の実行中に静止画撮影指示部が、前記撮像部に対して静止画撮影の実行を指示し、
　前記静止画撮影指示部の指示に応じて静止画情報記憶部が、前記撮像部で得られた画像データを前記画像処理部で画像処理して得られた静止画像データと、該静止画像データの付随情報と、を含む静止画情報を記憶し、
　前記静止画撮影指示部の指示に応じてタイミング情報取得部が、前記静止画撮影の実行が指示されたタイミングを示すタイミング情報を取得し、
　前記画像処理部が、前記静止画情報記憶部に記憶された前記静止画情報と前記タイミング情報取得部によって取得された前記タイミング情報とに基づいて、前記動画像データに対して特殊効果画像処理をさらに施す、
　ことを特徴とする撮像方法。