JP5840000B2 - 撮像装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、被写体を撮像して該被写体の画像データを生成する撮像装置、画像処理方法およびプログラムに関する。

近年、デジタルカメラ等の撮像装置では、自然な印象を有する綺麗な画像を生成する機能にとどまらず、画像に対して意図的にノイズ、シェーディング、ぼかし等の効果を付加することで、従来に無い独特の印象を与える撮影表現を実現する機能を有するものが知られている。

たとえば、下記特許文献１では、フィルムのような粒状感（ノイズ感）を有するとともに、ハイコントラストの画像を生成する技術が開示されている。この技術によれば、荒々しく力強い印象の画像を撮影することができる。

また、下記特許文献２では、周縁部が減光された画像を生成する技術が開示されている。この技術によれば、トイカメラで撮影したような印象の画像、すなわち強い歪みやぼけを有する画像を撮影することができる。

これらの従来技術は、静止画撮影だけでなく動画撮影にも適用可能である。動画を撮影する場合には、時間的な画像の移り変わりを利用して、静止画にはない動画ならではの独特の映像表現を行うことができる。従来、このような映像表現は、動画フレームにわたる視覚的な効果を生じさせるために、経時的に変化する映像効果を付与することによって実現されていた。

特開２０１０−６２８３６号公報 特開２０１０−７４２４４号公報

しかしながら、上述した従来技術では、動画フレームに映像効果を付与している場合において、別の映像効果への切り替えを指示する指示信号の入力を受け付けたとき、動画フレームに付与中の映像効果が変化している途中であっても、別の映像効果に切り替わってしまうため、撮影された動画に違和感が生じるという問題点があった。

本発明は、上記に鑑みてなされたものであって、動画フレームに映像効果を付与している場合であっても、自然で違和感がない動画を撮影することができる撮像装置、画像処理方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明にかかる撮像装置は、被写体を撮像して該被写体の画像データを生成し、動画を撮影可能な撮像装置であって、動画の画像データに対応する複数のフレームにわたって互いに異なる視覚的な効果を生じさせる複数の動画特殊効果のいずれかを前記画像データに付与する動画中特殊効果画像処理部と、各動画特殊効果の前記画像データへの付与を開始することが可能であるか否かを判定する画像処理判定部と、前記画像処理判定部の判定結果に基づいて、前記動画中特殊効果画像処理部における各動画特殊効果の前記画像データへの付与対応を制御する画像処理制御部と、を備えたことを特徴とする。

また、本発明にかかる撮像装置は、上記発明において、前記複数の動画特殊効果のいずれか一つまたは一部の開始を指示する指示信号の入力を受け付ける動画特殊効果開始信号入力部をさらに備え、前記画像処理判定部は、前記動画特殊効果開始信号入力部によって前記指示信号が入力されたとき、該指示信号に対応する前記動画特殊効果の付与を前記動画中特殊効果画像処理部に開始させることが可能であるか否かを判定することを特徴とする。

また、本発明にかかる撮像装置は、上記発明において、前記画像処理制御部は、前記画像処理判定部によって前記指示信号に対応する前記動画特殊効果の付与を前記動画中特殊効果画像処理部に開始させることが不可能であると判定された場合、前記動画特殊効果開始信号入力部が受け付けた前記指示信号の入力に対応する前記動画特殊効果を行わないことを特徴とする。

また、本発明にかかる撮像装置は、上記発明において、前記画像処理判定部は、前記動画中特殊効果画像処理部が前記複数の動画特殊効果のいずれかを前記画像データへ付与している場合、他の前記動画特殊効果の付与を開始することが不可能であると判定し、前記画像処理制御部は、前記画像処理判定部によって他の前記動画特殊効果の付与を開始することが不可能であると判定された場合、前記動画中特殊効果画像処理部に対して他の前記動画特殊効果の付与を禁止させることを特徴とする。

また、本発明にかかる撮像装置は、上記発明において、前記画像処理判定部は、前記動画中特殊効果画像処理部が前記複数の動画特殊効果のいずれかの付与を開始後の所定期間または所定のフレーム数に相当する期間、他の前記動画特殊効果の付与を開始することが不可能であると判定し、前記画像処理制御部は、前記画像処理判定部によって他の前記動画特殊効果の付与を開始することが不可能であると判定された場合、前記動画中特殊効果画像処理部に対して他の前記動画特殊効果の付与を禁止させることを特徴とする。

また、本発明にかかる撮像装置は、上記発明において、前記動画中特殊効果画像処理部が付与する前記動画特殊効果におけるパラメータの時間変化率を算出する変化率算出部をさらに備え、前記画像処理判定部は、前記動画中特殊効果画像処理部がいずれかの前記動画特殊効果を行っている場合において、前記変化率算出部が算出した前記時間変化率が所定の閾値よりも大きいとき、他の前記動画特殊効果の付与を開始することが不可能であると判定し、前記画像処理制御部は、前記画像処理判定部によって他の前記動画特殊効果の付与を開始することが不可能であると判定された場合、前記動画中特殊効果画像処理部に対して他の前記動画特殊効果の付与を禁止させることを特徴とする。

また、本発明にかかる撮像装置は、上記発明において、前記動画特殊効果は、互いに異なる視覚的な効果を生じさせる２つの画像処理を所定の割合で合成し、この合成の割合を経時的に変化させながら合成するものであり、前記パラメータの時間変化率は、前記動画中特殊効果画像処理部が前記画像データに付与する前記２つの画像処理の合成の割合の時間変化率であることを特徴とする。

また、本発明にかかる撮像装置は、上記発明において、前記画像データに対応する画像を表示する表示部と、前記画像処理判定部の判定結果に応じた前記動画特殊効果の開始の可否を示す情報を前記画像に重畳して前記表示部に表示させる表示制御部と、をさらに備えたことを特徴とする。

また、本発明にかかる撮像装置は、上記発明において、動画記録の終了を指示する終了指示信号の入力を受け付ける動画撮影指示信号入力部をさらに備え、前記動画中特殊効果画像処理部が前記動画特殊効果を付与している場合において、前記動画撮影指示信号入力部によって前記終了指示信号が入力されたとき、前記動画中特殊効果画像処理部が前記動画特殊効果の付与を終了するまで動画撮影を継続することを特徴とする。

また、本発明にかかる撮像装置は、上記発明において、前記画像処理制御部は、前記動画中特殊効果画像処理部が前記動画特殊効果を付与している場合において、前記動画撮影指示信号入力部によって前記終了指示信号が入力されたとき、前記動画中特殊効果画像処理部が前記画像データに付与する前記動画特殊効果の付与時間を短縮することを特徴とする。

また、本発明にかかる撮像装置は、上記発明において、前記画像処理制御部は、前記動画中特殊効果画像処理部が前記画像データに付与する２つの画像処理の各々のフレーム数を、時間の経過とともに個別に変化させながら交互に行わせることを特徴とする。

また、本発明にかかる撮像装置は、上記発明において、前記画像処理制御部は、前記動画中特殊効果画像処理部が前記画像データに付与する一方の前記画像処理のフレーム数を経時的に少なくし、他方の前記画像処理のフレーム数を経時的に大きくすることを特徴とする。

また、本発明にかかる画像処理方法は、被写体を撮像して該被写体の画像データを生成し、動画を撮影可能であるとともに、動画の画像データに対応する複数のフレームにわたって互いに異なる視覚的な効果を生じさせる複数の動画特殊効果のいずれかを前記画像データに付与することが実行可能な撮像装置が実行する画像処理方法であって、各動画特殊効果の前記画像データへの付与を開始することが可能であるか否かを判定する画像処理判定ステップと、前記画像処理判定ステップの判定結果に基づいて、各動画特殊効果の前記画像データへの付与対応を制御する画像処理制御ステップと、を含むことを特徴とする。

また、本発明にかかるプログラムは、被写体を撮像して該被写体の画像データを生成し、動画を撮影可能であるとともに、動画の画像データに対応する複数のフレームにわたって互いに異なる視覚的な効果を生じさせる複数の動画特殊効果のいずれかを前記画像データに付与することが実行可能な撮像装置に実行させるプログラムであって、各動画特殊効果の前記画像データへの付与を開始することが可能であるか否かを判定する画像処理判定ステップと、前記画像処理判定ステップの判定結果に基づいて、各動画特殊効果の前記画像データへの付与対応を制御する画像処理制御ステップと、を実行させることを特徴とする。

本発明によれば、画像処理制御部が画像処理判定部の判定結果に基づいて、動画特殊効果処理部における動画特殊効果の付与態様を制御する。この結果、動画フレームに映像効果を付与している場合であっても、自然で違和感がない動画を撮影することができるという効果を奏する。

図１は、本発明の実施の形態１にかかる撮像装置の構成を示すブロック図である。 図２は、本発明の実施の形態１にかかる撮像装置のユーザに面する側（前面側）の構成を示す斜視図である。 図３は、本発明の実施の形態１にかかる撮像装置のアート効果画像処理部が行うアート効果画像処理の概要を示す図である。 図４は、マルチエコーの概要を説明する図である。 図５は、ワンショットエコーの概要を説明する図である。 図６は、最新の撮影画像に合成されるＳＤＲＡＭ画像の係数の時間変化を示す図である。 図７は、トランジットの概要を説明する図である。 図８は、トランジットにおいて開始トリガ入力前から付与されているアート効果の係数の時間変化を示す図である。 図９は、揺らぎの概要を説明する図である。 図１０は、動画記録時と動画非記録時における十字キーの各矢印キーへの操作割り当て例を示す図である。 図１１は、動画記録時と動画非記録時における十字キーの各矢印キーへの操作割り当て例（第２例）を示す図である。 図１２は、本発明の実施の形態１にかかる撮像装置が備えるレンズ制御部と制御部との同期通信の一例を示すタイミングチャートである。 図１３は、本発明の実施の形態１にかかる撮像装置が行う処理の概要を示すフローチャートである。 図１４は、本発明の実施の形態１にかかる撮像装置が行う動画設定処理の概要を示すフローチャートである。 図１５は、本発明の実施の形態１にかかる撮像装置の表示部における動画用の画面表示例を示す図である。 図１６は、本発明の実施の形態１にかかる撮像装置が行う動画中特殊効果制御処理の概要を示すフローチャートである。 図１７は、本発明の実施の形態１にかかる撮像装置の表示部における禁止アイコンの画面表示例を示す図である。 図１８は、本発明の実施の形態１にかかる撮像装置が行う画像処理の概要を示すフローチャートである。 図１９は、本発明の実施の形態２にかかる撮像装置が行う動画中特殊効果制御処理の概要を示すフローチャートである。 図２０は、本発明の実施の形態２にかかる撮像装置が行うトランジットにおいて開始トリガ入力前にかけられているアート効果の係数の時間変化を示す図である。 図２１は、本発明の実施の形態２にかかるトランジットにおいて開始トリガ入力前に付与されているアート効果の係数の別の時間変化を示す図である。 図２２は、本発明の実施の形態３にかかる撮像装置の構成を示すブロック図である。 図２３は、本発明の実施の形態３にかかる撮像装置が行う動画中特殊効果制御処理の概要を示すフローチャートである。 図２４は、本発明の実施の形態４にかかる撮像装置が実行するトランジットの概要とトランジットにおける開始トリガ入力前にかけられているアート効果の係数の時間変化との関係を示す図である。 図２５は、本発明の実施の形態５にかかる撮像装置が実行するトランジットの概要を説明する図である。 図２６は、本発明の実施の形態６にかかる撮像装置が行う動画設定処理の概要を示すフローチャートである。 図２７は、本発明の実施の形態７にかかる撮像装置が実行する処理の概要を示すフローチャートである。 図２８は、本発明の実施の形態７にかかる撮像装置が行う動画設定処理の概要を示すフローチャートである。

以下、図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）を説明する。図面の記載において、同一の部分には同一の符号を付して説明する。また、図面は、模式的なものであり、各部の寸法や比率は、現実と異なることに留意する必要がある。さらに、図面の相互間においても、互いの寸法の関係や比率が異なる部分が含まれる。なお、この実施の形態によって本発明が限定されるものではない。

（実施の形態１）
図１は、本発明の実施の形態１にかかる撮像装置の構成を示すブロック図である。図２は、本発明の実施の形態１にかかる撮像装置のユーザに面する側（前面側）の構成を示す斜視図である。図１および図２に示すように、撮像装置１は、本体部２と、本体部２に着脱自在なレンズ部３と、を備える。

本体部２は、シャッタ１０と、シャッタ駆動部１１と、撮像素子１２と、撮像素子駆動部１３と、信号処理部１４と、Ａ／Ｄ変換部１５と、画像処理部１６と、ＡＥ処理部１７と、ＡＦ処理部１８と、画像圧縮展開部１９と、入力部２０と、表示部２１と、表示駆動部２２と、記録媒体２３と、メモリＩ／Ｆ２４と、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）２５と、Ｆｌａｓｈメモリ２６と、本体通信部２７と、バス２８と、制御部２９と、を備える。

シャッタ１０は、撮像素子１２の状態を露光状態または遮光状態に設定する。シャッタ駆動部１１は、ステッピングモータ等を用いて構成され、制御部２９から入力される信号に応じてシャッタ１０を駆動する。

撮像素子１２は、レンズ部３が集光した光を受光して電気信号に変換するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を用いて構成される。撮像素子駆動部１３は、所定のタイミングで撮像素子１２から画像データ（アナログ信号）を信号処理部１４に出力させる。この意味で、撮像素子駆動部１３は、電子シャッタとして機能する。

信号処理部１４は、撮像素子１２から入力されるアナログ信号に対して、アナログ処理を施してＡ／Ｄ変換部１５に出力する。具体的には、信号処理部１４は、アナログ信号に対して、ノイズ低減処理およびゲインアップ処理等を行う。たとえば、信号処理部１４は、アナログ信号に対して、リセットノイズ等を低減した上で波形整形を行い、さらに目的の明るさとなるようにゲインアップを行う。

Ａ／Ｄ変換部１５は、信号処理部１４から入力されるアナログ信号に対してＡ／Ｄ変換を行うことによってデジタルの画像データを生成し、バス２８を介してＳＤＲＡＭ２５に出力する。

画像処理部１６は、バス２８を介してＳＤＲＡＭ２５から画像データを取得し、取得した画像データ（ＲＡＷデータ）に対して各種の画像処理を行って処理画像データを生成する。この処理画像データは、バス２８を介してＳＤＲＡＭ２５に出力される。画像処理部１６は、基本画像処理部１６１と、アート効果画像処理部１６２と、動画中特殊効果画像処理部１６３と、を有する。

基本画像処理部１６１は、画像データに対して、少なくとも、オプティカルブラック減算処理、ホワイトバランス（ＷＢ）調整処理、撮像素子１２がベイヤー配列の場合には画像データの同時化処理、カラーマトリクス演算処理、ガンマ補正処理、色再現処理およびエッジ強調処理等を含む基本の画像処理を行う。また、基本画像処理部１６１は、予め設定された各画像処理のパラメータに基づいて、自然な画像を再現する仕上がり効果処理を行って仕上がり効果画像データを生成する。ここで、各画像処理のパラメータとは、コントラスト、シャープネス、彩度、ホワイトバランスおよび階調の値である。

アート効果画像処理部１６２は、１つの画像データに対して複数の画像処理を組み合わせることにより、視覚的な効果を生じさせるアート効果処理を行って処理画像データ（以下、「アート効果画像データ」という）を生成する。

図３は、アート効果画像処理部１６２が行うアート効果画像処理の概要を示す図である。図３ではアート効果画像処理として、ファンタジックフォーカス、ファンタジックフォーカス＋スターライト、ファンタジックフォーカス＋ホワイトエッジ、ポップアート、ポップアート＋スターライト、ポップアート＋ピンホール、ポップアート＋ホワイトエッジ、トイフォト、ラフモノクローム、ジオラマの１０種類が記載されている。以下、これらのアート効果画像処理について説明する。

ファンタジックフォーカスは、画像全体にぼかし処理を施し、ぼかす前の画像と一定の割合で合成するソフトフォーカスの効果を与える処理である。ファンタジックフォーカスは、中間の輝度をより明るくするトーンカーブ処理を行うことにより、柔らかいトーンの中で、被写体のディテールを残しながら、幸福な光に包まれたように美しく幻想的な雰囲気の画像を結像または生成する。ファンタジックフォーカスは、たとえばトーンカーブ処理、ぼかし処理、アルファブレンド処理および画像合成処理等の画像処理を組み合わせることによって実現される。
ファンタジックフォーカス＋スターライトは、ファンタジックフォーカスに加えて、画像中の高輝度部に対してクロスパターンを描写するクロスフィルター効果を施す処理である。
ファンタジックフォーカス＋ホワイトエッジは、ファンタジックフォーカスに加えて、画像の中心部から周辺部（周縁部）に行くにしたがって徐々に白味を帯びる効果が施す処理である。このような白味の効果は、画像の中心からの距離が大きいほど周辺部が白くなるように画素値を変更することによって得られる。

ポップアートは、色をカラフルに強調し、明るく楽しい雰囲気を表現する処理である。ポップアートは、たとえば彩度強調処理およびコントラスト強調処理を組み合わせることによって実現される。全体に高コントラストで高彩度の効果である。
ポップアート＋スターライトは、ポップアートとスターライトを重ねて施す処理である。この場合には、カラフルな画像にクロスフィルターを施した効果が得られる。
ポップアート＋ピンホールは、ポップアートに加えて、画像の周辺部をシェーディングによって暗くして穴から覗き込むような効果を与えるトイフォト（ピンホール）を施す処理である。トイフォトの詳細については、後述する。
ポップアート＋ホワイトエッジは、ポップアートとホワイトエッジを重ねて施す処理である。

トイフォトは、画像の中心からの距離が大きいほど輝度が小さく（暗く）なるようにして、あたかも穴から覗き込んで異空間に迷い込んだような効果を生じさせる処理である。トイフォトは、たとえばローパスフィルタ処理、ホワイトバランス処理、コントラスト処理、色相・彩度処理に加え、輝度信号に対して周辺ほど小さい係数を乗じるシェーディング処理等の画像処理を組み合わせることによって実現される（トイフォト、シェーディングの詳細な内容については、たとえば特開２０１０−７４２４４号公報を参照）。

ラフモノクロームは、高コントラストとフィルムの粒状のノイズを付加してモノクロ画像の力強さや荒々しさを表現する処理である。ラフモノクロームは、たとえばエッジ強調処理、レベル補正最適化処理、ノイズパターン重畳処理、合成処理およびコントラスト処理等を組み合わせることによって実現される（ラフモノクロームの詳細な内容については、たとえば特開２０１０−６２８３６号公報を参照）。このうち、ノイズパターン重畳処理（ノイズ付加処理）は、予め作成したノイズパターン画像をもとの画像に加算する処理である。ノイズパターン画像は、たとえば乱数などを発生させ、この乱数に基づいて生成してもよい。

ジオラマは、高コントラストで高彩度の画像に、画像の周縁部をぼかすことにより、ミニチュア模型やおもちゃを見ているかのような雰囲気を画面上に作り出す処理である。ジオラマは、たとえば色相・彩度処理、コントラスト処理、周辺ぼかし処理および合成処理等を組み合わせることによって実現される。このうち、周辺ぼかし処理は、画像の中心からの距離に応じ、周辺部ほどぼける度合いが大きくなるように、画像の位置に応じてローパス係数を変更しながらローパスフィルタ処理を行うものである。なお、周辺ぼかし処理として、画像の上下のみ、または画像の左右のみをぼかすようにしてもよい。

動画中特殊効果画像処理部１６３は、動画の画像データに対応する複数のフレームにわたって視覚的な効果を生じさせる複数の動画特殊効果のいずれかを画像データに付与する。具体的には、動画中特殊効果画像処理部１６３は、動画を記録する際、画像に特殊効果を加える画像処理を行う。動画中特殊効果画像処理部１６３が行う動画中特殊効果としては、たとえばマルチエコー、ワンショットエコー、トランジット、揺らぎがある。以下、これらの動画中特殊効果について説明する。

図４は、マルチエコーの概要を説明する図である。マルチエコーとは、直前の記録用画像と今撮影した画像の画像を所定の期間繰り返すことによって画像に残像が残る効果である。具体的には、図４に示すように、ボール１０１が動く軌跡を残像として表示することができる効果である。

動画中特殊効果画像処理部１６３は、動画中特殊効果としてマルチエコーが設定されている場合、開始トリガが入力されると、その直後に生成された画像に対して、一つ前のフレームの画像を所定の割合で合成する処理（マルチエコー処理）を行う。

図４に示す場合、動画中特殊効果画像処理部１６３は、開始トリガの入力直後の撮影画像Ｐ１と、その一つの前のフレームの撮影画像Ｐ０に対応する記録画像Ｒ０とを合成することによって、マルチエコー画像Ｒ１を生成する。この合成の際、各画素において、撮影画像Ｐ１の信号に係数０．６を乗じる一方、記録画像Ｒ０の信号に係数０．４を乗じる。

続いて、動画中特殊効果画像処理部１６３は、次のフレームの撮影画像Ｐ２と合成画像Ｒ１とを合成することによってマルチエコー画像Ｒ２を生成する。マルチエコー画像Ｒ２を生成する際には、各画素において、撮影画像Ｐ２の信号に係数０．６を乗じる一方、合成画像Ｒ１の信号に係数０．４を乗じる。

動画中特殊効果画像処理部１６３は、終了トリガが入力されるまで、上述した合成処理を繰り返し行うことによってマルチエコー画像を順次生成する。終了トリガが入力されると、記録媒体２３には、撮影画像Ｐ５に対応する記録画像Ｒ５が記録される。

図５は、ワンショットエコーの概要を説明する図である。ワンショットエコーとは、特定のフレームの画像（一瞬の画像）が徐々に薄くなりながら消えていく効果である。具体的には、図５に示すように、特定の時間に撮影されたボール１０１がしばらくの間撮影画像に残像として残るような効果である。

動画中特殊効果画像処理部１６３は、動画中特殊効果としてワンショットエコーが設定されている場合、開始トリガが入力されると、その直後に撮影して記録された画像データを一旦ＳＤＲＡＭ２５に保存し、この画像データをその後に撮影された画像データに対して時間とともに徐々に重みが減衰するように合成していく処理（ワンショットエコー処理）を行う。

図５に示す場合、開始トリガの入力直後に撮影された撮影画像Ｐ１は、ＳＤＲＡＭ２５に記録される（以下、ＳＤＲＡＭ画像Ｓ１という）。動画中特殊効果画像処理部１６３は、ＳＤＲＡＭ２５が記録するＳＤＲＡＭ画像Ｓ１と最新の撮影画像とを所定の比率で合成する。

図５に示す場合、開始トリガの入力直後には、撮影画像Ｐ１に対応するワンショットエコー画像Ｒ１１が表示される。
その後、時間ｔ＝ｔ_２において、動画中特殊効果画像処理部１６３は、ＳＤＲＡＭ画像Ｓ１と撮影画像Ｐ２とを合成することによってワンショットエコー画像Ｒ１２を生成する。この合成を行う際、各画素において、ＳＤＲＡＭ画像Ｓ１の信号に係数ａ₁＝０．８を乗じる一方、撮影画像Ｐ２の信号に係数１−ａ₁＝０．２を乗じる。
その後、動画中特殊効果画像処理部１６３は、時間ｔ＝ｔ₃において、ＳＤＲＡＭ画像Ｓ１の信号に乗じる係数をａ＝０．４、撮影画像Ｐ３の信号に乗じる係数を１−ａ＝０．６として合成したワンショットエコー画像Ｒ１３を生成する。
その後、動画中特殊効果画像処理部１６３は、時間ｔ＝ｔ₄において、ＳＤＲＡＭ画像Ｓ１の信号に乗じる係数をａ＝０．２、撮影画像Ｐ４の信号に乗じる係数を１−ａ＝０．８として合成したワンショットエコー画像Ｒ１４を生成する。
その後、時間ｔ＝ｔ₅において係数ａ＝０となるため、撮影画像Ｐ５が記録画像Ｒ５となる。

図６は、最新の撮影画像に合成されるＳＤＲＡＭ画像の合成比率の時間変化を示す図である。図６において、横軸ｔが開始トリガの入力時点（ｔ＝０）からの経過時間であり、縦軸ａがＳＤＲＡＭ画像Ｓ１の各画素の信号に乗じる係数である。

図６に示すように、係数ａは、ｔ＝０でａ₁であり、時間とともに滑らかに減少していき、開始トリガ入力から所定時間ｔ₅経過した時点で０となる。すなわち、ＳＤＲＡＭ画像Ｓ１の合成画像中に占める割合は、時間とともに徐々に減少していく設定がなされている。これにより、ＳＤＲＡＭ画像Ｓ１が時間とともに徐々に消えていくような画像を作り出すことができる。

なお、図６に示す曲線は、一例に過ぎず、時間とともに係数ａが減衰するなどして一定時間で係数ａが０となるように滑らかに変化する曲線であればどのようなものでもよく、たとえば、係数ａが一定値をとる期間を含む曲線であってもよい。

また、係数ａは、開始トリガからのフレーム数に応じて定めるようにしてもよい。この場合には、フレーム単位で徐々に係数ａの値を減少させながら、所定のフレーム数（たとえば１２０フレーム）で係数が０となるようにすればよい。

図７は、トランジットの概要を説明する図である。トランジットは、１つの画像に対して付与されるアート効果が、別のアート効果へと徐々に比率を変えながら変わっていく効果である。図７では、アート効果Ａからアート効果Ｂへ変化するトランジットを模式的に示している。図７において、トランジットの開始トリガの入力直前は、撮影画像Ｐ０に対してアート効果Ａを施したアート効果画像Ａ０が生成される。トランジットでアート効果の切り替え開始から切り替え終了までに要する時間は、適宜設定可能である。

図７に示す場合、開始トリガの入力前は、アート効果Ａが設定されているものとする。すなわち、開始トリガの入力直前において、アート効果画像処理部１６２は、撮影画像Ｐ０にアート効果Ａを施したアート効果画像Ｒ２０を形成しているものとする。

開始トリガが入力されると、動画中特殊効果画像処理部１６３は、撮影画像Ｐ１にアート効果Ａを施したアート効果画像Ａ１の信号に係数ｂ（＝ｂ₀）＝０．８を乗じる一方、撮影画像Ｐ１にアート効果Ｂを施したアート効果画像Ｂ１の信号に係数１−ｂ（＝１−ｂ₀）＝０．２を乗じた二つの画像を合成することによってトランジット画像Ｒ２１を生成する。
その後、動画中特殊効果画像処理部１６３は、時間ｔ＝ｔ₁₂において、撮影画像Ｐ２にアート効果Ａを施したアート効果画像Ａ２の信号に乗じる係数をｂ＝０．６とし、撮影画像Ｐ２にアート効果Ｂを施したアート効果画像Ｂ２の信号に乗じる係数を１−ｂ＝０．４として合成したトランジット画像Ｒ２２を生成する。
その後、動画中特殊効果画像処理部１６３は、時間ｔ＝ｔ₁₃において、撮影画像Ｐ３にアート効果Ａを施したアート効果画像Ａ３の信号に乗じる係数をｂ＝０．４とし、撮影画像Ｐ３にアート効果Ｂを施したアート効果画像Ｂ３の信号に乗じる係数を１−ｂ＝０．６として合成したトランジット画像Ｒ２３を生成する。
その後、動画中特殊効果画像処理部１６３は、時間ｔ＝ｔ₁₄において、撮影画像Ｐ４にアート効果Ａを施したアート効果画像Ａ４の信号に乗じる係数をｂ＝０．２とし、撮影画像Ｐ４にアート効果Ｂを施したアート効果画像Ｂ４の信号に乗じる係数を１−ｂ＝０．８として合成したトランジット画像Ｒ２４を生成する。
その後、動画中特殊効果画像処理部１６３は、時間ｔ＝ｔ₁₅において、撮影画像Ｐ５にアート効果Ｂのみを施した（ｂ＝０）トランジット画像Ｒ２５を生成する。

図８は、トランジット処理において開始トリガの入力前から付与されているアート効果の合成比率（係数）ｂの時間変化を示す図である。図８に示すように、係数ｂは、ｔ＝０でｂ₀であり、時間とともに滑らかに減少していき、開始トリガ入力から所定時間ｔ₁₅経過した時点で０となる。

なお、図８に示す曲線は一例に過ぎず、時間とともに係数ｂが減衰するなどして一定時間で係数ｂが０となるように滑らかに変化する曲線であればどのようなものでもよく、例えば係数ｂが一定値をとる期間を含む曲線でもよい。

また、係数ｂを、開始トリガからのフレーム数に応じて定めるようにしてもよい。この場合には、フレーム単位で滑らかに係数ｂの値を減少させながら、所定のフレーム数（例えば１２０フレーム）で係数が０となるようにすればよい。

図９は、揺らぎの概要を示す図である。揺らぎとは、動画中の各フレームに対して付与するアート効果のかかり具合を時間とともにランダムに変化させることによって得られる効果である。図９では、一例として、アート効果がクロスフィルターである場合を示している。この場合、動画中特殊効果画像処理部１６３は、クロス１０２を時間とともにランダムに回転させるとともに、クロス１０２の大きさを時間とともにランダムに変化させることによって揺らぎを与える。

図１に戻り、引き続き、撮像装置１の構成を説明する。
ＡＥ処理部１７は、バス２８を介してＳＤＲＡＭ２５に記録された画像データを取得し、取得した画像データに基づいて、静止画撮影または動画撮影を行う際の露出条件を設定する。具体的には、ＡＥ処理部１７は、画像データから輝度を算出し、算出した輝度に基づいて、たとえば絞り値（Ｆ値）の設定値、シャッタ速度等を決定することで撮像装置１の自動露出を行う。

ＡＦ処理部１８は、バス２８を介してＳＤＲＡＭ２５に記録された画像データを取得し、取得した画像データに基づいて、撮像装置１の自動焦点の調整を行う。たとえば、ＡＦ処理部１８は、画像データから高周波成分の信号を取り出し、高周波成分の信号に対してＡＦ（Auto Focus）演算処理を行うことによって、撮像装置１の合焦評価を決定することで撮像装置１の自動焦点の調整を行う。

画像圧縮展開部１９は、バス２８を介してＳＤＲＡＭ２５から画像データを取得し、取得した画像データに対して所定の形式に従って圧縮し、この圧縮した画像データをＳＤＲＡＭ２５に出力する。ここで、所定の形式としては、ＪＰＥＧ（Joint Photographic Experts Group）方式、ＭｏｔｉｏｎＪＰＥＧ方式およびＭＰ４（Ｈ．２６４）方式等である。また、画像圧縮展開部１９は、バス２８およびメモリＩ／Ｆ２４を介して記録媒体２３に記録された画像データ（圧縮画像データ）を取得し、取得した画像データを展開（伸長）してＳＤＲＡＭ２５に出力する。なお、記録媒体２３の代わりに撮像装置１の内部に記録部を設けてもよい。

入力部２０は、静止画撮影および動画撮影における撮影条件を設定する静止画撮影条件設定信号を含む各種設定信号の入力を受け付ける設定信号入力部２０１と、少なくとも動画撮影の開始を指示する動画撮影開始指示信号の入力を受け付ける動画撮影信号入力部２０２と、動画中特殊効果画像処理部１６３に動画特殊効果のいずれかの開始を指示する指示信号の入力を受け付ける動画特殊効果開始信号入力部２０３と、を有する。

入力部２０は、本体部２の表面に設けられた操作信号入力用のユーザインターフェースを用いて実現される。以下、入力部２０の一部をなすユーザインターフェースの構成を説明する。

撮像装置１は、操作入力用のユーザインターフェースとして、撮像装置１の電源状態をオン状態またはオフ状態に切替える電源ボタン４１と、静止画撮影の指示を与える静止画レリーズ信号の入力を受け付けるレリーズボタン４２と、撮像装置１に設定された各種撮影モードを切り替えるモードダイヤル４３と、撮像装置１の各種設定を切替える操作ボタン４４と、撮像装置１の各種設定を表示部２１に表示させるメニューボタン４５と、記録媒体２３に記録された画像データに対応する画像を表示部２１に表示させる再生ボタン４６と、動画撮影の指示を与える動画レリーズ信号の入力を受け付ける動画ボタン４７と、撮像装置１の各種機能を設定するファンクションキー４８と、データを消去する消去ボタン４９と、表示部２１の表示画面に重ねて設けられ、外部からの接触位置に応じた入力信号を受け付けるタッチパネル５０とを有する。

レリーズボタン４２は、外部からの押圧により進退可能である。レリーズボタン４２が半押しされた場合、撮影準備動作を指示する１ｓｔレリーズ信号が入力される。これに対し、レリーズボタン４２が全押しされた場合、静止画撮影を指示する２ｎｄレリーズ信号が入力される。

操作ボタン４４は、メニュー画面等における選択設定入力を行うために上下左右方向に十字状をなす十字キー４４１と、十字キー４４１による選択を確定する決定ボタン４４２とを有する。十字キー４４１は、上矢印キー４４３、下矢印キー４４４、左矢印キー４４５、右矢印キー４４６からなる。

以上説明したユーザインターフェースのうち、動画ボタン４７以外のボタンは設定信号入力部２０１の一部をなす。また、動画ボタン４７は、動画撮影信号入力部２０２の一部をなす。さらに、操作ボタン４４は、撮像装置１が動画撮影を行っている際に動画特殊効果開始信号入力部２０３の一部をなす。

図１０は、動画記録中でない場合（動画非記録時）と動画記録中である場合（動画記録時）における十字キー４４１の各矢印キーへの操作割り当て例を示す図である。動画が記録中でない場合、上矢印キー４４３には、露出補正操作が割り当てられる。下矢印キー４４４には、連写・単写操作が割り当てられる。左矢印キー４４５には、ＡＦターゲット操作が割り当てられる。右矢印キー４４６には、フラッシュ設定操作が割り当てられる。

つぎに、動画記録中である場合を説明する。この場合、上矢印キー４４３にはワンショットエコー開始操作が割り当てられる。下矢印キー４４４にはトランジット開始操作が割り当てられる。左矢印キー４４５は、マルチエコーの開始、停止操作を交互に割り当てトグルキーとして機能する。右矢印キー４４６には揺らぎ開始操作が割り当てられる。なお、揺らぎの終了を任意に選択できるように設定する場合には、右矢印キー４４６に対して、揺らぎの開始操作と終了操作とを交互に操作可能なトグルキーとして機能させればよい。

動画記録時における入力ボタンの割り当ては、図１０に示すものに限られるわけではない。たとえば、図１１に示すように、上矢印キー４４３に効果開始操作を割り当て、下矢印キー４４４に効果停止操作を割り当て、左矢印キー４４５、右矢印キー４４６に効果切替操作をそれぞれ割り当ててもよい。この場合には、表示部２１で設定中の特殊効果を表示するようにすればより好ましい。

また、十字キー４４１の操作の割当を、使いやすさや操作の使用頻度に応じて割り当てるようにしてもよいし、ユーザが独自に設定できるようにしてもよい。さらに、互いに隣接する二つのキー（たとえば上矢印キー４４３と右矢印キー４４６）が両方押された場合には、別の操作を行うことができるような設定にしてもよい。

表示部２１は、液晶または有機ＥＬ（Electro Luminescence）等からなる表示パネルを用いて構成される。表示駆動部２２は、バス２８を介してＳＤＲＡＭ２５が記録する画像データまたは記録媒体２３が記録する画像データを取得し、取得した画像データに対応する画像を表示部２１に表示させる。ここで、画像の表示には、撮影直後の画像データを所定時間（たとえば３秒）だけ表示するレックビュー表示、記録媒体２３に記録された画像データを生成する再生表示、および撮像素子１２が連続的に生成する画像データに対応するライブビュー画像を時系列に沿って順次表示するライブビュー表示等が含まれる。また、表示部２１は、撮像装置１の操作情報および撮影に関する情報を適宜表示する。

記録媒体２３は、撮像装置１の外部から装着されるメモリカード等を用いて構成される。記録媒体２３は、メモリＩ／Ｆ２４を介して撮像装置１に着脱自在に装着される。記録媒体２３には、その種類に応じた図示しない読み書き装置によって画像処理部１６や画像圧縮展開部１９が処理を施した画像データが書き込まれ、または読み書き装置によって記録媒体２３に記録された画像データが読み出される。また、記録媒体２３は、制御部２９の制御のもと、メモリＩ／Ｆ２４およびバス２８を介して撮像プログラムおよび各種情報それぞれをＦｌａｓｈメモリ２６に出力してもよい。

ＳＤＲＡＭ２５は、揮発性メモリを用いて構成される。ＳＤＲＡＭ２５は、バス２８を介してＡ／Ｄ変換部１５から入力される画像データ、画像処理部１６から入力される処理画像データおよび撮像装置１の処理中の情報を一時的に記録する一次記録部としての機能を有する。例えば、ＳＤＲＡＭ２５は、信号処理部１４、Ａ／Ｄ変換部１５およびバス２８を介して、撮像素子１２が１フレーム毎に順次出力する画像データを一時的に記録する。

Ｆｌａｓｈメモリ２６は、不揮発性メモリを用いて構成される。Ｆｌａｓｈメモリ２６は、プログラム記録部２６１と、特殊効果処理情報記録部２６２と、画像処理情報記録部２６３と、を有する。プログラム記録部２６１は、撮像装置１を動作させるための各種プログラム、撮像プログラムおよびプログラムの実行中に使用される各種データおよび画像処理部１６による画像処理の動作に必要な各種パラメータ等を記録する。特殊効果処理情報記録部２６２は、アート効果画像処理部１６２が行う各アート効果処理における画像処理の組み合わせ情報を記録する。画像処理情報記録部２６３は、画像処理部１６が実行可能な画像処理に処理時間を対応付けた画像処理情報を記録する。また、Ｆｌａｓｈメモリ２６は、撮像装置１を特定するための製造番号等を記録する。

本体通信部２７は、本体部２に装着されたレンズ部３との通信を行うための通信インターフェースである。本体通信部２７には、レンズ部３との電気的な接点も含まれる。

バス２８は、撮像装置１の各構成部位を接続する伝送路等を用いて構成される。バス２８は、撮像装置１の内部で発生した各種データを撮像装置１の各構成部位に転送する。

制御部２９は、ＣＰＵ（Central Processing Unit）等を用いて構成される。制御部２９は、画像処理制御部２９１と、画像処理判定部２９２と、表示制御部２９３と、を有する。

画像処理制御部２９１は、バス２８を介して入力される入力部２０からの指示信号に応じて、画像処理部１６に実行させるべき画像処理の内容を設定し、設定した内容に応じた画像処理を、基本画像処理部１６１、アート効果画像処理部１６２、および動画中特殊効果画像処理部１６３のいずれかに実行させる。また、画像処理制御部２９１は、後述する画像処理判定部２９２の判定結果に基づいて、動画中特殊効果画像処理部１６３における各動画特殊効果の画像データへの付与対応を制御する。具体的には、画像処理制御部２９１は、動画中特殊効果画像処理部１６３が複数の動画特殊効果のいずれかを画像データへ付与し、動画特殊効果開始信号入力部２０３によって複数の動画特殊効果のいずれかの開始を指示する指示信号が入力された場合において、後述する画像処理判定部２９２によって他の動画特殊効果の付与を開始することが不可能であると判定されたとき、動画中特殊効果画像処理部１６３に対して他の動画特殊効果の付与を禁止させる。

画像処理判定部２９２は、各動画特殊効果の前記画像データへの付与を開始することが可能であるか否かを判定する。具体的には、画像処理判定部２９２は、動画特殊効果開始信号入力部２０３によって複数の動画特殊効果のいずれかの開始を指示する指示信号が入力されたとき、この指示信号に対応する動画特殊効果の付与を動画中特殊効果画像処理部１６３に開始させることが可能であるか否かを判定する。たとえば、画像処理判定部２９
２は、動画中特殊効果画像処理部１６３が複数の動画特殊効果のいずれかを画像データへ付与している場合、他の動画特殊効果の付与を開始することが不可能であると判定する。

表示制御部２９３は、表示部２１の表示態様を制御する。具体的には、表示制御部２９３は、表示駆動部２２を駆動し、画像処理部１６が画像処理を行った各種画像データに対応する画像を表示部２１に表示させる。

制御部２９は、バス２８を介して入力部２０から送信される指示信号に応じて、撮像装置１を構成する各部に対して制御信号や各種データの送信を行うことにより、撮像装置１の動作を統括的に制御する。

制御部２９は、レリーズボタン４２を介して２ｎｄレリーズ信号が入力された場合、撮像装置１における静止画撮影動作を開始する制御を行う。また、制御部２９は、動画ボタン４７を介して動画撮影開始信号が入力された場合、撮像装置１における動画撮影動作を開始する制御を行う。ここで、撮像装置１における撮影動作とは、シャッタ駆動部１１および撮像素子駆動部１３の駆動によって撮像素子１２が出力した画像データに対し、信号処理部１４、Ａ／Ｄ変換部１５および画像処理部１６が所定の処理を施す動作をいう。このように処理が施された画像データは、画像処理制御部２９１の制御のもと、画像圧縮展開部１９で所定の形式にしたがって圧縮され、バス２８およびメモリＩ／Ｆ２４を介して記録媒体２３に記録される。なお、本実施の形態１では記録媒体２３が記録部の一部をなしているが、記録媒体２３とは別に撮像装置１の内部に記録部の機能を有する記録領域を確保し、この記録領域に圧縮した画像データを記録するようにしてもよい。

以上の構成を有する本体部２に対して、音声入出力部、被写体に対して補助光（フラッシュ）を発光する補助光発光部、インターネットを介して外部の装置と双方向に通信を行う機能を有する通信部等をさらに設けてもよい。

つぎに、レンズ部３の構成を説明する。レンズ部３は、光学系３１と、レンズ駆動部３２と、絞り３３と、絞り駆動部３４と、レンズ操作部３５と、レンズＦｌａｓｈメモリ３６と、レンズ通信部３７と、レンズ制御部３８と、を備える。

光学系３１は、一または複数のレンズを用いて構成される。光学系３１は、所定の視野領域から光を集光する。光学系３１は、画角を変化させる光学ズーム機能および焦点を変化させるフォーカス機能を有する。

レンズ駆動部３２は、ＤＣモータまたはステッピングモータ等を用いて構成され、光学系３１のレンズを光軸Ｌ上で移動させることにより、光学系３１のピント位置や画角等の変更を行う。

絞り３３は、光学系３１が集光した光の入射量を制限することにより露出の調整を行う。絞り駆動部３４は、ステッピングモータ等を用いて構成され、絞り３３を駆動する。

レンズ操作部３５は、図２に示すように、レンズ部３のレンズ鏡筒の周囲に設けられるリングであり、レンズ部３における光学ズームの操作を開始する操作信号の入力、またはレンズ部３におけるピント位置の調整を指示する指示信号の入力を受け付ける。なお、レンズ操作部３５は、プッシュ式のスイッチ等であってもよい。

レンズＦｌａｓｈメモリ３６は、光学系３１の位置および動きそれぞれを決定するための制御用プログラム、光学系３１のレンズ特性および各種パラメータを記録する。

レンズ通信部３７は、レンズ部３が本体部２に装着されたときに、本体部２の本体通信部２７と通信を行うための通信インターフェースである。レンズ通信部３７には、本体部２との電気的な接点も含まれる。

レンズ制御部３８は、ＣＰＵ等を用いて構成される。レンズ制御部３８は、レンズ操作部３５の操作信号または本体部２からの指示信号に応じてレンズ部３の動作を制御する。具体的には、レンズ制御部３８は、レンズ操作部３５の操作信号に応じて、レンズ駆動部３２を駆動させてレンズ部３のピント合わせやズーム変更を行うとともに、絞り駆動部３４を駆動させて絞り値の変更を行う。なお、レンズ制御部３８は、レンズ部３が本体部２に装着された際に、レンズ部３のピント位置情報、焦点距離およびレンズ部３を識別する固有情報等を本体部２に送信するようにしてもよい。

レンズ制御部３８は、本体部２の制御部２９との間で所定の周期でレンズ通信信号を送受信することによって、本体部２との動作の連携を図っている。図１２は、レンズ制御部３８と制御部２９との同期通信の一例を示すタイミングチャートである。図１２（ａ）は本体部２内の処理を示している。図１２（ｂ）は垂直同期信号を示している。図１２（ｃ）は撮像、読み出しのタイミングを示している。図１２（ｄ）はレンズ通信を示している。図１２（ｅ）はレンズ通信同期信号を示している。図１２（ｆ）はレンズ位置取得信号を示している。図１２（ｇ）はレンズ部３内の処理を示している。

まず、制御部２９は、前フレームで取得した画像データによりライブビュー画像の画像処理およびＡＦ評価値の算出等を画像処理部１６に実行させるとともに、レンズ制御部３８にレンズ状態データを取得するためのレンズ状態データ要求コマンドを送信する（Ｂ１、ＢＬ）。この際、制御部２９は、同期通信モード中に、垂直同期信号と同じ周期でレンズ通信用の同期信号および光学系３１の位置情報を取得するタイミングを指示するレンズ位置取得信号を送信する。このレンズ位置取得信号は、図１２（ｃ）に示すように撮像素子１２の中央部の蓄積時間の１／２が経過した時点で状態が変化する信号である。

レンズ制御部３８は、レンズ位置取得信号の状態が変化したタイミングで光学系３１の位置情報を取得するとともに、レンズ通信同期信号の受信タイミングでレンズ操作部３５の操作状態を検出する（Ｌ１）。

続いて、レンズ制御部３８は、制御部２９から受信したレンズ状態データ要求コマンドへの応答として、工程Ｌ１で取得した光学系３１の位置情報およびレンズ操作部３５の操作状態を含むレンズ状態データを制御部２９へ送信する（Ｌ２）。

この後、制御部２９は、レンズ制御部３８から送られてきたレンズ状態データに基づいて、ＡＦ評価値の算出や、露出値の変更等の各種設定変更を行う（Ｂ２）。

制御部２９とレンズ制御部３８は、以上説明した処理を周期的に繰り返し行う。

以上のように構成された撮像装置１が行う処理の概要について説明する。図１３は、撮像装置１が行う処理の概要を示すフローチャートである。

図１３において、まず、ユーザによって電源ボタン４１が操作されて、撮像装置１の電源がオン状態なる（ステップＳ１０１：Ｙｅｓ）と、制御部２９は、撮像装置１の初期化を行う（ステップＳ１０２）。この初期化処理において、制御部２９は、たとえば動画の記録中を示す記録中フラグをオフ状態にリセットしたり、動画中の特殊効果に関する適用を示す特殊効果フラグをオフ状態にリセットしたり、動画中特殊効果画像処理部１６３による動画中特殊効果を禁止する動画中特殊効果禁止フラグがオフ状態にリセットしたり、レンズ制御部３８との間のレンズ通信（図１２を参照）を開始したりする処理を行う。なお、撮像装置１の電源がオフ状態でない場合（ステップＳ１０１：Ｎｏ）、撮像装置１は、ステップＳ１０１を繰り返す。

続いて、再生ボタン４６が操作されることなく（ステップＳ１０３：Ｎｏ）、メニューボタン４５が操作された場合（ステップＳ１０４：Ｙｅｓ）、撮像装置１は、設定を変更するためのメニュー画像を表示し、ユーザの選択操作に応じて撮像装置１の各種条件を設定するカメラ設定処理を実行する（ステップＳ１０５）。ステップＳ１０５の後、撮像装置１は、後述するステップＳ１０７へ移行する。

ここで、カメラ設定処理で設定される内容は、仕上がり効果処理、アート効果処理、静止画記録モード、動画記録モード、動画中特殊効果処理などである。仕上がり効果処理には、たとえば画像を自然な色合いに仕上げる処理であるナチュラル、画像を色鮮やかに仕上げる処理であるビビッド、被写体の素材性を重視して仕上げる処理であるフラット、画像をモノクロ調に仕上げる処理であるモノトーンなどが含まれる。静止画記録モードは、記録対象とする静止画の種類に応じて定められ、たとえばＪＰＥＧ記録モード、ＪＰＥＧ＋ＲＡＷ記録モード、ＲＡＷ記録モードなどがある。動画撮影モードは、動画圧縮形式に応じて定められるモードであって、たとえばＭｏｔｉｏｎ−ＪＰＥＧモード、ＭＰ４（Ｈ．２６４）モードなどがある。動画中特殊効果処理で設定されるのは、たとえばトランジットによるアート効果の切り替え先や揺らぎなどである。

ステップＳ１０３において、再生ボタン４６が操作された場合（ステップＳ１０３：Ｙｅｓ）、撮像装置１は、再生処理を行う（ステップＳ１０６）。この再生処理において、表示制御部２９３は、記録媒体２３に記録されているファイル一覧を表示部２１に表示させる。その後、入力部２０によって再生画像が選択された場合、記録媒体２３から画像データを取得し、取得した画像データを画像圧縮展開部１９で展開して表示部２１に表示させる。この後、撮像装置１は、後述するステップＳ１１２へ移行する。

ステップＳ１０３で再生ボタン４６が操作されることなく（ステップＳ１０３：Ｎｏ）、メニューボタン４５が操作されていない場合（ステップＳ１０４：Ｎｏ）において、動画ボタン４７が操作されたとき（ステップＳ１０７：Ｙｅｓ）、撮像装置１は、動画の開始または終了の処理を行う動画設定処理を実行する（ステップＳ１０８）。

図１４は、動画設定処理の概要を示すフローチャートである。図１４において、制御部２９は、動画の記録中であることを示す記録中フラグを反転させる（ステップＳ２０１）。具体的には、制御部２９は、記録中フラグがオン状態にある場合、その記録中フラグをオフ状態に反転させる。

続いて、制御部２９は、ＳＤＲＡＭ２５に記録された記録中フラグがオン状態であるか否かを判断する（ステップＳ２０２）。記録中フラグがオン状態である場合（ステップＳ２０２：Ｙｅｓ）、制御部２９は、記録媒体２３に画像データを時系列に沿って記録するための動画ファイルを生成して記録媒体２３に格納する（ステップＳ２０３）。

その後、制御部２９は、特殊動画用のユーザインターフェース（ＵＩ）を設定する（ステップＳ２０４）。この設定により、たとえば図１０に示すような動画記録時の割り当てが実行される。制御部２９は、ステップＳ２０４で設定対象となったユーザインターフェースがこの後で受け付ける信号を、図１０に基づく特殊動画用の信号として認識する。

続いて、表示制御部２９３は、表示部２１に表示させる画面上表示（ＯＳＤ）等の設定を切り替えることによって動画用の画像への切り替えを行う（ステップＳ２０５）。具体的には、表示制御部２９３は、たとえば動画撮影の残り時間や、動画撮影時に特殊効果を適用できることを示すアイコン等を表示する。

図１５は、表示部２１における動画用の画面表示例を示す図である。図１５に示すように、動画用画面Ｑでは、動画中特殊効果を適用可能であることを示す動画アイコン１１１、動画用画面キー割り当てを示す画面上表示１１２および動画撮影の残り時間を表示する残り時間１１３が表示される。このうち、画面上表示１１２は、数秒間表示した後に、自動的に消えるようにしてもよいし、常時表示するようにしてもよい。また、設定信号入力部２０１からの入力によって画面上表示１１２の表示と非表示を切り替えることができるようにしてもよい。ステップＳ２０５の後、撮像装置１は、メインルーチンへ戻る。

ステップＳ２０２において、記録中フラグがオフ状態であると判断した場合（ステップＳ２０２：Ｎｏ）、制御部２９は、静止画用ユーザインターフェースを設定する（ステップＳ２０６）。

続いて、表示制御部２９３は、表示部２１における画面上表示等の設定を静止画用に切り替える（ステップＳ２０７）。この切り替えにより、表示部２１は、たとえば撮影可能な残り記録枚数や、静止画撮影時に特殊効果を適用できることを示すアイコン等を表示する。その後、撮像装置１は、メインルーチンへ戻る。

ステップＳ１０７において、動画ボタン４７が操作されていない場合（ステップＳ１０７：Ｎｏ）または動画設定処理（ステップＳ１０８）の後、画像処理制御部２９１は、動画中特殊効果画像処理部１６３に対して動画中特殊効果を設定する動画中特殊効果制御処理を実行する（ステップＳ１０９）。

図１６は、動画中特殊効果制御処理の概要を示すフローチャートである。図１６において、動画中特殊効果を開始するキーが操作された場合（ステップＳ３０１：Ｙｅｓ）、画像処理判定部２９２は、ＳＤＲＡＭ２５にキー操作に応じた動画中特殊効果画像処理部１６３による動画中特殊効果の付与を禁止する禁止フラグがオン状態であるか否かを判定する（ステップＳ３０２）。禁止フラグがオン状態であると画像処理判定部２９２が判定した場合（ステップＳ３０２：Ｙｅｓ）、表示制御部２９３は、表示部２１が表示するライブビュー画像Ｑ１上に動画特殊効果の禁止を示すアイコンを重畳して表示させる（ステップＳ３０３）。具体的には、図１７に示すように、表示制御部２９３は、表示画面Ｑ上に動画特殊効果の禁止を示す禁止アイコン１１４を重畳して表示させる。これにより、ユーザは、直感的に動画中特殊効果の切り替えを行うことができないことを把握することができる。ステップＳ３０３の後、撮像装置１は、メインルーチンへ戻る。

ステップＳ３０２において、禁止フラグがオン状態でないと画像処理判定部２９２が判定した場合（ステップＳ３０２：Ｎｏ）、画像処理制御部２９１は、動画中特殊効果フラグをオン状態にする（ステップＳ３０４）。

続いて、画像処理制御部２９１は、画像処理部１６に対してキー操作に応じた効果設定を行い（ステップＳ３０５）、禁止フラグをオン状態にする（ステップＳ３０６）。その後、撮像装置１は、ステップＳ３０３へ移行する。

ステップＳ３０１において、動画中特殊効果を開始するキーが操作されない場合（ステップＳ３０１：Ｎｏ）において、終了指示が入力されたとき（ステップＳ３０７：Ｙｅｓ）、画像処理制御部２９１は、動画中特殊効果フラグをオフ状態にする制御を行う（ステップＳ３０８）。なお、画像処理制御部２９１は、ワンショットエコーおよびトランジットの係数が０になった場合であっても、動画中特殊効果フラグをオフ状態にする制御を行う。

続いて、画像処理制御部２９１は、禁止フラグをオフ状態にする制御を行い（ステップＳ３０９）。

その後、表示制御部２９３は、表示部２１が表示する動画中特殊効果禁止アイコンを消去する（ステップＳ３１０）。ステップＳ３１０の後、撮像装置１は、メインルーチンへ戻る。

ステップＳ３０７において、終了指示が入力されないとき（ステップＳ３０７：Ｎｏ）、画像処理判定部２９２は、禁止フラグがオン状態であるか否かを判定する（ステップＳ３１１）。禁止フラグがオン状態であると画像処理判定部２９２が判定した場合（ステップＳ３１１：Ｙｅｓ）、撮像装置１は、メインルーチンへ戻る。これに対して、禁止フラグがオン状態でないと画像処理判定部２９２が判定した場合（ステップＳ３１１：Ｎｏ）、撮像装置１は、ステップＳ３１０へ移行する。

ステップＳ１０９の動画中特殊効果処理の後、レリーズボタン４２から１ｓｔレリーズ信号が入力された場合（ステップＳ１１０：Ｙｅｓ）、制御部２９は、ＡＥ処理部１７に露出を調整するＡＥ処理を実行させるとともに、ＡＦ処理部１８にピントを調整するＡＦ処理を実行させる（ステップＳ１１１）。

続いて、制御部２９は、電源ボタン４１が操作されることによって撮像装置１の電源がオフされたか否かを判断する（ステップＳ１１２）。撮像装置１の電源がオフされたと制御部２９が判断した場合（ステップＳ１１２：Ｙｅｓ）、撮像装置１は、本処理を終了する。これに対して、撮像装置１の電源がオフされていないと制御部２９が判断した場合（ステップＳ１１２：Ｎｏ）、撮像装置１は、ステップＳ１０３へ戻る。

レリーズボタン４２から１ｓｔレリーズ信号が入力されない場合（ステップＳ１１０：Ｎｏ）、レリーズボタン４２から２ｎｄレリーズ信号が入力されたとき（ステップＳ１１３：Ｙｅｓ）、制御部２９は、シャッタ駆動部１１および撮像素子駆動部１３をそれぞれ駆動することにより、メカシャッタによる撮影を行う（ステップＳ１１４）。

続いて、画像処理部１６は、撮影した静止画像に対して所定の画像処理を実行する（ステップＳ１１５）。なお、画像処理の詳細については後述する。

その後、制御部２９は、画像データをＪＰＥＧ形式で画像圧縮展開部１９に圧縮させ、この圧縮した画像データを静止画として記録媒体２３に記録する（ステップＳ１１６）。このステップＳ１１６で、制御部２９は、画像圧縮展開部１９がＪＰＥＧ形式で圧縮した画像データに、画像処理部１６が画像処理を行っていないＲＡＷデータを対応付けて記録媒体２３に記録させるようにしてもよい。ステップＳ１１６の後、撮像装置１は、ステップＳ１１２へ移行する。

ステップＳ１１３において、レリーズボタン４２から２ｎｄレリーズ信号が入力されない場合（ステップＳ１１３：Ｎｏ）、制御部２９は、ＡＥ処理部１７に露出を調整するＡＥ処理を実行させるとともに、ＡＦ処理部１８にピントを調整するＡＦ処理を実行させる（ステップＳ１１７）。

続いて、制御部２９は、撮像素子駆動部１３を駆動することにより、電子シャッタによる撮影を実行する（ステップＳ１１８）。

その後、画像処理部１６は、撮像装置１の設定情報に基づいて、画像処理を行う（ステップＳ１１９）。なお、画像処理の詳細については後述する。

続いて、表示制御部２９３は、画像処理部１６が画像処理を施した画像データに対応するライブビュー画像を表示部２１に表示させる（ステップＳ１２０）。

その後、撮像装置１が動画記録中であれば（ステップＳ１２１：Ｙｅｓ）、制御部２９は、画像データを画像圧縮展開部１９に圧縮させ、この圧縮した画像データを記録媒体２３に作成された動画ファイルに動画として記録させる（ステップＳ１２２）。この後、撮像装置１は、ステップＳ１１２へ移行する。これに対して、ステップＳ１２１で動画記録中でなければ（ステップＳ１２１：Ｎｏ）、撮像装置１は、ステップＳ１１２へ移行する。

図１８は、画像処理の概要を示すフローチャートである。図１８において、基本画像処理部１６１は、基本画像処理を行う（ステップＳ４０１）。ここでの基本画像処理は、ＯＢ（Optical Black）値の減算、ＷＢ補正、同時化、カラーマトリクス演算、ガンマ変換色補正、エッジ強調、ＮＲ（Noise Reduction）などの処理を含む。

ここで、ＷＢ補正は、ベイヤー配列の画像データに対して、予めユーザが設定したＷＢモードに応じたＲゲインとＢゲインを乗じて、ＷＢを撮像装置本体のフラッシュメモリから読み出し、その値を乗じることで補正する処理である。
同時化は、撮像素子１２がベイヤー配列であった場合に、その画素にないデータを周辺から補間することによって、各画素がＲＧＢデータで構成されるデータに変換する処理である。
カラーマトリクス演算は、設定されているＷＢモードに応じたカラーマトリクス係数を本体のフラッシュメモリから読み出して乗算する処理である。
ガンマ変換色補正処理では、仕上がりの設定に応じて予め設計したガンマテーブルを本体のフラッシュメモリから読み出し、画像データをガンマ変換する。このとき、ＲＧＢデータに適用するガンマ変換と、ＲＧＢの色空間を輝度信号Ｙと２つの色差信号Ｃｂ、Ｃｒによって表される色空間に変換した後で輝度信号Ｙのみにガンマ変換を行うようにしてもよい。また、適切な色再現性を得るために、仕上がりの設定に応じて予め設計したサイドパラメータを用いて色を補正してもよい。なお、アート効果の種類によってガンマ曲線を変えるようにしてもよい。
エッジ強調処理では、バンドパスフィルタによりエッジ成分を抽出し、エッジ強調度に応じた係数を乗じて画像データに加算することで強調する。
ＮＲ処理では、画像を周波数分解し、周波数に応じてコアリング処理などを行うことでノイズを低減する処理を行う。

続いて、アート効果画像処理部１６２は、アート効果処理を行う（ステップＳ４０２）。ここでは、上述したクロスフィルター、ソフトフォーカス、ノイズ付加、シェーディング、周辺輝度持ち上げ、周辺ぼかし、等の処理を行う。

その後、撮像装置１が静止画撮影を行う場合（ステップＳ４０３：Ｙｅｓ）、制御部２９が動画中特殊効果（第１の特殊効果）に対応した特殊効果（第２の特殊効果）を静止画の画像データに付与することを禁止する制御を行った後、メインルーチンへ戻る。

ここで、撮像装置１が静止画撮影を行う場合に動画中特殊効果に対応した特殊効果を付与しない理由を説明する。動画撮影中の静止画撮影は、レスポンスの速さが重要である。静止画の画素数は、動画の画素数に比べて数倍程度大きいため、静止画に動画中特殊効果を付与すると、静止画撮影後の動画撮影の再開タイミングに影響を及ぼすおそれがある。そこで、本実施の形態１では、静止画の場合に動画中特殊効果の適用を禁止している。なお、高速でレスポンスに影響がなければ静止画に適用することも可能である。

一方、撮像装置１が動画撮影を行う場合（ステップＳ４０３：Ｎｏ）、制御部２９は、動画中特殊効果が設定されているか否かを判定する（ステップＳ４０４）。動画中特殊効果が設定されている場合（ステップＳ４０４：Ｙｅｓ）、撮像装置１は、ステップＳ４０５へ移行する。これに対して、動画中特殊効果が設定されていない場合（ステップＳ４０４：Ｎｏ）、撮像装置１は、メインルーチンへ戻る。

ステップＳ４０４で動画中特殊効果が設定されている場合（ステップＳ４０４：Ｙｅｓ）において、適用する効果がマルチエコーであるとき（ステップＳ４０５：Ｙｅｓ）、動画中特殊効果画像処理部１６３は、直前の画像処理結果（前フレーム）に対して、上述したマルチエコー処理（図４を参照）として、現在のフレームを所定の比率で合成する（ステップＳ４０６）。一方、適用する特殊効果がマルチエコーでないとき（ステップＳ４０５：Ｎｏ）、撮像装置１は、ステップＳ４０７へ移行する。

ステップＳ４０７において、制御部２９は、適用する効果がワンショットエコーであるか否かを判定する。適用する効果がワンショットエコーである場合（ステップＳ４０７：Ｙｅｓ）、動画中特殊効果画像処理部１６３は、ワンショットエコー効果を得るために、ＳＤＲＡＭ２５が記録する特定の画像データであるレリーズフレームとの合成処理を行う（ステップＳ４０８）。ここで、特殊効果フラグがオンになって最初のフレームの場合、動画中特殊効果画像処理部１６３は、現在のフレームの画像をＳＤＲＡＭ２５に記録する処理を行う。これに対して、特殊効果フラグがオンになって２フレーム以後の場合、動画中特殊効果画像処理部１６３は、ＳＤＲＡＭ２５が記録しているレリーズフレームと合成処理を行う。

ステップＳ４０７において、適用する動画中特殊効果がワンショットエコーでない場合（ステップＳ４０７：Ｎｏ）、撮像装置１は、ステップＳ４０９へ移行する。

ステップＳ４０９において、制御部２９は、適用する効果が揺らぎであるか否かを判定する。適用する効果が揺らぎである場合（ステップＳ４０９：Ｙｅｓ）、動画中特殊効果画像処理部１６３は、揺らぎ効果を追加する処理を行う（ステップＳ４１０）。ここで、ステップＳ４１０における動画中特殊効果画像処理部１６３の具体的な処理を説明する。動画中特殊効果画像処理部１６３は、シェーディング処理、クロスフィルター処理等のアート効果処理における画像処理パラメータに揺らぎを持たせる効果を追加する。たとえば、シェーディング処理であれば、画像の中心からの減衰特性を時間とともに変化させる。周辺ぼかしであれば、ぼかし量やぼかし形状を変化させる。クロスフィルターであれば、クロスパターンの長さや角度を時間とともに変化させる。また、彩度、コントラスト、ホワイトバランスを時間とともに変化させてもよい。なお、揺らぎとシェーディング等のアート効果が重複する場合、両方を付与してもよい、揺らぎのみを付与するようにしてもよい。

ステップＳ４０９において、適用する効果が揺らぎではない場合（ステップＳ４０９：Ｎｏ）、撮像装置１は、ステップＳ４１１へ移行する。

ステップＳ４１１において、制御部２９は、適用する効果がトランジットであるか否かを判定する（ステップＳ４１１）。適用する効果がトランジットである場合（ステップＳ４１１：Ｙｅｓ）、基本画像処理部１６１およびアート効果画像処理部１６２は、仕上がり／切り替え先の設定に応じた基本画像処理およびアート効果処理をそれぞれ実行する（ステップＳ４１２、ステップＳ４１３）。その後、動画中特殊効果画像処理部１６３は、トランジット用の２つの画像の合成処理を行うことによってトランジット画像を生成する（ステップＳ４１４）。ステップＳ４１４の後、撮像装置１は、メインルーチンへ戻る。

ステップＳ４１１において、制御部２９が判定した結果、適用する効果がトランジットでない場合（ステップＳ４１１：Ｎｏ）、撮像装置１は、メインルーチンへ戻る。

以上説明した本発明の実施の形態１によれば、動画中特殊効果画像処理部１６３が動画中特殊効果処理を行っている期間に、操作キーが操作されても、禁止フラグをオン状態にすることで、キー操作に応じた他の動画中特殊効果処理が開始されることを防止する。これにより、現在の動画中特殊効果による視覚的な効果が変化している途中で、別の動画中特殊効果が開始されてしまうことを確実に防止することができる。この結果、動画フレームに付与している映像効果が滑らかに変化する画像を撮影することができる。

また、本実施の形態１によれば、動画撮影時にユーザが意識することなく、自動的に他の特殊効果の排他処理を行うので、撮像装置１の処理能力に関わらず、動画撮影の遅延やコマ落ち等を防止することができ、自然な動画撮影を行うことができる。

また、本実施の形態１によれば、視覚的な効果が変化している途中で別の特殊効果に切り替えることがないので、自然で違和感がない動画を確実に撮影することができ、特殊効果の適用が失敗することを未然に防止することができる。

また、本実施の形態１によれば、編集機器やＰＣ上で実現できるものと同等な特殊効果を、撮像装置１自体で実行することができる。したがって、ユーザの作画意図を反映した動画を、高度な専門知識を必要とすることなく、また後編集することなく作成することができる。

また、本実施の形態１によれば、設定信号入力部を構成するユーザインターフェースに動画用と静止画用の入力機能を兼備させることができるため、動画撮影の場合にも操作性に優れたユーザインターフェースを実現することができる。加えて、ユーザインターフェースの数も抑制することができるため、レイアウトの制限も少なくなり、小型化に好適な撮像装置１を実現することができる。

また、本実施の形態１によれば、動画撮影中の静止画に対して、動画中特殊効果の適用を禁止する制御を行うことにより、静止画撮影後の動画撮影の再開タイミングへの影響を防止することができる。

一般に、撮像装置は、ＰＣ等と比較してメモリが少なく処理能力が劣っているため、ＰＣ等と同等の動画データの編集処理を実現することは難しい。また、動画中の静止画撮影や、動画終了直後の静止画撮影の可能な撮像装置１においては、メモリ不足やメモリ管理上の問題が決定的なものになり、メモリ増設によるコスト増や、静止画撮影時の応答性や静止画画質の劣化などの問題を発生してしまう恐れもある。本実施の形態１では、この点に鑑み、撮影した動画を編集することなく、撮影時に複数のフレームにわたる時間的な移り変わりの特殊効果による撮影者の作画意図を付与した動画を撮影可能が技術を実現することができる。

なお、本実施の形態１では、表示制御部２９３が禁止アイコン１１４を表示部２１に表示させていたが、たとえば動画中特殊効果を適用可能なモードであることを示すアイコンをグレースケールで表示してもよい。さらに、アイコンを点滅させてもよい。

また、本実施の形態１では、動画中特殊効果画像処理部１６３が動画の画像データに対応する複数のフレームにわたって動画特殊効果を付与している期間に、キー操作が行われても、キー操作に対応する動画特殊効果の付与を禁止していたが、たとえば、キー操作の指示信号をＳＤＲＡＭ２５に記録させ（キューイング）、動画中特殊効果画像処理部１６３が動画特殊効果を付与する期間が終了した後（禁止フラグがオフ状態になったとき）に、ＳＤＲＡＭ２５に記録させたキー操作に対応した動画特殊効果を動画中特殊効果画像処理部１６３に開始させてもよい。

（実施の形態２）
つぎに、本発明の実施の形態２について説明する。本実施の形態２にかかる撮像装置は、上述した実施の形態１と同様の構成を有し、動画中特殊効果制御処理のみ異なる。このため、以下においては、本実施の形態２にかかる撮像装置が実行する動画中特殊効果制御処理について説明する。なお、同一の構成には同一の符号を付して説明する。

図１９は、上述した図１３のステップＳ１０９の動画中特殊効果制御処理の概要を示すフローチャートである。

図１９に示すように、制御部２９は、動画特殊効果フラグがオン状態であるか否かを判断する（ステップＳ５０１）。動画特殊効果フラグがオン状態であると判断した場合（ステップＳ５０１：Ｙｅｓ）、撮像装置１は、後述するステップＳ５０２へ移行する。これに対して、動画特殊効果フラグがオン状態でないと判断した場合（ステップＳ５０１：Ｎｏ）、撮像装置１は、後述するステップＳ５０５へ移行する。

ステップＳ５０２において、画像処理判定部２９２は、動画中特殊効果画像処理部１６３による動画中特殊効果処理が禁止期間であるか否かを判定する。動画中特殊効果画像処理部１６３による動画中特殊効果処理が禁止期間であると画像処理判定部２９２が判定した場合（ステップＳ５０２：Ｙｅｓ）、制御部２９は、禁止フラグをオン状態に設定する（ステップＳ５０３）。

ここで、画像処理判定部２９２が判定する禁止期間について説明する。図２０は、最新の撮影画像に合成されるＳＤＲＡＭ画像の合成比率の時間変化を示す図である。図２０において、横軸が開始トリガの入力時点（ｔ＝０）からの経過時間であり、縦軸ａがＳＤＲＡＭ画像Ｓ１の各画素の信号に乗じる係数である。

図２０に示すように、係数ａは、ｔ＝０で１であり、時間とともに滑らかに減少していき、開始トリガ入力から所定時間ｔ₅経過した時点で０となる。すなわち、ＳＤＲＡＭ画像Ｓ１の合成画像中に占める割合は、時間とともに徐々に減少していく設定がなされている。これにより、ＳＤＲＡＭ画像Ｓ１が時間とともに徐々に消えていくような画像を作り出すことができる。本実施の形態２では、たとえば、上述したワンショットエコー、マルチエコーおよびトランジットのような時間的に合成比が変化する動画中特殊効果処理に関して、係数ａの変化（合成比）が大きな期間を、キー操作が行われても、他の動画特殊効果に切り替えない禁止期間として設定する。具体的には、画像処理判定部２９２は、動画特殊効果がマルチエコーの場合、開始から一定時間、たとえば２秒間を、他の動画特殊効果の開始を禁止とする禁止期間として判定を行う。これにより、視覚的に変化の最も大きい期間で不自然に動画特殊効果が変更されることを防止することができる。

図２１は、トランジットにおいて開始トリガの入力前から付与されているアート効果の合成比率（係数）ｂの時間変化を示す図である。図２１に示すように、係数ｂは、ｔ＝０でｂ₀であり、時間とともに滑らかに減少していき、開始トリガ入力から所定時間ｔ₁₅経過した時点で０となる。

図２１に示すように、異なる効果に遷移する際に、係数ｂの変化（合成比）が大きく、動画中特殊効果画像処理部１６３の動画特殊効果の付与によって視覚的に不自然になる期間を、キー操作が行われても、他の動画特殊効果処理に切り替えない禁止期間として設定する。具体的には、画像処理判定部２９２は、動画特殊効果がトランジットの場合、係数ｂの変化（合成比）が大きくなる時間を、他の動画特殊効果の開始を禁止とする禁止期間として判定を行う。これにより、視覚的に変化の最も大きい期間で不自然に動画特殊効果が変更されることを防止することができるとともに、動画特殊効果による視覚的な効果が小さい期間で他の動画特殊処理に切り替えることができる。

なお、図２０および図２１に示す曲線は一例に過ぎず、時間とともに係数ａ，ｂが減衰するなどして一定時間で係数ａ，ｂが０となるように滑らかに変化する曲線であればどのようなものでもよく、例えば係数ａ，ｂが一定値をとる期間を含む曲線でもよい。

また、係数ａ，ｂを、開始トリガからのフレーム数に応じて定めるようにしてもよい。この場合には、フレーム単位で滑らかに係数ａ，ｂの値を減少させながら、所定のフレーム数（例えば１２０フレーム）で係数が０となるようにすればよい。

図１９に戻り、ステップＳ５０２以降の説明を続ける。ステップＳ５０２において、画像処理判定部２９２が禁止期間でないと判定した場合（ステップＳ５０２：Ｎｏ）、画像処理制御部２９１は、禁止フラグをオフ状態にする（ステップＳ５０４）。その後、撮像装置１は、ステップＳ５０５へ移行する。

ステップＳ５０３およびステップＳ５０４の後、禁止フラグがオン状態である場合（ステップＳ５０５：Ｙｅｓ）、表示制御部２９３は、禁止アイコンを表示部２１に表示させる（ステップＳ５０６）。その後、撮像装置１は、ステップＳ５０８へ移行する。これに対して、禁止フラグがオン状態でない場合（ステップＳ５０５：Ｎｏ）、表示制御部２９３は、表示部２１が表示する禁止アイコンを消去する（ステップＳ５０７）。その後、撮像装置１は、ステップＳ５０８へ移行する。

続いて、動画中特殊効果を開始するキーが操作された場合（ステップＳ５０８：Ｙｅｓ）、画像処理判定部２９２は、ＳＤＲＡＭ２５に動画特殊効果の禁止フラグがオン状態であるか否かを判定する（ステップＳ５０９）。動画特殊効果の禁止フラグがオン状態であると判定した場合（ステップＳ５０９：Ｙｅｓ）、撮像装置１は、図１３のメインルーチンへ戻る。これに対して、禁止フラグがオン状態でないと画像処理判定部２９２が判定した場合（ステップＳ５０９：Ｎｏ）、撮像装置１は、ステップＳ５１０へ移行する。

続いて、制御部２９は、動画特殊効果フラグがオン状態であるか否かを判断する（ステップＳ５１０）。動画特殊効果フラグがオン状態であると制御部２９が判断した場合（ステップＳ５１０：Ｙｅｓ）、画像処理制御部２９１は、動画中特殊効果画像処理部１６３による効果を中断する（ステップＳ５１１）。

具体的には、画像処理制御部２９１は、動画中特殊効果画像処理部１６３が画像データに対して行う動画特殊効果を中断する。この場合、画像処理制御部２９１は、たとえば動画中特殊効果画像処理部１６３が動画特殊効果としてワンショットエコーを行っている場合、順次重畳する画像に相関があるので、効果の期間（時間）を短くして変化を急激に落としてもよい。これにより、動画特殊効果の違和感を生じさせることなく、動画特殊効果を中断することができる。また、画像処理制御部２９１は、たとえば動画中特殊効果画像処理部１６３が動画特殊効果としてトランジットを行っている場合、動画中特殊効果画像処理部１６３が施す効果が異なるため、最初の期間と最後の期間とを滑らかに変化させ、この途中の期間を短縮して効果の変化を急激に落としてもよい。これにより、動画特殊効果の違和感を生じさせることなく、動画特殊効果を中断することができる。さらに、画像処理制御部２９１は、動画中特殊効果画像処理部１６３による動画特殊効果を瞬時に中断してもよい。なお、アート効果の組み合わせおよびアート効果の種類に応じて最初の期間、最後の期間および急激に変化をさせる期間をＦｌａｓｈメモリ２６に記録させておけばよい。

ステップＳ５１０において、動画特殊効果フラグがオン状態でない場合（ステップＳ５１０：Ｎｏ）、画像処理制御部２９１は、動画中特殊効果フラグをオン状態にする（ステップＳ５１３）。

ステップＳ５１１およびステップＳ５１３の後、画像処理制御部２９１は、画像処理部１６に対してキー操作に応じた効果設定を行う（ステップＳ５１２）。その後、撮像装置１は、図１３のメインルーチンへ戻る。

ステップＳ５０８において、動画中特殊効果を開始するキーが操作されない場合（ステップＳ５０８：Ｎｏ）、終了指示が入力されたとき（ステップＳ５１４：Ｙｅｓ）、画像処理制御部２９１は、動画特殊効果フラグをオフ状態に設定する（ステップＳ５１５）。なお、画像処理制御部２９１は、ワンショットエコーおよびトランジットの係数が０になった場合であっても、動画中特殊効果フラグをオフ状態にする制御を行う。その後、撮像装置１は、図１３のメインルーチンへ戻る。

ステップＳ５１４において、終了指示が入力されないとき（ステップＳ５１４：Ｎｏ）、撮像装置１は、図１３のメインルーチンへ戻る。

以上説明した本発明の実施の形態２によれば、動画中特殊効果画像処理部１６３が動画特殊効果を開始後、所定期間、他の動画特殊効果を禁止しているので、記録する動画において効果の途中で別の効果が開始されてしまうような見苦しい動画が記録されることを確実に防止することができる。

さらに、本実施の形態２によれば、ワンショットエコーやトランジットのような時間的に合成比が変化するもの関し、合成比の変化が大きな期間を禁止期間と設定しているので、自然で滑らかな動画を記録することができる。

なお、本実施の形態２では、動画中特殊効果画像処理部１６３が第１の動画特殊効果を開始後、所定期間を禁止期間として設定していたが、たとえば動画特殊効果画像処理部１６３が動画特殊効果を開始後、所定のフレーム数に相当する期間を、動画中特殊効果画像処理部１６３が他の動画特殊効果の付与を禁止する禁止期間として設定してもよい。なお、フレーム数は、アート効果の種類に応じて適宜設定するようにしてもよい。

（実施の形態３）
つぎに、本発明の実施の形態３について説明する。本実施の形態３にかかる撮像装置は、上述した実施の形態にかかる撮像装置と制御部の構成のみ異なる。さらに、動画中特殊効果制御の内容が異なる。このため、以下においては、本実施の形態３にかかる撮像装置の制御部の構成を説明後、本実施の形態３にかかる撮像装置が実行する動画中特殊効果制御処理について説明する。なお、同一の構成には同一の符号を付して説明する。

図２２は、本実施の形態３にかかる撮像装置１００の構成を示すブロック図である。図２２に示すように、撮像装置１００は、制御部４０を備える。

制御部４０は、ＣＰＵ等を用いて構成される。制御部４０は、画像処理制御部２９１と、画像処理判定部２９２と、表示制御部２９３と、変化率算出部４０１と、を有する。

変化率算出部４０１は、動画中特殊効果画像処理部１６３が付与する動画特殊効果におけるパラメータの時間変化率を算出する。具体的には、変化率算出部４０１は、動画中特殊効果画像処理部１６３が付与する動画中特殊効果としてワンショットエコーまたはトランジットである場合、動画特殊効果処理に使用するパラメータの単位時間あたり変化率を算出する。ここで、動画特殊効果処理に使用するパラメータとは、２つの画像を合成する際の割合（合成比）、およびコントラストや彩度を決定するためのパラメータ等である。なお、変化率算出部４０１は、動画特殊効果処理の単位時間あたりの変化率を、たとえば係数、重畳する画像の構成比や割合、およびフレーム数で算出してもよい。

つぎに、本実施の形態３にかかる撮像装置１００が実行する動画中特殊効果制御処理の概要について説明する。図２３は、上述した図１３のステップＳ１０９の動画中特殊効果制御処理の概要を示すフローチャートである。

図２３に示すように、動画特殊効果フラグがオン状態である場合（ステップＳ６０１：Ｙｅｓ）、画像処理判定部２９２は、画像処理部１６による動画特殊効果に時間的変化があるものか否かを判定する（ステップＳ６０２）。具体的には、画像処理判定部２９２は、動画特殊効果がワンショットエコーまたはトランジットの場合、動画特殊効果に時間的変化があると判定する。一方、画像処理判定部２９２は、動画特殊効果がマルチエコーの場合、動画特殊効果に時間的変化がないと判定する。動画特殊効果に時間的変化があると画像処理判定部２９２が判定した場合（ステップＳ６０２：Ｙｅｓ）、撮像装置１００は、ステップＳ６０３へ移行する。これに対して、動画特殊効果に時間的変化がないと画像処理判定部２９２が判定した場合（ステップＳ６０２：Ｎｏ）、撮像装置１００は、後述するステップＳ６０５へ移行する。

ステップＳ６０３において、画像処理判定部２９２は、変化率算出部４０１が算出した効果の変化率が予め視覚的に変化を把握することができる閾値ＴＨｄより大きいか否かを判定する。変化率が閾値ＴＨｄより大きいと画像処理判定部２９２が判定した場合（ステップＳ６０３：Ｙｅｓ）、撮像装置１００は、ステップＳ６０４へ移行する。

続いて、画像処理制御部２９１は、禁止フラグをオン状態にする（ステップＳ６０４）。その後、撮像装置１００は、後述するステップＳ６０７へ移行する。

ステップＳ６０５において、画像処理判定部２９２は、画像処理部１６が処理を開始した時から経過した経過時間が所定時間ＴＨｔ未満であるか否かを判定する。具体的には、画像処理判定部２９２は、画像処理部１６が処理を開始した時から経過した経過時間が所定時間ＴＨｔ（たとえば２秒）未満であるか否かを判定する。経過時間が所定時間ＴＨｔ未満であると画像処理判定部２９２が判定した場合（ステップＳ６０５：Ｙｅｓ）、撮像装置１００は、ステップＳ６０４へ移行する。これに対して、経過時間が所定時間ＴＨｔ未満でないと画像処理判定部２９２が判定した場合（ステップＳ６０５：Ｎｏ）、撮像装置１００は、ステップＳ６０６へ移行する。

ステップＳ６０６において、画像処理制御部２９１は、禁止フラグをオフ状態にする。その後、撮像装置１００は、ステップＳ６０７へ移行する。

ステップＳ６０７〜ステップＳ６１７は、上述した図１９のステップＳ５０５〜ステップＳ５１５にそれぞれ対応する。

以上説明した本発明の実施の形態３によれば、視覚的に変化が大きな動画特殊効果が付与される期間を自動的に判定することによって、別の動画特殊効果が開始されることを禁止する。これにより、動画特殊効果の数が多い場合、各動画特殊効果の禁止区間を予め設定する必要がなくなる。この結果、記録する動画において効果の途中で別の効果が開始されてしまうような見苦しい動画が記録されることを確実に防止することができる。

（実施の形態４）
つぎに、本発明の実施の形態４について説明する。本実施の形態４は、上述した実施の形態１にかかる撮像装置と同様の構成を有し、動画特殊効果のトランジットが異なる。このため、以下においては、動画特殊効果のトランジットについてのみ説明する。なお、同一の構成には同一の符号を付して説明する。

図２４は、本実施の形態４にかかる撮像装置１が実行するトランジット処理の概要とトランジット処理における開始トリガ入力前にかけられているアート効果の係数の時間変化との関係を示す図である。図２４では、アート効果Ａからアート効果Ｂへ変化するトランジットを模式的に示している。また、図２４において、トランジットの開始トリガの入力直前は、撮影画像Ｐ０に対してアート効果Ａ１を施したアート効果画像Ａ０が生成される。さらに、図２４においては、表示部２１の表示方式をインターレース方式とする。さらにまた、図２４においては、フレームでアート効果の切り替えを行うとともに、フレームの奇数ラインまたは偶数ラインでアート効果の切り替えを行う。また、図２４においては、パルス数に応じてアート効果の切り替えを行う。なお、トランジットでアート効果の切り替え開始から切り替え終了までに要する時間は、適宜設定可能である。

図２４に示す場合、開始トリガの入力前は、アート効果Ａが設定されているものとする。すなわち、開始トリガの入力直前において、アート効果画像処理部１６２は、撮影画像Ｐ０にアート効果Ａを施したアート効果画像Ｒ２０を形成しているものとする（図７を参照）。

開始トリガが入力されると、動画中特殊効果画像処理部１６３は、撮影画像Ｐ１にアート効果Ａを施したアート効果画像Ａ１の偶数ラインを取得してトランジット画像Ｒ３１を生成し、このトランジット画像Ｒ３１をＳＤＲＡＭ２５に記録する。
その後、動画中特殊効果画像処理部１６３は、時間ｔ＝ｔ₁₂において、撮影画像Ｐ２にアート効果Ｂを施したアート効果画像Ｂ１の奇数ラインを取得してトランジット画像Ｒ３２を生成し、このトランジット画像Ｒ３２をＳＤＲＡＭ２５に記録する。

続いて、動画中特殊効果画像処理部１６３は、時間ｔ＝ｔ₁₃において、撮影画像Ｐ３にアート効果Ａを施したアート効果画像Ａ２の偶数ラインを取得してトランジット画像Ｒ３３を生成し、このトランジット画像Ｒ３３をＳＤＲＡＭ２５に記録する。
その後、動画中特殊効果画像処理部１６３は、時間ｔ＝ｔ₁₄において、撮影画像Ｐ４にアート効果Ａを施したアート効果画像Ａ３の奇数ラインを取得してトランジット画像Ｒ３４を生成し、このトランジット画像Ｒ３４をＳＤＲＡＭ２５に記録する。
その後、動画中特殊効果画像処理部１６３は、時間ｔ＝ｔ₁₅において、撮影画像Ｐ５にアート効果Ａを施したアート効果画像Ａ４の偶数ラインを取得してトランジット画像Ｒ３５を生成し、このトランジット画像Ｒ３５をＳＤＲＡＭ２５に記録する。

続いて、動画中特殊効果画像処理部１６３は、時間ｔ＝ｔ₁₆において、撮影画像Ｐ６にアート効果Ｂを施したアート効果画像Ｂ２の奇数ラインを取得してトランジット画像Ｒ３６を生成し、このトランジット画像Ｒ３６をＳＤＲＡＭ２５に記録する。

続いて、動画中特殊効果画像処理部１６３は、時間ｔ＝ｔ₁₇において、撮影画像Ｐ７にアート効果Ａを施したアート効果画像Ａ５の偶数ラインを取得してトランジット画像Ｒ３７を生成し、このトランジット画像Ｒ３７をＳＤＲＡＭ２５に記録する。
その後、動画中特殊効果画像処理部１６３は、時間ｔ＝ｔ₁₈において、撮影画像Ｐ８にアート効果Ａを施したアート効果画像Ａ６の奇数ラインを取得してトランジット画像Ｒ３８を生成し、このトランジット画像Ｒ３８をＳＤＲＡＭ２５に記録する。

このように、動画中特殊効果画像処理部１６３は、アート効果Ａおよびアート効果Ｂを交互に行い、画像処理制御部２９１は、動画中特殊効果画像処理部１６３に付与させるアート効果Ａおよびアート効果Ｂの処理時間を、時間の経過とともにパルス数を変化させることで個別に変化させながら交互に行わせる。すなわち、画像処理制御部２９１は、ＰＷＭ制御によって動画中特殊効果画像処理部１６３に連続的に付与させるアート効果Ａのフレーム数（割合）を経時的に少なくする一方、アート効果Ｂのフレーム数を経時的に大きくする。具体的には、動画中特殊効果画像処理部１６３は、時間ｔ＝ｔ₁₃〜ｔ₁₅において（パルス数が３）、撮影画像Ｐ３〜Ｐ５に対してアート効果Ａを施し、時間ｔ＝ｔ₁₂，ｔ₁₆において（パルス数が１）、撮像画像Ｐ２，Ｐ６に対してアート効果Ｂを施し、時間ｔ＝ｔ₁₇〜ｔ₁₈において（パルス数が２）、撮影画像Ｐ７〜Ｐ８に対してアート効果Ａを施す。

以上説明した本実施の形態４によれば、表示部２１が表示する表示方式をインターレース方式で行い、フレームでアート効果の切り替えを行うとともに、フレームの奇数ラインまたは偶数ラインでアート効果の切り替えを行いことにより、時間的に記録または表示する効果を変更することで、人間の目の特性（残像効果）を使用してトランジットを行う。これにより、フレームレートが高い動画記録またはライブビュー表示において、画像処理を切り替えるだけで、より滑らかなトランジット効果を実現することができる。この結果、本実施の形態４によれば、画像処理の処理時間が上述した実施の形態１〜３のトランジット効果に比して早くなり、通常の画像処理とほぼ同等の時間となるので、フレームのコマ落ちがない動画の記録およびライブビュー表示を行うことができる。

なお、本実施の形態４では、表示部２１が表示する表示方式をプログレッシブ方式で行ってもよい。この場合、動画中特殊効果画像処理部１６３は、撮影画像をプログレッシブ方式で取り込み、アート効果を施してアート効果画像を生成後、インターレース方式に対応させて該当ライン（たとえば偶数ラインまたは奇数ライン）を間引くことによって行ってもよい。さらに、アート効果を施す画像処理時または取り込み時に間引いてもよい。これにより、通常の画像処理とほぼ同等の時間となるので、フレームのコマ落ちがない動画の記録およびライブビュー表示を行うことができる。なお、プログレッシブ方式は、インターレース方式に比してユーザに対する残像効果が弱まるため、インターレース方式が好ましいが、適宜変更することも可能である。

また、本実施の形態４では、動画中特殊効果画像処理部１６３がアート効果Ａとアート効果Ｂの２つの効果のみで切り替えていたが、たとえば、アート効果Ａとアート効果Ｂの中間効果ＡＢを作成し、アート効果Ａ→効果ＡＢ→アート効果Ｂのように切り替えることで、より滑らかなトランジット効果を実現してもよい。

さらにまた、本実施の形態４では、予め設計した特性（たとえば図２４の曲線）と、所定の過去フレーム数（たとえば５フレーム）のアート効果Ａとアート効果Ｂとの画像処理の割合（たとえば、ＡＡＢＡＡと画像処理した場合、アート効果Ａが０．８、アート効果Ｂが０．２）の差を用いて自動的に切り替えるようにしてもよい。具体的には、ある時刻において、過去５フレームのアート効果Ａを画像処理した割合をＡｖｇ、閾値をＴｈ、トランジットの特性（図８の曲線を参照）をαとした場合、Ａｖｇ−α＜Ｔｈであるとき、動画中特殊効果画像処理部１６３は、アート効果Ａを撮影画像に行う一方、Ａｖｇ−α＜Ｔｈでないとき、アート効果Ｂを撮影画像に行う。このように、トランジットの特性を決めることで、アート効果Ａとアート効果Ｂのいずれかの画像処理を自動的に判定して施すことができる。なお、トランジットの特性は、予めＦｌａｓｈメモリ２６に記録させてもよいし、ユーザが適宜設定してもよい。

（実施の形態５）
つぎに、本発明の実施の形態５について説明する。本実施の形態５は、上述した実施の形態にかかる撮像装置が実行する動画中特殊効果のトランジットのみが異なる。このため、以下においては、動画中特殊効果のトランジットについてのみ説明する。なお、同一の構成には同一の符号を付して説明する。

図２５は、本実施の形態５にかかる撮像装置１が実行するトランジットの概要を説明する図である。図２５では、アート効果Ａからアート効果Ｂへ変化するトランジットを模式的に示している。また、図２５において、トランジットの開始トリガの入力直前は、撮影画像Ｐ０に対してアート効果Ａ１を施したアート効果画像Ａ０が生成される。なお、トランジットでアート効果の切り替え開始から切り替え終了までに要する時間は、適宜設定可能である。

図２５に示す場合、開始トリガの入力前は、アート効果Ａが設定されているものとする。すなわち、開始トリガの入力直前において、アート効果画像処理部１６２は、撮影画像Ｐ０にアート効果Ａを施したアート効果画像Ｒ４０を形成しているものとする。

開始トリガが入力されると、動画中特殊効果画像処理部１６３は、開始トリガの入力前に生成されたアート効果画像Ａ０に係数ｂ（＝ｂ₀）＝０．９を乗じる一方、撮影画像Ｐ１にアート効果Ｂを施したアート効果画像Ｂ１に係数１−ｂ（＝１−ｂ₀）＝０．１を乗じた二つの画像を合成することによってトランジット画像Ｒ４１を生成する。

続いて、動画中特殊効果画像処理部１６３は、時間ｔ＝ｔ₁₂において、撮影画像Ｐ２にアート効果Ａを施したアート効果画像Ａ２の信号に乗じる係数をｂ＝０．８とし、アート効果画像Ｂ１の信号に乗じる係数を１−ｂ＝０．２として合成したトランジット画像Ｒ４２を生成する。
その後、動画中特殊効果画像処理部１６３は、時間ｔ＝ｔ₁₃において、アート効果画像Ａ２の信号に乗じる係数をｂ＝０．６とし、撮影画像Ｐ３にアート効果Ｂを施したアート効果画像Ｂ２の信号に乗じる係数を１−ｂ＝０．４として合成したトランジット画像Ｒ４３を生成する。

続いて、動画中特殊効果画像処理部１６３は、時間ｔ＝ｔ₁₄において、撮影画像Ｐ４にアート効果Ａを施したアート効果画像Ａ２の信号に乗じる係数をｂ＝０．４とし、アート効果画像Ｂ２の信号に乗じる係数を１−ｂ＝０．６として合成したトランジット画像Ｒ４４を生成する。
その後、動画中特殊効果画像処理部１６３は、時間ｔ＝ｔ₁₅において、アート効果画像Ａ２の信号に乗じる係数をｂ＝０．２とし、撮影画像Ｐ５にアート効果Ｂを施したアート効果画像Ｂ３の信号に乗じる係数を１−ｂ＝０．８として合成したトランジット画像Ｒ４５を生成する。

続いて、動画中特殊効果画像処理部１６３は、時間ｔ＝ｔ₁₆において、撮影画像Ｐ６にアート効果Ａを施したアート効果画像Ａ３の信号に乗じる係数をｂ＝０．１とし、アート効果画像Ｂ３の信号に乗じる係数を１−ｂ＝０．９として合成したトランジット画像Ｒ４６を生成する。
その後、動画中特殊効果画像処理部１６３は、時間ｔ＝ｔ₁₇において、撮影画像Ｐ７にアート効果Ｂのみを施した（ｂ＝０）トランジット画像Ｒ４７を生成する。

以上説明した本発明の実施の形態５によれば、動画中特殊効果画像処理部１６３が交互にアート効果画像Ａおよびアート効果画像Ｂを生成し、それぞれのアート効果の直前に生成されたアート効果画像を合成することでトランジットを実現する。これにより、画像処理部１６の処理負荷がトランジット時と非トランジット時とで差が生じないため、フレームレートの遅延やコマ落ち等が生じることを確実に防止することができる。この結果、滑らかなトランジットを実現することができる。

さらに、本実施の形態５によれば、ユーザに対して視覚的に違和感を生じさせることなく、自然な効果の切り替えを行うことができる。

（実施の形態６）
つぎに、本発明の実施の形態６について説明する。本実施の形態６にかかる撮像装置は、上述した実施の形態１と同様の構成を有し、動画設定処理の内容のみ異なる。このため、以下においては、本実施の形態６にかかる撮像装置が実行する動画設定処理について説明する。なお、同一の構成には同一の符号を付して説明する。

図２６に示すように、画像処理制御部２９１は、動画特殊効果の禁止フラグがオン状態であるか否かを判断する（ステップＳ７０１）。禁止フラグがオン状態であると画像処理制御部２９１が判断した場合（ステップＳ７０１：Ｙｅｓ）、撮像装置１は、図１３のメインルーチンへ戻る。これにより、効果の開始禁止期間中に、動画ボタン４７が操作された場合であっても、動画ボタン４７から入力される動画を指示する信号の入力を受け付けることがない。なお、停止操作（たとえば動画中に動画ボタン４７が操作されたとき）を受け付けないようにしてもよい。

ステップＳ７０２〜ステップＳ７０８は、図１４のステップＳ２０１〜ステップＳ２０７にそれぞれ対応する。

以上説明した本発明の実施の形態６によれば、動画特殊効果の禁止フラグがオン状態である場合、画像処理制御部２９１が動画ボタン４７の操作を受け付けないので、動画特殊効果の途中で動画記録が開始されたり、停止されたりすることを防止することができる。

さらに、本実施の形態６によれば、動画の開始または終了時におけるヘッダ生成、準備および後処理等の処理時間が終了するまで、動画ボタン４７の操作を受け付けないので、実際のライブビュー画像と動画で記録されるアート効果とを同じものにすることができる。

（実施の形態７）
つぎに、本発明の実施の形態７について説明する。本実施の形態７にかかる撮像装置は、上述した実施の形態１と同様の構成を有し、撮像装置が実行する処理が異なる。このため、以下においては、本実施の形態７にかかる撮像装置が実行する処理について説明する。なお、同一の構成には同一の符号を付して説明する。

図２７は、本実施の形態７にかかる撮像装置１が実行する処理の概要を示すフローチャートである。

ステップＳ８０１〜ステップＳ８０７は、上述した図１３のステップＳ１０１〜ステップＳ１０７にそれぞれ対応する。

ステップＳ８０８において、画像処理制御部２９１は、撮像装置１が動画記録中であり、かつ、禁止フラグがオン状態であるか否かを判断する。撮像装置１が動画記録中であり、かつ、禁止フラグがオン状態であると画像処理制御部２９１が判断した場合（ステップＳ８０８：Ｙｅｓ）、撮像装置１は、ステップＳ８０９へ移行する。これに対して、撮像装置１が動画記録中でなく、かつ、禁止フラグがオン状態でないと画像処理制御部２９１が判断した場合（ステップＳ８０８：Ｎｏ）、撮像装置１は、後述するステップＳ８１１へ移行する。

ステップＳ８０９において、動画中特殊効果画像処理部１６３は、停止処理を開始する。この停止処理としては、たとえばマルチエコーの場合、時間的に効果が変化しないのですぐに終了して停止処理を行う。また、ワンショットエコーまたはトランジットの場合、通常よりも早く処理を（たとえば３倍の速さで変化させる）終了して停止処理を行う。

その後、制御部２９は、停止処理が終了したか否かを判断する（ステップＳ８１０）。停止処理が終了した場合（ステップＳ８１０：Ｙｅｓ）、撮像装置１は、ステップＳ８１１へ移行する。これに対して、停止処理が終了していない場合（ステップＳ８１０：Ｎｏ）、撮像装置１は、後述するステップＳ８１２へ移行する。

ステップＳ８１１において、撮像装置１は、後述する撮像装置１の動画の各種を設定する動画設定処理を実行し、ステップＳ８１２へ移行する。

ステップＳ８１２〜ステップＳ８２５は、図１３のステップＳ１０９〜ステップＳ１２２にそれぞれ対応する。

図２８は、図２７のステップＳ８１１の動画設定処理の概要を示すフローチャートである。ステップＳ９０１〜ステップＳ９０４は、図１４のステップＳ２０１〜ステップＳ２０４にそれぞれ対応する。

ステップＳ９０５において、制御部２９は、動画特殊効果フラグおよび禁止フラグをオフ状態にする。

ステップＳ９０６〜ステップＳ９０８は、図１４のステップＳ２０５〜ステップＳ２０７にそれぞれ対応する。

以上説明した本発明の実施の形態７によれば、動画特殊効果の途中で動画撮影が終了することがないので、見苦しい動画が記録されてしまうことを確実に防止することができる。

（その他の実施の形態）
ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態１〜７によってのみ限定されるべきものではない。

たとえば、本発明において、表示部とは別に電子ビューファインダを本体部に設け、この電子ビューファインダにおいて本発明を適用するようにしてもよい。この場合には、表示部と電子ビューファインダとで動画中特殊効果の見え方が異なるようにすればより好ましい。

また、本発明においては、本体部とレンズ部とが一体的に形成されていてもよい。

また、本発明にかかる撮像装置は、デジタル一眼レフカメラ以外にも、例えばアクセサリ等を装着可能なデジタルカメラ、デジタルビデオカメラおよび撮影機能を有する携帯電話やタブレット型携帯機器等の電子機器にも適用することができる。

なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。すなわち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。

このように、本発明は、ここでは記載していない様々な実施の形態を含みうるものであり、特許請求の範囲によって特定される技術的思想の範囲内で種々の設計変更等を行うことが可能である。

１，１００ 撮像装置
２ 本体部
３ レンズ部
１２ 撮像素子
１６ 画像処理部
１９ 画像圧縮展開部
２０ 入力部
２１ 表示部
２２ 表示駆動部
２３ 記録媒体
２６ Ｆｌａｓｈメモリ
２７ 本体通信部
２８ バス
２９，４０ 制御部
３１ 光学系
３５ レンズ操作部
３６ レンズｆｌａｓｈメモリ
３７ レンズ通信部
３８ レンズ制御部
４１ 電源ボタン
４２ レリーズボタン
４３ モードダイヤル
４４ 操作ボタン
４５ メニューボタン
４６ 再生ボタン
４７ 動画ボタン
４８ ファンクションキー
４９ 消去ボタン
５０ タッチパネル
１６１ 基本画像処理部
１６２ アート効果画像処理部
１６３ 動画中特殊効果画像処理部
２０１ 設定信号入力部
２０２ 動画撮影信号入力部
２０３ 動画特殊効果開始信号入力部
２６１ プログラム記録部
２６２ 特殊効果処理情報記録部
２６３ 画像処理情報記録部
２９１ 画像処理制御部
２９２ 画像処理判定部
２９３ 表示制御部
４０１ 変化率算出部
４４１ 十字キー
４４２ 決定ボタン
４４３ 上矢印キー
４４４ 下矢印キー
４４５ 左矢印キー
４４６ 右矢印キー

Claims (13)

1. 被写体を撮像して該被写体の画像データを生成し、動画を撮影可能な撮像装置であって、
   動画の画像データに対応する複数のフレームにわたって互いに異なる視覚的な効果を生じさせる複数の動画特殊効果のいずれかを前記画像データに付与する動画中特殊効果画像処理部と、
   前記複数の動画特殊効果のいずれか一つまたは一部の開始を指示する指示信号の入力を受け付ける動画特殊効果開始信号入力部と、
   前記動画特殊効果開始信号入力部によって前記指示信号が入力されたとき、該指示信号に対応する前記動画特殊効果の前記画像データへの付与を開始することが可能であるか否かを判定する画像処理判定部と、
   前記画像処理判定部の判定結果に基づいて、前記動画中特殊効果画像処理部における各動画特殊効果の前記画像データへの付与対応を制御する画像処理制御部と、
   を備えることを特徴とする撮像装置。
2. 前記画像処理制御部は、前記画像処理判定部によって前記指示信号に対応する前記動画特殊効果の付与を前記動画中特殊効果画像処理部に開始させることが不可能であると判定された場合、前記動画特殊効果開始信号入力部が受け付けた前記指示信号の入力に対応する前記動画特殊効果を行わないことを特徴とする請求項１に記載の撮像装置。
3. 前記画像処理判定部は、前記動画中特殊効果画像処理部が前記複数の動画特殊効果のいずれかを前記画像データへ付与している場合、他の前記動画特殊効果の付与を開始することが不可能であると判定し、
   前記画像処理制御部は、前記画像処理判定部によって他の前記動画特殊効果の付与を開始することが不可能であると判定された場合、前記動画中特殊効果画像処理部に対して他の前記動画特殊効果の付与を禁止させることを特徴とする請求項１または２に記載の撮像装置。
4. 前記画像処理判定部は、前記動画中特殊効果画像処理部が前記複数の動画特殊効果のいずれかの付与を開始後の所定期間または所定のフレーム数に相当する期間、他の前記動画特殊効果の付与を開始することが不可能であると判定し、
   前記画像処理制御部は、前記画像処理判定部によって他の前記動画特殊効果の付与を開始することが不可能であると判定された場合、前記動画中特殊効果画像処理部に対して他の前記動画特殊効果の付与を禁止させることを特徴とする請求項１または２に記載の撮像装置。
5. 前記動画中特殊効果画像処理部が付与する前記動画特殊効果におけるパラメータの時間変化率を算出する変化率算出部をさらに備え、
   前記画像処理判定部は、前記動画中特殊効果画像処理部がいずれかの前記動画特殊効果を行っている場合において、前記変化率算出部が算出した前記時間変化率が所定の閾値よりも大きいとき、他の前記動画特殊効果の付与を開始することが不可能であると判定し、
   前記画像処理制御部は、前記画像処理判定部によって他の前記動画特殊効果の付与を開始することが不可能であると判定された場合、前記動画中特殊効果画像処理部に対して他の前記動画特殊効果の付与を禁止させることを特徴とする請求項１または２に記載の撮像装置。
6. 前記動画特殊効果は、互いに異なる視覚的な効果を生じさせる２つの画像処理を所定の割合で合成し、この合成の割合を経時的に変化させながら合成するものであり、
   前記パラメータの時間変化率は、前記動画中特殊効果画像処理部が前記画像データに付与する前記２つの画像処理の合成の割合の時間変化率であることを特徴とする請求項５に記載の撮像装置。
7. 前記画像データに対応する画像を表示する表示部と、
   前記画像処理判定部の判定結果に応じた前記動画特殊効果の開始の可否を示す情報を前記画像に重畳して前記表示部に表示させる表示制御部と、
   をさらに備えたことを特徴とする請求項１〜６のいずれか一つに記載の撮像装置。
8. 動画記録の終了を指示する終了指示信号の入力を受け付ける動画撮影指示信号入力部をさらに備え、
   前記動画中特殊効果画像処理部が前記動画特殊効果を付与している場合において、前記動画撮影指示信号入力部によって前記終了指示信号が入力されたとき、前記動画中特殊効果画像処理部が前記動画特殊効果の付与を終了するまで動画撮影を継続することを特徴とする請求項１〜７のいずれか一つに記載の撮像装置。
9. 前記画像処理制御部は、前記動画中特殊効果画像処理部が前記動画特殊効果を付与している場合において、前記動画撮影指示信号入力部によって前記終了指示信号が入力されたとき、前記動画中特殊効果画像処理部が前記画像データに付与する前記動画特殊効果の付与時間を短縮することを特徴とする請求項８に記載の撮像装置。
10. 前記画像処理制御部は、前記動画中特殊効果画像処理部が前記画像データに付与する２つの画像処理の各々のフレーム数を、時間の経過とともに個別に変化させながら交互に行わせることを特徴とする請求項１に記載の撮像装置。
11. 前記画像処理制御部は、前記動画中特殊効果画像処理部が前記画像データに付与する一方の前記画像処理のフレーム数を経時的に少なくし、他方の前記画像処理のフレーム数を経時的に大きくすることを特徴とする請求項１０に記載の撮像装置。
12. 被写体を撮像して該被写体の画像データを生成し、動画を撮影可能であるとともに、動画の画像データに対応する複数のフレームにわたって互いに異なる視覚的な効果を生じさせる複数の動画特殊効果のいずれかを前記画像データに付与することが実行可能な撮像装置が実行する画像処理方法であって、
    前記複数の動画特殊効果のいずれか一つまたは一部の開始を指示する指示信号の入力を受け付ける動画特殊効果開始信号入力ステップと、
    前記動画特殊効果開始信号入力ステップによって前記指示信号が入力されたとき、該指示信号に対応する前記動画特殊効果の前記画像データへの付与を開始することが可能であるか否かを判定する画像処理判定ステップと、
    前記画像処理判定ステップの判定結果に基づいて、各動画特殊効果の前記画像データへの付与対応を制御する画像処理制御ステップと、
    を含むことを特徴とする画像処理方法。
13. 被写体を撮像して該被写体の画像データを生成し、動画を撮影可能であるとともに、動画の画像データに対応する複数のフレームにわたって互いに異なる視覚的な効果を生じさせる複数の動画特殊効果のいずれかを前記画像データに付与することが実行可能な撮像装置に実行させるプログラムであって、
    前記複数の動画特殊効果のいずれか一つまたは一部の開始を指示する指示信号の入力を受け付ける動画特殊効果開始信号入力ステップと、
    前記動画特殊効果開始信号入力ステップによって前記指示信号が入力されたとき、該指示信号に対応する前記動画特殊効果の前記画像データへの付与を開始することが可能であるか否かを判定する画像処理判定ステップと、
    前記画像処理判定ステップの判定結果に基づいて、各動画特殊効果の前記画像データへの付与対応を制御する画像処理制御ステップと、
    を実行させることを特徴とするプログラム。