以下、添付図面を参照して、本発明を実施するための形態(以下、「実施の形態」という)を説明する。図面の記載において、同一の部分には同一の符号を付して説明する。
(実施の形態1)
本発明の実施の形態1は、静止画と動画を撮影可能な撮像装置を用いて動画記録を開始すると、静止画用に割り当てられた操作入力用のユーザインターフェースの機能が動画特殊効果用に切り替わることを特徴とする。
本実施の形態1に係る撮像装置は、動画撮影中に静止画を撮影する機能を有する。ここで、動画撮影中の静止画撮影とは、動画を撮影している途中で静止画を撮影する場合と、動画撮影を終了した直後に静止画を撮影する場合とを含む。また、動画を撮影している途中で静止画を撮影する場合には、静止画撮影時に動画撮影を一旦停止する場合と、静止画撮影を動画撮影と並行して行う場合とが含まれる。
図1は、本実施の形態1に係る撮像装置の構成を示すブロック図である。図2は、本発明の実施の形態1に係る撮像装置のユーザに面する側(前面側)の構成を示す斜視図である。図1および図2に示す撮像装置1は、本体部2と、本体部2に着脱自在なレンズ部3と、を備える。
本体部2は、シャッタ10と、シャッタ駆動部11と、撮像素子12と、撮像素子駆動部13と、信号処理部14と、A/D変換部15と、画像処理部16と、AE処理部17と、AF処理部18と、画像圧縮展開部19と、入力部20と、表示部21と、表示駆動部22と、記録媒体23と、メモリI/F24と、SDRAM(Synchronous Dynamic Random Access Memory)25と、Flashメモリ26と、本体通信部27と、バス28と、制御部29と、を備える。
シャッタ10は、撮像素子12の状態を露光状態または遮光状態に設定する。シャッタ駆動部11は、ステッピングモータ等を用いて構成され、制御部29から入力される指示信号に応じてシャッタ10を駆動する。
撮像素子12は、レンズ部3が集光した光を受光して電気信号に変換するCCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)等を用いて構成される。撮像素子駆動部13は、所定のタイミングで撮像素子12から画像データ(アナログ信号)を信号処理部14に出力させる。この意味で、撮像素子駆動部13は、電子シャッタとして機能する。
信号処理部14は、撮像素子12から入力されるアナログ信号に対して、アナログ処理を施してA/D変換部15に出力する。具体的には、信号処理部14は、アナログ信号に対して、ノイズ低減処理およびゲインアップ処理等を行う。例えば、信号処理部14は、アナログ信号に対して、リセットノイズ等を低減した上で波形整形を行い、さらに目的の明るさとなるようにゲインアップを行う。
A/D変換部15は、信号処理部14から入力されるアナログ信号に対してA/D変換を行うことによってデジタルの画像データを生成し、バス28を介してSDRAM25に出力する。
画像処理部16は、バス28を介してSDRAM25から画像データを取得し、取得した画像データ(RAWデータ)に対して各種の画像処理を行って処理画像データを生成する。この処理画像データは、バス28を介してSDRAM25に出力される。画像処理部16は、基本画像処理部161と、アート効果画像処理部162と、動画中特殊効果画像処理部163と、を有する。
基本画像処理部161は、画像データに対して、少なくとも、オプティカルブラック減算処理、ホワイトバランス(WB)調整処理、撮像素子がベイヤー配列の場合には画像データの同時化処理、カラーマトリクス演算処理、ガンマ補正処理、色再現処理およびエッジ強調処理等を含む基本の画像処理を行う。また、基本画像処理部161は、予め設定された各画像処理のパラメータに基づいて、自然な画像を再現する仕上がり効果処理を行って仕上がり効果画像データを生成する。ここで、各画像処理のパラメータとは、コントラスト、シャープネス、彩度、ホワイトバランスおよび階調の値である。
アート効果画像処理部162は、1つの画像データに対して複数の画像処理を組み合わせることにより、視覚的な効果を生じさせるアート効果処理を行って処理画像データ(以下、「アート効果画像データ」という)を生成する。
図3は、アート効果画像処理部162が行うアート効果画像処理の概要を示す図である。図3ではアート効果画像処理として、ファンタジックフォーカス、ファンタジックフォーカス+スターライト、ファンタジックフォーカス+ホワイトエッジ、ポップアート、ポップアート+スターライト、ポップアート+ピンホール、ポップアート+ホワイトエッジ、トイフォト、ラフモノクローム、ジオラマの10種類が記載されている。以下、これらのアート効果画像処理について説明する。
ファンタジックフォーカスは、画像全体にぼかし処理を施し、ぼかす前の画像と一定の割合で合成するソフトフォーカスの効果を与える処理である。ファンタジックフォーカスは、中間の輝度をより明るくするトーンカーブ処理を行うことにより、柔らかいトーンの中で、被写体のディテールを残しながら、幸福な光に包まれたように美しく幻想的な雰囲気の画像を結像または生成する。ファンタジックフォーカスは、例えばトーンカーブ処理、ぼかし処理、アルファブレンド処理および画像合成処理等の画像処理を組み合わせることによって実現される。
ファンタジックフォーカス+スターライトは、ファンタジックフォーカスに加えて、画像中の高輝度部に対してクロスパターンを描写するクロスフィルター効果を施す処理である。
ファンタジックフォーカス+ホワイトエッジは、ファンタジックフォーカスに加えて、画像の中心部から周縁部に行くにしたがって徐々に白味を帯びる効果が施す処理である。このような白味の効果は、画像の中心からの距離が大きいほど周辺部が白くなるように画素値を変更することによって得られる。
ポップアートは、色をカラフルに強調し、明るく楽しい雰囲気を表現する処理である。ポップアートは、例えば彩度強調処理およびコントラスト強調処理を組み合わせることによって実現される。全体に高コントラストで高彩度の効果である。
ポップアート+スターライトは、ポップアートとスターライトを重ねて施す処理である。この場合には、カラフルな画像にクロスフィルターを施した効果が得られる。
ポップアート+ピンホールは、ポップアートに加えて、画像の周縁部をシェーディングによって暗くして穴から覗き込むような効果を与えるトイフォト(ピンホール)を施す処理である。トイフォトの詳細については、後述する。
ポップアート+ホワイトエッジは、ポップアートとホワイトエッジを重ねて施す処理である。
トイフォトは、画像の中心からの距離が大きいほど輝度が小さく(暗く)なるようにして、あたかも穴から覗き込んで異空間に迷い込んだような効果を生じさせる処理である。トイフォトは、例えばローパスフィルタ処理、ホワイトバランス処理、コントラスト処理、色相・彩度処理に加え、輝度信号に対して周辺ほど小さい係数を乗じるシェーディング処理等の画像処理を組み合わせることによって実現される(トイフォト、シェーディングの詳細な内容については、例えば特開2010−74244号公報を参照)。
ラフモノクロームは、高コントラストとフィルムの粒状のノイズを付加してモノクロ画像の力強さや荒々しさを表現する処理である。ラフモノクロームは、例えばエッジ強調処理、レベル補正最適化処理、ノイズパターン重畳処理、合成処理およびコントラスト処理等を組み合わせることによって実現される(ラフモノクロームの詳細な内容については、例えば特開2010−62836号公報を参照)。このうちノイズパターン重畳処理(ノイズ付加処理)は、予め作成したノイズパターン画像をもとの画像に加算する処理である。ノイズパターン画像は、例えば乱数などを発生させ、この乱数に基づいて生成してもよい。
ジオラマは、高コントラストで高彩度の画像に、画像の周縁部をぼかすことにより、ミニチュア模型やおもちゃを見ているかのような雰囲気を画面上に作り出す処理である。ジオラマは、例えば色相・彩度処理、コントラスト処理、周辺ぼかし処理および合成処理等を組み合わせることによって実現される。このうち、周辺ぼかし処理は、画像の中心からの距離に応じ、周辺部ほどぼける度合いが大きくなるように、画像の位置に応じてローパス係数を変更しながらローパスフィルタ処理を行うものである。なお、周辺ぼかし処理として、画像の上下のみ、または画像の左右のみをぼかすようにしてもよい。
動画中特殊効果画像処理部163は、動画を記録する際、画像に特殊効果を加える画像処理を行う。動画中特殊効果画像処理部163が行う動画中特殊効果としては、例えばマルチエコー、ワンショットエコー、トランジット、揺らぎがある。以下、これらの動画中特殊効果について説明する。
図4は、マルチエコーの概要を説明する図である。マルチエコーとは、直前の記録用画像と今撮影した画像の合成を所定の期間繰り返すことによって画像に残像が残る効果である。具体的には、図4に示すように、ボール101が動く軌跡を残像として表示することができる効果である。
動画中特殊効果画像処理部163は、動画中特殊効果としてマルチエコーが設定されている場合、開始トリガが入力されると、その直後に生成された画像に対して、一つ前のフレームの画像を所定の割合で合成する処理(マルチエコー処理)を行う。
図4に示す場合、動画中特殊効果画像処理部163は、開始トリガ入力直後の撮影画像P1とその1つ前のフレームの撮影画像P0に対応する記録画像R0とを合成することによってマルチエコー画像R1を生成する。この合成の際、各画素において、撮影画像P1の信号に係数0.6を乗じる一方、記録画像R0の信号に係数0.4を乗じる。
続いて、動画中特殊効果画像処理部163は、次のフレームの撮影画像P2と合成画像R1とを合成することによってマルチエコー画像R2を生成する。マルチエコー画像R2を生成する際には、各画素において、撮影画像P2の信号に係数0.6を乗じる一方、合成画像R1の信号に係数0.4を乗じる。
動画中特殊効果画像処理部163は、終了トリガが入力されるまで、上述した合成処理を繰り返し行うことによってマルチエコー画像を順次生成する。終了トリガが入力されると、記録媒体23には、撮影画像P5に対応する記録画像R5が記録される。
図5は、ワンショットエコーの概要を説明する図である。ワンショットエコーとは、特定のフレームの画像(一瞬の画像)が徐々に薄くなりながら消えていく効果である。具体的には、図5に示すように、特定の時間に撮影されたボール101がしばらくの間撮影画像に残像として残るような効果である。
動画中特殊効果画像処理部163は、動画中特殊効果としてワンショットエコーが設定されている場合、開始トリガが入力されると、その直後に撮影して記録された画像データを一旦SDRAM25に保存し、この画像データをその後に撮影された画像データに対して時間とともに徐々に重みが減衰するように合成していく処理(ワンショットエコー処理)を行う。
図5に示す場合、開始トリガの入力直後に撮影された撮影画像P1はSDRAM25に記憶される(以下、SDRAM画像S1という)。動画中特殊効果画像処理部163は、SDRAM25が記憶するSDRAM画像S1と最新の撮影画像とを所定の比率で合成する。
図5に示す場合、開始トリガ入力直後には撮影画像P1に対応するワンショットエコー画像R11が表示される。
その後、時間t=t2において、動画中特殊効果画像処理部163は、SDRAM画像S1と撮影画像P2とを合成することによってワンショットエコー画像R12を生成する。この合成を行う際、各画素において、SDRAM画像S1の信号に係数a1=0.8を乗じる一方、撮影画像P2の信号に係数1−a1=0.2を乗じる。
その後、動画中特殊効果画像処理部163は、時間t=t3において、SDRAM画像S1の信号に乗じる係数をa=0.4、撮影画像P3の信号に乗じる係数を1−a=0.6として合成したワンショットエコー画像R13を生成する。
その後、動画中特殊効果画像処理部163は、時間t=t4において、SDRAM画像S1の信号に乗じる係数をa=0.2、撮影画像P4の信号に乗じる係数を1−a=0.8として合成したワンショットエコー画像R14を生成する。
その後、時間t=t5において係数a=0となるため、撮影画像P5が記録画像R5となる。
図6は、最新の撮影画像に合成されるSDRAM画像の合成比率の時間変化を示す図である。図6において、横軸tは開始トリガ入力時点(t=0)からの経過時間であり、縦軸aはSDRAM画像S1の各画素の信号に乗じる係数である。図6に示すように、係数aは、t=0でa1であり、時間とともに滑らかに減少していき、開始トリガ入力から所定時間t5経過した時点で0となる。すなわち、SDRAM画像S1の合成画像中に占める割合は、時間とともに徐々に減少していく設定がなされている。これにより、SDRAM画像S1が時間とともに徐々に消えていくような画像を作り出すことができる。
なお、図6に示す曲線は一例に過ぎず、時間とともに係数aが減衰するなどして一定時間で係数aが0となるように滑らかに変化する曲線であればどのようなものでもよく、例えば係数aが一定値をとる期間を含む曲線でもよい。
また、係数aは、開始トリガからのフレーム数に応じて定めるようにしてもよい。この場合には、フレーム単位で徐々に係数aの値を減少させながら、所定のフレーム数(例えば120フレーム)で係数が0となるようにすればよい。
図7は、トランジットの概要を説明する図である。トランジットは、1つの画像に対して付与されるアート効果が、別のアート効果へと徐々に比率を変えながら変わっていく効果である。図7では、アート効果Aからアート効果Bへ変化するトランジットを模式的に示している。図7において、トランジットの開始トリガ入力直前は、撮影画像P0に対してアート効果Aを施したアート効果画像A0が生成される。トランジットでアート効果の切り替え開始から切り替え終了までに要する時間は、適宜設定可能である。
図7に示す場合、開始トリガ入力前は、アート効果Aが設定されているものとする。すなわち、開始トリガ入力直前において、アート効果画像処理部162は、撮影画像P0にアート効果Aを施したアート効果画像R20を形成しているものとする。
開始トリガが入力されると、動画中特殊効果画像処理部163は、撮影画像P1にアート効果Aを施したアート効果画像A1に係数b(=b0)=0.8を乗じる一方、撮影画像P1にアート効果Bを施したアート効果画像B1に係数1−b(=1−b0)=0.2を乗じた二つの画像を合成することによってトランジット画像R21を生成する。
その後、動画中特殊効果画像処理部163は、時間t=t12において、撮影画像P2にアート効果Aを施したアート効果画像A2の信号に乗じる係数をb=0.6とし、撮影画像P2にアート効果Bを施したアート効果画像B2の信号に乗じる係数を1−b=0.4として合成したトランジット画像R22を生成する。
その後、動画中特殊効果画像処理部163は、時間t=t13において、撮影画像P3にアート効果Aを施したアート効果画像A3の信号に乗じる係数をb=0.4とし、撮影画像P3にアート効果Bを施したアート効果画像B3の信号に乗じる係数を1−b=0.6として合成したトランジット画像R23を生成する。
その後、動画中特殊効果画像処理部163は、時間t=t14において、撮影画像P4にアート効果Aを施したアート効果画像A4の信号に乗じる係数をb=0.2とし、撮影画像P4にアート効果Bを施したアート効果画像B4の信号に乗じる係数を1−b=0.8として合成したトランジット画像R24を生成する。
その後、動画中特殊効果画像処理部163は、時間t=t15において、撮影画像P5にアート効果Bのみを施した(b=0)トランジット画像R25を生成する。
図8は、トランジット処理において開始トリガ入力前から付与されているアート効果の合成比率(係数)bの時間変化を示す図である。図8に示すように、係数bは、t=0でb0であり、時間とともに滑らかに減少していき、開始トリガ入力から所定時間t15経過した時点で0となる。
なお、図8に示す曲線は一例に過ぎず、時間とともに係数bが減衰するなどして一定時間で係数bが0となるように滑らかに変化する曲線であればどのようなものでもよく、例えば係数bが一定値をとる期間を含む曲線でもよい。
また、係数bを、開始トリガからのフレーム数に応じて定めるようにしてもよい。この場合には、フレーム単位で滑らかに係数bの値を減少させながら、所定のフレーム数(例えば120フレーム)で係数が0となるようにすればよい。
図9は、揺らぎの概要を示す図である。揺らぎとは、動画中の各フレームに対して付与するアート効果のかかり具合を時間とともにランダムに変化させることによって得られる効果である。図9では、一例として、アート効果がクロスフィルターである場合を示している。この場合、動画中特殊効果画像処理部163は、クロス102を時間とともにランダムに回転させるとともに、クロス102の大きさを時間とともにランダムに変化させることによって揺らぎを与えている。
引き続き、撮像装置1の構成を説明する。
AE処理部17は、バス28を介してSDRAM25に記録された画像データを取得し、取得した画像データに基づいて、静止画撮影または動画撮影を行う際の露出条件を設定する。具体的には、AE処理部17は、画像データから輝度を算出し、算出した輝度に基づいて、例えば絞り値(F値)の設定値、シャッタ速度等を決定することで撮像装置1の自動露出を行う。
AF処理部18は、バス28を介してSDRAM25に記録された画像データを取得し、取得した画像データに基づいて、撮像装置1の自動焦点の調整を行う。例えば、AF処理部18は、画像データから高周波成分の信号を取り出し、高周波成分の信号に対してAF(Auto Focus)演算処理を行うことによって、撮像装置1の合焦評価を決定することで撮像装置1の自動焦点の調整を行う。
画像圧縮展開部19は、バス28を介してSDRAM25から画像データを取得し、取得した画像データに対して所定の形式に従って圧縮し、この圧縮した画像データをSDRAM25に出力する。ここで、所定の形式としては、JPEG(Joint Photographic Experts Group)方式、MotionJPEG方式およびMP4(H.264)方式等である。また、画像圧縮展開部19は、バス28およびメモリI/F24を介して記録媒体23に記録された画像データ(圧縮画像データ)を取得し、取得した画像データを展開(伸長)してSDRAM25に出力する。なお、記録媒体23の代わりに撮像装置1の内部に記憶部を設けてもよい。
入力部20は、静止画撮影および動画撮影における撮影条件を設定する静止画撮影条件設定信号を含む各種設定信号の入力を受け付ける設定信号入力部201と、少なくとも動画撮影の開始を指示する動画撮影開始信号の入力を受け付ける動画撮影信号入力部202と、を有する。
入力部20は、本体部2の表面に設けられた操作信号入力用のユーザインターフェースを用いて実現される。以下、入力部20の一部をなすユーザインタフェースの構成を説明する。
撮像装置1は、操作入力用のユーザインタフェースとして、撮像装置1の電源状態をオン状態またはオフ状態に切替える電源ボタン41と、静止画撮影の指示を与える静止画レリーズ信号の入力を受け付けるレリーズボタン42と、撮像装置1に設定された各種撮影モードを切り替えるモードダイヤル43と、撮像装置1の各種設定を切替える操作ボタン44と、撮像装置1の各種設定を表示部21に表示させるメニューボタン45と、記録媒体23に記録された画像データに対応する画像を表示部21に表示させる再生ボタン46と、動画撮影の指示を与える動画レリーズ信号の入力を受け付ける動画ボタン47と、撮像装置1の各種機能を設定するファンクションキー48と、データを消去する消去ボタン49と、表示部21の表示画面に重ねて設けられ、外部からの接触位置に応じた入力信号を受け付けるタッチパネル50とを有する。
レリーズボタン42は、外部からの押圧により進退可能である。レリーズボタン42が半押しされた場合、撮影準備動作を指示する1stレリーズ信号が入力される。これに対し、レリーズボタン42が全押しされた場合、静止画撮影を指示する2ndレリーズ信号が入力される。
操作ボタン44は、メニュー画面等における選択設定入力を行うために上下左右方向に十字状をなす十字キー441と、十字キー441による選択を確定する決定ボタン442とを有する。十字キー441は、上矢印キー443、下矢印キー444、左矢印キー445、右矢印キー446からなる。
以上説明したユーザインタフェースのうち、動画ボタン47以外のボタンは設定信号入力部201の一部をなす。また、動画ボタン47は動画撮影信号入力部202の一部をなす。
図10は、動画記録中でない場合(動画非記録時)と動画記録中である場合(動画記録時)における十字キー441の各矢印キーへの操作割り当て例を示す図である。動画が記録中でない場合、上矢印キー443には露出補正操作が割り当てられる。下矢印キー444には連写・単写操作が割り当てられる。左矢印キー445にはAFターゲット操作が割り当てられる。右矢印キー446にはフラッシュ設定操作が割り当てられる。
次に、動画記録中である場合を説明する。この場合、上矢印キー443にはワンショットエコー開始操作が割り当てられる。下矢印キー444にはトランジット開始操作が割り当てられる。左矢印キー445は、マルチエコーの開始、停止操作を交互に割り当てトグルキーとして機能する。右矢印キー446には揺らぎ開始操作が割り当てられる。なお、揺らぎの終了を任意に選択できるように設定する場合には、右矢印キー446に対して、揺らぎの開始操作と終了操作とを交互に操作可能なトグルキーとして機能させればよい。
動画記録時における入力ボタンの割り当ては、図10に示すものに限られるわけではない。例えば、図11に示すように、上矢印キー443に効果開始操作を割り当て、下矢印キー444に効果停止操作を割り当て、左矢印キー445、右矢印キー446に効果切替操作をそれぞれ割り当ててもよい。この場合には、表示部21で設定中の特殊効果を表示するようにすればより好ましい。
また、十字キー441の操作の割当を、使いやすさや操作の使用頻度に応じて割り当てるようにしてもよいし、ユーザが独自に設定できるようにしてもよい。さらに、互いに隣接する2つのキー(例えば上矢印キー443と右矢印キー446)が両方押された場合には、別の操作を行うことができるような設定にしてもよい。
表示部21は、液晶または有機EL(Electro Luminescence)等からなる表示パネルを用いて構成される。表示駆動部22は、バス28を介してSDRAM25が記憶する画像データまたは記録媒体23が記憶する画像データを取得し、取得した画像データに対応する画像を表示部21に表示させる。ここで、画像の表示には、撮影直後の画像データを所定時間(例えば3秒間)だけ表示するレックビュー表示、記録媒体23に記録された画像データを再生する再生表示、および撮像素子12が連続的に生成する画像データに対応するライブビュー画像を時系列に沿って順次表示するライブビュー表示等が含まれる。また、表示部21は、撮像装置1の操作情報および撮影に関する情報を適宜表示する。
記録媒体23は、撮像装置1の外部から装着されるメモリカード等を用いて構成される。記録媒体23は、メモリI/F24を介して撮像装置1に着脱自在に装着される。記録媒体23には、その種類に応じた図示しない読み書き装置によって画像処理部16や画像圧縮展開部19が処理を施した画像データが書き込まれ、または読み書き装置によって記録媒体23に記録された画像データが読み出される。また、記録媒体23は、制御部29の制御のもと、メモリI/F24およびバス28を介して撮像プログラムおよび各種情報それぞれをFlashメモリ26に出力してもよい。
SDRAM25は、揮発性メモリを用いて構成される。SDRAM25は、バス28を介してA/D変換部15から入力される画像データ、画像処理部16から入力される処理画像データおよび撮像装置1の処理中の情報を一時的に記憶する一次記憶部としての機能を有する。例えば、SDRAM25は、信号処理部14、A/D変換部15およびバス28を介して、撮像素子12が1フレーム毎に順次出力する画像データを一時的に記憶する。
Flashメモリ26は、不揮発性メモリを用いて構成される。Flashメモリ26は、プログラム記録部261と、特殊効果処理情報記録部262と、画像処理情報記録部263と、を有する。プログラム記録部261は、撮像装置1を動作させるための各種プログラム、撮像プログラムおよびプログラムの実行中に使用される各種データおよび画像処理部16による画像処理の動作に必要な各種パラメータ等を記録する。特殊効果処理情報記録部262は、アート効果画像処理部162が行う各アート効果処理における画像処理の組み合わせ情報を記録する。画像処理情報記録部263は、画像処理部16が実行可能な画像処理に処理時間を対応付けた画像処理情報を記録する。また、Flashメモリ26は、撮像装置1を特定するための製造番号等を記録する。
本体通信部27は、本体部2に装着されたレンズ部3との通信を行うための通信インターフェースである。本体通信部27には、レンズ部3との電気的な接点も含まれる。
バス28は、撮像装置1の各構成部位を接続する伝送路等を用いて構成される。バス28は、撮像装置1の内部で発生した各種データを撮像装置1の各構成部位に転送する。
制御部29は、CPU(Central Processing Unit)等を用いて構成される。制御部29は、画像処理制御部291と、表示制御部292と、を有する。
画像処理制御部291は、バス28を介して入力される入力部20からの指示信号に応じて、画像処理部16に実行させるべき画像処理の内容を設定し、設定した内容に応じた画像処理を、基本画像処理部161、アート効果画像処理部162、および動画中特殊効果画像処理部163のいずれかに実行させる。
表示制御部292は、表示部21の表示態様を制御する。具体的には、表示制御部292は、表示駆動部22を駆動し、画像処理部16が処理を行った各種画像データに対応する画像を表示部21に表示させる。
制御部29は、バス28を介して入力部20から送信される指示信号に応じて、撮像装置1を構成する各部に対して制御信号や各種データの送信を行うことにより、撮像装置1の動作を統括的に制御する。
制御部29は、レリーズボタン42を介して2ndレリーズ信号が入力された場合、撮像装置1における静止画撮影動作を開始する制御を行う。また、制御部29は、動画ボタン47を介して動画撮影開始信号が入力された場合、撮像装置1における動画撮影動作を開始する制御を行う。ここで、撮像装置1における撮影動作とは、シャッタ駆動部11および撮像素子駆動部13の駆動によって撮像素子12が出力した画像データに対し、信号処理部14、A/D変換部15および画像処理部16が所定の処理を施す動作をいう。このように処理が施された画像データは、画像処理制御部291の制御のもと、画像圧縮展開部19で所定の形式にしたがって圧縮され、バス28およびメモリI/F24を介して記録媒体23に記録される。なお、本実施の形態1では記録媒体23が記憶部の一部をなしているが、記録媒体23とは別に撮像装置1の内部に記憶部の機能を有する記憶領域を確保し、この記憶領域に圧縮した画像データを記憶するようにしてもよい。
以上の構成を有する本体部2に対して、音声入出力部、被写体に対して補助光(フラッシュ)を発光する補助光発光部、インターネットを介して外部の装置と双方向に通信を行う機能を有する通信部などをさらに設けてもよい。
次に、レンズ部3の構成を説明する。レンズ部3は、光学系31と、レンズ駆動部32と、絞り33と、絞り駆動部34と、レンズ操作部35と、レンズFlashメモリ36と、レンズ通信部37と、レンズ制御部38と、を備える。
光学系31は、一または複数のレンズを用いて構成される。光学系31は、所定の視野領域から光を集光する。光学系31は、画角を変化させる光学ズーム機能および焦点を変化させるフォーカス機能を有する。
レンズ駆動部32は、DCモータまたはステッピングモータ等を用いて構成され、光学系31のレンズを光軸L上で移動させることにより、光学系31のピント位置や画角等の変更を行う。
絞り33は、光学系31が集光した光の入射量を制限することにより露出の調整を行う。
絞り駆動部34は、ステッピングモータ等を用いて構成され、絞り33を駆動する。
レンズ操作部35は、図2に示すように、レンズ部3のレンズ鏡筒の周囲に設けられるリングであり、レンズ部3における光学ズームの操作を開始する操作信号の入力、またはレンズ部3におけるピント位置の調整を指示する指示信号の入力を受け付ける。なお、レンズ操作部35は、プッシュ式のスイッチ等であってもよい。
レンズFlashメモリ36は、光学系31の位置および動きそれぞれを決定するための制御用プログラム、光学系31のレンズ特性および各種パラメータを記録する。
レンズ通信部37は、レンズ部3が本体部2に装着されたときに、本体部2の本体通信部27と通信を行うための通信インターフェースである。レンズ通信部37には、本体部2との電気的な接点も含まれる。
レンズ制御部38は、CPU(Central Processing Unit)等を用いて構成される。レンズ制御部38は、レンズ操作部35の操作信号または本体部2からの指示信号に応じてレンズ部3の動作を制御する。具体的には、レンズ制御部38は、レンズ操作部35の操作信号に応じて、レンズ駆動部32を駆動させてレンズ部3のピント合わせやズーム変更を行うとともに、絞り駆動部34を駆動させて絞り値の変更を行う。なお、レンズ制御部38は、レンズ部3が本体部2に装着された際に、レンズ部3のピント位置情報、焦点距離およびレンズ部3を識別する固有情報等を本体部2に送信するようにしてもよい。
レンズ制御部38は、本体部2の制御部29との間で所定の周期でレンズ通信信号を送受信することによって、本体部2との動作の連携を図っている。図12は、レンズ制御部38と制御部29との同期通信の一例を示すタイミングチャートである。図12(a)は本体部2内の処理を示している。図12(b)は垂直同期信号を示している。図12(c)は撮像、読み出しのタイミングを示している。図12(d)はレンズ通信を示している。図12(e)はレンズ通信同期信号を示している。図12(f)はレンズ位置取得信号を示している。図12(g)はレンズ部3内の処理を示している。
まず、制御部29は、前フレームで取得した画像データによりライブビュー画像の画像処理およびAF評価値の算出等を画像処理部16に実行させるとともに、レンズ制御部38にレンズ状態データを取得するためのレンズ状態データ要求コマンドを送信する(B1、BL)。この際、制御部29は、同期通信モード中に、垂直同期信号と同じ周期でレンズ通信用の同期信号および光学系31の位置情報を取得するタイミングを指示するレンズ位置取得信号を送信する。このレンズ位置取得信号は、図12(c)に示すように撮像素子12の中央部の蓄積時間の1/2が経過した時点で状態が変化する信号である。
レンズ制御部38は、レンズ位置取得信号の状態が変化したタイミングで光学系31の位置情報を取得するとともに、レンズ通信同期信号の受信タイミングでレンズ操作部35の操作状態を検出する(L1)。
続いて、レンズ制御部38は、制御部29から受信したレンズ状態データ要求コマンドへの応答として、工程L1で取得した光学系31の位置情報およびレンズ操作部35の捜査状態を含むレンズ状態データを制御部29へ送信する(L2)。
この後、制御部29は、レンズ制御部38から送られてきたレンズ状態データに基づいて、AF評価値の算出や、露出値の変更等の各種設定変更を行う(B2)。
制御部29とレンズ制御部38は、以上説明した処理を周期的に繰り返し行う。
図13は、以上の構成を有する撮像装置1が行う処理の概要を示すフローチャートである。図13において、まず、ユーザによって電源ボタン41が操作されて、撮像装置1の電源がオン状態になる(ステップS1:Yes)と、制御部29は、撮像装置1の初期化を行う(ステップS2)。この初期化処理において、制御部29は、例えば動画の記録中を示す記録中フラグをオフ状態にリセットしたり、動画中の特殊効果に関する適用を示す特殊効果フラグをオフ状態にリセットしたり、レンズ制御部38との間のレンズ通信(図12を参照)を開始したりする処理を行う。なお、撮像装置1の電源がオン状態でない場合(ステップS1:No)、撮像装置1はステップS1を繰り返す。
続いて、再生ボタン46が操作されることなく(ステップS3:No)、メニューボタン45が操作された場合(ステップS4:Yes)、撮像装置1は、設定を変更するためのメニュー画面を表示し、ユーザの選択操作に応じて撮像装置1の各種条件を設定する設定処理を実行する(ステップS5)。ステップS5の後、撮像装置1は、後述するステップS7へ移行する。
ここで設定される内容は、仕上がり効果処理、アート効果処理、静止画記録モード、動画記録モード、動画中特殊効果処理などである。仕上がり効果処理には、例えば画像を自然な色合いに仕上げる処理であるナチュラル、画像を色鮮やかに仕上げる処理であるビビッド、被写体の素材性を重視して仕上げる処理であるフラット、画像をモノクロ調に仕上げる処理であるモノトーンなどが含まれる。静止画記録モードは、記録対象とする静止画の種類に応じて定められ、例えばJPEG記録モード、JPEG+RAW記録モード、RAW記録モードなどがある。動画撮影モードは、動画圧縮形式に応じて定められるモードであって、例えばMotion−JPEGモード、MP4(H.264)モードなどがある。動画中特殊効果処理で設定されるのは、例えばトランジットによるアート効果の切り替え先や揺らぎなどである。
ステップS3で再生ボタン46が操作された場合(ステップS3:Yes)、撮像装置1は再生処理を行う(ステップS6)。このステップS6において、表示制御部292は、記録媒体23に記録されているファイル一覧を表示部21に表示させる。その後、入力部20によって再生画像が選択入力された場合、記録媒体23から画像データを取得し、取得した画像データを画像圧縮展開部19で展開して表示部21に表示させる。この後、撮像装置1は、ステップS18へ移行する。
ステップS3で再生ボタン46が操作されることなく(ステップS3:No)、メニューボタン45が操作されていない場合(ステップS4:No)において、動画ボタン47が操作されたとき(ステップS7:Yes)、制御部29は、動画の記録中であることを示す記録中フラグを反転させる(ステップS8)。具体的には、例えば記録中フラグがオン状態にある場合、制御部29は、その記録中フラグをオフ状態に反転させる。
続いて、制御部29は、SDRAM25に記録された記録中フラグがオン状態であるか否かを判断する(ステップS9)。記録中フラグがオン状態であると判断した場合(ステップS9:Yes)、制御部29は、記録媒体23に画像データを時系列に沿って記録するための動画ファイルを生成して記録媒体23に格納する(ステップS10)。
その後、制御部29は、特殊動画用のユーザインターフェース(UI)を設定する(ステップS11)。この設定により、例えば図10に示すような動画記録時の割り当てが実行される。制御部29は、ステップS11で設定対象となったユーザインタフェースがこの後で受け付ける信号を、図10に基づく特殊動画用の信号として認識する。
続いて、表示制御部292は、表示部21に表示させる画面上表示(OSD)などの設定を切り替えることによって動画用の画面への切替えを行う(ステップS12)。具体的には、表示制御部292は、例えば残り時間や、動画撮影時に特殊効果を適用できることを示すアイコンなどを表示する。この後、撮像装置1は、後述するステップS15へ移行する。
図14は、表示部21における動画用の画面表示例を示す図である。図14に示すように、動画用画面Qでは、動画中特殊効果を適用可能であることを示す動画アイコン111、動画用画面キー割り当てを示す画面上表示112および動画撮影の残り時間を表示する残り時間113が表示される。このうち、画面上表示112は数秒間表示した後に自動的に消えるようにしてもよいし、常時表示するようにしてもよい。また、設定信号入力部201からの入力によって画面上表示112の表示と非表示を切り替えることができるようにしてもよい。
ステップS9において、記録中フラグがオフ状態であると判断した場合(ステップS9:No)、制御部29は、静止画用ユーザインターフェースを設定する(ステップS13)。
続いて、表示制御部292は、表示部21における画面上表示などの設定を静止画用に切り替える(ステップS14)。この切り替えにより、表示部21は、例えば残り記録枚数や、静止画撮影時に特殊効果を適用できることを示すアイコンなどを表示する。この後、撮像装置1は、後述するステップS15へ移行する。
ステップS7において、動画ボタン47が操作されていない場合(ステップS7:No)、画像処理制御部291は、動画中特殊効果画像処理部163に対して動画中特殊効果処理を行わせる(ステップS15)。
図15は、動画中特殊効果制御処理の概要を示すフローチャートである。図15において、動画中特殊効果を開始するキーが操作された場合(ステップS31:Yes)、画像処理制御部291は、動画中特殊効果フラグをオンにする(ステップS32)。その後、画像処理制御部291は、効果設定を行う(ステップS33)。
動画中特殊効果を開始するキーが操作されない場合(ステップS31:No)において、終了指示が入力されたとき(ステップS34:Yes)、画像処理制御部291は、動画中特殊効果フラグをオフにする制御を行う(ステップS35)。この後、撮像装置1は、メインルーチンへ戻る。
これに対し、動画中特殊効果を開始するキーが操作されない場合(ステップS31:No)において、終了指示が入力されないとき(ステップS34:No)、撮像装置1はメインルーチンへ戻る。
ステップS15の動画中特殊効果制御処理の後、レリーズボタン42から1stレリーズ信号が入力された場合(ステップS16:Yes)、制御部29は、AE処理部17に露出を調整するAE処理を実行させるとともに、AF処理部18にピントを調整するAF処理を実行させる(ステップS17)。
続いて、制御部29は、電源ボタン41が操作されることによって撮像装置1の電源がオフされたか否かを判断する(ステップS18)。撮像装置1の電源がオフされたと制御部29が判断した場合(ステップS18:Yes)、撮像装置1は、本処理を終了する。これに対して、撮像装置1の電源がオフされていないと制御部29が判断した場合(ステップS18:No)、撮像装置1は、ステップS3へ戻る。
レリーズボタン42から1stレリーズ信号が入力されない場合(ステップS16:No)、レリーズボタン42から2ndレリーズ信号が入力されたとき(ステップS19:Yes)、制御部29は、シャッタ駆動部11および撮像素子駆動部13をそれぞれ駆動することにより、メカシャッタによる撮影を行う(ステップS20)。
続いて、画像処理部16は、撮影した静止画像に対して所定の画像処理を実行する(ステップS21)。なお、画像処理の詳細については後述する。
この後、制御部29は、画像データをJPEG形式で画像圧縮展開部19に圧縮させ、この圧縮した画像データを記録媒体23に記録する(ステップS22)。このステップS22で、制御部29は、画像圧縮展開部19がJPEG形式で圧縮した画像データに、画像処理部16が画像処理を行っていないRAWデータを対応付けて記録媒体23に記録させるようにしてもよい。ステップS22の後、撮像装置1は、ステップS18へ移行する。
ステップS19において、レリーズボタン42から2ndレリーズ信号が入力されない場合(ステップS19:No)、制御部29は、AE処理部17に露出を調整するAE処理を実行させるとともに、AF処理部18にピントを調整するAF処理を実行させる(ステップS23)。
続いて、制御部29は、撮像素子駆動部13を駆動することにより、電子シャッタによる撮影を実行する(ステップS24)。
この後、画像処理部16は、撮像装置1の設定情報に基づいて画像処理を行う(ステップS25)。画像処理の詳細については後述する。
表示制御部292は、画像処理部16が処理を施した画像データに対応するライブビュー画像を表示部21に表示させる(ステップS26)。
続いて、撮像装置1が動画記録中であれば(ステップS27:Yes)、制御部29は、画像データを画像圧縮展開部19に圧縮させ、この圧縮した画像データを記録媒体23に作成された動画ファイルに動画として記録させる(ステップS28)。この後、撮像装置1は、ステップS18へ移行する。これに対して、ステップS27で動画記録中でなければ(ステップS27:No)、撮像装置1はステップS18へ移行する。
図16は、画像処理の概要を示すフローチャートである。図16において、基本画像処理部161は基本画像処理を行う(ステップS41)。ここでの基本画像処理は、OB(Optical Black)値の減算、WB補正、同時化、カラーマトリクス演算、ガンマ変換色補正、エッジ強調、NR(Noise Reduction)などの処理を含む。
ここで、WB補正は、ベイヤ配列の画像データに対して、予めユーザが設定したWBモードに応じたRゲインとBゲインを乗じて、WBを撮像装置本体のフラッシュメモリから読み出し、その値を乗じることで補正する処理である。
同時化は、撮像素子12がベイヤー配列であった場合に、その画素にないデータを周辺から補間することによって、各画素がRGBデータで構成されるデータに変換する処理である。
カラーマトリクス演算は、設定されているWBモードに応じたカラーマトリクス係数を本体のフラッシュメモリから読み出して乗算する処理である。
ガンマ変換色補正処理では、仕上がりの設定に応じて予め設計したガンマテーブルを本体のフラッシュメモリから読み出し、画像データをガンマ変換する。このとき、RGBデータに適用するガンマ変換と、RGBの色空間を輝度信号Yと2つの色差信号Cb、Crによって表される色空間に変換した後で輝度信号Yのみにガンマ変換を行うようにしてもよい。また、適切な色再現性を得るために、仕上がりの設定に応じて予め設計したサイドパラメータを用いて色を補正してもよい。なお、アート効果の種類によってガンマ曲線を変えるようにしてもよい。
エッジ強調処理では、バンドパスフィルタによりエッジ成分を抽出し、エッジ強調度に応じた係数を乗じて画像データに加算することで強調する。
NR処理では、画像を周波数分解し、周波数に応じてコアリング処理などを行うことでノイズを低減する処理を行う。
続いて、アート効果画像処理部162は、アート効果処理を行う(ステップS42)。ここでは、上述したクロスフィルター、ソフトフォーカス、ノイズ付加、シェーディング、周辺輝度持ち上げ、周辺ぼかし、等の処理を行う。
その後、撮像装置1が静止画撮影を行う場合(ステップS43:Yes)、制御部29が動画中特殊効果(第1の特殊効果)に対応した特殊効果(第2の特殊効果)を静止画の画像データに付与することを禁止する制御を行った後、メインルーチンへ戻る。
ここで、撮像装置1が静止画撮影を行う場合に動画中特殊効果に対応した特殊効果を付与しない理由を説明する。動画撮影中の静止画撮影はレスポンスの速さが重要である。静止画の画素数は動画の画素数に比べて数倍程度大きいため、静止画に動画中特殊効果を付与すると、静止画撮影後の動画撮影の再開タイミングに影響を及ぼすおそれがある。そこで、本実施の形態1では、静止画の場合に動画中特殊効果の適用を禁止している。なお、光束でレスポンスに影響がなければ静止画に適用することも可能である。
一方、撮像装置1が動画撮影を行う場合(ステップS43:No)、制御部29は、動画中特殊効果が設定されているか否かを判定する(ステップS44)。動画中特殊効果が設定されている場合(ステップS44:Yes)、ステップS45へ移行する。これに対して、動画中特殊効果が設定されていない場合(ステップS44:No)、撮像装置1はメインルーチンへ戻る。
ステップS44で動画中特殊効果が設定されている場合(ステップS44:Yes)において、適用する効果がマルチエコーであるとき(ステップS45:Yes)、動画中特殊効果画像処理部163は、直前の画像処理結果(前フレーム)に対して、上述したマルチエコー処理(図4を参照)として、現在のフレームを所定の比率で合成する(ステップS46)。一方、適用する特殊効果がマルチエコーでないとき(ステップS45:No)、撮像装置1はステップS47へ移行する。
ステップS47において、制御部29は、適用する効果がワンショットエコーであるか否かを判定する。適用する効果がワンショットエコーである場合(ステップS47:Yes)、動画中特殊効果画像処理部163は、ワンショットエコー効果を得るために、SDRAM25が記憶する特定の画像データであるレリーズフレームとの合成処理を行う(ステップS48)。ここで、特殊効果フラグがオンになって最初のフレームの場合、動画中特殊効果画像処理部163は、現在のフレームの画像をSDRAM25に記憶する処理を行う。これに対し、特殊効果フラグがオンになって2フレーム以後の場合、動画中特殊効果画像処理部163は、SDRAM25が記憶しているレリーズフレームと合成処理を行う。
ステップS47において、適用する動画中特殊効果がワンショットエコーでない場合(ステップS47:No)、撮像装置1はステップS49へ移行する。
ステップS49において、制御部29は、適用する効果が揺らぎであるか否かを判定する。適用する効果が揺らぎである場合(ステップS49:Yes)、動画中特殊効果画像処理部163は揺らぎ効果を追加する処理を行う(ステップS50)。
ステップS50における動画中特殊効果画像処理部163の具体的な処理を説明する。動画中特殊効果画像処理部163は、シェーディング処理、クロスフィルター処理などのアート効果処理における画像処理パラメータに揺らぎを持たせた効果を追加する。例えば、シェーディング処理であれば、画像の中心からの減衰特性を時間とともに変化させる。周辺ぼかしであれば、ぼかし量やぼかし形状を変化させる。クロスフィルターであれば、クロスパターンの長さや角度を時間とともに変化させる。また、彩度、コントラスト、ホワイトバランスを時間とともに変化させてもよい。なお、揺らぎとシェーディング等のアート効果が重複する場合、両方を付与してもよいし、揺らぎのみを付与するようにしてもよい。
ステップS49において、適用する効果が揺らぎではない場合(ステップS49:No)、撮像装置1はステップS51へ移行する。
ステップS51において、制御部29は、適用する効果がトランジットであるか否かを判定する(ステップS51)。適用する効果がトランジットである場合(ステップS51:Yes)、基本画像処理部161およびアート効果画像処理部162は、仕上がり/切り替え先の設定に応じた基本画像処理およびアート効果処理をそれぞれ実行する(ステップS52、S53)。その後、動画中特殊効果画像処理部163は、トランジット用の二つの画像の合成処理を行うことによってトランジット画像を生成する(ステップS54)。ステップS54の後、撮像装置1はメインルーチンへ戻る。
ステップS51において、制御部29が判定した結果、適用する効果がトランジットでない場合(ステップS51:No)、撮像装置1はメインルーチンへ戻る。
以上説明した本発明の実施の形態1によれば、動画記録を開始すると、設定信号入力部が動画中特殊効果用に切り替わり、制御部は動画用特殊効果の設定信号が入力されたものと認識する。したがって、ユーザは撮影時に簡単な操作をすることで、容易に動画に特殊効果を適用することができる。
また、本実施の形態1によれば、設定信号入力部を構成するユーザインターフェースに動画用と静止画用の入力機能を兼備させることができるため、動画撮影の場合にも操作性に優れたユーザインターフェースを実現することができる。加えて、ユーザインターフェースの数も抑制することができるため、レイアウトの制限も少なくなり、小型化に好適な撮像装置を実現することができる。
また、本実施の形態1によれば、編集機器やPC上で実現できるものと同等な特殊効果を、撮像装置自体で実行することができる。したがって、ユーザの作画意図を反映した動画を、高度な専門知識を必要とすることなく、また後編集することなく作成することができる。
また、本実施の形態1によれば、動画撮影中の静止画に対して、動画中特殊効果の適用を禁止する制御を行うことにより、静止画撮影後の動画撮影の再開タイミングへの影響を防止することができる。
一般に、撮像装置は、PC等と比較してメモリーが少なく処理能力が劣っているため、PC等と同等の動画データの編集処理を実現することは難しい。また、動画中の静止画撮影や、動画終了直後の静止画撮影の可能な撮像装置においては、メモリー不足やメモリー管理上の問題が決定的なものになり、メモリー増設によるコスト増や、静止画撮影時の応答性や静止画画質の劣化などの問題を発生してしまう恐れもある。本実施の形態1では、この点に鑑み、撮影した動画を編集することなく、撮影時に複数のフレームにわたる時間的な移り変わりの特殊効果による撮影者の作画意図を付与した動画を撮影可能が技術を実現している。
(変形例1−1)
図17は、本実施の形態1の変形例1−1に係る撮像装置の動画記録時と動画非記録時におけるユーザーインターフェースの割り当てを示す図である。図17に示す場合、動画非記録時には、レリーズボタン42の1stレリーズ操作にAE/AF操作を割り当て、レリーズボタン42の2ndレリーズ操作に撮影操作を割り当て、レンズ操作部35にピント操作を割り当てる。これに対して、動画記録時には、レリーズボタン42(1stレリーズ操作)を効果開始、停止操作を交互に操作可能なトグルキーとして機能させ、レンズ操作部35に効果切替操作を割り当てる。ここで、動画記録中にレリーズボタン42からの入力に応じたAF、AEが行われたり、効果の開始時に静止画が撮影されたりすると困る。そこで、動画記録時には、静止画撮影を行わない。
(変形例1−2)
図18は、本実施の形態1の変形例1−2に係る撮像装置の動画記録時と動画非記録時におけるユーザーインターフェースの割り当てを示す図である。この場合、動画非記録時には、ファンクションキー48にAF操作を割り当てる一方、レンズ操作部35にピント操作を割り当てる。これに対し、動画記録時には、ファンクションキー48を、効果開始、停止を交互に操作可能なトグルキーとして機能させる一方、レンズ操作部35を効果切替操作に割り当てる。
(変形例1−3)
図19は、本実施の形態1の変形例1−3に係る撮像装置の動画記録時と動画非記録時におけるユーザーインターフェースの割り当てを示す図である。本変形例1−3では、タッチパネル50を用いて効果のオンオフや切り替えを行う。動画非記録時には、タッチパネル50のタッチ操作を静止画撮影操作に割り当てる。これに対して、動画記録時には、タッチパネル50のタッチを効果開始、終了操作に交互に割り当てる一方、タッチパネル50の横スライドを効果切り替え操作に割り当てる。
このようにしてタッチパネル50を用いることにより、ユーザインターフェースのスペースを抑制することができる。
(変形例1−4)
図20は、本実施の形態1の変形例1−4に係る撮像装置が行う動画中特殊効果制御処理の概要を示すフローチャートである。図20において、動画中特殊効果処理を開始するキーが操作された場合(ステップS61:Yes)、画像処理制御部291は、動画特殊効果フラグをオンにする(ステップS62)。その後、撮像装置1はメインルーチンへ戻る。
これに対し、動画中特殊効果を開始するキーが操作されない場合(ステップS61:No)において、終了指示が入力されたとき(ステップS63:Yes)、画像処理制御部291は、動画特殊効果フラグをオフにする制御を行う(ステップS64)。この後、撮像装置1は、メインルーチンへ戻る。
また、動画中特殊効果を開始するキーが操作されない場合(ステップS61:No)において、終了指示が入力されず(ステップS63:No)、かつ効果の切替指示が入力されたとき(ステップS65:Yes)、画像処理制御部291は特殊効果を切り替える(ステップS66)。この後、撮像装置1は、メインルーチンへ戻る。
ステップS65において、効果の切替指示が入力されないとき(ステップS65:No)、撮像装置1はメインルーチンへ戻る。
以上説明した本実施の形態1の変形例1−1〜1−4によれば、実施の形態1と同様の効果を得ることができる。
(実施の形態2)
本発明の実施の形態2に係る撮像装置は、実施の形態1に係る撮像装置に対して、動画特殊効果をライブビュー表示しながらユーザが所望の効果を確認した上で実際に特殊効果を付与して撮影を行うことができる機能を付加している。
図21は、本実施の形態2に係る撮像装置の構成を示すブロック図である。同図に示す撮像装置51は、入力部52を除いて、実施の形態1で説明した撮像装置1と同様の構成を有する。以下、入力部52の構成を説明する。
入力部52は、設定信号入力部201、動画撮影信号入力部202に加えて、シミュレーション信号入力部521、効果記録開始信号入力部522、および効果停止信号入力部523を有する。
シミュレーション信号入力部521は、ライブビュー表示にのみ動画中特殊効果を付与するシミュレーション信号の入力を受け付ける。効果記録開始信号入力部522は、動画中特殊効果を施した画像をSDRAM25および記録媒体23へ記録させる効果記録開始信号の入力を受け付ける。効果停止信号入力部523は、ライブビュー表示および画像の記録において適用されている動画中特殊効果を停止する効果停止信号の入力を受け付ける。
図22は、本実施の形態2におけるユーザインターフェースの割り当てを示す図である。まず、動画非記録時の割り当てについて説明する。この場合、十字キー441の上矢印キー443には、露出補正操作が割り当てられる。下矢印キー444には、連写・単写操作が割り当てられる。左矢印キー445には、AFターゲット操作が割り当てられる。右矢印キー446には、フラッシュ設定操作が割り当てられる。また、動画非記録時には、決定ボタン442にカメラ設定操作が割り当てられ、1stレリーズ操作にAE/AF操作が割り当てられ、2ndレリーズ操作に撮影操作が割り当てられる。
次に、動画記録時の割り当てについて説明する。この場合、上矢印キー443に効果シミュレーション開始操作が割り当てられる。したがって、上矢印キー443は、シミュレーション信号入力部521の一部をなす。
下矢印キー444には、効果停止操作が割り当てられる。したがって、下矢印キー444は、効果停止信号入力部523の一部をなす。なお、動画中特殊効果の中で停止指示が必要なものは、マルチエコーと揺らぎである。
左矢印キー445および右矢印キー446には、効果切り替え操作を割り当てる。
決定ボタン442、レリーズボタン42の1stレリーズ操作および2ndレリーズ操作には、効果記録開始機能が割り当てられる。したがって、決定ボタン442およびレリーズボタン42は、効果記録開始信号入力部522の一部をなす。
図23は、撮像装置51の動画記録時における状態遷移の概要を示す図である。動画記録開始後にライブビュー表示および動画記録表示に対して動画中特殊効果が設定されていない状態(状態I)において、シミュレーション信号入力部521によってシミュレーション信号が入力されると、画像処理制御部291は、ライブビュー表示に動画中特殊効果を適用する一方、動画記録では動画中特殊効果を適用しない制御を行う状態IIに遷移する。
状態IIにおいて、効果記録開始信号入力部522によって効果記録開始信号が入力されると、画像処理制御部291は、ライブビュー表示に加え、SDRAM25へ記録する際の画像にも動画中特殊効果の適用を開始する(状態III)。
状態IIIにおいて、効果停止信号入力部523によって効果停止信号が入力されると、画像処理制御部291は、ライブビュー表示および動画記録に対する動画中特殊効果の適用を停止する。これにより、撮像装置1は状態Iへ遷移する。
以上説明した本発明の実施の形態2によれば、撮像装置がシミュレーション信号入力部、効果開始信号入力部および効果停止信号入力部を備えることにより、ユーザは動画を記録するのに先立って試験的に特殊効果を適用し、その効果を画面上で確かめることができる。したがって、ユーザは、意図したタイミングで期待した効果が適用された、よりクリエイティブな動画を容易に撮影することができる。
なお、本実施の形態2では、効果記録開始信号の入力を受け付けた時点で動画中特殊効果を付与した画像の記録を開始したが、シミュレーション信号の入力を受け付けてから所定時間経過する間に別の操作が行われない場合には、自動的に動画中特殊効果を付与した画像の記録を開始するようにしてもよい。
(変形例2−1)
図24は、本実施の形態2の変形例2−1に係る撮像装置の動画記録時と静止画記録時におけるユーザインターフェースの割り当てを示す図である。図24において、動画非記録時の割り当ては、図22に示す場合と同様である。以下、動画記録時の割り当てを説明する。上矢印キー443には、ワンショット開始機能が割り当てられる。下矢印キー444には、トランジット効果開始機能が割り当てられる。左矢印キー445には、マルチエコー効果シミュレーション開始機能が割り当てられる。右矢印キー446には、揺らぎ効果シミュレーション開始機能が割り当てられる。決定ボタン442、レリーズボタン42の1stレリーズ操作および2ndレリーズ操作には、効果記録開始機能および効果停止機能が割り当てられる。
したがって、本変形例2−1においては、左矢印キー445および右矢印キー446がシミュレーション信号入力部521の一部をなす。また、本変形例2−1においては、決定ボタン442およびレリーズボタン42は、効果記録開始信号入力部522および効果停止信号入力部523の一部をなす。
(変形例2−2)
本実施の形態2の変形例2−2は、タッチパネル50によって動画中特殊効果の適用態様を切り替えることを特徴とする。図25は、撮像装置51が静止画撮影待機状態にある場合の表示部21における画面表示例を示す図である。画面Q1の左上には、撮影モードアイコンI1(「P」と表示)が表示されている。また、画面Q1の右上には、静止画撮影用のメニュー選択アイコンI2(「STILL MENU」と表示)と動画撮影用のメニュー選択アイコンI3(「MOVIE MENU」と表示)が設けられている。以下、タッチパネル50でアイコンの表示領域に対応する部分がタッチされる場合、「アイコンが選択される」という表現を用いることがある。
画面Q1を表示している状態でメニュー選択アイコンI2が選択された場合、表示制御部292は、静止画撮影用のメニューとして、ホワイトバランス、AF、測光をそれぞれ選択するためのアイコンと、元の操作表示画面に戻るためのアイコンを表示部21に表示させる(図示せず)。
一方、画面Q1を表示している状態でメニュー選択アイコンI3が選択された場合、表示制御部292は、動画撮影待機状態にある場合の画像を表示部21に表示させる。図26は、撮像装置51が動画撮影待機状態にある場合の表示部21における画面表示例を示す図である。図26に示す画面Q2において、表示部21には、ワンショットエコーアイコンI4(「1Shot Echo」と表示)、マルチエコーアイコンI5(「Multi Echo」と表示)、トランジットアイコンI6(「Transit」と表示)、テストオンアイコンI7(「TEST ON」と表示)、リターンアイコンI8(「RET」と表示)の5種類のアイコンが表示される。
図26に示す動画撮影待機状態では、静止画撮影時の画像のアスペクト比が変更となり、静止画よりも横長の画像となっている。このため、表示部21は、画面上下で横長の帯状をなす画像の非表示領域に各種アイコンを表示している。
画面Q2で表示されるアイコンのうち、ワンショットエコーアイコンI4、マルチエコーアイコンI5、およびトランジットアイコンI6は、動画中特殊効果としてワンショットエコー、マルチエコー、およびトランジットをそれぞれ選択するためのアイコンである。これらのアイコンのいずれかが選択されると、表示部21は、選択された動画中特殊効果を施したライブビュー画像を表示する。したがって、ワンショットエコーアイコンI4、マルチエコーアイコンI5、およびトランジットアイコンI6は、シミュレーション信号入力部521の一部をなす。
テストオンアイコンI7は、選択された動画中特殊効果をライブビュー表示に反映しているが、その動画中特殊効果を動画記録には反映していない状態を示すアイコンである。
リターンアイコンI8は、一つ前の画像表示に戻るためのアイコンである。
図27は、表示部21が画面Q2を表示している状態で、動画中特殊効果としてトランジットが選択された場合の表示部21における画面表示例を示す図である。図27に示す画面Q3において、表示部21には、トランジット時の切替先の仕上がり一覧が選択可能に表示される。仕上がり一覧表示アイコンI9における仕上がり項目の表示順は、適宜変更可能である。
仕上がり一覧表示アイコンI9の上下両端には、上方向へのスクロール信号の入力を受け付ける上スクロールボタンI91と、下方向へのスクロール信号の入力を受け付ける下スクロールボタンI92がそれぞれ設けられてる。例えば、上スクロールボタンI91が選択されると、表示が上方へスクロールし、一番上に表示されている項目「Vivid」が消えて項目「ファンタジックフォーカス」が一番上となり、一番下に別の仕上がり項目が表示される。
仕上がり一覧表示アイコンI9において、現在選択されている仕上がり項目は、他の仕上がりと異なる表示とする。ここでいう異なる表示とは、例えばグレー表示、ハイライト表示など他の仕上がり項目と識別可能な表示の総称である。図27では、項目「トイフォト」が選択されている場合を示している。切り替え先の仕上がりが選択されると、表示制御部292は、仕上がり一覧表示アイコンI9を消去する。この後、画像処理制御部291は、動画中特殊効果画像処理部163に対してトランジット処理を開始させる。
なお、仕上がり一覧表示アイコンI9でハイライト表示されている項目が再度選択された場合には、その前に選択されていたアート効果に戻るようにしてもよい。具体的には、例えばトイフォトの前にナチュラルが選択されていれば、項目「トイフォト」が再選択された場合、再びナチュラルに戻るようにすればよい。
図28は、図26に示す画面Q2において動画ボタン47が押された後の画面表示例を示す図である。図28に示す画面Q4では、ワンショットエコーアイコンI4、マルチエコーアイコンI5,トランジットアイコンI6に加えて、確定アイコンI10(「OK」と表示)が表示される。確定アイコンI10は、表示している動画中特殊効果を付与した画像の記録を開始するためのアイコンである。したがって、確定アイコンI10は、効果記録開始信号入力部522の一部をなす。
画面Q4を表示している最中に動画ボタン47が押されて動画記録が終了した場合、表示制御部292は、表示部21における表示を画面Q2に戻す制御を行う。
図29は、図28に示す画面Q4において確定アイコンI10が選択された後の表示部21における画面表示例を示す図である。図29に示す画面Q5では、ワンショットエコーアイコンI4、マルチエコーアイコンI5,トランジットアイコンI6に加えて、終了アイコンI11(「END」と表示)が表示されている。このうち、ワンショットエコーアイコンI4はハイライト表示されている。これは、ワンショットエコーが選択されていることを意味している。
終了アイコンI11は、記録中動画における動画中特殊効果の付与を終了する指示信号を入力するためのアイコンである。画面Q5を表示している状態で終了アイコンI11が選択された場合、画像処理制御部291は、動画中特殊効果画像処理部163は、動画中特殊効果の適用を終了する。この場合、表示制御部292は、画面Q5から終了アイコンI11を削除した画面を表示部21に表示させる。その際に写っているライブビュー画像にも動画中特殊効果が付与されないことは勿論である。
画面Q5を表示している最中に動画ボタン47が押されて動画記録が終了した場合にも、表示制御部292は、表示部21における表示を画面Q2に戻す制御を行う。
図30は、図26に示す画面Q2においてテストオンアイコンI7が選択されてテストオン状態に遷移した場合の表示部21の画面表示例を示す図である。図30に示す画面Q6には、テストオンアイコンI7の代わりにテストオフアイコンI12(「TEST OFF」と表示)が表示されている。テストオフアイコンI12は、選択された動画中特殊効果をライブビュー表示および動画記録には反映する状態を示すアイコンである。
画面Q6を表示している状態でテストオフアイコンI12が選択されると、表示制御部292は表示部21に画面Q2を表示させる。すなわち、テストオフアイコンI12が選択されると、テストオフアイコンI12の位置がテストオンアイコンI7の表示に変化する。
表示部21が画面Q6を表示している状態で動画ボタン47が押されて動画記録が開始すると、表示制御部292は画面Q5を表示させる制御を行う。
以上説明した本実施の形態2の変形例2−1、2−2によれば、実施の形態2と同様の効果を得ることができる。
(実施の形態3)
本発明の実施の形態3に係る撮像装置は、動画撮影モードと静止画撮影モードとを設定可能であり、動画撮影モードに設定すると、ユーザインターフェースが動画撮影用に切り替わることを特徴とする。
図31は、本実施の形態3に係る撮像装置の構成を示すブロック図である。同図に示す撮像装置61は、入力部62を除いて、実施の形態1で説明した撮像装置1と同様の構成を有する。以下、入力部62の構成を説明する。
入力部62は、静止画撮影および動画撮影における撮影条件を設定する静止画撮影条件設定信号を含む各種設定信号の入力を受け付ける設定信号入力部621と、動画撮影信号入力部202とを有する。
設定信号入力部621は、モードの設定を指示するモード設定信号の入力を受け付けるモード設定信号入力部622を有する。モード設定信号入力部622は、例えばモードダイヤル43によって実現される。
図32は、撮像装置61が静止画撮影モードと動画撮影モードにそれぞれ設定されている場合のキーの割り当てを示す図である。撮像装置61が静止画撮影モードに設定されている場合、上矢印キー443には、露出補正操作が割り当てられる。下矢印キー444には、連写・単車操作が割り当てられる。左矢印キー445には、AFターゲット操作が割り当てられる。右矢印キー446には、フラッシュ設定操作が割り当てられる。再生ボタン46には、再生操作が割り当てられる。消去ボタン49には、消去操作が割り当てられる。
次に、撮像装置61が動画撮影モードに設定されている場合を説明する。上矢印キー443および左矢印キー445には、静止画モード設定時と同じ操作、すなわち露出補正操作とAFターゲット操作がそれぞれ割り当てられる。下矢印キー444には、トランジット効果開始操作が割り当てられる。右矢印キー446には、揺らぎ効果開始・停止操作が割り当てられる。再生ボタン46には、ワンショットエコー開始操作が割り当てられる。消去ボタン49には、マルチエコー開始・停止操作が割り当てられる。
本実施の形態3では、揺らぎ効果に関して、開始だけでなく停止も任意に設定することができるものとしているが、実施の形態1と同様に、揺らぎ効果が、効果開始後所定時間経過した時点で停止する場合には、右矢印キー446に対して揺らぎ効果開始操作を割り当てればよい。
図33は、撮像装置61が行う処理の概要を示すフローチャートである。図33におけるステップS71〜S76の処理は、図13におけるステップS1〜S6の処理に順次対応している。
ステップS77において、動画ボタン47が操作されたとき(ステップS77:Yes)、制御部29は、動画の記録中であることを示す記録中フラグを反転させる(ステップS78)。
続いて、制御部29は、SDRAM25に記録された記録中フラグがオン状態であるか否かを判断する(ステップS79)。記録中フラグがオン状態であると判断した場合(ステップS79:Yes)、制御部29は、記録媒体23に画像データを時系列に沿って記録するための動画ファイルを生成して記録媒体23に格納する(ステップS80)。その後、撮像装置1はステップS81へ移行する。ステップS79において記録中フラグがオン状態にないと判断した場合(ステップS79:No)、撮像装置はステップS81へ移行する。
ステップS81においてモード設定が変更され(ステップS81:Yes)、動画モードに設定された場合(ステップS82:Yes)、制御部29は、特殊動画用ユーザインターフェースの設定処理を行う(ステップS83)。この設定処理により、例えば図32に示すような動画モード用の割り当てが実行される。その結果、制御部29は、ステップS83で設定対象となったユーザインターフェースがこの後で受け付ける信号を、図32に基づく特殊動画用の信号として認識する。
一方、ステップS81においてモード設定が変更され(ステップS81:Yes)、静止画モードに設定された場合(ステップS82:No)、制御部29は、静止画用ユーザインターフェースの設定処理を行う(ステップS85)。ここでも、図32に示すような静止画モード用のキーの割当が行われる。
ステップS85〜S100の処理は、上述した実施の形態1で説明したステップS15〜S28の処理に順次対応している。
以上説明した本発明の実施の形態3によれば、動画撮影モードに設定すると、設定信号入力部が動画中特殊効果用に切り替わり、制御部は動画用特殊効果の設定信号が入力されたものと認識する。したがって、ユーザは撮影時に簡単な操作をすることで、容易に動画に特殊効果を適用することができる。モード設定に応じてユーザインターフェースの設定を切り替え、動画中特殊効果をライブビュー画像で確認した上で撮影を行うことができる。
また、本実施の形態3によれば、設定信号入力部を構成するユーザインターフェースに動画用と静止画用の入力機能を兼備させることができるため、ユーザインターフェースの数を抑えることができる。したがって、装置の小型化にも好適である。
また、本実施の形態3によれば、ユーザは、動画撮影待機中や静止画撮影待機中などに、動画へ記録される前に動画特殊効果の適用を明確に把握することができる。したがって、ユーザは、動画記録撮影される特殊効果付の動画像を事前にイメージしたり、特殊効果付与のタイミングを事前に考慮することが可能となる。
(変形例3−1)
図34は、本実施の形態3の変形例3−1に係る撮像装置が静止画撮影モードと動画撮影モードにそれぞれ設定されている場合のキーの割り当て例を示す図である。本変形例3−1に係る撮像装置が静止画撮影モードに設定されている場合の十字キー441のキー割り当ては、実施の形態3と同じである。
以下、本変形例3−1に係る撮像装置が動画撮影モードに設定されている場合のキーの割り当て例を説明する。上矢印キー443には、ワンショットエコー開始操作が割り当てられる。下矢印キー444には、トランジット開始操作が割り当てられる。左矢印キー445には、マルチエコー開始・停止操作が割り当てられる。右矢印キー446には、揺らぎ開始・停止操作が割り当てられる。
(変形例3−2)
図35は、本実施の形態3の変形例3−2に係る撮像装置が静止画撮影待機状態にある場合の表示部21における画面表示例を示す図である。本変形例3−2においては、タッチパネル50を用いて各種信号の入力を行う。図35に示す画面Q7では、静止画撮影用のメニュー選択アイコンI2に加えて、撮影モードアイコンI1'もタッチ入力可能であり、モード設定信号入力部622の一部をなしている。
図36は、画面Q7において撮影モードアイコンI1'が選択された場合に表示部21が表示する画面表示例を示す図である。図36に示す画面Q8において、画面下方には、PモードアイコンI13(「P」と表示)、AモードアイコンI14(「A」と表示)、SモードアイコンI15(「S」と表示)、MモードアイコンI16(「M」と表示)、動画アイコンI17(「MOVIE」と表示)、確定アイコンI10の6種類のアイコンが表示されている。このうち、PモードアイコンI13、AモードアイコンI14、SモードアイコンI15、MモードアイコンI16は、撮影モード(露出モード)を設定するためのアイコンであり、モードダイヤル43と同様の機能を有する。
画面Q8において動画アイコンI17が選択されると、撮像装置1は動画モードへ移行して動画撮影待機状態となる。
図37は、動画撮影待機状態における表示部21の画面表示例を示す図である。図37に示す画面Q9では、ワンショットエコーアイコンI4、マルチエコーアイコンI5、トランジットアイコンI6、およびリターンアイコンI8が表示される。
図37に示す状態でワンショットエコーアイコンI4、マルチエコーアイコンI5、トランジットアイコンI6のいずれかが選択されると、表示制御部292は、選択された動画中特殊効果に対応する特殊効果を適用してライブビュー画像を表示する。トランジットアイコンI6が選択された場合には、図27に示す画面Q3が表示される。動画中特殊効果が選択された状態で動画ボタン47が押されると、制御部29は、ライブビュー画像で表示している動画中特殊効果入りの動画の記録を開始する。
以上説明した本実施の形態3の変形例3−1、3−2によれば、実施の形態3と同様の効果を得ることができる。
(実施の形態4)
本発明の実施の形態4は、動画を撮影可能な撮像装置において、撮影モードの一つとして、動画中特殊効果を適用して撮影する動画中特殊効果適用モードを設定することが可能であることを特徴とする。
図38は、本発明の実施の形態4に係る撮像装置が行う処理の概要を示すフローチャートである。本実施の形態4に係る撮像装置の構成は、上述した実施の形態3で説明した撮像装置61の構成と同様である。また、図38におけるステップS111〜S114、S116の処理は、図33におけるステップS71〜S74、S76の処理に順次対応している。
ステップS115において、カメラ設定が行われる(ステップS115)。ここでのカメラ設定は、仕上がり、静止画記録モード、動画記録モード特殊効果設定、トランジットの切り替え先の設定、揺らぎ効果の設定に加えて特殊効果の選択も含まれる。したがって、本実施の形態4では、予め動画中特殊効果が選択されることとなる。この特殊効果の選択は、モードダイヤル43で行うことができるようにしてもよい。
ステップS117において、動画ボタン47が操作されたとき(ステップS117:Yes)、制御部29は、動画の記録中であることを示す記録中フラグを反転させる(ステップS118)。
続いて、制御部29は、SDRAM25に記録された記録中フラグがオン状態であるか否かを判断する(ステップS119)。記録中フラグがオン状態であると判断した場合(ステップS119:Yes)、制御部29は、記録媒体23に画像データを時系列に沿って記録するための動画ファイルを生成して記録媒体23に格納する(ステップS120)。その後、撮像装置1はステップS121へ移行する。ステップS119において記録中フラグがオン状態にないと判断した場合(ステップS119:No)、動画中特殊効果画像処理部163は、ステップS121へ移行する。
ステップS121において、制御部29は、撮像装置61が動画特殊効果モードに設定されているか否かを判定する。判定の結果、撮像装置61が動画特殊効果モードに設定されている場合(ステップS121:Yes)、制御部29は、動画特殊効果フラグをオン状態にする(ステップS122)。一方、ステップS121で制御部29が判定した結果、撮像装置61が動画特殊効果モードに設定されていない場合(ステップS121:No)、制御部29は動画特殊効果フラグをオフ状態にする(ステップS123)。
ステップS124〜S136の処理は、実施の形態3で説明したステップS88〜S100の処理に順次対応している。
以上説明した本発明の実施の形態4によれば、動画中特殊効果用のモード設定を行うことができるため、モードを切り替えるだけで、動画中特殊効果が付与された動画を簡単に撮影することができる。
なお、本実施の形態4に係る撮像装置において、静止画モードを設定できるようにしてもよいことはいうまでもない。
(実施の形態5)
本発明の実施の形態5は、動画中に静止画を撮影した場合にも、その前に記録した動画データを用いて動画中特殊効果を付与することを特徴とする。
図39は、本実施の形態5に係る撮像装置の構成を示すブロック図である。同図に示す撮像装置71は、画像処理部72を除いて、実施の形態1で説明した撮像装置1と同様の構成を有する。以下、画像処理部72の構成を説明する。
画像処理部72は、基本画像処理部161と、アート効果画像処理部162と、動画中特殊効果画像処理部721とを有する。動画中特殊効果画像処理部721は、動画像データの画素数を補間することによって動画像データの画素数をリサイズするリサイズ処理部722を有する。
図40は、撮像装置71が行う画像処理の詳細を示すフローチャートである。なお、画像処理を除く撮像装置71の処理の概要は、実施の形態1と同様である(図13を参照)。図40において、基本画像処理部161が基本画像処理を行い(ステップS141)、アート効果画像処理部163がアート効果処理を行う(ステップS142)。ここでの基本画像処理およびアート効果処理は、実施の形態1で説明したものと同じである。
この後、制御部29は、動画中特殊効果が設定されているか否かを判定する(ステップS143)。動画中特殊効果が設定されている場合(ステップS143:Yes)、撮像装置71はステップS144に移行する。一方、動画中特殊効果が設定されていない場合(ステップS143:No)、撮像装置71はメインルーチン(図13を参照)へ戻る。
ステップS144において、制御部29は、設定された特殊効果がマルチエコーであるか否かを判定する。設定された特殊効果がマルチエコーである場合(ステップS144:Yes)、撮像装置1はステップS145へ進む。一方、設定された特殊効果がマルチエコーでない場合(ステップS144:No)、撮像装置1は後述するステップS149へ移行する。
ステップS145において、撮像装置1が静止画モードに設定されている場合(ステップS145:Yes)、リサイズ処理部722は、動画用の前フレームをリサイズする(ステップS146)。この処理は、動画と静止画で画像データの画素数が異なるためである。
図41は、リサイズ処理部722が行うリサイズ処理の概要を模式的に示す図である。図41において、フレームの大きさが画像データの画素数に対応している。リサイズ処理部722が動画データをリサイズする際には、動画フレーム301のアスペクト比を維持したまま、動画フレーム301の横方向の画素数が静止画フレーム302の横方向の画素数と略等しくなるように、補間によって画素数を増やすことによってリサイズ後フレーム301'を生成する。
続いて、動画中特殊効果画像処理部163は、リサイズした動画フレームと静止画フレームとを合成する(ステップS147)。具体的には、動画中特殊効果画像処理部163は、画素の色データごとに動画フレームの信号と静止画フレームの信号を所定の比率で足し合わせることによって合成画像信号を生成する。合成画像信号は、前フレーム画像信号の比率をc(<1)とすると、
c×前フレーム画像の信号+(1−c)×静止画フレームの信号
で表される。
図42は、静止画モードにおける合成処理と前フレーム画像信号の合成比率cを模式的に説明する図である。図42において、リサイズした前フレームと静止画との間で、共通して画像が存在する領域D1において、前フレームである画像信号の比率cはほぼ一定値c0をとる。一定値c0の値は、例えば0.5よりも小さい値である。これに対し、動画フレームの信号が存在しない領域D2と領域D1の境界付近では、領域D1から領域D2に向けて比率cが徐々に小さくなっていき、領域D2内でc=0となる。
ステップS145において、撮像装置1が動画モードに設定されていれば(ステップS145:No)、動画中特殊効果画像処理部163は、前フレームと動画フレームをそのまま合成する(ステップS148)。
ステップS147またはS148に続いて、制御部29は、適用する効果がワンショットエコーであるか否かを判定する(ステップS149)。適用する効果がワンショットエコーである場合(ステップS149:Yes)において、静止画撮影モードに設定されているとき(ステップS150:Yes)、動画中特殊効果画像処理部163は、前フレームをリサイズする(ステップS151)。適用する効果がワンショットエコーである場合(ステップS149:Yes)において、静止画撮影モードに設定されていないとき(ステップS150:No)、撮像装置1はステップS152へ移行する。
その後、動画中特殊効果画像処理部163は、前フレームと現在のフレームを所定の合成比率で合成する(ステップS152)。この合成比率は、現在のフレームの比率が高くなるように設定されることが望ましい。
ステップS149において、適用する動画中特殊効果がワンショットエコーでない場合(ステップS149:No)、撮像装置71はステップS153へ移行する。
ステップS153において、制御部29は、適用する効果が揺らぎであるか否かを判定する。適用する効果が揺らぎである場合(ステップS153:Yes)、動画中特殊効果画像処理部163は揺らぎを追加する(ステップS154)。一方、適用する効果が揺らぎでない場合(ステップS153:No)、撮像装置71はステップS155へ移行する。
ステップS155において、制御部29は、適用する効果がトランジットであるか否かを判定する(ステップS155)。適用する効果がトランジットである場合(ステップS155:Yes)において、撮像装置71が静止画を撮影する状態でないとき(ステップS156:No)、基本画像処理部161およびアート効果画像処理部162は、仕上がり/切り替え先の設定に応じた基本画像処理(ステップS157)およびアート効果処理(ステップS158)をそれぞれ実行する。
その後、動画中特殊効果画像処理部163は、トランジット用の二つの画像の合成処理を行う(ステップS159)。ステップS159の後、撮像装置71はメインルーチンへ戻る。
ステップS155において、適用する効果がトランジットでない場合(ステップS155:No)、撮像装置71は静止画に対してトランジットを適用することなく、メインルーチンへ戻る。
ステップS156において、撮像装置71が静止画を撮影する状態である場合(ステップS156:Yes)、撮像装置71はメインルーチンへ戻る。
以上説明した本発明の実施の形態5によれば、静止画に対してもマルチエコーやワンショットエコーの特殊効果を付与するが、その際にリサイズ処理を行っているため、動画と静止画を合成しても違和感がない。したがって、本実施の形態5によれば、動画と静止画に対し、それぞれの特性を活かした適切な残像効果を適用することができる。
なお、本実施の形態5では、動画の場合も静止画の場合も前フレームのみを合成していたが、複数の前フレームを用いて合成画像を生成してもよい。その際には、静止画の場合には動画の場合よりも多数の前フレームを用いることによって残像効果を大きくすればより好ましい。
(変形例5−1)
図43は、本実施の形態5の変形例5−1に係る撮像装置が行うリサイズ処理の概要を模式的に示す図である。図43においても、フレームの大きさが画像データの画素数に対応している。本変形例5−1では、画像データを記録する際、動画の場合にも静止画と同じアスペクト比の画像データ303をSDRAM25に記録する。この画像データ303のうち、動画のアスペクト比を有する部分を圧縮して動画データ304として記録媒体23に記録する。
本変形例5−1では、静止画を撮影した場合、動画中特殊効果画像処理部163は、前フレームとしてSDRAM25が記憶する画像データ303を使用してリサイズすることにより、静止画フレームと同じ画素数を有するリサイズ画像データ303'を生成する。このため、静止画像データと動画像データを合成する場合であっても同じアスペクト比の画像データを合成することができる。
以上説明した本実施の形態5の変形例5−1によれば、前フレームのアスペクト比を静止画のアスペクト比に揃えて合成することができるので、静止画フレームに写っている被写体のうち前フレーム画像の動画アスペクト比の領域外に写っている被写体についても自然な残像効果を持たせることができる。
(実施の形態6)
本発明の実施の形態6は、実施の形態5と同様、動画中に静止画を撮影した場合にも、それより時間的に前に取得した動画データを用いて動画中特殊効果を付与するとともに、動画中特殊効果を付与しない静止画自体も記録することを特徴とする。本実施の形態6に係る撮像装置の構成は、実施の形態5で説明した撮像装置71の構成と同様である。
図44は、本実施の形態6に係る撮像装置71が行う画像処理の詳細を示すフローチャートである。図44において、基本画像処理部161は、基本画像処理を行う(ステップS161)。またアート効果画像処理部162は、アート効果処理を行う(ステップS162)。
その後、制御部29は、動画中特殊効果が設定されているか否かを判定する(ステップS163)。動画中特殊効果が設定されている場合(ステップS163:Yes)、撮像装置71はステップS164へ移行する。一方、動画中特殊効果が設定されていない場合(ステップS163:No)、撮像装置71はメインルーチンへ戻る。
ステップS164において、撮像装置1が静止画撮影モードに設定されている場合(ステップS164:Yes)、制御部29は静止画を記録媒体23へ記録する制御を行う(ステップS165)。これに対し、撮像装置1が静止画撮影モードに設定されていない場合(ステップS164:No)、撮像装置1はステップS166へ移行する。
ステップS166〜S181の処理は、実施の形態5で説明したステップS144〜S159の処理に順次対応している(図40を参照)。
以上説明した本発明の実施の形態6によれば、静止画に対してもマルチエコーやワンショットエコーの特殊効果を付与するが、その際にリサイズ処理を行っているため、動画と静止画を合成しても違和感がない。したがって、本実施の形態6によれば、動画と静止画に対し、それぞれの特性を活かした適切な残像効果を適用することができる。
また、本実施の形態6によれば、動画中特殊効果を付与したい静止画も自動的に記録するため、ユーザは静止画を再生する時に自身の好みの画像を選択することができる。
(実施の形態7)
図45は、本発明の実施の形態7に係る撮像装置が行う画像処理の概要を模式的に示す図である。本実施の形態7では、動画中特殊効果としてマルチエコーを適用する場合、動画と静止画で、合成対象とする前フレームの動画画像データの枚数が異なる。具体的には、動画の場合には、3枚の動画画像データを合成するのに対し、静止画の場合には、5枚の動画画像データを合成する。なお、本実施の形態7に係る撮像装置の構成は、実施の形態5で説明した撮像装置71の構成と同じである。
図46は、本実施の形態7に係る撮像装置71が行う画像処理の概要を示すフローチャートである。図46において、まず制御部29は、撮像素子12が取得したRAW画像データ(ベイヤデータ)をSDRAM25内に確保したリングバッファで管理する(ステップS191)。
図47は、ベイヤデータと露光量との関係を示す図である。同図に示す曲線Lからも明らかなように、ベイヤデータの数値は、暗部で立ち上がりが急であり、明部で立ち上がりが緩やかなニー(knee)特性を有する。このような特性を有する曲線Lは、暗部ほど量子化ステップを細かくする一方、明部ほど量子化ステップを粗くすることによって得られる。このように、本実施の形態7では、露光量によらず一定である通常の量子化ステップとは異なる量子化ステップでベイヤデータを量子化しているため、ベイヤデータの数値特性がガンマの特性に近くなり、画質への影響が少なく、データを圧縮しやすくなる。その結果、より小さな画像データをSDRAM25に格納することができる。
図48は、SDRAM25が記憶するデータ構造の要部を模式的に示す図である。同図に示すデータ構造401には、画像合成時に使用する枚数分(図では5枚分)のバッファBu1〜Bu5がリングバッファとして確保されている。バッファBui(i=1〜5)には、ベイヤデータを格納する領域Bui1と、次のバッファのアドレスを格納する領域Bui2とが設けられている。以下、バッファBuiのアドレスをAdiとする。
最初にベイヤデータを格納する際には、初期格納先情報を「格納先アドレス=Ad1、末端アドレス=NULL(0)」とする。その後、ベイヤデータを格納すると、格納先情報は「格納先アドレス=Ad2,末端アドレス=Ad1」となる。これは、アドレスAd1からアドレスAd2の一つ前のバッファまで古い順にデータがあることを意味する。すなわち、格納されたベイヤデータが1つあることを意味する。
この後、二つ目のベイヤデータを格納すると、格納先情報は「格納先アドレス=Ad3、末端アドレス=Ad1」となる。この場合には、2つのバッファBu1、Bu2にベイヤデータが格納される。
以後同様に繰り返し、5つ目のベイヤデータを格納すると、格納先情報は「格納先アドレス=Ad1、末端アドレス=Ad1」となる。この場合、5つのバッファBu1〜Bu5にベイヤデータが格納される。
この後、ベイヤデータの格納を続けると、最も古いベイヤデータはバッファBu1に格納されているため、このベイヤデータが最新のデータに更新され、バッファBu1に格納されたベイヤデータが最も古いデータとなる。このため、格納先情報は「格納先アドレス=Ad2,末端アドレス=Ad2」となる。
以後同様の処理を繰り返すことにより、SDRAM25では、最も古いベイヤデータを最新のベイヤデータに置替しながら一定枚数のベイヤデータを管理する。
図46に戻ってステップS192以降の処理を説明する。基本画像処理部161は、基本画像処理を行う(ステップS192)。また、アート効果画像処理部162は、アート効果画像処理を行う(ステップS193)。基本画像処理およびアート効果画像処理が施された画像データ(ベイヤデータ)は、SDRAM25のバッファに格納される。
この後、制御部29は、動画中特殊効果が設定されているか否かを判定する(ステップS194)。動画中特殊効果が設定されている場合(ステップS194:Yes)、撮像装置71はステップS195へ移行する。一方、動画中特殊効果が設定されていない場合(ステップS194:No)、撮像装置71はメインルーチンへ戻る。
ステップS195において、動画中特殊効果としてマルチエコーが設定されていれば(ステップS195:Yes)、撮像装置71はマルチエコー処理を行う(ステップS196)。マルチエコー処理の詳細については後述する。
続くステップS197〜ステップS207の処理は、図44のステップS171〜S181の処理に順次対応している。
図49は、マルチエコー処理の概要を示すフローチャートである。図49において、動画中特殊効果画像処理部163は、取得した画像信号に対して画素ごとに所定の係数(ゲイン)を乗算する(ステップS211)。この係数の値は、後述するd0である。
この後、制御部29は、繰り返しの回数を示すカウンタIの値を0とする(ステップS212)。
続いて、動画中特殊効果画像処理部163は、I+1フレーム分だけ前のデータを取得し(ステップS213)、線形変換を行う(ステップS214)。ここでの線形変換は、フレームごとの量子化ステップ時の特性の違いをなくすためのものであって、上述した量子化ステップにおける特性と逆の特性(デニー(deknee)特性)を有する。このような線形変換を行うことにより、ベイヤデータは露光量と比例する数値を有することとなる。
この後、基本画像処理部161は、線形変換された画像データに対して基本画像処理を行う(ステップS215)。また、アート効果画像処理部162は、ステップS215で基本画像処理された画像データに対してアート効果画像処理を行う(ステップS216)。
ステップS216に続く処理は、撮像装置71が取得した画像が静止画であるか動画であるかに応じて異なる。まず、取得した画像が静止画である場合(ステップS217:Yes)を説明する。この場合、リサイズ処理部722は、画像データをリサイズし(ステップS218)、リサイズした画像データを用いて合成を行う(ステップS219)。ここでの合成処理は、
フレームバッファ画像データ+d×画像データ
と表される。
図50は、動画画像ゲインdの値と繰り返し回数Iとの関係を示す図である。図50に示す場合、繰り返し回数Iが増加するにつれて、画像ゲインdは小さくなっていき、全ての取りうるIに対応した係数を全てのIの分だけ和を取ると1.0となるように設定されている(d0+d1+d2+d3+d4=1.0)。ここで、I=0における画像ゲインd0は、上述したステップS211で適用した画像ゲインの値である。
続いて、制御部29は、カウンタIを1増やしてI+1とする(ステップS220)。この後、カウンタIが所定値I0(ここではI0=5)よりも小さければ(ステップS221:Yes)、撮像装置71はステップS213に戻る。一方、カウンタIが所定値I0以上であれば(ステップS221:No)、撮像装置71はメインルーチンへ戻る。
次に、取得した画像が動画である場合(ステップS217:No)を説明する。この場合、動画中特殊効果画像処理部163は、2つのフレームを合成する(ステップS222)。ここでの合成処理は、静止画と同様、
フレームバッファ画像データ+e×画像データ
で表される。
図51は、取得した画像が静止画である場合に適用される画像ゲインeの値と繰り返し回数Iとの関係を示す図である。図51に示す場合、繰り返し回数Iが増加するにつれて、係数は小さくなっていき、全ての取りうるIに対応した係数を全てのIの分だけ和を取ると1.0となるように設定されている(e0+e2+e4=1.0)点は静止画と同じである。ただし、動画の場合、インクリメント量が静止画よりも大きいため、同じIの値で比較すると、動画に適用する係数の方が大きくなっているほうがより好ましい。なお、ステップS211における画像ゲインの値を静止画と動画で同じにする上では、d0=e0でなければならない。
続いて、制御部29は、カウンタIを2増やしてI+2とする(ステップS223)。この後、撮像装置1はステップS221へ移行する。
以上説明した本発明の実施の形態7によれば、動画と静止画にそれぞれ適切な残像効果を実現し、最低限の処理で画像を作成することが可能となる。
また、本実施の形態7によれば、係数の特性は任意に設定することができるため、設計の自由度も大きい。
なお、本実施の形態7においては、レンズ操作部35などからの操作入力により、画像ゲインdおよびe、リングバッファの数、合成に使用するフレームの間隔などの設定を変更することができるようにしてもよい。このように各種設定を変更することにより、ユーザの好みに合った残像効果を作成することが可能となる。
本実施の形態7におけるリングバッファの管理態様は、上述した方法に限られるわけではない。例えば、キューを用いてリングバッファを管理することも可能である。以下、キューを用いたリングバッファの管理方法を説明する。
図52は、SDRAM25が記憶するデータ構造の要部を模式的に示す図である。同図に示すデータ構造402には、画像合成時に使用する枚数分(図では5枚分)のバッファbu1〜bu5がリングバッファとして確保されている。バッファbui(i=1〜5)には、ベイヤデータが格納されている。
図53は、キューを用いたリングバッファの管理の態様を示す図である。まず、空きキューに要素がある場合には、先頭を取り出して対応するベイヤデータを格納し、使用キューの末尾に追加する。図53(a)の場合には、空きキューの先頭のバッファbu1を取り出して対応するベイヤデータ1を格納し、そのバッファbu1を使用キューの末尾に追加する(図53(b))。この処理を繰り返すと、図53(a)に示す場合、格納5回目で空きキューは空となり、使用キューに全てのバッファが追加される。その後は、使用キューの先頭を末尾へと移動させながらベイヤデータの格納を続ける(図53(d))。
このように、リングバッファを用いて動画データを管理する場合には、公知技術のいずれかを適用することが可能である。
なお、本実施の形態7においては、合成する画像データの抽出間隔を変更してもよいし、合成する画像データの数を変更してもよい。また、本実施の形態8においては、リングバッファとして格納するベイヤデータの数を変えてもよい。これらの設定変更は、設定信号入力部201からの設定信号の入力によって実行できるようにすればよい。
(その他の実施の形態)
ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態1〜7によってのみ限定されるべきものではない。
例えば、本発明において、表示部とは別に電子ビューファインダを本体部に設け、この電子ビューファインダにおいて本発明を適用するようにしてもよい。この場合には、表示部と電子ビューファインダとで動画中特殊効果の見え方が異なるようにすればより好ましい。
また、本発明においては、本体部とレンズ部とが一体的に形成されていてもよい。
また、本発明に係る撮像装置は、デジタル一眼レフカメラ以外にも、例えばアクセサリ等を装着可能なデジタルカメラ、デジタルビデオカメラおよび撮影機能を有する携帯電話やタブレット型携帯機器等の電子機器にも適用することができる。
なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。すなわち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
このように、本発明は、ここでは記載していない様々な実施の形態を含みうるものであり、特許請求の範囲によって特定される技術的思想の範囲内で種々の設計変更等を行うことが可能である。