以下、添付図面を参照して、本発明を実施するための形態(以下、「実施の形態」という)を説明する。図面の記載において、同一の部分には同一の符号を付して説明する。
(実施の形態1)
本発明の実施の形態1は、静止画と動画を撮影可能な撮像装置を用いて動画記録を開始すると、静止画用に割り当てられた操作入力用のユーザインターフェースの機能が動画特殊効果用に切り替わることを特徴とする。
本実施の形態1に係る撮像装置は、動画撮影中に静止画を撮影する機能を有する。ここで、動画撮影中の静止画撮影とは、動画を撮影している途中で静止画を撮影する場合と、動画撮影を終了した直後に静止画を撮影する場合とを含む。また、動画を撮影している途中で静止画を撮影する場合には、静止画撮影時に動画撮影を一旦停止する場合と、静止画撮影を動画撮影と並行して行う場合とが含まれる。
図1は、本実施の形態1に係る撮像装置の構成を示すブロック図である。図2は、本発明の実施の形態1に係る撮像装置のユーザに面する側(前面側)の構成を示す斜視図である。図1および図2に示す撮像装置1は、本体部2と、本体部2に着脱自在なレンズ部3と、を備える。
本体部2は、シャッタ10と、シャッタ駆動部11と、撮像素子12と、撮像素子駆動部13と、信号処理部14と、A/D変換部15と、画像処理部16と、AE処理部17と、AF処理部18と、画像圧縮展開部19と、入力部20と、表示部21と、表示駆動部22と、記録媒体23と、メモリI/F24と、SDRAM(Synchronous Dynamic Random Access Memory)25と、Flashメモリ26と、本体通信部27と、バス28と、制御部29と、を備える。
シャッタ10は、撮像素子12の状態を露光状態または遮光状態に設定する。シャッタ駆動部11は、ステッピングモータ等を用いて構成され、制御部29から入力される指示信号に応じてシャッタ10を駆動する。
撮像素子12は、レンズ部3が集光した光を受光して電気信号に変換するCCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)等を用いて構成される。撮像素子駆動部13は、所定のタイミングで撮像素子12から画像データ(アナログ信号)を信号処理部14に出力させる。この意味で、撮像素子駆動部13は、電子シャッタとして機能する。
信号処理部14は、撮像素子12から入力されるアナログ信号に対して、アナログ処理を施してA/D変換部15に出力する。具体的には、信号処理部14は、アナログ信号に対して、ノイズ低減処理およびゲインアップ処理等を行う。例えば、信号処理部14は、アナログ信号に対して、リセットノイズ等を低減した上で波形整形を行い、さらに目的の明るさとなるようにゲインアップを行う。
A/D変換部15は、信号処理部14から入力されるアナログ信号に対してA/D変換を行うことによってデジタルの画像データを生成し、バス28を介してSDRAM25に出力する。
画像処理部16は、バス28を介してSDRAM25から画像データを取得し、取得した画像データ(RAWデータ)に対して各種の画像処理を行って処理画像データを生成する。この処理画像データは、バス28を介してSDRAM25に出力される。画像処理部16は、基本画像処理部161と、アート効果画像処理部162と、動画中特殊効果画像処理部163と、を有する。
基本画像処理部161は、画像データに対して、少なくとも、オプティカルブラック減算処理、ホワイトバランス(WB)調整処理、撮像素子がベイヤー配列の場合には画像データの同時化処理、カラーマトリクス演算処理、ガンマ補正処理、色再現処理およびエッジ強調処理等を含む基本の画像処理を行う。また、基本画像処理部161は、予め設定された各画像処理のパラメータに基づいて、自然な画像を再現する仕上がり効果処理を行って仕上がり効果画像データを生成する。仕上がり効果処理には、例えば画像を自然な色合いに仕上げる処理であるNatural、画像を色鮮やかに仕上げる処理であるVivid、被写体の素材性を重視して仕上げる処理であるFlat、画像をモノクロ調に仕上げる処理であるMonotoneが含まれる。ここで、各画像処理のパラメータとは、コントラスト、シャープネス、彩度、ホワイトバランスおよび階調の値である。
アート効果画像処理部162は、1つの画像データに対して複数の画像処理を組み合わせることにより、視覚的な効果を生じさせるアート効果処理を行って処理画像データ(以下、「アート効果画像データ」という)を生成する。
図3は、アート効果画像処理部162が行うアート効果処理の概要を示す図である。図3ではアート効果処理として、ポップアート、ファンタジックフォーカス、ジオラマ、トイフォト、ラフモノクロームの5種類が記載されている。以下、これらのアート効果処理について説明する。
ポップアートは、色をカラフルに強調し、明るく楽しい雰囲気を表現する処理である。ポップアートは、例えば彩度強調処理およびコントラスト強調処理を組み合わせることによって実現される。全体に高コントラストで高彩度の効果である。
ファンタジックフォーカスは、画像全体にぼかし処理を施し、ぼかす前の画像と一定の割合で合成するソフトフォーカスの効果を与える処理である。ファンタジックフォーカスは、中間の輝度をより明るくするトーンカーブ処理を行うことにより、柔らかいトーンの中で、被写体のディテールを残しながら、幸福な光に包まれたように美しく幻想的な雰囲気の画像を結像または生成する。ファンタジックフォーカスは、例えばトーンカーブ処理、ぼかし処理、アルファブレンド処理および画像合成処理等の画像処理を組み合わせることによって実現される。
ジオラマは、高コントラストで高彩度の画像に、画像の周縁部をぼかすことにより、ミニチュア模型やおもちゃを見ているかのような雰囲気を画面上に作り出す処理である。ジオラマは、例えば色相・彩度処理、コントラスト処理、周辺ぼかし処理および合成処理等を組み合わせることによって実現される。このうち、周辺ぼかし処理は、画像の中心からの距離に応じ、周辺部ほどぼける度合いが大きくなるように、画像の位置に応じてローパス係数を変更しながらローパスフィルタ処理を行うものである。なお、周辺ぼかし処理として、画像の上下のみ、または画像の左右のみをぼかすようにしてもよい。
トイフォトは、画像の中心からの距離が大きいほど輝度が小さく(暗く)なるようにして、あたかも穴から覗き込んで異空間に迷い込んだような効果を生じさせる処理である。トイフォトは、例えばローパスフィルタ処理、ホワイトバランス処理、コントラスト処理、色相・彩度処理に加え、輝度信号に対して周辺ほど小さい係数を乗じるシェーディング処理等の画像処理を組み合わせることによって実現される(トイフォト、シェーディングの詳細な内容については、例えば特開2010−74244号公報を参照)。
ラフモノクロームは、高コントラストとフィルムの粒状のノイズを付加してモノクロ画像の力強さや荒々しさを表現する処理である。ラフモノクロームは、例えばエッジ強調処理、レベル補正最適化処理、ノイズパターン重畳処理、合成処理およびコントラスト処理等を組み合わせることによって実現される(ラフモノクロームの詳細な内容については、例えば特開2010−62836号公報を参照)。このうちノイズパターン重畳処理(ノイズ付加処理)は、予め作成したノイズパターン画像をもとの画像に加算する処理である。ノイズパターン画像は、例えば乱数などを発生させ、この乱数に基づいて生成してもよい。
なお、アート効果画像処理部162は、上述したアート効果処理以外にも、例えば、画像中の高輝度部に対してクロスパターンを描写するクロスフィルター処理や、画像の中心部から周縁部に行くにしたがって徐々に白味を帯びる効果が施すホワイトエッジ処理等を行うことも可能である。
動画中特殊効果画像処理部163は、動画を記録する際、画像に特殊効果を加える画像処理を行う。動画中特殊効果画像処理部163が実行可能な動画中特殊効果としては、例えばマルチエコー、ワンショットエコー、トランジット、揺らぎがある。以下、これらの動画中特殊効果について説明する。
図4は、マルチエコーの概要を説明する図である。マルチエコーとは、直前の記録用画像と今撮影した画像の合成を所定の期間繰り返すことによって画像に残像が残る効果である。具体的には、図4に示すように、ボール101が動く軌跡を残像として表示することができる効果である。
動画中特殊効果画像処理部163は、動画中特殊効果としてマルチエコーが設定されている場合、開始トリガが入力されると、その直後に生成された画像に対して、一つ前のフレームの画像を所定の割合で合成する処理(マルチエコー処理)を行う。
図4に示す場合、動画中特殊効果画像処理部163は、開始トリガ入力直後の撮影画像P1とその1つ前のフレームの撮影画像P0に対応する記録画像R0とを合成することによってマルチエコー画像R1を生成する。この合成の際、各画素において、撮影画像P1の信号に係数0.6を乗じる一方、記録画像R0の信号に係数0.4を乗じる。
続いて、動画中特殊効果画像処理部163は、次のフレームの撮影画像P2と合成画像R1とを合成することによってマルチエコー画像R2を生成する。マルチエコー画像R2を生成する際には、各画素において、撮影画像P2の信号に係数0.6を乗じる一方、合成画像R1の信号に係数0.4を乗じる。
動画中特殊効果画像処理部163は、終了トリガが入力されるまで、上述した合成処理を繰り返し行うことによってマルチエコー画像を順次生成する。終了トリガが入力されると、記録媒体23には、撮影画像P5に対応する記録画像R5が記録される。
図5は、ワンショットエコーの概要を説明する図である。ワンショットエコーとは、特定のフレームの画像(一瞬の画像)が徐々に薄くなりながら消えていく効果である。具体的には、図5に示すように、特定の時間に撮影されたボール101がしばらくの間撮影画像に残像として残るような効果である。
動画中特殊効果画像処理部163は、動画中特殊効果としてワンショットエコーが設定されている場合、開始トリガが入力されると、その直後に撮影して記録された画像データを一旦SDRAM25に保存し、この画像データをその後に撮影された画像データに対して時間とともに徐々に重みが減衰するように合成していく処理(ワンショットエコー処理)を行う。
図5に示す場合、開始トリガの入力直後に撮影された撮影画像P1はSDRAM25に記憶される(以下、SDRAM画像S1という)。動画中特殊効果画像処理部163は、SDRAM25が記憶するSDRAM画像S1と最新の撮影画像とを所定の比率で合成する。
図5に示す場合、開始トリガ入力直後には撮影画像P1に対応するワンショットエコー画像R11が表示される。
その後、時間t=t2において、動画中特殊効果画像処理部163は、SDRAM画像S1と撮影画像P2とを合成することによってワンショットエコー画像R12を生成する。この合成を行う際、各画素において、SDRAM画像S1の信号に係数a1=0.8を乗じる一方、撮影画像P2の信号に係数1−a1=0.2を乗じる。
その後、動画中特殊効果画像処理部163は、時間t=t3において、SDRAM画像S1の信号に乗じる係数をa=0.4、撮影画像P3の信号に乗じる係数を1−a=0.6として合成したワンショットエコー画像R13を生成する。
その後、動画中特殊効果画像処理部163は、時間t=t4において、SDRAM画像S1の信号に乗じる係数をa=0.2、撮影画像P4の信号に乗じる係数を1−a=0.8として合成したワンショットエコー画像R14を生成する。
その後、時間t=t5において係数a=0となるため、撮影画像P5が記録画像R5となる。
図6は、最新の撮影画像に合成されるSDRAM画像の合成比率の時間変化を示す図である。図6において、横軸tは開始トリガ入力時点(t=0)からの経過時間であり、縦軸aはSDRAM画像S1の各画素の信号に乗じる係数である。図6に示すように、係数aは、t=0でa1であり、時間とともに滑らかに減少していき、開始トリガ入力から所定時間t5経過した時点で0となる。すなわち、SDRAM画像S1の合成画像中に占める割合は、時間とともに徐々に減少していく設定がなされている。これにより、SDRAM画像S1が時間とともに徐々に消えていくような画像を作り出すことができる。
なお、図6に示す曲線は一例に過ぎず、時間とともに係数aが減衰するなどして一定時間で係数aが0となるように滑らかに変化する曲線であればどのようなものでもよく、例えば係数aが一定値をとる期間を含む曲線でもよい。
また、係数aは、開始トリガからのフレーム数に応じて定めるようにしてもよい。この場合には、フレーム単位で徐々に係数aの値を減少させながら、所定のフレーム数(例えば120フレーム)で係数が0となるようにすればよい。
図7は、トランジットの概要を説明する図である。トランジットは、1つの画像に対して付与されるアート効果が、別のアート効果へと徐々に比率を変えながら変わっていく効果である。図7では、アート効果Aからアート効果Bへ変化するトランジットを模式的に示している。図7において、トランジットの開始トリガ入力直前は、撮影画像P0に対してアート効果Aを施したアート効果画像A0が生成される。トランジットでアート効果の切り替え開始から切り替え終了までに要する時間は、適宜設定可能である。
図7に示す場合、開始トリガ入力前は、アート効果Aが設定されているものとする。すなわち、開始トリガ入力直前において、アート効果画像処理部162は、撮影画像P0にアート効果Aを施したアート効果画像R20を形成しているものとする。
開始トリガが入力されると、動画中特殊効果画像処理部163は、撮影画像P1にアート効果Aを施したアート効果画像A1に係数b(=b0)=0.8を乗じる一方、撮影画像P1にアート効果Bを施したアート効果画像B1に係数1−b(=1−b0)=0.2を乗じた2つの画像を合成することによってトランジット画像R21を生成する。
その後、動画中特殊効果画像処理部163は、時間t=t12において、撮影画像P2にアート効果Aを施したアート効果画像A2の信号に乗じる係数をb=0.6とし、撮影画像P2にアート効果Bを施したアート効果画像B2の信号に乗じる係数を1−b=0.4として合成したトランジット画像R22を生成する。
その後、動画中特殊効果画像処理部163は、時間t=t13において、撮影画像P3にアート効果Aを施したアート効果画像A3の信号に乗じる係数をb=0.4とし、撮影画像P3にアート効果Bを施したアート効果画像B3の信号に乗じる係数を1−b=0.6として合成したトランジット画像R23を生成する。
その後、動画中特殊効果画像処理部163は、時間t=t14において、撮影画像P4にアート効果Aを施したアート効果画像A4の信号に乗じる係数をb=0.2とし、撮影画像P4にアート効果Bを施したアート効果画像B4の信号に乗じる係数を1−b=0.8として合成したトランジット画像R24を生成する。
その後、動画中特殊効果画像処理部163は、時間t=t15において、撮影画像P5にアート効果Bのみを施した(b=0)トランジット画像R25を生成する。
図8は、トランジット処理において開始トリガ入力前から付与されているアート効果の合成比率(係数)bの時間変化を示す図である。図8において、曲線L1は、動画記録時の係数bの時間変化を示している。曲線L1において、係数bはt=0でb0であり、時間とともに滑らかに減少していき、開始トリガ入力から所定時間t15経過した時点で0となる。
一方、図8に示す曲線L2は、動画非記録時の係数bの時間変化を示している。曲線L2において、係数bはt=0でb0であり、時間とともに徐々に減少するが、現象の割合は曲線L1よりも大きい。したがって、係数bが0となるまでに時間t15'は、時間t15よりも小さい(t15'<t15)。
また、図8に示す曲線L2'は、動画非記録時の係数bの別な時間変化の例を示している。曲線L2'において、係数bが0となるまでの時間t15''は、0よりわずかに大きい値である。すなわち、曲線L2'の場合、係数bは、開始トリガの入力直後に0となる。
このように、本実施の形態1においては、トランジット処理に要する時間が、動画記録時と動画非記録時で異なる。これにより、ユーザは、動画非記録時には、トランジット効果を迅速に確かめることができる。一方、動画記録時には、トランジットによってアート効果が変化していく状況をじっくりと見せることができる。
なお、図8に示す曲線L1、L2は一例に過ぎず、時間とともに係数bが減衰するなどして一定時間で係数bが0となるように滑らかに変化する曲線であればどのようなものでもよく、例えば係数bが一定値をとる期間を含む曲線でもよい。
また、係数bを、開始トリガからのフレーム数に応じて定めるようにしてもよい。この場合には、フレーム単位で滑らかに係数bの値を減少させながら、所定のフレーム数(例えば120フレーム)で係数が0となるようにすればよい。
図9は、揺らぎの概要を示す図である。揺らぎとは、動画中の各フレームに対して付与するアート効果のかかり具合を時間とともにランダムに変化させることによって得られる効果である。図9では、一例として、アート効果がクロスフィルターである場合を示している。この場合、動画中特殊効果画像処理部163は、クロス102を時間とともにランダムに回転させるとともに、クロス102の大きさを時間とともにランダムに変化させることによって揺らぎを与えている。
引き続き、撮像装置1の構成を説明する。
AE処理部17は、バス28を介してSDRAM25に記録された画像データを取得し、取得した画像データに基づいて、静止画撮影または動画撮影を行う際の露出条件を設定する。具体的には、AE処理部17は、画像データから輝度を算出し、算出した輝度に基づいて、例えば絞り値(F値)の設定値、シャッタ速度等を決定することで撮像装置1の自動露出を行う。
AF処理部18は、バス28を介してSDRAM25に記録された画像データを取得し、取得した画像データに基づいて、撮像装置1の自動焦点の調整を行う。例えば、AF処理部18は、画像データから高周波成分の信号を取り出し、高周波成分の信号に対してAF(Auto Focus)演算処理を行うことによって、撮像装置1の合焦評価を決定することで撮像装置1の自動焦点の調整を行う。
画像圧縮展開部19は、バス28を介してSDRAM25から画像データを取得し、取得した画像データに対して所定の形式に従って圧縮し、この圧縮した画像データをSDRAM25に出力する。ここで、所定の形式としては、JPEG(Joint Photographic Experts Group)方式、MotionJPEG方式およびMP4(H.264)方式等である。また、画像圧縮展開部19は、バス28およびメモリI/F24を介して記録媒体23に記録された画像データ(圧縮画像データ)を取得し、取得した画像データを展開(伸長)してSDRAM25に出力する。なお、記録媒体23の代わりに撮像装置1の内部に記憶部を設けてもよい。
入力部20は、静止画撮影および動画撮影における撮影条件を設定する静止画撮影条件設定信号を含む各種設定信号の入力を受け付ける設定信号入力部201と、少なくとも動画撮影の開始を指示する動画撮影開始信号の入力を受け付ける動画撮影信号入力部202と、動画中特殊効果の開始を指示する動画中特殊効果開始信号の入力を受け付ける動画中特殊効果開始信号入力部203と、を有する。
入力部20は、本体部2の表面に設けられた操作信号入力用のユーザインターフェースを用いて実現される。以下、入力部20の一部をなすユーザインタフェースの構成を説明する。
撮像装置1は、操作入力用のユーザインタフェースとして、撮像装置1の電源状態をオン状態またはオフ状態に切替える電源ボタン41と、静止画撮影の指示を与える静止画レリーズ信号の入力を受け付けるレリーズボタン42と、撮像装置1に設定された各種撮影モードを切り替えるモードダイヤル43と、撮像装置1の各種設定を切替える操作ボタン44と、撮像装置1の各種設定を表示部21に表示させるメニューボタン45と、記録媒体23に記録された画像データに対応する画像を表示部21に表示させる再生ボタン46と、動画撮影の指示を与える動画レリーズ信号の入力を受け付ける動画ボタン47と、撮像装置1の各種機能を設定するファンクションキー48と、データを消去する消去ボタン49と、表示部21の表示画面に重ねて設けられ、外部からの接触位置に応じた入力信号を受け付けるタッチパネル50とを有する。
レリーズボタン42は、外部からの押圧により進退可能である。レリーズボタン42が半押しされた場合、撮影準備動作を指示する1stレリーズ信号が入力される。これに対し、レリーズボタン42が全押しされた場合、静止画撮影を指示する2ndレリーズ信号が入力される。
操作ボタン44は、メニュー画面等における選択設定入力を行うために上下左右方向に十字状をなす十字キー441と、十字キー441による選択を確定する決定ボタン442とを有する。十字キー441は、上矢印キー443、下矢印キー444、左矢印キー445、右矢印キー446からなる。
以上説明したユーザインタフェースのうち、動画ボタン47以外のボタンは設定信号入力部201の一部をなす。また、動画ボタン47は動画撮影信号入力部202の一部をなす。また、ファンクションキー48は、動画中特殊効果開始信号入力部203の機能を兼備する。
図10は、動画記録中でない場合(動画非記録時)と動画記録中である場合(動画記録時)における十字キー441の各矢印キーへの操作割り当て例を示す図である。動画が記録中でない場合、上矢印キー443には露出補正操作が割り当てられる。下矢印キー444には連写・単写操作が割り当てられる。左矢印キー445にはAFターゲット操作が割り当てられる。右矢印キー446にはフラッシュ設定操作が割り当てられる。
次に、動画記録中である場合を説明する。この場合、上矢印キー443にはワンショットエコー開始操作が割り当てられる。下矢印キー444にはトランジット開始操作が割り当てられる。左矢印キー445は、マルチエコーの開始、停止操作を交互に割り当てトグルキーとして機能する。右矢印キー446には揺らぎ開始操作が割り当てられる。なお、揺らぎの終了を任意に選択できるように設定する場合には、右矢印キー446に対して、揺らぎの開始操作と終了操作とを交互に操作可能なトグルキーとして機能させればよい。
なお、動画記録時における入力ボタンの割り当ては、図10に示すものに限られるわけではない。
表示部21は、液晶または有機EL(Electro Luminescence)等からなる表示パネルを用いて構成される。表示駆動部22は、バス28を介してSDRAM25が記憶する画像データまたは記録媒体23が記憶する画像データを取得し、取得した画像データに対応する画像を表示部21に表示させる。ここで、画像の表示には、撮影直後の画像データを所定時間(例えば3秒間)だけ表示するレックビュー表示、記録媒体23に記録された画像データを再生する再生表示、および撮像素子12が連続的に生成する画像データに対応するライブビュー画像を時系列に沿って順次表示するライブビュー表示等が含まれる。また、表示部21は、撮像装置1の操作情報および撮影に関する情報を適宜表示する。
記録媒体23は、撮像装置1の外部から装着されるメモリカード等を用いて構成される。記録媒体23は、メモリI/F24を介して撮像装置1に着脱自在に装着される。記録媒体23には、その種類に応じた図示しない読み書き装置によって画像処理部16や画像圧縮展開部19が処理を施した画像データが書き込まれ、または読み書き装置によって記録媒体23に記録された画像データが読み出される。また、記録媒体23は、制御部29の制御のもと、メモリI/F24およびバス28を介して撮像プログラムおよび各種情報それぞれをFlashメモリ26に出力してもよい。
SDRAM25は、揮発性メモリを用いて構成される。SDRAM25は、バス28を介してA/D変換部15から入力される画像データ、画像処理部16から入力される処理画像データおよび撮像装置1の処理中の情報を一時的に記憶する一次記憶部としての機能を有する。例えば、SDRAM25は、信号処理部14、A/D変換部15およびバス28を介して、撮像素子12が1フレーム毎に順次出力する画像データを一時的に記憶する。
Flashメモリ26は、不揮発性メモリを用いて構成される。Flashメモリ26は、プログラム記録部261と、特殊効果処理情報記録部262と、画像処理情報記録部263と、を有する。プログラム記録部261は、撮像装置1を動作させるための各種プログラム、撮像プログラムおよびプログラムの実行中に使用される各種データおよび画像処理部16による画像処理の動作に必要な各種パラメータ等を記録する。特殊効果処理情報記録部262は、アート効果画像処理部162が行う各アート効果処理における画像処理の組み合わせ情報を記録する。画像処理情報記録部263は、画像処理部16が実行可能な画像処理に処理時間を対応付けた画像処理情報を記録する。また、Flashメモリ26は、撮像装置1を特定するための製造番号等を記録する。
本体通信部27は、本体部2に装着されたレンズ部3との通信を行うための通信インターフェースである。本体通信部27には、レンズ部3との電気的な接点も含まれる。
バス28は、撮像装置1の各構成部位を接続する伝送路等を用いて構成される。バス28は、撮像装置1の内部で発生した各種データを撮像装置1の各構成部位に転送する。
制御部29は、CPU(Central Processing Unit)等を用いて構成される。制御部29は、画像処理制御部291と、表示制御部292と、を有する。
画像処理制御部291は、バス28を介して入力される入力部20からの指示信号に応じて、画像処理部16に実行させるべき画像処理の内容を設定し、設定した内容に応じた画像処理を、基本画像処理部161、アート効果画像処理部162、および動画中特殊効果画像処理部163のいずれかに実行させる。
表示制御部292は、表示部21の表示態様を制御する。具体的には、表示制御部292は、表示駆動部22を駆動し、画像処理部16が処理を行った各種画像データに対応する画像を表示部21に表示させる。
制御部29は、バス28を介して入力部20から送信される指示信号に応じて、撮像装置1を構成する各部に対して制御信号や各種データの送信を行うことにより、撮像装置1の動作を統括的に制御する。
制御部29は、レリーズボタン42を介して2ndレリーズ信号が入力された場合、撮像装置1における静止画撮影動作を開始する制御を行う。また、制御部29は、動画ボタン47を介して動画撮影開始信号が入力された場合、撮像装置1における動画撮影動作を開始する制御を行う。ここで、撮像装置1における撮影動作とは、シャッタ駆動部11および撮像素子駆動部13の駆動によって撮像素子12が出力した画像データに対し、信号処理部14、A/D変換部15および画像処理部16が所定の処理を施す動作をいう。このように処理が施された画像データは、画像処理制御部291の制御のもと、画像圧縮展開部19で所定の形式にしたがって圧縮され、バス28およびメモリI/F24を介して記録媒体23に記録される。なお、本実施の形態1では記録媒体23が記憶部の一部をなしているが、記録媒体23とは別に撮像装置1の内部に記憶部の機能を有する記憶領域を確保し、この記憶領域に圧縮した画像データを記憶するようにしてもよい。
以上の構成を有する本体部2に対して、音声入出力部、被写体に対して補助光(フラッシュ)を発光する補助光発光部、インターネットを介して外部の装置と双方向に通信を行う機能を有する通信部などをさらに設けてもよい。
次に、レンズ部3の構成を説明する。レンズ部3は、光学系31と、レンズ駆動部32と、絞り33と、絞り駆動部34と、レンズ操作部35と、レンズFlashメモリ36と、レンズ通信部37と、レンズ制御部38と、を備える。
光学系31は、一または複数のレンズを用いて構成される。光学系31は、所定の視野領域から光を集光する。光学系31は、画角を変化させる光学ズーム機能および焦点を変化させるフォーカス機能を有する。
レンズ駆動部32は、DCモータまたはステッピングモータ等を用いて構成され、光学系31のレンズを光軸L上で移動させることにより、光学系31のピント位置や画角等の変更を行う。
絞り33は、光学系31が集光した光の入射量を制限することにより露出の調整を行う。
絞り駆動部34は、ステッピングモータ等を用いて構成され、絞り33を駆動する。
レンズ操作部35は、図2に示すように、レンズ部3のレンズ鏡筒の周囲に設けられるリングであり、レンズ部3における光学ズームの操作を開始する操作信号の入力、またはレンズ部3におけるピント位置の調整を指示する指示信号の入力を受け付ける。なお、レンズ操作部35は、プッシュ式のスイッチ等であってもよい。
レンズFlashメモリ36は、光学系31の位置および動きそれぞれを決定するための制御用プログラム、光学系31のレンズ特性および各種パラメータを記録する。
レンズ通信部37は、レンズ部3が本体部2に装着されたときに、本体部2の本体通信部27と通信を行うための通信インターフェースである。レンズ通信部37には、本体部2との電気的な接点も含まれる。
レンズ制御部38は、CPU(Central Processing Unit)等を用いて構成される。レンズ制御部38は、レンズ操作部35の操作信号または本体部2からの指示信号に応じてレンズ部3の動作を制御する。具体的には、レンズ制御部38は、レンズ操作部35の操作信号に応じて、レンズ駆動部32を駆動させてレンズ部3のピント合わせやズーム変更を行うとともに、絞り駆動部34を駆動させて絞り値の変更を行う。なお、レンズ制御部38は、レンズ部3が本体部2に装着された際に、レンズ部3のピント位置情報、焦点距離およびレンズ部3を識別する固有情報等を本体部2に送信するようにしてもよい。
レンズ制御部38は、本体部2の制御部29との間で所定の周期でレンズ通信信号を送受信することによって、本体部2との動作の連携を図っている。図11は、レンズ制御部38と制御部29との同期通信の一例を示すタイミングチャートである。図11(a)は本体部2内の処理を示している。図11(b)は垂直同期信号を示している。図11(c)は撮像、読み出しのタイミングを示している。図11(d)はレンズ通信を示している。図11(e)はレンズ通信同期信号を示している。図11(f)はレンズ位置取得信号を示している。図11(g)はレンズ部3内の処理を示している。
まず、制御部29は、前フレームで取得した画像データによりライブビュー画像の画像処理およびAF評価値の算出等を画像処理部16に実行させるとともに、レンズ制御部38にレンズ状態データを取得するためのレンズ状態データ要求コマンドを送信する(B1、BL)。この際、制御部29は、同期通信モード中に、垂直同期信号と同じ周期でレンズ通信用の同期信号および光学系31の位置情報を取得するタイミングを指示するレンズ位置取得信号を送信する。このレンズ位置取得信号は、図11(c)に示すように撮像素子12の中央部の蓄積時間の1/2が経過した時点で状態が変化する信号である。
レンズ制御部38は、レンズ位置取得信号の状態が変化したタイミングで光学系31の位置情報を取得するとともに、レンズ通信同期信号の受信タイミングでレンズ操作部35の操作状態を検出する(L1)。
続いて、レンズ制御部38は、制御部29から受信したレンズ状態データ要求コマンドへの応答として、工程L1で取得した光学系31の位置情報およびレンズ操作部35の捜査状態を含むレンズ状態データを制御部29へ送信する(L2)。
この後、制御部29は、レンズ制御部38から送られてきたレンズ状態データに基づいて、AF評価値の算出や、露出値の変更等の各種設定変更を行う(B2)。
制御部29とレンズ制御部38は、以上説明した処理を周期的に繰り返し行う。
以上の構成を有する撮像装置1は、ピクチャーモードおよびピクチャーブラケットモードを有する。ここで、ピクチャーモードとは、仕上がり効果処理および特殊効果処理の中から1つを選択し、選択した処理項目に対応する処理を画像処理部16に実行させてライブビュー画像または静止画像を生成させるモードである。また、ピクチャーブラケットモードとは、仕上がり効果処理および特殊効果処理の中から所望の組み合わせを選択して画像処理部16に実行させることで互いに処理が異なる画像を1回の撮影動作によって複数生成させて記録媒体23に記録させるモードである。以下、撮像装置1で実行されるピクチャーモードおよびピクチャーブラケットモードそれぞれ設定方法について説明する。
まず、ユーザが電源ボタン41を操作することにより、撮像装置1の起動に伴って、表示部21がライブビュー画像を表示している場合において、ユーザがメニューボタン45を操作したとき、表示制御部292は、メニュー操作画面を表示部21に表示させる。
図12は、メニューボタン45が操作された場合において、表示部21が表示するメニュー画面における画面遷移の一例を示す図であり、ピクチャーモードが設定されるときの画面遷移を示す図である。
図12に示すように、表示制御部292は、メニューボタン45が操作された場合、撮像装置1の設定内容を示すメニュー画面W1(図12(a))を表示部21に表示させる。メニュー画面W1には、記録形式アイコンI1、ピクチャーモードアイコンI2およびピクチャーブラケットモードアイコンI3等がそれぞれ表示される。なお、メニュー画像W1が表示された時点では、記録形式アイコンI1がデフォルトで選択されており、ハイライト表示されている(図12(a))。なお、図12では、便宜上ハイライト表示を斜線で表現している。
ユーザが各アイコンに対応する領域をタッチすると、タッチパネル50を介して信号が入力される。画像処理制御部291は、タッチパネル50から入力された信号を、タッチされた領域に対応して表示部21が表示するアイコンの選択信号として認識し、処理を行う。以下の説明においても、アイコンが選択された場合には、タッチパネル50を介して選択指示信号が入力されるものとする。このため、以下の説明において、タッチパネル50でアイコンの表示領域に対応する部分がタッチされる場合、「アイコンが選択される」という表現を用いることがある。なお、アイコンの選択入力は、タッチパネル50以外の入力部20のボタンを用いて入力できるようにしてもよい。
記録形式アイコンI1は、静止画および動画それぞれの記録形式を設定する記録形式メニュー画面を表示部21に表示させる指示信号の入力を受け付けるアイコンである。ピクチャーモードアイコンI2は、ピクチャーモード選択画面を表示部21に表示させる指示信号の入力を受け付けるアイコンである。ピクチャーブラケットモードアイコンI3は、ピクチャーブラケットモード設定画面を表示部21に表示させる指示信号の入力を受け付けるアイコンである。
表示部21がメニュー画面W1を表示している状態で、ユーザが十字キー441の上矢印キー443または下矢印キー444等を操作することにより、ピクチャーモードアイコンI2が選択された場合、表示制御部292がピクチャーモードアイコンI2を表示部21にハイライト表示させる(図12(b))。なお、表示制御部292は、ユーザが選択したアイコンI1〜I3に対して、フォントや大きさを変更して表示部21に表示させてもよい。
表示部21がメニュー画面W1(図12(b))を表示している状態で、ユーザによって決定ボタン442が操作されることによりアイコンI2が選択された場合、表示制御部292は、ピクチャーモード設定画面W2を表示部21に表示させる(図12(c))。ピクチャーモード設定画面W2には、仕上がりアイコンI21と、アート効果アイコンI22とが表示される。なお、表示部21がピクチャーモード設定画面W2を表示している状態において、ユーザが左矢印キー445を操作したとき、表示制御部292は、表示部21にメニュー画面W1(図12(b))を表示させる。
仕上がりアイコンI21は、仕上がりモード選択画面を表示部21に表示させる指示信号の入力を受け付けるアイコンである。アート効果アイコンI22は、アート効果撮影モード選択画面を表示部21に表示させる指示信号の入力を受け付けるアイコンである。
表示部21がピクチャーモード設定画面W2を表示している状態で、ユーザによって仕上がりアイコンI21が確定された場合、表示制御部292は、仕上がりモード選択画面W3を表示部21に表示させる(図12(d))。仕上がりモード選択画面W3には、選択可能な仕上がり効果処理の処理項目に対応するアイコンとしてNaturalアイコンI31、VividアイコンI32、FlatアイコンI33およびMonotoneアイコンI34が表示される。各アイコンI31〜A34は、基本画像処理部161が行う仕上がり効果処理に対応する処理の設定を指示する指示信号の入力を受け付けるアイコンである。なお、図12(d)は、VividアイコンI32が選択されてハイライト表示している状態を示している。
表示部21が仕上がりモード選択画面W3を表示している状態で、ユーザによって決定ボタン442が操作された場合、画像処理制御部291は、表示部21が仕上がりモード選択画面W3でハイライト表示しているアイコンに対応する仕上がり効果処理(図12(d)の場合ではVivid)をピクチャーモードで行う処理として設定する。
また、表示部21がピクチャーモード設定画面W2を表示している状態で、ユーザが十字キー441を操作して特殊効果アイコンI22を選択した場合、表示制御部292は、アート効果画像処理部162が行うアート効果処理の内容を設定するアート効果設定画面W4を表示部21に表示させる(図12(e))。アート効果設定画面W4には、選択可能な特殊効果処理の処理項目に対応するアイコンとしてポップアートアイコンI41、ファンタジックフォーカスアイコンI42、ジオラマアイコンI43、トイフォトアイコンI44およびラフモノクロームアイコンI45が表示される。各アイコンI41〜A45は、アート効果画像処理部162が行うアート効果処理の設定を指示する指示信号の入力を受け付けるアイコンである。なお、図12(e)は、ファンタジックフォーカスアイコンI42が選択されてハイライト表示している状態を示している。
表示部21がアート効果設定画面W4を表示している状態で、ユーザによって決定ボタン442が操作された場合、画像処理制御部291は、表示部21がアート効果設定画面W4でハイライト表示しているアイコンに対応するアート効果処理(図12(e)の場合は、ファンタジックフォーカス)をピクチャーモードで行う処理として設定する。なお、設定されたアート効果処理に関する情報は、SDRAM25に記録される。
図12に示すような画面遷移を生じる操作指示信号がタッチパネル50を介して入力される場合、撮像装置1は、表示部21が表示するアイコンに重なるタッチパネル50上の領域がユーザによってタッチされるのと同時に、そのアイコンに対応する操作を決定して実行するようにしてもよい。
図13は、メニューボタン45が操作された場合において、表示部21が表示するメニュー画面における画面遷移の別の一例を示す図であり、ピクチャーブラケットモードが設定されるときの画面遷移を示す図である。
図13(a)に示すように、表示部21がメニュー画面W1を表示して場合において、ユーザがピクチャーブラケットモードアイコンI3を選択したとき、ピクチャーブラケットモードアイコンI3がハイライト表示される。
表示部21がメニュー画面W1を表示している状態で、ユーザが決定ボタン442を操作した場合、表示制御部292は、ピクチャーブラケットモード設定画面W5を表示部21に表示させる(図13(b))。ピクチャーブラケットモード設定画面W5には、ONアイコンI51と、OFFアイコンI52とが表示される。
ONアイコンI51は、ピクチャーブラケットモードを撮像装置1に設定する指示信号の入力を受け付け、ピクチャーブラケットモードの設定フラグをオン状態にするアイコンである。OFFアイコンI52は、ピクチャーブラケットモードを撮像装置1に設定しない指示信号の入力を受け付け、ピクチャーブラケットモードの設定フラグをオフ状態にするアイコンである。なお、図13(b)は、ONアイコンI51が選択されてハイライト表示している状態を示している。
表示部21がピクチャーブラケットモード設定画面W5を表示している状態で、ユーザが操作ボタン44を操作することにより、ONアイコンI51を選択して確定した場合、表示制御部292は、ピクチャーブラケットモード選択画面W6を表示部21に表示させる(図13(c))。ピクチャーブラケットモード選択画面W36には、ピクチャーブラケットで画像処理部16が実行可能な処理の処理項目それぞれに対応するアイコンI31〜I34が表示される。
表示部21がピクチャーブラケットモード選択画面W6を表示している状態で、ユーザは、決定ボタン442または下矢印キー444を操作することにより、ピクチャーブラケットモード選択画面W6から所定のアイコンを選択してピクチャーブラケットモードで行う処理項目を設定する。この際、表示制御部292は、操作ボタン44から入力される操作信号に応じて、ユーザによって選択されたアイコンを表示部21にアクティブ表示させる。なお、図13(c)は、VividアイコンI32に対応する処理がピクチャーブラケットモードで行う処理として設定済みであり、FlatアイコンI33が選択されてアクティブ表示している状態を示している。VividアイコンI32に表示されている数字「1」は、ピクチャーブラケットとして選択された順番を示している。なお、図13では、アクティブ表示をアイコンの枠を太くして表現している。
表示部21がピクチャーブラケットモード選択画面W6を表示している状態で、アクティブ表示されているアイコンがMonotoneアイコンI34になって状態でユーザが下矢印キー444を操作すると、表示制御部292は、ピクチャーブラケットモード選択画面W6をスクロールしてピクチャーブラケットモード選択画面W7を表示部21に表示させる(図13(d))。
ピクチャーブラケットモード選択画面W7には、ピクチャーブラケットモードでアート効果画像処理部162に実行可能な複数のアート効果処理の処理項目それぞれに対応するアイコンI41〜I45が表示される。具体的には、ポップアートアイコンI41、ファンタジックフォーカスアイコンI42、ジオラマアイコンI43、トイフォトアイコンI44およびラフモノクロームアイコンI45が表示される。図13(d)に示す場合、ポップアートアイコンI41がアクティブ表示される一方、ファンタジックアイコンI42、トイフォトアイコンI44、ラフモノクロームアイコンI45がハイライト表示されている。また、ピクチャーブラケットの選択順は、「1.Vivid」→「2.トイフォト」→「3.ファンタジックフォーカス」→「4.ラフモノクローム」である。
続いて、ユーザは左矢印キー445またはレリーズボタン42を操作することにより、ピクチャーブラケットモードの設定を終了させる。
図14は、撮像装置1がピクチャーブラケットモードに設定された場合の処理の概要を示す図である。図14では、図13に示すようにピクチャーブラケットが設定されている場合の処理の概要を示している。この場合には、ユーザが動画中特殊効果開始信号入力部203によって動画中特殊効果開始信号を入力すると、動画中特殊効果画像処理部163がトランジット処理を開始する。ここでの動画中特殊効果開始信号入力部203は、例えばファンクションキー48である。
まず、仕上がり効果としてVividを付与している状態の時間t21に動画中特殊効果開始信号が入力されると、アート効果画像処理部162はトイフォト処理を開始するとともに、動画中特殊効果画像処理部163がトランジット処理を開始する。時間t22でトイフォトに切り替わると、基本画像処理部161によるVivid処理は終了する。
図15は、Vivid処理が施されている状態の表示部21における表示例を示す図である。図15に示す動画表示画面、ピクチャーブラケットとして選択された4つの効果が、左から選択順にアイコン表示されている(VividアイコンI61、トイフォトアイコンI62、ファンタジックフォーカスアイコンI63、ラフモノクロームアイコンI64)。また、現在処理が施されているアイコン(VividアイコンI61)がハイライト表示されている。これらのアイコンは、タッチパネル50による対応領域の接触によっ直接選択信号を入力することができる。
図16は、図15に示す状態で動画中特殊効果開始信号が入力された直後の表示部21における画面表示例を示す図である。この場合には、アート効果画像処理部162によるトイフォト処理が開始されるとともに、動画中特殊効果画像処理部163によるVividからトイフォトへのトランジット処理が開始されているため、VividアイコンI61とトイフォトアイコンI62がハイライト表示され、この2つのアイコンの間にトランジット処理を示す右向きの矢印アイコンI65が表示される。なお、トランジット期間中は、表示部21でトランジット対象の2つのアイコン以外の表示を消したりしてもよい。また、トランジット期間中は他の効果の選択を無効化してもよいし、他の効果に対応するアイコンが選択された場合には、警告を発して入力を受け付けないようにしてもよい。
このように、表示部21では、動画を表示する際に生じた余白を利用して、ピクチャーブラケットに関するアイコンを表示する。これにより、ユーザは、現在付与されている特殊効果を明確に認識することができる。
なお、この後トランジット処理が終了して表示がトイフォトに完全に移行すると、トイフォトアイコンI62がハイライト表示されることとなる。
トイフォトへのトランジットが完了した後、時間t23で動画中特殊効果開始信号が入力されると、アート効果画像処理部162はファンタジックフォーカス処理を開始するとともに、動画中特殊効果画像処理部163がトランジット処理を開始する。時間t24でファンタジックフォーカスに切り替わると、アート効果画像処理部162によるトイフォト処理は終了する。トランジット期間中およびトランジット終了後の表示部21におけるアイコンの表示態様は、図15、図16で説明したものと同様である。すなわち、トランジット期間中はトイフォトアイコンI62とファンタジックフォーカスアイコンI63がハイライト表示されるとともに、この2つのアイコンの間に矢印アイコンI65が表示される。また、トランジット期間終了後は、ファンタジックフォーカスアイコンI63のみがハイライト表示される。
その後、時間t25で動画中特殊効果開始信号が入力されると、アート効果画像処理部162はラフモノクローム処理を開始するとともに、動画中特殊効果画像処理部163がトランジット処理を開始する。時間t26でラフモノクロームに切り替わると、アート効果画像処理部162によるファンタジックフォーカス処理は終了する。この場合、トランジット期間中はファンタジックフォーカスアイコンI63とラフモノクロームアイコンI64がハイライト表示されるとともに、この2つのアイコンの間に矢印アイコンI65が表示される。また、トランジット期間終了後は、ラフモノクロームアイコンI64のみ表示される。
その後、時間t27で動画中特殊効果開始信号が入力されると、ピクチャーブラケットは一回りしたことになるため、基本画像処理部161はVivid処理を開始するとともに、動画中特殊効果画像処理部163がトランジット処理を開始する。時間t28でVividに切り替わると、アート効果画像処理部162によるラフモノクローム処理は終了する。この場合、トランジット期間中はラフモノクロームアイコンI64とVividアイコンI61がハイライト表示される。なおラフモノクロームアイコンI64とVividアイコンI61は並んで表示されていないため、矢印アイコンI65は、ラフモノクロームアイコンI64の右側と、VividアイコンI61の左側にそれぞれ表示する。また、トランジット期間終了後は、VividアイコンI64のみ表示される。
このようにして、撮像装置1は、動画中特殊効果開始信号入力部203が動画中特殊効果開始信号の入力を受け付けるたびに、設定されたピクチャーブラケットに基づくトランジット処理を実行する。
なお、以上の説明では、ユーザが動画中特殊効果開始信号を押すたびにピクチャーブラケットで設定されているピクチャーモードを順次トランジットしていく場合を説明したが、例えば動画中特殊効果開始信号を1回押した場合に、ピクチャーブラケットを構成するピクチャーモードを設定順に順次トランジットさせていくようにしてもよい。この場合、画像処理制御部291は、一定の間隔でトランジット処理を行わせるように動画中特殊効果画像処理部163を制御する。
また、動画中特殊効果画像処理部163がピクチャーブラケットに含まれるピクチャモードを順次トランジットしていく場合には、負荷のかかる処理を連続して行わなくて済むように撮像装置1側でトランジットの順番を設定できるようにしてもよい。
また、動画中特殊効果画像処理部163がピクチャーブラケットに含まれるピクチャモードを順次トランジットしていく場合には、ピクチャーモードの使用頻度に応じて、例えば使用頻度の大きい順にトランジットの順番を変更して処理を行うようにしてもよい。
図17は、撮像装置1が行う処理の概要を示すフローチャートである。図17において、まず、ユーザによって電源ボタン41が操作されて、撮像装置1の電源がオン状態になる(ステップS1:Yes)と、制御部29は、撮像装置1の初期化を行う(ステップS2)。この初期化処理において、制御部29は、例えば動画の記録中を示す記録中フラグをオフ状態にリセットしたり、動画中の特殊効果に関する適用を示す特殊効果フラグをオフ状態にリセットしたり、レンズ制御部38との間のレンズ通信(図11を参照)を開始したりする処理を行う。なお、撮像装置1の電源がオン状態でない場合(ステップS1:No)、撮像装置1はステップS1を繰り返す。
続いて、再生ボタン46が操作されることなく(ステップS3:No)、メニューボタン45が操作された場合(ステップS4:Yes)、撮像装置1は、設定を変更するためのメニュー画面を表示し、ユーザの選択操作に応じて撮像装置1の各種条件を設定する設定処理を実行する(ステップS5)。ステップS5の後、撮像装置1は、後述するステップS7へ移行する。
ここで設定される内容は、仕上がり効果処理、アート効果処理、静止画記録モード、動画記録モード、動画中特殊効果処理などである。静止画記録モードは、記録対象とする静止画の種類に応じて定められ、例えばJPEG記録モード、JPEG+RAW記録モード、RAW記録モードなどがある。動画撮影モードは、動画圧縮形式に応じて定められるモードであって、例えばMotion−JPEGモード、MP4(H.264)モードなどがある。動画中特殊効果処理で設定されるのは、例えばトランジットによるアート効果の切り替え先や揺らぎなどである。
ステップS3で再生ボタン46が操作された場合(ステップS3:Yes)、撮像装置1は再生処理を行う(ステップS6)。このステップS6において、表示制御部292は、記録媒体23に記録されているファイル一覧を表示部21に表示させる。その後、入力部20によって再生画像が選択入力された場合、記録媒体23から画像データを取得し、取得した画像データを画像圧縮展開部19で展開して表示部21に表示させる。この後、撮像装置1は、ステップS18へ移行する。
ステップS3で再生ボタン46が操作されることなく(ステップS3:No)、メニューボタン45が操作されていない場合(ステップS4:No)において、動画ボタン47が操作されたとき(ステップS7:Yes)、制御部29は、動画の記録中であることを示す記録中フラグを反転させる(ステップS8)。具体的には、例えば記録中フラグがオン状態にある場合、制御部29は、その記録中フラグをオフ状態に反転させる。
続いて、制御部29は、SDRAM25に記録された記録中フラグがオン状態であるか否かを判断する(ステップS9)。記録中フラグがオン状態であると判断した場合(ステップS9:Yes)、制御部29は、記録媒体23に画像データを時系列に沿って記録するための動画ファイルを生成して記録媒体23に格納する(ステップS10)。
その後、制御部29は、特殊動画用のユーザインターフェース(UI)を設定する(ステップS11)。この設定により、例えば図10に示すような動画記録時の割り当てが実行される。制御部29は、ステップS11で設定対象となったユーザインタフェースがこの後で受け付ける信号を、図10に基づく特殊動画用の信号として認識する。
続いて、表示制御部292は、表示部21に表示させる画面上表示(OSD)などの設定を切り替えることによって動画用の画面への切替えを行う(ステップS12)。具体的には、表示制御部292は、例えば残り時間や、動画撮影時に特殊効果を適用できることを示すアイコンなどを表示する。この後、撮像装置1は、後述するステップS15へ移行する。
図18は、表示部21における動画用の画面表示例を示す図である。図18に示すように、動画用画面Qでは、動画中特殊効果を適用可能であることを示す動画アイコン111、動画用画面キー割り当てを示す画面上表示112および動画撮影の残り時間を表示する残り時間113が表示される。このうち、画面上表示112は数秒間表示した後に自動的に消えるようにしてもよいし、常時表示するようにしてもよい。また、設定信号入力部201からの入力によって画面上表示112の表示と非表示を切り替えることができるようにしてもよい。
ステップS9において、記録中フラグがオフ状態であると判断した場合(ステップS9:No)、制御部29は、静止画用ユーザインターフェースを設定する(ステップS13)。この後、撮像装置1は、後述するステップS14へ移行する。
続いて、表示制御部292は、表示部21における画面上表示などの設定を静止画用に切り替える(ステップS14)。この切り替えにより、表示部21は、例えば残り記録枚数や、静止画撮影時に特殊効果を適用できることを示すアイコンなどを表示する。この後、撮像装置1は、後述するステップS15へ移行する。
ステップS7において、動画ボタン47が操作されていない場合(ステップS7:No)、画像処理制御部291は、動画中特殊効果画像処理部163に対して動画中特殊効果処理を行わせる(ステップS15)。
図19は、動画中特殊効果制御処理の概要を示すフローチャートである。図19において、動画中特殊効果開始信号入力部203が動画中特殊効果開始信号の入力を受け付けた場合(ステップS31:Yes)、画像処理制御部291は、動画中特殊効果フラグをオンにする(ステップS32)。その後、画像処理制御部291は、効果設定を行う(ステップS33)。
動画中特殊効果開始信号入力部203が動画中特殊効果開始信号の入力を受け付けない場合(ステップS31:No)において、終了指示が入力されたとき(ステップS34:Yes)、画像処理制御部291は、動画中特殊効果フラグをオフにする制御を行う(ステップS35)。この後、撮像装置1は、メインルーチンへ戻る。なお、動画中特殊効果としてトランジットまたはワンショットエコーが設定されている場合において、動画中特殊効果開始信号入力部203が動画中特殊効果開始信号の入力を一定期間受け付けないとき、撮像装置1自身が終了指示を入力するようにすればよい。
これに対し、動画中特殊効果開始信号入力部203が動画中特殊効果開始信号の入力を受け付けない場合(ステップS31:No)において、終了指示が入力されないとき(ステップS34:No)、撮像装置1はメインルーチンへ戻る。
ステップS15の動画中特殊効果制御処理の後、レリーズボタン42から1stレリーズ信号が入力された場合(ステップS16:Yes)、制御部29は、AE処理部17に露出を調整するAE処理を実行させるとともに、AF処理部18にピントを調整するAF処理を実行させる(ステップS17)。
続いて、制御部29は、電源ボタン41が操作されることによって撮像装置1の電源がオフされたか否かを判断する(ステップS18)。撮像装置1の電源がオフされたと制御部29が判断した場合(ステップS18:Yes)、撮像装置1は、本処理を終了する。これに対して、撮像装置1の電源がオフされていないと制御部29が判断した場合(ステップS18:No)、撮像装置1は、ステップS3へ戻る。
レリーズボタン42から1stレリーズ信号が入力されない場合(ステップS16:No)、レリーズボタン42から2ndレリーズ信号が入力されたとき(ステップS19:Yes)、制御部29は、シャッタ駆動部11および撮像素子駆動部13をそれぞれ駆動することにより、メカシャッタによる撮影を行う(ステップS20)。
続いて、画像処理部16は、撮影した静止画像に対して所定の画像処理を実行する(ステップS21)。なお、画像処理の詳細については後述する。
この後、制御部29は、画像データをJPEG形式で画像圧縮展開部19に圧縮させ、この圧縮した画像データを記録媒体23に記録する(ステップS22)。このステップS22で、制御部29は、画像圧縮展開部19がJPEG形式で圧縮した画像データに、画像処理部16が画像処理を行っていないRAWデータを対応付けて記録媒体23に記録させるようにしてもよい。ステップS22の後、撮像装置1は、ステップS18へ移行する。
ステップS19において、レリーズボタン42から2ndレリーズ信号が入力されない場合(ステップS19:No)、制御部29は、AE処理部17に露出を調整するAE処理を実行させるとともに、AF処理部18にピントを調整するAF処理を実行させる(ステップS23)。
続いて、制御部29は、撮像素子駆動部13を駆動することにより、電子シャッタによる撮影を実行する(ステップS24)。
この後、画像処理部16は、撮像装置1の設定情報に基づいて画像処理を行う(ステップS25)。画像処理の詳細については後述する。
表示制御部292は、画像処理部16が処理を施した画像データに対応するライブビュー画像を表示部21に表示させる(ステップS26)。
続いて、撮像装置1が動画記録中であれば(ステップS27:Yes)、制御部29は、画像データを画像圧縮展開部19に圧縮させ、この圧縮した画像データを記録媒体23に作成された動画ファイルに動画として記録させる(ステップS28)。この後、撮像装置1は、ステップS18へ移行する。これに対して、ステップS27で動画記録中でなければ(ステップS27:No)、撮像装置1はステップS18へ移行する。
図20は、画像処理の概要を示すフローチャートである。図20において、基本画像処理部161は基本画像処理を行う(ステップS41)。ここでの基本画像処理は、OB(Optical Black)値の減算、WB補正、同時化、カラーマトリクス演算、ガンマ変換色補正、エッジ強調、NR(Noise Reduction)などの処理を含む。
ここで、WB補正は、ベイヤ配列の画像データに対して、予めユーザが設定したWBモードに応じたRゲインとBゲインを乗じて、WBを撮像装置本体のフラッシュメモリから読み出し、その値を乗じることで補正する処理である。
同時化は、撮像素子12がベイヤー配列であった場合に、その画素にないデータを周辺から補間することによって、各画素がRGBデータで構成されるデータに変換する処理である。
カラーマトリクス演算は、設定されているWBモードに応じたカラーマトリクス係数を本体のフラッシュメモリから読み出して乗算する処理である。
ガンマ変換色補正処理では、仕上がりの設定に応じて予め設計したガンマテーブルを本体のフラッシュメモリから読み出し、画像データをガンマ変換する。このとき、RGBデータに適用するガンマ変換と、RGBの色空間を輝度信号Yと2つの色差信号Cb、Crによって表される色空間に変換した後で輝度信号Yのみにガンマ変換を行うようにしてもよい。また、適切な色再現性を得るために、仕上がりの設定に応じて予め設計したサイドパラメータを用いて色を補正してもよい。なお、アート効果の種類によってガンマ曲線を変えるようにしてもよい。
エッジ強調処理では、バンドパスフィルタによりエッジ成分を抽出し、エッジ強調度に応じた係数を乗じて画像データに加算することで強調する。
NR処理では、画像を周波数分解し、周波数に応じてコアリング処理などを行うことでノイズを低減する処理を行う。
続いて、アート効果画像処理部162は、アート効果処理を行う(ステップS42)。ここでは、上述したクロスフィルター、ソフトフォーカス、ノイズ付加、シェーディング、周辺輝度持ち上げ、周辺ぼかし、等の処理を行う。
一方、撮像装置1が動画撮影を行う場合(ステップS43:No)、制御部29は、動画中特殊効果が設定されているか否かを判定する(ステップS44)。動画中特殊効果が設定されている場合(ステップS44:Yes)、撮像装置1はステップS45へ移行する。これに対して、動画中特殊効果が設定されていない場合(ステップS44:No)、撮像装置1はメインルーチンへ戻る。
ステップS44で動画中特殊効果が設定されている場合(ステップS44:Yes)において、適用する効果がマルチエコーであるとき(ステップS45:Yes)、動画中特殊効果画像処理部163は、直前の画像処理結果(前フレーム)に対して、上述したマルチエコー処理(図4を参照)として、現在のフレームを所定の比率で合成する(ステップS46)。一方、適用する特殊効果がマルチエコーでないとき(ステップS45:No)、撮像装置1はステップS47へ移行する。
ステップS47において、制御部29は、適用する効果がワンショットエコーであるか否かを判定する。適用する効果がワンショットエコーである場合(ステップS47:Yes)、動画中特殊効果画像処理部163は、ワンショットエコー効果を得るために、SDRAM25が記憶する特定の画像データであるレリーズフレームとの合成処理を行う(ステップS48)。ここで、特殊効果フラグがオンになって最初のフレームの場合、動画中特殊効果画像処理部163は、現在のフレームの画像をSDRAM25に記憶する処理を行う。これに対し、特殊効果フラグがオンになって2フレーム以後の場合、動画中特殊効果画像処理部163は、SDRAM25が記憶しているレリーズフレームと合成処理を行う。
ステップS47において、適用する動画中特殊効果がワンショットエコーでない場合(ステップS47:No)、撮像装置1はステップS49へ移行する。
ステップS49において、制御部29は、適用する効果が揺らぎであるか否かを判定する。適用する効果が揺らぎである場合(ステップS49:Yes)、動画中特殊効果画像処理部163は揺らぎ効果を追加する処理を行う(ステップS50)。
ステップS50における動画中特殊効果画像処理部163の具体的な処理を説明する。動画中特殊効果画像処理部163は、シェーディング処理、クロスフィルター処理などのアート効果処理における画像処理パラメータに揺らぎを持たせた効果を追加する。例えば、シェーディング処理であれば、画像の中心からの減衰特性を時間とともに変化させる。周辺ぼかしであれば、ぼかし量やぼかし形状を変化させる。クロスフィルターであれば、クロスパターンの長さや角度を時間とともに変化させる。また、彩度、コントラスト、ホワイトバランスを時間とともに変化させてもよい。なお、揺らぎとシェーディング等のアート効果が重複する場合、両方を付与してもよいし、揺らぎのみを付与するようにしてもよい。
ステップS49において、適用する効果が揺らぎではない場合(ステップS49:No)、撮像装置1はステップS51へ移行する。
ステップS51において、制御部29は、適用する効果がトランジットであるか否かを判定する(ステップS51)。適用する効果がトランジットである場合(ステップS51:Yes)、基本画像処理部161およびアート効果画像処理部162は、仕上がり/切り替え先の設定に応じた基本画像処理およびアート効果処理をそれぞれ実行する(ステップS52、S53)。
その後、動画中特殊効果画像処理部163は、撮像装置1が動画記録中である場合(ステップS54:Yes)、トランジット対象の2つの画像に対して動画記録用の合成処理を行うことによってトランジット画像を生成する(ステップS55)。
これに対して、動画中特殊効果画像処理部163は、撮像装置1が動画記録中でない場合(ステップS54:No)、トランジット対象の2つの画像に対してライブビュー表示用の合成処理を行うことによってトランジット画像を生成する(ステップS56)。ステップS56における動画記録用の合成処理とライブビュー表示用の合成処理との違いは、係数bの時間変化の違いである(図8を参照)。
ステップS55またはステップS56の後、撮像装置1はメインルーチンへ戻る。
ステップS51において、制御部29が判定した結果、適用する効果がトランジットでない場合(ステップS51:No)、撮像装置1はメインルーチンへ戻る。
ステップS43において、撮像装置1が静止画撮影を行う場合(ステップS43:Yes)を説明する。この場合、ピクチャーブラケットが設定されていれば(ステップS57:Yes)、基本画像処理部161が基本画像処理を行い(ステップS58)、アート効果画像処理部162がアート効果処理を行う(ステップS59)。
その後、ピクチャーブラケットに含まれる全てのピクチャーモードに対応する基本画像処理およびアート効果処理が終了した場合(ステップS60:Yes)、撮像装置1はメインルーチンへ戻る。一方、ピクチャーブラケットに含まれる全ての基本画像処理およびアート効果処理が終了していない場合(ステップS60:No)、撮像装置1はステップS58に戻る。
ピクチャーブラケットがオフである場合(ステップS57:No)、撮像装置1はメインルーチンへ戻る。
以上説明した本発明の実施の形態1によれば、動画中特殊効果開始信号の入力に応じてアート効果処理の切り換えを行うため、動画撮影中に特殊効果を容易にかつユーザ所望のタイミングで切り替えることができる。
また、本実施の形態1によれば、ユーザの意図したタイミングであらかじめ設定しておいたアート効果にボタンひとつで切り替えられるようになるため、ユーザの意図を反映した動画を、編集作業を経ることなく撮影することができる。一般に、撮像装置は、PC等と比較してメモリーが少なく処理能力が劣っているため、PC等と同等の動画データの編集処理を実現することは難しい。また、動画中の静止画撮影や、動画終了直後の静止画撮影の可能な撮像装置においては、メモリー不足やメモリー管理上の問題が決定的なものになり、メモリー増設によるコスト増や、静止画撮影時の応答性や静止画画質の劣化などの問題を発生してしまう恐れもある。本実施の形態1では、この点に鑑み、撮影した動画を編集することなく、撮影時に複数のフレームにわたる時間的な移り変わりの特殊効果による撮影者の作画意図を付与した動画を撮影可能が技術を実現している。
また、本実施の形態1によれば、ユーザインターフェースをピクチャーブラケットと共通にすることで、ピクチャーブラケットの静止画から動画への拡張としてトランジット機能をユーザに認識してもらうことが可能になる。加えて、自然な操作性で動画撮影中のアート効果切り替えを行うユーザインターフェースを提供することも可能になる。
また、本実施の形態1によれば、設定信号入力部を構成するユーザインターフェースに動画用と静止画用の入力機能を兼備させることができるため、動画撮影の場合にも操作性に優れたユーザインターフェースを実現することができる。加えて、ユーザインターフェースの数も抑制することができるため、レイアウトの制限も少なくなり、小型化に好適な撮像装置を実現することができる。
(変形例1−1)
図21は、本実施の形態1の変形例1−1に係る撮像装置が行うピクチャーブラケット設定時のトランジット処理における表示部21の画面表示例を示す図である。本変形例1−1において、動画中特殊効果画像処理部163は、上述した実施の形態のように2つのピクチャーモードを所定の比率で画素ごとに混ぜる代わりに、画面全体に対してトランジット前のピクチャーモードに対応する画像処理が施されている部分の割合を徐々に低下させていく処理を行う。
図21(a)に示す画面Q1では、トランジット前のピクチャーモード(ピクチャモードCという)が全画面にわたって施されている。この後、図21(b)に示す画面Q2のように、画面中央部にトランジット先のピクチャーモード(ピクチャーモードDという)が施された領域SDが表れてくる。さらに時間が経過すると、図21(c)に示す画面Q3のように、ピクチャーモードDが施された領域SDの面積が増加し、ピクチャーモードCが付与された領域が減少する。動画中特殊効果画像処理部163によるトランジット処理が完了すると、図21(d)に示す画面Q4のように、画面全体にピクチャーモードDが施された状態で表示される。
なお、本変形例1−1において、トランジット先のピクチャーモードが施された領域の現れ方は他の方法でもよい。例えば、画面の右端または左端からトランジット先のピクチャーモードが施された領域が徐々に増えていくように表示してもよいし、画面の中心と画面の外縁上の1点を結ぶ直線から徐々に円周に沿ってトランジット先のピクチャーモードが施された領域が現れてくるように表示してもよい。
(変形例1−2)
図22は、本実施の形態1の変形例1−2に係る撮像装置が行うピクチャーブラケット設定時のトランジット処理の概要を示す図である。図22に示すように、本変形例2においては、動画中特殊効果開始信号入力部203が動画中特殊効果開始信号の入力を受け付けると、動画中特殊効果画像処理部163は、トランジットの途中で真っ白な画像(白画像)を挿入する。
なお、本変形例2において、途中に挿入する画像は白画像以外でもよく、例えば真っ黒な画像でもよいし、その他の単色の画像でもよい。
(変形例1−3)
本実施の形態1の変形例1−3は、タッチパネル50によって動画中特殊効果の適用形態を切り替えを行い、特にトランジット効果を選択する際に、ピクチャーブラケットを選択できることを特徴とする。
図23は、本実施の形態1の変形例1−3に係る撮像装置が静止画撮影待機状態にある場合の表示部21における画面表示例を示す図である。画面W21の左上には、撮影モードアイコンI71(「P」と表示)が表示されている。また、画面W21の右上には、静止画撮影用のメニュー選択アイコンI72(「STILL MENU」と表示)と動画撮影用のメニュー選択アイコンI73(「MOVIE MENU」と表示)が設けられている。
画面W21を表示している状態でメニュー選択アイコンI72が選択された場合、表示制御部292は、静止画撮影用のメニューとして、ホワイトバランス、AF、測光をそれぞれ選択するためのアイコンと、元の操作表示画面に戻るためのアイコンを表示部21に表示させる(図示せず)。
一方、画面W21を表示している状態でメニュー選択アイコンI73が選択された場合、表示制御部292は、動画撮影待機状態にある場合の画像を表示部21に表示させる。図24は、本変形例1−3に係る撮像装置が動画撮影待機状態にある場合の表示部21における画面表示例を示す図である。図24に示す画面W22において、表示部21には、ワンショットエコーアイコンI74(「1Shot Echo」と表示)、マルチエコーアイコンI75(「Multi Echo」と表示)、トランジットアイコンI76(「Transit」と表示)、リターンアイコンI77(「RET」と表示)の4種類のアイコンが表示される。
図24に示す動画撮影待機状態では、静止画撮影時の画像のアスペクト比が変更となり、静止画よりも横長の画像となっている。このため、表示部21は、画面上下で横長の帯状をなす画像の非表示領域に各種アイコンを表示している。
画面W22で表示されるアイコンのうち、ワンショットエコーアイコンI74、マルチエコーアイコンI75、およびトランジットアイコンI76は、動画中特殊効果としてワンショットエコー、マルチエコー、およびトランジットをそれぞれ選択するためのアイコンである。これらのアイコンのいずれかが選択されると、表示部21は、選択された動画中特殊効果を施したライブビュー画像を表示する。
リターンアイコンI77は、一つ前の画像表示に戻るためのアイコンである。
図25は、表示部21が画面W22を表示している状態で、動画中特殊効果としてトランジットが選択された場合の表示部21における画面表示例を示す図である。図25に示す画面W23において、表示部21には、トランジットアイコンI76、確定アイコンI78(「OK」と表示)、リターンアイコンI77が画面下部に表示される。また、表示部21には、トランジットの切替先の効果一覧を表示する切替先効果一覧表示アイコンI81が画面左側に選択可能に表示される。切替先効果一覧表示アイコンI81における項目の表示順は、適宜変更可能である。
切替先効果一覧表示アイコンI81の上下両端には、上方向へのスクロール信号の入力を受け付ける上スクロールボタンI82と、下方向へのスクロール信号の入力を受け付ける下スクロールボタンI83がそれぞれ設けられている。例えば、上スクロールボタンI81が選択されると、表示が上方へスクロールし、一番上に表示されている項目「Vivid」が消えて項目「ファンタジックフォーカス」が一番上となり、一番下に別の仕上がり項目が表示される。
図25に示す場合、切替先効果一覧表示アイコンI81において、「1.トイフォト」→「2.Vivid」が選択されてハイライト表示され、現在ファンタジックフォーカスがアクティブ(太枠で表示)になっている状況を示している。ピクチャーブラケットの選択が終了した場合、ユーザは確定アイコンI78(「OK」と表示)を選択する。この後、表示制御部292は、仕上がり一覧表示アイコンI81を消去する。この後、画像処理制御部291は、動画中特殊効果画像処理部163に対してトランジット処理を開始させる。
(実施の形態2)
本発明の実施の形態2に係る撮像装置は、実施の形態1に係る撮像装置に対して、動画中特殊効果をライブビュー表示しながらユーザが所望の効果を確認した上で実際に特殊効果を付与して撮影を行うことができる機能を付加している。
図26は、本実施の形態2に係る撮像装置の構成を示すブロック図である。同図に示す撮像装置51は、入力部52を除いて、実施の形態1で説明した撮像装置1と同様の構成を有する。以下、入力部52の構成を説明する。
入力部52は、設定信号入力部201、動画撮影信号入力部202、動画中特殊効果開始信号入力部203に加えて、シミュレーション信号入力部521、効果記録開始信号入力部522、および効果停止信号入力部523を有する。
シミュレーション信号入力部521は、ライブビュー表示にのみ動画中特殊効果を付与するシミュレーション信号の入力を受け付ける。効果記録開始信号入力部522は、動画中特殊効果を施した画像をSDRAM25および記録媒体23へ記録させる効果記録開始信号の入力を受け付ける。効果停止信号入力部523は、ライブビュー表示および画像の記録において適用されている動画中特殊効果を停止する効果停止信号の入力を受け付ける。
図27は、撮像装置51におけるユーザインターフェースの割り当てを示す図である。まず、動画非記録時の割り当てについて説明する。この場合、十字キー441の上矢印キー443には、露出補正操作が割り当てられる。下矢印キー444には、連写・単写操作が割り当てられる。左矢印キー445には、AFターゲット操作が割り当てられる。右矢印キー446には、フラッシュ設定操作が割り当てられる。また、動画非記録時には、決定ボタン442にカメラ設定操作が割り当てられ、1stレリーズ操作にAE/AF操作が割り当てられ、2ndレリーズ操作に撮影操作が割り当てられる。
次に、動画記録時の割り当てについて説明する。この場合、上矢印キー443に効果シミュレーション開始操作が割り当てられる。したがって、上矢印キー443は、シミュレーション信号入力部521の一部をなす。
下矢印キー444には、効果停止操作が割り当てられる。したがって、下矢印キー444は、効果停止信号入力部523の一部をなす。なお、動画中特殊効果の中で停止指示が必要なものは、マルチエコーと揺らぎである。
左矢印キー445および右矢印キー446には、効果切り替え操作を割り当てる。
決定ボタン442、レリーズボタン42の1stレリーズ操作および2ndレリーズ操作には、効果記録開始機能が割り当てられる。したがって、決定ボタン442およびレリーズボタン42は、効果記録開始信号入力部522の一部をなす。
図28は、撮像装置51の動画記録時における状態遷移の概要を示す図である。動画記録開始後にライブビュー表示および動画記録表示に対して動画中特殊効果が設定されていない状態(状態I)において、シミュレーション信号入力部521によってシミュレーション信号が入力されると、画像処理制御部291は、ライブビュー表示に動画中特殊効果を適用する一方、動画記録では動画中特殊効果を適用しない制御を行う状態IIに遷移する。
ここで、シミュレーション信号が入力された場合に、撮像装置1がピクチャーブラケットのトランジットを実行するとき、画像処理制御部291は、動画中特殊効果画像処理部163におけるトランジット処理を、動画記録時と同じ処理内容で行わせるようにしてもよい。すなわち、係数bの変化は、図8の曲線L1にしたがうように制御する。これにより、ユーザは、動画記録時のトランジット効果を画面上で確認することができる。
状態IIにおいて、効果記録開始信号入力部522によって効果記録開始信号が入力されると、画像処理制御部291は、ライブビュー表示に加え、SDRAM25へ記録する際の画像にも動画中特殊効果の適用を開始する(状態III)。
状態IIIにおいて、効果停止信号入力部523によって効果停止信号が入力されると、画像処理制御部291は、ライブビュー表示および動画記録に対する動画中特殊効果の適用を停止する。これにより、撮像装置1は状態Iへ遷移する。
以上説明した本発明の実施の形態2によれば、撮像装置がシミュレーション信号入力部、効果開始信号入力部および効果停止信号入力部を備えることにより、ユーザは動画を記録するのに先立って試験的に特殊効果を適用し、その効果を画面上で確かめることができる。したがって、ユーザは、意図したタイミングで期待した効果が適用された、よりクリエイティブな動画を容易に撮影することができる。
なお、本実施の形態2では、効果記録開始信号の入力を受け付けた時点で動画中特殊効果を付与した画像の記録を開始したが、シミュレーション信号の入力を受け付けてから所定時間経過する間に別の操作が行われない場合には、自動的に動画中特殊効果を付与した画像の記録を開始するようにしてもよい。
(その他の実施の形態)
ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態1および2によってのみ限定されるべきものではない。
例えば、本発明において、表示部とは別に電子ビューファインダを本体部に設け、この電子ビューファインダにおいて本発明を適用するようにしてもよい。この場合には、表示部と電子ビューファインダとで動画中特殊効果の見え方が異なるようにすればより好ましい。
また、本発明においては、本体部とレンズ部とが一体的に形成されていてもよい。
また、本発明に係る撮像装置は、デジタル一眼レフカメラ以外にも、例えばアクセサリ等を装着可能なデジタルカメラ、デジタルビデオカメラおよび撮影機能を有する携帯電話やタブレット型携帯機器等の電子機器にも適用することができる。
なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。すなわち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
このように、本発明は、ここでは記載していない様々な実施の形態を含みうるものであり、特許請求の範囲によって特定される技術的思想の範囲内で種々の設計変更等を行うことが可能である。