JP5371501B2 - 画像処理装置、画像処理方法、および、画像処理プログラム - Google Patents

Description

本発明は、画像データに対して複数の特殊効果処理を施すことにより、複数の特殊効果画像データを生成して表示する技術に関する。

近年、デジタルカメラで得られる画像データに対して、ソフトフォーカスや銀塩フィルム調などの特殊効果処理を施す技術が知られている。また、ライブビュー画像データに対して特殊効果処理を施して、背面液晶等に表示することによって、撮影前にユーザが特殊効果を確認できるようにした技術も知られている。引用文献１では、複数の特殊効果処理を施したライブビュー画像をモニタにマルチ画面表示させることによって、ユーザが様々な特殊効果処理を一度に確認できるようにしている。

特開２００８−２１１８４３号公報

しかしながら、引用文献１に記載の技術のように、複数の特殊効果処理を施したライブビュー画像をモニタに一度に表示すると、表示されるそれぞれの画像が小さくなって、特殊効果を確認しづらくなるという問題があった。

本発明は、画像データに施す複数の特殊効果処理の効果を容易に確認することができる技術を提供することを目的とする。

本発明による画像処理装置、画像処理方法、および、画像処理プログラムは、画像データに対して複数の特殊効果処理を施して、それぞれの特殊効果処理に対応した複数の特殊効果画像データを生成し、複数の特殊効果画像データを時系列的に自動切り替えして、モニタに表示させる。また、画像データに対して、特殊効果処理を施さない通常処理を行って通常画像データも生成し、自動切り替えを行う際には、次の特殊効果画像データに切り替える前に、通常画像データを特殊効果画像データが表示される時間よりも短い所定時間表示させることを特徴とする。

本発明によれば、複数の特殊効果処理が施された複数の特殊効果画像データを時系列的に自動切り替えして表示するので、複数の特殊効果を容易に確認することができる。

一実施形態に係る画像処理装置を含むデジタルカメラの構成を示すブロック図である。 画像処理回路の詳細な構成を示すブロック図である。 階調変換部で階調変換処理を行う際の階調変換特性の一例を示す図である。 Ｙ信号の階調変換処理を行う際の階調変換特性の一例を示す図である。 Ｃ信号の階調変換処理を行う際の階調変換特性の一例を示す図である。 本実施の形態における画像処理装置によって行われる様々な特殊効果処理の処理時間を説明するための図である。 パターン（１）において、特殊効果処理の切り替えにおいて、合成画像を生成する際の合成係数を示す図である。 パターン（３）において、特殊効果処理の切り替え時に合成画像を生成する際の合成係数を示す図である。 パターン（１）において、特殊効果処理４から特殊効果処理２への切り替えを行う際のタイミングチャートを示している。 パターン（２）において、特殊効果処理１から特殊効果処理５への切り替えを行う際のタイミングチャートを示している。 パターン（３）において、特殊効果処理を施さない通常処理から特殊効果処理３への切り替えを行う際のタイミングチャートを示している。 一実施の形態における画像処理装置によって行われる処理内容を示すフローチャートである。

図１は、一実施の形態に係る画像処理装置を含むデジタルカメラの構成を示すブロック図である。このデジタルカメラは、撮像部１と、Ａ／Ｄ変換部２と、マイクロコンピュータ３（以下、マイコン３と呼ぶ）と、ＲＡＭ４と、ＲＯＭ５と、画像処理回路６と、操作部７と、背面液晶モニタ８と、メモリインターフェース９（以下、Ｉ／Ｆ９と呼ぶ）と、記録媒体１０とを備える。

撮像部１は、各画素を構成するフォトダイオードの前面に、複数のカラーフィルタが配置された単板式カラー撮像素子（以下、単に撮像素子と呼ぶ）、撮影光学系、および、これらの駆動部等から構成されている。カラーフィルタは、例えば、ベイヤー配列にて配列される。ベイヤー配列は、水平方向にＲ画素とＧ（Ｇｒ）画素が交互に配置されたラインと、Ｇ（Ｇｂ）画素とＢ画素が交互に配置されたラインとを有し、さらにその２つのラインを垂直方向にも交互に配置することで構成されている。撮像素子は、図示しないレンズにより集光された光を、画素を構成するフォトダイオードで受光して光電変換することで、光の量を電荷量としてＡ／Ｄ変換部２へ出力する。なお、撮像素子は、ＣＭＯＳ方式のものでもＣＣＤ方式のものでも良い。また、カラーフィルタは、ベイヤー配列以外の配列で構成されていてもよいし、Ｒ，Ｇ、Ｂ以外の色で構成されていてもよい。

Ａ/Ｄ変換部２は、撮像部１から出力された電気信号をデジタル画像信号（以後、画像データという）に変換する。

マイコン３は、デジタルカメラの全体的な制御を行う制御部である。例えば、マイコン３は、撮像部１内部の撮影光学系の焦点制御や撮像素子の露出制御、画像データを記録媒体１０に記録する際の記録制御、画像データを背面液晶モニタ８に表示する際の表示制御等を行う。また、マイコン３は、画像データに対して、様々な特殊効果を施す処理を行う。

ＲＡＭ４は、Ａ／Ｄ変換部２において得られた画像データや、後述する画像処理回路６で処理された画像データ等の各種データが一時的に記憶される記憶部である。ＲＯＭ５には、デジタルカメラの動作に必要な各種パラメータや、特殊効果処理に用いるパラメータ、および、マイコン３にて実行する各種プログラムが記憶されている。マイコン３は、ＲＯＭ５に記憶されているプログラムに従い、またＲＯＭ５から各種シーケンスに必要なパラメータを読み込み、各処理を実行する。

画像処理回路６は、ＲＡＭ４から読み出した画像データに対して様々な画像処理を施す。画像処理回路６で行う画像処理の詳細については後述する。画像処理回路６で画像処理が施された画像データは、Ｉ／Ｆ９を介して、記録媒体１０に記録される。記録媒体１０は、例えばデジタルカメラ本体に着脱可能なメモリカードからなる記録媒体であるが、これに限定されるものではない。

操作部７は、電源ボタン、レリーズボタン、各種入力キー等の操作部材である。ユーザによって、操作部７の何れかの操作部材が操作されることにより、マイコン３は、ユーザの操作に応じた各種シーケンスを実行する。電源ボタンは、当該デジタルカメラの電源のオン／オフ指示を行うための操作部材である。電源ボタンが押されたときに、マイコン３は、当該デジタルカメラの電源をオン又はオフする。レリーズボタンは、ファーストレリーズスイッチとセカンドレリーズスイッチの２段スイッチを有して構成されている。レリーズボタンが半押しされて、ファーストレリーズスイッチがオンされた場合に、マイコン３は、ＡＥ処理やＡＦ処理等の撮影準備シーケンスを行う。また、レリーズボタンが全押しされて、セカンドレリーズスイッチがオンされた場合に、マイコン３は、撮影シーケンスを実行して撮影を行う。

バス１１は、デジタルカメラ内部で発生した各種データをデジタルカメラ内の各部に転送するための転送路である。バス１１は、撮像部１と、Ａ/Ｄ変換部２と、マイコン３と、ＲＡＭ４と、ＲＯＭ５と、画像処理回路６と、操作部７と、背面液晶モニタ８と、Ｉ／Ｆ９に接続されている。

図２は、画像処理回路６の詳細な構成を示すブロック図である。画像処理回路６は、ノイズ低減部（図では、ＮＲ部）２１と、ホワイトバランス補正部（図では、ＷＢ部）２２と、同時化処理部２３と、色変換部２４と、階調変換部２５と、ＹＣ変換部２６と、エッジ抽出部２７と、エッジ強調部２８と、Ｙ階調変換部２９と、Ｃ階調変換部３０と、リサイズ部３１と、ＪＰＥＧ圧縮部３２と、ＪＰＥＧ伸長部３３と、合成部３４と、加算部３５とを備える。

ノイズ低減部２１は、Ａ／Ｄ変換部２で変換されて、ＲＡＭ４に記憶されている画像データに対して、ノイズを低減する処理を行う。このノイズ低減処理は、例えば、撮像素子の画素欠陥を補正する処理、および、撮像時に発生するランダムノイズを低減する処理である。ただし、撮像素子の画素欠陥を補正する処理、および、撮像時に発生するランダムノイズを低減する処理のうちの少なくとも一方の処理を行うようにしてもよいし、他のノイズ低減処理を行うようにしてもよい。

ホワイトバランス補正部２２は、ノイズ低減後の画像データのホワイトバランスを補正する処理を行う。

同時化処理部２３は、ベイヤー配列による画像データから、１画素あたりＲ、Ｇ、Ｂの情報からなる画像データへ同時化する処理を行う。同時化された画像データは、色変換部２４で所定の色変換処理が行われた後、階調変換部２５で階調変換処理が行われる。ここでは、背面液晶モニタ８のガンマ特性を考慮して、暗部を伸長し、明部を圧縮するような階調変換処理が行われる。図３は、階調変換部２５で階調変換処理を行う際の階調変換特性の一例を示す図である。ＲＯＭ５には、図３に示すような階調変換特性の階調変換テーブルが格納されており、階調変換部２５は、ＲＯＭ５からこの階調変換テーブルを読み出して、階調変換処理を行う。

ＹＣ変換部２６は、階調変換処理後の画像データを、Ｙ（輝度）信号とＣ（色）信号とに変換する。変換されたＹ信号は加算部３５へ出力され、Ｃ信号はＣ階調変換部３０へ出力される。

エッジ抽出部２７は、ノイズ低減部２１でノイズ低減処理が行われた画像データから、エッジを抽出する処理を行う。エッジ強調部２８は、エッジ抽出部２７で抽出されたエッジのデータに所定のゲインを乗じるエッジ強調処理を行う。

加算部３５は、ＹＣ変換部２６から出力されるＹ信号に対して、エッジ強調部２８から入力されるエッジデータを加算する。加算部３５から出力されるＹ信号は、Ｙ階調変換部２９で階調変換処理が行われる。図４は、Ｙ信号の階調変換処理を行う際の階調変換特性の一例を示す図である。この階調変換特性は、画像データのコントラストを強調する特性、すなわち、暗部および明部を圧縮して、中間調を伸長するような特性となっている。ＲＯＭ５には、図４に示すような階調変換特性の階調変換テーブルが格納されており、Ｙ階調変換部２９は、ＲＯＭ５からこの階調変換テーブルを読み出して、階調変換処理を行う。

Ｃ階調変換部３０は、Ｃ信号に対して階調変換処理を行う。図５は、Ｃ信号の階調変換処理を行う際の階調変換特性の一例を示す図である。ＲＯＭ５には、図５に示すような階調変換特性の階調変換テーブルが格納されており、Ｃ階調変換部３０は、ＲＯＭ５からこの階調変換テーブルを読み出して、階調変換処理を行う。

リサイズ部３１は、階調変換処理後のＹ信号およびＣ信号を、記録時の画像サイズに合わせてリサイズする。ＪＰＥＧ圧縮部３２は、リサイズされたＹ信号およびＣ信号に対してＪＰＥＧ圧縮を行う。ＪＰＥＧ圧縮後のデータは、Ｉ／Ｆ９を介して記録媒体１０に記録される。ＪＰＥＧ伸長部３３は、記録媒体１０に記録されているＪＰＥＧ圧縮データを読み出して、圧縮前の状態に戻す伸長処理を行う。

合成部３４は、ＲＡＭ４に格納されている少なくとも２つの画像データを合成する処理を行う。この画像データは、後述する特殊効果処理を施す前の画像データだけでなく、特殊効果処理が施された画像データも含まれる。

図６は、本実施の形態における画像処理装置によって行われる様々な特殊効果処理の処理時間を説明するための図である。様々な特殊効果処理としては、例えば、画像を適度にぼかすソフトフォーカス処理、ライティングをしたような仕上がりにするライトトーン処理、画像の周辺光量を落としたトイフォト処理、色をカラフルで印象的に強調するポップアート処理、粗い粒子でハイコントラストなモノクロ写真を再現するラフモノクローム処理等がある。ここでは、５つの特殊効果処理が行われるものとして説明する。

特殊効果処理では、まず、画像処理回路６によるハードウェア処理を行い、ハードウェア処理ではできない処理を、マイコン３によるソフトウェア処理で行う。図６において、「Ｈ」は、画像処理回路６で行われるハードウェア処理であり、「Ｓ」は、マイコン３で行われるソフトウェア処理である。ハードウェア処理は、いわゆるパイプライン処理であるため、処理内容によって処理パラメータが変わるだけで、処理時間は変わらない。一方、ソフトウェア処理は、処理内容によって、処理時間が異なる。図６に示す例では、ハードウェア処理のみを行う特殊効果処理１の処理時間が最も短く、ソフトウェア処理の時間が長い特殊効果処理５の処理時間が最も長い。

本実施の形態における画像処理装置では、複数の特殊効果処理を施したライブビュー画像（スルー画像とも呼ばれる）を背面液晶モニタ８に表示する。特に、図６で説明した特殊効果処理１から特殊効果処理５の５つの特殊効果処理を行い、特殊効果処理を施したライブビュー画像を順に背面液晶モニタ８に表示する。特殊効果処理を施す順番としては、以下の（１）〜（３）の３つのパターンがある。
（１）特殊効果処理１→特殊効果処理４→特殊効果処理２→特殊効果処理３→特殊効果処理１→特殊効果処理５
（２）特殊効果処理１→特殊効果処理５→特殊効果処理１→特殊効果処理４→特殊効果処理１→特殊効果処理３→特殊効果処理１→特殊効果処理２
（３）特殊効果処理無し→特殊効果処理１→特殊効果処理無し→特殊効果処理２→特殊効果処理無し→特殊効果処理３→特殊効果処理無し→特殊効果処理４→特殊効果処理無し→特殊効果処理５
上述した（１）〜（３）のパターンでは、処理時間の長い特殊効果処理同士、例えば、特殊効果処理４と特殊効果処理５や、特殊効果処理３と特殊効果処理５は連続しないようにしている。例えば、（２）のパターンでは、特殊効果処理２〜特殊効果処理５を施した画像を表示する際に、最も処理時間の短い特殊効果処理１を施した画像を間に表示するようにしている。また、（３）のパターンでは、特殊効果処理１〜特殊効果処理５を施した画像を表示する際に、特殊効果処理を施していない通常処理の画像を間に表示するようにしている。これは、後述するように、処理時間の長い特殊効果処理を連続して行うと、特殊効果を施したライブビュー画像を表示するまでに時間がかかるからである。

本実施の形態では、特殊効果処理が施された特殊効果画像データ（ライブビュー画像）を表示している状態から、次の特殊効果処理が施された特殊効果画像データ（ライブビュー画像）を表示させる前に、特殊効果処理が施された画像データと次の特殊効果処理が施された画像データとを合成した画像を背面液晶モニタ８に表示させる。例えば、特殊効果処理１から特殊効果処理４へ切り替える際に、特殊効果処理１が施された特殊効果画像データと特殊効果処理４が施された特殊効果画像データとを合成した画像を、特殊効果処理４が施された特殊効果画像データを表示する前に表示する。これにより、特殊効果処理１が施された状態から、徐々に、特殊効果処理４が施された状態へと移行させる。

図７は、上記（１）のパターンにおいて、特殊効果処理の切り替えにおいて、合成画像を生成する際の合成係数を示す図である。特殊効果処理１を施した画像データを表示している状態では、特殊効果処理１の合成係数は1.0である。特殊効果処理１から特殊効果処理４へ切り替える際には、特殊効果処理１の合成係数を1.0から0.0まで徐々に低減するとともに、特殊効果処理４の合成係数を0.0から1.0まで徐々に増大させる。特殊効果処理１の合成係数が0.0になると同時に、特殊効果処理４の合成係数が1.0になって、特殊効果処理１から特殊効果処理４への切り替えが完了する。特殊効果処理１および特殊効果処理４の合成係数がそれぞれ0.0より大きく1.0より小さい場合、それぞれの特殊効果処理を施した画像をそれぞれの合成係数に応じて合成した画像が表示される。従って、合成画像は、最初は特殊効果処理１の影響が大きく、その後、特殊効果処理１の影響が徐々に小さくなるとともに、特殊効果処理４の影響が徐々に大きくなっていく。

図８は、上記（３）のパターンにおいて、特殊効果処理の切り替え時に合成画像を生成する際の合成係数を示す図である。特殊効果処理を施していない通常処理の画像データを表示している状態では、通常処理の合成画像は1.0である。通常処理から特殊効果処理１へ切り替える際には、通常処理の合成係数を1.0から0.0まで徐々に低減するとともに、特殊効果処理１の合成係数を0.0から1.0まで徐々に増大させる。通常処理の合成係数が0.0になると同時に、特殊効果処理１の合成係数が1.0になって、通常処理から特殊効果処理１への切り替えが完了する。

ここで、特殊効果処理の合成係数を1.0としている期間Ｔｓを、通常処理の合成係数を1.0としている期間Ｔｎと比べて長くする。特殊効果処理を連続して表示するパターン（１）やパターン（２）に比べて、通常処理時の画像データを表示してから特殊効果処理を施した画像データを表示する場合、特殊効果処理の効果がより把握しやすくなる。通常処理による画像データの表示期間Ｔｎを、特殊効果処理を施した画像データの表示期間Ｔｓより短くすることにより、ユーザは、特殊効果処理の効果をより把握しやすくなる。

図９は、パターン（１）において、特殊効果処理４から特殊効果処理２への切り替えを行う際のタイミングチャートを示している。撮像クロック（図では、撮像ＣＬＫと表記）に同期して、Ａ／Ｄ変換後の画像データが読み出される（図では、データリードと表記）。撮像クロックは、例えば、１／６０（秒）周期である。

画像データの読み出し処理（Ｒ１）が完了すると、読み出した画像データに対して、まず、特殊効果処理４が施される。特殊効果処理４では、最初にハードウェア処理（Ｈ１）が施され、続いて、ソフトウェア処理（Ｓ１）が施される。特殊効果処理４のソフトウェア処理（Ｓ１）が開始されると同時に、特殊効果処理２のハードウェア処理（Ｈ１）が開始される。そして、特殊効果処理４のソフトウェア処理（Ｓ１）が完了すると、特殊効果処理２のソフトウェア処理（Ｓ１）が開始される。

続いて、特殊効果処理４が施された画像データと、特殊効果処理２が施された画像データを合成する処理（Ｃ１）が行われる。この合成処理は、図７を用いて説明した処理である。

合成処理（Ｃ１）が完了すると、合成画像を背面液晶モニタ８に表示する（Ｄ１）。以後、撮像クロックに同期して、画像データの読み出しから画像表示までの処理が繰り返し行われる。

図１０は、パターン（２）において、特殊効果処理１から特殊効果処理５への切り替えを行う際のタイミングチャートを示している。なお、特殊効果処理５から特殊効果処理１への切り替えを行う際のタイミングチャートも、図１０に示すものと同じである。撮像クロックに同期して、Ａ／Ｄ変換後の画像データを読み出す（Ｒ１）と、読み出した画像データに対して、まず、特殊効果処理５が施される。特殊効果処理５では、最初にハードウェア処理（Ｈ１）が施され、続いて、ソフトウェア処理（Ｓ１）が施される。特殊効果処理５のソフトウェア処理（Ｓ１）が開始されると同時に、特殊効果処理１のハードウェア処理（Ｈ１）が開始される。

特殊効果処理５を先に行うことにより、特殊効果処理５のソフトウェア処理時に、特殊効果処理１を同時に行うことができるため、特殊効果処理５に要する時間内に、特殊効果処理１および特殊効果処理５の両方の処理を行うことができる。逆に、特殊効果処理５より先に特殊効果処理１を行うと、特殊効果処理１が完了してから、特殊効果処理５を開始することになるため、処理時間が長くなってしまう。

特殊効果処理５が完了すると、特殊効果処理１が施された画像データと、特殊効果処理５が施された画像データを合成する処理（Ｃ１）が行われ、合成処理後の画像を背面液晶モニタ８に表示する（Ｄ１）。以後、撮像クロックに同期して、画像データの読み出しから画像表示までの処理が繰り返し行われる。

図１１は、パターン（３）において、特殊効果処理を施さない通常処理から特殊効果処理３への切り替えを行う際のタイミングチャートを示している。なお、特殊効果処理３から通常処理への切り替えを行う際のタイミングチャートも、図１１に示すものと同じである。撮像クロックに同期して、Ａ／Ｄ変換後の画像データを読み出す（Ｒ１）と、読み出した画像データに対して、まず、特殊効果処理３が施される。特殊効果処理３では、最初にハードウェア処理（Ｈ１）が施され、続いて、ソフトウェア処理（Ｓ１）が施される。特殊効果処理３のソフトウェア処理（Ｓ１）が開始されると同時に、通常処理のハードウェア処理（Ｈ１）が開始される。

通常処理より特殊効果処理３を先に行うことにより、特殊効果処理３のソフトウェア処理時に、通常処理を同時に行うことができるため、特殊効果処理３に要する時間内に、通常処理および特殊効果処理３の両方の処理を行うことができる。逆に、特殊効果処理３より先に通常処理を行うと、通常処理が完了してから、特殊効果処理３を開始することになるため、処理時間が長くなってしまう。

特殊効果処理３が完了すると、通常処理が施された画像データと、特殊効果処理３が施された画像データを合成する処理（Ｃ１）が行われ、合成処理後の画像を背面液晶モニタ８に表示する（Ｄ１）。以後、撮像クロックに同期して、画像データの読み出しから画像表示までの処理が繰り返し行われる。

図９〜図１１を用いて説明したように、上記パターン（１）〜（３）では、１撮像クロック内に、画像データの読み出しから、背面液晶モニタ８への画像表示までが完了するように、画像データに施す処理の順序が決められている。例えば、特殊効果処理４および特殊効果処理５のように、処理時間の長い特殊効果処理を連続して行うと、１撮像クロック内に、画像データの読み出しから、背面液晶モニタ８への画像表示までを完了させることができないため、順序的に連続しないようにする。

図１２は、一実施の形態における画像処理装置によって行われる処理内容を示すフローチャートである。ライブビュー機能がオンされると、ステップＳ１０の処理を開始する。なお、特殊効果処理を施す順番のパターンは、上記（１）〜（３）のパターンのうち、いずれか一つのパターンを予め設定しておいてもよいし、ユーザが上記（１）〜（３）のパターンの中から所望のパターンを選択できるようにしておいてもよい。

ステップＳ１０では、ライブビュー撮像処理を行う。ライブビュー撮像処理では、撮像素子の画素を間引いてデータを読み出す。

ステップＳ２０では、ファーストレリーズスイッチがオンされたか否かを判定する。ユーザによって、ファーストレリーズスイッチが押されたと判定するとステップＳ４０に進み、ファーストレリーズスイッチがオンされていないと判定すると、ステップＳ３０に進む。

ステップＳ３０では、周知の露出制御および焦点制御を実行する。

ステップＳ４０では、特殊効果処理に用いるパラメータを設定する。ＲＯＭ５には、特殊効果処理１〜特殊効果処理５に用いるパラメータがそれぞれ格納されており、処理を行う特殊効果処理に応じたパラメータをＲＯＭ５から読み出して設定する。例えば、パターン（１）の場合、図７に示すように、時間の経過とともに、特殊効果処理１から順に特殊効果処理が行われる。従って、処理開始からの経過時間に応じた特殊効果処理のパラメータをＲＯＭ５から読み出して設定する。

ステップＳ５０では、合成部３４で合成処理を行う際に用いる合成係数を設定する。この合成係数は、図７および図８を用いて説明したように、時間と共に変化する係数である。ＲＯＭ５には、処理開始からの経過時間と各特殊効果処理の合成係数との関係を示すデータが格納されており、処理開始からの経過時間に応じて、各特殊効果処理の合成係数を読み出して設定する。

ステップＳ６０では、図９〜図１１を用いて説明した方法により、ステップＳ４０で設定したパラメータを用いて特殊効果処理を行い、特殊効果処理を施した画像データに対して、ステップＳ５０で設定した合成係数を用いて、合成処理を行う。合成処理には、合成係数がそれぞれ、0.0、1.0で合成する処理も含まれる。

ステップＳ７０では、合成処理後の画像データをＲＡＭ４に格納する。ステップＳ８０では、ＲＡＭ４に格納した画像データを背面液晶モニタ８に表示させることによって、背面液晶モニタ８の表示の更新を行う。これにより、特殊効果処理が施されたライブビュー画像が表示される。

ステップＳ９０では、セカンドレリーズスイッチがオンされたか否かを判定する。セカンドレリーズスイッチがオンされていないと判定するとステップＳ１０に戻り、ステップＳ８０までの処理が再度行われる。すなわち、セカンドレリーズスイッチがオンされるまでは、特殊効果処理が施されたライブビュー画像の表示が継続して行われる。一方、ユーザによってセカンドレリーズスイッチがオンされたと判定すると、ステップＳ１００に進む。

ステップＳ１００では、撮像後の画像データに施す特殊効果の種類を判断する。特殊効果の種類の判断方法を以下で説明する。

ユーザは、背面液晶モニタ８に次々と表示される様々な特殊効果処理が施された画像の中から、所望の特殊効果処理が施された画像が表示されると、その表示の間に、セカンドレリーズスイッチを押す。例えば、特殊効果処理４が施された画像データが背面液晶モニタ８に表示されている間にユーザによってセカンドレリーズスイッチが押されると、撮像後の画像データに施す特殊効果の種類は、特殊効果処理４であると判断する。また、２つの画像データの合成画像が表示されている間にセカンドレリーズスイッチが押されると、撮像後の画像データに施す特殊効果の種類は、それら２つの特殊効果処理であると判断する。

ステップＳ１１０では、静止画撮像処理を行う。ステップＳ１０のライブビュー撮像処理では、撮像素子の画素を間引いてデータを読み出したが、ここでは、全画素から得られるデータを読み出す。

ステップＳ１２０では、ステップＳ１００で判断された特殊効果処理に応じたパラメータを設定する。上述したように、ＲＯＭ５には、特殊効果処理１〜特殊効果処理５に用いるパラメータがそれぞれ格納されており、ステップＳ１００で判断された特殊効果処理に応じたパラメータをＲＯＭ５から読み出して設定する。ステップＳ１００で判断された特殊効果処理が２つある場合には、２つの特殊効果処理に応じたパラメータをそれぞれＲＯＭ５から読み出して設定する。

ステップＳ１３０では、合成部３４で合成処理を行う際に用いる合成係数を設定する。ステップＳ１００で判断された特殊効果処理が１つの場合には、合成係数を1.0とする。一方、ステップＳ１００で判断された特殊効果処理が２つの場合には、ユーザによってセカンドレリーズスイッチが押された際の合成係数を設定する。例えば、特殊効果処理１の合成係数が0.7、特殊効果処理４の合成係数が0.3の合成画像が背面液晶モニタ８に表示されている時にセカンドレリーズスイッチが押された場合には、特殊効果処理１の合成係数を0.7、特殊効果処理４の合成係数を0.3に設定する。

ステップＳ１４０では、ステップＳ１２０で設定したパラメータを用いて特殊効果処理を行い、特殊効果処理を施した画像データに対して、ステップＳ１３０で設定した合成係数を用いて、合成処理を行う。ステップＳ１００で判断された特殊効果処理が１つの場合には、合成対象の画像データ（合成係数は1.0）が１つであるため、実際には合成処理は行われない。

ステップＳ１５０では、ＪＰＥＧ圧縮部３２において、ステップＳ１４０の処理が完了した画像データに対して、ＪＰＥＧ圧縮を行う。ステップＳ１６０では、ＪＰＥＧ圧縮された画像データをＲＡＭ４に格納する。

ステップＳ１７０では、画像の記録モードや露出条件などの撮影情報をフィルヘッダ情報として作成し、ステップＳ１８０では、作成されたファイルヘッダ情報を、ＪＰＥＧ圧縮されてＲＡＭ４に一時的に格納された画像データに付加して、Ｉ／Ｆ９を介して記録媒体１０に記録する。

以上、一実施の形態における画像処理装置によれば、ライブビュー画像データに対して複数の特殊効果処理を施して、それぞれの特殊効果処理に対応した複数の特殊効果画像データを生成し、生成した複数の特殊効果画像データを時系列的に自動切り替えして、背面液晶モニタ８に表示させる。これにより、複数の特殊効果画像データを縮小せずに、背面液晶モニタ８に表示させることができるので、ユーザは、複数の特殊効果処理を確実かつ容易に確認することができる。

上記（３）のパターンで表示の切り替えを行う場合、次の特殊効果画像データに切り替える前に、特殊効果処理を施していない通常画像データを所定時間表示させるので、特殊効果画像データを連続して表示させる場合に比べて、特殊効果を確認しやすくなる。特に、通常画像データの表示時間を、特殊効果画像データの表示時間に比べて短くするので、ユーザは、特殊効果をより確実に確認することができる。

また、背面液晶モニタ８の表示を、通常画像データから特殊効果画像データに切り替える際に、特殊効果画像データおよび通常画像データを加重合成した合成画像データを表示させてから、特殊効果画像データを表示させるので、ユーザは、特殊効果をより確実に確認することができる。

上述した一実施の形態における画像処理装置によれば、複数の特殊効果処理に要する時間が所定の範囲内になるように、複数の特殊効果処理を行う順序を決定するので、特殊効果処理に多大な時間がかかって、特殊効果処理を施した特殊効果画像データの表示時間が遅くなるのを防ぐことができる。

なお、上述した一実施の形態の説明では、画像処理装置が行う処理としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。この場合、画像処理装置は、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読み取り可能な記憶媒体を備えている。ここでは、このプログラムを画像処理プログラムと呼ぶ。そして、ＣＰＵが上記記憶媒体に記憶されている画像処理プログラムを読み出して、情報の加工・演算処理を実行することにより、上述の画像処理装置と同様の処理を実現させる。

ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、この画像処理プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該画像処理プログラムを実行するようにしても良い。

本発明は、上述した一実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば、図１２に示すフローチャートの説明では、２つの画像データの合成画像が背面液晶モニタ８に表示されている間にセカンドレリーズスイッチが押されると、撮像後の画像データに施す特殊効果の種類は、それら２つの特殊効果処理であると判断した。しかしい、セカンドレリーズスイッチが押された時の合成係数が大きい方の特殊効果処理のみを撮像後の画像データに施すようにしてもよい。この場合、合成係数が共に0.5の時に、セカンドレリーズスイッチが押された場合には、既に表示されていた方の特殊効果処理が選択されたと判断することができる。例えば、特殊処理効果１から特殊処理効果４への切り替え途中であって、合成係数が共に0.5の時にセカンドレリーズスイッチが押された場合には、撮像後の画像データに施す特殊効果の種類は、特殊効果処理１であると判断する。

上述した実施の形態では、画像処理装置をデジタルカメラに適用した例を挙げて説明した。しかし、既に撮像された画像データを記憶装置に格納しておき、画像処理装置としてのコンピュータが記憶装置から画像データを読み込んで、複数の特殊効果処理を施し、複数の特殊効果画像データを時系列的に自動切り替えして、モニタに表示させるようにしてもよい。

背面液晶モニタ８に時系列的に表示するために、画像データに施す特殊効果処理は、デジタルカメラが備えている全ての種類の特殊効果処理であってもよいし、ユーザが指定した種類の特殊効果処理であってもよい。

特殊効果処理を施す順番は、上記（１）〜（３）のパターンに限定されることはない。ただし、複数の特殊効果処理に要する時間が所定の範囲内になるように、複数の特殊効果処理を行う順序を決定することが好ましい。

１…撮像部
２…Ａ／Ｄ変換部
３…マイコン
４…ＲＡＭ
５…ＲＯＭ
６…画像処理回路
７…操作部
８…背面液晶モニタ
９…Ｉ／Ｆ
１０…記録媒体
２１…ノイズ低減部
２２…ホワイトバランス補正部
２３…同時化処理部
２４…色変換部
２５…階調変換部
２６…ＹＣ変換部
２７…エッジ抽出部
２８…エッジ強調部
２９…Ｙ階調変換部
３０…Ｃ階調変換部
３１…リサイズ部
３２…ＪＰＥＧ圧縮部
３３…ＪＰＥＧ伸長部
３４…合成部
３５…加算部

Claims (11)

1. 画像データに対して特殊効果処理を施すことにより得られるライブビュー画像をモニタに表示する画像処理装置であって、
   画像データに対して複数の異なる特殊効果処理を施して、それぞれの特殊効果処理に対応した複数の異なる特殊効果画像データを生成する画像処理部と、
   前記複数の異なる特殊効果画像データを時系列的に自動切り替えして、前記モニタに表示させる制御部と、
   を備え、
   前記画像処理部は、画像データに対して、前記特殊効果処理と前記特殊効果処理を施さない通常処理とを行って、それぞれ特殊効果画像データと通常画像データを生成するものであって、
   前記制御部は、前記自動切り替えを行う際には、次の特殊効果画像データに切り替える前に、前記通常画像データを所定時間表示させ、
   前記所定時間は、前記特殊効果画像データが表示される時間よりも短いことを特徴とする画像処理装置。
2. 前記特殊効果画像データおよび前記通常画像データを加重合成して、合成画像データを生成する合成部をさらに備え、
   前記制御部は、前記モニタの表示を、前記通常画像データから前記特殊効果画像データに切り替える際に、前記合成画像データを表示させてから、前記特殊効果画像データを表示させることを特徴とする請求項１に記載の画像処理装置。
3. 前記特殊効果画像データおよび前記通常画像データを加重合成して、合成画像データを生成する合成部をさらに備え、
   前記制御部は、前記モニタの表示を、前記特殊効果画像データから前記通常画像データに切り替える際に、前記合成画像データを表示させてから、前記通常画像データを表示させることを特徴とする請求項１に記載の画像処理装置。
4. 前記合成画像データが前記モニタに表示されているときにユーザから指示が出されたタイミングの合成比率に基づいて、撮像画像に施す特殊効果処理を決定する特殊効果処理決定部をさらに備えることを特徴とする請求項２または請求項３に記載の画像処理装置。
5. 前記画像処理部は、画像データに対して、２種類以上の特殊効果処理を行って、２種類以上の特殊効果画像データを生成するものであって、
   前記２種類以上の特殊効果画像データを加重合成して、合成画像データを生成する合成部をさらに備え、
   前記制御部は、前記モニタの表示を、前記２種類以上の特殊効果画像データで切り替える際に、前記合成画像データを表示させることを特徴とする請求項１に記載の画像処理装置。
6. 前記合成画像データが前記モニタに表示されているときにユーザから指示が出されたタイミングの合成比率に基づいて、撮像画像に施す特殊効果処理を決定する特殊効果処理決定部をさらに備えることを特徴とする請求項５に記載の画像処理装置。
7. 前記制御部は、前記画像処理部で行われる複数の特殊効果処理に要する時間が所定の範囲内になるように、前記複数の特殊効果処理を行う順序を決定することを特徴とする請求項５または請求項６に記載の画像処理装置。
8. 前記特殊効果処理決定部は、前記合成画像データが前記モニタに表示されているときに、レリーズスイッチが押されたタイミングを、前記ユーザから指示が出されたタイミングと判断することを特徴とする請求項４または請求項６に記載の画像処理装置。
9. 被写体を撮像して画像データを得る撮像部と、
   画像データを表示する表示部と、
   前記撮像された画像データに対して複数の異なる特殊効果処理を施して、それぞれの特殊効果処理に対応した複数の異なる特殊効果画像データを生成する画像処理部と、
   前記複数の異なる特殊効果画像データを時系列的に自動切り替えして、前記表示部に表示させる制御部と、
   を備え、
   前記画像処理部は、画像データに対して、前記特殊効果処理と前記特殊効果処理を施さない通常処理とを行って、それぞれ特殊効果画像データと通常画像データを生成するものであって、
   前記制御部は、前記自動切り替えを行う際には、次の特殊効果画像データに切り替える前に、前記通常画像データを所定時間表示させ、
   前記所定時間は、前記特殊効果画像データが表示される時間よりも短いことを特徴とする撮像装置。
10. 画像データに対して特殊効果処理を施すことにより得られるライブビュー画像をモニタに表示する画像処理方法であって、
    画像データに対して複数の異なる特殊効果処理を施して、それぞれの特殊効果処理に対応した複数の異なる特殊効果画像データを生成するステップと、
    画像データに対して前記特殊効果処理を施さない通常処理を行って、通常画像データを生成するステップと、
    前記複数の異なる特殊効果画像データを時系列的に自動切り替えして、前記モニタに表示させるステップと、
    を備え、
    前記複数の特殊効果画像データを時系列的に自動切り替えして前記モニタに表示させるステップでは、次の特殊効果画像データに切り替える前に、前記通常画像データを所定時間表示させ、
    前記所定時間は、前記特殊効果画像データが表示される時間よりも短いことを特徴とする画像処理方法。
11. 画像データに対して特殊効果処理を施すことにより得られるライブビュー画像をモニタに表示するための画像処理プログラムであって、
    画像データに対して複数の異なる特殊効果処理を施して、それぞれの特殊効果処理に対応した複数の異なる特殊効果画像データを生成するステップと、
    画像データに対して前記特殊効果処理を施さない通常処理を行って、通常画像データを生成するステップと、
    前記複数の異なる特殊効果画像データを時系列的に自動切り替えして、前記モニタに表示させるステップと、
    をコンピュータに実行させるものであって、
    前記複数の特殊効果画像データを時系列的に自動切り替えして前記モニタに表示させるステップでは、次の特殊効果画像データに切り替える前に、前記通常画像データを所定時間表示させ、
    前記所定時間は、前記特殊効果画像データが表示される時間よりも短いことを特徴とする画像処理プログラム。

Images