JP5943613B2 - 画像処理装置及び画像処理装置の制御方法 - Google Patents

Description

本発明はデジタル画像データに対してフィルム調の効果を与える画像処理装置及び画像処理装置の制御方法に関するものである。

近年、デジタルカメラの画像表現の一つとして、撮影画像に対しフィルム撮影を行ったかのような効果を付加することで、様々な表現による撮影を行う方法が提案されている。特許文献１では、フィルム撮影による色再現性や階調性を再現するためにデジタル画像に所定の変換を施し、これを近づける方法が提案されている。また、特許文献２では、フィルム調の効果を複数施す場合に、ユーザー操作により順次実行する方法が提案されている。

特開２００１−３４６２１８号公報 特開平１１−１８００５号公報

しかしながら、画像データに複数のフィルム調の画像効果を施す場合の、各画像効果を施す処理を掛ける順番については、ユーザー操作により単に手動で決めるものしか考えられていなかった。

本発明は、上述の課題に鑑みたものであって、複数の異なるフィルム調の画像効果を付加する処理を画像データに施す場合に、画像効果の付加順序を考慮する画像処理装置及び画像処理装置の制御方法を提供することにある。

上記課題に鑑み、本発明の画像処理装置は、請求項１に記載の通り、画像データを順次取得する取得手段と、前記画像データに画像の周辺を歪ませる歪曲処理を施す第１の処理手段と、前記第１の処理手段で処理された画像データにノイズを付加する処理を施す第２の処理手段と、前記第２の処理手段で処理され、順次出力される画像データにぶれを付加する処理を施す第３の処理手段と、前記第３の処理手段で処理された画像データにランダムに決まる入出力特性で輝度の補正を行う第４の処理手段と、を有することを特徴とする。

また、本発明の画像処理装置の制御方法は、請求項８に記載の通り、画像データを順次取得する取得ステップと、前記画像データに画像の周辺を歪ませる歪曲処理を施す第１の処理ステップと、前記第１の処理ステップで処理された画像データにノイズを付加する処理を施す第２の処理ステップと、前記第２の処理ステップで処理され、順次出力される画像データにぶれを付加する処理を施す第３の処理ステップと、前記第３の処理ステップで処理された画像データにランダムに決まる入出力特性で輝度の補正を行う第４の処理ステップと、を有することを特徴とする。

複数の異なるフィルム調の画像効果を与える場合に画像の上下ぶれおよび明滅の効果を他の効果の後に付加することで、よりフィルム撮影の結果に近い効果を得ることが可能である。

第一の実施形態の撮像装置のブロック図 第二の実施形態の撮像装置のブロック図 フィルムカメラにおける撮影から上映までの過程を示す図 フィルムカメラにおいて発生する現象とフィルム調の画像効果を示す図 第一の実施形態の効果の付加順を示した図 第一の実施形態の各効果の優先度を示した図 第二の実施形態の効果の付加順を示した図 第二の実施形態の各効果の優先度を示した図 第一の実施形態の効果の付加順決定のためのフローチャート 第二の実施形態の効果の付加順決定のためのフローチャート 本発明における歪曲の効果を示す図 本発明におけるグレインノイズの効果を示す図 本発明におけるスクラッチノイズの効果を示す図 本発明における退色の効果を示す図 本発明における上下ぶれの効果を示す図 本発明における明滅の効果を示す図 本発明における効果の選択画面の構成図

＜第１の実施形態＞
デジタルカメラにおいて画像に対し複数種類のフィルム調の画像効果を付加する場合、各効果を付加する順序を考慮する必要がある。フィルムの特性や現像の過程で発生する粒状ノイズを再現するグレインノイズ効果とフィルムの経年変化による退色を再現する色再現効果の異なる効果を画像に付加する場合を例に挙げて、説明する。

図３はフィルムカメラで動画を撮影してから上映するまでの過程を示しており、図４は図３で挙げた各過程で発生する主な現象に起因する効果を画像処理によって実現する部を示している。フィルム撮影から上映までの過程を（１）撮影、（２）現像・編集、（３）保管、（４）上映の４つに分ける。フィルムカメラにおいては上流の撮影の過程から下流の上映の過程を経る。

第１の過程である撮影はフィルムカメラ３０１を用いてフィルムへの撮影を行う過程である。この過程では入射光のフィルム面への結像と感光が行われる。フィルムカメラ３０１に装備されているレンズの光学特性や利用しているフィルムの化学特性の違いが主な現象として現れる。これらの現象に起因する効果として、例えばレンズの光学特性の違いによる歪曲収差が挙げられる。

第２の過程である現像・編集の過程は、フィルムの現像および編集を行う過程である。この過程ではフィルムの現像工程における現像時間や現像手法の違い、また現像作業のミスによるフィルム面３０２の損傷が主な現象として現れる。例えば現像手法の違いに起因して発生する効果として粒状ノイズが挙げられる。またフィルム面３０２の損傷に起因する効果としてスクラッチノイズが挙げられる。

第３の過程である保管の過程は、現像および編集が終わったフィルム３０３を保管している過程である。この過程では化学変化による経年劣化で発生したフィルム３０３の変質が主な現象として現れる。例えば、フィルムの変質に起因して発生する効果として退色が挙げられる。

第４の過程である上映の過程は、映写機３０４にフィルムをかけ、上映を行う過程である。この過程ではフィルムを巻き付けているリールが上映時に回転する際の回転ムラや映写機３０４の光源の明るさの変動が主な現象として挙げられる。例えばリールの回転ムラに起因して発生する効果として画像の上下ぶれが挙げられる。また、光源の明るさのムラに起因して発生する効果として明滅の効果が挙げられる。

上述のことからフィルム撮影で発生する現象は粒状ノイズ、退色の順で現象が発生する。従って、フィルム調の画像効果を複数付加する場合も、フィルム撮影で発生する現象と同じ順で画像効果を付加することが望ましい。

そこで、本実施形態では、取得する画像データに画像効果を加える処理を施す際に、フィルム撮影で発生する現象と同じ順序となるように画像効果を付加することを特徴とする。

図１は第１の実施形態における画像処理装置としてのデジタルビデオカメラのブロック図である。１００はレンズ、絞りとこれらを駆動するアクチュエータから成る光学部、１０１は撮像素子と撮像素子から読み出した信号の処理を行い画像データとして順次取得し、出力する撮像部である。１０２は映像信号の記録を行う記録部、１０３はフィルム調の画像効果をユーザーが選択し、決定するためのスイッチ群で構成されるキースイッチである。

１０４、１０５は被写体像を結像するためのレンズで構成されるレンズ群である。１０７は入射光量を調節する絞りである。１０６はレンズ１０４と絞り１０７を指示された所定値に駆動するアクチュエータを含む駆動制御部である。撮像素子１０８は光学部１００を通過し結像した入射光を光電変換する。光電変換された信号はカメラ信号処理部１０９へ入力される。カメラ信号処理部１０９では光電変換された信号に対し各種の画像処理を行い映像信号へ変換を行う。カメラ信号処理部１０９から出力された映像信号は画像効果処理部１１３で各種のフィルム調の画像効果が付加される。画像効果処理部１１３から出力された映像信号は所定のユーザーインターフェース画面（以下ＵＩ画面）が重畳されて、表示部１３４に表示される。また画像効果処理部１１３から出力された映像信号はエンコーダ１３２で所定の記録フォーマットで符号化され、記録メディア１３３へ書き込みされ、保存される。

次にカメラ信号処理部１０９の信号処理について説明する。カメラ信号処理部１０９へ入力した信号は輝度成分、色成分に分離される。分離された輝度成分、色成分の各信号成分に対し、ガンマ処理、カラーマトリクス処理、輪郭強調処理などの各種信号処理が行われる。処理後の信号は撮像画像として画像効果処理部１１３へ入力される。１１５は画像効果処理部１１３で処理された画像を格納するフレームメモリであり、所定のタイミングで画像の読み書きが行われる。

画像効果処理部１１３は複数の異なるフィルム調の画像効果を入力画像に付加する。付加する効果は、歪みを与える「歪曲」、粒子状のノイズを加える「グレインノイズ」、縦線状のノイズを加える「スクラッチノイズ」、彩度を下げる「退色」、時間変化する輝度レベルの変動を与える「明滅」、上下方向のぶれを与える「上下ぶれ」である。画像効果処理部１１３で加える上記効果は、フィルムを記録媒体とした動画撮影における記録（以下、撮影）から再生（以下、上映）までの過程で発生する現象と同様の効果を画像処理により実現する。従って本実施形態のように撮像素子によるデジタルの撮影画像であっても疑似的にフィルム撮影および上映された場合と同様の効果を得られる。歪曲収差を画像効果処理部１１３で実現するには、画像に対し射影変換処理を施すことで可能である。またフィルム面に発生した粒状ノイズを画像効果処理部１１３で実現するには、予め用意したグレインノイズ画像を入力画像に合成することで可能である。同様にフィルム面の損傷で発生したスクラッチノイズを画像効果処理部１１３で実現するには、予め用意したスクラッチノイズ画像を入力画像に合成することで可能である。また経年劣化による退色を画像効果処理部１１３で実現するには、画像の彩度の強度を下げることで可能である。リールの回転ムラは例えば上映シーンの垂直方向の変化となって現れるため、画像効果処理部１１３で実現するには、画像に上下方向のぶれを与える上下ぶれの効果を付加することで可能である。また光源の明るさの変動は、画像に時間で変化する輝度レベルの変動を加える明滅の効果を付加することで実現可能である。

システムコントローラ１１４は、撮像素子１０８とカメラ信号処理部１０９、画像効果処理部１１３の制御を行う。撮像素子１０８に対しては、信号の蓄積期間や読み出しタイミングの指示を行う。カメラ画像処理部１０９に対しては、各種信号処理で画質設定に必要なパラメータの設定を行う。またカメラ画像処理部１０９からは、露出制御、フォーカス制御、ホワイトバランス制御の各制御に必要な評価値を取得する。レンズ１０４と絞り１０７からは、その制御位置を検出し、カメラ画像処理部１０９から取得した評価値に基づき、制御位置が所望の位置となるように制御値を決定し、アクチュエータ１０６に制御値を指示する。システムコントローラ１１４は、画像効果処理部１１３に対しては各効果処理部に対し、効果の実行順の決定と各種設定と動作の指示を行う。

次に画像効果処理部１１３で上記フィルム調の画像効果を付加する画像処理の詳細について説明する。図１１は本実施形態における「歪曲」を実現するための射影変換処理（歪曲処理、第１の処理）を説明する図である。射影変換処理では入力された撮像画像に対し、入力画像を所定数の分割領域に分割し、分割領域の各交点を所定の座標に移動することで入力画像の変形を実現する。分割領域の最小単位は画像を構成する画素１画素分であり、座標移動の最小単位も１画素分とする。各交点の移動量の絶対量は画像中心に対し点対称となっており、同心円状に変化する歪曲効果を実現できる。

また、歪曲収差には樽型と糸巻き型があるが、交点の移動特性を変えることでこれら二種類の歪曲収差を実現することができる。樽型は画像中心から外方向に交点の座標位置を移動することで実現できる。樽型歪曲の効果により、図１１ａの変形前の交点１１０１は図１１ｂの変形後の交点１１０２に移動する。一方、糸巻き型歪みは、画像中心方向に変形を行うことで実現できる。糸巻き型歪曲の効果により図１１ａ変形前の交点１１０１は図１１ｃの変形後の交点１１０２に移動する。樽型および糸巻き型の効果の違いは射影変換処理部に歪曲効果の種別として与えられる。

図１の１１６は入力画像に与える変形量を演算する変形量演算部である。変形量演算部１１６はフレームメモリ１１５から入力された画像を所定の分割領域に分割した際の各領域の交点の移動量を決定する。変形処理部１１７は入力画像に対し、変形量演算部１１６で決定した変形量に従い、射影変換処理を施す。

変形量演算部１１６はメモリ１３５に格納された複数の変形量データ１１０から得たパラメータに基づき、複数パターンの交点の移動量を得ることができる。従って同じ入力画像に対して、変形量データパラメータの選択によって異なる歪曲特性を付加した画像を得ることができる。すなわち歪曲の度合いや樽型、糸巻き型という歪曲の種別の異なる光学特性のレンズで撮影された画像と同様の効果を与えることができる。

図１２はグレインノイズを構成しているノイズデータと切り出したノイズデータの関係を示した図である。グレインノイズメモリ１１８はグレインノイズとして２次元ノイズデータ１２０１を格納している。グレイン切り出し処理部１１９はグレインノイズメモリ１１８から所定の位置と大きさのグレインノイズデータ１２０２を切り出す。切り出したグレインノイズデータ１２０２は、グレインリサイズ処理部１２０において、入力画像との合成に必要な大きさのグレインノイズデータ１２０３にリサイズ処理される。グレイン合成処理部１２１はフレームメモリ１１５に格納されている撮像画像を読み出し、所定の合成比率でグレインノイズデータ１２０３と合成して、フレームメモリ１１５に格納する。

図１３は複数パターンのスクラッチノイズで構成されているノイズデータとそこから切り出すデータの関係を示した図である。スクラッチノイズデータ１３０１は水平方向の１画素を最小単位とし、垂直方向にスクラッチ傷が記憶されており、その強度は乱数で決定されている。また垂直方向は複数画素を最小単位として強度が変化しており、これにより、垂直方向にスクラッチノイズの濃さや太さが変化し、傷の「かすれ」を表現する。乱数はガウス分布をはじめとして様々なものが考えられるが、その種類には依らない。ノイズの合成において、スクラッチノイズデータ１３０１から切り出しノイズデータ１３０２を切り出し、さらに所定の画像サイズにリサイズして貼り付けノイズデータ１３０４を生成する。そして前回までの貼り付けノイズデータ１３０４の貼り付け位置とその位置での貼り付けの継続時間に応じて今回の貼り付けノイズデータ１３０４の貼り付け位置を決定し、撮像画像に合成する。

図１のスクラッチノイズメモリ１２２は複数のパターンから構成されているスクラッチノイズデータ１３０１を格納している。スクラッチノイズデータ１３０１はスクラッチノイズメモリ１２２から読み出される。スクラッチ切り出し処理部１２３はスクラッチノイズデータ１３０１上から指定された位置と大きさの切り出しスクラッチノイズデータ１３０２を切り出す。切り出しノイズデータ１３０２はスクラッチリサイズ処理部１２４でフレームメモリ１１５に格納されている撮像画像１３０３との合成に必要な大きさのリサイズ済みスクラッチノイズデータ１３０４にリサイズ処理される。スクラッチ合成処理部１２５はフレームメモリ１１５に格納されている撮像画像を読み出し、所定の合成比率でリサイズ済みノイズデータ１３０４と合成して、フレームメモリ１１５に格納する。

図１４は本実施形態における退色を実現するための色差信号の補正処理について説明している。色差補正処理では、入力された撮像画像に対し、所定の入出力特性で出力画像の主に色差成分を変化させることで映像信号の彩度を低下させ、退色を実現する。例えば入力画像がＹＵＶフォーマットの場合、色差成分であるＵ信号およびＶ信号のデータについて補正処理を行う。もちろん、適宜Ｙ信号に補正処理を施しても良い。その結果、画像の輝度信号の維持したまま、色成分の強度だけが変化した結果を得ることができる。色差信号の変化の最小単位は出力画像の信号の最小分解能である。

図１のメモリ１３５は、映像信号の色差の入出力特性を決定する複数の色差特性データ１１１を格納している。例えば特性１４０１、１４０２、１４０３に示す一次関数で表される場合、パラメータデータとしては直線の傾き、切片がある。上記の特性１４０１は退色がない通常の特性を示し、特性１４０２は特性１４０１より退色している、すなわち色が薄い特性を示し、特性１４０３は特性１４０２よりさらに色が薄い特性を示す。経年変化の度合い、例えばフィルムの現像からの経過年数に応じて特性データを決定する。決定されたパラメータデータは色差補正処理部１２６へ送られる。色補正処理部１２６は決定された特性となるパラメータデータに応じて、フレームメモリ１１５から読み出した撮像画像に対し、色差の入出力特性の補正を行い、補正済みの撮像画像をフレームメモリ１１５に出力する。また、前述したように輝度信号に対してもゲイン等の補正処理を施しても良い。

図１５は撮像素子で撮像した撮像画像が格納されているフレームメモリ１１５内のデータの構造とフレームメモリ１１５から任意の位置で切り出しを行った場合に表示される画像を示した図である。フレームメモリ内のデータは逐次更新されている。上下ぶれ処理の対象となる撮像画像の前後の領域には別の用途のデータが格納されているが、上下ぶれ処理としては関連のないデータであるためノイズデータと見なせる。格納されている撮像画像を所定の切り出し開始位置で、かつ所定の切り出し範囲で切り出しを行うと、表示画像１５００として出力される。この時、切り出し開始位置を乱数で決定することで、無作為に決定した位置から切り出しを行うことができる。その結果、上下ぶれの効果を付加した撮像画像は表示画像１５０１、１５０２のように出力される。切り出し開始位置は画像の垂直方向の１画素分つまり１ライン分を最小単位として決定される。また、切り出し開始位置を決定する乱数は、ガウス分布をはじめとして様々なものが考えられるが、その種類には依らない。

また、上下ぶれ量すなわち、ぶれがない状態を基準位置として、基準位置から切り出し開始位置までのオフセット量（ぶれ量）に上限を設けることで、一定量以上のぶれが発生しないようにしている。また、異なる周期で決定した二つの上下ぶれ量の和を切り出し開始位置とする。これにより、フィルムの送出動作で発生する上下ぶれとフィルムの巻き取り動作で発生する上下ぶれのように異なる種類のぶれの組み合わせとして構成される上下ぶれを表現することが可能である。

上述したように上下ぶれの効果を付加すると、表示画像の下部にノイズデータ（取得された画像データの存在しないデータ）が表示されるため、これを隠蔽する必要がある。以下に隠蔽方法を示す。上下ぶれの無い撮像画像１５０３に対し、任意の上下ぶれが発生した撮像画像１５０４、１５０５には画面下部にノイズデータが表示される。隠蔽方法として例えば、マスクを付加する方法、あるいは拡大する方法が考えられる。

マスクを付加する方法では、撮像画像１５０７に対し、上下ぶれの最大ぶれ幅（上記オフセット量）以上となるマスク画像１５０６を画面下部に重畳しノイズデータを隠す。この時、画面上部にも同じ大きさのマスク画像を重畳することで、いわゆるレターボックス状態のアスペクト比の撮像画像１５０５を表示することができる。

一方、マスクを付加するのではなく、切り出された画像データを元の画像サイズまで拡大する方法でもよい。この場合、システムコントローラ１１４は、上下ぶれを発生させる撮像画像１５０８の内側にある上下ぶれの最大ぶれ幅を含まない領域１５０９の高さが画面高に等しくなるように画像データを拡大することで、表示画像１５１０として表示することができる。このとき、画面のアスペクト比を維持しておく必要がある。

切り出し処理部１２９は上下ぶれの効果を与えるためにフレームメモリ１１５から撮像画像をぶれ量演算部１２８で指定された任意の位置で読み出しを行い、フレームメモリ１１５へ格納する。

マスク生成部１３０は所定の上下幅のマスク画像を生成する。この所定の上下幅は、現在画像データに付加されている最大ぶれ幅をシステムコントローラ１１４から取得し、最大ぶれ幅以上に設定しても良いし、予め十分な上下幅で記憶されているものを用いても良い。マスク合成処理部１３１は所定のタイミングでフレームメモリ１１５に格納されている撮像画像１５０７と、マスク処理部１３０７が生成したマスク画像１３０８の合成を行い、合成画像を出力する。

図１６は本実施形態における明滅を実現するための輝度信号の補正処理について説明している。輝度補正処理では入力された撮像画像に対し、逐次異なる入出力特性で出力画像の輝度成分を変化させることで明滅を実現する。輝度信号の変化の最小単位は出力画像の信号の最小分解能であり、時間の最小単位は撮像画像の更新周期となる。基準となる特性１６０１から特性１６０２、１６０３、１６０４の実線で示される特性の順に補正した場合、撮像画像は画像１６０６、１６０７、１６０８となる。この時、画像１６０８＞画像１６０５＞画像１６０７＞画像１６０６の順で明るい。明滅をランダムに発生させるため、例えば入出力特性を構成するパラメータデータを複数用意しておき、その中からどのパラメータデータを利用するかを乱数で決定することが考えられる。このパラメータデータ決定の乱数は、ガウス分布をはじめとして様々なものが考えられるが、その種類には依らない。

図１のメモリ１３５は映像信号の輝度の入出力特性を決定する複数の輝度特性データ格納部１１２を格納している。例えば特性が１６０１〜１６０４のように一次関数で表される場合、パラメータデータとしては直線の傾き、切片がある。また特性１６０４のように、入力が大きい場合に出力をクリップするポイントやクリップされる値もパラメータデータである。決定されたパラメータデータは輝度補正処理部１２７へ送られる。輝度補正処理部１２７は決定された補正特性となるパラメータデータに応じて、フレームメモリ１１５から読み出した撮像画像に対し、輝度の入出力特性の補正を行い、補正済みの撮像画像をフレームメモリ１１５に出力する。

システムコントローラ１１４は、グレイン切り出し処理部１１９に対してはグレインノイズメモリ１１８からの切り出し位置と大きさの指示を行い、グレインリサイズ処理部１２０に対してはリサイズ量の指示を行う。そしてグレイン合成処理部１２１に対しては読みだされる画像データとグレインノイズデータ１２０３の合成比率の指示を行う。同様にスクラッチノイズの合成を行うスクラッチ切り出し処理部１２２にはスクラッチノイズメモリ１２１からの切り出し位置と大きさの指示を行う。スクラッチリサイズ処理部１２４には、切り出したスクラッチノイズのリサイズ量の指示を行う。そしてスクラッチ合成処理部１２５に対しては、スクラッチノイズの合成位置と撮像画像との合成比率の指示を行う。

次に、本実施形態における上記の各フィルム調の画像効果を付加するためのユーザーの操作を含めた動作を説明する。

システムコントローラ１１４は、キースイッチ１０３の操作を入力として受け付け、表示部１３４に対し、フィルム調の画像効果の選択、決定とそのためのＵＩ画面の制御を行う。図１７は表示部１３４に表示されるフィルム調の画像効果のＵＩ画面である。キースイッチ１０３を操作し、フィルム調の画像効果の設定を開始すると、画面１７００に遷移する。１７０１はＵＩ画面上に構成されたフィルム調の画像効果の設定終了のボタンである。キースイッチ１０３を操作してボタン１７０１を選択して決定を実行するとフィルム調の画像効果設定画面が終了し、その段階で選択されている効果が実行される。ボタン１７０２はＵＩ画面上に構成され、明滅の効果の有効無効を決定し、その状態を示すボタンである。ボタン１７０２の状態は明滅の効果が無効であることを示している。その他のフィルム調の画像効果である。歪曲、グレインノイズ、スクラッチノイズ、退色、上下ぶれについても明滅と同様のボタンで効果の設定と状態の把握が可能である。効果の設定ボタンはトグル動作をとる。明滅効果が無効状態中にボタン１７０２を操作するとボタン１７０４に示す有効状態となる。逆にボタン１７０４の有効状態で操作するとボタン１７０２の無効状態となる。他の効果のボタンについても同様の動作である。画面１７０３はフィルム調の画像効果のうち、歪曲、上下ぶれ、明滅が選択された状態を示している。また、画面１７０５は全てのフィルム調の画像効果が選択されいる状態を示している。

次に図５、図６、図９を用いて、本実施形態の特徴的な処理である、複数のフィルム調の画像効果が選択された場合の各効果の実行順の決定方法について詳述する。例えば、効果の実行順を考慮せずにシステムコントローラ１１２が上下ぶれ、スクラッチノイズの順でフィルム調の画像効果を実行したとする。この場合、各効果の元となる現象はそれぞれ上映時のフィルム走行による上映画像の上下ぶれ、現像作業のミスによるフィルム面損傷によるノイズであるから、フィルム撮影本来の現象発生順はスクラッチノイズ、上下ぶれの順となる。この順が上下ぶれ、スクラッチノイズとなると、撮像画像は上下に揺れるがスクラッチノイズは揺れない画像が出力されてしまい、本来のフィルム撮影で得られる効果と異なった結果となる。

そこで、本実施形態では、各効果に優先度を予め定めておき、その優先度に従って実行順を決定する。この時、図６に示すように、フィルム撮影から上映までの過程で発生する現象の順に沿って、フィルム調の画像効果の優先度を決める。優先度の値は大きいほど先に実行される効果であることを示す。図６の表の部は各効果を実現するための画像処理の方法を示す情報であり、属性はフィルム撮影時に発生する現象と各効果の対応を示す情報である。図６に示す優先度に従えば、全ての効果を選択した場合、歪曲（第１の処理）、グレインノイズ（第２の処理）、退色（第５の処理）、スクラッチノイズ（第２の処理）、上下ぶれ（第３の処理）、明滅（第４の処理）の順で実行される。上下ぶれ、明滅は共に再生の属性を有しており、上映の過程で発生する現象であるため、他の効果の後で実行される優先度としている。また上下ぶれ、明滅の間の優先度は実際のフィルム上映の過程ではフィルムの送出後、光源による投影が行われることから、上下ぶれ、明滅の順の優先度としている。

次に図９を用い、システムコントローラ１１４が本実施形態における複数のフィルム調の画像効果を各部に実行させる制御について説明する。本実施形態では、ユーザーからの操作を受けて撮像素子１０８から所定のフレームレートで取得される画像データに対して画像効果処理部１１３による各処理が施される。しかし、これに限らず、記録メディア１３３に記憶されていたり、外部から入力される動画像データあるいは複数枚の時間的に連続して撮影された画像データなどに本処理を適用してもよい。ステップＳ９０１ではキースイッチ１０３の操作情報からフィルム調の画像効果の実行が決定されたか否かを判断する。実行が決定されていればステップＳ９０２へ進み、実行が解除されていればステップＳ９０７へ進む。

ステップＳ９０２ではＵＩ画面の選択結果から全ての効果について、効果を有効あるいは無効とする、いずれかの操作がなされたかを示す付加効果情報を取得する。情報を取得するとステップＳ９０３へ進む。

ステップＳ９０３では前回の制御で取得した付加効果情報と今回取得した付加効果情報を比較し、同一かあるいは差違があるかを判断する。同一であればフィルム調の画像効果の操作がなされていないと判断し制御を終了する。一方、差違があれば効果の付加についてなんらかの変化があったと判断しステップＳ９０４へ進む。

ステップＳ９０４では指定された効果についてステップＳ９０２で取得した付加効果情報が有効あるいは無効のいずれの状態であるかを判断する。判断結果から有効である場合はステップＳ９０５へ進み、無効である場合はステップＳ９０６へ進む。

ステップＳ９０５では有効な効果について図６の表の優先度で決定されている値を指定の効果の優先度として決定する。ここでは、数値が高いほど優先度が高いものとしている。優先度が決定されるとステップＳ９０７へ進む。

ステップＳ９０６では無効な効果について指定の効果の優先度を０に決定する。０は図６の表に記されている、どの効果よりも低い優先度となるように規定している。優先度が決定されるとステップＳ９０７へ進む。

ステップＳ９０７では全ての効果について優先度を決定したか否かを判断する。決定が完了していればステップＳ９０８へ進み、完了していなければ次にステップＳ９０４で判断する効果を決定しステップＳ９０４へ進む。

ステップＳ９０８では決定された各効果の優先度に基づいて効果を掛ける順番を決定する。その後、ステップＳ９０９へ進む。

ステップＳ９０９では各画像効果の設定パラメータを決定する。この時ステップＳ９０６で優先度が０となった効果についてはフレームメモリ１１５から画像の読み出しをさせず画像処理を行わない指示の設定、あるいは効果の前後で画像に変化を生じさせない設定パラメータの決定を行い、効果を無効とする。設定パラメータの決定が完了するとステップＳ９１１へ進む。

ステップＳ９１０では、全ての効果について画像処理を行わない指示の設定、あるいは効果の前後で画像に変化を生じさせない設定パラメータの決定を行い、効果を無効とする。設定パラメータの決定が完了するとステップＳ９１１へ進む。

ステップＳ９１１ではステップＳ９０９、Ｓ９１０で決定した設定パラメータを画像効果処理部１１３の各処理部へ設定し、各部に画像効果の処理を実行させる。またシステムコントローラ１１４は、ステップＳ９０８で優先度順に並べ替えを行った効果の順に各処理の実行を指示する。画像効果処理部１１３は各処理部で順次取得される画像データを処理し、次の処理部へ順次出力して画像効果処理部１１３内で有効となっている処理が終わると処理後の画像データが画像効果処理部１１３から順次出力される。設定パラメータの設定と実行順の指示が完了すると制御を終了する。

図５は第１の実施形態で図６に示す効果の優先度の場合に、全ての効果を有効とした際、入力画像である撮像画像５０１にどのような画像処理がどのような順で施され、最終出力画像５０８が得られるかを示した図である。５０２〜５０７はそれぞれフレームメモリ１１５に格納された画像であり、各々、歪曲、グレインノイズ、スクラッチノイズ、退色、上下ぶれ、明滅の各効果が順次施された画像である。図５を見ると、例えば上下ぶれおよび明滅の画像効果が他の画像効果より後に施されていることがわかる。

以上のように、第１の実施形態では、複数種のフィルム調の画像効果を撮像画像に施す場合、予め効果ごとに優先順を定めておく。この時、フィルム調の画像効果として上映の過程で発生する現象に対応する効果の実行順が撮影時に発生する他の現象に対応する効果より後となる優先順とする。これにより上映時に発生する現象が撮影時に発生する現象の前に施されることを防ぎ、よりフィルム調に近い効果が付加された撮像結果を得ることが可能となる。

＜第２の実施形態＞
本実施形態は、フィルム調の画像効果として複数の異なる効果を画像に付加することが可能な画像処理装置である。図２は第２の実施形態における画像処理装置としてのデジタルビデオカメラのブロック図である。２００はレンズ、絞りとこれらを駆動するアクチュエータから成る光学部、２０１は撮像素子と撮像素子から読み出した信号の処理を行い映像信号として出力する撮像部である。２０２は映像信号の記録を行う記録部、２０３はフィルム調の画像効果をユーザーが選択し、決定するためのスイッチ群で構成されるキースイッチである。

２０４、２０５は被写体像を結像するためのレンズで構成されるレンズ群である。２０７は入射光量を調節する絞りである。２０６はレンズ２０４と絞り２０７を指示された所定値に駆動するアクチュエータである。撮像素子２０８は光学部２００を通過し結像した入射光を光電変換する。光電変換された信号はカメラ信号処理部２０９へ入力される。カメラ信号処理部２０９では光電変換された信号に対し各種の画像処理を行い映像信号へ変換を行う。カメラ信号処理部２０９から出力された映像信号は画像効果処理部２１３で各種のフィルム調の画像効果が付加される。画像効果処理部２１３から出力された映像信号は所定のユーザーインターフェース画面（以下ＵＩ画面）が重畳されて、表示部２３４に表示される。また画像効果処理部２１３から出力された映像信号はエンコーダ２３２で所定の記録フォーマットで符号化され、記録メディア２３３へ書き込みされ、保存される。

次にカメラ信号処理部２０９の信号処理について説明する。カメラ信号処理部２０９へ入力した信号は輝度成分、色成分に分離される。分離された輝度成分、色成分の各信号成分に対し、ガンマ処理、カラーマトリクス処理、輪郭強調処理などの各種信号処理が行われる。処理後の信号は撮像画像としてフレームメモリ２１５へ入力される。フレームメモリ２１５はカメラ信号処理部２０９およびフィルタ効果処理部２１３で処理された画像を格納するフレームメモリであり、所定のタイミングで画像の読み書きが行われる。

画像効果処理部２１３は複数の異なるフィルム調の画像効果を入力画像に付加する。付加する効果は、歪みを与える「歪曲」、粒子状のノイズを加える「グレインノイズ」、縦線状のノイズを加える「スクラッチノイズ」、彩度を下げる「退色」、時間変化する輝度レベルの変動を与える「明滅」、上下方向のぶれを与える「上下ぶれ」である。画像効果処理部２１３はフィルム調の画像効果を付加する画像処理の種類によって３つのサブブロックに分けられている。

第１のサブブロックはフレームメモリ２１３から読み出した画像データに対し、変形を行う画像処理ブロックである。第１のサブブロックでは歪曲と上下ぶれの効果を実現する。第２のサブブロックはフレームメモリ２１３から読み出した画像データに対し、輝度および色の特性補正を行う画像処理ブロックである。第２のサブブロックでは退色と明滅の効果を実現する。第３のサブブロックはフレームメモリ２１３から読み出した画像データに対し、別の画像データの合成を行う画像処理ブロックである。第３のサブブロックではグレインノイズとスクラッチノイズの効果を実現する。

次に本実施形態の特徴的な処理である、サブブロックによる複数のフィルム調の画像効果の画像処理の説明と、サブブロック内の処理の実行順について詳述する。第１のサブブロックはフィルム撮影から上映の過程のうち、撮影時のレンズの光学特性に起因する現象を疑似的に再現する歪曲の効果と、上映時のフィルム走行に起因する現象を疑似的に再現する上下ぶれの効果を付加する二つの画像処理部で構成されている。

第１のサブブロックはフレームメモリ２１５に格納された撮像画像を入力する。２１６は入力画像に与える変形量を演算する変形量演算部である。変形量演算部２１６はフレームメモリ２１５から入力された画像を所定の分割領域に分割した際の各領域の交点の移動量を決定する。変形処理部２１７は入力画像に対し、変形量演算部２１６で決定した変形量に従い、幾何変形処理を施す。幾何変形処理が施された画像は上下ぶれ切り出し処理部２２９へ入力される。

さらに変形量演算部２１６は複数の変形量データパラメータが格納された変形量データ２１０から得たパラメータに基づき、様々な移動量を決定する。これにより、同じ入力画像に対し異なる歪曲特性を付加した画像、すなわち歪曲の度合いや樽型、糸巻き型といった歪曲の種類の異なる光学特性のレンズで撮影された画像の効果を与えることができる。

上下ぶれ切り出し処理部２２９は上下ぶれの効果を与えるために入力された画像をその内部のバッファメモリ（不図示）に格納する。ぶれ量演算部２２８で指定された任意の位置でバッファメモリからの読み出しを行い、フレームメモリ２１５へ格納する。

第２のサブブロックはフィルム撮影から上映の過程のうち、フィルムの経年変化に起因する現象を疑似的に再現する退色の効果と、上映時の光源に起因する現象を疑似的に再現する明滅の効果を付加する二つの画像処理部で構成されている。

第２のサブブロックはフレームメモリ２１５に格納された撮像画像を入力する。色差特性データ格納部２１１は映像信号の色差の入出力特性を決定するパラメータデータを複数格納しているメモリである。例えば特性が１４０１、１４０２、１４０３のように一次関数で表される場合、パラメータデータとしては直線の傾き、切片がある。上記の特性１４０１は退色がない通常の特性を示し、特性１４０２は特性１４０１より色が薄い特性を示し、特性１４０３は特性１４０２よりさらに色が薄い特性を示す。経年変化の度合い、例えば保管の経過年数の指定に応じて補正特性となるデータを決定する。決定されたパラメータデータは色差補正処理部２２６へ送られる。

色差補正処理部２２６は決定された補正特性となるパラメータデータに応じて、フレームメモリ２１５から読み出した撮像画像に対し、色差の入出力特性の補正を行い、補正済みの撮像画像を輝度補正処理部２２７に出力する。また色差補正処理はカメラ信号処理部２０９の後に行われる処理であるため、色差補正処理により出力特性が変わったとしても、その結果がカメラ信号処理部２０９で行われる色成分の処理に影響を与えることはない。

輝度特性データ格納部２１２は映像信号の輝度の入出力特性を決定するパラメータデータを複数格納しているメモリである。例えば特性が１６０１〜１６０４のように一次関数で表される場合、パラメータデータとしては直線の傾き、切片がある。また特性１６０４のように、入力が大きい場合に出力をクリップするポイントやクリップされる値もパラメータデータである。決定されたパラメータデータは輝度補正処理部２３３へ送られる。輝度補正処理部２２７は決定された補正特性となるパラメータデータに応じて、色差補正処理部２２６から入力された撮像画像に対し、輝度の入出力特性の補正を行い、補正済みの撮像画像をフレームメモリ２１５に出力する。また輝度補正処理はカメラ信号処理部２０９の後に行われる処理であるため、輝度補正処理により出力特性が変わったとしても、その結果がカメラ信号処理部２０９で行われる輝度成分の処理に影響を与えることはない。

第３のサブブロックはフィルム撮影から上映の過程のうち、現像処理に起因する異なるノイズである粒状ノイズと線状ノイズを疑似的に再現するグレインノイズとスクラッチノイズの効果を付加する二つの画像処理部で構成されている。

第３のサブブロックはフレームメモリ２１５に格納された撮像画像を入力する。グレイン合成処理部２２１はフレームメモリ２１５に格納されている撮像画像を読み出し、所定の合成比率でグレインノイズデータ１２０３と合成して、フレームメモリ２１５に格納する。

２２２は複数のパターンから構成されているスクラッチノイズデータ１３０１を格納しているスクラッチノイズメモリである。スクラッチノイズデータ１３０１はスクラッチノイズメモリ２２２から読み出される。スクラッチノイズ切り出し処理部２２３はスクラッチノイズデータ１３０１上から指定された位置と大きさの切り出しスクラッチノイズデータ１３０２を切り出す。切り出しノイズデータ１３０２はスクラッチノイズ拡大処理部２２４でフレームメモリ２１５に格納されている撮像画像１３０３との合成に必要な大きさのリサイズ済みスクラッチノイズデータ１３０４にリサイズ処理される。スクラッチノイズ合成処理部２２５はフレームメモリ２１５に格納されている撮像画像を読み出し、所定の合成比率でリサイズ済みノイズデータ１３０４と合成して、フレームメモリ２１５に格納する。

マスク処理部２３０は第１、第２、第３のいずれのサブブロックにも含まれる処理部ではないが、上下ぶれの効果が選択されている場合に上下ぶれの最大幅以上となるマスク画像を生成する。マスク合成処理部２３１は所定のタイミングで、第１、第２、第３のサブブロックでの画像処理が完了し、フレームメモリ２１５に格納されている撮像画像１５０７と、マスク処理部１３０７が生成したマスク画像１３０８の合成を行い、合成画像を出力する。

システムコントローラ２１４は、撮像素子２０８とカメラ信号処理部２０９、フィルム効果制御部２１３の制御を行う。撮像素子２０８に対しては、信号の蓄積期間や読み出しタイミングの指示を行う。カメラ画像処理部２０９に対しては、各種信号処理で画質設定に必要なパラメータの設定を行う。またカメラ画像処理部２０９からは、露出制御、フォーカス制御、ホワイトバランス制御の各制御に必要な評価値を取得する。レンズ２０４と絞り２０７からは、その制御位置を検出し、カメラ画像処理部２０９から取得した評価値に基づき、制御位置が所望の位置となるように制御値を決定し、アクチュエータ２０６に制御値を指示する。

フィルム効果制御部２３９に対しては各効果処理部に対し、効果の実行順の決定と各種設定と動作の指示を行う。変形量データ２１０に対しては、付加したい歪曲の種別とその度合いを指示し、変形量パラメータを取得する。変形量演算部２１７に対しては、取得した変形量を設定する。

グレイン切り出し処理部２１９に対してはグレインノイズメモリ２１８からの切り出し位置と大きさの指示を行い、グレインリサイズ処理部２２０に対してはリサイズ量の指示を行う。グレイン合成処理部２２１に対しては撮像画像とグレインノイズデータ１２０３の合成比率の指示を行う。同様にスクラッチノイズの合成を行うスクラッチ切り出し処理部２２２およびスクラッチノイズリサイズ処理部２２４およびスクラッチ合成処理部２２５に対してはスクラッチノイズメモリ２２１からの切り出し位置と大きさおよび切り出したスクラッチノイズのリサイズ量およびスクラッチノイズの合成位置と撮像画像との合成比率の指示を行う。

図２のメモリ２３８に格納されている色差特性データ２１１に対しては経年変化の度合いを指示し、その度合いに応じた色差補正データを取得する。そして取得したデータを色差補正処理部２２６へ設定する。同様にメモリ２３８輝度特性データ２１２に対しては明滅の変化の度合いを指示し、その度合いに応じた輝度補正データを取得する。そして取得したデータを輝度補正処理部２２７へ設定する。

ぶれ量演算部２２８に対しては、ぶれ量演算の指示を行い、上下ぶれ切り出し処理部２２９に対しては切り出し動作の指示を行う。またマスク処理部２３７に対してはマスク画像生成の指示を行う。

システムコントローラ２１２は、キースイッチ２０３の操作を入力として受け付け、表示部２３４に対し、フィルム調の画像効果の選択、決定とそのためのＵＩ画面の制御を行う。図１７は表示部２３４に表示されるフィルム調の画像効果のＵＩ画面である。キースイッチ２０３を操作し、フィルム調の画像効果の設定を開始すると、画面１７００に遷移する。１７０１はＵＩ画面上に構成されたフィルム調の画像効果の設定終了のボタンである。キースイッチ２０３を操作してボタン１７０１を選択して決定を実行するとフィルム調の画像効果設定画面が終了し、終了前の段階で選択されている効果が実行される。ボタン１７０２はＵＩ画面上に構成され、明滅の効果の有効無効を決定し、その状態を示すボタンである。ボタン１７０２の状態は明滅の効果が無効であることを示している。その他のフィルム調の画像効果である。歪曲、グレインノイズ、スクラッチノイズ、退色、上下ぶれについても明滅と同様のボタンで効果の設定と状態の把握が可能である。効果の設定ボタンはトグル動作をとる。明滅効果が無効状態中にボタン１７０２を操作するとボタン１７０４に示す有効状態となる。逆にボタン１７０４の有効状態で操作するとボタン１７０２の無効状態となる。他の効果のボタンについても同様の動作である。画面１７０３はフィルム調の画像効果のうち、歪曲、上下ぶれ、明滅が選択された状態を示している。また、画面１７０５は全てのフィルム調の画像効果が選択されいる状態を示している。

次に図７、図８、図１０を用いて、複数のフィルム調の画像効果が選択された場合のサブブロック間の実行順の決定方法について詳述する。本実施形態ではフィルム調の画像効果がサブブロック単位で実行される。例えば、全ての効果を選択して実行した場合、第１から第３までの全てのサブブロックによる画像処理が実施される。サブブロック間の実行順を第１、第２、第３のサブブロックの順とすると、第３のサブブロックで実施されるグレインノイズとスクラッチノイズの効果が最後の処理となる。そのため、フィルム撮影から上映までの過程のうち下流過程である上映の過程の効果である上下ぶれや明滅が上流過程の効果である粒状ノイズや縦線ノイズの前に付加されることになる。こうしてしまうと、撮像画像は上下に揺れるがスクラッチノイズは揺れない画像が出力されてしまい、本来のフィルム撮影で得られる効果と異なった結果となる。

そこで、本実施形態では、各効果に優先度を予め定めておき、サブブロックごとに優先度に従った評価値を決定し、評価値の順に実行順を決定する。図８は様々なフィルム調の画像効果の優先度と評価値の関係を示した表である。図８ａは全ての効果を実施する場合の各サブブロックの評価値を示している。図８ａの表の手段は各効果を実現するための画像処理の方法を示す情報を示している。属性はフィルム撮影時に発生する現象と各効果の対応を示す情報と、その効果がどの過程の現象に相当するかを示している。優先度は上流過程ほど値が大きくなる。また、評価値は値が大きいほど先に実行される。従って、図８ａに示す例では、第１、第３、第２のサブブロックの順で実行される。

ここで図１０を用い、システムコントローラ１１４が本実施形態における複数のフィルム調の画像効果を各部に実行させる制御について説明する。本実施形態では、ユーザーからの操作を受けて撮像素子１０８から所定のフレームレートで取得される画像データに対して画像効果処理部１１３による各処理が施される。しかし、これに限らず、記録メディア１３３に記憶されていたり、外部から入力される動画像データあるいは複数枚の時間的に連続して撮影された画像データなどに本処理を適用してもよい。ステップＳ１００１ではキースイッチ２０３の操作情報からフィルム調の画像効果の実行が決定されたか否かを判断する。実行が決定されていればステップＳ１００２へ進み、実行が解除されていればステップＳ１０１８へ進む。

ステップＳ１００２ではＵＩ画面の選択結果から全ての効果について、効果が有効あるいは無効とする、いずれかの操作がなされたかを示す付加効果情報を取得する。情報を取得するとステップＳ１００３へ進む。

ステップＳ１００３では前回の制御で取得した付加効果情報と今回取得した付加効果情報を比較し、同一あるいは差違があるかを判断する。同一であればフィルム調の画像効果の操作がなされていないと判断し制御を終了する。一方、差違があれば効果の付加についてなんらかの変化があったと判断しステップＳ１００４へ進む。

ステップＳ１００４では指定された効果についてステップＳ１００２で取得した付加効果情報が有効あるいは無効のいずれの状態であるかを判断する。判断結果から有効である場合はステップＳ１００５へ進み、無効である場合はステップＳ１００６へ進む。

ステップＳ１００５では有効な効果について、図８ａの表の優先度で決定されている値を指定の効果の優先度として決定する。優先度が決定されるとステップＳ１００７へ進む。

ステップＳ１００６では無効な効果について、指定の効果の優先度を０に決定する。この優先度はどの効果の優先度よりも小さな値である。優先度が決定されるとステップＳ１００７へ進む。

ステップＳ１００７では全ての効果について優先度を決定したか否かを判断する。決定が完了していればステップＳ１００８へ進み、完了していなければ次にステップＳ１００４で判断する効果を決定しステップＳ１００４へ進む。

ステップＳ１００８では、各サブブロック内の効果の優先度を比較し、優先度が高い、つまり実行順が先である効果の優先度を取得する。図８ａに示す構成であれば、第１のサブブロックについては歪曲の効果の優先度、第２のサブブロックについては退色の効果の優先度、第３のサブブロックについてはグレインノイズの効果の優先度をそれぞれ取得する。優先度の取得が完了するとステップＳ１００９へ進む。

ステップＳ１００９では、ステップＳ１００８で取得した各サブブロックの優先度をその値の大きい順に並べ替える。図８ａに示す構成であれば、並べ替えた優先度は４，３，２の順となる。並べ替えが完了するとステップＳ１０１０へ進む。

ステップＳ１０１０では、ステップＳ１００９で並べ替えた優先順に従って、対応するサブブロックの評価値を決定する。評価値は優先度の高い順から２，１，０とする。図８ａの例であれば評価値は第１のサブブロックが２、第２のサブブロックが１、第３のサブブロックが０となる。優先度が同じで、残りの効果より高い場合は、評価値はともに２とする。逆に小さい場合は評価値はともに０とする。サブブロックの評価値の決定が完了するとステップＳ１０１１へ進む。

ステップＳ１０１１では、ステップＳ１０１０で決定した評価値が各サブブロック間で、全て異なっているか否かを判断する。図８ａに示される効果は、各サブブロックの評価値が全て異なっている例である。一方で図８ｂ、図８ｃ、図８ｄは、サブブロックを構成する複数の効果のうち、最初の効果の評価値が等しいものから成るサブブロックの構成を示す例である。図８ｂ、図８ｃでは第１と第２のサブブロック、図８ｄでは全てのサブブロックの優先度が等しい。評価値が全て異なっている場合はステップＳ１０１７へ進む。図８ｂ、図８ｃ、図８ｄのように、いずれかのサブブロックの評価値が同じ場合はステップＳ１０１２へ進む。

ステップＳ１０１２では、各サブブロックについて、ステップＳ１００２で取得した付加効果情報に基づき、サブブロックを構成する効果のうち、優先度が二番目の効果が有効あるいは無効のいずれの状態であるかを判断する。図８ｂはサブブロック内の二番目の効果が全て有効である例である。図８ｃ、図８ｄは第１および第３のサブブロックの二番目の効果が有効、第２のサブブロックの二番目の効果が無効である例である。判断結果から効果が有効である場合はステップＳ１０１３へ進み、無効である場合はステップＳ１０１４へ進む。

ステップＳ１０１３では、二番目の効果の優先度を取得する。図８ｂに示す効果の例であれば、第１、第２、第３のサブブロックの優先度はそれぞれ１、２、１となる。優先度を決定するとステップＳ１０１５へ進む。

ステップＳ１０１４では、二番目の効果のないサブブロックの優先度を５に決定する。この優先度はどの効果の優先度よりも大きな値である。図８ｃに示す例では、サブブロックの優先度はそれぞれ１、５、１となる。同様に図８ｄに示す例では、サブブロックの優先度はそれぞれ１、５、２となる。優先度が決定されるとステップＳ１０１５へ進む。

ステップＳ１０１５では、全ての効果について優先度を決定したか否かを判断する。決定が完了していればステップＳ１０１６へ進み、完了していなければステップＳ１０１２へ進む。

ステップＳ１０１６では、ステップＳ１０１３、Ｓ１０１４で決定した優先度に従い各サブブロックの仮の評価値を決定する。仮の評価値は優先度の高い順から２、１、０とする。優先度が同じで、残りの効果より高い場合は、仮の評価値はともに２とする。逆に小さい場合は仮の評価値はともに０とする。図８ｂに示す例では、第１のサブブロックは０、第２のサブブロックは２、第３のサブブロックは０の仮の評価値となる。得られた仮の評価値は、ステップＳ１０１０で決定した最初の効果の優先度に基づいて決定された評価値に加算され、最終評価値となる。図８ｂの例であれば、第１、第２、第３の各サブブロックの最終評価値は２、４、０となる。サブブロックの最終評価値が決定するとステップＳ１０１７へ進む。

ステップＳ１０１７では決定された各サブブロックの評価値を高い順に並べ替える。並べ替えの順に各サブブロックの画像処理が実行され、フィルム調の画像効果が付加される。並べ替えが完了したらステップＳ１０１８へ進む。

ステップＳ１０１８では各効果の設定パラメータを決定する。この時ステップＳ１００６で優先度が０となった効果あるいはステップＳ１０１４で優先度が５となった効果、つまり無効であるに効果に関しては、フレームメモリ２１５から画像の読み出しを行わない指示の設定を行う。あるいは読み出した画像に対して効果の付加前後で同じ特性とする設定パラメータの決定を行い、効果を無効とする。設定パラメータの決定が完了するとステップＳ１０２０へ進む。

ステップＳ１０１９では、全ての効果について画像処理を行わない指示の設定、あるいは読み出した画像に対して効果の付加前後で同じ特性とする設定パラメータの決定を行い、効果を無効とする。設定パラメータの決定が完了するとステップＳ１０２０へ進む。

ステップＳ１０２０ではステップＳ１０１８、Ｓ１０１９で決定した設定パラメータを画像効果処理部２１３の各画像処理部へ設定する。また、ステップＳ１０１７で得た並べ替え順に各サブブロックに対し、画像処理の実行を指示する。設定パラメータの設定と実行順の指示が完了すると制御を終了する。

図７は第２の実施形態で図８ａに示す効果の優先度の場合に、全ての効果を有効とした際、入力画像である撮像画像７０１にどのような画像処理がどのような順で施され、最終出力画像７０８が得られるかを示した図である。７０２、７０３、７０４、７０５、７０６、７０７はそれぞれフレームメモリ２１５に格納された画像であり、歪曲、上下ぶれ、グレインノイズ、スクラッチノイズ、退色、明滅の各効果が順次施された画像を示している。サブブロック内の効果についてみると、上下ぶれは第１のサブブロックの最後の効果、また明滅は第３のサブブロックの最後の効果として施されていることを示している。

第２の実施形態では、複数のフィルム調の画像効果を撮像画像に施す場合、効果を複数まとめたサブブロックを構成する。サブブロック内の複数の効果は、フィルム調の画像効果として上下ぶれあるいは明滅など上映の過程で発生する現象に対応する効果の実行順が他の効果より後となる優先順で構成する。これにより同一サブブロック内で上映時に発生する現象が上流過程である撮影時や保管時に発生する現象の前に施されることを防ぎ、よりフィルム撮影に近い効果が付加された撮像結果を得ることが可能となる。

さらに、本実施形態ではフレームメモリ２１５と画像効果処理部２１３の間の画像データの読み書きがサブブロック単位で行われる。従って、付加する効果の数が多くなった場合に、各効果の処理単位でフレームメモリ２１３への読み書きを行う場合に比べ、単位時間あたりのメモリアクセスの回数が減る。そのため、フレームメモリ２１５のメモリ帯域の余裕度を増すことができる。また、読み書きの回数が少なくなることで画像効果処理部２１３へ撮像画像が入力されてから出力されるまでの時間の遅延が減るため、フィルム調の画像効果を付加しながらも遅延時間の少ない画像を得ることが可能となる。

また、本実施形態の図８ｂに示す優先度の例では、第１と第２のサブブロックは最初の効果の優先度は同じである。そのため、どちらを先に実行するのが適切か判断できない。しかし、各サブブロックにおける二番目の効果の優先度を考慮することで、実行順を第２のサブブロック、第１のサブブロックと決定できる。これにより上流過程を多く含む第２のサブブロックが先に実行され、下流過程を含む第１のサブブロックがその後に実行される。従って、本実施形態ではサブブロック間の実行順をサブブロックを構成している効果の種別に応じて決定することで、よりフィルム撮影に近い効果が付加された撮像結果を得ることが可能となる。

また、本実施形態の図８ｃ、図８ｄに示す優先度の例では、第２のサブブロックを構成する効果のうち一つだけが有効となっている。このような場合、第２のサブブロックの有効となっている効果をサブブロック内の順に依らず最初の効果とし、効果が複数ある他のサブブロックに比べ実行順が先となるように優先度を考慮することで、第２のサブブロックが最も先に実行される。従って、本実施形態ではユーザーがＵＩ画面で選択的に効果を決定した場合であっても、効果の実行順を適切に決定し、よりフィルム撮影に近い効果が付加された撮像結果を得ることが可能となる。

また、上述の第１および第２の実施形態では、デジタルビデオカメラの動画像撮影時動作で複数のフィルム調の画像効果を付加する場合について述べた。しかし、本発明は動画像撮影に限られるものではなく、連写等の複数枚撮影あるいは動画像の再生において、フィルム撮影の効果を付加する場合に利用することが可能であることも言うまでもない。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。

この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

１００、２００ 光学部
１０１、２０１ 撮像部
１０２、２０２ 記録部
１０８、２０８ 撮像素子
１１３、２１３ 画像効果処理部
２３５ 第１のサブブロック
２３６ 第２のサブブロック
２３７ 第３のサブブロック

Claims (10)

1. 画像データを順次取得する取得手段と、
   前記画像データに画像を歪ませる処理を施す第１の処理手段と、
   前記第１の処理手段で処理された画像データにノイズを付加する処理を施す第２の処理手段と、
   前記第２の処理手段で処理され、順次出力される画像データにぶれを付加する処理を施す第３の処理手段と、
   前記第３の処理手段で処理された画像データにランダムに決まる入出力特性で輝度の補正を行う第４の処理手段と、
   を有することを特徴とする画像処理装置。
2. 前記第１の処理手段は、記憶媒体に記憶されるパラメータに基づく射影変換処理を実行することで画像を歪ませることを特徴とする請求項１に記載の画像処理装置。
3. 前記第２の処理手段から出力される画像データの色を補正する処理を施し、
   当該処理を施した画像データを前記第３の処理手段に出力する第５の処理手段を有することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記第１の処理手段は、画像データを複数の領域に分割し、分割された領域の各交点を所定の座標に移動することで画像を歪ませることを特徴とする請求項１乃至３のいずれか１つに記載の画像処理装置。
5. 前記第３の処理手段は、順次取得される複数の画像データのそれぞれを、ランダムに決まる位置で切り出すことでぶれを付加することを特徴とする請求項１乃至４のいずれか１つに記載の画像処理装置。
6. 前記第４の処理手段は、順次取得される複数の画像データに対して、予め記憶された複数の輝度の入出力特性を構成するパラメータから、ランダムにパラメータを選択して補正を行うことを特徴とする請求項１乃至５のいずれか１つに記載の画像処理装置。
7. 少なくとも前記第１、第２、第３及び第４の処理手段による処理を画像データに施すか否かをそれぞれ設定する設定手段を有し、
   前記設定手段により画像データに施す設定がなされた処理の中で、予め決められた順に処理が施されることを特徴とする請求項１乃至６のいずれか１つに記載の画像処理装置。
8. 画像データを順次取得する取得ステップと、
   前記画像データに画像の周辺を歪ませる歪曲処理を施す第１の処理ステップと、
   前記第１の処理ステップで処理された画像データにノイズを付加する処理を施す第２の処理ステップと、
   前記第２の処理ステップで処理され、順次出力される画像データにぶれを付加する処理を施す第３の処理ステップと、
   前記第３の処理ステップで処理された画像データにランダムに決まる入出力特性で輝度の補正を行う第４の処理ステップと、
   を有することを特徴とする画像処理装置の制御方法。
9. 請求項８に記載の画像処理装置の制御方法の手順が記述されたコンピュータで実行可能なプログラム。
10. コンピュータに、請求項８に記載の画像処理装置の制御方法の各工程を実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。

Images