JP5484310B2 - 画像処理装置及び画像処理装置の制御方法 - Google Patents

Description

本発明はデジタル画像データに対してフィルム調の効果を与える画像処理装置に関するものである。

近年、デジタルカメラの画像表現の一つとして、撮影画像に対しフィルム撮影による粒状感の効果を出すために粒状ノイズ（以下、グレインノイズ）をデジタル画像に付加する合成の方法が提案されている。

特許文献１では、グレインノイズの元となる粒状パターンデータをフィルムから算出し、これをランダムな位置で切り出したノイズデータを複数並べて配置することでグレインノイズを付加している。

特開平１１−０８５９５５号公報

しかし、フィルムを映写機に掛けて再生した場合に画像に発生する現象には、上記のような画像全体にかかるグレインノイズだけでなくフィルム自体についた傷などがあり、それらを同時に映像効果として付与することはできていなかった。 本発明は、上述の課題に鑑みたものであって、異なる特性をもつ２つのノイズを画像に付与することが可能な画像処理装置を提供することにある。

上記課題を解決するために、本発明の画像処理装置は、請求項１に記載のとおり、入力される複数フレームの画像にノイズ効果を与えることが可能な画像処理装置であって、２次元で構成される第１のノイズデータを記憶する第１の記憶手段と、前記第１のノイズデータに基づいて、入力される画像のフレーム全体に対応したノイズデータを前記入力される画像に合成する第１の合成手段と、前記第１のノイズデータとは異なる第２のノイズデータを記憶する第２の記憶手段と、前記第２のノイズデータから、画像に貼り付けるノイズデータを選択する選択手段と、画像上の前記選択手段で選択されたノイズデータを貼り付ける位置を指定する指定手段と、前記第１の合成手段から出力される画像に対して、前記指定手段で指定された位置に前記選択手段で選択されたノイズデータを合成することで貼り付ける第２の合成手段と、を有することを特徴とする。
また、本発明の画像処理装置は、請求項４に記載のとおり、入力される複数フレームの画像にノイズ効果を与えることが可能な画像処理装置であって、２次元で構成される第１のノイズデータを記憶する第１の記憶手段と、前記第１のノイズデータから入力される画像のフレーム全体に対応したノイズデータを切り出す切り出し手段と、前記切り出し手段が切り出す前記ノイズデータ上の切り出し位置を指定する第１の指定手段と、前記切り出し手段によって切り出されたノイズデータを前記入力される画像に合成する第１の合成手段と、前記第１のノイズデータとは異なる第２のノイズデータを記憶する第２の記憶手段と、前記第２のノイズデータから、今回のフレームの画像に貼り付けるノイズデータを選択する選択手段と、前記今回のフレームの画像上の前記選択手段で選択されたノイズデータを貼り付ける位置を指定する第２の指定手段と、前記第２の指定手段で指定された位置に前記選択手段で選択されたノイズデータを合成することで貼り付ける第２の合成手段と、を有し、前記第１の指定手段は、前記第１のノイズデータからの切り出し位置をランダムな値に基づいて指定し、前記第１のノイズデータ上での前回の切り出し位置と今回の切り出し位置との距離が第１の所定値より大きくなるように今回の切り出し位置を指定することを特徴とする。
また、本発明の画像処理装置は、請求項６に記載のとおり、入力される複数フレームの画像にノイズ効果を与えることが可能な画像処理装置であって、２次元で構成される第１のノイズデータを記憶する第１の記憶手段と、前記第１のノイズデータから切り出されたノイズデータを前記入力される画像に合成する第１の合成手段と、前記第１のノイズデータとは異なる第２のノイズデータを記憶する第２の記憶手段と、前記第２のノイズデータから、今回のフレームの画像に貼り付けるノイズデータを選択する選択手段と、前記今回のフレームの画像上の前記選択手段で選択されたノイズデータを貼り付ける位置を指定する第２の指定手段と、前記第２の指定手段で指定された位置に前記選択手段で選択されたノイズデータを合成することで貼り付ける第２の合成手段と、を有し、前記第２の合成手段は、前回のフレームの画像に前記選択手段によって選択されるノイズデータが貼り付けられた貼り付け位置と、今回のフレームの画像に前記選択手段によって選択されるノイズデータを貼り付ける貼り付け位置との距離が第２の所定値より大きい場合、今回の前記選択手段によって選択されるノイズデータの貼り付けを制限することを特徴とする。

また、本発明の画像処理装置の制御方法は、請求項１８に記載のとおり、２次元で構成される第１のノイズデータを記憶する第１の記憶手段と、前記第１のノイズデータとは異なる第２のノイズデータを記憶する第２の記憶手段と、ノイズデータを画像に合成する合成手段と、を有し、入力される複数フレームの画像にノイズ効果を与えることが可能な画像処理装置の制御方法であって、前記第１のノイズデータに基づいて、入力される画像のフレーム全体に対応したノイズデータを前記入力される画像に合成する第１の合成ステップと、前記第２のノイズデータから、画像に貼り付けるノイズデータを選択する選択ステップと、画像上の前記選択ステップで選択されたノイズデータを貼り付ける位置を指定する指定ステップと、前記第１の合成ステップで出力される画像に対して、前記指定ステップで指定された位置に前記選択ステップで選択されたノイズデータを合成することで貼り付ける第２の合成ステップと、を有することを特徴とする。
また、本発明の画像処理装置の制御方法は、請求項１９に記載のとおり、２次元で構成される第１のノイズデータを記憶する第１の記憶手段と、前記第１のノイズデータとは異なる第２のノイズデータを記憶する第２の記憶手段と、ノイズデータを画像に合成する合成手段と、を有し、入力される複数フレームの画像にノイズ効果を与えることが可能な画像処理装置の制御方法であって、前記第１のノイズデータから入力される画像のフレーム全体に対応したノイズデータを切り出す切り出しステップと、前記切り出しステップで切り出される前記ノイズデータ上の切り出し位置を指定する第１の指定ステップと、前記第１のノイズデータから切り出されたノイズデータを前記入力される画像に合成する第１の合成ステップと、前記第２のノイズデータから、今回のフレームの画像に貼り付けるノイズデータを選択する選択ステップと、前記今回のフレームの画像上の前記選択ステップで選択されたノイズデータを貼り付ける位置を指定する第２の指定ステップと、前記第１の指定ステップでは、前記第１のノイズデータからの切り出し位置をランダムな値に基づいて指定し、前記第１のノイズデータ上での前回の切り出し位置と今回の切り出し位置との距離が第１の所定値より大きくなるように今回の切り出し位置を指定することを特徴とする。
また、本発明の画像処理装置の制御方法は、請求項２０に記載のとおり、２次元で構成される第１のノイズデータを記憶する第１の記憶手段と、前記第１のノイズデータとは異なる第２のノイズデータを記憶する第２の記憶手段と、ノイズデータを画像に合成する合成手段と、を有し、入力される複数フレームの画像にノイズ効果を与えることが可能な画像処理装置の制御方法であって、前記第１のノイズデータから切り出されたノイズデータを前記入力される画像に合成する第１の合成ステップと、前記第２のノイズデータから、今回のフレームの画像に貼り付けるノイズデータを選択する選択ステップと、前記今回のフレームの画像上の前記選択ステップで選択されたノイズデータを貼り付ける位置を指定する第２の指定ステップと、前記第２の指定ステップで指定された位置に前記選択ステップで選択されたノイズデータを合成することで貼り付ける第２の合成ステップと、を有し、前記第２の合成ステップでは、前回のフレームの画像に前記選択ステップによって選択されるノイズデータが貼り付けられた貼り付け位置と、今回のフレームの画像に前記選択ステップによって選択されるノイズデータを貼り付ける貼り付け位置との距離が第２の所定値より大きい場合、今回の前記選択ステップによって選択されるノイズデータの貼り付けを制限することを特徴とする。

以上説明したように、本発明によれば、異なる特性をもつ２つのノイズを画像に付与することが可能となる。

第１の実施形態における画像処理装置の一例を示すブロック図 第２の実施形態における画像処理装置の一例を示すブロック図 第１の実施形態におけるグレインノイズのノイズデータを示す図 第１の実施形態におけるグレインノイズとの合成画像の構造を示す図 第２の実施形態におけるスクラッチ傷のノイズデータを示す図 第２の実施形態におけるスクラッチ傷のノイズデータとの合成画像の構造を示す図 第１の実施形態におけるグレインノイズのノイズデータの切り出し位置決定のフローチャート 第１の実施形態におけるグレインノイズのノイズデータの切り出し位置を示す図 第１の実施形態におけるグレインノイズのノイズデータの切り出し位置の補正後の位置を示す表 第１の実施形態におけるグレインノイズのノイズデータの補正位置の違いによる重複度を示す図 第２の実施形態におけるスクラッチ傷のノイズデータの貼り付け位置決定のフローチャート 第２の実施形態におけるスクラッチ傷の付加の要否の時間変化を示す図 第３の実施形態における画像処理装置のブロック図 第３の実施形態におけるフレームメモリと画像の切り出しを示す図 第３の実施形態における切り出しによるノイズを隠蔽する処理を示す図 第３の実施形態における上下ぶれの処理のフローチャート 第３の実施形態における上下ぶれに用いる複数の異なる種類のぶれとその組み合わせを示す図 第４の実施形態における画像処理装置の一例を示すブロック図 第４の実施形態における明滅を実現するための輝度信号の補正処理を示す図 第４の実施形態における輝度信号の補正処理のフローチャート 第５の実施形態における画像処理装置の一例を示すブロック図 第５の実施形態における複数のフィルム調の効果を重ねる処理のフローチャート図 第６の実施形態における画像処理装置の一例を示すブロック図 第６の実施形態におけるフィルムを記録媒体とした動画撮影における記録から再生までの過程を説明した図 図２４で挙げた各過程において、上映結果に影響を与える事象と、その事象による効果、また、その効果を疑似的に画像処理で実現するための手段を載せた表 第６の実施形態における複数のフィルム調の効果を重ねる処理のフローチャート 他の実施形態における画像処理装置の一例を示すブロック図

以下、本発明の好適な実施形態について説明する。

＜第１の実施形態＞
本実施形態では、フィルム風のノイズ効果として粒状感を与えるために粒状ノイズであるグレインノイズを画像に付加することが可能な画像処理装置を示す。

図１は第１の実施形態における画像処理装置としてのデジタルビデオカメラのブロック図である。撮像素子１００は結像した入射光を光電変換する。光電変換された信号はカメラ信号処理部１０１へ入力される。カメラ信号処理部１０１では光電変換された信号に対し各種の画像処理を行い映像信号へ変換し出力する。出力された映像信号はエンコーダ部１１１で所定の記録フォーマットで符号化され、記録メディア１１２へ記録される。

次にカメラ信号処理部１０１での信号処理について説明する。カメラ信号処理部１０１へ入力した信号は、まず画像処理部１０４で各種信号処理が行われる。各種信号処理とは、通常の撮影の際に画像データに対して行われる、ホワイトバランス処理、ガンマ処理、色空間変換処理、カラーゲイン処理、カラーバランス処理などである。処理後の信号は撮像画像として第１のフレームメモリ１０８へ格納される。

２次元１０９はグレインノイズとして２次元ノイズデータ３０１を格納しているメモリである。ノイズデータ３０１はメモリ１０９から読み出される。切り出し処理部１０６はメモリデータ３０１から所定の位置と大きさのノイズデータ３０２を切り出す。切り出しされたノイズデータ３０２は第２のフレームメモリ１１０へ格納される。第２のフレームメモリ１１０から読み出されたノイズデータ３０２は、拡大処理部１０７で撮像画像との合成に必要な大きさのノイズデータ４０２にリサイズ処理される。

合成処理部１０５は所定のタイミングで第１のフレームメモリ１０８に格納されている撮像画像４０１と拡大処理部１０７で処理されたノイズデータ４０２を読み出し、合成を行い、合成画像を出力する。合成処理部１０５は撮像画像４０１とノイズデータ４０２の合成比率を変更することが可能である。合成比率を変えることで付加するグレインノイズの強度を変えることもできる。グレインノイズの生成方法、付加方法については後に詳述する。

信号発生器１０３は撮像素子１００の駆動タイミングを制御する信号を発生する信号発生器（Ｓｉｇｎａｌ Ｇｅｎｅｒａｔｏｒ：ＳＧ）である。発生した信号は撮像素子１００に供給される。

システムコントローラ１０２は、撮像素子１００とカメラ信号処理部１０１で構成されるカメラブロックの制御を行う。撮像素子１００に対しては、信号の蓄積期間や読み出しタイミングの指示を行う。画像処理部１０４に対しては、各種信号処理で画質設定に必要なパラメータの設定を行う。合成処理部１０５に対しては、合成対象となるフレームメモリの指定、合成比率の指定および合成タイミングの指示を行う。切り出し処理部１０６に対しては、グレインノイズを生成するために、メモリ１０９から読み出しを行うタイミングの指示、切り出し位置と大きさの指示、切り出したデータを第２のフレームメモリ１１０へ書き出すタイミングの指示を行う。拡大処理部１０７に対しては、第２のフレームメモリ１１０から読み出しを行うタイミングの指示、リサイズ時の大きさの指示を行う。信号発生器１０３に対しては、撮像素子１００を駆動する駆動タイミングの指示を行う。

ここで、図３、図４を用いて、本実施形態の特徴的な処理である画像データにフィルム風の粒状効果を与えるグレインノイズを付加する際に用いるグレインノイズの生成方法、付加方法について詳述する。特許文献１のように粒状パターンデータを複数配置する方法では、動画像の更新周期、つまりフレームレートに同期してパターンデータの配置を行うには、フレームレートの周期以内で毎回異なる配置を行う高速な処理システムが必要となる。また、複数のグレインノイズパターンから選択してこれを付加する方法では、グレインノイズを格納するメモリ領域が複数必要となる。

そこで、本実施形態では、あらかじめグレインノイズを２次元データとして持っておき、任意の位置で入力される画像のフレーム全体に対応するノイズデータの切り出しを行い、切り出したノイズデータを動画像に合成する。この時、切り出しのタイミングを動画像のフレームレートに同期させ、切り出しの位置を複数フレームで毎回変化させることで、空間的と時間的にランダムなグレインノイズを動画像に合成することが可能となる。

図３は２次元のノイズデータ（グレインノイズデータ３０１）とそこから切り出す切り出しノイズデータ３０２の関係を示した図である。図４は切り出しノイズデータ３０２と撮像画像の合成の概念を示した図である。グレインノイズデータ３０１は、本実施形態では最小粒状単位を１画素として、ガウス分布に従った乱数が画素値として１画素ごとに記録されている画素群である。ここで、乱数はガウス分布に従ったものに限らず、一様乱数や指数乱数など多くの乱数の種類が考えられ、乱数の種類は限定されない。ノイズデータとしての実際のデータの形態は、画像データ、もしくはデータ列などさまざまな形態が考えられ、それらの形態のいずれにも限定されない。また、最小粒状単位についても１画素に限定されないが、当然小さければ小さいほどランダム性があがる。

グレインノイズデータ３０１に対して、処理時刻やカメラの姿勢情報や位置情報などのカメラ内で取得できる動的な値を利用して切り出し開始位置Ｘ，Ｙをランダムに決定する。決定された開始位置から所定サイズのデータを切り出しノイズデータ３０２としてグレインノイズデータ３０１から切り出し、図４のように撮像画像と合成することで、撮像画像にグレインノイズを付加する。

ここで、切り出しの開始位置をランダムに毎回変化させる際、前回の切り出しの位置と今回の切り出しの位置が近い場合や水平あるいは垂直方向にずれているだけの場合は、合成結果として２次元のパターンが移動しているように見えてしまう。
そこで、本実施形態では、前回切り出し位置から今回の切り出し位置への移動量が、所定の範囲内にならないように今回の切り出し位置を設定する。

図７を用い、本実施例におけるシステムコントローラ１０２が切り出し処理部１０６に対し指示するノイズデータ３０１の切り出し制御について説明する。この制御は、撮影画像に対してフィルム風のノイズ効果を付加する撮影モードのときに行われる。あるいは、記録メディア２１２等のメモリに記憶された動画像を連続的に読み出して事後処理として行われる。

ステップＳ７０１では、メモリ１０９に格納されているノイズデータから上述したように動的な値を利用して今回どの位置から切り出すかの候補値を指示する。切り出したデータをグレインノイズとして合成するため、毎回ランダムに決定し、前回の切り出し位置とは異なる位置とする。指示する今回の切り出し位置が決定するとステップＳ７０２へ進む。

ステップＳ７０２では、信号発生器１０３に指示する駆動タイミング信号に基づき現在の撮像素子１００のフレームレート情報を取得する。情報を取得するとステップＳ７０３へ進む。

ステップＳ７０３では、今回指示されている切り出し位置と一時メモリ（不図示）に保存されている前回の切り出し位置が、どの程度離れた位置にあるかを判定する判定基準値を算出する。フレームレートに同期して合成するグレインノイズの更新を行うため、フレームレートが小さくなるほど、つまり撮像画像の更新周期が長くなるほど、グレインノイズの更新周期も長くなり、見え続ける。そのため、前回の切り出し位置と今回の切り出し位置が近い位置にあると、合成されたグレインノイズが移動しているように見える。そこで、ステップＳ７０２で取得したフレームレート情報に応じて、今回指示されている切り出し位置と前回の切り出し位置がどの程度近い位置にあるかを判定する基準（所定値）を変更する。例えば、６０ｆｐｓのフレームレート（第１のフレームレート）では前回位置を中心として周辺１０画素（第１の所定値）以内に今回の位置があった場合に、近い位置であると判定する。一方、３０ｆｐｓ（第２のフレームレート）では周辺２０画素（第２の所定値）以内に今回の位置があった場合を所定値以下の近い位置であると判定するように判定基準を決定する。判定基準を決定するとステップＳ７０４へ進む。

ステップＳ７０４では、グレインノイズデータ上の前回のノイズデータの切り出し位置からステップＳ７０１で算出した今回の切り出し位置がどの程度変化したかを示す、切り出し位置間の距離を算出する。算出するとステップＳ７０５へ進む。

ステップＳ７０５では、ステップＳ７０４で算出した前回切り出し位置から今回指示されている切り出し位置への距離とステップＳ７０３で算出した判定基準との大小を比較する。距離が判定基準より大きい、つまり切り出し位置が前回から今回で大きく変化していると判定した場合は、ステップＳ７０７へ進む。一方、距離が判定基準より小さい、つまり切り出し位置が前回から今回で小さく変化していると判定した場合は、ステップＳ７０６へ進む。

ステップＳ７０６では、ステップＳ７０１で算出した今回指示されている切り出し位置の位置情報に対して補正を行う。切り出し位置の位置情報の補正方法については後述する。切り出し位置の位置情報の補正を行うとステップＳ７０７へ進む。

ステップＳ７０７では、ステップＳ７０６で補正した切り出し位置の位置情報を次回の切り出し位置の制御で利用するために、一時メモリに保存し、ステップＳ７０８へ進む。

ステップＳ７０８では、ステップＳ７０６で補正した切り出し位置を切り出し処理部１０６へ指示し、処理を終了する。

次にステップＳ７０６における切り出し位置の補正処理について説明する。図８、図９、図１０は、メモリ１０３に格納されているノイズデータ３０１から切り出し位置の補正を行う場合の補正条件と補正位置を説明する図である。ノイズデータ３０１の幅と高さがそれぞれＷ 画素、Ｈ画素であるとする（Ｗ≧４、Ｈ≧４）。また、ノイズデータの切り出しは画素単位で行い、左上を切り出し位置の原点（０，０）とする。また、切り出す切り出しノイズデータ３０２の大きさを幅（Ｗ／２）画素、高さ（Ｈ／２）画素とする。

例えば、図３に示すように、今回の切り出し位置が（Ｘ，Ｙ）であった場合に、上記大きさの切り出しノイズデータを切り出す切り出し開始位置（Ｘ，Ｙ）は（０≦Ｘ＜Ｗ／２，０≦Ｙ＜Ｙ／２）の範囲の領域を指定し得る（図８）。さらに、この切り出し開始位置の指定し得る領域領域を図８の（ａ）、（ｂ）、（ｃ）および（ｄ）に示す４つの領域、領域１、２、３および４に分ける。領域１は切り出し位置を（０≦Ｘ＜Ｗ／４，０≦Ｙ＜Ｈ／４）に含む領域であり、領域２は切り出し位置を（Ｗ／４≦Ｘ＜Ｗ／２，０≦Ｙ＜Ｈ／４）に含む領域である。さらに、領域３が（０≦Ｘ＜Ｗ／４，Ｈ／４≦Ｙ＜Ｈ／２）、領域４が（Ｗ／４≦Ｘ＜Ｗ／２，Ｈ／４≦Ｙ＜Ｈ／２）の各範囲で切り出し位置を含む領域である。

切り出し位置を補正する場合、前回の切り出し位置で切り出したノイズデータと今回指示されている切り出し位置とで、重複するデータの面積が少なく、さらにその位置が離れている方が合成時のランダム性が向上するため好ましい。そこで、補正制御では今回の切り出し位置が上記領域１〜４のどこにあるかを判定し、その箇所に応じて対角の領域である領域上に切り出し位置を補正する。この時、図９の表に示すように切り出し位置（Ｘ，Ｙ）を補正切り出し位置（Ｘ’，Ｙ’）に補正する。

例えば、今回の切り出し位置が領域１にあった場合、補正後の位置が領域４となるようにすると（図１０ １００３）、領域２、領域３に移動した場合（図１０ １００１、１００２）に比べ、切り出されたノイズデータが重複する面積が少なくなる。その結果、ノイズデータの移動が目立ちにくくなり、グレインノイズの時間的なランダム性が向上する。

以上のように、第１の実施形態では、２次元ノイズデータから、任意の範囲を撮像画像の更新に合わせて毎回ランダムに切り出し、これを撮像画像と合成する。これにより、動画像であっても粒状ノイズが付加された画像を生成することが可能となる。また、ランダムに決めた切り出し位置が前回と所定範囲内の近い位置にあったとしても、その位置を所定範囲外に補正することで、ノイズのランダム性を確保することを可能としている。本実施形態では、特許文献に比べ、すでに読み込まれているデータから所定大きさのデータを切り出すだけでノイズデータの生成が可能であり、生成に要する時間を短縮することが可能である。

さらに、ノイズデータの今回の切り出し位置が前回の切り出し位置と比較して、位置の変化が少なく、近い位置である場合には、今回の切り出し位置を変更することで、切り出したノイズデータが移動して見えることを防ぎ、ノイズのランダム性が向上する。

本実施形態では、グレインノイズデータ３０１（幅Ｗ、高さＨ）に対して切り出しノイズデータの大きさを幅（Ｗ／２）画素、高さ（Ｈ／２）画素とした。しかしグレインノイズデータに対する切り出しノイズデータの大きさとしてはこれに限らず、グレインノイズデータの大きさを超えるものでなければ本実施形態に比べて大きくても小さくてもよい。ただし、切り出しノイズデータの大きさが大きくなるとそれだけランダム性が損なわれやすく、小さいと必要な切り出しノイズデータの大きさに対してグレインノイズデータ３０１を大きく持ちすぎているため、メモリの容量を食ってしまう。そこで本実施形態では、ノイズデータ３０１と切り出しノイズデータの大きさの比を４：１程度にし、さらに開始位置が近くならないよう制御する本実施形態の処理を入れることで、ノイズのランダム性の確保とメモリ容量の節約の両方をより好適に実現している。

また、本実施形態では、切り出し開始位置のとり得る領域を４つに分割したが、分割数、分割面積の割り振りとしてはこれに限定されない。

また、本実施形態では、今回と前回の切り出し位置間の距離が所定値以下であるかどうかを判定し、所定値以下であった場合に、上記のような切り出し開始位置の領域を移動する補正を行った。しかし、補正方法についてはこれに限らず、単に今回と前回の切り出し位置間の距離が所定値より大きくなる距離以上に座標移動をさせるようにしてもよい。すなわち、６０ｆｐｓのフレームレートで所定値が周辺１０画素であった場合、周辺１１画素以上になるように位置（座標）を変更してもよい。また、そもそも初めから今回の開始位置の指定の際に、周辺１０画素以内の座標を候補からはずしてランダムに指定させてもよい。

また、本実施形態では、今回と前回の切り出し位置間の距離が所定値以下であるかどうかを判定し、所定値以下にあった場合に、上記のような切り出し開始位置の領域を移動する補正を行った。しかし、切り出し開始位置の判定方法についてはこれに限らず、今回と前回の切り出し位置の属する領域を判定し（図８の領域１、２、３、４いずれの領域に属しているか）、同じ領域に属していた場合、異なる領域に移動させるように補正してもよい。このとき領域の移動を対角の領域にすると本実施形態のように前回と今回の切り出し領域の重なる領域がより小さくなり好ましい。さらに、本判定方法と今回と前回の切り出し位置間の距離が所定値以下であるか否かを判定する方法とを組み合わせて判定を行うと領域の境界近傍に開始位置があった場合にも有効な判定が可能となる。

＜第２の実施形態＞
本実施形態では、フィルム調の効果としてフィルムに傷がついた効果を与えるために縦線状ノイズであるスクラッチ傷を画像に付加することが可能な画像処理装置を示す。図５、図６は、本実施形態におけるスクラッチ傷のノイズデータの切り出しと合成について説明する。図５は複数パターンのスクラッチ傷で構成されているノイズデータとそこから切り出すノイズデータの関係を示した図である。スクラッチ傷ノイズデータ５０１は水平方向の１画素を最小単位とし、垂直方向にスクラッチ傷が記憶されており、その強度は乱数で決定されている。また垂直方向は複数画素を最小単位として強度が変化しており、これにより、垂直方向にスクラッチ傷の濃さや太さが変化し、傷の「かすれ」を表現する。乱数はガウス分布をはじめとして様々なものが考えられるが、その種類には依らない。

図６は切り出したスクラッチ傷と撮像画像の合成の概念を示した図である。本実施形態では、図５のようなスクラッチ傷ノイズデータ５０１から切り出しノイズデータ５０２を切り出し、所定の画像サイズにリサイズして貼り付けノイズデータ６０２を生成する。そして前回までの貼り付けノイズデータ６０２の貼り付け位置とその位置での貼り付けの継続時間に応じて今回の貼り付けノイズデータ６０２の貼り付け位置を決定し、貼り付ける。

図２は第２の実施形態としての画像処理装置としてのデジタルビデオカメラのブロック図である。撮像素子２００は結像した入射光を光電変換する。光電変換された信号はカメラ信号処理部２０１へ入力される。カメラ信号処理部２０１では光電変換された信号に対し各種の画像処理を行い映像信号へ変換し出力する。出力された映像信号はエンコーダ部２１１で所定の記録フォーマットで符号化され、記録メディア２１２へ記録される。

次にカメラ信号処理部２０１での信号処理について説明する。カメラ信号処理部２０１へ入力した信号はまず、画像処理部２０４で第１の実施形態と同様に各種信号処理が行われる。処理後の信号は撮像画像としてフレームメモリ２０９へ格納される。

２１０は複数のパターンから構成されているスクラッチ傷のノイズデータ５０１を格納しているメモリである。ノイズデータ５０１はメモリ２１０から読み出される。切り出し処理部２０６はノイズデータ５０１上の指定された位置と大きさのスクラッチ傷のノイズデータ５０２を切り出す。切り出したノイズデータ５０２は拡大処理部２０７で撮像画像６０１との合成に必要な大きさのノイズデータ６０２にリサイズ処理される。貼り付け処理部２０８は切り出し位置に依らない任意の位置でノイズデータ６０２を合成するための貼り付け位置の指定を行う。

合成処理部２０５は所定のタイミングでフレームメモリ２０９に格納されている撮像画像６０１と貼り付け処理部２０８で処理されたノイズデータ６０２を読み出し、合成を行い、合成画像を出力する。

信号発生器（ＳＧ）２０３は撮像素子２００の駆動タイミングを制御する信号を発生する信号発生器である。発生した信号は撮像素子２００とシステムコントローラ２０２に供給される。

システムコントローラ２０２は、撮像素子２００とカメラ信号処理部２０１で構成されるカメラブロックの制御を行う。撮像素子２００に対しては、信号の蓄積期間や読み出しタイミングの指示を行う。画像処理部２０４に対しては、各種信号処理で画質設定に必要なパラメータの設定を行う。合成処理部２０５に対しては、合成対象となるフレームメモリの指定、合成比率の指定および合成タイミングの指示を行う。切り出し処理部２０６に対しては、スクラッチ傷を生成するために、メモリ２１０から読み出しを行うタイミングの指示、切り出し位置と大きさの指示を行う。拡大処理部２０７に対しては、リサイズ時の大きさの指示を行う。貼り付け処理部２０８に対しては、合成時の貼り付け位置の指示を行う。信号発生器２０３に対しては、撮像素子２００を駆動する駆動タイミングの指示を行う。

次に図１１、図１２を用い、本実施例におけるシステムコントローラ２０２が貼り付け処理部２０８に対し指示する貼り付けノイズデータ６０２の貼り付け制御について説明する。この制御は、撮影画像に対してスクラッチ傷が付加されているかのような画像処理を施す撮影モードのときに行われる。あるいは、記録メディア２１２等のメモリに記憶された動画像を連続的に読み出して事後処理として行われる。本処理は、垂直同期信号に連動して開始され、同期信号によって一連の処理が繰り返されることになる。

ステップＳ１１０１では、一時メモリ（不図示）に保存されているスクラッチ傷が撮像画像に重畳している時間を計測するカウンタである重畳カウンタ（第１の検出手段）の値が、重畳の目標時間（第１の所定時間）に達しているか否かを判定する。目標時間に達していなければステップＳ１１０８へ進む。一方、達している場合はステップＳ１１０２へ進む。ここで、重畳の目標時間とは、撮影画像に対して同一のスクラッチ傷をどれくらいの時間続けて表示してよいかを決める時間であり、各種条件によって定めてよいし、ユーザが決めてもよい。

ステップＳ１１０２では、目標時間に達した重畳カウンタを初期状態にクリアし、ステップＳ１１０３へ進む。

ステップＳ１１０３では、メモリ２１０に格納されているノイズデータから取り出したスクラッチ傷を今回重畳するか否かの有無を取得する。例えば、スクラッチ傷をランダムに重畳するために乱数発生手段から無作為に得た値を有無情報としてもよい。有無情報を取得するとステップＳ１１０４へ進む。

ステップＳ１１０４では、ステップＳ１１０３で得た有無情報が重畳有りか否かの判定を行う。判定結果は一時メモリに保存される。有無情報は二値で定義されてもよいし、例えば、乱数発生手段から得た値であれば、その値が所定のしきい値より大きければ重畳有り、逆にしきい値以下であれば重畳無しと決定する。時間変化で見えると、ステップＳ１１０４の処理が実行されることで、図１２に示すように所定フレーム毎に重畳有りと重畳無しの期間がランダムに発生する。本実施形態では、１フレーム毎に重畳の有無を決定するものとする。判定の結果、重畳有りと判定した場合は、ステップＳ１１０５へ進む。一方で重畳無しと判定した場合はステップＳ１１２１へ進む。

ステップＳ１１０５では、メモリ２１０に格納されているスクラッチ傷ノイズデータ５０１から、切り出しノイズデータ５０２の切り出し開始位置、切り出しの幅、高さを決定する。これらが変わることで、重畳するスクラッチ傷のパターン（長さ、強度、本数など）が変わる。そのため毎回異なる開始位置から切り出しを行うように、乱数発生手段を用いて決定してもよい。切り出し位置を算出するとステップＳ１１０６へ進む。

ステップＳ１１０６では、ステップＳ１１０５で決定した切り出し位置を切り出し処理部２０６へ指示し、ステップＳ１１０７へ進む。
ステップＳ１１０７では、重畳の目標時間を決定して一時メモリへ保存した後、ステップＳ１１０８へ進む。
ステップＳ１１０８では、重畳カウンタの加算（インクリメント）を行い、ステップＳ１１０９へ進む。
ステップＳ１１０９では、スクラッチ傷の重畳無しの状態から有りの状態と判定されてからの経過時間を計測するために重畳継続カウンタ（第２の検出手段）の加算を行い、ステップＳ１１１０へ進む。

ステップＳ１１１０では、切り出し処理部２０６で切り出されたノイズデータを今回撮像された画像上のどの位置に合成して貼り付けるかの貼り付け位置を決定する。貼り付け位置は合成のタイミングによってランダムな貼り付け位置とする。例えば乱数発生手段を用い、貼り付け位置を取得すると、合成の都度、画面上の異なる位置にスクラッチ傷が重畳され、ランダムノイズに見える。貼り付け位置を取得するとステップＳ１１１１へ進む。

ステップＳ１１１１では、信号発生器２０３に指示する駆動タイミング信号に基づき現在の撮像素子２００のフレームレート情報を取得する。情報を取得するとステップＳ１１１２へ進む。

ステップＳ１１１２では、今回の貼り付け位置と前回の貼り付け位置がどの程度離れた位置にあるかを判定する判定基準値（所定値）を算出する。フレームレートに同期して、合成するスクラッチ傷の更新を行うため、フレームレートが小さくなるほどつまり撮像画像の更新周期が長くなるほど、スクラッチ傷の更新周期も長くなり、見え続ける。前回の貼り付け位置と今回の貼り付け位置の距離が大きいと、合成されたスクラッチ傷が移動しているように見えてしまう。そこで、ステップＳ１１１１で取得したフレームレート情報に応じて、今回と前回の貼り付け位置がどの程度遠い位置にあるかを判定する基準を変更する。例えば、６０ｆｐｓのフレームレート（第１のフレームレート）では前回位置を中心として水平前後１０画素（第１の所定値）より遠い位置に今回の位置があった場合に、所定値より大きい、遠い位置であると判定する。一方、３０ｆｐｓ（第２のフレームレート）では水平前後２０画素（第２の所定値）より遠い位置に今回の位置があった場合を所定値より大きい、遠い位置であると判定するように判定基準を変更する。判定基準を決定するとステップＳ１１１３へ進む。

ステップＳ１１１３では、前回のノイズデータの貼り付け位置からステップＳ１１１０で算出した今回の貼り付け位置がどの程度移動したかの距離を算出する。算出するとステップＳ１１１４へ進む。

ステップＳ１１１４では、ステップＳ１１１３で算出した貼り付け位置間の距離とステップＳ１１１３で算出した判定基準との大小を比較する。距離が判定基準（所定値）より大きい、つまり貼り付け位置が前回から今回で大きく変化していると判定した場合は、ステップＳ１１１６へ進む。一方、距離が判定基準より小さい、つまり貼り付け位置が前回から今回で小さく変化していると判定した場合は、ステップＳ１１１５へ進む。

ステップＳ１１１５では、あらかじめ規定されている重畳継続カウンタ上限値（第２の所定時間）を大きくなるように変更する。変更するとステップＳ１１１７へ進む。

ステップＳ１１１６では、あらかじめ規定されている重畳継続カウンタ上限値を小さくなるように変更する。変更するとステップＳ１１１７へ進む。

ステップＳ１１１７では、重畳継続カウンタ上限値と一時メモリに保存されている重畳継続カウンタの値を比較する。重畳継続カウンタが上限に達した場合はステップＳ１１２２へ進む。一方、上限に達していない場合はステップＳ１１１８へ進む。

ステップＳ１１１８では、決定した今回の貼り付け位置を一時メモリに保存し、次回の制御に利用する。保存を行うとステップＳ１１１９へ進む。

ステップＳ１１１９では、今回の貼り付け位置を貼り付け処理部２０８に対して指示する。指示を行うと、ステップＳ１１２０へ進む。

ステップＳ１１２０では、合成処理部２０５に対して貼り付け指示されたスクラッチ傷と撮像画像の重畳を有効とする指示を行う。重畳を有効にすると、制御を終了する。

ステップＳ１１２１では、一時メモリに保存されている重畳継続カウンタの値を初期状態にクリアし、保存を行う。保存が終了するとステップＳ１１２２へ進む。

ステップＳ１１２２では、合成処理部２０５に対して貼り付け指示されたスクラッチ傷と撮像画像の重畳の無効を指示する。無効にする方法は、合成処理そのものを行わず撮像画像のみを出力する方法でもよいし、合成処理は行うが、撮像画像に対するスクラッチ傷の合成比率を下げて、撮像画像のみが出力される方法でもよく、その実現手段はどのようなものであってもよい。重畳を無効にすると、制御を終了する。

第２の実施形態では、あらかじめ記憶手段に記憶しておいた複数のパターンのスクラッチ傷で構成されるノイズデータから、任意の位置を撮像画像の更新に合わせて毎回ランダムに切り出し、これを撮像画像と任意の位置で合成する。これにより、時間的と空間的にランダムに発生し、移動するスクラッチ傷を動画像に付加することが可能となる。

さらに、スクラッチ傷の付加が一定期間以上継続した場合に、ノイズデータの今回の貼り付け位置と前回の貼り付け位置とを比較する。このとき、位置の移動が大きく遠い位置へのスクラッチ傷の付加を制限することで、実際のスクラッチ傷の発生に近い動作を実現することが可能となる。

また、上述の第１および第２の実施形態では、グレインノイズの切り出し位置の変更制御およびスクラッチ傷の付加の無効制御は、動画像のフレームレートに依存してグレインノイズの変更条件およびスクラッチ傷の無効条件を変更した。しかし、ノイズデータの合成比率が小さい場合は、合成後の画像においてノイズ成分が視認されにくい。そのため、グレインノイズの切り出し制御において、今回の切り出し位置が前回の位置の近くであったとしても、パターンが移動しているように認識されにくい。

そこで、合成における撮像画像とノイズデータの合成比率の設定をユーザーによる操作あるいは自動で変更できる場合は、ノイズデータの合成比率に応じた条件の変更が可能であることは言うまでもない。すなわち、撮像画像に対するノイズデータの合成比率が小さいほど、所定値は大きくすることができる。

また、上述の第１および第２の実施形態では、デジタルビデオカメラの動画像撮影時動作でグレインノイズおよびスクラッチ傷を付加する場合について述べた。しかし、本発明は動画像撮影に限られるものではなく、静止画像撮影において連写撮影で、各撮影時に異なるパターンのグレインノイズを付加する場合に用いることも可能である。また動画像あるいは静止画像の再生において、フィルム撮影の効果を付加する場合に利用することが可能であることも言うまでもない。

＜第３の実施形態＞
本実施形態では、フィルム風の効果としてフィルムを映写機に掛けて再生した場合に発生する映像の上下ぶれを画像に与えることが可能な画像処理装置を示す。図１４、図１５は本実施形態における上下ぶれを実現するためのフレームメモリからの画像切り出しと、切り出しによるノイズ（画像情報がないデータ）を隠蔽する処理について説明している。

図１４は撮像素子で撮像した撮像画像が格納されているフレームメモリ内のデータの構造とフレームメモリから指定された位置で切り出しを行った場合に表示される画像を示した図である。フレームメモリ内のデータは逐次更新されている。撮像画像の前後の領域には別の用途のデータが格納されているが、撮像画像データとしてはノイズデータ（画像情報がないデータ）と見なせる。格納されている撮像画像は所定の切り出し開始位置で、かつ所定の切り出し範囲で切り出しを行うと、表示画像１４００として出力される。切り出し開始位置を乱数で決定することで、異なる位置から切り出しを行うことができ、上下ぶれの発生した撮像画像を表示画像１４０１、１４０２のように出力することが可能である。切り出し開始位置は画像の垂直方向の１画素分つまり１ライン分を最小単位として決定される。

また、切り出し開始位置を決定する乱数は、ガウス分布をはじめとして様々なものが考えられるが、その種類には依らない。

また、上下ぶれ量すなわち、ぶれがない状態を基準位置として、基準位置から切り出し開始位置までのオフセット量に上限を設けることで、一定量以上のぶれが発生しないようにしている。

また、異なる周期で決定した二つの上下ぶれ量の和をオフセット量とし、オフセット量の分だけ画像の読み出し開始位置を左上端からずらし、切り出し開始位置とする。こうすることで、フィルムの送出動作で発生する上下ぶれとフィルムの巻き取り動作で発生する上下ぶれのように異なる種類のぶれの組み合わせとして構成される上下ぶれを表現することが可能である。

図１５は、上下ぶれの効果を付加した際に発生するノイズデータの隠蔽方法を示した図である。上下ぶれの無い撮像画像１５００に対し、任意の上下ぶれが発生した撮像画像１５０１、１５０５には画面下部にノイズデータが表示される。隠蔽方法として例えば、マスクを付加する方法、あるいは拡大する方法が考えられる。

マスクを付加する方法では、撮像画像１５０４に対し、上下ぶれの最大ぶれ幅（最大のオフセット量）以上となるマスク画像１５０３を画面下部に重畳しノイズデータを隠す。この時、画面上部にも同じ大きさのマスク画像を重畳することで、いわゆるレターボックス状態のアスペクト比の撮像画像１５０２を表示することができる。

一方、拡大する方法では、上下ぶれの最大ぶれ幅を含まない領域１５０６に対し、領域１５０６の高さが画面高に等しくなるように、かつ画面のアスペクト比を維持して拡大を行うことで、表示画像１５０７として表示することができる。

図１３は第３の実施形態としての画像処理装置としてのデジタルビデオカメラのブロック図である。撮像素子１３００は結像した入射光を光電変換する。光電変換された信号はカメラ信号処理部１３０１へ入力される。カメラ信号処理部１３０１では光電変換された信号に対し各種の画像処理を行い映像信号へ変換し出力する。出力された映像信号はエンコーダ部１３１１で所定の記録フォーマットで符号化され、記録メディア１３１２へ記録される。

次にカメラ信号処理部１３０１での信号処理について説明する。カメラ信号処理部１３０１へ入力した信号はまず、画像処理部１３０４で第１の実施形態と同様に各種信号処理が行われる。処理後の信号は撮像画像として第１のフレームメモリ１３０５へ格納される。

切り出し処理部１３０６は上下ぶれの効果を与えるために第１のフレームメモリ１３０５から予め定められたオフセット量の上限値で任意の位置の切り出しを行う。

１３０８は切り出し処理により発生するノイズデータを隠すためのマスク画像を格納している第２のフレームメモリである。マスク処理部１３０７は上下ぶれの最大幅以上となるマスク画像を生成し、第２のフレームメモリ１３０８へ格納する。

合成処理部１３０９は所定のタイミングで第１のフレームメモリ１３０５に格納されている撮像画像１５０４と、マスク処理部１３０７で生成され第２のフレームメモリ１３０８に格納されているマスク画像１３０４とを読み出し、合成を行い、合成画像を出力する。

信号発生器（ＳＧ）１３０３は撮像素子１３００の駆動タイミングを制御する信号を発生する信号発生器である。発生した信号は撮像素子１３００とシステムコントローラ１３０２に供給される。

システムコントローラ１３０２は、撮像素子１３００とカメラ信号処理部１３０１で構成されるカメラブロックの制御を行う。撮像素子１３００に対しては、信号の蓄積期間や読み出しタイミングの指示を行う。画像処理部１３０４に対しては、各種信号処理で画質設定に必要なパラメータの設定を行う。合成処理部１３０９に対しては、合成対象となるフレームメモリの指定、合成タイミングの指示を行う。切り出し処理部１３０６に対しては、第１のフレームメモリ１３０５から読み出しを行うタイミングの指示、切り出し位置の指示を行う。マスク処理部１３０７に対しては、重畳するマスクの大きさ、色の指示、動作開始および解除指示を行う。信号発生器１３０３に対しては、撮像素子１３００を駆動する駆動タイミングの指示を行う。

次に図１６、図１７を用い、本実施例におけるシステムコントローラ１３０２が切り出し処理部１３０６、マスク処理部１３０７に対し指示し、各部が動作する撮像画像の切り出し処理およびマスク処理のフローチャートについて説明する。この制御は、撮影画像に対して上下ぶれが付加されているかのような画像処理を施す撮影モードのときに行われる。あるいは、記録メディア１３１２等のメモリに記憶された動画像を連続的に読み出して事後処理として行われる。本処理は、垂直同期信号に連動して開始され、同期信号によって一連の処理が繰り返されることになる。本実施形態では、上下ぶれを付加するか否かをユーザによる手動あるいはシーン判別等により自動で切り換えることができる。上下ぶれを付加する場合、ノイズデータが見えてしまわないように、マスク→上下ぶれの順に処理をかけ、上下ぶれの付加をやめる場合には逆に上下ぶれ停止→マスク解除の順にかけるようにする。

ステップＳ１６０１では、上下ぶれの停止要求の制御を行う。撮影モード情報等、動作状態を取得し、上下ぶれが必要な撮影モードから不要な撮影モードに遷移したことを検出した場合は停止要求を発行し、ステップＳ１６０９へ進む。そうでない場合はステップＳ１６０２へ進む。

ステップＳ１６０２では、上下ぶれの発生要求の制御を行う。撮影モード情報等、動作状態を取得し、上下ぶれが不要な撮影モードから必要な撮影モードに遷移したことを検出した場合は発生要求を発行し、ステップＳ１６０３へ進む。そうでない場合はステップＳ１６１２へ進む。

ステップＳ１６０３では、上下ぶれの動作状態を「発生」に設定する。状態が「発生」の場合、上下ぶれの制御が可能となる。設定が完了するとステップＳ１６０４へ進む。

ステップＳ１６０４では、上下に付加するマスクの動作状態を判定する。判定の結果「付加」である場合は、ステップＳ１６０５へ進み、「付加」でなく「解除」である場合はステップＳ１６０７へ進む。

ステップＳ１６０５では、上下ぶれのぶれ量を決定する。ぶれ量はランダムに決定される値であり、例えば乱数発生手段から得た値に対し、
Ｘ＝Ｘｍａｘ×（ｒ／Ｒ）
の式で決定してもよい。ここでＸはぶれ量、Ｘｍａｘは最大ぶれ量、ｒは乱数発生手段から得た値、Ｒは乱数発生手段が出力する最大値である。

また、上述したように複数の異なる種類のぶれを組み合わせることも可能である。例えば第１のぶれとして、短周期で変化するがぶれ量の少ないぶれと、第２のぶれとして、長周期で変化するが、ぶれ量の多いぶれの組み合わせを考える。第１のぶれの時間変化は図１７の１７０１に、同様に第２のぶれの時間変化は図１７の１７０２に示される。この時、２つのぶれの組み合わせである第１と第２のぶれ量の時間変化の和は図１７の１７０３に示される。この時、ぶれ量Ｘは乱数発生手段から得た値に対し、
Ｘ＝Ｘｍａｘ１ ×（ｒ１／Ｒ１）＋Ｘｍａｘ２ ×（ｒ２／Ｒ２）
の式で決定してもよい。ここでＸｍａｘ１は第１のぶれ量変化における最大ぶれ量、Ｘｍａｘ２は第２のぶれ量変化における最大ぶれ量、ｒ１、ｒ２は第１、第２のぶれ量として乱数発生手段から得た値、Ｒ１、Ｒ２は乱数発生手段が出力する最大値である。

ステップＳ１６０５でぶれ量を決定するとステップＳ１６０６へ進む。

ステップＳ１６０６では、ステップＳ１６０５で決定したぶれ量から、フレームメモリ内に格納されている撮像画像の切り出し開始位置を算出する。算出が終わると制御を終了する。

ステップＳ１６０７では、上下ぶれ発生時に見える画面下部のノイズデータを隠蔽するマスク画像の付加をマスク処理部１３０７に実行させる。この際、マスク画像の大きさを示す大きさ情報をマスク処理部１３０７に指示する。マスク画像の付加が終わるとステップＳ１６０８へ進む。

ステップＳ１６０８では、マスクの動作状態を「付加」に設定し、制御を終了する。

ステップＳ１６０９では、上下ぶれの動作状態を判定する。状態が「停止」の場合、ステップＳ１６１０へ進み、状態が「発生」の場合はステップＳ１６１２へ進む。

ステップＳ１６１０では、上下ぶれ発生時に見える画面下部のノイズデータを隠蔽するマスク画像の付加の解除をマスク処理部１３０７に対し指示する。指示する情報はマスク画像の重畳を無効とする重畳無効情報である。指示が終わるとステップＳ１６１１へ進む。

ステップＳ１６１１では、マスクの動作状態を「解除」に設定し、制御を終了する。

ステップＳ１６１２では、上下ぶれの動作状態を「停止」に設定する。状態が「停止」の場合、上下ぶれの制御が無効となる。設定が完了するとステップＳ１６１３へ進む。

ステップＳ１６１３では、上下ぶれのない値をぶれ量として設定する。ぶれ量を決定するとステップＳ１６１４へ進む。

ステップＳ１６１４では、ステップＳ１６１３で決定したぶれ量から、フレームメモリ内に格納されている撮像画像の切り出し開始位置を算出する。この時切り出し開始位置は基準の位置となる。算出が終わると制御を終了する。

上記のステップを状況別に見ていくと、（１）上下ぶれの付加が開始するときにはぶれ停止要求はなく、ぶれ発生要求があるので、Ｓ１６０１、Ｓ１６０２、Ｓ１６０３、Ｓ１６０４と進む。Ｓ１６０４では上下マスク状態は初期状態で上下マスク状態＝解除となっているので、Ｓ１６０７に進み、まず上下マスクが付加され、Ｓ１６０８で上下マスク状態＝付加の状態に変えて、一巡目を終了する。次のフレームでは、同様にＳ１６０４まで進み、上下マスク状態＝付加になっているので、次にＳ１６０５、Ｓ１６０６の処理で上下ぶれを発生させる。以降、（２）上下ぶれの付加が継続されているときは、Ｓ１６０１〜Ｓ１６０６の処理が各フレームで繰り返される。また、（３）上下ぶれの付加を終了するときには、ぶれ停止要求があり、ぶれ発生要求はなしとし、Ｓ１６０１からＳ１６０９に進む。１巡目は上下ぶれ状態＝発生の状態なのでＳ１６１２へ進み、上下ぶれ＝停止にするとともにＳ１６１３、Ｓ１６１４でまず上下ぶれを停止する。次のフレームでは、Ｓ１６０１、Ｓ１６０９と進み、上下ぶれ状態＝停止の状態なのでＳ１６１０に進み、上下マスクの解除を実行し、上下マスク状態＝解除にして２巡目を終了し、ここまでで上下ぶれの付加を終了させる。（４）上下ぶれの付加を行わない状態を継続する場合には、ぶれ停止要求もぶれ発生要求もないので、Ｓ１６０１からＳ１６０２、そしてＳ１６１２と進む。Ｓ１６１３、Ｓ１６１４はぶれ量のない切り出し位置での切り出し、すなわち上下ぶれのない状態を作るステップなので、このループを継続することで上下ぶれのない状態を継続する。

以上のように、第３の実施形態では、ランダムに決められた切り出し開始位置で画像の切り出しを行った画像を表示することで、フィルム風の効果としてフィルムを映写機に掛けて再生した場合に発生する映像の上下ぶれを画像に与えることを可能にしている。

＜第４の実施形態＞
本実施形態では、フィルム風の効果としてフィルムを映写機に掛けて再生した場合に発生する映像の明るさのムラ（以下、明滅と称する）を画像に与えることが可能な画像処理装置を示す。

図１９は本実施形態における明滅を実現するための輝度信号の補正処理について説明している。本実施形態では、最終的に表示、記録される画像の明滅を実現するために、輝度信号の入出力特性を変化させる補正を行う方法を用いる。補正処理では入力された撮像画像に対し、逐次異なる入出力特性で出力画像の輝度成分を変化させる。本実施形態では、輝度信号の変化の最小単位は出力画像の信号の最小分解能であり、時間の最小単位は撮像画像の更新周期となる。

基準となる特性１９０１から特性１９０２、１９０３、１９０４の実線で示される特性の順に補正した場合、撮像画像は特性１９０１に対応する画像１９０５に対して画像１９０６、１９０７、１９０８となる。この時、画像１９０８＞画像１９０５＞画像１９０７＞画像１９０６の順で明るい。

明滅をランダムに発生させるため、例えば入出力特性を構成するパラメータデータを複数用意しておき、その中からどのパラメータデータを利用するかを乱数で決定することが考えられる。このパラメータデータ決定の乱数は、ガウス分布をはじめとして様々なものが考えられるが、その種類には依らない。

図１８（ａ）は第４の実施形態としての画像処理装置としてのデジタルビデオカメラのブロック図である。撮像素子１８００は結像した入射光を光電変換する。光電変換された信号はカメラ信号処理部１８０１へ入力される。カメラ信号処理部１８０１では光電変換された信号に対し各種の画像処理を行い映像信号へ変換し出力する。出力された映像信号はエンコーダ部１８０８で所定の記録フォーマットで符号化され、記録メディア１８０９へ記録される。

次にカメラ信号処理部１８０１での信号処理について説明する。カメラ信号処理部１８０１へ入力された信号はまず、画像処理部１８０４で輝度成分、色成分、黒成分の各信号成分に対し、各種信号処理が行われる。処理後の信号は撮像画像としてフレームメモリ１８０５へ格納される。

特性データ格納部１８０７は映像信号の輝度の入出力特性を決定するパラメータデータを複数格納しているメモリである。例えば特性が１９０１〜１９０４のように一次関数で表される場合、パラメータデータとしては直線の傾き、切片がある。また特性１９０４のように、入力が大きい場合に出力をクリップするポイントやクリップされる値もパラメータデータである。決定されたパラメータデータは補正処理部１８０６へ送られる。

補正処理部１８０６は特性データ格納部１８０７から送られたパラメータデータに応じた輝度の入出力特性を決定し、その特性に応じてフレームメモリ１８０５に格納されている撮像画像の補正を行い、補正画像を出力する。また補正は画像処理部１８０４で映像信号が輝度信号（Ｙ信号）、色差信号（Ｕ、Ｖ信号）の後に行われる処理であるため、補正により出力特性が変わったとしても、その結果が画像処理部１８０４で行われる輝度成分の処理に影響を与えることはない。

信号発生器（ＳＧ）１８０３は撮像素子１８００の駆動タイミングを制御する信号を発生する信号発生器である。発生した信号は撮像素子１８００とシステムコントローラ１８０２に供給される。

システムコントローラ１８０２は、撮像素子１８００とカメラ信号処理部１８０１で構成されるカメラブロックの制御を行う。撮像素子１８００に対しては、信号の蓄積期間や読み出しタイミングの指示を行う。画像処理部１８０４に対しては、各種信号処理で画質設定に必要なパラメータの設定を行う。特性データ格納部１８０７に対しては、入出力特性のパラメータデータの指定を行う。補正処理部１８０６に対しては、フレームメモリ１８０５から読み出しを行うタイミングの指示、補正処理の有効、無効の指示を行う。信号発生器１８０３に対しては、撮像素子１８００を駆動する駆動タイミングの指示を行う。

次に図２０を用い、本実施例におけるシステムコントローラ１８０２が補正処理部１８０６および特性データ格納部１８０７に対し指示し、各部が動作する補正処理および特性データの決定処理のフローチャートについて説明する。この制御は、撮影画像に対して明滅が付加されているかのような画像処理を施す撮影モードのときに行われる。あるいは、記録メディア１８０９等のメモリに記憶された動画像を連続的に読み出して事後処理として行われる。本処理は、垂直同期信号に連動して開始され、同期信号によって一連の処理が繰り返されることになる。

ステップＳ２００１では、まず現状の撮影モード情報等から明滅制御の動作状態を取得し、その結果を判定する。取得した動作状態から明滅の「発生」が必要であると判定した場合はステップＳ２００２へ進み、動作状態から明滅の「停止」が必要であると判定した場合はステップＳ２００４へ進む。

ステップＳ２００２では、明滅を発生させるために特性データ格納部１８０７に格納されている入出力特性を変えるパラメータデータを決定する。この時、明滅の量に変化を与えるために、複数あるパラメータデータのうち、いずれか１つのデータを選択する。例えば、明滅の量をランダムに発生させるために乱数発生手段から無作為に得た値に基づいてパラメータデータを決定する。パラメータデータを決定するとステップＳ２００３へ進む。

ステップＳ２００３では、ステップＳ２００２で決定したパラメータデータを用いて補正処理部１８０６が補正処理を行い、処理を終了する。

ステップＳ２００４では、明滅を停止するために、特性データ格納部１８０７に格納されている入出力特性のうち基準となるパラメータデータを選択する。これにより、明滅停止時は常に同じ特性となる。選択が完了したら、ステップＳ２００３へ進む。

以上のように、第４の実施形態では、画像に対して通常の画像処理に加えて輝度信号の入出力特性を変化させる補正を行う。これにより、フィルム風の効果としてフィルムを映写機に掛けて再生した場合に発生する映像の明るさのムラを画像に与えることを可能にしている。

また、図１４（ｂ）は明滅の効果を与える補正処理を、通常の撮影の際にも行われる画像処理部１８０４内のガンマ処理においてまとめてかける場合の実施形態を示したブロック図である。ホワイトバランス処理部１８１０でホワイトバランス処理が行われ、出力された段階では赤（Ｒ）、緑（Ｇ）、青（Ｂ）信号の状態で、この信号を受けて補正処理部１８０６は、輝度信号、色信号に分けて処理を行う。具体的には、輝度信号用のＲＧＢ信号と色信号用のＲＧＢ信号を用意し、それぞれに適したガンマ補正をかける。その後、輝度信号用のＲＧＢ信号から輝度（Ｙ）信号を生成し、色信号用のＲＧＢ信号から色差（Ｃｂ、Ｃｒ）信号を生成し、カラーバランス補正部１８１１に出力される。これらの過程において、輝度信号用のＲＧＢ信号に対してかけるガンマカーブを、本実施形態における入出力特性を加味したカーブに変換する。これにより、明滅用に別途処理ブロックやメモリを必要とすることなく明滅の効果を実現できる。

＜第５の実施形態＞
本実施形態では、フィルムを映写機に掛けて再生した場合に画像に発生するような映像効果を与える画像処理として、前述の実施形態で説明したスクラッチ傷と明滅と上下ぶれを重ねて画像に与える画像処理を実行可能な画像処理装置を示す。スクラッチ傷、明滅、上下ぶれの各効果を与える方法は上述の実施形態にある方法を用いるものとし、ここでは詳細な説明は省略する。

図２１は、第５の実施形態としての画像処理装置としてのデジタルビデオカメラのブロック図である。撮像素子２１００は結像した入射光を光電変換する。光電変換された信号はカメラ信号処理部２１０１へ入力される。カメラ信号処理部２１０１では光電変換された信号に対し各種の画像処理を行い映像信号へ変換し出力する。出力された映像信号はエンコーダ部２１１３で所定の記録フォーマットで符号化され、記録メディア２１１４へ記録される。

次にカメラ信号処理部２１０１での信号処理について説明する。カメラ信号処理部２１０１へ入力した信号はまず、画像処理部２１０４で第１の実施形態と同様に各種信号処理が行われ、輝度信号と色差信号で出力される。処理後の信号は撮像画像として第１のフレームメモリ２１０５へ格納される。

２１０６、２１０７、２１０８はフィルム風の効果を与える各種処理を行った結果を一時的に格納する第２、第３、第４のフレームメモリである。

次にフィルム風の効果を与える処理部について説明する。２１０９は、上下ぶれを発生させるために画像を所定の切り出し位置で画像の切り出しを行う切り出し処理部、２１１０は、明滅を発生させるために画像の輝度の入出力特性を補正する補正処理部である。２１１１は、スクラッチ傷を付加させるためにスクラッチ傷のノイズ画像を画像に合成する合成処理部、２１１２は、切り出し処理時に発生するノイズを隠蔽するためのマスク画像の付加を行うマスク処理部である。

信号発生器（ＳＧ）２１０３は撮像素子２１００の駆動タイミングを制御する信号を発生する信号発生器である。発生した信号は撮像素子２１００とシステムコントローラ２１０２に供給される。

システムコントローラ２１０２は、撮像素子２１００とカメラ信号処理部２１０１で構成されるカメラブロックの制御を行う。撮像素子２１００に対しては、信号の蓄積期間や読み出しタイミングの指示を行う。画像処理部２１０４に対しては、各種信号処理で画質設定に必要なパラメータの設定を行う。切り出し処理部２１０９に対しては、切り出し制御の有効、無効の指示、第１のフレームメモリ２１０５からの切り出し位置の指示、第１のフレームメモリ２１０５からの読み出しおよび第２のフレームメモリ２１０６への書き出しを行うタイミングの指示を行う。補正処理部２１１０に対しては、補正処理の有効、無効の指示、入出力特性のパラメータデータの指定、第２のフレームメモリ２１０６から読み出しおよび第３のフレームメモリ２１０７への書き出しを行うタイミングの指示を行う。合成処理部２１１１に対しては、合成制御の有効、無効の指示、合成対象となるノイズ画像（不図示）の指定、第３のフレームメモリ２１０７から読み出しおよび第４のフレームメモリ２１０８への書き出しを行うタイミングの指示を行う。マスク処理部２１１２に対しては、マスク画像の制御として重畳するマスクの大きさ、色の指示、フレームメモリ２１０８から読み出しを行うタイミングの指示、動作開始および解除指示を行う。信号発生器２１０３に対しては、撮像素子２１００を駆動する駆動タイミングの指示を行う。

次に図２２に、本実施形態におけるシステムコントローラ２２０２が切り出し処理部２１０９、補正処理部２１１０、合成処理部２１１１、マスク処理部２１１２に対して行う制御と、それによる各部の動作のフローチャートを示す。この制御は、撮影画像に対して複数のフィルム風の効果の付加がされているかのような画像処理を施す撮影モードのときに行われる。あるいは、記録メディア２１１４等のメモリに記憶された動画像を連続的に読み出して事後処理として行われる。本処理は、垂直同期信号に連動して開始され、同期信号によって一連の処理が繰り返されることになる。

ステップＳ２２０１では、撮影モードや各種設定の情報を取得し、上下ぶれの有効、無効を判定する。上下ぶれが有効と判定された場合は、切り出し処理部２１０９に切り出し処理を実行する指示を行い、ステップＳ２２０２へ進む。一方、無効と設定されている場合は、切り出し処理部２１０９に切り出し制御を実行しない指示を行い、ステップＳ２２０３へ進む。

ステップＳ２２０２では、第１のフレームメモリ２１０５から読み出した画像データに対して第３の実施形態で示したように切り出し処理を行う。図１６のフローにおけるＳ１６０５、Ｓ１６０６の処理と同様にマスク処理が行われる。切り出された画像データは、第２のフレームメモリ２１０６へ書き込まれる。そして、ステップＳ２２０３へ進む。

ステップＳ２２０３では、撮影モードや各種設定の情報を取得し、明滅の有効、無効を判定する。明滅が有効と判定された場合は、補正処理部２１１０に補正処理を実行する指示を行い、ステップＳ２２０４へ進む。一方、無効と判定された場合は、補正処理部２１０１０に補正処理を実行しない指示を行い、ステップＳ２２０５へ進む。

ステップＳ２２０４では、第２のフレームメモリ２１０６から読み出した画像データに対し、第４の実施形態で示したように輝度の入出力特性の補正を行うことで、明滅の制御を行う。図２０のフローに沿って、各種設定に応じて、システムコントローラ２２０２の指示によって補正処理部２１１０により１巡分処理が進められる。補正された画像データは、第３のフレームメモリ２１０７に書き込まれ、ステップＳ２２０５へ進む。

ステップＳ２２０５では、撮影モードや各種設定の情報を取得し、スクラッチ傷の付加の有効、無効を判定する。スクラッチ傷の付加が有効と判定された場合は、合成処理部２１１１にてスクラッチ傷のノイズ画像の合成制御を実行する指示を行い、ステップＳ２２０６へ進む。一方、無効と判定された場合は、合成処理部２１１１にスクラッチ傷のノイズ画像の合成制御を実行しない指示を行い、ステップＳ２２０６へ進む。

ステップＳ２２０６では、第３のフレームメモリ２１０７から読み出した画像データに対して、第２の実施形態で示したようにスクラッチ傷のノイズ画像データの合成処理が行われる。図１１のフローに沿って、各種設定に応じて、システムコントローラ２２０２の指示によって合成処理部２１１１により１巡分処理が進められる。ノイズ画像の切り出し位置および合成位置を決定する。合成された画像データは、第４のフレームメモリ２１０８に書き込まれ、ステップＳ２２０７へ進む。

ステップＳ２２０７では、撮影モードや各種設定の情報を取得し、上下マスクの付加の有効、無効を判定する。上下マスクの付加が有効と判定された場合は、マスク処理部２１１２にマスク画像の合成制御を実行する指示を行い、ステップＳ２２０８へ進む。一方、無効であると判定された場合は、マスク処理部２１１２にマスク画像の合成制御を実行しない指示を行い、ステップＳ２２０８へ進む。

ステップＳ２２０８では、第４のフレームメモリ２１０８から読み出した画像データに対して、第４の実施形態で示したように、マスク画像を付加する処理を行う。図１６のフローにおけるＳ１６０７、Ｓ１６０８の処理と同様にマスク処理が行われる。マスク処理された画像データは、カメラ信号処理部２１０１にて各種の信号処理が行われた後の画像データとしてエンコーダ部２１１３等に出力され、１巡目の処理を終了する。

以上のように、第５の実施形態では、入力される画像データの画像に対して、スクラッチ傷と明滅と上下ぶれを重ねて画像に与える。これにより、フィルムを映写機に掛けて再生した場合に画像に発生するような映像効果を、より忠実に与えることができる。

また、図２１（ｂ）に、本実施形態で画像に与える効果のうち、通常の撮影モードにおける各種の処理と並行して与えられるものをまとめて与えるようにした実施形態の画像処理装置を示す。この形態では、切り出し処理部２１０９は、通常、センサーから読み出した画像を一旦フレームメモリにバッファリングし、センタリングや不要画素のカットなど画角合わせを行っており、これらの切り出しの処理を行うブロックである。また手ぶれによる画像全体のぶれを補正するための電子防振の機能としても用いられる。本実施形態では、ここに上下ぶれのための切り出し処理も実行させる。さらに、図１８（ｂ）と同様に、画像処理部２１０４内で通常の撮影時にも行われる輝度信号へのガンマ補正を行う補正処理部２１１０に、明滅のための輝度の入出力特性の補正を踏まえたガンマカーブによってガンマ補正を実行させる。これにより、新たに設ける処理ブロックも少なくなり、処理の高速化も実現できる。

＜第６の実施形態＞
本実施形態では、フィルムを映写機に掛けて再生した場合に画像に発生するような映像効果（フィルム調の効果）をデジタル画像に重畳するために、グレインノイズとスクラッチ傷とを重ねて付加することが可能な画像処理装置を示す。グレインノイズとスクラッチ傷の生成についての詳細は第１及び第２の実施形態にて詳述しているため、ここでは省略する。

図２４はフィルムを記録媒体とした動画撮影における記録（以下、撮影）から再生（以下、上映）までの過程を説明した図である。図２５は図２４で挙げた各過程において、上映結果に影響を与える事象（（１）の過程における（Ａ）、（Ｂ））と、その事象による効果（同じく（Ａ−１）、（Ａ−２）、（Ｂ））、また、その効果を疑似的に画像処理で実現するための手段を載せた表である。

動画撮影における過程はまず（１）撮影、（２）現像・編集、（３）保管、（４）上映の順で４つに分けられる。グレインノイズは（２）現像・編集の過程で例えば「銀のこし」として知られる現像手法によって発生する。また、スクラッチ傷は（４）上映の過程で走行中のフィルムに傷が付くことで発生する。すなわち、グレインノイズとスクラッチ傷は、フィルムで撮影された画像が上映される行程において、別の原因によって発生する、特性の異なるノイズである。第１の実施形態、第２の実施形態、及び本実施形態ではこの２つのノイズを、発生するノイズを模したノイズ画像を撮像画像に合成することで実現している。

なお、その他（１）撮影の過程では撮影に利用した（Ａ）光学系の特性により（Ａ−１）周辺光量落ち、（Ａ−２）歪曲が発生する。また（３）保管の過程では（Ａ）フィルムの経年変化による退色、（Ｂ）ゴミの付着、シミの発生によるノイズなどが発生する。これらの効果についても同様に、歪曲であれば画像処理装置において（１）の（Ａ−２）表示画像の変形、ゴミであれば（２）または（３）の（Ｂ）ランダムな粒状ノイズの貼り付けを行うことで、画像に疑似的に与えることができる。さらに、退色であれば（３）の（Ａ）カラーバランス、カラーゲインの補正である。
フィルム調の効果として効果を複数付加する場合、フィルム撮影の過程に対応した順番で効果を与えることで、より好ましい結果を得ることができる。グレインノイズとスクラッチ傷を両方付加する場合、グレインノイズの原因となる現像・編集過程はスクラッチ傷の原因となる上映の過程の前段階にある。そのため本実施形態では、入力される画像データに対して、グレインノイズを合成した結果の画像データに対し、そのあとでスクラッチ傷を付加する処理を行う。こうすることで、より忠実なフィルム調の効果を与えることが可能となる。

図２３は、第６の実施形態としての画像処理装置としてのデジタルビデオカメラのブロック図である。撮像素子２３００は結像した入射光を光電変換する。光電変換された信号はカメラ信号処理部２３０１へ入力される。カメラ信号処理部２３０１では光電変換された信号に対し各種の画像処理を行い映像信号へ変換し出力する。出力された映像信号はエンコーダ部２３１４で所定の記録フォーマットで符号化され、記録メディア２３１５へ記録される。

次にカメラ信号処理部２３０１での信号処理について説明する。信号処理部２３０１へ入力した信号はまず、画像処理部２３０４で第１の実施形態と同様に各種信号処理が行われる。処理後の信号は撮像画像として第１のフレームメモリ２３０５へ格納される。

２３０８はシステムコントローラ２３０２（第２の指定手段）の指示により、スクラッチ傷のノイズ画像の生成および切り出しを行うスクラッチ傷生成部（選択手段）である。第２のフレームメモリ２３０６（第２の記憶手段）に格納されたノイズ画像（第２のノイズデータ）は第２の実施形態に示したように処理され、合成処理部２３１０で合成される。

２３０９はシステムコントローラ２３０２（第１の指定手段）の指示により、グレインノイズのノイズ画像の生成および切り出しを行うグレインノイズ生成部（切り出し手段）である。第３のフレームメモリ２３０７（第１の記憶手段）に格納されたノイズ画像（第１のノイズデータ）は第１の実施形態で示したように処理され、合成処理部２３１０で合成される。

合成処理部２３１０は第１のフレームメモリ２３０５に格納されている撮像画像を異なる二つの画像と順次合成可能な合成処理部である。２３１１は第１の入力画像を合成する第１の合成部であり、第１のフレームメモリ２３０５に格納されている画像データとグレインノイズのノイズ画像データとの合成を行う。２３１２は第２の入力画像を合成する第２の合成部であり、第１の合成部の出力結果の画像データとスクラッチ傷のノイズ画像データとの合成を行う。切替制御部２３１３は第１、第２の合成部に、合成する画像データを入力するか否かの切り替えを行う。入力の切り替えは第１、第２の各合成部で独立して設定が可能である。また、第１、第２の各合成部に入力しない場合は、第１のフレームメモリ２３０５に格納されている画像データあるいは第１の合成部の出力結果の画像データがそのまま出力されることとなる。

信号発生器（ＳＧ）２３０３は撮像素子２３００の駆動タイミングを制御する信号を発生する信号発生器である。発生した信号は撮像素子２３００とシステムコントローラ２３０２に供給される。

システムコントローラ２３０２は、撮像素子２３００とカメラ信号処理部２３０１で構成されるカメラブロックの制御を行う。撮像素子２３００に対しては、信号の蓄積期間や読み出しタイミングの指示を行う。画像処理部２３０４に対しては、各種信号処理で画質設定に必要なパラメータの設定を行う。合成処理部２３１０に対しては、合成を行うフレームメモリ２３０５の撮像画像の読み出しタイミングの指示、第１、第２の各合成部の合成比率の指示、第１、第２の各合成部が合成を行うか否かの指示を行う。スクラッチ傷生成部２３０８に対しては、スクラッチ傷を生成するために、メモリ２３０６へのノイズデータの読み書きのタイミングの指示、切り出し位置と大きさの指示、リサイズ時の大きさの指示および合成時の貼り付け位置の指示を行う。グレインノイズ生成部２３０９に対しては、グレインノイズを生成するために、メモリ２３０７へのノイズデータの読み書きのタイミングの指示、切り出し位置と大きさの指示、リサイズ時の大きさの指示および合成時の貼り付け位置の指示を行う。信号発生器２３０３に対しては、撮像素子２００を駆動する駆動タイミングの指示を行う。

次に図２６に、本実施形態におけるシステムコントローラ２３０２が合成処理部２３１０に対し指示する合成画像の切り替え制御、及びその制御を受けて各部で行われる処理のフローチャートを示す。この制御は、撮影画像に対して複数のフィルム風のノイズ効果を付加する撮影モードのときに行われる。あるいは、記録メディア２３１５等のメモリに記憶された動画像を連続的に読み出して事後処理として行われる。本処理は、垂直同期信号に連動して開始され、同期信号によって一連の処理が繰り返されることになる。

グレインノイズとスクラッチ傷を多重に合成する場合、上述したようにグレインノイズ、スクラッチ傷の順に合成すると、実際にフィルムを上映した時に近い効果が得られる。そこで、第１の合成部の合成用の画像として、グレインノイズ生成部２３０９が出力するノイズ画像を入力し、第２の合成部の合成用画像として、スクラッチ傷生成部２３０８が出力するノイズ画像を入力する。

ステップＳ２６０１では、フレームメモリ２３０５に格納されている撮像画像に付加するノイズ効果の種別を取得し、ステップＳ２６０２へ進む。

ステップＳ２６０２では、ステップＳ２６０１で取得したノイズ効果の種別にグレインノイズが含まれているか否かを判定する。含まれている場合はステップＳ２６０３へ進み、含まれていない場合はステップＳ２６０４へ進む。

ステップＳ２６０３では、グレインノイズの合成を有効とし、第１の実施形態で示したように、グレインノイズの合成処理を行う。図７のフローに沿って、各種設定に応じて、システムコントローラ２３０２の指示によってグレインノイズ生成部２３０９、合成処理部２３１０により１巡分処理が進められる。本実施形態では、第１の合成部２３１１によって、入力される第１のフレームメモリ２３０５からの画像データとグレインノイズデータとを合成する。合成された出力結果は第２の合成部２３１２へ出力され、ステップＳ２６０５へ進む。

ステップＳ２６０４では、グレインノイズの合成を無効とする設定を決定し、ステップＳ２６０５へ進む。

ステップＳ２６０５では、ステップＳ２６０１で取得したノイズ効果の種別にスクラッチ傷が含まれているか否かを判定する。含まれている場合はステップＳ２６０６へ進み、含まれていない場合はステップＳ２６０７へ進む。

ステップＳ２６０６では、スクラッチ傷の合成を有効とし、第２の実施形態で示したように、スクラッチ傷のノイズの合成処理を行う。図１１のフローに沿って、各種設定に応じて、システムコントローラ２３０２の指示によってスクラッチ傷生成部２３０８、合成処理部２３１０により１巡分処理が進められる。本実施形態では、スクラッチ傷生成部２３０８にてスクラッチ傷のノイズデータを生成し、第２の合成部２３１２にて、第１の合成部２３１１の出力結果の画像データと、スクラッチ傷のノイズデータとを合成する。合成された出力結果の画像データはカメラ信号処理部２３０１の出力として出力され、制御を終了する。

ステップＳ２６０７では、スクラッチ傷の合成を無効とする設定を決定し、制御を終了する。

以上のように、第６の実施形態では、入力される画像データの画像に対して、時間的及び空間的なランダム性が互いに異なるグレインノイズとスクラッチ傷という２つのノイズをノイズデータとして別々に生成し、重ねて画像データに合成する。これにより、フィルムを映写機に掛けて再生した場合に画像に発生するような映像効果を、より忠実に与えることができる。さらに、画像データに各ノイズを合成する順番を、フィルム撮影の過程に対応した順番とすることで、より忠実なノイズ効果を得ることを可能としている。

本実施形態では、入力される画像データに対して、グレインノイズのノイズ画像データ、スクラッチ傷のノイズ画像データと、順に合成した。しかし、これに限らず、グレインノイズのノイズ画像データにスクラッチ傷のノイズ画像データを合成したものを、入力される画像データと合成しても良い。この際、グレインノイズのノイズ画像データとスクラッチ傷のノイズ画像データを合成する際に、予めグレインノイズに透過性を持たせてスクラッチ傷を０：１で合成する（貼り付ける）。その上で、入力される画像データと合成されたノイズ画像データとを０：１で合成すると、グレインノイズは透過性に対応した合成比率で合成され、スクラッチ傷は上から貼り付けられたような画像の出力となり、本実施形態のようにより忠実な画像が出来上がる。

（他の実施形態）
上記各実施形態では、画像処理装置の一例としてビデオカメラの撮影画像に対してフィルム調の効果を与える場合の実施形態を示した。しかし、これに限らず、本発明は入力される画像データに対して画像処理を加えられる画像処理装置であればその形態を問わない。例えばデジタルスチルカメラ、ＰＣ、携帯端末等様々なものが考えられる。

図２７は本発明の適用できる画像処理装置のうち、記録画像に対して処理を行う場合の実施形態の一例を示している。信号処理部２７０１は上記各実施形態におけるカメラ信号処理部に相当し、必要に応じてフレームメモリ等も有しているものとする。記録部２７０３に記録された画像データに、記録制御部２７０２にて必要に応じて復号化あるいは伸長処理を施し、信号処理部２７０１にてフィルム調の効果を付加する処理を施す。処理後の画像データは、再び記録制御部２７０２に送られ、必要に応じて符号化、圧縮処理を施され、記録部２７０３に記録される。また、表示制御部２７０４に送られ、表示部２７０５に表示される。なお、信号処理部２７０１以外の構成は必ずしも画像処理装置内にある必要はなく、記録部２７０３として外部装置の記録媒体やＷＥＢ上のオンラインストレージなどでもよい。また、表示部２７０５も外部のモニタ等の表示装置でもよい。

また、本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。

この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

１００、２００ 撮像素子
１０１、２０１ カメラ信号処理部
１０２、２０２ システムコントローラ
１０３、２０３ 信号発生器
１０４、２０４ 画像処理部
１０５、２０１ 合成処理部
１０６、２０６ 切り出し処理部
１０７、２０７ 拡大処理部
１０８ 第１のフレームメモリ
１０９、２１０ メモリ
１１０ 第２のフレームメモリ
１１１、２１１ エンコーダ部
１１２、２１２ 記録メディア
２０８ 貼り付け処理部
２０９ フレームメモリ

Claims (22)

1. 入力される複数フレームの画像にノイズ効果を与えることが可能な画像処理装置であって、
   ２次元で構成される第１のノイズデータを記憶する第１の記憶手段と、
   前記第１のノイズデータに基づいて、入力される画像のフレーム全体に対応したノイズデータを前記入力される画像に合成する第１の合成手段と、
   前記第１のノイズデータとは異なる第２のノイズデータを記憶する第２の記憶手段と、
   前記第２のノイズデータから、画像に貼り付けるノイズデータを選択する選択手段と、
   画像上で前記選択手段で選択されたノイズデータを貼り付ける位置を指定する指定手段と、
   前記第１の合成手段から出力される画像に対して、前記指定手段で指定された位置に前記選択手段で選択されたノイズデータを合成することで貼り付ける第２の合成手段と、を有することを特徴とする画像処理装置。
2. 前記第１のノイズデータは乱数によって画素値を決められた画素群からなるデータであり、前記ノイズ効果はフィルム風の粒状効果であることを特徴とする請求項１に記載の画像処理装置。
3. 前記第２のノイズデータは水平方向に１画素を最小単位とし、垂直方向に複数画素を最小単位として乱数によって強度が決められていることを特徴とする請求項１または２に記載の画像処理装置。
4. 入力される複数フレームの画像にノイズ効果を与えることが可能な画像処理装置であって、
   ２次元で構成される第１のノイズデータを記憶する第１の記憶手段と、
   前記第１のノイズデータから入力される画像のフレーム全体に対応したノイズデータを切り出す切り出し手段と、
   前記切り出し手段が切り出す前記ノイズデータ上の切り出し位置を指定する第１の指定手段と、
   前記切り出し手段によって切り出されたノイズデータを前記入力される画像に合成する第１の合成手段と、
   前記第１のノイズデータとは異なる第２のノイズデータを記憶する第２の記憶手段と、前記第２のノイズデータから、今回のフレームの画像に貼り付けるノイズデータを選択する選択手段と、
   前記今回のフレームの画像上の前記選択手段で選択されたノイズデータを貼り付ける位置を指定する第２の指定手段と、
   前記第２の指定手段で指定された位置に前記選択手段で選択されたノイズデータを合成することで貼り付ける第２の合成手段と、を有し、
   前記第１の指定手段は、前記第１のノイズデータからの切り出し位置をランダムな値に基づいて指定し、前記第１のノイズデータ上での前回の切り出し位置と今回の切り出し位置との距離が第１の所定値より大きくなるように今回の切り出し位置を指定することを特徴とする画像処理装置。
5. 前記第１の指定手段は、
   前記切り出し位置をランダムな値に基づいて指示する指示手段と、
   前記指示手段によって指示された今回の切り出し位置と前回の切り出し位置との距離が所定値より小さいときに、前記指示手段によって指示された今回の切り出し位置を前記距離が前記第１の所定値より大きくなる位置に変更する変更手段と、
   を有することを特徴とする請求項１乃至４のいずれか１つに記載の画像処理装置。
6. 入力される複数フレームの画像にノイズ効果を与えることが可能な画像処理装置であって、
   ２次元で構成される第１のノイズデータを記憶する第１の記憶手段と、
   前記第１のノイズデータから切り出されたノイズデータを前記入力される画像に合成する第１の合成手段と、
   前記第１のノイズデータとは異なる第２のノイズデータを記憶する第２の記憶手段と、前記第２のノイズデータから、今回のフレームの画像に貼り付けるノイズデータを選択する選択手段と、
   前記今回のフレームの画像上の前記選択手段で選択されたノイズデータを貼り付ける位置を指定する第２の指定手段と、
   前記第２の指定手段で指定された位置に前記選択手段で選択されたノイズデータを合成することで貼り付ける第２の合成手段と、を有し、
   前記第２の合成手段は、前回のフレームの画像に前記選択手段によって選択されるノイズデータが貼り付けられた貼り付け位置と、今回のフレームの画像に前記選択手段によって選択されるノイズデータを貼り付ける貼り付け位置との距離が第２の所定値より大きい場合、今回の前記選択手段によって選択されるノイズデータの貼り付けを制限することを特徴とする画像処理装置。
7. 前記第２のノイズデータは２次元データで構成され、
   前記選択手段は、前記第２のノイズデータからランダムに指定された位置に基づいて２次元のノイズデータを切り出すことで今回のフレームの画像に貼り付けるノイズデータを選択することを特徴とする請求項１乃至６のいずれか１つに記載の画像処理装置。
8. 前記選択手段によって選択された同一のノイズデータが連続して貼り付けられる時間を検出する第１の検出手段を有し、
   前記選択手段は、前記第１の検出手段によって同一のノイズデータが連続して貼り付けられる時間が第１の所定時間を超えたことが検出された場合に、新たにノイズデータを選択することを特徴とする請求項１乃至７のいずれか１つに記載の画像処理装置。
9. 前記複数フレームの入力される画像に連続して前記選択手段によって選択されたノイズデータが貼り付けられる継続時間を検出する第２の検出手段を有し、
   前記第２の検出手段によって前記継続時間が第２の所定時間を超えたことが検出された場合に、ノイズデータの貼り付けを無効とすることを特徴とする請求項１乃至８のいずれか１つに記載の画像処理装置。
10. 前記入力される画像に対して所定の切り出し開始位置でかつ所定の切り出し範囲で切り出しを行う切り出し手段を有することを特徴とする請求項１乃至９のいずれか１つに記載の画像処理装置。
11. 前記切り出し手段は、前記切り出し開始位置をランダムに決定することを特徴とする請求項１０に記載の画像処理装置。
12. 前記切り出し手段は、異なる周期で決定した二つの上下ぶれ量の和をオフセット量とし、当該オフセット量の分だけ画像の読み出し開始位置をずらして前記切り出し開始位置とすることを特徴とする請求項１０に記載の画像処理装置。
13. 前記切り出し手段により切り出された画像にマスクを付加するマスク手段を有することを特徴とする請求項１０乃至１２のいずれか１つに記載の画像処理装置。
14. 前記入力される複数フレームの画像に対して、時間的にランダムに輝度の入出力特性を変化させる補正を行う輝度補正手段を有することを特徴とする請求項１乃至１３のいずれか１つに記載の画像処理装置。
15. 前記輝度補正手段は、予め記憶された複数の輝度の入出力特性を構成するパラメータから、ランダムにパラメータを選択して補正に用いることを特徴とする請求項１４に記載の画像処理装置。
16. 前記輝度補正手段は、通常の撮影の際に行われるガンマ処理とあわせて前記時間的にランダムに輝度の入出力特性を変化させる補正を行うことを特徴とする請求項１４または１５に記載の画像処理装置。
17. 前記入力される画像に対して所定の切り出し開始位置でかつ所定の切り出し範囲で切り出しを行う切り出し手段と、
    前記切り出し手段により切り出された画像にマスクを付加するマスク手段と、前記入力される複数フレームの画像に対して、時間的にランダムに輝度の入出力特性を変化させる補正を行う輝度補正手段と、を有し、
    前記入力される複数フレームの画像に対して、前記輝度補正手段による補正、前記切り出し手段による切り出し、前記第２の合成手段によるノイズデータの合成、前記マスク手段によるマスクの付加の順に処理が行われることを特徴とする請求項１乃至１６のいずれか１つに記載の画像処理装置。
18. ２次元で構成される第１のノイズデータを記憶する第１の記憶手段と、
    前記第１のノイズデータとは異なる第２のノイズデータを記憶する第２の記憶手段と、ノイズデータを画像に合成する合成手段と、を有し、
    入力される複数フレームの画像にノイズ効果を与えることが可能な画像処理装置の制御方法であって、
    前記第１のノイズデータに基づいて、入力される画像のフレーム全体に対応したノイズデータを前記入力される画像に合成する第１の合成ステップと、
    前記第２のノイズデータから、画像に貼り付けるノイズデータを選択する選択ステップと、画像上の前記選択ステップで選択されたノイズデータを貼り付ける位置を指定する指定ステップと、
    前記第１の合成ステップで出力される画像に対して、前記指定ステップで指定された位置に前記選択ステップで選択されたノイズデータを合成することで貼り付ける第２の合成ステップと、を有することを特徴とする画像処理装置の制御方法。
19. ２次元で構成される第１のノイズデータを記憶する第１の記憶手段と、
    前記第１のノイズデータとは異なる第２のノイズデータを記憶する第２の記憶手段と、ノイズデータを画像に合成する合成手段と、を有し、
    入力される複数フレームの画像にノイズ効果を与えることが可能な画像処理装置の制御方法であって、
    前記第１のノイズデータから入力される画像のフレーム全体に対応したノイズデータを切り出す切り出しステップと、
    前記切り出しステップで切り出される前記ノイズデータ上の切り出し位置を指定する第１の指定ステップと、
    前記第１のノイズデータから切り出されたノイズデータを前記入力される画像に合成する第１の合成ステップと、
    前記第２のノイズデータから、今回のフレームの画像に貼り付けるノイズデータを選択する選択ステップと、
    前記今回のフレームの画像上の前記選択ステップで選択されたノイズデータを貼り付ける位置を指定する第２の指定ステップと、
    前記第１の指定ステップでは、前記第１のノイズデータからの切り出し位置をランダムな値に基づいて指定し、前記第１のノイズデータ上での前回の切り出し位置と今回の切り出し位置との距離が第１の所定値より大きくなるように今回の切り出し位置を指定することを特徴とする画像処理装置の制御方法。
20. ２次元で構成される第１のノイズデータを記憶する第１の記憶手段と、
    前記第１のノイズデータとは異なる第２のノイズデータを記憶する第２の記憶手段と、ノイズデータを画像に合成する合成手段と、を有し、
    入力される複数フレームの画像にノイズ効果を与えることが可能な画像処理装置の制御方法であって、
    前記第１のノイズデータから切り出されたノイズデータを前記入力される画像に合成する第１の合成ステップと、
    前記第２のノイズデータから、今回のフレームの画像に貼り付けるノイズデータを選択する選択ステップと、
    前記今回のフレームの画像上の前記選択ステップで選択されたノイズデータを貼り付ける位置を指定する第２の指定ステップと、
    前記第２の指定ステップで指定された位置に前記選択ステップで選択されたノイズデータを合成することで貼り付ける第２の合成ステップと、を有し、
    前記第２の合成ステップでは、前回のフレームの画像に前記選択ステップによって選択されるノイズデータが貼り付けられた貼り付け位置と、今回のフレームの画像に前記選択ステップによって選択されるノイズデータを貼り付ける貼り付け位置との距離が第２の所定値より大きい場合、今回の前記選択ステップによって選択されるノイズデータの貼り付けを制限することを特徴とする画像処理装置の制御方法。
21. 請求項１８乃至２０のいずれか１つに記載の画像処理装置の制御方法の手順が記述されたコンピュータで実行可能なプログラム。
22. 請求項１８乃至２０のいずれか１つに記載の画像処理装置の制御方法の手順が記述されたプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。

Images