JP6082304B2 - 画像処理装置及びその処理方法 - Google Patents

Description

本発明は、映像のノイズ感を補正する技術に関する。

近年、映像のデジタル化が進展するのに伴い、デジタル映像でのノイズ感制御が課題となっている。ここで、映像のノイズ感を制御する技術として、例えば特許文献１のように、フィルムグレインに似たノイズを加算する技術や、特許文献２のように、解像感の向上を狙って主要被写体の位置にノイズを加算する技術が提案されている。

特開２００７―１７４６６７号公報 特開２００８―１８７２６０号公報

映像の合成編集や繋ぎ編集では、撮影機材や撮影条件の異なる複数の映像を１つの映像に編集する。しかしながら、編集後において、映像間のノイズ感の相違が際立ってしまい、違和感が残る場合がある。そこで、合成編集や繋ぎ編集する際、あらかじめ複数の映像間でノイズ感を整合させておく必要がある。

しかしながら、特許文献１は、映像に一律にグレインノイズのようなノイズを付加するだけの技術である。そのため、映像のノイズ感を一致させるには、本来映像に含まれるノイズが目立たなくなるだけのノイズを付加しなければならない場合があるほか、ノイズ量も編集者自らが調整する必要がある。

また、特許文献２によれば、映像に応じたノイズ付加を実現してはいるが、主要被写体の位置に応じたノイズ付加であるため、やはり複数映像でのノイズ感を整合させるためのノイズ量は編集者自らが調整する必要がある。

本発明は、複数映像のノイズ感を評価値として数値化し、この評価値に基づいてノイズ感を整合させた装置及び方法を提供する。

本発明は、画像処理装置であって、
複数の映像それぞれについてノイズ評価値を算出する評価値算出手段と、
前記評価値算出手段により算出された前記複数の映像それぞれのノイズ評価値に基づいて、前記複数の映像それぞれに加算するノイズを決定する決定手段であって、前記ノイズの加算により前記複数の映像のノイズ評価値の差が小さくなるように、前記複数の映像それぞれに加算するノイズを決定する決定手段と、
前記複数の映像それぞれのノイズ評価値に基づいて前記決定手段により決定されたノイズを映像に加算するノイズ加算手段とを有する。

本発明によれば、映像編集者が調整の手間をかけることなく、ノイズ感が整合した映像を得ることができる。

画像処理装置全体のシステム構成を示すブロック図。 映像データのデータ構造を示す模式図。 ノイズ自己相関関数を示す模式図。 映像処理装置の構成を示すブロック図。 ノイズ評価値算出部の詳細な構成を示す図。 空間視覚特性を示す模式図。 加算ノイズ特性算出部の詳細な構成を示す図。 時間ノイズ評価値と空間ノイズ評価値とから算出した類似度を示す図。 ノイズ評価値関係の一例を示す図。 加算ノイズ算出部の詳細な構成を示す図。 第２の実施形態の加算ノイズ特性算出部の詳細な構成を示す図。 第２の実施形態の類似度を示す図。 第２の実施形態のノイズ評価値関係の一例を示す図。 加算ノイズの方向を余弦として距離に応じて算出する関数を示す図。

以下、図面を参照しながら発明を実施するための形態について詳細に説明する。

［第１の実施形態］
まず、画像処理装置全体のシステム構成を、図１に示すブロック図を用いて説明する。ＣＰＵ１０１は、メインメモリ１０２のＲＡＭをワークメモリとしてメインメモリ１０２のＲＯＭやハードディスクドライブ（ＨＤＤ）１０３に格納されたオペレーティングシステム（ＯＳ）及び各種プログラムを実行する。また、ＣＰＵ１０１はＰＣＩ（peripheral component interconnect）バスなどのシステムバス１１１を介して各構成を制御する。

ＨＤＤ１０３は、各種プログラム及び映像データを格納し、映像処理装置１０４に映像データを転送すると共に、映像処理装置１０４の処理結果映像データを受信して格納する。映像処理装置１０４は、映像処理装置１０４から転送された２つの映像データを内部に一旦格納し、一方もしくは双方の映像にノイズ補正処理を施し、処理結果の映像データを映像処理装置１０４に転送する。ＣＰＵ１０１は、グラフィックアクセラレータ１０７を介してユーザインタフェース画面をカラーモニタ１０８に表示する。また、ユーザ指示はキーボードコントローラ１０５に接続されたキーボード１０６を介して入力される。このユーザインタフェース画面とキーボード１０６とを用いて、処理対象とする映像データの指定や処理内部のパラメータの設定を行う。

メディアインタフェース１０９は、メディア１１０（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）に接続するためのインタフェースである。メディア１１０に格納された映像データは、このメディアインタフェース１０９を介してＨＤＤ１０３に転送される。また、ＨＤＤ１０３に格納された処理結果映像データが、このメディアインタフェース１０９を介してメディア１１０に転送される。メディア１１０に格納された処理結果映像データは、図示しない別の映像編集機器を用いてカットつなぎや映像合成などの編集処理が施され、最終的な映像データへと加工される。

次に、映像データのデータ構造を、図２に示す模式図を用いて説明する。データはアドレス0x0000から0x00FFまでに映像の横方向（すなわちフレームの横方向）でのノイズ自己相関関数axが、アドレス0x0100から0x01FFまでに映像の縦方向（すなわちフレームの縦方向）でのノイズ自己相関関数ayが記述される。更に、アドレス0x0200から0x02FFまでに映像の時間方向（すなわちフレーム間）でのノイズ自己相関関数atが記述され、アドレス0x0300からは映像信号が記述される。各自己相関関数は、離散時間ディジタル信号で記述され、各サンプルポイントでの関数値が32bitで表現される。これらのノイズ自己相関関数は映像に含まれるノイズのノイズ特性として記述されるものであり、横方向でのノイズ自己相関関数と縦方向でのノイズ自己相関関数は空間ノイズ特性、時間方向でのノイズ自己相関関数は時間ノイズ特性である。ノイズ自己相関関数を模式図として表すと、例えば図３に示す（ａ）〜（ｃ）のような関数形状となる。映像信号は、フレームすなわち静止画のビットマップ画像列が時間順に並んだ形式で記述される。以下、映像に含まれるノイズのノイズ特性を「映像ノイズ特性」と称す。

映像ノイズ特性は、例えば次のように算出できる。まず、一様なグレイチャートを撮影機器で撮影する。用いる撮影機器は、編集対象の映像を撮影した撮影機器である。続いて、撮影映像のグレイチャートの領域内で、ノイズ特性を算出する領域を決定する。この領域内の映像の画素(x,y,t)の輝度値a(x,y,t)から、ノイズn(x,y,t)は次のように算出する。

ここでＬ，Ｍ，Ｎはそれぞれ、映像空間内におけるノイズ特性算出対象となる領域の各座標軸方向の最大値を示す。たとえばＬ，Ｍはそれぞれ１フレーム内においてノイズ特性の算出対象となる領域の横縦それぞれの画素数、Ｎはノイズ特性の算出対象となるフレーム数である。したがって右辺第２項は対象領域内の画素値の平均を示す。このように、撮影したグレイチャートの映像における着目画素の輝度値a(x,y,t)の偏差を着目画素のノイズと定義する。このノイズより、ノイズ自己相関関数を次のように算出する。

すなわち、ノイズ特性ax,ay,atは、映像空間の各座標軸の方向（すなわち横、縦、時間）について互いに距離ｘ，ｙ，ｔ離れた２つの画素のノイズの積の平均値で定義される。距離とはたとえばフレームのｘ，ｙ方向については空間的な距離であり、ｔ(時間)方向については時間あるいはフレーム数である。またたとえばフレームサイズが２Ｌ×２Ｍ、フレーム数が２Ｎの映像に対して、ノイズ特性の算出対象を各軸についてその中間までの領域とすれば、０≦ｘ≦Ｌ、０≦ｙ≦Ｍ、０≦ｔ≦Ｎの範囲でノイズ自己相関関数を評価できる。

このような処理をアプリケーションソフトとして提供し、ユーザが撮影グレイチャートからノイズ特性を算出し、映像データにノイズ特性の情報を付加させてもよい。また、撮影機器の条件に応じたノイズ特性をメーカーがあらかじめ作成して撮影機器に記憶させておき、ユーザの撮影条件に応じて映像データに自動的に映像ノイズ特性の情報を付加する機構を設けておいてもよい。

ここで、映像処理装置１０４の構成を、図４に示すブロック図を用いて説明する。バスインタフェース４０１は、映像処理装置１０４から転送される２つの映像データを、システムバス１１１を介して受信し、フレームメモリ４０２とフレームメモリ４０３とに内部バス４１６を介してそれぞれを格納する。また、フレームメモリ４１２とフレームメモリ４１５とに格納された処理結果映像データを、システムバス１１１を介してＨＤＤ１０３に転送する。

ノイズ特性取得部４１７、４１８は、フレームメモリ４０２とフレームメモリ４０３とにそれぞれ格納された映像データから映像ノイズ特性の情報をそれぞれ取得する。このノイズ特性情報は、図２を用いて説明した特性情報である。ノイズ評価値算出部４０４は、取得した映像ノイズ特性からそれぞれの映像データに対するノイズ評価値を算出し、ノイズ評価値データとして加算ノイズ特性算出部４０５へ出力する。加算ノイズ特性算出部４０５は、２つの映像データに対するそれぞれのノイズ評価値からそれぞれの映像に加算するノイズのノイズ特性（加算ノイズ特性）を算出する。尚、映像データのどちらかにノイズの加算が必要ない場合、その加算ノイズ特性は"０"となる。

加算ノイズ算出部４０６は、算出された加算ノイズ特性に基づいて、実際に映像に加算するノイズ映像データを作成し、フレームメモリ４０７及びフレームメモリ４０８に転送する。ノイズ特性修正部４０９は、フレームメモリ４０２に格納された映像データの映像ノイズ特性の情報を加算ノイズ特性算出部４０５で算出された加算ノイズ特性に基づいて修正する。修正された映像ノイズ特性は、処理結果映像データのノイズ特性を表わすものとなる。ノイズ加算部４１０は、フレームメモリ４０７に格納されている加算ノイズ映像データをフレームメモリ４０２に格納された映像データに加算する。

また同様に、ノイズ特性修正部４１３は、フレームメモリ４０３に格納された映像データの映像ノイズ特性の情報を加算ノイズ特性算出部４０５で算出された加算ノイズ特性に基づいて修正する。ノイズ加算部４１４は、フレームメモリ４０８に格納されている加算ノイズ映像データをフレームメモリ４０３に格納された映像データに加算する。

以下、フレームメモリ４０３に格納された映像データを映像Ａ、フレームメモリ４０２に格納された映像データを映像Ｂとする。

次に、ノイズ評価値算出部４０４の詳細な構成を、図５を用いて説明する。端子５０１からは映像Ａに対する映像ノイズ特性が入力され、端子５０２からは映像Ｂに対する映像ノイズ特性が入力される。マルチプレクサ５０３は、入力された２つの映像ノイズ特性の一つを選択し、ノイズ特性分離回路５０４へ出力する。

ノイズ特性分離回路５０４は、映像ノイズ特性から空間ノイズ特性と時間ノイズ特性とを分離し、空間ノイズ特性を空間ノイズ評価値算出回路５０５へ出力し、時間ノイズ特性を時間ノイズ評価値算出回路５０６へ出力する。空間ノイズ評価値算出回路５０５は、フレームの横方向のノイズ自己相関関数とフレームの縦方向のノイズ自己相関関数とに対してそれぞれ離散フーリエ変換を施して空間周波数特性に変換した後、それぞれに空間視覚特性を周波数域で乗算し、乗算結果の総和をとる。更に、２つの総和値を乗算することで空間ノイズ評価値Esを算出する。式では下記のようになる。

ここで、Ax(u)は横方向のノイズ自己相関関数ax(x)の離散フーリエ変換、Ay(v)は縦方向のノイズ自己相関関数ay(y)の離散フーリエ変換である。また、VTFsx(u)、VTFsy(v)はそれぞれ横方向の空間視覚特性と縦方向の空間視覚特性であり、それぞれ次のように定義される。

ここでは、画素ピッチをp(mm)、視距離をR(mm)、映像の横画素数をNx、縦画素数をNyとしている。そして、VTFsx(u)、VTFsy(v)は、空間視覚特性、即ち

を視距離と画素ピッチと画素数とに応じて周波数空間でサンプリングしたものであり、基本形は同じである。上記式による空間視覚特性の一例を図６（ａ）に示す。本例では横方向と縦方向の空間視覚特性は同一としているが、縦と横とで異なる視覚特性を採用してもよい。

ここで図５に戻り、時間ノイズ評価値算出回路５０６は、時間方向のノイズ自己相関関数に対して離散フーリエ変換を施した後、時間視覚特性を周波数域で乗算して時間ノイズ評価値Etを算出する。式では以下のようになる。

ここで、At(w)は、時間方向のノイズ自己相関関数at(t)の離散フーリエ変換である。VTFt(w)は時間視覚特性であり、次のように定義される。また、Ｔはフレームレートf[Hz]の逆数すなわちフレーム間隔である。

上記式による時間視覚特性の一例を図６Ｂに示す。

評価値合成回路５０７は、空間ノイズ評価値算出回路５０５からの空間ノイズ評価値と時間ノイズ評価値算出回路５０６からの時間ノイズ評価値とを合成し、一組のノイズ評価値データとしてデマルチプレクサ５０８へ出力する。合成とは、例えば分離可能な結合であってもよい。デマルチプレクサ５０８は、マルチプレクサ５０３と同期して動作することで、元の映像データにノイズ評価値データを対応して適切に振り分け、空間ノイズ特性と時間ノイズ特性と共に端子５０９と端子５１０とへ出力する。端子５０９からは、映像Ａに対するノイズ評価値データと空間ノイズ特性と時間ノイズ特性が出力され、端子５１０からは映像Ｂに対するノイズ評価値データと空間ノイズ特性と時間ノイズ特性が出力される。

次に、図４に示す加算ノイズ特性算出部４０５の詳細な構成を、図７を用いて説明する。端子７０１からは映像Ａに対するノイズ評価値データと空間ノイズ特性及び時間ノイズ特性が入力され、端子７０２からは映像Ｂに対するノイズ評価値データと空間ノイズ特性及び時間ノイズ特性が入力される。ノイズ評価値算出部７０３は、映像Ａ及び映像Ｂそれぞれに対して、空間ノイズ評価値Esと時間ノイズ評価値Etとを乗じてノイズ評価値E=Es*Etを算出する。以下、映像Ａに対応する空間ノイズ評価値、時間ノイズ評価値、ノイズ評価値をそれぞれEsA、EtA、EAとする。また同様に、映像Ｂに対応する空間ノイズ評価値、時間ノイズ評価値、ノイズ評価値をそれぞれEsB、EtB、EBとする。

ノイズ類似度算出部７０４は、映像Ａと映像Ｂそれぞれの空間ノイズ評価値と時間ノイズ評価値とを要素とするベクトル（ノイズ評価値ベクトル）で定まる余弦eを類似度として算出する。

時間ノイズ評価値と空間ノイズ評価値とを要素とする２次元評価値空間において、算出した類似度を表現すると、図８に示すようになる。ここで、NA並びにNBはノイズ評価値を２次元評価値空間でベクトル表記したものであり、NA＝(EsA, EtA)、NB＝(EsB, EtB)である。

ここで図７に戻り、ノイズ特性算出部７０５は、ノイズ評価値EAとEB、並びに余弦eに基づいて場合分けを行い、映像Ａと映像Ｂへの加算ノイズ特性を空間ノイズ特性と時間ノイズ特性の形式で算出して出力する。以下、場合分け条件毎に動作を説明する。

尚、映像Ｂへの加算ノイズの評価値を２次元ベクトルでANB、映像Ａへの加算ノイズの評価値を２次元ベクトルでANAと表記する。また、映像Ａに対するノイズ自己相関関数は、インデックスAを振り付けてaxA(x)、ayA(y)、atA(t)で表し、映像Ｂに対するノイズ自己相関関数はインデックスBを振り付けてaxB(x)、ayB(y)、atB(t)で表す。

条件Ａ）余弦eが所定値T1以上、且つノイズ評価値がEA＞EB
条件Ａは、映像Ａ、映像Ｂそれぞれの時間ノイズ評価値と空間ノイズ評価値との比が近似しており、かつ映像Ａのノイズ評価値が大きい場合を定量的に示した条件である。

この条件では、映像Ａへの加算ノイズ特性は"０"に設定し、ノイズの加算を行わないようにする。また、映像Ｂへの加算ノイズ特性は、まず２次元評価値空間においてノイズの方向と大きさを求め、更に求めたノイズの大きさと映像Ａのノイズの自己相関関数から算出する。

まず２次元評価値空間での映像Ｂへの加算ノイズANBの方向と大きさは、係数αを用いてANB＝αNAとする。ここで係数αは、次の関係が成り立つように算出される。

この係数αを用いて、映像Ｂへ加算するノイズの加算ノイズ特性を、横、縦、時間それぞれの方向についての自己相関関数が、√α・axA(x)、√α・ayA(y)、α・atA(t)となるように設定する。こうして映像Ｂに対して適用される加算ノイズ特性√α・axA(x)、√α・ayA(y)、α・atA(t)が得られ、出力される。なお映像Ａに対して適用される加算ノイズ特性０は、映像Ａに対してノイズの加算が不要であることを示す。また自己相関関数の値はそれぞれの編集対象の映像とともに媒体に記録されているため、出力する加算ノイズ特性は、係数αのみであってもよい。
この条件におけるノイズ評価値関係の一例を、２次元評価値空間で図９（ａ）に示す。この図から明らかなように、本条件ではノイズ加算後に映像Ａと映像Ｂのノイズ評価値が同じになるように、映像Ｂにノイズを加算している。

条件Ｂ）余弦eが所定値T1以上、且つノイズ評価値がEB＞EA
条件Ｂは、映像Ａ、映像Ｂそれぞれの時間ノイズ評価値と空間ノイズ評価値との比が近似しており、かつ映像Ｂのノイズ評価値が大きい場合を定量的に示した条件である。

この条件では、映像Ｂへの加算ノイズ特性は"０"に設定し、ノイズの加算を行わないようにする。また、映像Ａへの加算ノイズ特性は、まず２次元評価値空間においてノイズの方向と大きさを求め、更に求めたノイズの大きさと映像Ａのノイズの自己相関関数から算出する。

まず２次元評価値空間での映像Ａへの加算ノイズANAの方向と大きさは、係数αを用いてANA＝αNBとする。ここで係数αは、次の関係が成り立つように算出される。

この係数αを用いて、映像Ａへの加算ノイズ特性は、自己相関関数がα・axB(x)、α・ayB(y)、α・atB(t)となるように設定する。こうして映像Ａに対して適用される加算ノイズ特性√α・axB(x)、√α・ayB(y)、α・atB(t)が得られ、出力される。なお映像Ｂに対して適用される加算ノイズ特性０は、映像Ｂに対してノイズの加算が不要であることを示す。条件Ａと同様、出力する加算ノイズ特性は、係数αのみであってもよい。

この条件におけるノイズ評価値関係の一例を、２次元評価値空間で図９Ｂに示す。この図から明らかなように、本条件では、ノイズ加算後に映像Ａと映像Ｂのノイズ評価値が同じになるように、映像Ａにノイズを加算している。

条件Ｃ）余弦eが所定値T1未満、且つノイズ評価値のEAもしくはEBの何れかがT2未満
条件Ｃは、映像Ａ、映像Ｂそれぞれの時間ノイズ評価値と空間ノイズ評価値との比が近似しておらず、かついずれか一方の映像のノイズ評価値が非常に小さい場合を定量的に示した条件である。

この条件では、映像Ａへの加算ノイズ特性は、自己相関関数がaxB(x)、ayB(y)、atB(t)となるように設定する。また、映像Ｂへの加算ノイズ特性は、自己相関関数がaxA(x)、ayA(y)、atA(t)となるように設定する。こうして得られた加算ノイズ特性が出力される。条件Ａなどと同様、出力する加算ノイズ特性は、係数のみであってもよい。この場合係数は、映像Ａ，Ｂとも１である。

この条件におけるノイズ評価値関係の一例を、２次元評価値空間で図９（ｃ）に示す。この図から明らかなように、本条件では、映像Ａと映像Ｂのノイズが２次元評価値空間上で同じになるように、映像Ａへの加算ノイズ特性と映像Ｂへの加算ノイズ特性を設定している。

条件Ｄ）余弦eが所定値T1未満、且つノイズ評価値EAもしくはEBの両方がT2以上
条件Ｄは、映像Ａ、映像Ｂそれぞれの時間ノイズ評価値と空間ノイズ評価値との比が近似しておらず、かついずれか双方の映像のノイズ評価値が一定値以上である場合を定量的に示した条件である。

この条件では、映像Ａと映像Ｂへのそれぞれの加算ノイズ特性を、２次元評価値空間においてノイズの方向と大きさを求めた後に、更に求めたノイズの大きさと映像のノイズの自己相関関数から算出する。

２次元評価値空間での映像Ａへの加算ノイズANAの方向と大きさを、係数αを用いてANA＝αNBとする。ここで係数αは、次の関係が成り立つように算出される。

２次元評価値空間での映像Ｂへの加算ノイズANBの方向と大きさを、係数βを用いてANB＝βNAとする。ここで係数βは、次の関係が成り立つように算出される。

尚、Ｔ３は所定のノイズ評価値を示す定数である。Ｔ３が大きすぎると映像Ａと映像Ｂのノイズ感が一致するものの映像がノイジーとなり、一方でＴ３が小さすぎるとノイズ感が一致しなくなる。このバランスを取り、定数Ｔ３は適切に定められる。そのために例えば、加算ノイズ適用後の映像Ａ、Ｂのサンプルを比較し、Ｔ３を実験的に決定しておくことができる。あるいは、例えば、映像Ａ，Ｂに対して加算ノイズ適用後のノイズ評価値ベクトルで定まる余弦ｅがＴ１となるように決定する方法も考えられる。すなわち、(EsA+αEsB)*(EtA+αEtB) = (EsB+βEsA)*(EtB+βEtA) = T3かつｅ=((EsA+αEsB)*(EsB+βEsA)+(EtA+αEtB)*(EtB+βEtA))/(√((EsA+αEsB)²+(EtA+αEtB)²)*√((EsB+βEsA)²+(EtB+βEtA)²)) = T1となるよう、加算ノイズ特性を決定する。この場合には定数Ｔ３の値は特に定めなくとも係数αおよびβを決定することができる。条件Ａなどと同様、出力する加算ノイズ特性は、係数α，βのみであってもよい。

映像Ａへの加算ノイズ特性は、係数αを用いて自己相関関数が√α・axB(x)、√α・ayB (y)、α・atB (t)となるように設定する。また映像Ｂへの加算ノイズ特性は、係数βを用いて自己相関関数が√β・axA(x)、√β・ayA (y)、β・atA (t)となるように設定する。

この条件におけるノイズ評価値関係の一例を、２次元評価値空間で図９（ｄ）に示す。この図から明らかなように本条件では、ノイズ加算後に映像Ａと映像Ｂのノイズ評価値が同じになる様に、映像Ａと映像Ｂの双方にノイズを加算している。

これまでの説明から明らかなように、条件Ａから条件Ｄまでの何れに於いても、加算ノイズでの時間ノイズ評価値と空間ノイズ評価値との比を、映像ノイズでの時間ノイズ評価値と空間ノイズ評価値との比と同一に設定している。このように加算ノイズを設定することで、複数映像でのノイズ感を違和感なく整合させることが出来る。

ここで図７に戻り、ノイズ特性算出部７０５で算出された加算ノイズ特性は、映像Ａへの加算ノイズ特性が端子７０６から出力され、映像Ｂへの加算ノイズ特性が端子７０７から出力される。尚、本実施形態では条件判定のために、２つの映像のノイズ評価値ベクトルで定まる余弦を用いているが、余弦の逆関数を取って角度に変換しても、同様の効果が得られる。

次に、図４に示す加算ノイズ算出部４０６の詳細な構成を、図１０を用いて説明する。端子１００１には映像Ａへの加算ノイズ特性が入力され、端子１００２には映像Ｂへの加算ノイズ特性が入力される。この端子１００１に入力された映像Ａへの加算ノイズ特性のうち、空間方向のノイズ自己相関関数が空間フィルタ回路１００４に設定され、時間方向のノイズ自己相関関数が時間フィルタ回路１００６に設定される。空間及び時間フィルタ回路への設定においては、ノイズ自己相関関数が、そのままフィルタのインパルス応答として設定される。つまり、自己相関関数がa(x)であると、フィルタ係数f(x)はf(x)=a(x)として設定される。たとえば、条件Ｄでは、空間フィルタ回路１００４では、フレームの横方向については（βax(0)，βax(1)，...，βax(L)）なるフィルタが、フレームの縦方向については（βay(0)，βay(1)，...，βay(M)）なるフィルタが用いられる。また時間フィルタ回路１００６では、（βat(0)，βat(1)，...，βat(N)）なるフィルタが用いられる。

また、端子１００２に入力された映像Ｂへの加算ノイズ特性のうち、空間方向のノイズ自己相関関数が空間フィルタ回路１００５に設定され、時間方向のノイズ自己相関関数が時間フィルタ回路１００７に設定される。たとえば、条件Ｄでは、空間フィルタ回路１００５では、フレームの横方向については（αax(0)，αax(1)，...，αax(L)）なるフィルタが、フレームの縦方向については（αay(0)，αay(1)，...，αay(M)）なるフィルタが用いられる。また時間フィルタ回路１００７では、（αat(0)，αat(1)，...，αat(N)）なるフィルタが用いられる。

ランダムノイズ映像発生器１００３は、時間方向、空間方向とも無相関な所定のパワーを持つランダムノイズ映像を発生する。発生したランダムノイズ映像は２つに分岐され、一方は空間フィルタ回路１００４と時間フィルタ回路１００６によりフィルタリングされ、端子１００８から映像Ａに対する加算ノイズ映像データとしてフレームメモリ４０８へ出力される。また、他方は空間フィルタ回路１００５と時間フィルタ回路１００７によりフィルタリングされ、端子１００９より映像Ｂに対する加算ノイズ映像データとしてフレームメモリ４０７へ出力される。このフィルタ回路によりランダムノイズをフィルタリングすることで、加算ノイズの自己相関関数で表された特性を持つノイズを生成することができる。このため生成された加算ノイズ映像データを各映像に合成することで、図９(a)〜図９(d)に示した加算ノイズ合成後のノイズ特性を各映像に与えることができる。

本実施形態によれば、時間／空間のノイズ特性が異なる映像間でノイズ感を、評価値として数値化して整合させることができる。このため映像編集者は、ノイズを調整することなく複数映像のノイズ感を整合させることができ、合成や繋ぎなどの映像編集を施す際に、ノイズ感の相違に起因する違和感を抑制することが可能となる。

［第２の実施形態］
第１の実施形態では、加算するノイズの特性を入力された映像のノイズに基づいて決定していた。しかしながら、このような手法は簡便である一方、加算するノイズ量が大きくなり、結果映像がノイジーとなる場合がある。

そこで、第２の実施形態では、加算するノイズの特性を制御することにより、加算するノイズ量を低減させるものである。以下、第１の実施形態との差分である加算ノイズ特性算出部４０５について説明する。

本実施形態における加算ノイズ特性算出部４０５の詳細な構成を、図１１を用いて説明する。端子１１０１には、映像Ａに対するノイズ評価値データと空間ノイズ特性及び時間ノイズ特性が入力される。また、端子１１０２には映像Ｂに対するノイズ評価値データと空間ノイズ特性及び時間ノイズ特性が入力される。ノイズ評価値算出部１１０３は、映像Ａと映像Ｂそれぞれに対して、空間ノイズ評価値と時間ノイズ評価値を乗じてノイズ評価値を算出する。

ノイズ類似度算出部１１０４は、類似度として、距離d、余弦eを算出する。まず２次元評価値空間上での映像Ａと映像Ｂとの違いをベクトルNd＝(Esd , Etd)として算出する。

EsA×EtA ＜ EsB×EtB の場合、Nd＝NB−NA
EsA×EtA ≧ EsB×EtB の場合、Nd＝NA−NB
算出したベクトルNdより、距離dをd＝|Nd|と算出する。また余弦eを、
EsA×EtA ＜ EsB×EtB の場合、

EsA×EtA ≧ EsB×EtB の場合、

と算出する。ここで、例えばEsA×EtA ＜ EsB×EtB の場合の２次元評価値空間での関係は、図１２に示すようになる。

ここで図１１に戻り、ノイズ特性算出部１１０５は、ノイズ評価値EAとEB並びに余弦eに基づいて場合分けを行う。更に、距離dに応じて映像Ａと映像Ｂへの加算ノイズ特性を空間ノイズ特性と時間ノイズ特性の形式で算出して出力する。

但し、本実施形態でのノイズ特性算出部１１０５は、第１の実施形態のノイズ特性算出部７０５と異なり、２次元評価値空間でのノイズ特性の算出のみを行い、相関関数の算出までは行わない。以下、場合分け条件毎に動作を説明する。

条件Ａ）余弦eが所定値未満、且つEsA ＜EsB、EtA＜EtB
この条件では、映像Ｂへの加算ノイズ特性は"０"に設定し、ノイズの加算を行わないようにする。また、映像Ａへの加算ノイズ特性は、２次元評価値空間において加算ノイズ（ANA＝NB−NA）とする。この条件におけるノイズ評価値関係の一例を２次元評価値空間で図１３（ａ）に示す。

条件Ｂ）余弦eが所定値未満、且つEsA ≧EsB、EtA≧EtB
この条件では、映像Ａへの加算ノイズ特性は"０"に設定し、ノイズの加算を行わないようにする。また、映像Ｂへの加算ノイズ特性は、２次元評価値空間において加算ノイズ（ANB＝NA−NB）とする。この条件におけるノイズ評価値関係の一例を２次元評価値空間で図１３（ｂ）に示す。

条件Ｃ）余弦eが所定値以上
この条件では、映像Ａへの加算ノイズ特性と映像Ｂへの加算ノイズ特性の方向を定め、その次にノイズの大きさを定める。まず、ベクトルNA及びNBが空間ノイズ評価軸となす角fA及びfBを余弦として求める。

続いて加算ノイズANAの方向を余弦gAとして距離dに応じて算出する。また、加算ノイズANBの方向を余弦gBとして距離dに応じ算出する。尚、算出には、距離dを入力とする関数が用いられる。

EsA ＜EsBの場合には、gAは例えば図１４（ａ）のような関数により算出され、gBは例えば図１４（ｂ）のような関数により算出される。この図から明らかなように、加算ノイズANAは、距離dが小さい場合には、映像Ｂのノイズに近似し、距離dが大きくなるにつれ空間ノイズが支配的となっていく。他方、加算ノイズANBは、距離dが小さい場合には、映像Ａのノイズに近似し、距離dが大きくなるにつれ時間ノイズが支配的となっていく。

EsA ≧EsBの場合には、gAは例えば図１４（ｃ）のような関数により算出され、gBは例えば図１４（ｄ）のような関数により算出される。この図から明らかなように、加算ノイズANAは、距離dが小さい場合には、映像Ｂのノイズに近似し、距離dが大きくなるにつれ時間ノイズが支配的となっていく。他方、加算ノイズANBは、距離dが小さい場合には、映像Ａのノイズに近似し、距離dが大きくなるにつれ空間ノイズが支配的となっていく。なお図１４に示した距離と余弦との関係は予め定めておくことができる。

ここで、映像Ａに加算ノイズANAを加算した座標と、映像Ｂに加算ノイズANBを加算した座標が等しくなるように、加算ノイズANAと加算ノイズANBの大きさを補正する。補正後の模式図を図１３（ｃ）に示す。尚、映像がノイジーとなるのを防ぐため、算出した座標のノイズ評価値が所定値を超える場合、それぞれの映像のノイズ評価値が所定のノイズ評価値となるように加算ノイズANAと加算ノイズANBの大きさをクリップする。補正後の模式図を図１３（ｄ）に示す。

これまでの説明から明らかなように、本実施例は第一実施例と異なり算するノイズ量の低減を狙いとする。このため、加算ノイズでの時間ノイズ評価値と空間ノイズ評価値との比は、映像ノイズでの時間ノイズ評価値と空間ノイズ評価値との比と同一とならない場合がある。

ここで図１１に戻り、相関関数読み出し部１１０６は、ノイズ特性算出部１１０５で算出した加算ノイズANAと加算ノイズANBの特性に基づいて、最も近い特性となる相関関数を、予め相関関数記憶部１１０７に用意された相関関数のなかからそれぞれ選択し、相関関数記憶部１１０７から読み出す。最も近い特性は、ノイズ評価値ベクトルにより比較することが望ましい。なおベクトルの大きさは係数を乗ずることで調整できるので、ノイズ特性の類似はノイズ評価値ベクトルの方向たとえばいずれかの座標軸との角度や余弦の類似で評価できる。したがって相関関数記憶部１１０７では、たとえば複数の余弦値それぞれに相関関数が関連付けられて記憶されていてもよく、その場合例えば図１３（ｃ）の余弦ｇＡ及びｇＢにそれぞれ最も近い余弦値に関連づけられた相関関数が選択される。なおベクトルの大きさが異なる場合には、選択した相関関数値に係数を乗じて調整できる。そして、それら選択された相関関数及び係数を端子１１０８、１１０９から出力する。

以上のようにして映像Ａ，Ｂそれぞれのために得られたフィルタを用いてランダムノイズのフレームをフィルタリングし、得られたノイズ映像を、編集対象の映像Ａ，Ｂそれぞれに合成する。このようにして合成した２つの映像は、ノイズの視覚特性が近似しており、つなぎ編集や合成をおこなっても、ノイズの見た目による違和感を緩和できる。

さらに本実施形態によれば、時間又は空間のノイズ特性が異なる複数の映像間でノイズ感を整合させる際に、映像のノイズの類似度に応じて加算するノイズの特性を制御することで、加算するノイズ量の低減が可能となる。したがって、複数映像間でノイズ感を整合させた際に、映像がノイジーとなることをできるだけ防ぐことが可能となる。

なお第１及び第２の実施形態において、ノイズ評価値は、空間及び時間の両方について評価したが、いずれか一方を評価するように構成してもよい。

［他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (10)

1. 複数の映像それぞれについてノイズ評価値を算出する評価値算出手段と、
   前記評価値算出手段により算出された前記複数の映像それぞれのノイズ評価値に基づいて、前記複数の映像それぞれに加算するノイズを決定する決定手段であって、前記ノイズの加算により前記複数の映像のノイズ評価値の差が小さくなるように、前記複数の映像それぞれに加算するノイズを決定する前記決定手段と、
   前記複数の映像それぞれのノイズ評価値に基づいて前記決定手段により決定されたノイズを映像に加算するノイズ加算手段と、
   を有することを特徴とする画像処理装置。
2. 前記評価値算出手段は、前記複数の映像それぞれの空間方向のノイズ評価値を算出する空間ノイズ評価値算出手段と、前記複数の映像それぞれの時間方向のノイズ評価値を算出する時間ノイズ評価値算出手段との少なくとも何れかを有することを特徴とする請求項１に記載の画像処理装置。
3. 前記複数の映像それぞれのノイズ特性を取得する取得手段をさらに有し、
   前記決定手段は、
   前記複数の映像それぞれのノイズの類似度を算出し、
   前記複数の映像それぞれについて算出された前記ノイズの類似度に従って加算すべきノイズ特性を算出し、
   当該算出した前記ノイズ特性を有するノイズを、前記映像それぞれに加算するノイズとして決定することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記決定手段は、前記加算するノイズに於ける時間方向の評価値である時間ノイズ評価値と、前記加算するノイズに於ける空間方向の評価値である空間ノイズ評価値との比が、映像に於ける時間方向のノイズ評価値である時間ノイズ評価値と、映像における空間方向のノイズ評価値である空間ノイズ評価値の比と同一となる様に前記加算するノイズを決定することを特徴とする請求項３に記載の画像処理装置。
5. 前記ノイズ評価値は、映像の空間方向のノイズ評価値と時間方向のノイズ評価値とを含み、
   前記加算すべきノイズ特性は、前記映像の空間方向のノイズ評価値である空間ノイズ評価値と、前記映像の時間方向のノイズ評価値である時間ノイズ評価値との関係に基づいて算出されることを特徴とする請求項３に記載の画像処理装置。
6. 前記決定手段が決定するノイズの量は０以上であることを特徴とする請求項１乃至５のうち、何れか１項に記載の画像処理装置。
7. 
   複数の映像それぞれについてノイズ評価値を算出する評価値算出工程と、
   前記評価値算出工程により算出された複数の映像それぞれのノイズ評価値に基づいて、前記複数の映像それぞれに加算するノイズを決定する決定工程であって、前記ノイズの加算により前記複数の映像のノイズ評価値の差が小さくなるように、前記複数の映像それぞれに加算するノイズを決定する前記決定工程と、
   前記複数の映像それぞれのノイズ評価値に基づいて決定されたノイズを映像に加算するノイズ加算工程と
   を有することを特徴とする画像処理方法。
8. 前記評価値算出工程は、前記複数の映像それぞれの空間方向のノイズ評価値を算出する空間ノイズ評価値算出工程と、前記複数の映像それぞれの時間方向のノイズ評価値を算出する時間ノイズ評価値算出工程との少なくとも何れかを有することを特徴とする請求項７に記載の画像処理方法。
9. 前記複数の映像それぞれのノイズ特性を取得する取得工程をさらに有し、
   前記決定工程は、
   前記複数の映像それぞれのノイズの類似度を算出し、
   前記複数の映像それぞれについて算出された前記ノイズの類似度に従って加算すべきノイズ特性を算出し、
   当該算出した前記ノイズ特性を有するノイズを、前記映像それぞれに加算するノイズとして決定することを特徴とする請求項７又は８に記載の画像処理方法。
10. コンピュータを請求項１乃至６の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images