JP4931587B2 - 周波数フィルタリングを用いてフィルムグレインをシミュレートする手法 - Google Patents

Description

本発明は、復号化後の、符号化画像におけるフィルムグレインをシミュレートする手法に関する。

動画フィルムは、フィルム基材上の薄膜内に被覆された、乳剤内に分散した銀ハライド結晶を備える。こうした結晶の露光及び現像によって、とても小さな、ディスクリートな銀粒子から成る写真画像が形成される。カラーネガには、フィルムストックの現像中の銀の化学的除去に続いて銀結晶が形成される場所上にとても小さなダイブロッブが発生する。こうした少量のダイは通常、カラーフィルムでは「粒子（グレイン）」のラベルを担う。粒子は、元の乳剤上の銀結晶のランダムな形成が理由で、生成される画像上にランダムに分布しているように見える。一様に露光された領域内では、一部の結晶は露光後に現像するが、他のものは現像しない。

粒子は、大きさ及び形状において異なる。フィルム速度が高いほど、形成される銀塊や発生するダイブロッブは、大きくなり、ランダムなパターンでお互いにまとまる傾向が強くなる。「粒状性」の語は通常、粒子パターンを表す。裸眼では、０．０００２ｍｍから約０．００２ｍｍまで及ぶ個々の粒子を区別することができない。そのかわりに、眼によって、ブロッブとして表す粒子群が解像される。観測者はこのブロッブ群をフィルムグレインとして識別する。画像の分解能が大きくなるにつれ、フィルムグレインの認知度は高くなる。フィルムグレインは、映画の画像上や高品位画像上で明らかに目立つようになる一方、ＳＤＴＶ（標準品位テレビジョン）において重要性を徐々に失い、形式が小さくなると感知できないようになる。

動画フィルムは通常、写真フィルムの露光及び現像の物理的な処理又は後の画像編集から生じる、画像に依存した雑音を含む。写真フィルムは、写真乳剤の物理的な粒状性から生じる、特徴的な擬似乱数のパターンすなわちテクスチャを持っている。あるいは、同様なパターンをコンピュータ生成画像においてシミュレートしてそれを写真フィルムとブレンディングすることができる。いずれの場合も、この、画像に依存した雑音は、「フィルムグレイン」と呼ぶ。非常に多くの場合、中くらいの粒子テクスチャは、動画において望ましい特徴を表す。一部の場合には、フィルムグレインは、２次元ピクチャの正しい知覚を容易にする視覚キューを備える。多くの場合、フィルムグレードを単一のフィルム内で変えて、時間基準、視点等についての種々の手がかりを備える。映画産業において粒子テクスチャを制御するうえで多くの他の技術的な要求及び芸術系な要求が存在する。したがって、画像処理及び配信の連鎖を通して画像の粒状の外観を維持することは、映画産業における要件となっている。

市場で入手可能なプロダクトのいくつかは、多くの場合、コンピュータ生成オブジェクトを自然のシーンにブレンディングする、フィルムグレインをシミュレートする機能を有する。粒子シミュレーションを実施する最初のディジタル・フィルム・アプリケーションのうちの１つである、イーストマン・コダック社（ニューヨーク州ロチェスタ）によるシネオン（登録商標）は、多くの粒子タイプについて非常に現実的な成果をもたらす。しかし、シネオン（登録商標）・アプリケーションは、高粒子サイズ設定の場合にアプリケーションがもたらす、目立つ斜め縞が理由で多くの高速フィルムの場合に良好な性能をもたらさない。更に、シネオン（登録商標）・アプリケーションは、例えば、画像が複製されるかディジタル処理される場合などの、先行処理に画像がかけられる場合に十分な忠実度で粒子をシミュレートできない。

フィルムグレインをシミュレートする別の商用プロダクトとして、アドビ（登録商標）アフターエフェクツ（登録商標）のプラグインとして用いられる、ビジュアル・インフィニティ社によるグレインサージェリー（商標）がある。グレインサージェリー（商標）のプロダクトは、乱数群をフィルタリングすることによって合成粒子を生成するように思われる。この手法は計算量が多いことに短所を来している。

フィルムグレイン・シミュレーションは、関心のある話題であり続けている。最近、Ｈ．２６４画像圧縮標準には、フィルムグレイン・シミュレーション・パラメータを規定する、標準的な補足拡張情報（ＳＥＩ）メッセージを採用する修正が行われた。特定形式のフィルムグレインＳＥＩメッセージの採用によって、フィルムグレインをシミュレートする本願の譲受人によって最近開示された手法を用いてフィルムグレインをシミュレートする復号器の開発が非常に容易になる。出願人の譲受人によって開発された手法は、（１）まず、圧縮前に画像から粒子を除去し、次に、（２）元の粒子についての情報を含むメッセージとともに圧縮ビデオを復号器に伝送し、更に、（３）復号器に、ＳＥＩメッセージの内容に基づいてフィルムグレインをシミュレートさせることによって画像の、元の、粒状の外観を復元することによって、フィルムグレインをシミュレートする。この手法によって、フィルムグレインの保護を必要とする高品質アプリケーションの場合には、ビットレートが大きく節減される。しかし、この手法によって復号器の計算量は増大するが、それは、１６ｘ１６画素のブロックを処理し、フィルムグレイン画像の１６ｘ１６ブロック・エッジのブロック解除を後に行うことによるフィルムグレイン画像の生成をフィルムグレインが必要とするからである。

よって、効率を向上させることによって従来の欠点を解決するフィルムグレイン・シミュレーション手法に対する必要性が存在する。

簡潔に言えば、本願の原理の好ましい実施例によって、フィルムグレインをシミュレートする方法を備える。この方法は、画像情報を受け取り、先行して画像にあったフィルムグレインの種々の属性を規定する、考えられるパラメータ群のうちの少なくとも１つのパラメータを含むフィルムグレイン情報を受け取ることから始まる。フィルムグレイン・モデルを用いれば、グレイン・シミュレーションは、画像内の画素ブロックについて目標画素ブロック・サイズによってスケーリングされる少なくとも１つのパラメータによって行われる。シミュレートされたフィルムグレインは更に、画像にマージされる。

目標画素ブロック・サイズによってフィルムグレイン情報をスケーリングすることによって、任意のブロック・サイズを用いることが可能になり、それによって、通常のハードウェア構成要素を用いて、フィルムグレイン・シミュレーションに関連したブロック・ベースの処理を行うことが可能になる。

〔実施例〕
図１は、画像におけるフィルムグレインをシミュレートするシステム１０の構成略図を表す。システム１０は、入力画像１０４からフィルムグレイン情報を生成し、かつ、ＳＥＩメッセージ１０６などのフィルムグレイン・メッセージに実施される少なくとも１つのフィルムグレイン・パラメータからフィルムグレイン情報を生成する第１のブロック１２を備える。フィルムグレイン生成器ブロック１２は、以下に更に詳細に説明する図２及び図３の方法のうちの１つを用いてそうした入力情報からフィルムグレイン情報を生成する。フィルムグレイン生成器ブロック１２によって生成されるフィルムグレイン情報には、ブレンディング・ブロック１６で受け取られる前にフィルムグレイン・ブロック解除フィルタ１４によるブロック解除が施される。ブレンディング・ブロック１６は、フィルタリングされたフィルムグレイン情報を入力画像とブレンディングして、フィルムグレインを含む出力画像を生成する。

図２は、フィルムグレインを生成する、本願の原理の第１の局面による方法の工程を示す流れ図を表す。以下に更に詳細に表すように、図２の方法は、周波数フィルタリング前にスケーリングされるガウス雑音からフィルムグレインを生成するよう動作する。図２のフィルムグレイン生成方法は、システム変数が初期化される工程１００の実行によって始まる。工程１００に続き、入力画像１０４からの連続したＮｘＭ画像ブロックの抽出が行われ、Ｎ及びＭは各々、ゼロよりも大きな整数である。

工程１０２に続き、工程１０５が行われ、図１のフィルムグレイン生成器ブロック内の雑音生成器（図示せず）が、以下に記載するようにスケーリングされる、入力画像を伴う、ＳＥＩメッセージ１０６に含まれるフィルムグレイン・パラメータのうちの少なくとも１つによって乱数（ガウス）雑音を生成する。Ｈ．２６４圧縮標準に採用されているように、ＳＥＩメッセージ１０６におけるフィルムグレイン・パラメータは、１６ｘ１６画素ブロックに基づいている。そうしたブロック・サイズによって、実施効率の点で最大の利便性が常に与えられる訳でない。

本願の原理によれば、ＳＥＩメッセージにおけるフィルムグレイン・パラメータが工程１０７中にスケーリングされて、１６ｘ１６画素以外のブロック・サイズを備えるフィルムグレインのシミュレーションが可能になる。実際には、ＳＥＩメッセージは、水平ローカット周波数及び垂直ローカット周波数と、水平ハイカット周波数及び垂直ハイカット周波数との２つのカット周波数群を含む種々のフィルム・パラメータを規定する。ＳＥＩパラメータと、特に、水平のハイカット周波数及びローカット周波数と、垂直のハイカット周波数及びローカット周波数がスケーリングされる方法が分かるように、Ｎ_ｓｘＭ_ｓが元のブロック・サイズ（すなわち、１６ｘ１６画素）を表すものとし、Ｎ_ｔｘＭ_ｔは、スケーリングされた新たなパラメータが処理する目標ブロック・サイズを表すものとする。水平ハイカット周波数及び垂直ハイカット周波数は、

としてスケーリングされ、関数ｆｃｅｉｌ（ｘ）は、ｘ以上の最小の整数を返し、

は新たな水平ハイカット周波数であり、

は目標ブロック・サイズに用いる新たな垂直ハイカット周波数である。このスケーリングは、ブロック・サイズの比率によって元の周波数を除算し、最も近い整数に切り上げるということに同等である。同様に、水平ローカット周波数及び垂直ローカット周波数は、

としてスケーリングされ、そのとき、ｆｌｏｏｒ（ｘ）はｘ以下の最大の整数を返し、

は新たな水平ローカット周波数であり、

は目標ブロック・サイズに用いる対象の新たな垂直ローカット周波数である。このスケーリングは、ブロック・サイズの比率によって元の周波数を除算し、最も近い整数に切り下げるということに同等である。

上記のように丸めることによって、１６ｘ１６画素のブロック上で規定される元のカット周波数値を用いることによって生じるフィルムグレインと比較して、目標ブロック・サイズ上の最も類似したフィルムグレインが生じる。しかし、何れかの種類の丸め方（倍数に切り下げること、倍数に切り上げること、又は最も近い整数に丸めること）も、水平カット周波数及び垂直カット周波数をスケーリングし得る。

例証する実施例では、元のブロックは１６ｘ１６画素であり、目標ブロックは８ｘ８画素である。そうした状況下では、ハイカット周波数のスケーリングは、

として行われ、そのとき、

は新たなハイカット周波数を表す。式（５）は、水平ハイカット周波数も垂直ハイカット周波数もスケーリングすることができるが、それは、ソース・ブロックも目標ブロックも四角い形をしているからである。ローカット周波数のスケーリングは、

となり、そのとき、

は、新たなローカット周波数を表す。同様に、式（６）は、水平ローカット周波数も垂直ローカット周波数もスケーリングすることができる。

ＳＥＩメッセージのパラメータは何れかの所望のブロック・サイズにスケーリングすることができ、前述のフィルムグレイン・シミュレーション・アルゴリズムの効率的な実施が可能になる。例証した実施例では、フィルムグレイン・パラメータ値を８ｘ８画素ブロックにスケーリングすることによって、ハードウェアアクセラレートされた離散コサイン変換（ＤＣＴ）、逆離散コサイン変換（ＩＤＣＴ）や他のブロック・ベースの処理を行う多くの既存集積回路を再利用することが可能になる。

工程１０８中に、乱数雑音を、最終のサイズ（例えば、８ｘ８）に既になっているＮｘＭ画素ブロックの画素値を変えるようスケーリングして、ブロック解除処理が複雑にならないようにする／ブロック解除処理の複雑度を低減させる。工程１０８中に行われるスケーリングは、ＳＥＩメッセージに規定される、（スケーリングされた）値に対して雑音の分散を修正するかたちをとる。特定のブロックＢに対して、工程１０５中に生成される乱数雑音は、平均μ及び分散σ^２を有するものとする。ブロックＢの画素毎に規定されるスケーリング関数Ｓ_Ｂを前提とすれば、スケーリングされた画素値は、
Ｂ_{ｓｃａｌｅｄ}（ｉ，ｊ）＝（Ｂ（ｉ，ｊ）−μ）・Ｓ（ｉ，ｊ）＋μ （７）
の関係を有し、そのとき、Ｂ（ｉ，ｊ）は、ブロックＢの座標（ｉ，ｊ）での画素を表す。なお、式（７）は、Ｓ（ｉ，ｊ）が１でない画素のみにあてはまる。

工程１０８中に行われる雑音スケーリングは、ブロッキング・アーチファクトを削減するためのブロッキング解除フィルタを不要にする。雑音スケーリングを用いてそうしたアーチファクトを削減することは、ブロック・エッジ間の、相関がないブロックの結果としてブロッキング・アーチファクトが生じるという原理を利用する。そうしたアーチファクトを削減するために、ブロック・エッジ間の相関を高めなければならず、このことは、ブロック・エッジ上の雑音の量を削減することに同等である。

工程１０８に続いて、スケーリングされた乱数雑音には、離散コサイン変換を工程１１０中に施す。その後、ＳＥＩメッセージ１０６における相当するフィルタ・パラメータによって係数が工程１１２中に周波数フィルタリングされる。逆離散コサイン変換（ＩＤＣＴ）が、工程１１４中に行われる。工程１１６中に、更なるＮｘＭ画素ブロックが読み取られない状態に留まっているか否かを判定する検査が行われる。ブロックがもう何も残っていない場合、結果として生じる雑音によってフィルムグレイン画像１１８が形成され、処理は工程１２０中に終了する。さもなければ、工程１０２と、それに続く工程は、入力画像１０４からの、読み取られていないＮｘＭブロックがもう何も残っていない状態になるまで再実行される。

図３は、フィルムグレインを生成する、本願の原理の第２の局面による方法の工程を示す流れ図を表す。図３のフィルムグレイン生成方法は、図２の方法と同じ工程の多くを含み、図３では、同じ工程を参照するうえで同じ数字を示す。図３のフィルムグレイン生成方法は、雑音スケーリングを行うことに関して、図２の方法と異なる。前述のように、図２のフィルム生成方法は、工程１１２中に行う周波数フィルタリングの準備処理として、工程１０８中に雑音スケーリングを行う。対照的に、図３のフィルム生成方法は、工程１１２中に行われる周波数フィルタリング後に、工程１１４中に行う逆離散コサイン変換の後に工程１１５中に雑音スケーリングを行う。図４の工程１１５中に、フィルタリングされた乱数雑音の各画素に施されるスケーリング処理が、式（７）によって規定される方法と同様に行われる。

スケーリング関数の規定は、ＳＥＩメッセージ１０６のパラメータに基づき、かつ、ブロック・サイズに基づいて、アプリオリに行うことができ、自動的に行うこともできる。スケーリング関数は、ＳＥＩメッセージに規定される種々のパラメータ群にも適合させ得る。

例証した実施例では、スケーリング関数は、（ブロッキング・アーチファクトがないようにするよう）ブロック・エッジ上の雑音の量を低減させる一方、同時に、同じ全体雑音量を保つためにブロック内の雑音の量を増加させる。スケーリングを８ｘ８画素ブロックに特殊化することによって、スケーリング関数は、画素ブロック２００について図４に示す結果を達成することができる。画素ブロック２００のエッジ上の最も濃い灰色領域２０２は雑音の減少（Ｓ（ｉ，ｊ）＜１）を表す一方、ブロック内の最も淡い灰色領域２０４は、雑音の増加（Ｓ（ｉ，ｊ）＞１）を表す。真ん中の灰色領域２０６は、雑音強度の変化がないことを表す（Ｓ（ｉ，ｊ）＝１）。

スケーリング関数を用いることは、（ＳＥＩメッセージのパラメータが変更されるので）フィルムグレインの外観を保つことと、復号器の複雑度を削減する（すなわち、ブロック解除がないようにする）こととのトレードオフを意味する。全てのブロック・エッジが同様に適切である訳でない場合、スケーリング関数は、特定のエッジのみを修正し得る。例えば、ＣＲＴディスプレイ上では、アーチファクトは、垂直エッジ上では、水平エッジ上でよりも可視性がずっと高い。そうした状況下では、図５Ａに示すように、画素ブロック３００の垂直エッジ３０２上のみで雑音強度が低減されるものである。特定の状況下では、スケーリング関数は、図５Ｂに示すように、画素ブロック４００の水平エッジ４０２のみを修正し得る。

上記は、フィルムグレイン・パラメータをスケーリングして複雑度を低減させることによって、復号化後の、符号化画像におけるフィルムグレインをシミュレートする手法を説明している。

フィルムグレインをシミュレートするシステムを表す構成略図である。 本願の原理の第１の局面による、図１のシステムがフィルムグレイン情報を生成する方法の工程を示す流れ図である。 本願の原理の第２の局面による、図１のシステムがフィルムグレイン情報を生成する方法の工程を示す流れ図である。 本願の原理によってスケーリングされる８ｘ８画素ブロックの例を表す図である。 垂直エッジのみがスケーリングされる８ｘ８画素ブロックの例を表す図である。 水平エッジのみがスケーリングされる８ｘ８画素ブロックの例を表す図である。

Claims (10)

1. フィルムグレインをシミュレートする方法であって、
   画像情報を受け取る工程と、
   先行して画像にあった前記フィルムグレインの少なくとも１つの属性を規定する水平ハイカット周波数及び水平ローカット周波数、並びに垂直ハイカット周波数及び垂直ローカット周波数を含むフィルムグレイン情報を受け取る工程と、
   シミュレートする対象のフィルムグレインを含む画像における画素ブロックの目標画素ブロック・サイズによってスケーリングされ、かつ、丸められる前記水平ハイカット周波数及び水平ローカット周波数、並びに垂直ハイカット周波数及び垂直ローカット周波数によって前記フィルムグレインをシミュレートする工程と
   を備えることを特徴とする方法。
2. 請求項１による方法であって、
   前記シミュレートされたフィルムグレインを前記画像にブレンディングする工程を更に備えることを特徴とする方法。
3. 請求項１による方法であって、
   前記フィルムグレイン情報を受け取る工程は、所定の圧縮標準によってビットストリームが圧縮された画像を受け取る工程を更に備え、
   前記フィルムグレイン情報を受け取る工程は、画像ビットストリームに埋め込まれた更なるデータを受け取る工程を更に備えることを特徴とする方法。
4. 請求項３による方法であって、
   前記フィルムグレイン情報を受け取る工程は、Ｈ.２６４圧縮標準によってビットストリームが圧縮された画像を受け取る工程を更に備え、
   前記フィルムグレイン情報を受け取る工程は、ＳＥＩメッセージを受け取る工程を更に備えることを特徴とする方法。
5. 請求項３による方法であって、
   ＮｔｘＭｔ画素の目標ブロック・サイズによって前記フィルムグレイン情報をスケーリングする工程を更に備え、ＮｔもＭｔも１６でないことを特徴とする方法。
6. 請求項３による方法であって、
   ８ｘ８画素の目標ブロック・サイズによって前記フィルムグレイン情報をスケーリングする工程を更に備えることを特徴とする方法。
7. 請求項１による方法であって、
   前記フィルムグレインをシミュレートする工程は、
   前記少なくとも１つのパラメータによって乱数雑音を生成する工程と、
   先行して前記目標ブロック・サイズにスケーリングされた前記画素ブロックの画素値を変更するよう前記雑音をスケーリングする工程と、
   前記雑音を、スケーリング後に周波数フィルタリングする工程とを含むことを特徴とする方法。
8. 請求項７による方法であって、
   前記フィルムグレインをシミュレートする工程は、
   前記少なくとも１つのパラメータによって乱数雑音を生成する工程と、
   前記雑音を周波数フィルタリングする工程と、
   先行して前記目標ブロック・サイズにスケーリングされた前記画素ブロックの画素値を変更するよう、前記周波数フィルタリングされた雑音をスケーリングする工程とを含むことを特徴とする方法。
9. 請求項８による方法であって、
   雑音は、主に垂直エッジ上の雑音強度を低減させるようスケーリングされることを特徴とする方法。
10. 請求項８による方法であって、
    雑音は、主に水平エッジ上の雑音強度を低減させるようスケーリングされることを特徴とする方法。

Images