JP4825808B2 - 事前に計算された変換係数に基づいたフィルムグレインシミュレーション方法 - Google Patents

Description

本発明は、画像におけるフィルムグレインをシミュレートする技術に関する。
本出願は、２００４年１１月２３日に提出された米国特許仮出願６０／６３０６４０号に対する３５Ｕ．Ｓ．Ｃ．１１９（ｅ）の下での優先権を主張するものであり、その教示は、本明細書に盛り込まれる。

動画フィルムは、エマルジョンで分散され、フィルムベースに薄い層でコートされるハロゲン化銀を有する。これらの結晶の露光及び現像は、銀の個々の小さな粒子を構成する写真画像を形成する。カラーネガチブでは、銀は、現像の後に化学的な除去を受け、ダイの小さな塊は、銀の結晶が形成されるサイトに生じる。これらのダイの小さな粒は、カラーフィルムにおける「グレイン」と一般に呼ばれる。グレインは、オリジナルエマルジョンの銀の結晶のランダムなフォーメーションのため、結果的に得られる画像でランダムに分散される。一様に露光されるエリア内で、ある結晶は露光の後に現像され、他の結晶は露光の後に現像されない。

グレインはサイズ及び形状において変動する。フィルムを高速にすると、形成される銀の塊及び生成されるダイのブロブが大きくなり、ランダムなパターンで互いにグループ化する傾向がある。グレインのパターンは、「グラニュラリティ“ｇｒａｎｕｌａｒｉｔｙ”」として典型的に知られている。裸眼は、０．０００２ｍｍ〜０．００２ｍｍに変動する個々のグレインを区別することができない。代わりに、目は、ブロブ（ｂｌｏｂ）と呼ばれるグレインのグループを分解する。視聴者は、これらのブロブのグループをフィルムグレインとして識別する。画像の解像度が大きくなると、フィルムグレインの認識は高くなる。フィルムグレインは、シネマ及び高精細画像に関して明らかに知覚可能となり、フィルムグレインは、ＳＤＴＶにおける重要性を次第に失い、小型のフォーマットにおいて認識不可能になる。

動画フィルムは、典型的に、写真フィルムの露光及び現像の物理的なプロセスから、又は画像の後続する編集から結果的に得られる画像に依存する雑音を含む。写真フィルムは、写真のエマルジョンの物理的なグラニュラリティから得られる、特徴的な擬似ランダムパターン、又はテクスチャを有する。代替的に、類似のパターンは、写真フィルムとブレンドするため計算された生成された画像にわたりシミュレートされる。両方のケースにおいて、画像に依存した雑音は、グレインと呼ばれる。しばしば、控えめなグレインテクスチャは、動き画像において望まれる特徴を与える。幾つかの例では、フィルムグレインは、２次元画像の正しい認識を容易にする視覚的な手掛かりを与える。フィルムグレインは、タイムリファレンス、ポイントオブビュー等に関する様々な手掛かりを提供するため、１つのフィルム内で変動する。多くの他の技術的かつ芸術的な使用は、動画像の産業においてグレインテクスチャを制御するために存在する。したがって、画像処理及びデリバリチェインを通した画像のグレインの外観を保持することは、動画像の産業において必須となっている。

幾つかの商業的に利用可能な製品は、コンピュータで生成されたオブジェクトを自然のシーンにブレンドするため、フィルムグレインをシミュレートする機能を有している。Ｅａｓｔｍａｎ Ｋｏｄａｋ Ｃｏ， Ｒｏｃｈｅｓｔｅｒ Ｎｅｗ ＹｏｒｋのＣｉｎｅｏｎ（登録商標）は、グレインシミュレーションを実現するために第一のデジタルフィルムアプリケーションのうちの１つであり、多数のグレインタイプについて非常に現実的な結果を生成する。しかし、Ｃｉｎｅｏｎ（登録商標）アプリケーションは、知覚できる対角線のストライプのために、多数の高速フィルムについて良好なパフォーマンスが得られず、アプリケーションは、高いグレインサイズの設定を生成する。さらに、Ｃｉｎｅｏｎ（登録商標）アプリケーションは、たとえば画像がコピーされるか、又はデジタル処理されるときのような、画像が前処理を受けるときに適切な忠実度でグレインをシミュレートすることができない。

フィルムグレインをシミュレートする別の商業的なプロダクトは、Ｖｉｓｕａｌ Ｉｎｆｉｎｉｔｙ ＩｎｃのＧｒａｉｎ Ｓｕｒｇｅｒｙ（登録商標）であり、Ａｄｏｂｅ（登録商標）Ａｆｔｅｒ Ｅｆｆｅｃｔｓ（登録商標）のプラグインとして使用される。Ｇｒａｉｎ Ｓｕｒｇｅｒｙ（登録商標）プロダクトは、ランダム数のセットをフィルタリングすることで、合成のグレインを生成するために現れている。このアプローチは、高い計算の複雑さの問題点に苦しむ。

これら過去のスキームのいずれも、圧縮されたビデオにおけるフィルムグレインを回復するという問題を解決するものではない。フィルムグレインは、ビデオ系列における冗長度を利用する従来の空間及び時間的な方法を使用した圧縮を典型的に受けない高周波の擬似ランダムな減少を構成する。ＭＰＥＧ−２又はＩＴＵ−Ｔ／ＩＳＯ Ｈ．２６４圧縮技術を使用したフィルムで発生された画像を処理する試みは、通常、受け入れられない低い程度の圧縮又はグレインテクスチャの完全な損失の何れかとなる。

したがって、フィルムグレインをシミュレートする技術、特に比較的低い複雑度を与える技術が必要とされている。

要するに、本発明の原理によれば、フィルムグレインのブロックをシミュレートする方法が提供される。本方法は、変換された係数の事前に計算されたブロックを取得することで始まる。変換された係数の事前に計算されたブロックのブロックは、フィルムグレインの所望のパターンを特徴付ける周波数レンジに応答してフィルタリングを受ける（実際には、周波数レンジは、所望のフィルムグレインパターンを特徴付ける、２次元での、フィルタの遮断周波数ｆ_ＨＬ、ｆ_ＶＬ、ｆ_ＨＨ及びｆ_ＶＨのセット内にある）。その後、フィルタリングされた係数のセットは、フィルムグレインパターンを生じるために逆変換を受ける。

事前に計算された変換された係数のセットを使用したフィルムグレインをシミュレートする本発明の技術を理解するため、フィルムグレインシミュレーションの簡単な概要が役に立つことを理解されるであろう。図１は、送信機１０のブロック概念図を示し、この送信機は、入力ビデオ信号を受け、その出力で圧縮されたビデオストリームを生成する。さらに、送信機１０は、（もしあれば）サンプルに存在するフィルムグレインを示す情報を生成する。実際に、送信機１０は、ケーブルテレビジョンシステム、又は１以上のダウンストリームレシーバ１１に圧縮されたビデオを分配する他のかかるシステムのヘッドエンドアレイの一部を有しており、レシーバのうちの１つのみが図１に示されている。送信機１０は、ＤＶＤのようなメディアを与えるエンコーダの形式を取る。受信機１１は、フィルムグレイン情報及びデコードされたビデオに従って、符号化されたビデオストリームをデコードし、フィルムグレインをシミュレートし、シミュレートされたフィルムグレインを有する出力ビデオストリームが得られる。これらフィルムグレイン情報及びデコードされたビデオは、共に、送信機１０から受信されるか、又はＤＶＤ等のケースでメディア自身から直接に受ける。受信機１１は、セットトップボックス、又は圧縮されたビデオをデコードし、そのビデオにおけるフィルムグレインをシミュレートする役割を果たす他のかかるメカニズムの形式を取る。

フィルムグレインの全体の管理は、到来するビデオにおけるフィルムグレインに関する情報を送信機１０（すなわちエンコーダ）が提供することを必要とする。言い換えれば、送信機１０は、フィルムグレインを「モデル化」する。さらに、受信機１１（すなわちデコーダ）は、送信機１０から受信されたフィルムグレイン情報に従ってフィルムグレインをシミュレートする。送信機１０は、ビデオ符号化プロセスの間にフィルムグレインを保持することに困難さが存在するとき、受信機１１がビデオ信号におけるフィルムグレインをシミュレートするのをイネーブルにすることで、圧縮されたビデオの品質をエンハンスする。

図１の例示される実施の形態では、送信機１０は、ビデオエンコーダ１２を含んでおり、このエンコーダは、ＩＴＵ−Ｔ Ｒｅｃ．Ｈ．２６４｜ＩＳＯ／ＩＥＣ １４４９６−１０ビデオ圧縮規格のような公知のビデオ圧縮技術の何れかを使用してビデオストリームをエンコードする。任意に、フィルムグレインリムーバ１４は、フィルタの形式又は図１における破線で示されるように、エンコードの前に到来するビデオストリームにおける任意のフィルムグレインを除くためにエンコーダ１２のアップストリームに存在する。到来するビデオがフィルムグレインを含まない程度まで、フィルムグレインリムーバ１４の必要がない。

フィルムグレインモデラー１６は、（存在するとき）フィルムグレインリムーバ１４の出力信号と同様に、入力ビデオストリームを受け入れる。かかる入力情報を使用して、フィルムグレインモデラー１６は、到来するビデオ信号におけるフィルムグレインを確立する。その最も簡単な形式で、フィルムグレインモデラー１６は、異なるフィルムストックのフィルムグレインモデルを含むルックアップテーブルを有する。到来するビデオ信号における情報は、ビデオ信号への変換前に画像を記録するためにオリジナルに使用される特定のフィルムストックを規定し、フィルムグレインモデラー１６は、かかるフィルムストックの適切なフィルムグレインモデルを選択することが可能である。代替的に、フィルムグレインモデラー１６は、１以上のアルゴリズムを実行して、到来するビデオをサンプリングし、存在するフィルムグレインパターンを判定するプロセッサ又は専用のロジック回路を有する。

受信機１１は、典型的に、送信機１０から受信された圧縮されたビデオストリームをデコードするための役割を果たすビデオデコーダ８を含む。デコーダ１８の構造は、送信機１０内のエンコーダ１２により実行される圧縮のタイプに依存する。したがって、たとえば出力されるビデオを圧縮するためにＩＴＵ−Ｔ Ｒｅｃ．Ｈ．２６４｜ＩＳＯ／ＩＥＣ １４４９６−１０ビデオ圧縮規格を利用するエンコーダ１２の送信機１０内での使用は、Ｈ．２６４準拠のデコーダ１８の必要を指示する。受信機１１内では、フィルムグレインシミュレータ２０は、フィルムグレインモデル１６からのフィルムグレイン情報を受信する。フィルムグレインシミュレータ２０は、プログラムされたプロセッサ、又はデコードされたビデオストリームとのコンバイナー２２を介した結合のためにフィルムグレインをシミュレートする機能を有する専用のロジック回路の形式を取る。

フィルムグレインシミュレーションは、オリジナルのフィルムコンテンツの外観をシミュレートするフィルムグレインサンプルを合成することを狙いとする。記載されるように、フィルムグレインモデリングは、図１の送信機１０で行われ、フィルムグレインシミュレーションは受信機１１で行われる。特に、フィルムグレインシミュレーションは、デコードされたビデオストリームの出力のアップストリームで送信機１１から到来するビデオストリームのデコードに合わせて、受信機１１で行われる。なお、デコーディングプロセスは、受信機１１で行われ、付加されたフィルムグレインをもつ画像を利用しない。むしろ、フィルムグレインシミュレーションは、表示のためにデコードされた画像におけるシミュレートされたフィルムグレインを合成するためのポストプロセス方法をなす。その理由のため、ＩＴＵ−Ｔ Ｒｅｃ．Ｈ．２６４｜ＩＳＯ／ＩＥＣ １４４９６−１０ビデオ圧縮規格は、フィルムグレインシミュレーションプロセスに関する仕様を含まない。しかし、フィルムグレインシミュレーションは、到来するビデオ信号におけるグレインパターンに関する情報を必要とし、この情報は、典型的に、その圧縮規格のＡｍｅｎｄｍｅｎｔ１（Ｆｉｄｅｌｉｔｙ Ｒａｎｇｅ Ｅｘｔｅｎｓｉｏｎ）により規定されるようにＩＴＵ−Ｔ Ｒｅｃ．Ｈ．２６４｜ＩＳＯ／ＩＥＣ １４４９６−１０ビデオ圧縮規格を使用したとき、フィルムグレイン特性のＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージにおける送信を受ける。

本発明の原理に係るフィルムグレインシミュレーションは、変換された係数の事前に計算されたセットを利用する。言い換えれば、シミュレーションプロセスは、必須ではないが典型的にＮ×Ｎサイズのブロックで始まり、その係数は、必須ではないが、離散コサイン変換を使用して、シミュレーションに前もって変換される。他の変換も可能である。本発明の原理のシミュレーション方法のビット精度の実現は、事前に計算された値のブロックに関する整数の逆変換を実行することで行われる。

本発明の原理に係るフィルムグレインシミュレーション方法は、前に開示された方法に比較されたとき、複雑度とメモリ要件との間の関心のあるトレードオフを与える。他方で、本方法は、直接変換の計算を回避することで、変換ベースのアプローチの複雑度を低減する。他方で、本方法は、フィルムグレインパターンの代わりに変換された係数を記憶することでデータベースに基づいたアプローチのメモリ要件を低減する。提案される方法は、幾つかの例を引用するため、ＨＤ ＤＶＤシステム、ＢＤ ＲＯＭシステム及びサテライトブロードキャスティングにも適用される。

図２は、事前に計算された係数を使用してフィルムグレインをシミュレートするため、本発明の原理に係る方法のステップをフローチャートの形式で示している。図２の方法は、開始ステップ１００の実行に応じて始まり、このステップの間、初期化が典型的に行われるが、かかる初期化は必ずしも行われる必要はない。その後、ステップ１０２が行われ、その間、必須ではないが、典型的にＮ×Ｎサイズの事前に計算された変換された係数のブロックがメモリ１０３から読み取られる。図２のメモリ１０３における事前に計算された係数のセットを形成するための多くの技術が存在する。たとえば、変換された係数は、図３及び図４に関して詳細に説明されるように、ランダムな値のセットに離散コサイン変換（ＤＣＴ）を使用して事前に計算される。フィルムグレインシミュレーションの前に変換された係数のセットを計算するための他の技術が存在する。変換された係数は、次いで、所望のフィルムグレインパターンを特徴付けるフィルタの（２次元での）遮断周波数を表す予め定義された遮断周波数ｆ_ＨＬ，ｆ_ＶＬ，ｆ_ＨＨ及びｆ_ＶＨのセットを使用して、ステップ１０５の間に周波数フィルタリングを受ける。ステップ１０６の間、変換された係数の周波数フィルタリングされたブロックは、ステップ１０８でのプロセス終了前に、フィルムグレインのブロックを得るため、必須ではないが、逆離散コサイン変換（ＩＤＣＴ）である逆変換を受ける。幾つかの状況下で、ステップ１０６に従う係数の逆変換されたブロックのスケーリングは、プロセスの終了の前に有効であることがわかる。

図３は、ガウス性のランダムノイズの単一画像の事前に計算されたＤＣＴ係数を使用したフィルムグレインパターンシミュレーションの方法を説明するフローチャートである。図３の方法は、初期化が行われるステップ３００の実行に応じて始まるが、かかる初期化は必ずしも行われることが必須ではない。その後、ステップ２０２が行われ、必須ではないが、典型的に、Ｎ×Ｎサイズである事前に計算された変換された係数のブロッがメモリ２０３から読み取られる。ステップ２０２の間にメモリ２０３から読み取られる係数のブロックは、ガウス性のランダム値のＮ×Ｎ画像にＤＣＴ変換を適用することで典型的に形成される。

ステップ２０２に続いて、ステップ２０４が行われ、全ての可能性のあるフィルムグレインサイズ及び形状について繰り返すループへのエントリを始める。ループへのエントリに応じて、変換された係数は、所望のフィルムグレインパターンを特徴付けるフィルタの（二次元における）遮断周波数を表す予め定義された遮断周波数ｆ_ＨＬ，ｆ_ＶＬ，ｆ_ＨＨ及びｆ_ＶＨのセットを使用してステップ２０５の間に周波数フィルタリングを受ける。次のステップ２０６が行われ、変換された係数の周波数フィルタリングされたブロックは、典型的に、必須ではないが逆離散コサイン変換（ＩＤＣＴ）といった逆変換を受け、フィルムグレインのブロックが得られる。幾つかの状況下で、ステップ２０６に後続するか又は先行する係数の逆変換されたブロックのスケーリングは、有効であることがわかる。

その後、ステップ２０６の間に実行される逆変換から得られるフィルムグレインのブロックは（又はかかるスケーリングが行われる場合にスケーリングの後）、ステップ２０８の間にデータベース２０９におけるストレージを受ける。ステップ２０４の間に始動されるループは、全ての可能性のあるフィルムグレインのサイズ及び形状について繰り返しを受け（すなわちステップ２０５及び２０６が繰り返される）、ループの実行がステップ２１０の間に終了し、その後、本方法はステップ２１２の間に終了する。上述の記述から理解されるように、図３のステップ２０２の間にメモリ２０３から読み取られたガウス性のランダム値の単一の画像は、データベース２１０に記憶されるフィルムグレインパターンのそれぞれについてカーネルとしての役割を果たす。

図４は、ガウス性のランダムノイズの多数の画像の事前に計算されたＤＣＴ係数を使用したフィルムグレインパターンのシミュレーションの方法を形成するフローチャートである。図４の方法は、開始ステップ３００の実行に応じて始動し、このステップの間、初期化が行われるが、かかる初期化は必ずしも行われる必要がない。次のステップ３０が行われ、全ての可能性のあるフィルムグレインのサイズ及び形状について繰り返すループへのエントリが始動される。ループへのエントリに応じて、ステップ３０２が行われ、必須ではないが、典型的にＮ×Ｎサイズの事前に計算された変換係数のブロックは、メモリ３０３から読み取られる。ステップ３０２の間にメモリ３０３から読み取られる係数のブロックは、ガウス性のランダム値のＮ×Ｎ画像のＤＣＴ係数のデータベースを有する。

ステップ３０２に続いて、ステップ３０５が行われ、メモリ３０３から読み取られたＤＣＴ係数のＮ×Ｎ画像は、所望のフィルムグレインパターンを特徴付けるフィルタの（二次元での）遮断周波数を表す予め定義された遮断周波数ｆ_ＨＬ，ｆ_ＶＬ，ｆ_ＨＨ及びｆ_ＶＨのセットを使用して周波数フィルタリングを受ける。次のステップ３０６が行われ、変換された係数の周波数フィルタリングされたブロックは、典型的に、必須ではないが逆離散コサイン変換（ＩＤＣＴ）といった逆変換を受け、フィルムグレインのブロックが得られる。幾つかの状況下で、ステップ３０６に続く係数の逆変換されたブロックのスケーリングは、有効であることがわかる。

その後、ステップ３０８が行われ、実行された逆変換（及び実行された場合にスケーリング）から得られるフィルムグレインのブロックは、ステップ３０８の間にデータベース３０９におけるストレージを受ける。

ステップ３０１の間に始動されるループは、全ての可能性のあるフィルムグレインのサイズ及び形状について繰り返しを受け（すなわちステップ３０２〜３０８が繰り返される）、ループの実行がステップ３１０の間に終了し、その後、本方法はステップ３１２の間に終了する。全ての可能性のあるフィルムグレインの形状及びサイズについてガウス性のランダム値の単一のＤＣＴ画像を利用する図３の方法とは異なり、図４の方法は、それぞれ異なるフィルムグレインの形状及びサイズについて個別のＤＣＴ画像を利用する。両方法は、ＳＲＡＭメモリのような従来のメモリにおけるストレージのためのシステム初期化又はリセットに応じてフィルムグレインの値のデータベースを作成するのを可能にする。

上述した内容は、事前に計算された変換された係数を使用してフィルムグレインをシミュレートし、これにより複雑度を低減する技術を説明するものである。

本発明の原理の技術を実施するために有効なフィルムグレイン処理チェインにおける送信機及び受信機の組み合わせのブロック概念図である。 事前に計算された係数を使用したフィルムグレインのブロックを形成する第一の方法のステップを示すフローチャートである。 ガウス性雑音のシングル画像の事前に計算された離散コサイン変換（ＤＣＴ）係数を使用したフィルムグレインパターンのクリエーションについての方法のステップを示すフローチャートである。 ガウス性雑音の幾つかの画像の事前に計算された離散コサイン変換（ＤＣＴ）係数を使用したフィルムグレインパターンのクリエーションについての方法のステップを示すフローチャートである。

Claims (16)

1. フィルムグレインのブロックを形成する方法であって、
   （ａ）事前に計算された、離散コサイン変換により得られた変換係数のブロックを取得するステップと、
   （ｂ）フィルムグレインの所望のパターンを特徴付ける周波数の範囲に応答して前記変換された係数を周波数フィルタリングするステップと、
   （ｃ）周波数フィルタリングされた変換係数に逆変換を実行するステップと、
   を含む方法。
2. 前記事前に計算された前記変換係数のブロックを取得するステップは、メモリから少なくとも１つの事前に計算された前記変換係数のブロックを読み取るステップを更に含む、
   請求項１記載の方法。
3. 前記周波数フィルタリングするステップは、所望のフィルムグレインパターンを特徴付ける二次元フィルタの遮断周波数ｆ_ＨＬ，ｆ_ＶＬ，ｆ_ＨＨ及びｆ_ＶＨのセットに応じて変換係数をフィルタリングするステップを含む、
   請求項１記載の方法。
4. 前記逆変換を実行するステップは、逆離散コサイン変換を実行するステップを更に含む、
   請求項１記載の方法。
5. 前記逆変換された係数をスケーリングするステップを更に含む、
   請求項１記載の方法。
6. 前記ステップ（ｂ）及び（ｃ）は、１つの事前に計算された前記変換係数のブロックから全ての導出される複数のフィルムグレインパターンを取得するため、全ての可能性のあるフィルムグレインのサイズ及び形状について繰り返される、
   請求項１記載の方法。
7. 前記ステップ（ａ），（ｂ）及び（ｃ）は、個別の事前に計算された前記変換係数のブロックからそれぞれ導出される複数のフィルムグレインパターンを取得するため、全ての可能性のあるフィルムグレインサイズ及び形状について繰り返される、
   請求項１記載の方法。
8. 前記ステップ（ｃ）のそれぞれ繰り返される実行に応じて、それぞれ逆変換されたフィルタリングされた係数のセットをメモリに記憶するステップを更に含む、
   請求項６記載の方法。
9. 前記ステップ（ｃ）のそれぞれ繰り返される実行に応じて、それぞれ逆変換されたフィルタリングされた係数のセットをメモリに記憶するステップを更に含む、
   請求項７記載の方法。
10. 前記逆変換されたフィルタリングされた係数のセットをスケーリングするステップを更に含む、
    請求項１記載の方法。
11. 少なくとも１つの事前に計算された、離散コサイン変換により得られた変換係数のブロックを記憶する第一のメモリと、
    少なくとも１つのプログラムされたプロセッサ、及び（ａ）前記メモリから事前に計算された前記変換係数のブロックを取得し、（ｂ）所望のフィルムグレインのパターンを特徴付ける周波数の範囲に応じて前記変換係数を周波数フィルタリングし、（ｃ）周波数フィルタリングされた変換係数に逆変換を実行する、ことでフィルムグレインをシミュレートする専用のロジック回路と、
    を有する装置。
12. 前記少なくとも１つのプログラムされたプロセッサ、及び専用のロジック回路は、逆変換された、前記周波数フィルタリングされた変換係数をスケーリングする、
    請求項１１記載の装置。
13. 前記逆変換された、周波数フィルタリングされた変換係数を記憶するための第二のメモリを更に有する、
    請求項１１記載の装置。
14. 少なくとも１つの事前に計算された、離散コサイン変換により得られた変換係数のブロックを記憶する第一のメモリと、
    前記メモリから事前に計算された前記変換係数のブロックを取得する手段と、
    フィルムグレインの所望のパターンを特徴付ける周波数の範囲に応じて前記変換係数を周波数フィルタリングする手段と、
    周波数フィルタリングされた変換係数に逆変換を実行する手段と、
    を有する装置。
15. 前記逆変換された、周波数フィルタリングされた変換係数をスケーリングする手段を更に有する、
    請求項１４記載の装置。
16. 前記逆変換された、周波数フィルタリングされた変換係数を記憶する第二のメモリを更に有する、
    請求項１４記載の装置。

Images