JP4723483B2 - 符号化ビデオに於いてフィルム粒子をシミュレートする技術 - Google Patents

Description

（関連出願の説明）
本出願は、米国特許法（３５Ｕ．Ｓ．Ｃ）第１１９条の（ｅ）に基づいて、２００３年４月１１日に出願された米国仮特許出願第６０／４６２，３８９号の優先権を主張し、前記米国仮特許出願を本出願に於ける参照文献とする。

この発明は、一連の符号化ビデオに於いて写真フィルムの粒子をシミュレートする技術に関する。

動画を作成するのに使用される写真フィルムは、フィルム・ベース上に薄層形成された感光乳剤内にハロゲン化銀の結晶を分散させたものである。この結晶を露光して現像することによって写真映像が形成されるが、その際、銀の離散した各粒の尺度が最大になる。カラーのネガの場合、銀結晶が生じた箇所に、現像に続く銀の化学的除去の後、染料の微小斑点が現れる。この染料の微小斑点によってカラーフィルム内に「粒子（ｇｒａｉｎ）」が形成される。銀結晶が当初の感光乳剤上にランダムに形成されるので、各粒子は、現像された映像内でランダムに現れる。均一に露光された領域内では、その露光によって現れる結晶もあれば、現れない結晶もある。更に、粒子のサイズと形は、様々である。また、フィルムが速ければ速い程（即ち、光に対する感度が高ければ高い程）、形成される銀の塊と発生する染料の斑点とは大きくなり、そして、グループを形成してランダムなパターンになる傾向が高くなる。この粒子パターンは、一般に、「粒度（ｇｒａｎｕｌａｒｉｔｙ）」として知られている。

個々の粒子（０．０００２ｍｍから０．００２ｍｍの範囲）は、裸眼では認識できない。しかし、粒子のグループは、裸眼で解像でき、フィルム粒子として識別できる。映像の解像度が高ければ高い程、フィルム粒子が認識される度合いは高くなる。フィルム粒子は、シネマ映像および高精細度映像では明らかに見て分かるが、標準精細度テレビジョン（Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ Ｔｅｌｅｖｉｓｉｏｎ（ＳＤＴＶ））映像ではあまり目立たなくなり、更に低いフォーマットの映像では認識できなくなる。

一般に、ビデオ符号化の分野に於いて、符号器の性能を改善してフィルム粒子を高ビット・レートで符号化する取り組みが現在行われている。尚、フィルム粒子は、標準精細度テレビジョン（ＳＤＴＶ）や高精細度テレビジョン（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｔｅｌｅｖｉｓｉｏｎ（ＨＤＴＶ））等の高映像フォーマットに於いてのみ目立つようになるので、フィルム粒子の課題は、主にプロフェッショナルな符号器に影響を及ぼす。

フィルム粒子に関する最近の研究は、主に写真映像アプリケーション（例えば、映像編集、医療映像技術、衛星画像、天文学、天体写真術等）を対象にしている。この課題を解決するソフトウェア・アプリケーション（例えば、Ａｄｏｂｅ Ａｆｔｅｒ Ｅｆｆｅｃｔｓ、Ｐｈｏｔｏｓｈｏｐ等）が、現在市販されている。ビデオ符号化の分野では、中程度のビット・レートおよび低ビット・レートでの符号化処理を改善する目的で、フィルム粒子を除去することが望ましく、それに取り組む研究が行われている。一方、例えばテクスチャ（物体の材質感や表面の模様）或いは輪郭のような他の高周波情報とは別にフィルム粒子を符号化する具体的な方法を記した文献は無い。

ある程度まで、フィルム粒子は、写真フィルムの現像の物理的過程に固有の相関ノイズを構成している。フィルム粒子の存在は、フィルム粒子が無い「コンピュータが生成した」マテリアル（題材）とは対照的である「リアル・ワールド（現実感の有る）」映像であることを示す。フィルム粒子の無い映像は、ハイパーリアリティ（ｈｙｐｅｒ−ｒｅａｌｉｔｙ）（リアリティを超えたもの）に見え、余りに均一（ｆｌａｔ）で、且つ、鋭利（ｓｈａｒｐ）過ぎて、現実味が無い。このため、フィルム粒子は、殆どの映像に於いて望ましい「アーティファクト（ａｒｔｉｆａｃｔ）」として残存する。一方、フィルム粒子はランダムな過程から生じて高周波数に影響を及ぼし、符号化処理は、一般に、フィルム粒子に影響を及ぼす。損失の多い符号器は、通常、ＤＣＴ領域に於ける高周波数の送信を避けることにより、圧縮利得の一部を達成している。そのような周波数は、一般に、ノイズ、鋭利な端部およびテクスチャに関連しているが、フィルム粒子にも関連している。高ビット・レートに於いてでさえも、フィルム粒子は、残しておくのが難しく、また、常に、圧縮コストが高くなる。

従って、表示映像の見た目の品質を低下させずに、フィルム粒子を符号化するコストを軽減する必要がある。

（発明の概要)
簡潔に述べると、本発明の原理に従って、符号化映像内のフィルム粒子をシミュレートする方法が提供される。この方法では、符号器側に於いて、フィルム粒子の抽出とフィルム粒子の特徴付けが行われ、それによって、復号器側に於いて、フィルム粒子の復元が可能になる。推奨実施形態では、この方法は、入来映像に存在するフィルム粒子を識別することにより、開始される。その後、フィルム粒子の特徴付けが、フィルムのタイプに基づいて、或いは、特定のモデルを使用して、行われる。次に、入来映像が符号化され、一方、フィルム粒子特徴付け情報が送信される。これにより、符号化映像を復号化する復号器が、送信情報に従って、フィルム粒子を復元できる。本方法では、フィルム粒子の詳細が、ビデオ符号化ストリームに対する並列情報として、送信されるが、一般に、ＩＴＵ−ＴＨ．２６４ビデオ符号化規格を採用する場合は、フィルム粒子の補足的強調情報（ＳＥＩ）メッセージとして送信される。

当業者に周知のように、動画フィルムのタイプによって、フィルム粒子パターンが異なる。従って、オリジナル・ソース・マテリアル（原題材）を記録するのに使用されるフィルム・ストック（フィルム材料）のタイプを識別することにより、符号化されるマテリアル（題材）のフィルム粒子を識別できる。表１は、各々が既知のフィルム粒子パターンを有する複数のフィルム・ストック例と、それらに対応する個々の数字識別子とを表したものである。

符号化ビデオにされる各画像を記録するのに最初に使用されるフィルムのタイプを知ることにより、映像復号化に続くフィルム粒子の復元の際に、最適な品質が保証される。更に、オリジナル映像に適用されるダウン・サンプリング係数に関する情報も、フィルム粒子の復元を正確な尺度で行うのに役立つ。尚、表１は、全てを含むものではなく、単なる一例に過ぎない。また、その他のフィルム製造業者の各フィルム・ストックは、別個の識別子を有する。

オリジナル・ソース・マテリアルを記録するのに使用されたフィルム・ストックのタイプに関する情報が無い場合、モデル化処理によってフィルム粒子の特徴付けが行える。モデル化処理は、フィルム粒子のパターンと強度（ｉｎｔｅｎｓｉｔｙ）とを高密度に表すことにより、送信しようとするフィルム粒子特徴付け情報の量を低減するものである。このような方法は、オリジナルのフィルム粒子の推定値を提供するものであるが、この推定値は、選ばれたモデル化処理によって実際のフィルムとは異なることがある。符号器の所でフィルム粒子をモデル化するシステムが起動されて、入来映像のフィルム粒子を特徴付けるモデル化方法を複数のモデル化方法の中から選択する場合、復号器は、その選択されたモデル化方法を識別する少なくともある程度の情報を受け取る必要がある。一実施形態に於いて、モデル化処理は、ノン・パラメトリック（ｎｏｎ−ｐａｒａｍｅｔｒｉｃ）なモデルに従って、フィルム粒子を高密度に表すことができる。別の一実施形態では、モデル化処理は、予め定義された数学的モデルに従うパラメータ表示処理で行うことができる。この後者の実施形態を例示するために、フィルム粒子を表すのに使用可能な数学的モデルの幾つかの例を以下の表２に示す。

パラメトリック（ｐａｒａｍｅｔｒｉｃ）なモデルを使用する場合、推定された一組のパラメータを送信する必要がある。その各パラメータは、表２に規定されるような各モデルのタイプに依存するか、或いは、最も簡単なケースでは、表１に示されたような各フィルム・タイプからの「アプリオリ（ａ ｐｒｉｏｒｉ）」として知られる固有のフィルム粒子モデルに対応する。所与のフィルム粒子モデルの各パラメータによって、フィルム粒子のサイズ、強度、空間的相関、色相関等の調整が可能になる。一例として、次の公式を用いて、ある映像内のフィルム粒子をモデル化できる。

ここで、ｆ（ｘ，ｙ，ｃ）は色成分ｃについての座標（ｘ,ｙ）に於けるピクセルのフィルム粒子を表しており、ｎは平均０で分散１のガウス・ノイズを表している。このモデルに従えば、符号器は、各パラメータ「ａ」、「ｂ」および「ｄ」を送信して、復号器が、オリジナルのフィルム粒子をシミュレートできるようにする。尚、モデルの各パラメータは、例えば、信号強度、色成分等のようなその他のファクタに依存し得る。従って、フィルム粒子モデルの各パラメータの送信は、実際、必然的に、異なるケース毎に、数組のモデル・パラメータの送信を伴う。

図１には、本発明の原理に従って、フィルム粒子をシミュレートするシステムの第１の実施形態（以下システム１０という）の概略的ブロック図が示されている。システム１０に於いて、フィルム粒子除去器２２が、入力ビデオ・ストリーム１２からフィルム粒子を除去して、ビデオ符号器１３に入力されるべき濾波済みビデオ・ストリーム２４を生成する。尚、フィルム粒子の除去は、ノイズ信号が映像信号と相関して現れる特定のケースのノイズ濾波である。従って、フィルム粒子除去器２２は、従来形式の映像フィルタの形態を取ってもよいが、そのようなフィルタは、必ずしも、最適な性能を発揮するわけではない。次に、ビデオ符号器１３は、濾波済みビデオ・ストリーム２４を符号化して、符号化ビデオ・ストリーム１４を生成し、ビデオ復号器１５が、この符号化ビデオ・ストリーム１４を受信して復号化し、復号化ビデオ・ストリーム１６を生成する。ビデオ符号器１３とビデオ復号器１５は、当業者に周知である同じビデオ符号化方式を使用している。例えば、そのビデオ符号化方式は、ＩＴＵ−ＴＨ．２６４ビデオ符号化規格、或いは、その他のタイプのブロック・ベースの符号化規格であってよい。ＭＰＥＧ―２およびＩＴＵ−ＴＨ．２６４規格を使用する符号器と復号器は、周知である。

更にシステム１０に含まれているフィルム粒子特徴付け器２３が、入力ビデオ・ストリーム１２と濾波済みビデオ・ストリーム２４とを受信する。フィルム粒子特徴付け器２３は、これらのビデオ・ストリームからフィルム粒子特徴付け情報２５を生成する。フィルム粒子特徴付け器２３は、その最も簡単な実施形態に於いて、限定された組のフィルム粒子サンプルから入力ビデオ・ストリーム１２内の粒子を特徴付ける。一例として、フィルム粒子サンプルは、入力ビデオ１２から濾波済みビデオ２４を減算することにより、得られる。別の実施形態では、フィルム粒子特徴付け器２３は、ルック・アップ・テーブルの形態をとることができ、入力ビデオ・ストリーム１２になった画像を記録するのに最初に使用されたフィルム・ストックのタイプに従って、フィルム粒子特徴付け情報を出力する。従って、例えば、入力ビデオ・ストリーム１２に付随するメタデータにより、表１に従って、フィルム・ストックのタイプが識別できる。フィルム粒子特徴付け器２３は、そのルック・アップ・テーブルによって識別されたフィルムについて、各パラメータと、対応するフィルム粒子モデルとを出力する。更に別の実施形態では、フィルム粒子特徴付け器２３は、所定の方法に従って推定された一組のパラメータによって入力ビデオ・ストリーム１２内のフィルム粒子を特徴付けるフィルム粒子モデル化処理を利用してもよい。

フィルム粒子特徴付けの後、フィルム粒子特徴付け情報符号器２６が、フィルム粒子特徴付け情報を含んだ符号化情報ストリームを、ビデオ符号器１３によってビデオ復号器１５に送信される符号化ビデオ・ストリーム１４と並列に、フィルム粒子特徴付け情報復号器２８に送信する。ビデオ符号器１３とフィルム粒子特徴付け情報符号器２６は、共に、同じ符号化方式を使用している。従って、例えば、符号器２６がＩＴＵ−ＴＨ．２６４ビデオ符号化規格を使用して符号化する場合、符号化フィルム粒子特徴付け情報ストリーム２７は、そのＩＴＵ−ＴＨ．２６４ビデオ符号化規格で定義されるフィルム粒子の補足的強調情報（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ（ＳＥＩ））メッセージの形態をとることができる。

フィルム粒子特徴付け情報復号器２８は、符号化フィルム粒子特徴付け情報ストリーム２７を復号化して復号化フィルム粒子特徴付け情報ストリーム２９を生成し、これをフィルム粒子復元プロセッサ３０に供給する。フィルム粒子復元プロセッサ３０は、その最も簡単な形態に於いて、ビデオ復号器１５によって供給される復号化ビデオ・ストリーム１６にフィルム粒子パターンを配合して、シミュレートされたフィルム粒子を有する復号化ビデオ・ストリーム３１を生成するようなパターン付加器の形態をとる。別の実施形態では、フィルム粒子復元プロセッサ３０は、復号化フィルム粒子特徴付け情報ストリーム２９内のフィルム粒子特徴付け情報に従ってフィルム粒子パターンを作成するようなパターン発生プロセッサで構成できる。

尚、フィルム粒子特徴付け情報は、ビデオ・シーケンスに於いて動的に変化することがある。従って、異なるグループのフレームについては、異なるフィルム粒子特徴付け情報を送信する必要性が有り得る。このようにして、フィルム粒子復元プロセッサ３０は、受信したフィルム粒子特徴付け情報に従って、フィルム粒子パターンを更新できる。

図２には、本発明の原理に従って、フィルム粒子をシミュレートするシステムの第２の実施形態であるシステム１０’が示されている。このシステム１０’には、図１のシステム１０と同じ構成要素が多く含まれており、その同じ構成要素には同じ参照番号が付されている。実際に、図２のシステム１０’が異なるのは、図１のフィルム粒子特徴付け情報符号器２６とフィルム粒子特徴付け情報復号器２８とが含まれていない点だけである。図２のシステム１０’は、ビデオ符号器１３およびビデオ復号器１５によって、フィルム粒子特徴付け器２３から出力されたフィルム粒子特徴付け情報２５を、それぞれ、符号化および復号化する。図２のシステム１０’は、並列的強調情報として送信フィルム粒子特徴付け情報をサポートするビデオ符号化規格を使用する必要がある。従って、例えば、ビデオ符号器１３がＩＴＵ−ＴＨ．２６４ビデオ符号化規格を使用して符号化する場合、符号化フィルム粒子特徴付け情報ストリーム２７は、そのＩＴＵ−ＴＨ．２６４ビデオ符号化規格に於いて定義される補足的強調情報（ＳＥＩ）メッセージの形態をとることができる。

図３には、本発明の原理に従って、フィルム粒子をシミュレートするシステムの第３の実施形態であるシステム１０’’が示されている。このシステム１０’’には、図２のシステム１０’と同じ構成要素が多く含まれており、その同じ構成要素には同じ参照番号が付されている。実際に、図３のシステム１０’’が異なるのは、図２のフィルム粒子除去器２２が含まれていない点だけである。図３のシステム１０’’は、ビデオ符号器１３で得られる再構成映像を使用して、フィルム粒子除去結果をシミュレートする。図３のシステム１０’’には、図１のシステム１０および図２のシステム１０’と比べて、２つの利点がある。即ち、図３のシステム１０’’は、第１の利点として、フィルム粒子の除去に関連する計算量を低減し、第２の利点として、フィルム粒子特徴付けを、ビデオ符号器１３によって抑制されるフィルム粒子量に適合させている。図３のフィルム粒子特徴付け器２３は、一旦、フィルム粒子を有する入力ビデオ１２と、ビデオ符号器１３から出力された再構成ビデオ２４との両方を処理すれば、観測されたフィルム粒子の特徴付けの作業を完遂できる。

場合によっては、フィルム粒子特徴付けには、オリジナルのファイル・フォーマットに従って、色変換および／またはピクセル・サンプル補間を含ませることができる。高品質のアプリケーションでは、フィルム粒子モデル化がＲＧＢ色空間で行われ、この方がフィルム現像の物理的処理の層構成により近い。最も簡単なパラメトリックなモデルによって、フィルム粒子が、映像信号と相関しないゼロ平均のガウス・ノイズであると見做すことができる。この場合、ガウス関数の標準偏差の送信のみが必要となる。更に複雑なモデルでは、各色成分に対して、および／または、異なるグレー・レベルの組に対して、異なるパラメータの送信が必要になることもある。モデルの選択は、復号器側での対応可能な複雑さと、ＳＥＩメッセージを符号化するのに利用可能なビット数と、そして、主にディスプレイ上の所望の品質とに強く関係することがある。

本発明の原理に従えば、フィルム粒子の符号化は、（ａ）符号器側に於いてフィルム粒子を特徴付けるステップと、（ｂ）フィルム粒子特徴付け情報を符号化ビデオ・ストリームと並列に送信するステップと、（ｃ）シミュレートされたフィルム粒子を符号化ビデオに配合するステップとによって行われる。前述の如く、フィルム粒子のシミュレーションは、既定のモデルに依存し、その既定モデルは具体的なタイプのフィルムのフィルム粒子を再現する。或いは、フィルム粒子のシミュレーションは、数学的モデルを使用するパラメータ表示によって行える。全ての場合で、フィルム粒子の復元は、表示の前に行われる。付加されたフィルム粒子を有する映像は、復号化処理の範囲内で、決して使用されることはない。一方、特定の並列化は、因果モデル（ｃａｕｓａｌ ｍｏｄｅｌ）では、可能である。

以上、ビデオ映像に於いて、フィルム粒子を符号化する技術について説明した。

図１は、本発明の原理に従ってフィルム粒子をシミュレートする本発明の原理に従うシステムの第１の実施形態のブロック図である。 図２は、本発明の原理に従ってフィルム粒子をシミュレートする本発明の原理に従うシステムの第２の実施形態のブロック図である。 図３は、本発明の原理に従ってフィルム粒子をシミュレートする本発明の原理に従うシステムの第３の実施形態のブロック図である。

Claims (21)

1. フィルム粒子をシミュレートする方法であって、
   少なくとも一つの符号化映像を受信するステップと、
   符号化前の映像内に存在するフィルム粒子を示すフィルム粒子特徴付け情報を受信するステップと、
   前記少なくとも一つの符号化映像を復号化するステップと、
   前記受信したフィルム粒子特徴付け情報に従って、フィルム粒子パターンをシミュレートするステップと、
   を含む、前記方法。
2. 前記シミュレートされたフィルム粒子パターンを前記復号化された映像に配合するステップをさらに含む、請求項１記載の方法。
3. ＩＴＵ−ＴＨ．２６４ビデオ符号化フォーマットの前記符号化映像を受信するステップと、
   前記フィルム粒子特徴付け情報を補足的強調情報メッセージとして受信するステップと、
   を更に含む、請求項１記載の方法。
4. 前記フィルム粒子特徴付け情報を受信するステップは、前記符号化映像を記録するのに最初に使用されたフィルム・ストックのタイプの識別子を受信するステップを含む、請求項１記載の方法。
5. 前記フィルム粒子特徴付け情報を受信するステップは、前記符号化映像を記録するのに最初に使用されたフィルム・ストックに於けるフィルム粒子に最も近いモデルの識別子を受信するステップを含む、請求項１記載の方法。
6. 前記フィルム粒子特徴付け情報を受信するステップは、フィルム粒子のサイズ、強度、空間的相関、および色相関を示す情報を受信するステップを含む、請求項１記載の方法。
7. 前記符号化映像に於ける個々のグループのフレームについて、フィルム粒子パターンを個々にシミュレートするステップを更に含む、請求項１記載の方法。
8. フィルム粒子をシミュレートする方法であって、
   映像を符号化するステップと、
   符号化前の前記映像内に在るフィルム粒子を識別するステップと、
   前記識別したフィルム粒子に関する情報に基づいて符号化前の前記映像内に存在するフィルム粒子をモデル化するモデルに従って、符号化前の前記映像内に存在するフィルム粒子を示すフィルム粒子特徴付け情報を設定するステップと、
   を含む、前記方法。
9. ＩＴＵ−ＴＨ．２６４ビデオ符号化フォーマットで映像を符号化するステップと、
   前記フィルム粒子特徴付け情報を補足的強調情報メッセージとしてフォーマットするステップと、
   を更に含む、請求項８記載の方法。
10. 前記フィルム粒子特徴付け情報を設定するステップは、前記符号化映像を最初に記録したフィルム・ストックのタイプを識別するステップを含む、請求項８記載の方法。
11. 前記フィルム粒子特徴付け情報を設定するステップは、映像を最初に記録したフィルム内のフィルム粒子を最も良く示すモデルを識別するステップを含んでいる、請求項８記載の方法。
12. 前記モデルを識別するステップは、複数のフィルム粒子モデルの中から最良のモデルを選択するステップを含む、請求項１１記載の方法。
13. 前記フィルム粒子特徴付け情報を設定するステップは、フィルム粒子のサイズ、強度、空間的相関、および色相関を設定するステップを含む、請求項８記載の方法。
14. 前記符号化するステップの前に、映像からフィルム粒子を除去するステップを更に含む、請求項８記載の方法。
15. 映像内のフィルム粒子をシミュレートする装置であって、
    符号化映像を受信し、符号化前の映像が記録されたフィルム内の粒子を示すフィルム粒子特徴付け情報を受信し、前記符号化映像を復号化する復号器と、
    前記受信されたフィルム粒子特徴付け情報に従って、フィルム粒子パターンをシミュレートするフィルム粒子復元プロセッサと、
    を含む、前記装置。
16. 前記復号器が、前記フィルム粒子特徴付け情報を、前記符号化映像に対する並列情報として受信する、請求項１５記載の装置。
17. 前記復号器が、ＩＴＵ−ＴＨ．２６４ビデオ符号化フォーマットの前記符号化映像を受信し、前記フィルム粒子特徴付け情報を補足的強調情報メッセージとして受信する、請求項１５記載の装置。
18. 前記フィルム粒子特徴付け情報が、前記符号化映像を最初に記録したフィルム・ストックのタイプの識別子を含み、それによってフィルム粒子を示す、請求項１５記載の装置。
19. 前記フィルム粒子特徴付け情報が、前記符号化映像を最初に記録した前記フィルム内のフィルム粒子を最も良く示すモデルの識別子を含み、それによってフィルム粒子を示す、請求項１５記載の装置。
20. 前記モデルの前記識別子によって、複数のフィルム粒子モデルの中から最良のモデルが識別される、請求項１９記載の装置。
21. 前記フィルム粒子特徴付け情報には、フィルム粒子のサイズ、強度、空間的相関、および色相関を示す情報が含まれている、請求項１５記載の装置。

Images