JP4920592B2 - ブロック・ベースのフィルム・グレイン・パターンの適応的非ブロック化の手法 - Google Patents

Description

関連出願との相互参照

本出願は、その教示を本明細書及び特許請求の範囲に援用する西暦２００４年１０月２１日付け出願の米国仮特許出願第６０／６２０，７０２号の優先権を３５ＵＳＣ１１９（ｅ）の下で主張する。

本発明は、シミュレートされたフィルム・グレインをフィルタリングする手法に関する。

映画フィルムは、フィルム・ベース上の薄膜におおわれた、乳液内に分散させられたハロゲン化銀結晶を備えている。前述の結晶の露出及び現像によって、別個のとても小さな銀粒子から成る写真画像が形成される。カラー・ネガにおいて、銀は、銀結晶が生ずる場所に現像、及び色素のとても小さな塊が発生した後、化学的除去を受ける。前述の小さな色素の斑点は通常、カラー・フィルムにおける「グレイン」と呼ばれている。グレインは、元の乳液上の銀結晶のランダムな形成のために、結果として生じる画像上にランダムに分布しているようにみえる。一様に露出させられた領域内では、露出後に多少の結晶が現像するが、その他の結晶は現像しない。

グレインはサイズ及び形状においてばらつきがある。フィルムが速いほど（すなわち、光感度が大きいほど）、形成される銀の塊、及び発生する色素の小塊は、大きくなり、かつランダムなパターンに集まる傾向がある。グレインのパターンは通常、「粒度」として知られている。肉眼では、個々のグレイン（０．０００２ｍｍ以上約０．００２ｍｍ以下の範囲でばらつきがある）を識別することが可能でない。その代わりに、眼は、小塊として表されるグレイン群を分解する。見る人は、前述の小塊群をフィルム・グレインとして識別する。画像分解能が大きくなるにつれ、フィルム・グレインの知覚は向上する。フィルム・グレインは、映画及び高品位画像でははっきりと目に見えて分かる一方、ＳＤＴＶでは累進的に重要性を失い、より小さなフォーマットでは知覚不能になる。

映画フィルムは通常、写真フィルムの露出及び現像の物理的処理から、又は、その後の画像編集から生じる画像依存性雑音を含んでいる。写真フィルムは、写真乳液の物理的な粒度から生じる、特徴的な疑似ランダム・パターン、又はテクスチャを有している。あるいは、同様なパターンを、コンピュータ生成画像上でシミュレートしてこれを写真フィルムと混合することが可能である。何れの場合にも、この画像依存性雑音は、グレインとして表される。かなり多くの場合、適度なグレイン・テクスチャによって、映画において望ましい特徴がもたらされる。場合によっては、フィルム・グレインによって、２次元ピクチャの正確な知覚を容易にする視覚キューが与えられる。多くの場合、フィルム・グレインは、時間基準、視点等についての種々のキューを与えるために単一のフィルム内で変えられている。その他の多くの技術的及び芸術的用途が、映画産業においてグレイン・テクスチャを制御するうえで存在している。したがって、画像処理及び配信の連鎖全体にわたって画像の粒子の粗い外観を保つことは、映画産業における要件になっている。

市場で入手可能ないくつかの製品は、多くの場合に、コンピュータ生成オブジェクトを自然シーンに混合するために、フィルム・グレインをシミュレートする機能を有している。グレインのシミュレーションを実現するための最初のディジタル・フィルム・アプリケーションの１つである、イーストマン・コダック社（ニューヨーク州ロチェスター）によるシネオン（登録商標）は、多くのグレイン・タイプに対して非常に写実的な結果をもたらしている。しかし、シネオン（登録商標）のアプリケーションは、高いグレイン・サイズ設定の場合にもたらす、目に見えて分かる対角線の縞のために、多くの高速フィルムの場合、良好な性能をもたらさない。更に、シネオン（登録商標）アプリケーションは、画像が先行処理を受ける場合（例えば、画像が複製されるか、又はディジタル処理される場合など）に、十分な忠実度でグレインをシミュレートすることができない。

フィルム・グレインをシミュレートする別の商用製品は、アドビ（登録商標）のアフター・エフェクト（登録商標）のプラグインとして用いられる、Ｖｉｓｕａｌ Ｉｎｆｉｎｉｔｙ Ｉｎｃ．社によるグレイン・サージェリー（商標）である。グレイン・サージェリー（商標）製品は、乱数の組をフィルタリングすることによって合成グレインを生成するようにみえる。この手法には、計算量が大きいという欠点がある。

前述の従来の手法は何れも、圧縮ビデオにおけるフィルム・グレインを復元するという課題を解決するものでない。フィルム・グレインは、ビデオ系列における冗長度を利用した従来の空間的手法及び時間的手法を用いた圧縮を受けることが通常は可能でない高周波疑似ランダム現象を成す。フィルムに端を発する画像をＭＰＥＧ−２又はＩＴＵ−Ｔ Ｒｅｃ． Ｈ．２６４｜ＩＳＯ／ＩＥＣ １４４９６−１０圧縮手法を用いて処理しようとすると、通常、圧縮度が、受け入れることができないほど低くなってしまうか、又はグレイン・テクスチャが完全に失われてしまう。

本出願人によって行われた研究の結果、現在、後に画像に加えるために複数のフィルム・グレイン・サンプル・ブロックを合成することによってグレインをシミュレートする手法が存在している。前述の手法によって、各ブロックが、その他のブロックとは無関係に作成される。前述のフィルム・グレイン・ブロックを合成すると、アーチファクトが生じ得る。アーチファクトを削減するための従来の手法の１つは、各ブロックのエッジに沿って、シミュレートされたグレインの強度を減らすことを要求する。強度を減らすことにより、グレイン品質の削減を犠牲として、実現の容易性がもたらされる。各フィルム・グレイン・ブロックにデブロッキング・フィルタを施すことは、アーチファクトを削減するための別の手法を構成する。デブロッキング・フィルタを施すことのグレイン品質に対する影響はより少ないが、前述のフィルタを実現することによって計算量が増加する。

よって、低計算コストを維持しながら品質の向上（すなわち、アーチファクトの削減）を達成する、フィルム・グレイン・ブロックを非ブロック化する手法に対する必要性が存在している。

簡潔には、本願の原理によれば、少なくとも１つのフィルム・グレイン・ブロックを非ブロック化する方法が提供される。上記方法は、ブロック内のフィルム・グレインの特性に関連した少なくとも１つのパラメータをまず設定することによって始まる。その後、フィルム・グレインの、ブロック歪み（すなわち、シームレスな画像ではなく、別個のブロックとしての外観）が少なくとも１つのパラメータによって削減される。

シミュレートされたフィルム・グレインを非ブロック化するための本願の原理の手法を理解するために、フィルム・グレイン・シミュレーションの概要が役立つと考えられる。

図１は、送信器１０の略構成図を表す。送信器１０は、入力ビデオ信号を受信し、今度は、その出力において圧縮ビデオ・ストリームを生成する。それに加えて、送信器１０は更に、サンプル内に存在しているフィルム・グレインを（もしあれば）示す情報を生成する。実際に、送信器１０は、１つ又は複数のダウンストリーム受信器１１（図１にはこのうちの１つのみを示す）に圧縮ビデオを配信するケ―ブル・テレビジョン・システムのヘッドエンド・アレイの一部や、その他のそうしたシステムを備えることが可能である。送信器１０は、ＤＶＤのような媒体をもたらす符号器の形態をとることも可能である。受信器１１は、符号化ビデオ・ストリームを復号化し、フィルム・グレイン情報及び復号化ビデオ（何れも、送信器１０から、又は、媒体自体から直接（ＤＶＤ若しくは同様なものの場合）、受け取られる）によってフィルム・グレインをシミュレートして、フィルム・グレインをシミュレートした出力ビデオ・ストリームを得る。受信器１１は、圧縮ビデオを復号化し、そのビデオにおけるフィルム・グレインをシミュレートする役目を担うセットトップ・ボックスやその他のそうした機構の形をとることが可能である。

フィルム・グレインの全体管理には、入力ビデオにおけるフィルム・グレインに関する情報を送信器１０（すなわち、符号器）が供給することが必要である。すなわち、送信器１０はフィルム・グレインを「モデリング」する。更に、受信器１１（すなわち、復号器）は、送信器１０から受け取られるフィルム・グレイン情報によってフィルム・グレインをシミュレートする。送信器１０は、ビデオ符号化処理中にフィルム・グレインを維持するうえでの問題が存在している場合、ビデオ信号内のフィルム・グレインを受信器１１がシミュレートすることを可能にすることによって圧縮ビデオの品質を向上させる。

図１に示した実施例では、送信器１０は、ＩＴＵ−Ｔ Ｒｅｃ． Ｈ．２６４｜ＩＳＯ／ＩＥＣ １４４９６−１０ビデオ圧縮標準などの周知のビデオ圧縮手法の何れかを用いて入力ビデオ・ストリームを符号化するビデオ符号器１２を含む。任意的には、フィルム・グレイン除去器１４（図１の破線内に表す、フィルタ又は同様なものの形をとる）は、符号化に先行して入力ビデオ・ストリーム内の如何なるフィルム・グレインも除去するために符号器１２のアップストリームに存在し得る。入力ビデオがフィルム・グレインをもし含んでいてもほとんど含んでいない範囲内では、フィルム・グレイン除去器１４に対する必要性は存在しない。

フィルム・グレイン・モデラ１６は、入力ビデオ・ストリーム（及びフィルム・グレイン除去器１４の出力信号（フィルム・グレイン除去器１４が存在している場合））を受け入れる。前述の入力情報を用いて、フィルム・グレイン・モデラ１６は、入力ビデオ信号内のフィルム・グレインを設定する。その最も単純な形態では、フィルム・グレイン・モデラ１６は、種々の未使用フィルムのフィルム・グレイン・モデルを含むルックアップ・テーブルを備えることが可能である。入力ビデオ信号内の情報は、ビデオ信号への転換に先行して画像を記録するのに元々用いられた特定の未使用フィルムを特定する。これによって、フィルム・グレイン・モデラ１６が前述の未使用フィルムに適切なフィルム・グレイン・モデルを選択することが可能になる。あるいは、フィルム・グレイン・モデラ１６は、入力ビデオをサンプリングし、存在しているフィルム・グレイン・パターンを判定するための１つ又は複数のアルゴリズムを実行するプロセッサ又は専用ロジック回路を備え得る。

受信器１１は通常、送信器１０から受信された圧縮ビデオ・ストリームを復号化する役目を担うビデオ復号器１８を含む。復号器１８の構造は、送信器１０内の符号器１２によって行われる圧縮のタイプによって変わってくる。よって、例えば、出力ビデオを圧縮するためにＩＴＵ−Ｔ Ｒｅｃ． Ｈ．２６４｜ＩＳＯ／ＩＥＣ １４４９６−１０ビデオ圧縮標準を用いる符号器１２を送信器１０内で用いることによって、Ｈ． ２６４準拠復号器１８に対する必要性がもたらされる。受信器１１内では、フィルム・グレイン・シミュレータ２０が、フィルム・グレイン情報をフィルム・グレイン・モデル１６から受け取る。フィルム・グレイン・シミュレータ２０は、合成器２２を介して復号化ビデオ・ストリームと合成するためにフィルム・グレインをシミュレートする機能を有する、プログラムされたプロセッサ又は専用ロジック回路の形をとり得る。

フィルム・グレインのシミュレーションは、元のフィルムのコンテンツの外観をシミュレートするフィルム・グレイン・サンプルを合成することを目的としている。前述の通り、フィルム・グレイン・モデリングは図１の送信器１０において行われる一方、フィルム・グレイン・シミュレーションは受信器１１において行われる。特に、フィルム・グレイン・シミュレーションは、復号化ビデオ・ストリームの出力のアップストリームでの送信器１０からの入力ビデオ・ストリームの復号化とともに受信器１１において行われる。受信器１１において行われる復号化処理は、フィルム・グレインを加えた画像を利用するものでない。むしろ、フィルム・グレイン・シミュレーションは、表示するために復号化画像において、シミュレートされたフィルム・グレインを合成する後処理方法を構成する。その理由で、ＩＴＵ−Ｔ Ｒｅｃ． Ｈ．２６４｜ＩＳＯ／ＩＥＣ １４４９６−１０ビデオ圧縮標準は、フィルム・グレイン・シミュレーション処理に関する仕様を含んでいない。しかし、フィルム・グレイン・シミューションは、入力ビデオ信号内のグレイン・パターンに関する情報を必要とする。この情報は通常、ＩＴＵ−Ｔ Ｒｅｃ． Ｈ．２６４｜ＩＳＯ／ＩＥＣ １４４９６−１０ビデオ圧縮標準（その圧縮標準のＡｍｅｎｄｍｅｎｔ Ｉ（Ｆｉｄｅｌｉｔｙ Ｒａｎｇｅ Ｅｘｔｅｎｓｉｏｎ）によって規定されている）を用いる場合、補助エンハンスメント情報（ＳＥＩ）メッセージにおいて伝送される。

フィルム・グレイン・シミュレータ２０は、種々のやり方でフィルム・グレインをシミュレートすることが可能である。例えば、フィルム・グレイン・シミュレータ２０は、画像に加えるために、予め計算された複数のフィルム・グレイン・ブロックを含むデータベース（例えば、ルックアップ・テーブルすなわちＬＵＴ）を利用することによってフィルム・グレインをシミュレートすることが可能である。データベース内のフィルム・グレイン・ブロックを予め計算するための通常の方法は、ガウシアン疑似乱数生成器（図示せず）を利用する。あるいは、フィルム・グレイン・シミュレータ２０は、通常、この目的でガウシアン疑似乱数生成器を利用して、必要に応じて各フィルム・ブロックを算出することが可能である。

前述のように複数の個々のフィルム・グレイン・ブロックを合成することによるフィルム・グレイン・シミュレーションは、アーチファクトにつながりかねず、特に、ブロック歪みとして知られている状態につながりかねない。ブロック歪みによって、フィルム・グレイン・ブロックは、シームレスにマージしているというより、別々にみえる。ブロック歪みを削減するための従来の手法の１つには、各ブロックのエッジに沿って、シミュレートされたグレインの強度を減らす工程がある。別の従来技術の手法では、デブロッキング・フィルタが各フィルム・グレイン・ブロックに施される。前述の従来技術の手法には何れも、後述する欠点がある。

従来技術による、ブロック・エッジにおける画素値のダウンスケーリング
ブロック歪みを削減するための従来の手法の１つは、各ブロックのエッジ上のフィルム・グレイン・サンプルをダウンスケーリングすることに依拠している。従来、各フィルム・グレイン・ブロックの上エッジ及び下エッジの前述のダウンスケーリングは、
ｉ＝０，…，Ｎ−１の場合、
ｂｌｏｃｋ_ｍ［ｉ］［０］＞＞＝１であり、
ｂｌｏｃｋ_ｍ［ｉ］［Ｎ−１］＞＞＝１
であるようにフィルム・グレイン・サンプルの値を２で除算することによって行われている。ここで、Ｎはブロック・サイズ（この例では、正方形）であり、ｂｌｏｃｋ_ｍ［ｘ］［ｙ］は、ブロックｍの位置（ｘ，ｙ）でのフィルム・グレイン・サンプルである。このようにしてダウンスケーリングすることによって、所望の減衰がもたらされる。フィルム・グレイン・サンプルは、ゼロの平均を有しており、正の値と負の値との間で等しく分布しているからである。左エッジ及び右エッジのスケーリングは、同様に行うことが可能である。
ｊ＝０，…，Ｎ−１の場合、
ｂｌｏｃｋ_ｍ［０］［ｊ］＞＞＝１
ｂｌｏｃｋ_ｍ［Ｎ−１］［ｊ］＞＞＝１
この手法には、フィルム・グレイン特性を考慮に入れることなくかなりの割合のＮ×Ｎフィルム・グレイン・ブロックを修正するという欠点がある。例えば、８×８フィルム・グレイン・ブロックの場合には、４つのエッジ全てがスケーリングされる場合、サンプルの半分はその強度が減少することになる一方、垂直方向（又は水平方向）のエッジのみがスケーリングされる場合、サンプルの４分の１が影響を受ける。１６×１６フィルム・グレイン・ブロックの場合、サンプルの４番目及び８番目それぞれが影響を受ける。一般に、ブロックが大きいほど、スケーリングされたフィルム・グレイン・サンプルの割合が小さくなる。しかし、１６×１６を超えるブロック・サイズは、消費者向製品において使用することができるには大きすぎることが明らかになっている。

改良されたダウンスケーリング手法
本願の原理によれば、アーチファクト削減の向上は、ブロック内のフィルム・グレインの少なくとも１つの特性によって各フィルム・グレイン・ブロックのエッジに施されるダウンスケーリング・ファクタの強度を変えることによってもたらすことが可能である。図２は、前述のフィルム・グレイン・ブロック・エッジのダウンスケーリングを達成するための工程をフローチャート形式で示す。図２に示す実施例では、ブロック内のフィルム・グレインのサイズは、エッジのスケーリングの強度を制御するパラメータとしての役目を担う。特に、エッジのスケーリングの強度は、ブロック内のグレインのサイズに比例して変わることになる。フィルム・グレイン・ブロックの１つ又は複数の他の特性が、フィルム・グレイン・サイズに加えて、又はフィルム・グレイン・サイズの代わりにエッジ・スケーリングの強度に影響を及ぼす役目を担い得る。

図２の方法は、開始工程（工程１００）の実行によって始まる。開始工程では、システム初期化が行われるが、そうした初期化は必ずしも全ての場合に行われなくてもよい。工程１００に続いて、エッジ・スケーリングを制御するフィルム・グレイン・ブロックの少なくとも１つの特性の獲得を起動させる工程１０２が行われる。前述の通り、図示した例では、フィルム・グレイン・サイズは、エッジ・スケーリングを制御する特性としての役目を担う。通常、フィルム・グレイン・サイズは、エッジ・スケーリングを制御するうえで好適な特性としての役目を担う。フィルム・グレイン・ブロックをモザイクにしてシームレスな画像を作成することによって生じるブロック歪みは、より小さいグレイン・サイズの場合、より目に見えなくなる。より少ない形状がエッジによって影響を受けるからである。通常、フィルム・グレイン・サイズは、両方のシミュレーション、並びに以下に説明するようなブロック歪み削減を行う受信器１１によって受信されるＳＥＩメッセージ内に収容されるフィルム・グレインに関するパラメータのうちの１つを構成する。

工程１０２に続き、工程１０４（エッジをダウンスケーリングするためのスケーリング・ファクタの選択を起動させる）が行われる。スケーリング・ファクタ選択処理を最もよく理解するために、ｓ_ｈ（ｍ）が、ブロックｍのグレインの水平方向のサイズを表すパラメータを構成し、ｓ_ｖ（ｍ）が、ブロックｍのグレインの垂直方向のサイズを表すパラメータを構成するものとする。その場合、水平方向の（上及び下の）エッジのスケーリングは、
ｉ＝０，…，Ｎ−１の場合、
ｂｌｏｃｋ_ｍ［ｉ］［０］^＊＝ｓｃａｌｅ＿ｆａｃｔｏｒ_ｖ［ｓ_ｖ（ｍ）］
ｂｌｏｃｋ_ｍ［ｉ］［Ｎ−１］^＊＝ｓｃａｌｅ＿ｆａｃｔｏｒ_ｖ［ｓ_ｖ（ｍ）］
であるという式で表すことが可能である。ここで、ｓｃａｌｅ＿ｆａｃｔｏｒ_ｖ［ｓ］は、フィルム・グレイン・シミュレーション処理によって許容される垂直方向のフィルム・グレイン・サイズ毎のスケーリング・ファクタを供給するルックアップ・テーブル（ＬＵＴ）（図示せず）からのものである。同様に、垂直方向の（左及び右の）エッジのスケーリングは、
ｊ＝０，…，Ｎ−１の場合、
ｂｌｏｃｋ_ｍ［０］［ｊ］^＊＝ｓｃａｌｅ＿ｆａｃｔｏｒ_ｈ［ｓ_ｈ（ｍ）］
ｂｌｏｃｋ_ｍ［Ｎ−１］［ｊ］^＊＝ｓｃａｌｅ＿ｆａｃｔｏｒ_ｈ［ｓ_ｈ（ｍ）］
であるという式で表すことが可能である。ここで、ｓｃａｌｅ＿ｆａｃｔｏｒ_ｈ［ｓ］は、水平方向のフィルム・グレイン・サイズ毎のスケーリング・ファクタを供給するルックアップ・テーブル（ＬＵＴ）からのものである。

整数算術演算を用いて全ての演算を行うために、スケーリング・ファクタは、
ｓｃａｌｅ＿ｆａｃｔｏｒ_ｈ［ｓ］［０］＝ｉｎｔｅｎｓｉｔｙ［ｓ］
ｓｃａｌｅ＿ｆａｃｔｏｒ_ｈ［ｓ］［１］＝ｌｏｇ２＿ｉｎｔｅｎｓｉｔｙ＿ｏｆｆｓｅｔ［ｓ］
として規定することが可能である。その場合、フィルム・グレインのｂｌｏｃｋ_ｍからの特定のサンプルは、
ｂｌｏｃｋ_ｍ［ｘ］［ｙ］＝
（ｂｌｏｃｋ_ｍ［ｉ］［０］^＊ｓｃａｌｅ＿ｆａｃｔｏｒ_ｖ［ｓ_ｖ（ｍ）］［０］＋（１＜＜（ｓｃａｌｅ＿ｆａｃｔｏｒ_ｖ［ｓ_ｖ（ｍ）］［１］−１）））＞＞ｓｃａｌｅ＿ｆａｃｔｏｒ_ｖ［ｓ_ｖ（ｍ）］［１］
の式を用いてスケーリングされ得る。

スケール・ファクタを少なくとも１つのフィルム・グレイン特性の関数とすることによって、視覚品質の点で性能の向上が達成される。図示した実施例では、スケール・ファクタは、グレイン強度の関数として表すことが可能である。別の実施例では、スケール・ファクタは、
ｓｃａｌｅ＿ｆａｃｔｏｒ［ｓ］＝０．５＋ｓ^＊０．５／ｎ_ｓ
であるという関係によって数学的に表すように、より小さなサイズからより大きなサイズに直線的に続いて、フィルム・グレイン・サイズに直接比例し得る。
ここで、ｓは［０，ｎ_ｓ］の範囲内であり、ｎ_ｓは最大フィルム・グレインである。

前述の方法の考えられる拡張の１つは、現行のフィルム・グレイン・ブロックの特性に応じて別々の行又は列に別々のスケーリング・ファクタを用いることを必要とする。考えられる別の拡張は、現行ブロック及び隣接ブロック（スケーリングされるエッジにわたる）のフィルム・グレイン特性を考慮に入れて、スケーリング・ファクタ、及びスケーリングされる行又は列の数を判定することを必要とする。隣接ブロックからのフィルム・グレイン特性を考慮に入れても、現行ブロックのフィルム・グレイン・サンプルのみがスケーリングされる。これは、非常に低い計算コストを維持することを手助けする。

実際に、図１のフィルム・グレイン・シミュレータ２０は、図２の工程１００乃至１０８を実行する。前述の通り、フィルム・グレイン・シミュレータ２０は通常、方法を行うことができるプログラムされたプロセッサ、プログラム可能なゲート・アレイ、専用ロジック回路又は何れかの組み合わせの形をとる。

図３Ａ及び図３Ｂは、本願の原理の手法による、ブロックの左エッジのダウンスケーリングの前後の例示的な８×８画素のフィルム・グレイン・ブロックを表す。図３Ａのフィルム・グレイン・ブロックでは、その左上の頂点（０，２）及び右上の頂点（４，２）において、かつ、その左下の頂点（０，４）及び右下の頂点（４，４）において境界がつけられた領域内のグレインのサイズが、ブロック内の他の場所のグレインのサイズよりも大きく、原点（０，０）は、ブロックの左上のコーナーにある。本願の原理の方法によってブロックの左側エッジをダウンスケーリングする場合、座標（０，２）と座標（０，４）との間の左側エッジに沿って配置される画素は、そのエッジに沿った他の場所よりも大きな強度でスケーリングされる。前述のより大きな強度のスケーリングが行われるのは、前述の画素が、ブロック内の領域におけるより大きなサイズ・グレインにあるからである。

ブロック・エッジにわたる非ブロック化
前述の通り、ブロック歪みを削減する別の従来技術の手法には、フィルム・グレイン・ブロックのエッジにわたってデブロッキング・フィルタを施すことが関係する。前述の手法によって、より大きな計算量が生じる。先行して計算されたフィルム・グレイン・ブロックそれぞれにおける行毎に少なくとも１つの画素をアクセスする必要があるからである。従来のデブロッキング・フィルタは、Ｎタップ・フィルタを利用して隣接ブロック間の垂直方向のエッジを非ブロック化し、水平方向の遷移はダウンスケーリングによって減衰する。８ｘ８のｂｌｏｃｋ_ｍの左エッジが８ｘ８のｂｌｏｃｋ_ｎの右エッジに隣接しているものとすれば、係数（Ｃ_{−（Ｎ−１）／２}，…，Ｃ_０，…，Ｃ_{（Ｎ−１）／２}）を備えるＮタップのフィルタによる非ブロック化が、

（ｊ＝０，…，７の場合）によって行われる。フィルタ係数Ｃ_ｉは、Ｎタップのフィルタの選択によって定められる定数値を構成する。特に、従来技術は、上記式が、
ｊ＝０，…，７の場合、
ｂｌｏｃｋ_ｍ［０］［ｊ］＝（ｂｌｏｃｋ_ｎ［７］［ｊ］＋２・ｂｌｏｃｋ_ｍ［０］［ｊ］＋ｂｌｏｃｋ_ｍ［１］［ｊ］／（１＋２＋１）であり、
ｂｌｏｃｋ_ｎ［７］［ｊ］＝（ｂｌｏｃｋ_ｎ［６］［ｊ］＋２・ｂｌｏｃｋ_ｎ［７］［ｊ］＋ｂｌｏｃｋ_ｍ［０］［ｊ］／（１＋２＋１）
であるという結果をもたらす係数（１，２，１）を備える３タップのフィルタを利用している。

本願の原理による適応的デブロッキング・フィルタリング
従来のデブロッキング・フィルタは、ブロック内のフィルム・グレイン・パターンとは無関係に、等しい強度でブロック遷移全てを平滑化している。このことによって、性能が制限される。大きなパターンよりも少ない視覚ブロッキング・アーチファクトを小さなパターンがもたらすことを実験結果が明らかにしたからである。

本願の原理の非ブロック化手法は、ダウンスケーリングについて前述したやり方と同様にフィルム・グレインの特性によってデブロッキング・フィルタの強度を変えることによってこの欠点を解決する。図４は、本願の原理を図示した実施例による、適応的デブロッキング・フィルタリングを達成する方法の工程をフローチャート形式で示す。図４の方法は、工程２００の実行によって始まる。工程２００では、初期化が行われるが、初期化は必ずしも行わなくてよい。その後、現行のフィルムのｂｌｏｃｋ_ｍの少なくとも１つの特性の獲得及び直前のフィルム・グレインのｂｌｏｃｋ_ｎの同じ特性の獲得それぞれを起動させるために工程２０２及び工程２０４が行われる。図４のフローチャートは、工程２０２及び工程２０４が同時に行われているものとして表しているが、前述の工程は連続して行うことが可能である。

工程２０６が、工程２０２及び工程２０４に続く。工程２０６では、フィルタ・タイプの選択が行われる。図示した実施例では、選択されたフィルタは、垂直方向のエッジの非ブロック化のための３タップのフィルタを備える。前述のフィルタは、

（ｊ＝０，…，７の場合）の関係による式で表すことが可能である。
ここで、係数Ｃ_−１、Ｃ_０及びＣ_１の値は、パラメータｓ_ｍｎによって表す、前述の値を両方のブロック内のフィルム・グレインのサイズに適合させたルックアップ・テーブル（ＬＵＴ）（図示せず）によって得られる。

図示した実施例では、エッジの両側におけるフィルム・グレイン・パターン間のサイズにおける差が大きいほど、フィルタが強いという前提が存在している。水平方向のエッジの非ブロック化の場合に上記式を拡張させることは簡単である。

実際に、図１のフィルム・グレイン・シミュレータ２０は、図２の工程２００乃至２１２を実行する。前述の通り、フィルム・グレイン・シミュレータ２０は通常、方法を行うことができるプログラムされたプロセッサ、プログラム可能なゲート・アレイ、専用ロジック回路又は何れかの組み合わせの形をとる。

図５Ａ及び図５Ｂは、本願の原理の手法による、適応的デブロッキング・フィルタリングの前後の例示的な８×８の隣接画素フィルム・グレイン・ブロック対を表す。ｂｌｏｃｋ_ｎ（図５Ａ及び図５Ｂの最も左にあるブロック）では、その左上の頂点（４，３）及び右上の頂点（７，３）において、かつ、その左下の頂点（４，７）及び右下の頂点（７，７）においてグレイン・ブロックと境界がつけられた領域のグレイン・サイズが、ブロック内の他の場所よりも小さく、原点（０，０）は、ブロックの左側の上のコーナーにある。Ｂｌｏｃｋ_ｍ（図５Ａ及び図５Ｂの最も右にあるブロック）は、その左上の頂点（０，２）及び右上の頂点（４，２）において、かつ、その左下の頂点（０，４）及び右下の頂点（４，４）において境界がつけられた領域におけるグレイン・サイズは、ブロック内の他の場所よりも大きい。

図５Ｂにおいて分かるように、本願の原理の手法による適応的デブロッキングに従えば、ｂｌｏｃｋ_ｎ及びｂｌｏｃｋ_ｍそれぞれの左エッジ及び右エッジに沿った画素の一部は、異なる強度を有する。特に、ｂｌｏｃｋ_ｎの右側エッジに沿った（７，２）にある画素及びｂｌｏｃｋ_ｍの左側エッジに沿った（０，２）にある画素はそれぞれ、対応するブロックの同じエッジにおける上下にある他の画素よりも大きな強度を有する。より大きな強度は、ｂｌｏｃｋ_ｍ内の大きなグレインの領域に前述の画素が隣接していることから生じる。同様に、ｂｌｏｃｋ_ｎの右側エッジにある画素（５，７）、（６，７）及び（７，７）、並びにｂｌｏｃｋ_ｍの左側エッジにある画素（０，５）、（０，６）及び（０，７）は全て、適応的デブロッキング・フィルタリングに続いて、より小さな強度を有する。適応的デブロッキング・フィルタリングに続く前述の画素の強度の削減は、ｂｌｏｃｋ_ｎにおけるより小さなグレイン・サイズ領域と前述の画素が隣接していることから生じる。

本願の原理の適応的デブロッキング手法は、フィルタリングの強度がフィルタ式中の１つ又は複数のパラメータによって変わってくる何れかの他のタイプのデブロッキング・フィルタを容易に利用することが可能である。フィルタ強度を変えることから生じる計算量の増加は少ない状態に留まる。ＬＵＴを用いて適合を行うことが可能であるからである。ＬＵＴを用いれば、余分な算出に対する必要性がなくなる。

より大きな計算量を許容することが可能なアプリケーションの場合、本願の原理の方法は、グレイン・サイズ以外の、又はグレイン・サイズに加えた、ブロック内のフィルム・グレインの特性によってフィルタ強度を変えることが可能である。例えば、図２及び図４に関して説明した適応的ダウンスケーリング手法及び適応的デブロッキング・フィルタリング手法それぞれは、フィルム・グレイン・サイズに加えて、又はフィルム・グレイ・サイズの代わりにフィルム・グレインの強度及び／又はテクスチャを利用することが可能である。一般に、フィルタ・タイプ及びフィルタ強度はともに、フィルム・グレイン特性によって変わってくることがあり得る。更なるメモリに対する必要性に加えて、より大きな計算量が、計算量のより大きなフィルタに関連した演算の数における増加から生じる。

最も計算量が多く、最も性能が良いアプリケーションの場合、本願の原理によるデブロッキング・フィルタは、フィルム・グレインの特性、及びグレインを受ける画像の特性を考慮に入れることが可能である。図示した実施例では、非ブロック化強度は、画像の輝度に比例して変わる。フィルム・グレイン（、及び、よって、フィルム・グレイン・ブロック間の遷移）は、画像のより明るい領域においてより高い可視性でみえるからである。図示した別の実施例では、非ブロック化強度は、テクスチャが細かいほど、非ブロック化が弱くなるように画像テクスチャの特性に比例して変わり得る。

図２に関して説明した適応的ダウンスケーリング手法と比較すれば、図４の適応的デブロッキング・フィルタリング手法は、より好適な性能をもたらす。デブロッキング・フィルタリングは、ブロック・エッジの両側における画素値及びフィルム・グレイン特性を考慮に入れて減衰を行うからである。図３Ｂ及び図５Ｂは、２つの手法間の性能における差を示す。スケーリング（図３Ｂ）から生じるｂｌｏｃｋ_ｍの最も左の列上の結果を非ブロック化（図５Ｂ）から生じるｂｌｏｃｋ_ｍの最も左の列上の結果と比較することによって、大きなグレインの領域に隣接している画素は、隣接ｂｌｏｃｋ_ｎの影響によるダウンスケーリングと比較して、非ブロック化後種々の値を呈する。

以上、シミュレートされたフィルム・グレイン内のブロック歪みを削減する手法を説明した。

本願の原理の手法を実施するのに有用な、フィルム・グレイン処理連鎖における送信器及び受信器の組み合わせの略構成図である。 本願の原理の第１の例証的な実施例による、ブロック・エッジのダウンスケーリングによってフィルム・グレインのブロック歪みを削減する方法をフローチャート形式で示す図である。 図２の方法による、ブロック・エッジのダウンスケーリング前のフィルム・グレイン・ブロックを示す図である。 図２の方法による、ブロック・エッジのダウンスケーリング後のフィルム・グレイン・ブロックを示す図である。 本願の原理の第２の例証的な実施例による、適応的非ブロック化によってフィルム・グレインのブロック歪みを削減する方法をフローチャート形式で示す図である。 図４の方法による、デブロッキング・フィルタリング前の隣接フィルム・グレイン・ブロック対を示す図である。 図４の方法による、デブロッキング・フィルタリング後の隣接フィルム・グレイン・ブロック対を示す図である。

Claims (22)

1. 少なくとも１つのフィルム・グレイン・ブロックのブロック歪みを削減する方法であって、
   前記ブロック内のフィルム・グレインの特性に少なくとも部分的に関連した少なくとも１つのパラメータを設定する工程と、
   特定のブロックに付加されたフィルム・グレインの特性に関連した少なくとも１つのパラメータによって、フィルム・グレイン・ブロックのエッジに施されるデブロッキング・フィルタの強度を変えて、フィルム・グレインのブロック歪みを削減する工程とを備える方法。
2. 請求項１記載の方法であって、前記フィルム・グレインのブロック歪みを削減する工程は、少なくとも１つのエッジに沿って前記フィルム・グレイン・ブロックをダウンスケーリングする工程を更に備える方法。
3. 請求項２記載の方法であって、エッジ全てに沿って前記フィルム・グレイン・ブロックをダウンスケーリングする工程を更に備える方法。
4. 請求項１記載の方法であって、前記フィルム・グレインのブロック歪みを削減する工程は、少なくとも１つのエッジにわたって前記フィルム・グレイン・ブロックをデブロッキング・フィルタリングする工程を更に備える方法。
5. 請求項４記載の方法であって、前記フィルム・グレインのブロック歪みを削減する工程は、エッジ全てにわたって前記フィルム・グレイン・ブロックをデブロッキング・フィルタリングする工程を更に備える方法。
6. 請求項１記載の方法であって、前記少なくとも１つのパラメータを設定する工程は、フィルム・グレイン・サイズを設定する工程を更に備える方法。
7. 請求項１記載の方法であって、前記少なくとも１つのパラメータを設定する工程は、フィルム・グレイン強度を設定する工程を更に備える方法。
8. 請求項１記載の方法であって、前記少なくとも１つのパラメータを設定する工程は、フィルム・グレイン・テクスチャを設定する工程を更に備える方法。
9. 請求項１記載の方法であって、前記少なくとも１つのパラメータを設定する工程は、フィルム・グレイン・サイズ、フィルム・グレイン強度及びフィルム・グレイン・テクスチャのうちの少なくとも１つを設定し、少なくとも１つの画像特性を設定する工程を更に備える方法。
10. 請求項１記載の方法であって、前記ブロック内の別々の行において違ったふうに前記フィルム・グレインのブロック歪みを削減する工程を更に備える方法。
11. 請求項１記載の方法であって、前記ブロック内の別々の列において違ったふうに前記フィルム・グレインのブロック歪みを削減する工程を更に備える方法。
12. 請求項１記載の方法であって、隣接ブロックの少なくとも１つの特性に少なくとも部分的に従って前記フィルム・グレインのブロック歪みを削減する工程を更に備える方法。
13. 請求項１記載の方法であって、前記グレインを受ける画像の少なくとも１つの特性に少なくとも部分的に従って前記フィルム・グレインのブロック歪みを削減する工程を更に備える方法。
14. 少なくとも１つのフィルム・グレイン・ブロックのブロック歪みを削減する装置であって、
    前記ブロック内のフィルム・グレインの特性に関連した少なくとも１つのパラメータを設定する手段と、
    特定のブロックに付加されたフィルム・グレインの特性に関連した少なくとも１つのパラメータによって、フィルム・グレイン・ブロックのエッジに施されるデブロッキング・フィルタの強度を変えて、フィルム・グレインの歪みを削減する手段と
    を備える装置。
15. 請求項１４記載の装置であって、前記フィルム・グレインのブロック歪みを削減する手段は、少なくとも１つのエッジに沿って前記フィルム・グレイン・ブロックをダウンスケーリングする手段を更に備える装置。
16. 請求項１５記載の装置であって、前記フィルム・グレイン・ブロックをダウンスケーリングする手段が、ブロック・エッジ全てに沿ってダウンスケーリングする装置。
17. 請求項１４記載の装置であって、前記フィルム・グレインのブロック歪みを削減する手段は、少なくとも１つのエッジに沿って前記フィルム・グレイン・ブロックをデブロッキング・フィルタリングする手段を更に備える装置。
18. 請求項１７記載の装置であって、デブロッキング・フィルタリング手段が、エッジ全てにわたって前記フィルム・グレイン・ブロックをデブロッキング・フィルタリングする装置。
19. 請求項１４記載の装置であって、前記少なくとも１つのパラメータを設定する手段は、フィルム・グレイン・サイズを設定する手段を更に備える装置。
20. 請求項１４記載の装置であって、前記少なくとも１つのパラメータを設定する手段は、フィルム・グレイン強度を設定する手段を更に備える装置。
21. 請求項１４記載の装置であって、前記少なくとも１つのパラメータを設定する手段は、フィルム・グレイン・テクスチャを設定する手段を更に備える装置。
22. 請求項１４記載の装置であって、前記少なくとも１つのパラメータを設定する手段は、フィルム・グレイン・サイズ、フィルム・グレイン強度及びフィルム・グレイン・テクスチャのうちの少なくとも１つを設定し、少なくとも１つの画像特性を設定する手段を更に備える装置。

Images