JP5815003B2

JP5815003B2 - 画像中のアーチファクトを軽減するシステムおよび方法

Info

Publication number: JP5815003B2
Application number: JP2013221035A
Authority: JP
Inventors: グ，シュエミン，ヘンリ; グオ，ジュ
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2007-01-16
Filing date: 2013-10-24
Publication date: 2015-11-17
Anticipated expiration: 2027-06-19
Also published as: US20100119173A1; JP2014017882A; CA2674310C; KR20090110307A; EP2104918B1; WO2008088373A3; CA2674312C; CA2674310A1; US20100046804A1; WO2008088373A2; EP2104918A2; JP5818404B2; US8600184B2; JP5490544B2; JP2010516174A; WO2008088370A2; KR101545359B1; CN101595734A; WO2008088370A3; KR101394766B1

Description

本願は、2007年1月16日に出願された仮出願60/880650の米国特許法第１１９条に基づく利益を主張する。

本開示は、概括的にはデジタル画像処理および表示システムに関し、より詳細には、画像中のアーチファクトを軽減するシステムおよび方法に関する。

画像アーチファクトはデジタル画像または映画における画像シーケンスのような諸画像の処理の間に留意される。一般的なアーチファクト現象は、当該画像のもとのなめらかな線形遷移領域上に、変化する強度および色レベルのバンドが表示されるバンド発生（banding）である。色補正、スケーリング、色空間変換および圧縮のような処理は、バンド発生効果を導入しうる。バンド発生は、画像が高周波数成分および最小限のノイズをもつ人工物であるアニメーション素材において最も一般的である。限られた帯域幅をもついかなる処理も、不可避的にエイリアス、「リンギング」またはバンド発生を引き起こすことになる。

現在の最新技術は、画像中のアーチファクトを軽減するために、ディザリングまたは誤差拡散のようにノイズを加えるものである。ノイズは上記の現象をある程度隠蔽するが、画像の他の部分に望まれないノイズを導入し、圧縮のような他の処理に追加的な負担を導入する。

関係する分野では、デジタル的にサンプリングされた画像の高品質表現を生じるために要求されるデータ・ファイルの大きなサイズのため、知覚される画質に悪影響を与えることなくデータ・ファイルのサイズを縮小する試みにおいて、データ・ファイルに対するさまざまな形の圧縮を適用するのが一般的な慣行である。この必要性に対処するためにさまざまなよく知られた技法および規格が発展してきた。そうした技術の代表的なものは、画像エンコードのための合同写真専門家グループ（JPEG: Joint Photographic Experts Group）規格がある。JPEGと同様だが動画シーケンスにおける相続くフレームの類似性を利用するためにフレーム間エンコードを追加したものが動画像専門家グループ（MPEG: Motion Pictures Expert Group）規格である。ウェーブレット変換に基づく他の規格および独自システムが開発されている。

商業的な映画DVD/HD-DVDリリースの過程において、従来式のフィルムからスキャンされた、あるいはコンピュータ・アニメーション映画に由来するデジタル画像は典型的には10ビット・データ、ある種のアプリケーションでは最大16ビット・データを有する。データは、圧縮のために8ビットのYUVフォーマットに変換されることが要求される。ビット深さ精度の低下のため、なめらかな色変化をもつ画像または諸画像の諸領域にバンド発生アーチファクトがしばしば現れる。上記したように、バンド発生アーチファクトを軽減するためにはディザリングおよび誤差拡散アルゴリズムが一般的に使われている。たいていのディザリング・アルゴリズムでは、バンド発生効果を隠蔽するために、高い空間周波数をもつデジタル信号が画像に加えられる。しかしながら、DVD/HD-DVD内での圧縮は高空間周波数をもつ信号を除去する不可逆的圧縮である。したがって、たとえ圧縮前にディザリング・プロセスによってバンド発生を隠蔽したとしても、しばしば圧縮後にバンド発生アーチファクトが現れる。

ディザリングまたは色深さ削減のための伝統的なアプローチは、表示アプリケーションおよび印刷サービスのためである。ディザリングは処理チェーンの最後の段階なので、加えられる高空間周波数はよく保存され、色深さが削減されるときのバンド発生効果を隠蔽するという目的を果たす。誤差拡散はもう一つの一般的なアプローチである。誤差拡散では、隠蔽効果を生じ、全体的な画像強度を保存するために、量子化誤差が近隣ピクセルに分配される。しかしながら、これらのアプローチは、高周波数信号を削減または打ち切る傾向のあるMPEG1,2,4またはH.264のような不可逆的圧縮の効果を考慮していない。したがって、ディザリングおよび誤差拡散アプローチの大半は、圧縮プロセスにおけるビットレート効率を低下させる。圧縮エンコーダが追加されたディザリング・ノイズまたは量子化誤差を表すためにいくつかのビットを使い、画像を表現するためのビットがより少なくなるからである。その一方で、隠蔽用信号は削減されたり打ち切られたりしないので、圧縮後にバンド発生アーチファクトが現れやすい。

したがって、画像処理、たとえば不可逆的圧縮プロセスの後でもアーチファクトが低減または抑制されたままとなる、画像中のアーチファクトを軽減する技術に対する必要性がある。

本開示のシステムおよび方法は、画像中のアーチファクトを軽減するための領域ベースの誤差拡散プロセスを提供する。システムおよび方法は、画像の関心領域（ROI: Region of Interest）の知識を使って、アーチファクト、たとえばバンド発生現象を示す領域にディザリングまたは誤差拡散のような効果を適用する。本開示のシステムおよび方法は、前記現象を示すシーンの最初のフレームに対してROIを定義することを提供し、同様の特性をもついくつかのフレームについて前記ROIを自動的に追跡する。本システムおよび方法は、ROIと画像の残りの部分との間のなめらかな遷移を提供する。さらに、本開示はROIに関する情報、たとえばメタデータを取得から処理へ、分配へと伝える機構を提供する。

本開示のある側面によれば、少なくとも一つの画像におけるアーチファクトを軽減する方法が提供される。本方法は、少なくとも一つの第一の画像において、少なくとも一つのアーチファクトをもつある領域を定義し、定義された領域を少なくとも一つの第二の画像まで追跡し、前記少なくとも一つの第一および第二の画像において前記少なくとも一つのアーチファクトを隠蔽するために前記定義された領域に誤差拡散関数を適用することを含む。

記載されるさまざまな実施形態において、領域を定義する前記段階は、前記領域の輪郭を描くことによって手動で、あるいは検出関数によって自動的に、実行される。

もう一つの側面では、前記適用する段階はさらに、前記少なくとも一つの画像のピクセルのブロック・サイズを選択し、少なくとも一つのブロックが前記定義された領域内であるかどうかを判定し、前記少なくとも一つのブロックに隠蔽信号〔マスキング信号（masking signal）〕を加え、前記少なくとも一つの画像における前記少なくとも一つのブロックについて量子化誤差を決定し、前記量子化誤差を近隣ブロック（neighboring blocks）に分配することを含む。

さらなる側面では、隠蔽信号を加える前記段階は、前記少なくとも一つのブロック内の少なくとも一つのピクセルの、前記定義された領域の境界までの距離を決定し、決定された距離に基づいて前記少なくとも一つのピクセルに関連付けられた隠蔽信号に値を割り当てることを含む。

もう一つの側面では、前記追跡する段階はさらに、前記少なくとも一つの第一の画像の前記定義された領域についての二値マスクを生成し、前記定義された領域を追跡するために前記二値マスクを前記少なくとも一つの第二の画像に投影することを含む。あるさらなる側面では、前記投影する段階はさらに、前記少なくとも一つの第一の画像から前記少なくとも一つの第二の画像までの、前記定義された領域の動きを推定することを含む。さらなる側面では、前記生成する段階はさらに、追跡されるべき前記少なくとも一つの第一の画像の特徴を取り込むために、前記定義された領域をより大きな領域に変換することを含む。

本開示のもう一つの側面によれば、少なくとも一つの画像においてアーチファクトを軽減するシステムは、少なくとも一つの第一の画像における、少なくとも一つのアーチファクトをもつある定義された領域を少なくとも一つの第二の画像まで追跡するよう構成された追跡モジュールと、前記定義された領域に誤差拡散関数を適用して、前記少なくとも一つの第一および第二の画像における前記少なくとも一つのアーチファクトを隠蔽する誤差拡散モジュールとを含む。ある実施形態では、前記システムはさらに、前記少なくとも一つの第一の画像において前記領域を定義するために構成されているユーザー・インターフェースを含む。

本開示のあるさらなる側面によれば、画像中のアーチファクトを軽減するための方法段階を実行するために機械によって実行可能な命令のプログラムを具体的に実現する、機械によって読み取り可能なプログラム記憶デバイスが提供される。前記方法は、少なくとも一つの第一の画像において、少なくとも一つのアーチファクトをもつある領域を定義し、定義された領域を少なくとも一つの第二の画像まで追跡し、前記少なくとも一つの第一および第二の画像において前記少なくとも一つのアーチファクトを隠蔽するために前記定義された領域に誤差拡散関数を適用することを含む。

本開示のこれらおよびその他の側面、特徴および利点は、好ましい実施形態の以下の詳細な説明において記載され、これから明白となるであろう。以下の詳細な説明は付属の図面との関連で読まれるべきものである。

図面では、同じような参照符号は諸図面を通じて同様の要素を表す。

本開示のある側面に基づく、画像中のアーチファクトを軽減するシステムの例示的な図である。本開示のある側面に基づく、画像中の領域ベースの追跡の例示的な方法の流れ図である。追跡されるべき定義された領域をもつ画像を示す図である。本開示に基づく追跡モデルを示す図である。本開示のある側面に基づく、画像中のアーチファクトを軽減する例示的な方法の流れ図である。

図面は本開示の概念を例解する目的のためであって、必ずしも本開示を例解する唯一の可能な構成ではないことは理解しておくべきである。

図面に示された要素がハードウェア、ソフトウェアまたは両者の組み合わせのさまざまな形で実装されうることを理解しておくべきである。好ましくは、これらの要素は、プロセッサ、メモリおよび入出力インターフェースを含みうる一つまたは複数の適切にプログラムされた汎用デバイス上でのハードウェアおよびソフトウェアの組み合わせにおいて実装される。

本記載は、本開示の原理を例解する。よって、当業者には、本稿に明示的に記載や図示はされていないものの、本開示の原理を具現し、その精神および範囲内に含まれるさまざまな構成を考案できるであろうことは理解されるであろう。

本稿に記載されるあらゆる例および条件付きの言辞は、本開示の原理および発明者によって当該技術を進歩させるために寄与される概念の理解において読者を助ける教育的な目的のために意図されたものであり、そのような個別的に記載される例および条件に限定することなく解釈されるものとする。

さらに、本開示の原理、側面および実施形態ならびにその個別的な例を記載する本稿におけるあらゆる陳述は、その構造的および機能的な等価物の両方を包含することが意図されている。さらに、そのような等価物は現在知られている等価物および将来開発される等価物、すなわち構造にかかわりなく同じ機能を実行する任意の開発された要素の両方を含むことが意図されている。

よって、たとえば、当業者は、本稿に呈示されるブロック図が本開示の原理を具現する例示的な回路の概念図を表すものであることを理解するであろう。同様に、フローチャート、流れ図、状態遷移図、擬似コードなどはいずれも、コンピュータ可読媒体において実質的に表現され、コンピュータまたはプロセッサによって実行されうるさまざまなプロセスを表すことが理解されるであろう。これはそのようなコンピュータまたはプロセッサが明示的に示されているかどうかにはよらない。

図面に示されるさまざまな要素の機能は、専用ハードウェアの使用を通じて提供されても、適切なソフトウェアとの関連でソフトウェアを実行することのできるハードウェアの使用を通じて提供されてもよい。プロセッサによって提供されるとき、機能は単一の専用プロセッサによって、単一の共有されるプロセッサによって、あるいは一部が共有されていてもよい複数の個別プロセッサによって提供されうる。さらに、用語「プロセッサ」または「コントローラ」の明示的な使用は、ソフトウェアを実行することのできるハードウェアのみを指すものと解釈されるべきではなく、暗黙的に、限定なしに、デジタル信号プロセッサ（「DSP」）ハードウェア、ソフトウェアを記憶するための読み出し専用メモリ（「ROM」）、ランダム・アクセス・メモリ（「RAM」）および不揮発性記憶装置を含みうる。

通常のものおよび／またはカスタムのものを含め他のハードウェアも含まれてもよい。同様に、図面に示されるスイッチがあったとしても、それは単に概念的なものである。その機能はプログラム論理の動作を通じて、専用論理を通じて、プログラム制御と専用論理の相互作用を通じて、あるいはさらに手動で実行されてもよい。特定の技法は、コンテキストからより個別に理解されるように実装者によって選択可能である。

本願の請求項では、特定の機能を実行する手段として表現されたいかなる要素も、その機能を実行するいかなる仕方をも、たとえばａ）その機能を実行する回路素子の組み合わせまたはｂ）任意の形の、したがってファームウェア、マイクロコードなどを含む、当該機能を実行するソフトウェアを実行するための適切な回路と組み合わされたソフトウェアを包含することが意図されている。そのような請求項によって定義される本開示は、前記さまざまな記載される手段によって提供される機能性が請求項が記載する仕方で組み合わされ、一緒にされるという事実にある。よって、これらの機能性を提供できる任意の手段が本稿で示されている手段と等価であると見なされる。

バンド発生現象は二つの範疇に分類できる。色ビット削減または色量子化のプロセスにおいては、低下した信号精度のためにバンド発生が現れうる。この型の誤差は、たいていの場合、誤差拡散アルゴリズムを使うことによって効果的に除去できる。しかしながら、色補正、スケーリングおよび色空間変換といった他のプロセスは、その限られた処理帯域幅のためにバンド発生アーチファクトに寄与する。この型のバンド発生は誤差拡散によっては効果的に対処できない。これらのバンド発生アーチファクトを隠蔽するためには隠蔽信号が要求される。加えられる隠蔽信号の量は、バンド発生アーチファクトの強度に直接関係する。バンド発生アーチファクトは、なめらかな線形遷移において最も現れやすいので、フレーム・ベースのアプローチは、バンド発生アーチファクトのない領域に無用の隠蔽信号を導入し、よって画質を低下させることになる。本開示のシステムおよび方法は、両方の範疇のバンド発生を効果的に除去するROIベースの（すなわち、関心領域に基づく）アプローチを提供する。このアプローチでは、加えられる隠蔽信号の量は、可能な最良の画質を達成するために人間の操作者によって調節されることができる。

本開示のシステムおよび方法は、画像中のアーチファクトを軽減するための領域ベースの誤差拡散アルゴリズムを提供する。本開示は、初期にたとえば人間の操作者によって、あるいは自動検出アルゴリズムもしくは機能によって定義される関心領域（ROI）に基づいて目障りなバンド発生現象を除去するための対話的システムを提供する。本開示はまた、追跡される領域におけるバンド発生を除去し、他の処理、例えば圧縮プロセスに対する副作用を最小限にするROIベースの誤差拡散およびバンド隠蔽方式をも提供する。本システムがフィルム／ビデオ処理における実際的な適用について効率的であるためには、ROIを複数の後続フレームまで追跡する領域ベースの追跡アルゴリズムが提供される。これにより人間の操作者の努力が軽減される。

ここで図面を参照すると、本開示のある実施形態に基づく例示的なシステム・コンポーネントが図１に示されている。フィルム・プリント１０４、たとえばカメラ由来のフィルム・ネガをスキャンしてデジタル・フォーマット、たとえばシネオン（Cineon）フォーマットまたはSMPTE DPXファイルにするスキャン装置１０３が設けられうる。スキャン装置１０３は、フィルムからビデオ出力を生成する、たとえばテレシネまたは任意の装置、たとえばビデオ出力をもつArri LocPro（商標）のような装置を含みうる。あるいはまた、ポストプロダクション工程またはデジタル映画１０６からのファイル（たとえばすでにコンピュータ可読形式のファイル）が直接使用されることもできる。コンピュータ可読ファイルのソースの可能性としては、AVID（商標）エディタ、DPXファイル、D5テープなどがある。

スキャンされたフィルム・プリントは、後処理装置１０２、たとえばコンピュータに入力される。コンピュータは、中央処理装置（CPU）、ランダム・アクセス・メモリ（RAM）および／または読み出し専用メモリ（ROM）といったメモリ１１０ならびにキーボード、カーソル制御装置（たとえばマウス、ジョイスティックなど）および表示装置といった入出力（I/O）ユーザー・インターフェース（単数または複数）１１２を有するさまざまな既知のコンピュータ・プラットフォームのいずれで実装されてもよい。コンピュータ・プラットフォームはまた、オペレーティング・システムおよびマイクロ命令コードをも含む。本稿に記載されるさまざまなプロセスおよび機能は、前記マイクロ命令コードの一部であっても、オペレーティング・システムを介して実行されるソフトウェア・アプリケーション・プログラムの一部であっても（あるいはそれらの組み合わせであっても）よい。さらに、さまざまな他の周辺装置が、パラレル・ポート、シリアル・ポートまたはユニバーサル・シリアル・バス（USB）といったさまざまなインターフェースおよびバス構造によって、コンピュータ・プラットフォームに接続されていてもよい。他の周辺装置は追加的な記憶装置１２４およびプリンタ１２８を含みうる。プリンタ１２８は、前記フィルムの修正版１２６、たとえば前記フィルムの立体映像版をプリントするために用いられてもよい。

あるいはまた、すでにコンピュータ可読形式にあるファイル／フィルム・プリント１０６（たとえば、外部ハード・ドライブ１２４などに記憶されていてもよいデジタル映画）がコンピュータ１０２に直接入力されてもよい。用語「フィルム（film）」は本稿ではフィルム・プリントまたはデジタル映画のいずれをも指しうることを注意しておく。

ソフトウェア・プログラムは、画像中のアーチファクトを軽減するための、メモリ１１０に記憶されている誤差拡散モジュール１１４を含む。誤差拡散モジュール１１４は、画像中のアーチファクトを隠蔽するための信号を生成するノイズまたは信号生成器１１６を含む。ノイズ信号は白色雑音、ガウス雑音、種々のカットオフ周波数フィルタで変調された白色雑音などでありうる。画像のブロックの量子化誤差を決定するために打ち切りモジュール１１８が設けられる。誤差拡散モジュール１１４はまた、近隣ブロックに量子化誤差を分配するよう構成された誤差分配モジュール１２０を含む。

シーンのいくつかのフレームを通じてROIを追跡するための追跡モジュール１３２も提供される。追跡モジュール１３２は、シーンの各画像または各フレームについての二値マスクを生成するためのマスク生成器１３４を含む。二値マスクは、たとえばROIのまわりに描かれたユーザー入力されたポリゴンによって、あるいは自動検出アルゴリズムもしくは機能によって画像中に定義されたROIから生成される。二値マスクは、1または0のピクセル値をもつ画像である。ROI内のすべてのピクセルは1の値をもち、他のピクセルは0の値をもつ。追跡モジュール１３２はさらに、ある画像から別の画像への、たとえばシーンのフレームからフレームへのROIの追跡情報を推定するための追跡モデル１３６を含む。

出力画像をMPEG1,2,4、h.264などといった任意の既知の圧縮規格にエンコードするためのエンコーダ１２２が設けられる。

図２は、本開示のある側面に基づく、画像中の関心領域（ROI）を追跡する例示的な方法の流れ図である。最初、後処理装置１０２はステップ２０２で少なくとも一つの二次元（2D）画像を取得する。後処理装置１０２は少なくとも一つの2D画像を、上記したようにコンピュータ可読フォーマットのデジタル・マスター・ビデオ・ファイルを得ることによって取得する。デジタル・ビデオ・ファイルは、デジタル・ビデオ・カメラを用いてビデオ画像の時間的シーケンスを取り込むことによって取得されてもよい。あるいはまた、ビデオ・シーケンスは通常のフィルム型カメラによって取り込まれてもよい。この筋書きでは、フィルムはスキャン装置１０３を介してスキャンされる。

フィルムがスキャンされるかすでにデジタル・フォーマットであるかによらず、フィルムのデジタル・ファイルはフレームの位置についての指示または情報、たとえばフレーム番号、フィルムの先頭からの時間などを含む。デジタル・ビデオ・ファイルの各フレームが一つの画像を含み、たとえばI₁,I₂,…I_nとなる。

ステップ２０４では、少なくとも一つの画像において関心領域Rが定義される。ある実施形態では、操作者が、ユーザー・インターフェース１１２のような対話的なユーザー・インターフェースを使ってバンド発生アーチファクトをもつ領域を定義する。図３を参照すると、前記領域は、画像上にポリゴン領域の輪郭を描くことによって定義される。別の実施形態では、領域は自動検出アルゴリズムまたは機能によって検出される。自動検出アルゴリズムは、人間の操作者によって指定された典型的なアーチファクトを含むであろう複数の処理済みフィルムから集積された知識データベースと対話する。

図２を参照すると、ROIのポリゴンから二値マスクが生成され、ROIを追跡するために本システムにおいて使用される。二値マスクは1または0のピクセル値をもつ画像である。ポリゴン内のすべてのピクセルは1の値をもち、他のピクセルは0の値をもつ。二値マスクは、ROIを表現するために使用できる。そうして表現されるROIは、ポリゴンで定義されたROIと等価である。次いで、ステップ２０６で、シーンの次のフレームが読み込まれる。

バンド発生アーチファクトは、なめらかなカラー階調領域に現れる。しかしながら、一般的な追跡アルゴリズムは、堅牢かつ正確な追跡のためには、前記領域に存在する何らかの明確な特徴を要求する。こうして、異なる追跡領域を使う追跡方式が提供される。ステップ２０８では、ROI Rは、追跡するための領域のより顕著な特徴を取り込むためにより大きな領域に成長または変換される。いくつかの顕著な特徴をもつ前記より大きな領域は、追跡領域（tracking region）Rtと呼ばれる。領域成長アルゴリズムは、ROIの境界ピクセルをシードとして使い、領域を成長させるために「分水界（watershed）」実装を使う。

追跡情報を推定するために、6パラメータ追跡モデル１３６（たとえばアフィン動きモデル）が領域を追跡するために使用される（ステップ２１０）。追跡領域はまず16×16ブロックに分割され、各ブロックについての動きベクトルが、ルミナンス強度を使って次のフレームにおいて最良のブロック・マッチを見出すことによって、得られる。図４に示されるように、すべてのブロックの動きベクトルが、追跡モデルにおける6つのパラメータを推定するために使われる。予測されるピクセルと実際のピクセルとの間の誤差を最小にする最良のパラメータを見出すために、線形回帰手順が使用される。ステップ２１２では、この6パラメータ追跡モデルを使って、ROIの二値マスクが次のフレームに投影される。ステップ２１４では、システムは、シーンの最後のフレームが処理されたかどうかを判定する。まだであれば、システムは、シーンのすべてのフレームが処理されるまで、ステップ２０６に戻る。ひとたびいくつかのフレームについてROIが利用可能になると、プロセスは自動的にシーンの残りの部分に容易に適用できる。

本システムは、追跡結果に対するリアルタイム・フィードバックを提供する。ステップ２１６において操作者が結果を評価することができ、結果が満足いくものでなければ、ステップ２１８においてROIを修正することができる。たとえば、操作者はユーザー・インターフェース１１２のディスプレイにおいてROIを見て、ROIが適正に追跡されたかどうかを判定することができる。操作者が満足しない場合、ROIは修正されることができ、追跡プロセスは反復されることになる。ステップ２２０では、各画像またはフレームについてのROIの二値マスクは二値ファイルに記憶され、ROIベースの誤差拡散およびバンド隠蔽のためのROIとして使用される。これについてはのちに述べる。さらに、ROIの二値マスクは二値ファイルに記憶され、次の段階に持ち越されることができる。たとえば、次の段階がMPEG4 AVCエンコードであれば、ROIの情報はエンコーダによって、ROIのための適正なビットを割り当てるために使用されることができる。このメタデータは、記憶装置１２４内に記憶され、他のプロセスにおいて利用されうるよう諸画像と関連付けられることができる。

ROIベースの誤差拡散およびバンド隠蔽方式のフローチャートが図５に示されている。上記したように、処理されるべき少なくとも一つの画像がステップ５０２で取得される。

ステップ５０４では、ブロック・サイズが選択される。画像は任意の数のブロックに分割されることができる。ブロックとは、長方形領域に含まれるいくつかのピクセル、たとえばB_m,nであり、ここで、m,nはブロック・インデックスを表す。ブロックのすべては、たとえば2×2、3×3などといった同じサイズをもつことができる。ブロック・サイズは、局所的な画像属性に依存して変化することもできる。ブロック・サイズは、ユーザー・インターフェース１１２を介して操作者によって選択されることができ、あるいは種々の画像サイズについて一定の比が保たれるよう画像サイズによって決定されることもできる。本開示の誤差拡散方法は、のちに述べるように、ブロック・レベルで機能する。ひとたびブロック・サイズが選択されたら、そのブロック・サイズは同じ画像については同じに保たれる。

ブロック・サイズは、単一ピクセルから2×2、2×3、4×4といった任意のサイズまで多様でありうることは理解しておくべきである。異なるブロック・サイズの使用は、隠蔽信号の空間周波数のシステム制御を与える。これは、後続のプロセスが、高い空間周波数を除去する傾向のある不可逆的圧縮である場合に重要である。よく制御された隠蔽信号を加えることは、圧縮アーチファクトを軽減し、バンド発生が不可逆的圧縮の後に再び現れることを回避する。

ひとたびブロック・サイズが選択されると、画像をなす全ブロックの処理が、ステップ５０６で第一のブロックから開始される。最初に、システムはステップ５０８で、そのブロックが定義された関心領域内であるかどうかを判定する。そのブロックがROI内でない場合には、ステップ５１６で単純な量子化方式が使用され、色ビット深さが削減される。たとえば、そのブロックの低位のビットが消去され、量子化誤差は補償されない。ステップ５１６のあと、システムは、ステップ５１８で、画像中の次のブロックに進む。

そのブロックがROI内にある場合、ステップ５１０で、ノイズ信号、たとえば隠蔽信号がノイズ生成器１１６を介して画像に加えられる。ピクセルに対して、該ピクセルの領域境界までの距離、たとえば近さに基づいて、0から255までのレベルが割り当てられる。ブロック中の少なくとも一つのピクセルの前記定義された領域の境界までの距離が決定され、決定された距離に基づいて、前記少なくとも一つのピクセルに関連付けられる隠蔽信号の値が割り当てられる。これらのレベルは隠蔽信号の強度をスケールダウンし、それにより領域境界エリアにおけるなめらかな遷移をなすために使用される。ROIにおけるピクセル色値の平均および分散が計算される。あるピクセルの平均からの色差が分散の３倍大きければ、そのことは、バンド発生アーチファクトでありそうもない著しい特徴があることを示す。この特徴を保存するため、レベル0がこのピクセルに割り当てられる。これは、このピクセルにはノイズが加えられないということを意味する。この一例は、図３に示されるような、星がある青い空の、バンド発生アーチファクトが空に現れているシーンである。操作者は、バンド除去処理のために青い空をROIとして選択できる。空のすべての星は、その色値がROI中のピクセルの平均値から有意に異なっているので、適正に保存される。

ステップ５１２では、そのブロックについて量子化誤差が決定される。最初に、打ち切り（truncation）モジュール１１８により、画像中の各ブロックに対して打ち切り関数が実行される。打ち切り関数は、ブロック中の各ピクセルについてのビット深さを、該ビット深さの値を2の冪乗である一定の量子化因子Qで割ることによって、削減するために用いられる。一般に、量子化因子Qは2^xに等しい。ここで、xは打ち切られるべきビット数である。たとえば、10ビット・データから8ビット・データへの打ち切りのためには、一定の量子化因子Qは4、すなわちQ＝2²となる。打ち切り関数は次式として定義される：

ここで、I_i,jはブロック内のピクセル値、N_i,jはノイズ生成器１１６によって打ち切りの前に加えられた信号、Qは量子化因子である。I′_i,jは打ち切られたピクセル値である。打ち切りプロセスにおいて、ピクセル値について配慮しなければならない丸めの問題がある。たとえば、I′_i,jが1.75、すなわち7（I′_i,j＋N_i,j）を4（Q）で割ったものに等しいとすると、I′_i,jは整数値によって表現される必要がある。I′_i,jは当技術分野において知られている異なる丸め方式により、2または1となることができる。

式(1)の中において、N_i,jはノイズ、たとえば白色雑音であり、構造アーチファクトを軽減する。一般に、N_i,jはランダムな信号分布をもつ。ユーザー・インターフェース１１２を介して、操作者は、N_i,jの値の範囲を手動で制御できる。デフォルトで、N_i,jの値の範囲は0からQ−1までである。画像の選択されたブロック内の各ピクセルについて同じノイズを使うことによって、ノイズ・パターンの空間周波数はブロック内で低くなり、これは画像全体におけるノイズの全体的な空間周波数を低下させる。ノイズの空間周波数が低下するので、ノイズ、すなわち隠蔽信号は圧縮プロセスを生き延び、圧縮解除の際にアーチファクトを抑制する。

次に、下記の式(2)

に示されるように、ブロック内の各ピクセルについて量子化誤差が決定され、すべての量子化誤差の総和がブロック量子化誤差E_m,nを生成する。このブロック量子化誤差が誤差拡散係数に基づいて近隣ブロックに分配される。

総ブロック量子化誤差E_m,nについて、該量子化誤差の一部eが、
e＝c(m,n)*E (3)
によって決定されるよう、近隣ブロックに分配される。ここで、c(m,n)は誤差拡散係数である。

ステップ５１４では、量子化誤差は、誤差分配モジュール１２０を介して近隣ブロックに分配される。各ブロック内での誤差分配機能は次のように定義される。

I_i,j＝I_i,j＋w_i,je I_i,j∈B_m,n (4)
w_i,j＝1/NM I_i,j∈B_m,n (5)
ここで、eはブロックB_m,nへの分配される総誤差、N、Mはブロックの寸法、w_i,jはブロックB_m,nについての重み付け係数である。ある実施形態では、重み付け係数を計算するために、式(5)に示されるような一様分配が使用される。w_i,jを計算するために、より複雑な関数が設計されることもできる。たとえば、w_i,jはI(i,j)に比例して設定されることができる。

ブロックB_m,nのサイズは、誤差拡散プロセスにおいて制御されることのできる空間周波数の量を決定するもので、アーチファクトを隠蔽する最良の効果を達成するよう選ばれる。しかしながら、大きなブロック・サイズは構造化されたアーチファクトを生成する傾向があり、これは誤差拡散プロセスにおいて望ましくはない。そのような構造化されたアーチファクトは、二つの異なるブロックにおける2つの隣り合うピクセルが異なる仕方で変換されるブロック境界アーチファクトを含む。式(1)におけるN_i,jは、ランダムなノイズを含めることによる潜在的な構造化されたアーチファクトを破壊するためにも使用される。2×2の例示的なブロック・サイズが、目に見えるブロック・アーチファクトなしで720×480ピクセル（たとえばDVD解像度）の画像を処理するのに十分であると見出された。結果的な目に見えるアーチファクトなしで他のブロック・サイズおよび画像サイズが用いられることもありうることは理解しておくべきである。

ステップ５１６において、あるいはステップ５１０ないし５１４によって量子化が実行されたのち、システムは、画像中のすべてのブロックが処理されるまで、ステップ５１８で、画像中の次のブロックに進む。画像が誤差分配関数によって修正されたのち、画像は後処理装置のメモリに、たとえば記憶装置１２４に保存されうる。ひとたび特定のフィルムの全画像が修正されたら、画像はエンコーダ１２２により、MPEG1,2,4、h.264などのような任意の通常の圧縮規格に従ってエンコードされうる。圧縮されたフィルム１３０は記憶装置、たとえば記憶装置１２４において記憶されてもよいし、あるいはリムーバブル記憶デバイス、たとえばDVDに転送されてもよい。

本開示の教示を組み込む実施形態について図示し、本稿で詳細に記載してきたが、当業者は、数多くの他の変形された、それでいてこれらの教示を組み込む実施形態を容易に考案できる。画像中のアーチファクトを軽減するシステムおよび方法についての好ましい諸実施形態（限定のためでなく例解のために意図されたものである）を記載してきたが、上記の教示に照らして当業者によって修正および変形がなしうることを注意しておく。したがって、開示される本開示の個別的な実施形態に、付属の請求項によって述べられる本開示の範囲および精神内である変更がなされてもよいことは理解されるものとする。

いくつかの付記を記載しておく。
〔付記１〕
少なくとも一つの画像におけるアーチファクトを軽減する方法であって：
少なくとも一つの第一の画像において、少なくとも一つのアーチファクトをもつある領域を定義する段階と；
定義された領域を少なくとも一つの第二の画像まで追跡する段階と；
前記少なくとも一つの第一の画像および前記少なくとも一つの第二の画像において前記少なくとも一つのアーチファクトを隠蔽するよう、前記定義された領域に誤差拡散関数を適用する段階とを有する、
方法。
〔付記２〕
前記適用する段階がさらに：
前記少なくとも一つの画像のピクセルのブロック・サイズを選択する段階と；
少なくとも一つのブロックが前記定義された領域内であるかどうかを判定する段階と；
前記少なくとも一つのブロックに隠蔽信号を加える段階と；
前記少なくとも一つの画像における前記少なくとも一つのブロックについて量子化誤差を決定する段階と；
前記量子化誤差を近隣ブロックに分配する段階とを有する、
付記１記載の方法。
〔付記３〕
前記分配する段階の後に、前記少なくとも一つの第一の画像および前記少なくとも一つの第二の画像を圧縮機能をもってエンコードする段階をさらに有する、付記２記載の方法。
〔付記４〕
前記圧縮機能が不可逆的圧縮機能である、付記３記載の方法。
〔付記５〕
隠蔽信号を加える前記段階が：
前記少なくとも一つのブロック内の少なくとも一つのピクセルの、前記定義された領域の境界までの距離を決定する段階と；
決定された距離に基づいて前記少なくとも一つのピクセルに関連付けられた隠蔽信号に値を割り当てる段階とを有する、
付記２記載の方法。
〔付記６〕
前記隠蔽信号がノイズ信号である、付記２記載の方法。
〔付記７〕
量子化誤差を決定する前記段階がさらに：
前記少なくとも一つのブロックにおける各ピクセルを打ち切る段階と；
各ピクセルについて量子化誤差を決定する段階と；
前記少なくとも一つのブロックにおける各ピクセルの量子化誤差を合計する段階とを有する、
付記２記載の方法。
〔付記８〕
前記追跡する段階がさらに：
前記少なくとも一つの第一の画像の前記定義された領域についての二値マスクを生成する段階と；
前記定義された領域を追跡するために前記二値マスクを前記少なくとも一つの第二の画像に投影する段階とを有する、
付記１記載の方法。
〔付記９〕
前記投影する段階がさらに、前記少なくとも一つの第一の画像から前記少なくとも一つの第二の画像までの、前記定義された領域の動きを推定する段階を有する、付記８記載の方法。
〔付記１０〕
前記推定する段階が、アフィン動きモデルによって実行される、付記９記載の方法。
〔付記１１〕
前記生成する段階がさらに、追跡されるべき前記少なくとも一つの第一の画像の特徴を取り込むために、前記定義された領域をより大きな領域に変換する段階をさらに有する、付記８記載の方法。
〔付記１２〕
領域を定義する前記段階が、前記領域の輪郭を描くことによって手動で、あるいは検出機能によって自動的に実行される、付記１記載の方法。
〔付記１３〕
少なくとも一つの画像においてアーチファクトを軽減するシステムであって：
少なくとも一つの第一の画像における少なくとも一つのアーチファクトをもつある定義された領域を少なくとも一つの第二の画像まで追跡するよう構成された追跡モジュールと；
前記定義された領域に誤差拡散関数を適用して、前記少なくとも一つの第一および第二の画像における前記少なくとも一つのアーチファクトを隠蔽する誤差拡散モジュールとを有する、
システム。
〔付記１４〕
前記少なくとも一つの第一の画像において前記領域を定義するために構成されているユーザー・インターフェースをさらに有する、付記１３記載のシステム。
〔付記１５〕
前記少なくとも一つの第一の画像および前記少なくとも一つの第二の画像を圧縮機能をもってエンコードするよう構成されたエンコーダをさらに有する、付記１３記載のシステム。
〔付記１６〕
前記誤差拡散モジュールがさらに、少なくとも一つの画像に適用されるべき隠蔽信号を生成するよう構成された信号生成器を有し；前記誤差拡散モジュールがさらに、前記少なくとも一つの画像のピクセルのブロック・サイズを選択し、少なくとも一つのブロックが前記定義された領域内であるかどうかを判定し、前記少なくとも一つの画像内での前記少なくとも一つのブロックについての量子化誤差を決定し、前記量子化誤差を近隣ブロックに分配するよう構成されている、付記１３記載のシステム。
〔付記１７〕
前記信号生成器がノイズ信号を生成するよう構成されている、付記１６記載のシステム。
〔付記１８〕
付記１６記載のシステムであって、前記誤差拡散モジュールがさらに、前記少なくとも一つのブロック内の少なくとも一つのピクセルの、前記定義された領域の境界までの距離を決定し、決定された距離に基づいて前記少なくとも一つのピクセルに関連付けられた隠蔽信号に値を割り当てるよう構成されている、付記１６記載のシステム。
〔付記１９〕
前記誤差拡散モジュールがさらに、前記少なくとも一つのブロックにおける各ピクセルを打ち切り、各ピクセルについて量子化誤差を決定し、前記少なくとも一つのブロックにおける各ピクセルの量子化誤差を合計するよう構成された打ち切りモジュールを有する、付記１６記載のシステム。
〔付記２０〕
前記追跡モジュールがさらに、前記少なくとも一つの第一の画像の前記定義された領域についての二値マスクを生成するよう構成されたマスク生成器を有しており；前記追跡モジュールがさらに、前記定義された領域を追跡するために前記二値マスクを前記少なくとも一つの第二の画像に投影するよう構成されている、付記１３記載のシステム。
〔付記２１〕
前記追跡モジュールがさらに、前記少なくとも一つの第一の画像から前記少なくとも一つの第二の画像までの、前記定義された領域の動きを推定するよう構成された追跡モデルを有する、付記２０記載のシステム。
〔付記２２〕
前記追跡モデルが、アフィン動きモデルである、付記２１記載のシステム。
〔付記２３〕
前記追跡モジュールがさらに、追跡されるべき前記少なくとも一つの第一の画像の特徴を取り込むために、前記定義された領域をより大きな領域に変換するよう構成されている、付記２０記載のシステム。
〔付記２４〕
画像中のアーチファクトを軽減するための方法段階を実行するために機械によって実行可能な命令のプログラムを具体的に実現する、機械によって読み取り可能なプログラム記憶デバイスであって、前記方法は：
少なくとも一つの第一の画像において、少なくとも一つのアーチファクトをもつある領域を定義する段階と；
定義された領域を少なくとも一つの第二の画像まで追跡する段階と；
前記少なくとも一つの第一および第二の画像において前記少なくとも一つのアーチファクトを隠蔽するために前記定義された領域に誤差拡散関数を適用する段階を有する、
プログラム記憶デバイス。

Claims

少なくとも一つの画像におけるアーチファクトを軽減する方法であって：
第一の画像においてバンド発生アーチファクトをもつある領域を定義する段階と；
追跡されるべき前記第一の画像の特徴を取り込むために、前記定義された領域をより大きな領域に変換する段階と；
定義された領域を前記第一の画像よりあとの第二の画像まで追跡する段階と；
前記第一の画像および前記第二の画像において前記バンド発生アーチファクトを隠蔽するよう、前記定義された領域に誤差拡散関数を適用する段階とを有する、
方法。