JP4545195B2 - デジタル映像のアーティファクト削減 - Google Patents

Description

本発明の実施の形態は、デジタル映像のアーティファクト削減の方法及びシステムに関する。

フィルムなどの映像媒体とカメラなどの映像捕捉装置を使って１つまたは複数のシーンから動画、映像、および他の画像を捕捉することができる。処理した後で映像媒体を使って、プロジェクタなどの表示装置を使用して画像を表示することにより画像を再現することができる。例えばほこりやひっかき傷によって引き起こされるアーティファクトが映像媒体に現れることがある。アーティファクトは、映像媒体の画像の表示に望ましくない形の影響を及ぼすことがある。

例えば、ＴｅｃｈｎｉＣｏｌｏｒカメラで捕捉されたＴｅｃｈｎｉＣｏｌｏｒフィルムなどの映像媒体に、フィルムの１つまたは複数の色平面にほこりやひっかき傷の形のアーティファクトがある場合がある。ＴｅｃｈｎｉＣｏｌｏｒカメラの場合、画像は、各画像の赤色、緑色および青色の色平面を生成するために赤色、緑色および青色の個別のフィルムストリップを使用して捕捉される。その結果、画像をスクリーンや他の表示装置上に投影したときに、赤色、緑色または青色のどれかのフィルムストリップ上のほこりやひっかき傷が表示される場合がある。
英国特許出願公開第２３５６５１４号 米国特許第６５８３８２３号 欧州特許出願公開第０６６６６９５号 米国特許第５４４６５０１号

映像媒体上のアーティファクトは、デジタル化した映像媒体に現われる場合もある。映像媒体をデジタル形式に変換する際にアーティファクトも変換され、デジタル映像の一部になる場合がある。その結果、デジタル映像を閲覧または表示するときにアーティファクトが現れることがある。アーティファクトを有するデジタル映像の表示を改善できることが望ましい。

本発明の１つの形態は、処理システムによって実行される方法を提供する。この方法は、デジタル映像の現行フレーム内のアーティファクトと関連付けられた第１の画素値をその前のフレームと後のフレームを使用して検出し、第１のフレーム内の第１の画素値を置換値と置き換える段階を含む。

以下の詳細な説明では、説明の一部を構成し且つ本発明を実施することができる特定の実施例として示した添付図面を参照する。この点に関して、「上」、「下」、「前」、「後」、「前方」、「後方」などの向きのある用語は、説明されている図の向きに対して使用される。本発明の構成要素は、いくつかの異なる向きで配置することができるので、向きのある用語は、限定のためではなく例示のために使用される。本発明の範囲から逸脱することなく他の実施形態を利用することができ且つ構造的または論理的変更を行うことができることを理解されたい。したがって、以下の詳細な説明は、限定の意味で解釈されるべきでなく、本発明の範囲は、添付の特許請求の範囲によって定義される。

本明細書で説明するように、高品質デジタル映像を生成するためのシステム、方法およびプログラム製品が提供される。このシステム、方法およびプログラム製品は、デジタル映像の各フレームごとに、例えばほこりやひっかき傷を原因とするアーティファクトを検出し除去して高品質デジタル映像を生成しようとするものである。あるフレーム内のアーティファクトが、そのフレーム内の画素値を、その前および／または後のフレームからの画素値や他の情報と比較することによって検出される。検出した後で、そのアーティファクトは、前のフレームと後のフレームから補間された画素値あるいは前のフレームか後のフレームからの一領域と置き換えられる。その結果、デジタル映像の見掛けをよくすることができる。

図１は、デジタル映像１２０からアーティファクトを除去するように構成された処理システム１００を示すブロック図である。処理システム１００は、プロセッサ１０２、メモリシステム１０４、入出力ユニット１０６、およびネットワーク装置１０８からなる。メモリシステム１０４は、アーティファクト削減モジュール１１０、アーティファクト検出モジュール１１２、アーティファクト除去モジュール１１４、デジタル映像１２０、および高品質デジタル映像１２２を記憶するためのものである。

処理システム１００は、アーティファクト削減モジュール１１０、アーティファクト検出モジュール１１２、およびアーティファクト除去モジュール１１４を使用してデジタル映像１２０から高品質デジタル映像１２２を生成するように構成されている。処理システム１００は、任意のタイプのコンピュータシステムあるいは携帯型または非携帯型電子装置を含む。例示的なコンピュータシステムには、デスクトップ、ラップトップ、ノートブック、ワークステーションあるいはサーバコンピュータシステムがあり、電子装置の例には、デジタルカメラ、デジタルビデオカメラ、プリンタ、スキャナ、携帯電話および携帯情報端末がある。

一実施形態において、アーティファクト削減モジュール１１０、アーティファクト検出モジュール１１２およびアーティファクト除去モジュール１１４はそれぞれ、メモリシステム１０４に記憶されてプロセッサ１０２がアクセス可能で実行可能な命令を含む。メモリシステム１０４は、ＲＡＭ、ハードディスクドライブ、ＣＤ−ＲＯＭドライブ、ＤＶＤドライブなどの任意の数と種類の揮発性および不揮発性記憶装置を含む。他の実施形態では、アーティファクト削減モジュール１１０、アーティファクト検出モジュール１１２およびアーティファクト除去モジュール１１４は、本明細書で説明する機能を実行するように構成されたハードウェア構成要素とソフトウエア構成要素の任意の組み合わせも含むことができる。

処理システム１００のユーザは、入出力ユニット１０６を使用して入力を提供し出力を受け取ることによって、アーティファクト削減モジュール１１０、アーティファクト検出モジュール１１２およびアーティファクト除去モジュール１１４の動作を管理し制御することができる。入出力ユニット１０６は、処理システム１００に直接または間接に結合されたキーボード、マウス、表示装置、または他の入出力ユニットの任意の組み合わせを含むことができる。

アーティファクト削減モジュール１１０、アーティファクト検出モジュール１１２、アーティファクト除去モジュール１１４およびデジタル映像１２０はそれぞれ、処理システム１００に記憶される前に処理システム１００と別の媒体（図示せず）に記憶されてもよい。そのような媒体の例には、ハードディスクドライブ、コンパクトディスク（例えば、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ）、およびデジタルビデオディスク（例えば、ＤＶＤ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ）がある。処理システム１００は、ネットワーク装置１０８を使用して、媒体を含むリモート処理または記憶システム（図示せず）からアーティファクト削減モジュール１１０、アーティファクト検出モジュール１１２、アーティファクト除去モジュール１１４、およびデジタル映像１２０にアクセスすることができる。ネットワーク装置１０８は、任意のタイプの有線または無線のローカルエリア通信ネットワーク、広域通信ネットワークまたは大域通信ネットワークに直接または間接に結合されてもよい。

デジタル映像１２０は、複数のデジタルフレームを含む。各フレームは、画像を生成するために別々に表示されてもよく、映像（すなわち、動いているように見える１組の画像）を生成するために連続（例えば、２４または３０フレーム／秒）に表示されてもよい。デジタル映像１２０は、シーンが１組の関連フレームからなる１つまたは複数のシーンを含むことがある。一実施形態において、デジタル映像１２０は、各フレームが、赤画素値を有する赤色平面、青画素値を有する青色平面、および緑画素値を有する緑色平面を有するＲＧＢ色空間からなる。赤画素値、緑画素値および青画素値は、デジタル映像１２０の表示中に組み合わされてデジタル映像１２０の画像が再現される。他の実施形態では、各フレームは、他の組の色平面を含むこともでき、各色ごとの画素値を組み合わせることもできる。

デジタル映像１２０は、別の媒体（例えば、フィルム）からの映像や他の１組の画像から生成されてもよく、カメラや他の画像捕捉装置から直接生成されてもよい。例えば、ＴｅｃｈｎｉＣｏｌｏｒカメラを使用して捕捉されたＴｅｃｈｎｉＣｏｌｏｒフィルムは、スキャニングプロセスを使用してデジタル映像１２０に変換される。他の実施形態では、デジタル映像１２０は、単一の画像フレームを含んでもよく、関連のない１組の画像フレームを含んでもよい。

図２は、アーティファクト２０６を有しデジタル映像１２０を生成する映像媒体２００を示すブロック図である。映像媒体２００は、各フレームが赤色平面２０４Ｒ、緑色平面２０４Ｇおよび青色平面２０４Ｂ（すなわち、色平面２０４）を有する連続した一連のフレーム２０２を含む。一実施形態では、映像媒体２００は、ＴｅｃｈｎｉＣｏｌｏｒフィルムを含む。他の実施形態では、映像媒体２００は、他のタイプのフィルムまたは媒体を含む。

図２に示した例において、フレーム（ｎ）２０２と青色平面（ｎ）２０４Ｂは、アーティファクト２０６を含み、ここで、ｎは、フレームの順序を示す整数である。アーティファクト２０６は、ほこりまたはひっかき傷によって引き起こされる収差などの映像媒体２００における任意の種類の収差であり、この収差は、映像媒体２００の１つまたは複数の画像の表示に望ましくない形態、形状または色を引き起こす。映像媒体２００は、各フレーム２０２と各色平面２０４が０個以上のアーティファクト２０６を含むように任意数のアーティファクト２０６を含むことがある。

図３は、矢印３０２で示したような映像媒体２００からデジタル映像１２０を生成するプロセスを示すブロック図である。映像媒体２００をデジタル映像１２０に変換するプロセスにおいて、アーティファクト２０６および他の任意のアーティファクト（図示せず）が、デジタル映像１２０の１つまたは複数のフレームまたは色平面にアーティファクト３０４として再現される。

図１を再び参照すると、処理システム１００は、アーティファクト削減モジュール１１０、アーティファクト検出モジュール１１２およびアーティファクト除去モジュール１１４を実行してデジタル映像１２０から高品質デジタル映像１２２を生成する。これを行う際に、アーティファクト削減モジュール１１０、アーティファクト検出モジュール１１２、およびアーティファクト除去モジュール１１４は、デジタル映像１２０からアーティファクト３０４や他のアーティファクト（図示せず）を除去して高品質デジタル映像１２２を生成しようとする。

次に、図４を参照して、アーティファクト検出モジュール１１２の動作を説明する。図４は、デジタル映像１２０からアーティファクトを検出する方法を示すフローチャートである。この方法は、デジタル映像１２０の各フレームごとにアーティファクト削減モジュール１１０とアーティファクト検出モジュール１１２を使用する処理システム１００によって実行することができる。

図４において、処理システム１００は、ブロック４０２に示したように、アーティファクト検出モジュール１１２を実行して１組のフレームにアクセスする。図５に示したように、この１組のフレームは、少なくとも現行フレーム（ｎ）５０２Ａ、前のフレーム（ｎ−１）５０２Ｂおよび後のフレーム（ｎ＋１）５０２Ｃを含み、ここで、ｎは、デジタル映像１２０の連続した一連のフレーム５０２のうちの１つのフレーム５０２を指定する整数である。一実施形態では、各フレーム５０２は、個別の赤色平面、緑色平面および青色平面を含むが、他の実施形態では、各フレーム５０２は、他の個別の色平面または混合した色平面を含んでもよい。

処理システム１００は、ブロック４０４に示したように、必要に応じてアーティファクト検出モジュール１１２を実行して１組のフレームの動き補正を行う。より詳細には、処理システム１００は、アーティファクト検出モジュール１１２を実行して、前のフレーム５０２Ｂと後のフレーム５０２Ｃをフレーム５０２Ａに対して別々に動き補正する。映像捕捉装置および／またはシーン内の１つまたは複数の対象物がフレーム間で動く場合があるので、アーティファクト検出モジュール１１２は、動きの差を計算してフレーム間の動きの大きさの推定値を測定することができる。フレーム間の動きの差が比較的小さい場合、アーティファクト検出モジュール１１２は動き補正の実行を省略する。フレーム間の動きの差が比較的大きい場合、アーティファクト検出モジュール１１２は、アフィン変換を使用してフレームを整合させる。アフィン変換後にフレーム間の動きの差が比較的大きい場合、アーティファクト検出モジュール１１２は、マルチゾーン位置合わせ方式（ｍｕｌｔｉ−ｚｏｎｅ ｒｅｇｉｓｔｒａｔｉｏｎ ｓｃｈｅｍｅ）を利用してフレームを整合させる。他の実施形態では、ブロック４０４の機能が全く省略されてもよい。

次に、フレーム５０２Ａ内の現行画素値が、前のフレーム５０２Ｂと後のフレーム５０２Ｃ内の対応する画素値と大きく異なるかどうかを判定する３つの実施形態を説明する。これらの実施形態において、フレームｔの位置ｘ，ｙにおける色画素はＰ_ｔ＝（ｒ，ｇ，ｂ）_{（ｘ，ｙ，ｔ）}で表わされ、以下の説明では位置ｘ，ｙを省略する。用語

は、フレームｔの位置ｘ，ｙにおける画素の３つの色（ｒ_ｔ，ｇ_ｔ，ｂ_ｔ）を表わす。変数ＤＳ_ｘ，ｙは二値変数であり、ここで、値１は潜在的アーティファクト画素を示し、すなわち値１は、フレーム５０２Ａ内の現行画素値が前のフレーム５０２Ｂと後のフレーム５０２Ｃ内の対応する画素値と大きく異なることを示す。

第１の実施形態において、フレーム５０２Ａ内の各画素について、処理システム１００は、色平面ｃの次のような距離値

を計算し

であるかどうか判定することにより、ブロック４０６に示したように、前のフレーム５０２Ｂと後のフレーム５０２Ｃ内の対応する画素値がほぼ同じ値であるかどうかを判定する。ここで、ｔ_Ｌはしきい値である。この条件を満たす場合、処理システム１００は、次の条件

を確認することによって、ブロック４０８に示したように、フレーム５０２Ａ内の現行画素値が前のフレーム５０２Ｂと後のフレーム５０２Ｃ内の対応する画素値と大きく異なるかどうか判定する。ここで、ｔ_Ｈは別のしきい値である。上記条件が１色でしか満たされない場合、その画素は、アーティファクト画素候補としてフラグが立てられる。

第２の実施形態では、処理システム１００は、アーティファクト検出モジュール１１２を実行して、６つの距離値｜ｒ_ｔ−ｒ_ｔ−１｜，｜ｇ_ｔ−ｇ_ｔ−１｜，｜ｂ_ｔ−ｂ_ｔ−１｜，｜ｒ_ｔ−ｒ_ｔ＋１｜，｜ｇ_ｔ−ｇ_ｔ＋１｜および｜ｂ_ｔ−ｂ_ｔ＋１｜を計算することによって、フレーム５０２Ａ内の現行画素値が前のフレーム５０２Ｂと後のフレーム５０２Ｃ内の対応する画素値と大きく異なるかどうかを判定する。この画素は、下記条件を満たす場合にアーティファクト画素候補としてフラグが立てられる。

ここで、ｔＨとｔＬはそれぞれ高しきい値と低しきい値である。

ｔＬ＜ｔＨの場合は、ＤＳの色平面に対応する最大１つの色が上記条件を満たすことができる。証明として、指数ｉ１およびｉ２を有する２つの色が条件を満たすと仮定すると、次の関係が成り立つ。

これは、次のように他の条件と矛盾する、

第３の実施形態では、処理システム１００は、アーティファクト検出モジュール１１２を実行して、次の距離測定値

を定義し、次の６つの距離

を計算することによって、フレーム５０２Ａ内の現行画素値が前のフレーム５０２Ｂと後のフレーム５０２Ｃ内の対応する画素値と大きく異なるかどうかを判定する。６つの距離のうちの最小距離

を求めた後で、下記条件を満たす場合に、その画素は、アーティファクト画素候補としてフラグが立てられる。

ここで、ｔＨは一定しきい値であり、ｋは範囲（０，１］の実数である。パラメータｔＨとｋは、検出率とフォールスアラーム（ｆａｌｓｅ ａｌａｒｍ）（すなわち、アーティファクト画素として間違って識別される画素）の両方を制御する。ｔＨの値が低いほど、検出率とフォールスアラーム率が高くなる可能性がある。ｋの値が高いほど、検出率とフォールスアラーム率が高くなる可能性がある。

これらの３つの実施形態は、アーティファクト検出率とフォールスアラーム率の高い順になっている。例えば、前述の第２の実施形態は、前述の第１の実施形態よりも多くのアーティファクト画素とフォールスアラームを検出することができる。

現行画素が候補としてフラグを立てられない場合、その現行画素は、図６に示されブロック４１０に示されたように、アーティファクトマスク６０２に追加されない。他の状況では、処理システム１００は、更に、ブロック４１２に示したように、フレーム５０２Ａ内の現行画素値がアーティファクトの色範囲内にあるどうかを判定する。ほこりやひっかき傷などのアーティファクトは、通常、画素色を異常に明るくするか異常に暗くする。従って、処理システム１００は、アーティファクト検出モジュール１１２を実行して、現行画素の色が１つまたは複数の既知のアーティファクトの範囲内にあるかどうかを判定する。

フレーム５０２Ａ内の現行画素値がアーティファクトの色範囲内にない場合は、ブロック４１０に示したように、現行画素はアーティファクトマスク６０２に追加されない。現行画素値がアーティファクトの色範囲内にない場合、画素値はアーティファクトを含まない可能性が最も高い。

フレーム５０２Ａ内の現行画素値がアーティファクトの色範囲内にある場合、処理システム１００は、ブロック４１４に示したように、アーティファクト検出モジュール１１２を実行してアーティファクトマスク６０２内の画素を識別する。図６は、アーティファクトマスク６０２を示すブロック図である。アーティファクトマスク６０２は１組の識別子６０４を含み、各識別子６０４は、アーティファクトを含む可能性のあるフレーム５０２Ａ内の画素と関連付けられ、図６に示した実施形態では、各識別子６０４は、識別する画素と空間的に対応する。他の実施形態では、他のタイプの識別子を使用することができる。

前のフレーム５０２Ｂと後のフレーム５０２Ｃ内の対応する画素値がほぼ同じでないとブロック４０６で判定された場合は、ブロック４１６に示したように現行画素が非時間的マスク（ｎｏｎ−ｔｅｍｐｏｒａｌ ｍａｓｋ）に追加される。図７は、非時間的マスク７０２を示すブロック図である。非時間的マスク７０２は１組の識別子７０４を含み、各識別子７０４は、フレーム５０２Ａ内の、その前のフレーム５０２Ｂ内または後のフレーム５０２Ｃ内の対応する画素と時間的に関連しない画素と関連付けられる。図７に示した実施形態では、各識別子７０４は、識別する画素と空間的に対応し、他の実施形態では、他のタイプの識別子を使用することができる。

処理システム１００は、ブロック４１８に示したように、フレーム５０２Ａ内の現行画素値が、アーティファクトの色範囲内にあるかどうか判定する。フレーム５０２Ａ内の現行画素値がアーティファクトの色範囲内にない場合、ブロック４１０に示したように、現行画素はアーティファクトマスク６０２に追加されない。

フレーム５０２Ａ内の現行画素値がアーティファクトの色範囲内にある場合、処理システム１００は、ブロック４２０に示したように、現行画素の色がフレーム５０２Ａ内の近くにあるかどうか判定する。処理システム１００は、アーティファクト検出モジュール１１２を実行して画素の色の一致を探す。フレーム５０２Ａ内の近傍画素との色の一致は、画素が、画像の所望部分である可能性が最も高くアーティファクトではないことを示す。一実施形態では、処理システム１００は、アーティファクト検出モジュール１１２を実行して、フレーム５０２Ａ内の現行画素の隣りの画素を螺旋状の順序で探す。他の実施形態では、処理システム１００は、アーティファクト検出モジュール１１２を実行してフレーム５０２Ａ内の近傍画素を他の方法で探す。

現行画素の色がフレーム５０２Ａ内の近くにある場合、ブロック４１０に示したように、現行画素はアーティファクトマスク６０２に追加されない。現行画素の色がフレーム５０２Ａ内の近くにない場合、処理システム１００は、ブロック４１４に示したように、アーティファクト検出モジュール１１２を実行してアーティファクトマスク６０２内の画素を識別する。

フレーム５０２Ａの各画素に上記機能を実行した後で、処理システム１００は、ブロック４２２に示したように、アーティファクト領域が既知のアーティファクトのサイズの範囲内にあるどうかを判定する。アーティファクト領域とは、アーティファクトマスク６０２内の識別子６０４を含む領域のことである。一実施形態では、処理システム１００は、アーティファクト検出モジュール１１２を実行して、一連の形態学的拡張及び侵食を行って図８に示したような第２のアーティファクトマスク８０２を生成する。

アーティファクト領域が既知のアーティファクトのサイズの範囲内にない場合、処理システム１００は、ブロック４２４に示したように、アーティファクト検出モジュール１１２を実行してアーティファクトマスク６０２からその領域を除去する。アーティファクトマスク８０２において、アーティファクトマスク８０２を図６のアーティファクトマスク６０２と比較すると分かるように、小さすぎる領域は除去される。その結果、アーティファクトマスク８０２は、残りの識別子６０４を含む。アーティファクトマスク６０２内の大きすぎる領域（図示せず）も除去される。

アーティファクト領域が既知のアーティファクトのサイズの範囲内にある場合、その領域はアーティファクトマスク８０２に残る。

一実施形態では、上記のように１つまたは複数のアーティファクトを検出した後、処理システム１００は、アーティファクト除去モジュール１１４を実行して、図９に示した方法または図１０に示した方法を使用してアーティファクトを除去する。

図９は、デジタル映像１２０からアーティファクトを除去する方法を示すフローチャートである。この方法は、処理システム１００が、デジタル映像１２０の各フレーム５０２内の各画素ごとにアーティファクト除去モジュール１１４を使用することにより実行することができる。

フレーム５０２Ａ内の各画素に関して、処理システム１００は、ブロック９０２に示したように、アーティファクト除去モジュール１１４を使用して画素がアーティファクトと関連付けられているかどうか判定する。アーティファクト除去モジュール１１４は、この判定を、画素と関連付けられたアーティファクトマスク６０２内の位置を調べることにより行う。この位置は、アーティファクトマスク８０２がその画素と関連付けられた識別子６０４を含む場合、すなわちその画素と関連付けられた識別子６０４がアーティファクト領域の一部である場合に、その画素がアーティファクトと関連付けられていることを示す。画素がアーティファクトと関連付けられていない場合、アーティファクト除去モジュール１１４は、ブロック９０４に示したように、その画素と関連付けられた画素値を置き換えない。

画素がアーティファクトと関連付けられている場合は、アーティファクト除去モジュール１１４が、ブロック９０６に示したように、その画素が非時間的マスク７０２によって識別されているかどうか判定する。その画素が非時間的マスク７０２によって識別されていない場合、アーティファクト除去モジュール１１４は、ブロック９０８に示したように、その画素の画素値を、前のフレーム５０２Ｂと後のフレーム５０２Ｃから補間した値と置き換える。一実施形態では、アーティファクト除去モジュール１１４は、前のフレーム５０２Ｂと後のフレーム５０２Ｃからアーティファクト画素に対応する画素値の線形回帰を求め、その線形回帰から推定値を利用して補間値を計算することによって補間値を計算する。別の実施形態では、アーティファクト除去モジュール１１４は、フレーム５０２Ａ内の画素に対応する前のフレーム５０２Ｂと後のフレーム５０２Ｃ内の画素値の平均をとることによって補間値を計算する。他の実施形態では、アーティファクト除去モジュール１１４は、補間値を他の方法で計算し、計算の際には前のフレーム５０２Ｂの前のフレーム（図示せず）および／または後のフレーム５０２Ｃの後のフレーム（図示せず）から対応する画素を使用することができる。

画素が非時間的マスク７０２によって識別された場合は、アーティファクト除去モジュール１１４は、ブロック９１０に示したように、その画素の画素値をフレーム５０２Ａ内の画素値からの補間値と置き換える。一実施形態では、アーティファクト除去モジュール１１４は、アーティファクト画素に対応する他の色平面から画素値の線形回帰を求め、その線形回帰からの推定値を利用して補間値を計算することによって補間値を計算する。他の実施形態では、アーティファクト除去モジュール１１４は、補間値を他の方法で計算する。

図１０は、デジタル映像１２０からアーティファクト領域を除去する方法を示すフローチャートである。この方法は、処理システム１００が、１つまたは複数のアーティファクト領域を有するデジタル映像１２０の各フレーム５０２ごとにアーティファクト削減モジュール１１０とアーティファクト除去モジュール１１４を使用することによって実行することができる。

図１０では、処理システム１００は、ブロック１００２に示したように、アーティファクト除去モジュール１１４を実行して、前のフレーム５０２Ｂと後のフレーム５０２Ｃのブロックマッチングを実行する。アーティファクト除去モジュール１１４は、アーティファクトマスク８０２を使用してアーティファクト領域を識別する。アーティファクト除去モジュール１１４は、必要に応じて動き補正技術を使用して前のフレーム５０２Ｂと後のフレーム５０２Ｃを調べて、それぞれ前のフレーム５０２Ｂと後のフレーム５０２Ｃとアーティファクト領域も含まないフレーム（ｎ）５０２Ａとの最も近い一致を見つける。

処理システム１００は、ブロック１００４に示したように、アーティファクト除去モジュール１１４を実行して、フレーム５０２Ａ内の各アーティファクト領域をそれと対応し前のフレーム５０２Ｂかまたは後のフレーム５０２Ｃからの領域と置き換える。図１１は、デジタル映像１２０のフレーム５０２Ａ内にアーティファクト３０４を含むアーティファクト領域１１０２を置き換えるプロセスを示すブロック図である。前のフレーム５０２Ｂがフレーム５０２Ａと最も一致する場合、アーティファクト除去モジュール１１４は、フレーム５０２Ａ内のアーティファクト領域６０２を前のフレーム５０２Ｂからの領域１１０４と置き換える。後のフレーム５０２Ｃがフレーム５０２Ａと最も一致する場合、アーティファクト除去モジュール１１４は、フレーム５０２Ａ内のアーティファクト領域６０２を後のフレーム５０２Ｃからの領域１１０６と置き換える。他のアーティファクト領域（図示せず）も同様に置き換えられる。

前述のシステムおよび方法を使用することにより、デジタル映像を得る映像媒体に存在するようなデジタル映像内のアーティファクトを除去することができる。従って、デジタル映像の表示を高品質化することができる。

本明細書に特定の実施形態を例示し説明したが、当業者は、示し説明した特定の実施形態に本発明の範囲を逸脱することなく様々な代替および／または等価な実施態様を代用できることを理解されよう。本願は、本明細書で述べた特定の実施形態の任意の適応例または変形例を範囲に含むように意図されている。したがって、本発明は特許請求の範囲とその等価物によってのみ限定されるものである。

本発明の一実施形態によるデジタル映像からアーティファクトを取り出すように構成された処理システムを示すブロック図である。 本発明の一実施形態によるアーティファクトを有する映像媒体を示すブロック図である。 本発明の一実施形態によるアーティファクトを有する映像媒体からデジタル映像を生成するプロセスを示すブロック図である。 本発明の一実施形態によるデジタル映像からアーティファクトを検出する方法を示すフローチャートである。 本発明の実施例によるデジタル映像からアーティファクトを検出するプロセスを示すブロック図である。 本発明の一実施形態によるアーティファクトマスクを示すブロック図である。 本発明の一実施形態による非時間的マスク（ｎｏｎ−ｔｅｍｐｏｒａｌ ｍａｓｋ）を示すブロック図である。 本発明の一実施形態により除去された特定領域を有するアーティファクトマスクを示すブロック図である。 本発明の一実施形態によるデジタル映像からアーティファクトを取り出す方法を示すフローチャートである。 本発明の一実施形態によるデジタル映像からアーティファクト領域を除去する方法を示すフローチャートである。 本発明の一実施形態によるデジタル映像のフレーム内のアーティファクトを有する領域を置き換えるプロセスを示すブロック図である。

符号の説明

１００・・・処理システム
１０２・・・プロセッサ
１０４・・・メモリシステム
１０６・・・入出力
１０８・・・ネットワーク装置
１１０・・・アーティファクト削減モジュール
１１２・・・アーティファクト検出モジュール
１１４・・・アーティファクト除去モジュール
１２０・・・デジタル映像
１２２・・・高品質デジタル映像
２００・・・映像媒体
２０２・・・フレーム（ｎ−１）
・・・フレーム（ｎ）
・・・フレーム（ｎ＋１）
２０４Ｒ・・・赤色平面（ｎ）
２０４Ｇ・・・緑色平面（ｎ）
２０４Ｂ・・・青色平面（ｎ）
２０６・・・アーティファクト
３０２・・・生成プロセスを示す矢印
３０４・・・アーティファクト
５０２Ａ・・・フレーム（ｎ）
５０２Ｂ・・・フレーム（ｎ−１）
５０２Ｃ・・・フレーム（ｎ＋１）
６０２・・・アーティファクトマスク
６０４・・・識別子
７０２・・・非時間的マスク
７０４・・・識別子
８０２・・・アーティファクトマスク
１１０４・・・アーティファクト領域
１１０６・・・領域
１１０８・・・領域

Claims (10)

1. 処理システム（１００）によって実行される方法であって、
   デジタル映像（１２０）の現行フレーム（５０２Ａ）内のアーティファクト（３０４）と関連付けられた第１の画素値をその前のフレーム（５０２Ｂ）と後のフレーム（５０２Ｃ）を使用して検出する段階と、
   前記現行フレーム内の前記第１の画素値を置換値と置き換える段階と
   を含む方法。
2. 前記第１の画素値を色の範囲と比較することによって前記現行フレーム内の前記アーティファクトと関連付けられた前記第１の画素値を検出する段階
   を更に含む請求項１に記載の方法。
3. 前記前のフレーム内の少なくとも第２の画素値と前記後のフレーム内の第３の画素値を使用して前記置換値を補間する段階
   を更に含む請求項１に記載の方法。
4. 前記現行フレーム、前記前のフレームおよび前記後のフレームを使用して複数の距離を計算することによって前記現行フレーム内の前記アーティファクトと関連付けられた前記第１の画素値を検出する段階
   を更に含む請求項１に記載の方法。
5. 前記前のフレーム内の第２の画素値と前記後のフレーム内の第３の画素値を比較することによって前記現行フレーム内の前記アーティファクトと関連付けられた前記第１の画素値を検出する段階
   を更に含む請求項１に記載の方法。
6. 前記後のフレーム内の前記第３の画素値と異なる前記前のフレーム内の前記第２の画素値に応じて非時間的マスク（７０２）内の第１の画素値と関連付けられた画素を識別する段階
   を更に含む請求項５に記載の方法。
7. 前記後のフレーム内の前記第３の画素値と異なる前記前のフレーム内の前記第２の画素値に応じて前記現行フレーム内の複数の値を使用して前記置換値を補間する段階
   を更に含む請求項６に記載の方法。
8. 前記第１の画素値の色を前記現行フレーム内の複数の画素値の色と比較することによって前記現行フレーム内の前記アーティファクトと関連付けられた前記第１の画素値を検出する段階
   を更に含む請求項５に記載の方法。
9. システム（１００）であって、
   プロセッサ（１０２）と、
   デジタル映像（１２０）とアーティファクト削減モジュール（１１０）を記憶するためのメモリシステム（１０４）とを含み、
   前記プロセッサは、前記アーティファクト削減モジュールを実行して、
   前記デジタル映像の現行フレーム（５０２Ａ）内のアーティファクト（３０４）と関連付けられた第１の画素値をその前のフレーム（５０２Ｂ）と後のフレーム（５０２Ｃ）を使用して検出し、
   前記現行フレーム内の前記第１の画素値を置換値と置き換える
   ように構成されたシステム（１００）。
10. 前記プロセッサが、前記アーティファクト削減モジュールを実行して、
    前記現行フレーム、前記前のフレームおよび前記後のフレームを使用して複数の距離を計算し、
    前記複数の距離を使用して前記現行フレーム内の前記アーティファクトと関連付けられた前記第１の画素値を検出するように構成された
    請求項９に記載のシステム。

Images