JP4636637B2

JP4636637B2 - 画質改善のためのエッジ画像向上補正

Info

Publication number: JP4636637B2
Application number: JP10912599A
Authority: JP
Inventors: ポール・ヴァラホス; エリー・バーマン; アーペグ・デイドーリアン
Original assignee: アルテイメイト・コーポレーション
Priority date: 1999-04-16
Filing date: 1999-04-16
Publication date: 2011-02-23
Anticipated expiration: 2019-04-16
Also published as: JP2000305548A

Description

【０００１】
【発明の属する技術分野】
本発明はビデオ信号によって表現されるカラー画像を表示する方法と装置に関する。
【０００２】
【従来の技術】
ビデオ信号によって表現されるカラー画像の詳細が見えるのは、１つまたは複数の色成分で比較的急激な信号レベルの変化が発生するからである。このレベルの変化が、エッジとして識別される。レベルがエッジを表す色成分の信号レベルの変化の割合の関数である詳細信号を生成する。その詳細（画像向上（image enhancement））信号は、それが生成された元のビデオ信号に適用される時に、詳細エッジの変化度または急峻さを増大させ、ビデオ画像の視覚的な鮮明さを高める。画像向上は、一般に、画像のすべての区域に適用され、画像内で詳細の関数であるから適切である。画像向上処理は、米国特許第５１０３２９９号明細書、米国特許第４８５５８２９号明細書、米国特許第５６９６８５２号明細書、米国特許第４９９４９１５号明細書を含む多数の特許に記載されている。
【０００３】
ビデオ・カメラおよびスキャナの詳細信号は、調節可能である。詳細信号の振幅が大きいほど、画像が鮮明になる。しかし、詳細信号のレベルを高めるにつれて、画像内で要素の輪郭になる正負のスパイクが生成され、画像のエッジが強く見えるレベルに達する。詳細レベル調節は、画像の鮮明さの向上と、過度に強いエッジからの画像の劣化との間の妥協である。
【０００４】
画像合成では、対象物がカラーバックの前で撮影され、そのカラーバックが、後に、合成処理中に所期の背景に置き換わる。対象物のエッジでバックの明るい色（通常は青または緑）は、挿入される背景がそのバックのように明るい色である可能性が低いので、エッジ画像が大きく不適切に向上されることがある。この対象エッジでの不適切な画像向上は、合成画像での対象物の輪郭として、目に見える不快な強いエッジとなる。
【０００５】
【発明が解決しようとする課題】
本発明の目的は、画像合成中に生じることがある撮影対象物の不快な輪郭や強いエッジを除去するためになされたものである。
【０００６】
【課題を解決するための手段】
シーン内のすべてのものの輪郭に暗いエッジおよび白いエッジとして見られる不快な輪郭の影響を、過度の画像向上によって生成されるスパイクのクリッピングまたは制限によって除去する。信号レベルの急激な変化には、１つまたは複数の構成色に対する所与のレベルから上下のレベルへの段差が存在する。段差でのこの２つの信号レベルが、レベルの下限と上限の境界を決める。過度の画像向上から生じるスパイクは、このレベルの下限の下または上限の上に延びる。クリッピングされるのは、画像向上の行われていないビデオ信号の上下にはみでたスパイクである。このクリッピングによって、画像向上されたビデオ信号が、上限を超えず、下限を下回らなくなる。画像向上スパイクをビデオ信号からクリッピングすることによって、不快な輪郭と強いエッジが除去されると同時に、画質と鮮明さが改善される。
【０００７】
【発明の実施の形態】
図１は様々なビデオ信号を表すもので、図１Ａは対象物内で発生する信号レベルの適度に急激な変化を示す図である。図１Ｂの画像向上信号が図１Ａのビデオ信号に正しいレベルで適用された時に、図１Ｃの画像向上された（エッジが急峻になった）信号が得られる。対象物の画像の最大の鮮明さを得るために、詳細信号を図１Ｄに示された高いレベルまで引き上げることができる。この過度に大きい詳細信号は、ビデオ信号に適用された時に、図１Ｅの斜ライン部のスパイクを生成する。したがって、画像向上信号レベルの調節は、鮮明な画像と、強いエッジで過度に劣化していない画像との間の妥協である。
【０００８】
特定の画素位置での赤（または緑または青）信号レベルは、図１Ｅに示されているように、上限より高い場合には上限まで「クリッピング」し（低下させ）、下限より低い場合には下限まで「クリッピング」し（高める）、そうでなく、レベルが上限と下限の間にある場合にはそのままにすることによって、強制的に上限と下限の間にあるようにされる。図１Ｆのクリッピングされた信号は、エッジが急峻であることを除いて図１Ａの信号と同一である。
【０００９】
まず詳細信号の振幅を不快な強いエッジが生じるレベルまで高め、上で述べたクリッピングによって強いエッジを除去することによって、水平解像度の追加の向上（より急峻な立ち上がりと立ち下がり）を達成できる。水平解像度を高めるための代替の手順は、単に図１Ｆの信号を元の信号して、詳細信号を生成し、その詳細信号を適用し、必要であればクリッピングを行うことである。
【００１０】
クリッピングの上限と下限は、所定の画素の一方にある１つまたは複数の画素と、その反対側にある１つまたは複数の画素（たとえば、一方が所与の画素の左、他方が右にあるか、一方が上、他方が下にある）の２つの異なる画素で決められるＲＧＢレベルである。具体的に言うと、水平ライン内での画素のクリッピングは、位置ｘのレベルでは、画素位置ｘ−ｓのレベルと画素位置ｘ＋ｓのレベルの間になるようにクリッピングされる。値ｓ（たとえば１画素、２画素、３画素など）は小さい選択された事前に設定された値である。「クリッピング」は、３つの色成分チャネル、赤、緑および青のそれぞれに別々に、独立に適用される。
【００１１】
指定された位置ｘから画素のラインまたは一続きを処理する時には、位置ｘ−ｓにある画素は、すでに処理（クリッピング）されている。したがって、ｘ−ｓでの元のレベル（処理済みのレベルとともに）を保持する必要がある。というのは、位置ｘで信号レベルをクリッピングする時に、ｘ−ｓでの処理済みのレベルではなく、元のレベルが使用されるからである。これまでに述べたクリッピング機能は、画像全体に適用することができ、対象物のエッジに制限することもできる。
【００１２】
フィルムの顕著な特徴の１つが、テレビジョン画像に典型的な強いエッジを伴わない高精細度である。このフィルムの外見を保つために、フィルム・スキャナは、走査した画像に画像向上をほとんど追加しない。しかし、対象物がカラーバックの前にある場合、明るいバックが図１Ｅのようなオーバーシュート的なスパイクを有する強いエッジを、画像の残りの部分の詳細信号が過度でない場合であっても生成する。したがって、クリッピングは、対象物とバックの遷移区域に制限しなければならない。
【００１３】
テレビジョン画像は低解像度なので、最適の鮮明な画像を得るためにはかなりの画像向上が必要である。したがって、画像向上されたビデオには、画像内の見える細部のエッジに小さいスパイクが含まれる。この小さなスパイクは、対象物画像の最適の鮮明さのための画像向上に必要な部分であり、クリッピングされることは望ましくない。
【００１４】
クリッピングを対象物のエッジに制限すると、対象物の内側では画像向上が影響を受けずに残される。しかし、クリッピングを対象物のエッジに制限するためには、そのエッジの位置に関する知識が必要になる。対象物のエッジは、マット関数（matte function）Ｅｃを使用して判定される。マット関数Ｅｃは、不透明の対象物の区域では０になり、バックの区域では０より大きくなる。位置ｘ−ｅｌと位置ｘ＋ｅｌにある２つの画素が検査される。対象のエッジが見つかるのは、これらの２つの位置のうちの１つだけが０のマット・レベルを有する時である。このテストを、「条件１」と定義することができる（ゼロ・マット境界からの距離に基づく）。その条件が満たされない場合、画素ｘは、対象のエッジからｅｌ画素以内に存在せず、クリッピングは行われない。
【００１５】
第２の条件「条件２」では、画素ｘが、「適度にシンプルな」対象エッジと複数の髪の房などの複雑な対象エッジのどちらの近くにあるかを判定する。マット信号Ｅｃが使用可能な時には、この判定は、サイズが２ｇａｐ＋１（「ｇａｐ」はユーザが調節可能なパラメータ）の小さい調節可能なウィンドウ内の画素のラインに沿ってｘが移動する際に、マット信号Ｅｃが０から非０に変化する（「ゼロ・クロッシング」）回数を数えることによって、すなわち、対象エッジの数を数えることによって行うことができる。マット信号が使用できない時には、各画素位置ｘの付近での複数の変化に対して、微分信号などの変化検出の手段を試すことができる。
【００１６】
ゼロ・クロッシングまたは複数変化の数から単一のエッジが示される場合には、対象物は単純であり、「条件２」が満たされると言う。そうでない場合には、対象物は「単純」ではなく、クリッピングは実行されない。というのは、そのような領域でのクリッピングが、望ましくないアーチファクトを生じる可能性があるからである。したがって、クリッピングは、条件１および条件２の両方を満たすと定義される、単純な対象エッジの近傍でのみ許容される。
【００１７】
対象エッジでのビデオ信号のクリッピングは、選択された背景のシーンと対象物を合成する前またはその後のいずれかに実行することができる。
【００１８】
画像向上された対象エッジ（または画像全体）をクリッピングした後に、現画素とその２つの隣接画素（水平スムージングの場合は左右、垂直スムージングの場合は上下）の加重平均をとることによって、クリッピングされた画素のスムージングを行うことができる。通常、現画素にはＣ＝０．５の重みが与えられ、両側の隣接画素にはＡ＝０．２５の重みが与えられ、３つの重みの合計Ａ＋Ｃ＋Ａが１．０になる。
【００１９】
対象物のエッジは、マット信号Ｅｃが０でなくなる点として定義された。マット信号Ｅｃは、アルファ・チャネル信号またはキー信号とも呼ばれるが、対象物の区域内で０になり、バック区域内で０より大きくなる信号を与える式によって決定される。米国特許第４１００５６９号明細書、米国特許第４３４４０８５号明細書、米国特許第４６２５２３１号明細書および米国特許第５３４３２５２号明細書に、包括的に次式によって表されるＵｌｔｉｍａｔｔｅマット信号の開発が記載されている。
Ｅｃ＝Ｂ−ｍａｘ（Ｇ，Ｒ）
【００２０】
上で述べた種類のマット信号Ｅｃが使用できない時には微分信号を使用することができる。高い微分値を「対象物」、より具体的には「対象エッジ」領域を示すものとする。その信号の「負数」すなわち、対象エッジを決定的に示すとみなされる最小の微分値がｈであるものとして、ｍａｘ｛ｈ−｜微分値｜，０｝を、少なくとも本発明のエッジ画像向上補正の目的で、効果的にマット信号であるかのように使用することができる。これは、残りの説明でＥｃに言及する部分にもあてはまる。
【００２１】
信号クリッピングを対象エッジに制限する時には、好ましいクリッピング処理に、以下のステップが含まれる。
１．前記条件１および条件２の両方を満足する各水平走査ラインのすべての画素に対して、（たとえば）ｓ＝１、ｅｌ＝２およびｇａｐ＝３を使用して、クリッピング処理を適用する。
２．上記の結果に対して、条件２を無視して条件１を満たす画素ごとに、ｓ＝１およびｅｌ＝３を使用して、各水平走査ラインに対してクリッピングをもう一度適用する。この第２パスは、第１パスの効果の一部を「きれいに」し、第１パスで無視された画素をクリッピングするために働く。
【００２２】
３．上記のステップ１およびステップ２で水平にクリッピングされた上記のビデオ信号は、前のラスターライン（Ｌ−１）の画素位置ｘのレベルと次のラスターライン（Ｌ＋１）の画素位置ｘのレベルを、その間にある走査ラインの現画素ｘの上限および下限として使用して、垂直にクリッピングされる。ただし、このクリッピングは、上限および下限の画素のうちの１つだけが０のマット・レベルを有する時に限って実行される。
【００２３】
連続的に走査されるフレームではなくインターレース式のフィールドを処理する時には、前の走査ライン（Ｌ−２）からの位置ｘの画素が、現画素の２画素上にあり、次の走査ライン（Ｌ＋２）の画素が、現画素の２画素下になる。
【００２４】
下記のステップ４および５で説明するスムージングは、任意選択である。このスムージングは、色ぶちおよび他のエッジ・アーチファクトをきれいにするために必要な時に適用される。重み係数ＡおよびＣは、正確に０．２５および０．５０である必要はないが、この数値は、よい結果をもたらした。
【００２５】
４．水平にクリッピングされ、垂直にクリッピングされた、上記のビデオ信号を、重み係数Ａ＝０．２５およびＣ＝０．５０を使用して、クリッピングの対象になったすべての画素だけにスムージング・アルゴリズムを適用することによって、水平にスムージングする。
【００２６】
５．上記のステップ４の水平にスムージングされたビデオ信号に対して、重み係数Ａ＝０．２５およびＣ＝０．５０を使用して、水平または垂直のいずれかのクリッピングの対象になったすべての画素だけに垂直スムージングを適用する。
【００２７】
画像向上された画像全体をクリッピングする場合には、対象エッジを突き止める必要がないので、処理ははるかに単純になる。このような機会が生じるのは、走査されたフィルムで、画像向上の位置での画像向上された信号レベルが、図１Ｃに示されるように画像向上されない信号を超えない時である。それでも、明るい色のバックと対象物の間のコントラストが非常に高いので、図１Ｅのスパイクが対象エッジの位置に生じる。画像全体をクリッピングすると、画像向上された信号のレベルを上下に超えるスパイクだけがクリッピングされる。
【００２８】
第２の機会は、テレビジョン・ビデオ信号で、画像向上された画像に画像向上されない画像によって決められる上限および下限からオーバーシュートする小さいスパイクが含まれ、その小さいスパイクが対象画像の最適の鮮明さを与える場合に生じる。しかし、明るい色のバックと対象物の間のコントラストが非常に高いので、図１Ｅの大きいスパイクが対象物のエッジで生成される。小さいスパイクのオーバーシュートの高さに等しい小さい選択されたオフセットを用いて、画像向上によって導入された小さいスパイクをクリッピングせずに、対象エッジの大きいスパイクをクリッピングすることができる。下限には負のオフセット、上限には正のオフセットを加える。これらのオフセットを等しい値にする必要はない。
【００２９】
画像全体をクリッピングし、スムージングするための好ましい方法は次の通りである。
【００３０】
１．水平走査ラインのそれぞれで、画素位置ｘ−ｓおよびｘ＋ｓでのＲＧＢレベルが、画素位置ｘでのＲＧＢレベルの上限と下限を形成するので、画素位置ｘでのＲＧＢレベルを、下限より下ならば下限まで高め、上限より上ならば上限まで下げる。
【００３１】
２．前のラスターラインの画素位置ｘと次のラスターラインの画素位置ｘでのＲＧＢレベルを、それらの間の走査ライン上の現画素の上限および下限として使用して、上で水平にクリッピングされたビデオ信号を垂直にクリッピングする。
【００３２】
連続して走査されるフレームではなくインターレース式フィールドを処理する時には、前の走査ラインの位置ｘの画素が、現画素の２画素上にあり、次の走査ラインの画素が、現画素の２画素下にある。
【００３３】
３．上で水平にクリッピングされ、垂直にクリッピングされたビデオ信号を、重み係数Ａ＝０．２５およびＣ＝０．５０を使用して、クリッピングの候補であった（たとえば条件１および条件２を満たした）すべての画素にスムージング・アルゴリズムを適用することによって、水平にスムージングする。
【００３４】
４．上で水平にスムージングされたビデオ信号に対して、重み係数Ａ＝０．２５およびＣ＝０．５０を使用して、水平または垂直のクリッピングの候補であった（たとえば条件１および条件２を満たした）すべての画素に垂直スムージングを適用する。
【００３５】
ステップ３および４は任意選択であり、視覚的検査からスムージングの必要が示された時に適用される。
【００３６】
上で説明したクリッピング手順は、現在、すでに画像向上された画像に対してポスト・プロダクションで適用されている。画像向上は、通常はビデオ・カメラ内または、原画像がフィルム上にある時にはフィルム・スキャナ内で適用されるので、画像クリッピングを適用するのに適当な位置は、ビデオ・カメラ内またはフィルム・スキャナ内になるはずである。
【００３７】
ビデオ・カメラおよびフィルム・スキャナの場合のように、画像向上されないビデオ信号が利用できる時には、詳細信号を生成する処理によって、その走査ライン上の位置ならびに信号レベルの上限および下限も識別される。というのは、上限および下限が、これらの点またはその付近の画像向上されないビデオの信号レベルであるからである。上限および下限が判定されたならば、画像向上されたビデオ信号をその範囲内にクリッピングすることは簡単である。
【００３８】
多くのテレビジョン受信器は、さらに画像向上を適用するために、「鮮鋭度制御」も適用する。小さいスパイクを保存するために適度なオフセットを用いたテレビジョン受信器内の信号クリッピングは、鮮鋭度制御が（しばしば）過大に調節されている受信器の画質が大幅に改善するはずである。
【００３９】
画像向上補正処理の実施
以下では、均一な色のバック（たとえば青スクリーン）の前の対象物からマット信号を計算することによるなど、対象領域が以前になんらかの形で判定されている時の画像向上補正処理の詳細な実施態様を説明する。
【００４０】
図２は、エッジ画像向上補正の最上位レベルの流れ図である。
図２を参照すると、エッジ画像向上補正は、まず、画素位置ｘのそれぞれについてマーカー値を０にリセットすることによって、画素位置ｘごとに値が格納されるマーカー配列を初期設定すること（ブロック１）から始まる。
【００４１】
次に、「複数ゼロ・クロッシング」検査（ブロック２）を実行し、複数のゼロ・クロッシング隣接画素の中央にある画素のそれぞれをマークする（マーカー配列値に１をセットする）すなわち、条件２を満たさない画素のそれぞれをマークすることによって、このマーカー配列を更新する。
【００４２】
次に、「ゼロ・マット境界からの距離」検査（ブロック３）を実行し、ゼロ・マット（不透明の対象物）領域の単純なエッジの付近でない画素のそれぞれをマークする（マーカー配列値に１をセットする）。すなわち、条件１を満たさない画素のそれぞれをマークすることによって、マーカー配列を更新する。
【００４３】
次に、マークされていない画素すなわち、マーカー配列値が０のままの画素のそれぞれに対して、基本的なクリッピング動作（ブロック４）を実行する。
次に、マークされていない画素すなわち、マーカー配列値が０のままの画素のそれぞれに対して、スムージング動作（ブロック５）を実行する。
最終出力（ブロック５の）は、エッジ画像向上補正済みの画像である。
【００４４】
図３は、「複数ゼロ・クロッシング」検査（図２のブロック２）を実行する処理の詳細を示す図である。図３に示された処理を、以下で説明する。
画素位置ｘに１、距離カウンタｄに０、ゼロ・クロッシング・カウンタｃｔに０をセットすることによって、パラメータを初期設定する（ブロック６）。
次に、「条件カウンタ」ｆｌを０にリセットする（ブロック７）。
次に、位置ｘのマット・レベルが正であるかどうかを検査する（ブロック８）。そうである場合には、「条件カウンタ」ｆｌをインクリメント（１を加算）する（ブロック９）。
次に、位置ｘ−１のマット・レベルが正であるかどうかを検査する（ブロック１０）。そうである場合には、「条件カウンタ」ｆｌをインクリメント（１を加算）する（ブロック１１）。
【００４５】
次に、条件カウンタｆｌが１と等しいかどうかを検査する（ブロック１２）。
そうである場合には、「ゼロ・クロッシング」カウンタｃｔをインクリメントし（ブロック１３）、距離カウンタｄにユーザが供給する定数ｆＷ（ｆＷ＝２^*ｇａｐ＋１、ｇａｐは前に説明した）をセットする（ブロック１４）。
【００４６】
次に、距離カウンタｄが正であるかどうかを検査する（ブロック１５）。そうである場合には、この距離カウンタをデクリメントする（１つ減らす）（ブロック１６）。そうでない場合（正でない場合）には、ゼロ・クロッシング・カウンタｃｔを０にリセットする（ブロック１７）。
次に、ゼロ・クロッシング・カウンタが１より大きいかどうかを検査する（ブロック１８）。そうである場合には、マーク配列の位置ｘに１をセットすることによって、画素位置ｘをマークする（ブロック１９）。
【００４７】
次に、処理すべき画素がまだあるかどうかを検査する（ブロック２０）。まだある場合には、画素位置ｘをインクリメントし（ブロック２１）、ブロック７に戻り、その位置から処理を繰り返す。
【００４８】
図４は、「ゼロ・マット境界からの距離」検査を実行する処理（図２のブロック３）の詳細を示す図である。図４に示された処理を、以下で説明する。
まず、次の画素位置に移る、すなわち、画素位置パラメータｘを更新する（ブロック２２）。具体的には、このブロックに初めて来た場合にはｘに０をセットし、そうでない場合にはｘをインクリメントする。
【００４９】
次に、「条件カウンタ」ｆｌに０をセットする（ブロック２３）。
次に、画素位置ｘ−ｅＷ／２のマット・レベルが正であるかどうかを検査する（ブロック２４）。ｅＷまたは「エッジ幅」は、ユーザが供給する定数である（ｅＷ＝２^*ｅｌ、ｅｌは前に説明した）。正である場合には、条件カウンタｆｌをインクリメントする（ブロック２５）。
【００５０】
次に、画素位置ｘ＋ｅＷ／２のマット・レベルが正であるかどうかを検査する（ブロック２６）。正である場合には、ｆｌをインクリメントする（ブロック２７）。
次に、条件カウンタｆｌが１と等しいかどうかを検査する（ブロック２８）。
１と等しくない場合には、マーク配列の位置ｘに１をセットすることによって、画素位置ｘをマークする（ブロック２９）。
次に、処理する画素がまだあるかどうかを検査する（ブロック３０）。まだある場合には、ブロック２２に戻り、画素位置ｘをインクリメントし、その位置から処理を繰り返す。
【図面の簡単な説明】
【図１】様々なビデオ信号を示した図である。
【図２】エッジ画像向上補正処理の概要を示す図である。
【図３】「複数ゼロ・クロッシング」検査を実行する処理の詳細を示す図である。
【図４】「ゼロ・マット境界からの距離」検査を実行する処理の詳細を示す図である。

Claims

カラーバックの前に対象物が有る画像合成システムにおいて、
ａ）対象物の区域では０であり、対象物の区域の外では０より大きいマット信号Ｅｃを、画素ごとに生成するステップと、
ｂ）ｅｌがユーザ定義整数とするとき、一方はｘ−ｅｌ、他方はｘ＋ｅｌにある２つの画素のうちの１つだけが、０のマット信号を有し、したがって、第１条件エッジ・テストを満足する、画素位置ｘとして対象物のエッジを識別するステップと、
ｃ）ｇａｐがユーザ選択可能な画素数であるとし、幅が２ｇａｐ＋１画素の、画素位置ｘを中心とする範囲内で画素のラインに沿って画素位置ｘ付近の対象物のエッジの数を数え、この数が１を超えないかどうかを判定することによって、対象物のエッジが単純なエッジで、第２条件エッジ・テストを満足するかどうかを、画素位置ｘの対象物のエッジごとに判定するステップと、そして
ｄ）ｘが対象物のエッジ画素の位置であり、ｓが位置ｘからの所定の画素位置オフセットであるとして、一方は位置ｘ−ｓ、他方は位置ｘ＋ｓにある２つの画素のＲＧＢレベルによって決定される上限および下限まで、前記第１条件および前記第２条件を満たす対象物のエッジ画素のそれぞれのＲＧＢレベルをクリップするステップと
を含み、
前記ステップａ）−ｄ）を実施することが、合成画像の画像向上に先行するビデオ画像のＲＧＢレベルによって表される上限および下限まで前記画像向上された合成画像のＲＧＢレベルをクリップすることにより、前記画像向上された合成画像の対象物のエッジで不快な輪郭およびハードエッジを除去する一方で画質および鋭さを改善するという結果を生じ、そして前記クリップすることは前記対象物のエッジに限定されている
方法。
使用される定数が、ｓ＝１、ｅｌ＝２およびｇａｐ＝３である請求項１に記載の方法。
クリッピングされる信号が、前記第１条件エッジ・テストを使用し、ｓ＝１およびｅｌ＝３を使用する第２のクリッピングによって改善される請求項１に記載の方法。