JP3689423B2 - 連続ズームが施される連続画像のための鮮鋭度向上方法およびその装置 - Google Patents

Description

技術分野
本発明は画像信号処理に関し、特に画像特性の向上を目的とする画像信号処理に関する。
背景技術
本発明は、特に、静止画像または時経変化する連続画像を入力し、スタティック（静的）またはダイナミック（動的）ディジタルズームが施された画像を出力する電子画像形成システムに関連する。スタティックズームとは、静止画像においてサイズ変更を行うことである。ダイナミックズームとは、ビデオにおける駒から駒といった具合に時経変化する連続画像を継続的にサイズ変更することである。例えば、キース・Ｒ・ヘイリーが１９９２年１月６日に出願し、本件出願人が譲り受けた米国特許出願第８１７２０４号「ズームおよびパン効果のためのディジタル画像補間システム」に詳述されるように、ズーム処理は空間補間装置に用いられ、空間の基準を変更したり、１つの空間の基準において画像を拡大したりするために必要とされる。
サンプリングした画像データにズームを施す場合には、エイリアシングを回避することを十分に考慮しなければならない。当業者にとって周知のように、画像の特徴は、空間周波数といった２次元パラメータによって表される。ナイキストのサンプリング理論によれば、信号に含まれる情報を失わないためには、少なくともその信号の帯域幅の２倍のサンプリング周波数（ｆｓ）で信号をサンプリングしなければならない。実際には、この帯域幅は、たいていサンプリング前にアナログ信号をフィルタリングして得られ、その信号帯域の上限が、ナイキスト周波数と呼ばれるサンプリングに必要な周波数の上限を越えないようにする。
さらにズームの効果として、画像を圧縮すると画像のライン同士が接近して見え、画像の空間周波数が増加することが挙げられるのはいうまでもない。この効果は、画像の空間周波数帯域の上限が高くなるという副次的効果を伴う。これによって周波数帯域の上限がナイキスト周波数を越えた場合、情報が損失され、結果的にエイリアシングが生じる。この問題に対処すべく、従来では、画像圧縮の前に、圧縮の度合いを示すスケール率（scaling factor）に応じて可変な可変帯域幅ディジタルフィルタを挿入し、ディジタル信号の帯域を制限することによって、後続する圧縮の結果生じるであろうエイリアシングを避けるといったことが行われている（例えば、米国特許第４７６０６０５号、第４８０５１２９号や第４６６００８１号参照）。一方、画像を拡大する場合、画像のライン同士が離反して見え、画像の空間周波数が減少し、空間周波数帯域の上限が低下する。従来では（例えば上記米国特許第４６６００８１号）、上限の低下はそれ程問題にならず、単に可変帯域幅フィルタを不作動状態にし、そのまま信号を通過させればよい。
画像の画質向上あるいは鮮鋭度の向上に必要とされるディジタルフィルタは、低域を通過させる直進帯域制限フィルタとは異なり、システムから出力されるナイキスト周波数と関連する空間周波数で最大となる必要がある。このようなフィルタとして、通常、１次元か２次元の有限インパルス応答（ＦＩＲ）バンドパスフィルタが挙げられる。このフィルタは、既知の方法を用いて様々にプログラムされ、一連の入力画像サンプルを係数の組合せによって乗算して、乗算結果を足し合わせて総和を出力する。それらの係数は、帯域通過特性を規定するものであり、Ｌ・Ｒ・ラビナー、Ｂ・ゴールド共著「Ｔｈｅｏｒｙ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎ ｏｆ Ｄｉｇｉｔａｌ Ｐｒｏｃｅｓｓｉｎｇ」（プレンティス・ホール、１９７５年）第１０５〜１２３頁に記載された最適化周波数サンプリング設計方法といった周知の方法で求めることができる。その他、法則化されたバンドパスフィルタを生成するために役立つ方法が、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、１９８８年、第２７９〜３０２頁に収録されたＤ・Ｊ・ヒーガー著「Ｏｐｔｉｃａｌ ｆｌｏｗｕｓｉｎｇ ｓｐａｔｉｏ−ｔｅｍｐｏｒａｌ ｆｉｌｔｅｒｓ」に示される。このフィルタはゲーボアフィルタ（Gabor filter）と呼ばれる。
画像信号の画質向上は、システムの帯域に影響を及ぼす空間補間やズームが終了した後、そして、システムの帯域が制限されたエイリアシングが防止されるか、その他、ズーム前の元の周波数帯域へ再変換を行った後に行われるのが一般的である。こうすれば、向上されるべき空間周波数がいかなるものでも、１組のフィルタを設計すればよい。しかしながら、信号対雑音比を考慮した場合、一般的に最も有効なことは、輝度情報に対して画質向上を行うことである。同様に、信号中の輝度情報と色／色票情報とに個別に空間補間を行うよりも、全帯域色信号に空間補間を行うのが最も効果的である。したがって、輝度信号と色信号とが個別に生成される例では、まず輝度信号に対して画質向上を行ってから、輝度信号と色信号とを全帯域信号に処理して空間補間する、すなわち、ズームを施すことが望ましい。ズーム処理は画像信号スペクトルの通過帯域に影響を与えるので、スペクトルの帯域にも制限を行ってエイリアシングを防止しなければならない。このことから、画質向上フィルタの組合せが固定されていると、ズームの度合いが変化するに従ってフィルタが作用する空間周波数が変化するといった状況が生じる。例えば、画質向上バンドパスフィルタは、ズームを施さずに高帯域空間周波数を通過させべく設計され、画像スペクトルが圧縮されてその帯域が制限された後に、その帯域の上限を越える周波数に作用する。これによって、ズームの度合いが低くなるほどだんだんと画質向上効果が減少し、結局は、画質向上されたスペクトルが完全に帯域外になって認識できなくなるという結果を生じる。
最大規模の画質向上フィルタを正確にナイキスト通過帯域内に配置するには、上述したように様々な方法があるが、その一方でズーム後の帯域限に画質向上フィルタを適性に配置できないという問題が残る。前述のゲーボアフィルタによれば、ピーク周波数を調整可能にすることの有用性が示唆される。このような教示をズームに適用すると、新たに問題点が生じる。ゲーボアフィルタは、空間領域におけるガウス窓（Gaussian window）で乗算されたサイン波として捉えることができる。この窓がフィルタの幅を決定し、サイン波がピーク周波数を決定する。ゲーボアフィルタのピーク周波数を決定するためには、ガウス窓は必要周波数での相当数のサイン波周期を包含しなければならない。このことは２つの問題点を示唆し、これら問題点は空間周波数のピーク振幅が減少するにつれ深刻になる。第１に、フィルタのタップの数がハード的に非現実的な数になる。第２に、空間領域におけるガウス窓の幅と、周波数領域におけるガウス窓の幅とは互いに反比例するので、低周波でピークを有するように設計されたゲーボアフィルタは、定義によれば、非常に狭い通過帯域を有することになり、これは実用には適さない。結果的に、ズームに先立つ画質向上フィルタの周波数設定の問題は、これまで効果的に処理されてきたとはいえない。
発明の開示
本発明は、少数の固定されたバンドパスフィルタを用いて、従来技術の欠点を克服することを目的とする。バンドパスフィルタは、既知の特性、すなわち、適切な帯域幅特性、適切な帯域消去特性および実用的な数の空間タップといった特性を備えていればよく、画像形成システム内に組み込まれる。組み込まれたフィルタを適切に組み合わせることによって、ズームの度合いに応じた画質向上に要求されるバンドパスフィルタを生成することができる。
上記目的を達成するために、本発明によれば、画質向上バンドパスフィルタの通過帯域は、ズーム処理による空間周波数の変化に追従する。具体的には、ズーム処理が施されて空間周波数が変化した画像信号の鮮鋭度を向上するための装置および方法を提供する。本発明の装置は、画像信号を生成するための手段と、その画像信号に施すズーム量を示す制御信号を生成する手段を備える。また、画像信号を向上するための手段を有する。この向上手段は、ゲイン調整に応じた複数の異なる通過帯域から導き出した１つの一次通過帯域内で作用する。制御信号に応じて、異なる通過帯域で所定の関係に従ってゲイン調整が行われ、これによって、前記画質向上のための一次通過帯域は、ズーム処理による画像信号の空間周波数の変化に追随する。
本発明の実施例では、上記一次通過帯域は、ゲイン調整に応じた複数の二次バンドパスフィルタ部を所定の関係で組み合わせることによって求められる。制御信号はズーム比を表わし、フィルタ部に適用されるゲインの調整に用いられて、前記所定の組み合わせを達成することができる。
本発明の主な効果は、補間部がズーム信号の周波数応答を位置付けし直してエイリアシングを消去した後でも、画質向上の帯域限を恒常的に適正な上限位置に設定できる点である。このようにして画質向上の効果はズーム範囲の全般にわたって維持され、ズーム特性をより効果的に利用することができる。
【図面の簡単な説明】
図１は、本発明に係る追従画質向上部を組み込んだ画像処理システムのブロック図である。
図２は、図１の追従画質向上部の第１の好適な実施例を示すブロック図である。
図３は、図２の追従画質向上部のハードウェア設計である。
図４は、図１の追従画質向上部の第２実施例を示すブロック図である。
図５は、画像フレームに関してズーム効果を説明する図である。
図６は、２：１のズームにおけるタイミング・チャートである。
図７は、図３のディジタルフィルタに使用されるシフト／加算プロセッサのブロック図である。
図８Ａ、８Ｂ、８Ｃ、８Ｄ、８Ｅおよび８Ｆは、図７のフィルタプロセッサのピクセル範囲の例を示す図である。
発明を実施するための裁量の形態
画像処理技術、特に画像向上および空間補間方法に関してはすでに広く知られているので、ここでは、特に、本発明の装置および方法を構成し、これら装置および方法と直接に関連する構成要素についてのみ述べる。特別に記載または図示のない構成要素あるいは方法に関しては、当業者にとって周知の要素や方法から任意に選択できるものとする。例えば、本実施例を動画フィルムスキャナ（テレシネ装置）に適用することは、引用する米国特許第５０４５９３２号「カラー原画のライン走査から高ディフィニション電子信号を生成する方法および装置」（発明者Ｒ・Ａ・シャーマン、Ｒ・Ｔ・リーズ）から推測される。９３２特許は、１つの高ディフィニションディテール成分（輝度信号）と複数の低ディフィニション色成分との組み合わせから生成する高ディフィニションテレビ信号を開示している。本発明で示す画像の画質向上は、まず高ディフィニション成分に対して行われ、その後、向上した高ディフィニション成分をそれよりも低いディフィニションの色成分と結合させて空間補間を行う。空間補間にはいくつかの形態があり、例えば図５、６を参照して詳述されるものや、上記米国出願第８１７２０４号に示される改良された形態を含む。
図１は、本発明に係る追従画質向上部１０を備えたディジタル画像処理システムを示す。この処理システムは、米国特許第５０４５９３２号に開示されるテレシネフィルムスキャナに用いることができる。９３２特許のテレシネフィルムスキャナは、高ディフィニション輝度（ディテール）信号１２ａと複数の低ディフィニション色信号１２ｂとを生成するフィルムスキャナ１２を備える。フィルムスキャナ１２は、動画フィルム上の画像ピクセルに対応する画像ピクセルデータを生成する。画像ピクセルデータは、輝度信号１２ａおよび色信号１２ｂとして、Ａ／Ｄコンバータ１４および入力画像記憶装置１６によって処理される。その後、色信号１２ｂは色処理チャンネル１３で処理される。この色処理チャンネル１３は、前記９３２特許に開示されるように、色登録および色補間処理を行う。一方、輝度信号１２ａは、輝度処理チャンネル１８と追従画質向上部１０とで処理される。輝度処理チャンネル１８は、９３２特許に記載されるように、ディテールを抽出して再フォーマットし、色信号に合わせる機能を備える。画質向上された輝度信号１２ａと色信号１２ｂとは加算器１９で組み合わされ、空間補間装置２０および出力画像記憶装置２２で処理される。制御器２４は、使用されるフィルムスキャナ１２の走査速度とテレビ規格とに従って、関連し合う各動作のシステムタイミングを与える。フィルムスキャナ１２からのフィルムピクセルデータは、Ａ／Ｄコンバータ１４でディジタルピクセルデータに変換され、制御器２４で決定されるリアルタイムの同期速度で入力画像記憶装置１４に入力される。
ズーム操作を実行するには、まずズーム比生成装置２６から制御器２４に制御信号が入力される。ズームの度合いは、図示のように、ズーム比生成装置２４に接続されたノブ２８を通じて操作者が決定する。ズーム比ｒは、被写体の長さに対する効果や、画像全体の倍率といったもので表現される。例えば、ｎピクセル長の人物像が空間補間装置２０に入力され、ｍピクセル長の人物像が出力された場合、ズーム比はｍとｎとの比率（すなわちｒ＝ｍ／ｎ）となる。また、ズーム比を画像倍率として捕らえてもよい（ｒ＝０．５では１：２の画像縮小、ｒ＝２．０では２：１の画像拡大）。図５に示すように、ズームを得るには入力データから新たな出力画像が引き出される。ライン数およびピクセル数のデータ数を必要な値に維持するために、空間補間装置２０を用いて入力データに基づいて新たな出力画像データを補間する。チャンネルデータ速度を関連動作に必要なレベルに維持するために、入力画像記憶装置１６の読み出しを制御する。ズームが有効な範囲について、新たな出力データの補間を最適なものとする限り、必要に応じてラインおよびピクセルを反復または消去する。
簡単な例としてズーム比２：１の場合のタイミング図が図６に示される。６Ａは、６Ｃのシステムタイミングで生成された入力画像のうち、図５の領域ａの原入力ピクセルである。６Ｂは、２：１のズームアップにおいて活性領域ａからフルサイズの出力画像（図５参照）を生成するために必要な出力ピクセルである。すなわち、６Ａと６Ｂは、元の入力ピクセルと「ズームアップ」ピクセルとの空間関係を表わす。ズームを得るには、輝度チャンネルにおいて、６Ｃのタイミングで示される同期速度で入力記憶装置１６への書き込みを行い、入力記憶装置の読み出しを制御してその出力のサンプルを反復する。図６の例では、読み出しアドレスを６Ｆに示すように入力クロック１つおきに進め、６Ｄのようにピクセルを反復する（色チャンネルでも同様の処理がなされる）。反復されたピクセルは、空間補間装置２０において例えば線形補間される。補間されたピクセルは、６Ｃの同期タイミングに対して６Ｅのように現れる。単純な線形補間では、出力（反復）ピクセルＢは入力ピクセルＮおよびＮ＋１の平均値であり、（反復）ピクセルＤは入力ピクセルＮ＋１およびＮ＋２の平均値であるといった具合になる。２：１以外のズーム比では、制御パルスや反復ライン／ピクセルのシーケンスがより複雑になるが、原理は同じである。
図２は、追従画質向上フィルタ１０の好適な実施例のブロック図を示す。輝度処理チャンネル１８からの信号はバンドパスフィルタ列３０ａ、３０ｂ、３０ｃ、３０ｄ……に並列に送られる。各フィルタ部には、適切な帯域通過特性を得るためのディジタルフィルタ係数が与えられている。例えば、バンドパスフィルタ３０ａはフィルタ係数Ａを有し、フィルタ３０ｂはフィルタ係数Ｂを有するといった具合である。各フィルタ部３０ａ、３０ｂ、３０ｃ、３０ｄの出力は、非線形プロセッサ３２ａ、３２ｂ、３２ｃ、３２ｄにおいて非線形処理され（閾値処理され）、これによって例えばノイズが抑制される。このように調整された帯域通過信号は、ゲイン乗算器３４ａ、３４ｂ、３４ｃ、３４ｄにおいてゲイン係数により修正される。ゲイン係数は、ズーム比生成装置２６によって特定されたズーム量の予め設定された関数である。これらの帯域通過信号を加算器３６で合算して第１次帯域通過信号を得る。この第１次帯域通過信号には、ゲイン段３８において全体ゲイン係数が適用され、通過帯域全体にわたって鮮鋭度向上の全体レベルが調整される。最後に、加算器４０において、画質向上された帯域通過信号に全帯域信号を加算する。この全帯域信号は加算器４０に直接入力されるか、選択的に低域フィルタまたは高域フィルタ４２を介して入力される。なお、遅延回路４４は、帯域通過フィルタリングを補償する遅延を挿入するためのものである。
本発明の好適な実施例は、ＨＤＴＶ（高品位テレビ）テレシネに適用され、空間補間に先だつ追従画質向上処理に関する。この適用例では、３つのバンドパスフィルタ部３０ａ、３０ｂ、３０ｃがそれぞれ「Ｘ」形の２次元通過帯域を備え、フィルタの周波数応答が水平方向および垂直方向で最大になり、斜め方向で最小となる。２次元通過帯域はガウス差異方式（a difference-of-Gaussian approach）を用いて生成され、異なる割合で加算されると、滑らかな周波数応答を有する単一のフィルタを生成する。また、これらフィルタは２のべき乗の係数で構成されるので、ディジタル方式を用いて容易に実行可能となる。フィルタ係数は以下の通りである。

テレシネに用いる場合は、最小ズーム比が約０．３７５（ＨＤＴＶから５２５ラインへの変換に相当する）、最大ズーム比が１．０越える空間補間が必要となる。ズーム比がどのように変化しようとも、使用されるのは３つのうち２つのフィルタだけである。すなわち、ズーム比０．５未満ではフィルタＢおよびＣを使用し、ズーム比０．５以上ではフィルタＡおよびＢを使用する（必要に応じて、使用しないフィルタ部にゼロゲインを適用するか、「Ａ」フィルタまたは「Ｃ]フィルタとして働くフィルタを再構成する）。本発明の好適な実施例は図２の設計手法に基づく。選択された２つのフィルタが並列で画像信号に適用され、その出力信号はゲイン段３４ａ、３４ｂ、３４ｃにおいて乗算される。ズーム比（ｒ）におけるゲイン係数は以下のように計算される。

図３は、本発明のハードウェアを示す。このハードウェアは、ライン遅延ブロック５０、ディテール抽出（バンドパス）フィルタ５２、５４、補足（complementary）平均化装置５６、ルックアップテーブル（ＬＵＴ）５８、６０、および出力加算器６４、６６を有する。補足平均化装置５６は、数ラインにわたって平滑化した信号を生成する。この信号は色信号を補足する。遅延ブロック５０は、入力データを最高６ライン（Ｅ０−Ｅ６）まで遅延させる。ここで、Ｅ０は遅延のないデータ、Ｅ６は６ライン遅延されたデータである。Ｅ３での遅延（Ｅ３Ｄ）はすなわち遅延センターラインとなる。第２加算器６６では遅延センターライン（Ｅ３Ｄ）信号から補足平均化信号を引き算することによって、補足ディテール信号が生成される。
図３に示すように、ディテール抽出フィルタ５２、５４は適切に遅延されたデータを使用する。フィルタ５２は、フィルタ係数Ａを用いた３×３フィルタ出力とフィルタ係数Ｃを用いた７×７フィルタ出力とで切り替わる。フィルタ５４は、フィルタ係数Ｂを用いて５×５フィルタ出力のみを生成する。これら２つのディテール出力信号は、２つのＬＵＴ５８、６０に送られた後、加算器６４で合算される。２つのディテール信号の比率（ゲイン）の設定は、ＬＵＴ５８、６０を用いるか、加算器６４への入力を調整するか、これら２つの方法を組み合わせることによって行われる。また、ディテールフィルタ５２、５４の出力を再調整することによってもゲイン設定はできる。いずれの方法の場合でも、前述のゲイン関係式（４）、（５）、（６）または（７）に従い、ズーム比ごとに決定されるゲイン特性に基づいて制御器２４が比率をプログラムする。その他、２つのＬＵＴをそれぞれの帯域通過ディテール信号の経路に使用し、一方の読み出し中に、他方にデータをロードするといった方法がある。この方法で、出力データの破壊なしにズーム比を駒ごとに変化させることができる。加算器６４から出力される信号は、「ブースト」制御入力６８によって設定され、所望の全体画質向上レベルが与えられる。最後に、合算されたディテール信号は、出力加算器６６で補足ディテール信号と合算され、ズーム比に従って画質向上された完全なディテール信号が生成される。この信号は、図１の加算器１９に入力された後、空間補間装置２０へと送られる。図３には非線形ノイズ抑制処理を示していないが、帯域通過信号の経路に周知の非線形処理要素を挿入することで、ノイズ抑制は達成される。
ディジタル領域においてディテール抽出フィルタ５２、５４を実施する方法として様々のものが知られているが、本発明では、Ｒ・Ａ・シャーマンによる米国特許出願第８８９５７８号「シフト／加算ディジタル信号プロセッサ」で概観される原理および回路が使用される。第８８９５７８号出願は、１９９２年５月２８日に出願され、本件出願と同一人に譲受された。シフト／加算信号プロセッサでは、ディジタル画像データは遅延され、重み付けでシフトされ、加算されて、２のべき乗フィルタ機能を構築する。図７は、上記８８９５７８号出願に開示される演算処理プロセッサ７０の基本要素を示す。ここではモード用ラインを用いて、ピクセルの入力形態、遅延ピクセルの数、データビットのシフト、出力の再調整係数などを選択することができる。なかでも、入力選択モードラインａと遅延モードラインｂとは、プロセッサを以下の３つの基本フィルタ構成のいずれかにプログラムする。
（１）単一の入力と複数のピクセル遅延を用いた水平フィルタ
（２）適当な数の入力と少なくとも１つのライン遅延を用いた垂直フィルタ
（３）ライン遅延とピクセル遅延を用いたＸ型フィルタ
スケールモードラインｃへのシフト入力は係数を決定し、そのフィルタの性質（高域通過、低域通過、帯域通過など）を決定する。
図７の演算処理ユニット７０は、２つの演算処理部７１、７２からなる。演算処理部７１では、ラインＡ_ＩＮから時系列のディジタル信号がラッチ７３に入力される。ラッチ７３には、図示しないクロックからクロック信号が入力され、少なくとも１クロックの遅延が与えられ、入力データのタイミングを公知の参照点に設定する。ラッチ７３の出力は、チャンネルセレクタ７４、遅延回路７５、入力セレクタ７６の各々に送られる。遅延回路７５は、遅延モードラインｂによって、０〜８の離散ピクセル遅延に対応する数の遅延クロック数にプログラムされる。チャンネルセレクタ７４はスイッチモードラインｄによってプログラムされ、その出力をすべてゼロにするか、入力をそのまま変化させずに出力する。チャンネルセレクタ７４および遅延回路７５の出力は加算器７７に入力され、加算器７７の出力はスケーラ７８でビットシフトされる。スケーラ７８は従来通りのビットシフト演算を行う。スケーラ７８では、スケールモードラインｃによって右方向へのビットシフト数が設定される（「Ｚ」はゼロ出力状態）。ｎビットを右方向にシフトすることは、正のフィルタ係数として「２のべき乗」分割することに相当し、補足する前に右方向にシフトすることは、負のフィルタ係数として「２のべき乗」分割することに相当する（すなわち、０、１、２、３のシフトは、１、２、４、８による分割、補足の場合、−１、−２、−４、−８による分割になる）。
入力セレクタ７６は、入力選択モードラインａでプログラムされ、ラッチ７３からのデータまたはラインＢ_ＩＮから入力されたデータのいずれかを選択する。実際には、ラッチ７３からのデータは、同一長さのデータの繋がりであり、ラインＢ_ＩＮから入力されるデータは、ラッチ１０に入力された信号に対して遅延された第２長さ（ライン）のデータを示す。仮に入力セレクタ７６がラッチ７３からのデータを演算処理部７２のラッチ７９へ送るようにプログラムされているとすると、ラッチ７９からのデータ出力は、ラッチ７３からのデータ出力よりも１クロック周期（画像データの場合、１ピクセル）遅れる。演算処理部７１と同様に、演算処理部７２におけるラッチ７９の出力は、チャンネルセレクタ８０と遅延回路８１を介して加算器８２に送られる。加算器８２の出力はスケーラ８３で尺度調整される。加算器８２への１入力あたりの遅延量（０〜８ピクセル）は、遅延回路８１に接続される遅延モードラインｂによってプログラムされる。加算器８２への他の入力（すなわちセレクタ８０の出力）は、チャンネルセレクタ８０に接続するスイッチモードラインｄでプログラムされ、すべてゼロ値か、セレクタ８０に入力されたそのままの値のいずれかが選択される。加算器８２の出力に施す演算値は、スケールモードラインｃからスケーラ８３に入力されるシフト入力によって制御される。スケールモードに応じて、スケーラは３ビットまでシフトアップするか（シフトなしも含む）、またはゼロ（Ｚ）を出力する。スケーラ７８および８３の出力はそれぞれラッチ８４、８５に送られて、そのデータタイミングを回復させる。加算器８６は演算処理部７１、７２から入力された調整値を合算して、ひとつの総和出力信号を生成する。
図８Ａに示す３つのピクセル（選択されたピクセルを「Ｘ」で表わす）に対する動作を例にとると、遅延回路７５は２ピクセルの遅延に設定され、チャンネルセレクタ７４はその入力を変化させずに通過させるよう設定される。したがって加算器７７の出力はピクセル（０）とピクセル（−２）の総和になる。入力セレクタ７６がラッチ７３からのデータを選択するように設定され、チャンネルセレクタ８０が出力ゼロに設定され、遅延回路８１が遅延ゼロに設定されると、加算器８２の出力はピクセル（−１）になる。これはラッチ７９における１ピクセルの遅延によるものである。加算器７７、８２の出力は、スケーラ７８、８３で尺度調整され、ラッチ８４、８５でラッチされてそのデータタイミングを復活させる。スケーラ７８、８３は、ゼロ出力状態（Ｚ）に設定されるか、または右方向にビットシフトして１、２、４、８により分割される状態に設定されるか、負のフィルタ係数で補足して−１、−２、−４、−８により分割される状態に設定される。具体的には、スケーラ７８を「２」に設定すると、ピクセル（０）およびピクセル（−２）の和を２分割したものが出力される。スケーラ８３を「１」に設定すると、その出力は尺度構成なしでピクセル（−１）になる。これらの尺度設定によって、加算器８６からの出力は、３つのピクセルからなる任意の組み合わせに対して０．５、１．０、０．５の重み付けされた低域通過出力、すなわち、ピクセル（０）およびピクセル（−２）の和を２分割し、これにピクセル（−１）を足したものとなる。スケーラ７８の尺度係数を「−２」に設定した場合は、加算器８６は−０．５、１．０、−１．５の重み付けされた高域通過出力を生成する。
このシフト／加算プロセッサの特徴として、セレクタ７６がラッチ７３の出力またはラインＢ_ＩＮの入力のいずれかを選択できる融通性がある。設定によって入力セレクタ７６が入力Ｂ_ＩＮを選択する場合、Ｂ_ＩＮのデータはＡ_ＩＮのデータよりも１ビデオライン遅いことから、画像データの垂直平均値が得られる。（通常、図示してはいないが、入力セレクタ７６へのＢ_ＩＮ入力より先んずる１ライン遅延要素を用いればライン遅延は得られる。既知の遅延ラインやメモリベースライン遅延を使用することができる）。具体的には、遅延回路７５、８１をゼロ遅延に設定し、チャンネルセレクタ７４、８０をゼロ出力に設定し、スケーラ７８、８３を２で割り算するように設定すれば、図８Ｂに示す２つのピクセルの純粋な垂直平均が得られる。また、遅延回路７５、８１を２ピクセルの遅延に設定し、チャンネルセレクタ１２、２４を入力された値をそのまま通過させるように設定すると、加算器８６の出力は、図８Ｃのように、ライン（０）のピクセル（０）および（−２）と、ライン（１）のピクセル（０）および（−２）の４ピクセル領域の平均となる。
図７には、演算処理プロセッサ７０に１以上の追加演算処理プロセッサ７０´を縦続接続し、より大きなフィルタを実行するものが示される。この構成は、外部のライン遅延と内部のピクセル遅延とを組み合わせ、より広範なピクセルに対応した「Ｘ」型フィルタを備える。追加演算処理ユニット７０´の機能は、演算処理ユニット７０のラッチ７９の出力かラッチＣ_ＩＮ入力のいずれかを選択することができる入力セレクタ８７を追加した点を除いて、演算処理ユニット７０の構成要素の基本機能と同一である（同様に、入力セレクタ８８はラインＤ_ＩＮ入力を任意で選択することができ、入力セレクタ８９はラインＥ_ＩＮ入力を選択することができる）。図７の縦続フィルタプロセッサが作動すると、多様な機能を実行することができるように構成されている。これら機能の詳細については、前述した係属中の米国特許出願８８９５７８号に述べられるが、例えば、図８Ｄに示すように同一ライン上の９ピクセルの平均や、図８Ｅに示すようにピクセルをブロック単位で平均化する５×５「Ｘ」型マトリクス平均、図８Ｆに示す３×３「Ｘ」型マトリクス平均などである。
以上述べたように、本発明に係る画質向上技術では、連続して変化する周波数でピーク振幅を有するディジタルバンドパスフィルタ列を提供する。これらフィルタ列は、ダイナミック（動的）またはスタティック（静的）ズームが施される連続画像信号や、空間補間される静止画像についての連続画像信号に適当である。この技術は以下の特徴を有する。
（１）予め設定された範囲内で、異なるピーク周波数で最大振幅を有する少数のバンドパスフィルタが用いられる。バンドパスフィルタは、空間領域または周波数領域で直接構成できる。また、例えば遮断周波数の異なる低域通過フィルタ間の差異を計算することによって間接的に構成することもできる。後者の場合は、サンプリングされたガウス窓またはその他の形態の窓で低域通過フィルタを決定するか、例えばレメツ（Ｒｅｍｅｚ）の交換アルゴリズム（前述のラビナー、ゴールド、第１３６〜１４０頁）といった最適化ルーチンによって設計される。
（２）ディジタルフィルタ特性は、用いられたフィルタの一部または全体を並列に画像信号に適用することによって達成される。得られた信号はノイズ抑制の目的で非線形処理される。非線形処理された画像信号は互いに加算される。このときの比率は、フィルタ特性が、ズーム比の関数である空間周波数においてピーク振幅を持つように設定される。所定比で加算された信号は、目的に応じて、元の信号に加算されるか、元の信号から低域通過または高域通過処理したものに加算される。この技術の概略は図２および図３に示す。
（３）上記フィルタの一部または全部を組み合わせて正規化し、単一のディジタルフィルタを構成してもよい。組合せの比率は、用いられるフィルタが、ズーム比の関数である正規化周波数においてピーク振幅を持つように計算される。この単一フィルタは画像データに適用され、その出力信号は、所定の画質向上係数で乗算される。得られた信号は、ノイズ抑制の目的で非線形処理が施されてもよいが、結局、元の画像信号に加算されるか、元の信号から低域または高域通過処理したものに加算される。この過程は図４に示される。
図４に示すように、乗算器９０ａ、９０ｂ、９０ｃ、９０ｄでは、バンドパスフィルタの係数集合Ａ、Ｂ、Ｃ、Ｄにゲインに係数Ａ、Ｂ、Ｃ、Ｄが乗算され、所定比のフィルタ係数が求められる。前述の例では、（３つの）バンドパスフィルタ係数の集合は、マトリクス（１）、（２）、（３）に示したフィルタＡ、Ｂ、Ｃに対する「Ｘ」型フィルタに相当する。一方、（３つの）ゲイン係数Ａ、Ｂ、Ｃは、（４）〜（７）で示されるゲイン方程式に対応する。加算器９２で所定比の係数を加算し、その係数の和をバンドパスフィルタ９３のタップに適用することによって所望のフィルタが得られる。図４のその他の構成要素は、図２の同一符号の要素と同様の機能を有する。
図４はまた、ダイナミック（動的）ズームを含む適用例を示す。この適用例では、ゲートをも有する加算器９２にフレームパルスが入力され、画像シーケンスの連続フィールドで画質向上フィルタの周波数特性を変更する。テレビに適用する場合は、必要な画質向上フィルタの演算をフィールド無効周期中に行う必要がある。すなわち、画像フィールドごとに新たなゲイン係数が制御器２４から出力されて、フィールドごとにバンドパスフィルタマトリクスＡ、Ｂ、Ｃの比が決定される。
本発明を特定の実施例に基づいて述べてきたが、本発明の原理、範囲内で多様な変形改良が可能である。

Claims (15)

1. ズーム処理を施すことにより空間周波数の変更を受ける画像信号の鮮鋭度を向上するための画像鮮鋭度向上装置であって、
   画像信号を生成する手段と、
   この画像信号に施されるズーム量を示す制御信号を生成する手段と、
   ゲイン調整に応じた複数の異なる通過帯域から導き出した１次通過帯域内で作動し、画像信号の画質を向上させる画質向上手段と、
   前記制御信号に応じ、所定の関係に従って異なる通過帯域に適用されるゲインを調整する手段とを備え、
   前記画質向上手段の１次通過帯域が、ズーム処理による画像信号の空間周波数の変化に追従する画像鮮鋭度向上装置。
2. 請求項１に記載の装置において、前記画質向上手段は、前記いずれかの通過帯域内で作動する複数のバンドパスフィルタと、前記通過帯域を通過した信号を合算して前記１次通過帯域のフィルタ出力を求める加算器とを含む、画像鮮鋭度向上装置。
3. 請求項２に記載の装置において、前記画質向上手段は、複数の画質向上信号を生成する複数の非線形プロセッサを含み、各プロセッサは、前記いずれかの通過帯域を通過した信号に作用する、画像鮮鋭度向上装置。
4. 請求項１に記載の装置において、前記画質向上手段は、各通過帯域にそれぞれ対応する複数のフィルタ係数集合と、ゲイン調整に応答して、前記複数のフィルタ係数集合にそれぞれ適用されるゲイン量に従って係数集合を割り当てる複数の乗算器と、前記割り当てられた係数集合を合算して、前記１次通過帯域における１次係数集合を求める加算器とを含む、画像鮮鋭度向上装置。
5. 請求項４に記載の装置において、前記画質向上手段は、前記１次係数集合を用いて前記１次通過帯域を通過する信号を生成するバンドパスフィルタを含む、画像鮮鋭度向上装置。
6. 請求項５に記載の装置において、前記画像向上手段は、前記１次通過帯域を通過した信号に作用して向上信号を生成する非線形プロセッサを含む、画像鮮鋭度向上装置。
7. ズーム処理を施すことにより空間周波数の変更を受けるディジタル画像信号をフィルタリングするための画像信号フィルタリング装置であって、
   ディジタル画像信号を生成する手段と、
   この画像信号に施されるズーム量を示す比率信号を生成する手段と、
   ゲイン調整に応答するとともに前記ディジタル画像信号に作用する複数の２次バンドパスフィルタ部の所定の組み合わせから導かれる１次帯域通過特性を有し、前記ディジタル画像信号を処理してディジタル画像信号の向上を行うフィルタ手段と、
   前記比率信号に応じて前記バンドパスフィルタ部に適用されるゲインを調整し、前記所定の組み合わせを生成する手段とを備え、
   前記フィルタ手段の通過帯域は、ズーム処理によるディジタル画像信号の空間周波数の変化に追随する、画像信号フィルタリング装置。
8. 請求項７に記載の装置において、前記フィルタ手段は、画像信号の離散アレイに応じたディジタルフィルタを有する、画像信号フィルタリング装置。
9. 請求項８に記載の装置において、前記バンドパスフィルタ部は複数のディジタルバンドパスフィルタから成り、その各々が異なる画像信号２次元アレイに呼応する、画像信号フィルタリング装置。
10. 請求項９に記載の装置において、前記各ディジタルバンドパスフィルタの周波数応答は、前記画像信号２次元アレイ上で「Ｘ」型に配置されたフィルタ係数集合によって決定される、画像信号フィルタリング装置。
11. 請求項１０に記載の装置において、前記バンドパスフィルタ部の出力から画像向上された画像信号を生成する非線形演算処理手段を備える、画像信号フィルタリング装置。
12. 請求項１１に記載の装置において、前記非線形演算処理手段は、複数の非線形プロセッサから成り、その各々がバンドパスフィルタ部の出力に作用する、画像信号フィルタリング装置。
13. 請求項７に記載の装置において、前記フィルタ手段は、前記バンドパスフィルタ部の出力を合算して前記１次帯域通過特性の信号を得る手段を含む、画像信号フィルタリング装置。
14. ズーム処理を施すことにより空間周波数の変更を受ける画像信号の鮮鋭度を向上するための画像鮮鋭度向上方法であって、
    画像信号を生成するステップと、
    この画像信号に施されるズーム量を示す制御信号を生成するステップと、
    異なる通過帯域を有する複数のバンドパスフィルタを設けるステップと、
    前記制御信号の大きさに応じて、前記各バンドパスフィルタの応答を割り当てるステップと、
    割り当てられた応答を合算して、ズーム処理による画像信号の空間周波数変化に追随する帯域限を持った合成バンドパスフィルタを形成するステップとを有する、画像鮮鋭度向上方法。
15. 請求項１４に記載の方法において、前記応答を割り当てるステップは、各フィルタに与えられるゲインの調整を含む、画像鮮鋭度向上方法。

Images