JP5617426B2 - ジャギー緩和処理装置及びジャギー緩和処理方法 - Google Patents

Description

本発明は、画像内に存在するジャギーの緩和処理を行うジャギー緩和処理装置及びジャギー緩和処理方法に関し、特に、Level-setフィルタを適用する場合の技術に関する。

近年のコンピューターの高性能化にあわせて、コンピューターによる画像生成・合成・処理の応用分野は、各種設計、芸術、娯楽、セキュリティなど多義にわたるようになってきた。一般に、これらコンピューターを用いて人工的に作られた絵（以降、人工画）は、現実に存在する風景を写真等におさめたもの（以降、自然画）とは異なり、「物体の境界がはっきりしている」「物体の輪郭が明確に線で描かれる」という自然画にはない特徴を備えているものが多い。

コンピューター上でこれらの画像を取り扱う際に問題となるのがエイリアシングノイズである。これは一般にジャギーと呼ばれ、画像上に存在する物体の輪郭線や模様がぎざぎざの状態になる現象をいう。画像を離散値の集合として扱うコンピューター画像処理においてジャギーは避けられない問題であり、特に輪郭が明瞭な人工画においては画像が醜くなってしまう大きな原因の一つである。

ジャギーを緩和するための方法としてLow-passフィルタを適用する方法がある（特許文献１）。しかし、Low-passフィルタを適用すると、人工画の特徴ともいえるはっきりとした輪郭がぼやけてしまうという問題点がある。

そこで、輪郭線の概形に沿ってぎざぎざを緩和する方法（Level-setフィルタ）が提案されている（非特許文献１）。この方法においては、画素中の局所領域に対して輪郭線の特徴を抽出し、この特徴を損なわないよう平滑化を行うため、入力画像の概形を保持したまま輪郭線のぎざぎざを緩和することができる。特に輪郭のはっきりしている人工画に対しては大きな効果が得られる。

以下、例をあげてより詳細に Level-setフィルタについて説明する。このフィルタでは、まず処理対象となる画素Ｉ_ｎとこれを含む局所領域に対して微分フィルタを適用し、水平（Ｉ_ｘ，Ｉ_ｘｘ）・垂直（Ｉ_ｙ，Ｉ_ｙｙ）・斜め（Ｉ_ｘｙ）方向の傾きを得る。図８にそれぞれの傾きを求めるための微分フィルタ係数を示す。そして、求めた傾きにより曲率に基づく特徴量を計算する（式１）。式１中のＩ_ｔが局所領域に対する特徴量となる。

この特徴量に重みを乗じたものを処理対象の画素に加え（式２）、さらに式１および式２を繰り返してゆくことにより、局所領域がよりなだらかな状態へと平滑化されてゆく。

この特徴量抽出・平滑化の繰り返しプロセスは、離散化によりぎざぎざとなった輪郭線に対して、もともと存在したであろうなだらかな輪郭線形状の特徴を推定し、これを再構成してゆくのと同じ効果を得る。そのため、輪郭線の概形を保持しながら輪郭線のぎざぎざを取り除くことができる。

特開平３−１３９７７４号公報

Bryan S.Morse and Duane Schwartzwald, "Image magnification using level set reconstruction", Proc. International Conf. Computer Vision, pp.333-341, 2001.

前記したように、Level-setフィルタによれば、輪郭線の概形を保ったまま画像内に存在するぎざぎざを緩和することができるが、その副作用として、元画像の詳細を保持できない場合がある。すなわち、図９（Ａ）に示すように、画像中に存在する鋭角のコーナー部をも、図９（Ｂ）に示すように、ぎざぎざとみなして平滑化してしまう問題が存在する。これらの図を見ても明らかなように、Level-setフィルタを適用すると、鋭角のコーナー部が滑らかになり、元画像の詳細が失われてしまう。

本発明は前記課題を解決するためになされたものであり、その目的は、元画像の詳細を保持したままジャギーを緩和することのできるジャギー緩和処理装置及びジャギー緩和処理方法を提供することである。

本発明の実施の形態に係る第１の特徴は、画像内に存在するジャギーの緩和処理を行うジャギー緩和処理装置であって、前記画像内のエッジ領域を認識するエッジ領域認識部と、前記画像内のコーナー領域を認識するコーナー領域認識部と、前記エッジ領域認識部及び前記コーナー領域認識部の認識結果に基づいて、前記画像内の画素のうち処理対象とする画素を選択する選択部と、前記選択部により選択された画素を含む特定領域に対して、その輪郭線の概形を保ったまま平滑化を行うフィルタを適用するフィルタ処理部とを備え、前記選択部が、前記エッジ領域の要素であり且つ前記コーナー領域の要素でない画素を処理対象として選択することである。
本発明の実施の形態に係る第２の特徴は、画像内に存在するジャギーの緩和処理を行うジャギー緩和処理装置であって、前記画像内のエッジ領域を認識するエッジ領域認識部と、前記画像内のコーナー領域を認識するコーナー領域認識部と、前記エッジ領域認識部及び前記コーナー領域認識部の認識結果に基づいて、前記画像内の画素のうち処理対象とする画素を選択する選択部と、前記選択部により選択された画素を含む特定領域に対して、その輪郭線の概形を保ったまま平滑化を行うフィルタを適用するフィルタ処理部とを備え、前記コーナー領域認識部が、前記画像内の１画素に対するコーナー判定を行う第１の処理と、前記第１の処理によりコーナーと誤判定された点を除外する第２の処理と、前記第２の処理によりコーナーと判定された点を拡張してコーナー領域とする第３の処理を行うことである。

本発明の実施の形態に係る第３の特徴は、画像内に存在するジャギーの緩和処理を行うジャギー緩和処理方法であって、前記画像内のエッジ領域を認識するエッジ領域認識ステップと、前記画像内のコーナー領域を認識するコーナー領域認識ステップと、前記エッジ領域認識ステップ及び前記コーナー領域認識ステップの認識結果に基づいて、前記画像内の画素のうち処理対象とする画素を選択する選択ステップと、前記選択ステップで選択された画素を含む特定領域に対して、その輪郭線の概形を保ったまま平滑化を行うフィルタを適用するフィルタ処理ステップとを備え、前記選択ステップで、前記エッジ領域の要素であり且つ前記コーナー領域の要素でない画素を処理対象として選択することである。
本発明の実施の形態に係る第４の特徴は、画像内に存在するジャギーの緩和処理を行うジャギー緩和処理方法であって、前記画像内のエッジ領域を認識するエッジ領域認識ステップと、前記画像内のコーナー領域を認識するコーナー領域認識ステップと、前記エッジ領域認識ステップ及び前記コーナー領域認識ステップの認識結果に基づいて、前記画像内の画素のうち処理対象とする画素を選択する選択ステップと、前記選択ステップで選択された画素を含む特定領域に対して、その輪郭線の概形を保ったまま平滑化を行うフィルタを適用するフィルタ処理ステップとを備え、前記コーナー領域認識ステップで、前記画像内の１画素に対するコーナー判定を行う第１の処理と、前記第１の処理によりコーナーと誤判定された点を除外する第２の処理と、前記第２の処理によりコーナーと判定された点を拡張してコーナー領域とする第３の処理を行うことである。

本発明によれば、元画像の詳細を保持したままジャギーを緩和することのできるジャギー緩和処理装置及びジャギー緩和処理方法を提供することが可能である。

本発明の第１の実施形態におけるジャギー緩和処理装置の構成図である。 本発明の第１の実施形態におけるジャギー緩和処理装置の処理を示すフローチャートである。 本発明の第１の実施形態におけるコーナー領域認識部の内部構造を示す図である。 本発明の第１の実施形態におけるSUSANフィルタで使用する円形マスクを示す図である。 本発明の第１の実施形態における除去部による処理を説明するための図である。 本発明の第１の実施形態における拡張部による処理を説明するための図である。 本発明の第２の実施形態におけるジャギー緩和処理装置の構成図である。 局所領域の傾きを算出するフィルタ係数を示す図である。 Level-set フィルタの副作用を示す図である。

以下、本発明の実施の形態について図面を参照して詳細に説明する。

本発明は、画像出力装置の画像改善（主にノイズ除去）に適用することができる。すなわち、データサイズ抑制のために圧縮されている画像を液晶ディスプレイなどの表示装置にそのまま出力すると、画像内の輪郭線がぎざぎざの状態で表示されてしまい、画像が醜くなる。そこで、本発明では、Level-setフィルタに基づいたジャギー緩和処理装置においてエッジ/コーナー認識技術を組み合わせ、画像内の特定の個所のみにLevel-setフィルタを適用することとしている。

図１は、本発明の第１の実施形態におけるジャギー緩和処理装置１０の構成図である。このジャギー緩和処理装置１０は、図１に示すように、エッジ領域認識部１１と、コーナー領域認識部１２と、選択部１３ａ及び１３ｂ（以降、一括して「選択部１３」という。）と、フィルタ処理部１４と、パラメータ設定部１５とを備えている。エッジ領域認識部１１は、画像内のエッジ領域を認識する。コーナー領域認識部１２は、画像内のコーナー領域を認識する。選択部１３は、エッジ領域認識部１１及びコーナー領域認識部１２の認識結果に基づいて、画像内の画素のうち処理対象とする画素を選択する。フィルタ処理部１４は、選択部１３により選択された画素を含む特定領域に対して、その輪郭線の概形を保ったまま平滑化を行うフィルタ（ここではLevel-setフィルタ）を適用する。パラメータ設定部１５は、エッジ領域認識部１１、コーナー領域認識部１２、及びフィルタ処理部１４で使用される各種パラメータを設定するための処理部である。

図２は、本発明の第１の実施形態におけるジャギー緩和処理装置１０の処理を示すフローチャートである。まず、入力されてきた1画素に対してラスタ操作順にそれぞれエッジ領域認識処理およびコーナー領域認識処理を行う（ステップＳ１→Ｓ２、Ｓ１→Ｓ３）。

１．エッジ領域認識処理
エッジ領域認識部１１は、Level-setフィルタのフィルタリング対象とする候補として、画像内のジャギー部分を含むエッジ領域を抽出する。具体的な方法については、認識対象となっている画素とこの画素を中心とした局所領域に微分フィルタを適用することで実現できる。微分フィルタとしては、例えばSobelフィルタが適用可能である。

２．コーナー領域認識処理
コーナー領域認識部１２は、図３に示すように、判定部１２ａと、除去部１２ｂと、拡張部１２ｃとを備えている。判定部１２ａは、画像内の１画素に対するコーナー判定を行う（第１の処理）。除去部１２ｂは、第１の処理によりコーナーと誤判定された点を除外する（第２の処理）。拡張部１２ｃは、第２の処理によりコーナーと判定された点を拡張してコーナー領域とする（第３の処理）。以下、第１から第３の処理を更に詳しく説明する。

２−１．第１の処理
判定部１２ａは、画像内の１画素がコーナー要素であるかどうかを判定する。判定の具体的な方法については、認識対象となっている画素とこの画素を中心とした局所領域にコーナー検出フィルタを適用することで実現できる。コーナー検出フィルタとしては、例えばSUSANフィルタが適用可能である。SUSANフィルタは、認識対象となっている画素とその周辺画素との差分絶対値を求め、円形マスク内に存在する画素のうち、この差分絶対値がしきい値以下である画素数をカウントする。これを式であらわすと式３のようになる。

図４は、SUSANフィルタで使用する円形マスク２１を示す図である。灰色の部分２２は画像内のコーナー部分を示し、白色の部分２３は画像内の背景部分を示している。

判定部１２ａは、SUSANフィルタ出力値の円形マスク２１の面積に対する割合が一定値以下である場合、画素Ｉ_ｎをコーナーと判定する。たとえば、図４の例では、SUSANフィルタの出力（＝マスク中に存在する同色の画素の合計）が１１、マスクの面積が３７である。灰色で示されているコーナー部分２２が鋭角になれば、SUSANフィルタの出力はより小さくなり、「コーナーである」と判定される。逆に、灰色で示されている部分２２がエッジ形状をとれば、SUSANフィルタの出力はこれより大きくなり、「コーナーでない」と判定されることになる。なお、SUSANフィルタ出力値の円形マスク２１の面積に対する割合については、画像の種類によって変更することもでき、ユーザーが指定することもできる。

２−２．第２の処理
除去部１２ｂは、SUSANフィルタによるコーナー判定方法で誤判定してしまう部分の除去を行う。具体的には、図５（a）に示すような細線を含む場合である。このような場合、中心画素Ｉ_ｎはコーナーではないものの、中心画素Ｉ_ｎとほぼ同じ画素値である画素の総数は少なく、結果的にSUSANフィルタの出力値も小さくなる。よって、コーナー部分ではない画素が「コーナーである」と誤判定されてしまう。これを防ぐために、中心画素Ｉ_ｎがコーナーであると判定されたもののうち、中心画素Ｉ_ｎが所定の画素パターンをとる場合、例外として「コーナーではない」とものと認識するようにする。所定の画素パターンとは、図５（ｂ）に示すように、水平方向が同色の場合、垂直方向が同色の場合、斜め方向が同色の場合などである。

２−３．第３の処理
拡張部１２ｃは、第１および第２の処理が完了した後、コーナーと判定された点を拡張してコーナー領域を決定する。具体的には、「コーナーである」と判定された画素I[x,y]を中心として、周囲4点（上下左右）のピクセルに対し、次の条件で判定を行う。

図６における例では、コーナーと判定された画素Ｉ_１の1ピクセル右の画素Ｉ_２、および1ピクセル下の画素Ｉ_３もコーナーに含めている。すなわち、最終的には、Ｉ_１〜Ｉ_３の3ピクセルをコーナー領域として認識することになる。

３．選択処理
次に、選択部１３は、エッジ領域認識・コーナー領域認識の結果をもとに、Level-setフィルタのフィルタリング対象とする領域を決める（ステップＳ５）。本発明においては、コーナー領域を除くジャギーを含んだエッジ領域のみを平滑化したいので、表１の判定条件にて選択を行う。すなわち、選択部１３は、エッジ領域の要素であり且つコーナー領域の要素でない画素を処理対象として選択するようになっている。

４．フィルタ処理
一方、フィルタ処理部１４は、入力されてきた画素に対してLevel-setフィルタを施す（ステップＳ１→Ｓ４）。この処理ステップは式１のフローに従う。そして、選択部１３は、上記した選択処理の結果に従い、Level-setフィルタが施された画素値もしくは施されていない画素値を選択的に出力する（ステップＳ５→Ｓ６）。

これにより、フィルタリング対象として選択された画素のみが平滑化されることになる。上記の手順を最終画素まで繰り返すと、処理を終了する（ステップＳ７）。

以上のように、本発明の第１の実施形態におけるジャギー緩和処理装置１０によれば、入力されてきた画像に対してそれぞれエッジ/コーナー認識処理を行い、この結果をもとに選択した部分にのみLevel-setフィルタを適用するので、元画像の詳細を保持したままジャギーを緩和することができる。特に、セルアニメーションやＣＧ画像に代表される人工画に非常に効果的である。また、このジャギー緩和処理装置１０によれば、フィルタ処理の対象となる部分をあらかじめ選択するので、全画面に対して一様にフィルタを適用する場合に比べて計算量を大幅に削減することが可能である。

（第２の実施形態）
ところで、前記第１の実施形態におけるエッジ領域認識処理は、局所領域の特徴量を求める過程（式１）で行われる演算と等価である。具体的には、水平方向の傾き（Ｉ_ｘ）と垂直方向の傾き（Ｉ_ｙ）を求める手順が、エッジ領域認識処理で使用するSobelフィルタそのものである。そこで、この演算を共通化した構成を第２の実施形態に示す。

図７は、本発明の第２の実施形態におけるジャギー緩和処理装置１０の構成図である。この図に示すように、本実施形態では、エッジ領域認識処理とLevel-setフィルタの両方で実行されるSobelフィルタを共通化している。すなわち、Level-setフィルタにおいては、式１にあるとおり、局所領域における水平方向の傾き（Ｉ_ｘ）および垂直方向の傾き（Ｉ_ｙ）を最初に計算する。この計算が行われた時点で、第１の実施形態におけるエッジ領域認識処理と同等の認識処理を行う。そして、エッジ領域の要素であり且つコーナー領域の要素でない画素についてのみ、Level-setフィルタの残りの処理を実行する。

以上のように、本発明の第２の実施形態におけるジャギー緩和処理装置１０によれば、エッジ領域認識処理とLevel-setフィルタの両方で実行されるSobelフィルタを共通化しているので、Level-setフィルタにおける演算量を削減することができる。

なお、第１または第２の実施形態において、それぞれのブロックの実装方式は問わない。言い換えると、ソフトウェア実装・ＤＳＰでの実装・ハードウエアロジックでの実装などどのような手段を用いてもかまわない。

また、選択部１３における判定条件は実施形態に挙げたものに限るものではなく、画像の種類やアプリケーションによって変更可能である。たとえば、比較的平坦な領域もより滑らかにしたいという要求がある場合は、エッジ領域判定処理の結果にかかわらず、コーナー領域を除外したすべての領域を平滑化することも可能である。

また、コーナー領域認識部１２の最終段の拡張部１２ｃは実施形態に述べた方法に限らない。すなわち、領域拡張処理を行わなくてもよく、逆に、領域拡張処理を繰り返し適用することによりコーナー領域と判定される部分をより広くすることもできる。これについては画像の種類によって切り替えてもよいし、ユーザーが指定してもよい。

１０…ジャギー緩和処理装置
１１…エッジ領域認識部
１２…コーナー領域認識部
１２ａ…判定部
１２ｂ…除去部
１２ｃ…拡張部
１３…選択部
１４…フィルタ処理部

Claims (4)

1. 画像内に存在するジャギーの緩和処理を行うジャギー緩和処理装置であって、
   前記画像内のエッジ領域を認識するエッジ領域認識部と、
   前記画像内のコーナー領域を認識するコーナー領域認識部と、
   前記エッジ領域認識部及び前記コーナー領域認識部の認識結果に基づいて、前記画像内の画素のうち処理対象とする画素を選択する選択部と、
   前記選択部により選択された画素を含む特定領域に対して、その輪郭線の概形を保ったまま平滑化を行うフィルタを適用するフィルタ処理部と、
   を備え、
   前記選択部は、前記エッジ領域の要素であり且つ前記コーナー領域の要素でない画素を処理対象として選択することを特徴とするジャギー緩和処理装置。
2. 画像内に存在するジャギーの緩和処理を行うジャギー緩和処理装置であって、
   前記画像内のエッジ領域を認識するエッジ領域認識部と、
   前記画像内のコーナー領域を認識するコーナー領域認識部と、
   前記エッジ領域認識部及び前記コーナー領域認識部の認識結果に基づいて、前記画像内の画素のうち処理対象とする画素を選択する選択部と、
   前記選択部により選択された画素を含む特定領域に対して、その輪郭線の概形を保ったまま平滑化を行うフィルタを適用するフィルタ処理部と、
   を備え、
   前記コーナー領域認識部は、前記画像内の１画素に対するコーナー判定を行う第１の処理と、前記第１の処理によりコーナーと誤判定された点を除外する第２の処理と、前記第２の処理によりコーナーと判定された点を拡張してコーナー領域とする第３の処理を行うことを特徴とするジャギー緩和処理装置。
3. 画像内に存在するジャギーの緩和処理を行うジャギー緩和処理方法であって、
   前記画像内のエッジ領域を認識するエッジ領域認識ステップと、
   前記画像内のコーナー領域を認識するコーナー領域認識ステップと、
   前記エッジ領域認識ステップ及び前記コーナー領域認識ステップの認識結果に基づいて、前記画像内の画素のうち処理対象とする画素を選択する選択ステップと、
   前記選択ステップで選択された画素を含む特定領域に対して、その輪郭線の概形を保ったまま平滑化を行うフィルタを適用するフィルタ処理ステップと、
   を備え、
   前記選択ステップでは、前記エッジ領域の要素であり且つ前記コーナー領域の要素でない画素を処理対象として選択することを特徴とするジャギー緩和処理方法。
4. 画像内に存在するジャギーの緩和処理を行うジャギー緩和処理方法であって、
   前記画像内のエッジ領域を認識するエッジ領域認識ステップと、
   前記画像内のコーナー領域を認識するコーナー領域認識ステップと、
   前記エッジ領域認識ステップ及び前記コーナー領域認識ステップの認識結果に基づいて、前記画像内の画素のうち処理対象とする画素を選択する選択ステップと、
   前記選択ステップで選択された画素を含む特定領域に対して、その輪郭線の概形を保ったまま平滑化を行うフィルタを適用するフィルタ処理ステップと、
   を備え、
   前記コーナー領域認識ステップでは、前記画像内の１画素に対するコーナー判定を行う第１の処理と、前記第１の処理によりコーナーと誤判定された点を除外する第２の処理と、前記第２の処理によりコーナーと判定された点を拡張してコーナー領域とする第３の処理を行うことを特徴とするジャギー緩和処理方法。