JP4747219B2 - 画像処理装置、画像処理方法 - Google Patents

Description

本発明は、ラスタ画像中のオブジェクトをグラディエント・メッシュに変換する際に、メッシュとオブジェクトとの間の色誤差を減らすようにメッシュの位置、勾配、色を調整してオブジェクトを近似する、画像の解像度フリー表現技術に関するものである。

従来、イラストや文字の解像度フリー表現には、オブジェクトの輪郭をベジェ、スプライン関数などで関数近似する手法が用いられている。この手法は高速かつ一般的であるが、複雑なグラデーションの表現が困難である。

解像度フリーで複雑なグラデーションを含むオブジェクトを描画するためには、Ａｄｏｂｅ Ｉｌｌｕｓｔｒａｔｏｒ（登録商標）のグラディエント・メッシュ・ツールが一般に用いられている。グラディエント・メッシュでは、メッシュに色と勾配を与えて三次関数を生成することで複雑なオブジェクトを描画することができる（特許文献１、２）。

複雑なグラデーションを含むオブジェクトを解像度フリー表現するために、画像をメッシュで近似する手法が幾つか提案されている。三角形パッチを用いて画像を近似する手法（特許文献３）、ベジェパッチを細分割して近似誤差を低減する手法（非特許文献１）などが挙げられる。また、最適化問題を解いてグラディエント・メッシュを構築することで、少ないメッシュ数で解像度フリーを実現する手法も提案されている（特許文献４、非特許文献２）。

特開平１１−３４５３４７号公報 特開平１０−３２０５８５号公報 特登録０３７６４７６５号 ＵＳ ２００８／０２７８４７９

Brian Price,William Barrett,「Object-based vectorization for interactive image editing」,In proceedings of Pacific Graphics 2006,2006,vol.22,no.9-11,p.661-670. Jian Sun,Lin Liang,Fang Wen,Heung-Yeung Shum,「Image Vectorization using Optimized Gradient Meshes」,In proceedings of SIGGRAPH 2007,2007,vol.26,no.3.

上述の三角形パッチを用いて画像を近似する手法では、オブジェクトの境界表現において問題がある。オブジェクトの境界が滑らかな曲線である場合、線形メッシュで曲線を忠実に近似することは困難であり、忠実に近似するためには多数のメッシュを用いなければならない。より少ないメッシュ数で複雑な境界を近似するためには、高次のメッシュを用いる必要がある。

上述のベジェパッチを細分割して近似誤差を低減する手法では、高次のメッシュを用いるため、オブジェクト境界の近似を忠実に行うことができる。しかしながら、近似誤差を低減するためにメッシュを細分割しているため、オブジェクトの色変化が複雑な部分でメッシュ数が増え、データ量も増大してしまう。

上述の最適化問題を解いてグラディエント・メッシュを構築する手法、評価関数を三角形パッチ単位で計算する手法では、オブジェクト境界やオブジェクトの色変化が複雑な部分においても、より少ないメッシュ数で解像度フリーを実現することができる。しかし、アンチエイリアシングなどの処理でオブジェクト境界に発生する、オブジェクトと背景の中間色を持つ画素にグラディエント・メッシュの頂点を配置した場合、メッシュの内部に中間色の影響が拡大してしまう。そしてこれにより、十分な近似精度でメッシュが生成できないという問題が発生する。

本発明は以上の問題に鑑みて成されたものであり、グラディエント・メッシュによるオブジェクトの近似を効率的に行うための技術を提供することを目的とする。

本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。即ち、画像処理装置であって、画像からオブジェクトの領域をオブジェクト領域として抽出する手段と、前記オブジェクト領域を複数のメッシュに分割する分割手段と、前記複数のメッシュのそれぞれの頂点のうち前記オブジェクト領域の枠部上に位置する頂点を境界頂点とし、当該境界頂点が属するメッシュにおいて該境界頂点から前記オブジェクト領域の内側に向かう方向に沿う一辺上に位置する画素群のうち、当該方向への色の変化量が閾値以下となる位置における画素を補正画素として特定する特定手段と、隣接する補正画素の間を結ぶ曲線を、それぞれの補正画素間について求め、求めたそれぞれの曲線で囲まれた領域を補正対象外領域として求める手段と、前記オブジェクト領域の枠部上に位置するそれぞれの画素の画素値として、前記補正対象外領域の枠部上の画素の画素値を割り当てることで、前記オブジェクト領域を更新する更新手段とを備えることを特徴とする。

本発明の構成によれば、グラディエント・メッシュによるオブジェクトの近似を効率的に行うことができる。

第１の実施形態に係る画像処理装置の機能構成例を示すブロック図。 メッシュ生成部１０２が、オブジェクト領域のデータを用いて行う処理のフローチャート。 抽出されたオブジェクト領域を示す図。 ステップＳ２０７における処理を説明するための図。 境界補正部１０３が行う処理のフローチャート。 オブジェクト領域を示す図。 オブジェクト領域の境界部分を示す図。 コンピュータのハードウェア構成例を示す図。 境界補正部１０３が行う処理のフローチャート。 オブジェクト領域を示す図。 オブジェクト領域の境界部分を示す図。 境界補正部１０３が行う処理のフローチャート。 オブジェクト領域を示す図。 オブジェクト領域の境界部分を示す図。 第３の実施形態に係る画像処理装置の機能構成例を示すブロック図。 境界補正部１５０１が行う処理のフローチャート。 オブジェクト領域を示す図。 オブジェクト領域の境界部分を示す図。

以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。

［第１の実施形態］
先ず、図１を用いて、本実施形態に係る画像処理装置の機能構成例について説明する。図１に示す如く、本実施形態に係る画像処理装置は、オブジェクト入力部１０１、初期メッシュ生成部１０２、境界補正部１０３、補正メッシュ生成部１０４、を有している。

オブジェクト入力部１０１には、１以上のオブジェクトを含む入力画像が入力される。この「オブジェクト」とは、文字や物体像などを指し示しており、本実施形態では、この「オブジェクト」は、色のグラデーションを有しているものとして説明する。

そしてオブジェクト入力部１０１は、この入力画像からオブジェクトの領域をオブジェクト領域として抽出する処理を行う。図３（ａ）に、抽出されたオブジェクト領域の一例を示す。抽出されたオブジェクト領域のデータには、オブジェクト領域３０１の枠部３０３を構成する各画素の、入力画像上における座標位置と、オブジェクト領域３０１の内部３０２を構成する各画素の画素値と、が含まれている。本実施形態では、画素値は、ＲＧＢのそれぞれの色成分が８ビットで表現されているものとして説明するが、色成分の種別、１つの色成分を構成するビット数、についてはこれに限定するものではない。また、オブジェクト領域のデータの構成については、オブジェクト領域の枠部を構成する各画素の座標位置、オブジェクト領域の内部を構成する各画素の画素値、が導出できるのであれば、他のデータ構成であっても良い。そしてオブジェクト入力部１０１は、抽出したオブジェクト領域のデータを、後段の初期メッシュ生成部１０２に送出する。

図２を用いて、初期メッシュ生成部１０２が、オブジェクト領域のデータを用いて行う処理について説明する。ステップＳ２０１では、初期メッシュ生成部１０２は、オブジェクト領域の枠部を構成する各画素の座標位置を用いて、オブジェクト領域内における基準位置を求める。本実施形態では、この基準位置として、オブジェクト領域の重心位置（中心位置）を求める。もちろん、オブジェクト領域内における基準位置は中心位置に限定するものではないし、中心位置を求めるための処理はこれに限定するものではない。

次に、ステップＳ２０２では、初期メッシュ生成部１０２は、ステップＳ２０１で求めた中心位置で互いに直交する２軸（ｘ軸、ｙ軸）をオブジェクト領域上に設けることで、この２軸でオブジェクト領域を４分割する。即ち、４つの分割領域を求める。

図３（ｂ）を用いて、ステップＳ２０１、Ｓ２０２における処理を説明する。図３（ｂ）において４０１は、ステップＳ２０１で求めた中心位置を示す。４０２，４０３は、この中心位置４０１で互いに直交する２軸で、それぞれ入力画像におけるｘ軸方向、ｙ軸方向に沿っている。このような２軸４０２，４０３を設定することで、オブジェクト領域３０１は、分割領域４０４，４０５，４０６，４０７に分割される。

図２に戻って、次に、ステップＳ２０３、Ｓ２０４では、初期メッシュ生成部１０２は、それぞれの分割領域の枠部上に代表点を、対向する分割領域で代表点間の距離が最も長くなるように設定する。

図３（ｃ）を用いて、ステップＳ２０３、Ｓ２０４における処理を説明する。図３（ｃ）において５０１は分割領域４０４の枠部を示しており、５０２は分割領域４０５の枠部を示しており、５０３は分割領域４０６の枠部を示しており、５０４は分割領域４０７の枠部を示している。

ここで初期メッシュ生成部１０２は、分割領域４０４の枠部５０１上に代表点を設けると共に、分割領域４０４と対向する分割領域４０６の枠部５０３上にも代表点を設けるが、それぞれの代表点間の距離が最大となるように、それぞれの代表点の位置を決める。その結果、図３（ｃ）に示す如く、枠部５０１上における代表点として代表点５０７が設定され、枠部５０３上における代表点として代表点５０９が設定される。

同様に初期メッシュ生成部１０２は、分割領域４０５の枠部５０２上に代表点を設けると共に、分割領域４０５と対向する分割領域４０７の枠部５０４上にも代表点を設けるが、それぞれの代表点間の距離が最大となるように、それぞれの代表点の位置を決める。その結果、図３（ｃ）に示す如く、枠部５０２上における代表点として代表点５０８が設定され、枠部５０４上における代表点として代表点５１０が設定される。

即ち、係る処理によれば、それぞれの分割領域の枠部上に１つの代表点を設定することができ、これにより、４つの代表点を偏りなく配置することができる。

図２に戻って、次に、ステップＳ２０５では、初期メッシュ生成部１０２は、隣接する代表点の間を結ぶ３次ベジェスプライン曲線（パラメトリック曲線）を求める処理を、それぞれの代表点間について行うことで、４つの３次ベジェスプライン曲線を求める。これにより、オブジェクト領域の枠部の形状を、この４つの３次ベジェスプライン曲線を用いて近似することができる。

次に、ステップＳ２０６では、初期メッシュ生成部１０２は、ステップＳ２０５で求めた４つの３次ベジェスプライン曲線からクーンズパッチを生成することで、この４つの３次ベジェスプライン曲線から１つのパラメトリック曲面を求める。

図３（ｄ）を用いて、ステップＳ２０５、Ｓ２０６における処理を説明する。図３（ｄ）において６０１は、代表点５０７と代表点５０８とを結ぶ３次ベジェスプライン曲線である。また、６０２は、代表点５０８と代表点５０９とを結ぶ３次ベジェスプライン曲線である。また、６０３は、代表点５０９と代表点５１０とを結ぶ３次ベジェスプライン曲線である。また、６０４は、代表点５１０と代表点５０７とを結ぶ３次ベジェスプライン曲線である。

従って図３（ｄ）の場合、初期メッシュ生成部１０２は、ステップＳ２０５で４つの３次ベジェスプライン曲線６０１〜６０４を求める。そして初期メッシュ生成部１０２は、ステップＳ２０６でこの４つの３次ベジエスプライン曲線６０１〜６０４で囲まれた領域をクーンズパッチでパラメトリック曲面表現することで、パラメトリック曲面６０５を求める。なお、係る処理については周知の技術であるので、これ以上の説明は省略する。

図２に戻って、次に、ステップＳ２０７では、初期メッシュ生成部１０２は、ステップＳ２０６で求めたパラメトリック曲面を、ｕ方向、ｖ方向、それぞれに均一に分割してメッシュ群を生成する。即ち、ｕ方向、ｖ方向に２次元的にパラメトリック曲面上の点をサンプリングすることで、サンプリングした４点で規定されるメッシュ単位で、パラメトリック曲面（オブジェクト領域）を分割する。この分割処理により、メッシュを構成する各頂点について、その位置を示す位置情報、その位置における勾配情報、その位置における色情報が求まる。

なお、その後の最適処理を効率的に行うため、メッシュ生成では、最適メッシュに近い位置にメッシュを生成することが望ましい。また、メッシュ数も画像の特徴に応じて適応的に配置されることが望ましい。

図４を用いて、ステップＳ２０７における処理を説明する。図４では、３次ベジエスプライン曲線７０１，７０３がｕ方向（即ちパラメトリック曲面が規定する方向）、３次ベジエスプライン曲線７０２，７０４がｖ方向（即ちパラメトリック曲面が規定する方向）とする。この場合、ｕ方向、ｖ方向に２次元的にパラメトリック曲面上の点をサンプリングすることで、サンプリングした４点で規定されるメッシュ単位でパラメトリック曲面を分割し、これによりメッシュ群７０５を生成する。即ち、パラメトリック曲面を複数のメッシュに均一に分割する。

ここで「均一に分割」とは、パラメトリック曲面はｕ、ｖ方向それぞれ０〜１の値を取る媒介変数で表現されているため、例えば、パラメトリック曲面を１０分割する場合、媒介変数を０．１刻みで変化させた場合の各位置の点をサンプリングすることを指す。もちろん、分割数は任意に設定しても良い。図４では、ｕ、ｖ方向共に分割数を１５に設定している。

初期メッシュ生成部１０２が上記の処理を行った後、境界補正部１０３は、オブジェクト入力部１０１により得られたオブジェクト領域のデータと、初期メッシュ生成部１０２により得られた初期メッシュ群とを用いて、オブジェクト領域の境界部分を補正する。図５〜７を用いて、境界補正部１０３が行う処理について説明する。

ここで、オブジェクト入力部１０１において抽出されたオブジェクト領域は、図６（ａ）に示す如く、アンチエイリアシングがかかっていない領域９０１とアンチエイリアシングがかかっている領域９０２とで構成されている。このようなオブジェクト領域を処理対象にすると、初期メッシュ生成部１０２では、図６（ｂ）に示す如く、領域９０１内の頂点９５０と、領域９０２内の頂点９０３（境界頂点）と、が得られることになる。

ここで、図６（ｂ）に示した頂点群による初期メッシュ群を表示すると、グラディエント・メッシュは頂点間で色の補間を行っているので、図６（ｃ）に示す如く、オブジェクト領域の内部までアンチエイリアシングで生成された中間色の影響が及んでしまう。

本実施形態では、境界頂点９０３が属するメッシュの、オブジェクト領域の内側への方向に沿った一辺上に位置する画素群のうち、この方向への色の変化量が閾値以下となる位置における画素を補正画素として特定する処理を、他の境界頂点群についても行う。色の変化量は、一辺上に位置する画素群の近隣画素を参照して算出する。一辺上に位置するＮ番目の画素の画素値をＸ（Ｎ）、（Ｎ−１）番目の画素の画素値をＸ（Ｎ−１）としたとき、色の変化量は、Ｄ（Ｎ）＝｜Ｘ（Ｎ）−Ｘ（Ｎ−１）｜で表される。この場合、Ｄ（Ｎ）が閾値以下であれば、Ｎ番目の画素が補正画素として採用される。そして、隣接する補正画素の間を結ぶ曲線を、それぞれの補正画素間について求め、求めたそれぞれの曲線で囲まれた領域を補正対象外領域として求める。そして、補正対象外領域とオブジェクト領域との差分領域を構成する各画素の画素値として、補正対象外領域の枠部上の画素の画素値を割り当てることで、オブジェクト領域を更新する。これにより、アンチエイリアシングで生成された中間色を除去することができる。

先ず、ステップＳ８０１では、境界補正部１０３は、オブジェクト領域の枠部（境界線）上に位置するそれぞれの境界頂点について、補正画素を検索する。より詳しくは、境界頂点が属するメッシュの、オブジェクト領域の内側への方向に沿った一辺上に位置する画素群のうち、この方向への色の変化量が閾値以下となる位置における画素を検索し、この検索した画素を補正画素として特定する。

図７（ａ）において１００１は境界頂点、１００４はオブジェクト領域の枠部である。ステップＳ８０１では、この境界頂点１００１から矢印の方向に補正画素検索処理を開始し、この方向への色の勾配（変化量）が閾値以下となる位置における画素を、補正画素として特定する。図７（ａ）において１００２は係る検索の結果、特定した補正画素である。なお、ここでは色の勾配から、オブジェクト領域の内側を代表する色の画素値を有する補正画素１００２を特定したが、メッシュに沿って画素を探索する方法であれば、他の方法を用いても構わない。

次に、ステップＳ８０２では、境界補正部１０３は、隣接する補正画素の間を結ぶ曲線（内側境界線）を、それぞれの補正画素間について求める。ここでは、係る曲線を、メッシュからパラメトリック曲線を用いて導出しているが、他の手法を用いても良い。図７（ａ）において１００３は、内側境界線を示している。図６（ｄ）において９０４は内側境界線であり、９０５はオブジェクト領域の境界線である。

次に、ステップＳ８０３では、境界補正部１０３は、オブジェクト領域の枠部（境界線）と内側境界線との間を境界領域に設定する。図７（ａ）において、境界線１００４と内側境界線１００３との間の領域１００５が、ステップＳ８０３で設定された境界領域である。図６（ｄ）において９０６は境界領域である。

次に、ステップＳ８０４では、境界補正部１０３は、図７（ｂ）に示す如く、境界領域１００５内の各画素の画素値として、内側境界線１００３上に位置する各画素の画素値を割り当てる。係る割り当て処理には、様々な処理を適用することができるが、例えば、境界領域内の着目画素の画素値については、内側境界線上の画素群のうち着目画素と最も距離が短い画素を特定し、特定した画素の画素値を着目画素に割り当てる。以上の処理によれば、図６（ｅ）に示す如く、アンチエイリアシングがかかった領域は補正される。

補正メッシュ生成部１０４は、境界補正部１０３により補正されたオブジェクト領域のデータを用いて初期メッシュ生成部１０２と同様の処理を行い、図６（ｆ）に示すように、アンチエイリアシングが除去された補正メッシュを生成する。図６（ｃ）に示したオブジェクト領域と図６（ｆ）に示したオブジェクト領域とを比較したとき、図６（ｆ）に示したオブジェクト領域の方が、図６（ａ）に示したオブジェクト領域に近いメッシュを生成されていることが分かる。なお、補正メッシュ生成部１０４による処理結果としてのデータは、画像処理装置内のメモリに格納しても良いし、表示などの目的で画像処理装置の外部に出力しても良い。

以上の説明により本実施形態によれば、オブジェクト領域の境界付近の画素値を補正し、アンチエイリアシング等で発生するオブジェクトと背景の中間色の影響を排除することで、グラディエント・メッシュによるオブジェクトの画質を向上させることができる。

＜第１の実施形態の変形例＞
図１に示した各部はハードウェアで構成しても良いが、ソフトウェア（コンピュータプログラム）として実装しても良い。この場合、このソフトウェアは、ＰＣ（パーソナルコンピュータ）等、一般のコンピュータのメモリにインストールされることになる。そしてこのコンピュータのＣＰＵがこのインストールされたソフトウェアを実行することで、このコンピュータは、上述の画像処理装置の機能（図１に示した各部の機能）を実現することになる。即ち、このコンピュータは、上述の画像処理装置に適用することができる。図８を用いて、第１の実施形態に係る画像処理装置として適用可能なコンピュータのハードウェア構成例について説明する。

ＣＰＵ１１０１は、ＲＡＭ１１０２やＲＯＭ１１０３に格納されているコンピュータプログラムやデータを用いて、コンピュータ全体の制御を行うと共に、画像処理装置が行うものとして説明した上述の各処理を実行する。即ち、図１に示した各部が行うものとして上述した各処理を実行する。

ＲＡＭ１１０２は、コンピュータ読み取り可能な記憶媒体の一例である。ＲＡＭ１１０２は、外部記憶装置１１０７や記憶媒体ドライブ１１０８からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）１１０９を介して外部装置から受信したデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ１１０２は、ＣＰＵ１１０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ１１０２は、各種のエリアを適宜提供することができる。ＲＯＭ１１０３は、コンピュータ読み取り可能な記憶媒体の一例であり、コンピュータの設定データや、ブートプログラムなどが格納されている。

キーボード１１０４、マウス１１０５は、コンピュータの操作者が操作することで、各種の指示をＣＰＵ１１０１に対して入力することができる。表示装置１１０６は、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ１１０１による処理結果を画像や文字などでもって表示することができる。例えば、上記入力画像を表示したり、抽出したオブジェクト領域を明示的に表示したり、更新（補正）されたオブジェクト領域を表示したり、メッシュ符号化の過程で求めた３次ベジエスプライン曲線やパラメトリック曲面等を表示したりすることができる。

外部記憶装置１１０７は、コンピュータ読み取り可能な記憶媒体の一例であり、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置１１０７には、ＯＳ（オペレーティングシステム）や、図１に示した各部の機能をＣＰＵ１１０１に実現させるためのコンピュータプログラムやデータ、上記入力画像のデータ、既知の情報として説明した情報等が保存されている。外部記憶装置１１０７に保存されているコンピュータプログラムやデータは、ＣＰＵ１１０１による制御に従って適宜ＲＡＭ１１０２にロードされ、ＣＰＵ１１０１による処理対象となる。

記憶媒体ドライブ１１０８は、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体に記録されているコンピュータプログラムやデータを読み出し、読み出したコンピュータプログラムやデータを外部記憶装置１１０７やＲＡＭ１１０２に出力する。なお、外部記憶装置１１０７に保存されているものとして説明した情報の一部若しくは全部をこの記憶媒体に記録させておき、この記憶媒体ドライブ１１０８に読み取らせても良い。

Ｉ／Ｆ１１０９は、外部装置をコンピュータに接続する為のものである。例えば、ディジタルカメラなど、上記入力画像を取得するための装置を、このＩ／Ｆ１１０９に接続し、この装置から入力画像をＩ／Ｆ１１０９を介してＲＡＭ１１０２や外部記憶装置１１０７に取得するようにしても良い。１１１０は、上述の各部を繋ぐバスである。

上記構成において、本コンピュータの電源がＯＮになると、ＣＰＵ１１０１はＲＯＭ１１０３に格納されている上記ブートプログラムに従って、外部記憶装置１１０７からＯＳをＲＡＭ１１０２にロードする。この結果、キーボード１１０４、マウス１１０５を介した情報入力操作が可能となり、表示装置１１０６にＧＵＩを表示することが可能となる。ユーザが、キーボード１１０４やマウス１１０５を操作し、外部記憶装置１１０７に格納された画像処理用アプリケーションプログラムの起動指示を入力すると、ＣＰＵ１１０１はこのプログラムをＲＡＭ１１０２にロードし、実行する。これにより、本コンピュータが上記の画像処理装置として機能することになる。なお、ＣＰＵ１１０１が実行する画像処理用のアプリケーションプログラムは、基本的に図２、図５に示す各構成要素に相当する関数を備えることになる。

［第２の実施形態］
第１の実施形態では、境界領域を構成する全ての画素の画素値を補正した。しかし、第１の実施形態では、中間色の影響を広く排除できる反面、オブジェクトとして採用すべき画素まで補正してしまう可能性がある。また、グラディエント・メッシュの境界頂点は、その後の処理で移動させたとしても、オブジェクトの境界線上を移動させればよい。そのため、最低限オブジェクトの境界画素を補正すれば、メッシュをレンダリングした時の中間色の影響は排除できる。然るに、本実施形態では、オブジェクト領域の境界線上の画素のみを補正する。本実施形態に係る画像処理装置は、境界補正部１０３の動作のみが第１の実施形態と異なる。

オブジェクト入力部１０１において抽出されたオブジェクト領域は、図１０（ａ）に示す如く、アンチエイリアシングがかかっていない領域９０１とアンチエイリアシングがかかっている領域９０２とで構成されている。然るに、このようなオブジェクト領域を処理対象にすると、初期メッシュ生成部１０２では、図１０（ｂ）に示す如く、領域９０１内の頂点９５０と、領域９０２内の頂点９０３（境界頂点）と、が得られることになる。

ここで、図１０（ｂ）に示した頂点群による初期メッシュ群を表示すると、グラディエント・メッシュは頂点間で色の補間を行っているので、図１０（ｃ）に示す如くオブジェクト領域の内部までアンチエイリアシングで生成された中間色の影響が及んでしまう。

本実施形態では、境界頂点９０３が属するメッシュの、オブジェクト領域の内側への方向に沿った一辺上に位置する画素群のうち、この方向への色の変化量が閾値以下となる位置における画素を補正画素として特定する処理を、他の境界頂点群についても行う。そして、隣接する補正画素の間を結ぶ曲線を、それぞれの補正画素間について求め、求めたそれぞれの曲線で囲まれた領域を補正対象外領域として求める。そして、オブジェクト領域の枠部上に位置するそれぞれの画素の画素値として、補正対象外領域の枠部上の画素の画素値を割り当てることで、オブジェクト領域を更新する。

先ず、ステップＳ１２０１では、境界補正部１０３は、上記ステップＳ８０１と同様にして、オブジェクト領域の枠部（境界線）上に位置するそれぞれの境界頂点について、補正画素を検索する。

次に、ステップＳ１２０２では、境界補正部１０３は、上記ステップＳ８０２と同様にして、隣接する補正画素の間を結ぶ曲線（内側境界線）を、それぞれの補正画素間について求める。

次に、ステップＳ１２０３では、境界補正部１０３は、オブジェクト領域の枠部（境界線）と内側境界線との間を境界領域に設定する。図１０（ｄ）において９０６は境界領域である。

次に、ステップＳ１２０４では、境界補正部１０３は、図１１に示す如く、オブジェクト領域の境界線１００４上の各画素の画素値として、内側境界線１００３上に位置する各画素の画素値を割り当てる。係る割り当て処理には、様々な処理を適用することができるが、例えば、オブジェクト領域の境界線上の着目画素の画素値については、内側境界線上の画素群のうち着目画素と最も距離が短い画素を特定し、特定した画素の画素値を着目画素に割り当てる。以上の処理によれば、図１０（ｅ）に示す如く、オブジェクト領域の枠部は補正される。

補正メッシュ生成部１０４は、境界補正部１０３により補正されたオブジェクト領域のデータを用いて初期メッシュ生成部１０２と同様の処理を行い、図１０（ｆ）に示すように、アンチエイリアシングが除去された補正メッシュを生成する。図１０（ｃ）に示したオブジェクト領域と図１０（ｆ）に示したオブジェクト領域とを比較したとき、図１０（ｆ）に示したオブジェクト領域の方が、図１０（ａ）に示したオブジェクト領域に近いメッシュを生成されていることが分かる。なお、補正メッシュ生成部１０４による処理結果としてのデータは、画像処理装置内のメモリに格納しても良いし、表示などの目的で画像処理装置の外部に出力しても良い。

以上の説明により本実施形態によれば、オブジェクト領域の境界の画素値を補正し、アンチエイリアシング等で発生するオブジェクトと背景の中間色の影響を排除することで、グラディエント・メッシュによるオブジェクトの画質を向上させることができる。

＜第２の実施形態の変形例＞
第２の実施形態では、オブジェクト領域の境界線上の全ての画素の画素値を補正した。しかし、オブジェクト領域の一部にのみアンチエイリアス処理がかかっているとき、第２の実施形態では補正する必要が無い部分も補正処理を行ってしまう。そこで、本実施形態では、隣接する境界頂点と、これらの境界頂点から求めた補正頂点と、から成る領域毎に、この領域の枠部を構成する画素の画素値を補正すべきか否かを判断する。本実施形態に係る画像処理装置は、境界補正部１０３の動作のみが第１の実施形態と異なる。

ここで、オブジェクト入力部１０１において抽出されたオブジェクト領域は、図１３（ａ）に示す如く、アンチエイリアシングがかかっていない領域１６０１とアンチエイリアシングがかかっている領域１６０２とで構成されている。ここで注意すべきところは、本実施形態では、オブジェクト領域の周囲全てにアンチエイリアシングがかかっているわけではないことである。このようなオブジェクト領域を処理対象にすると、初期メッシュ生成部１０２では、図１３（ｂ）に示す如く、領域１６０１内の頂点１６５０と、領域１６０２内の頂点１６０３（境界頂点）と、が得られることになる。

ここで、図１３（ｂ）に示した頂点群による初期メッシュ群を表示すると、グラディエント・メッシュは頂点間で色の補間を行っているので、図１３（ｃ）に示す如くオブジェクト領域の内部までアンチエイリアシングで生成された中間色の影響が及んでしまう。

本実施形態では、上記第２の実施形態において、画素値の割り当ての前に、隣接する２つの境界頂点と、この２つの境界頂点のそれぞれに対応する補正画素と、から成る領域単位で、レンダリング前とレンダリング後との色誤差を求める。そして、オブジェクト領域の枠部のうち、色誤差が閾値より小さい領域を除く枠部上に位置するそれぞれの画素の画素値として、補正対象外領域の枠部上の画素の画素値を割り当てることで、オブジェクト領域を更新する。

次に、図１２，１４を用いて、境界補正部１０３が行う処理についてより詳細に説明する。先ず、ステップＳ１５０１では、境界補正部１０３は、上記ステップＳ８０１と同様にして、オブジェクト領域の枠部（境界線）上に位置するそれぞれの境界頂点について、補正画素を検索する。図１３（ｄ）において１６０５はオブジェクト領域の境界線である。

図１４（ａ）において１００１、１７０２はそれぞれ隣接する２つの境界頂点、１００４はオブジェクト領域の枠部である。また、１００２，１７０１はそれぞれ隣接する２つの補正画素であり、それぞれ境界頂点１００１，１７０１に対応するものである。

次に、ステップＳ１５０２では、境界補正部１０３は、上記ステップＳ８０２と同様にして、隣接する補正画素の間を結ぶ曲線（内側境界線）を、それぞれの補正画素間について求める。図１３（ｄ）において１６０４は内側境界線である。

次に、ステップＳ１５０３では、境界補正部１０３は、オブジェクト領域の枠部（境界線）と内側境界線との間を境界領域に設定する。図１３（ｄ）において１６０６は境界領域である。

次に、ステップＳ１５０４では、境界補正部１０３は、隣接する２つの境界頂点と、この２つの境界頂点のそれぞれに対応する補正画素と、から成る領域単位で、レンダリング前とレンダリング後との色誤差を求める。図１４（ａ）を例に取れば、境界頂点１００１，１７０２と補正画素１００２，１７０１とから成る領域について、この領域内の各画素の画素値と、この領域をレンダリングした後のこの領域内の各画素の画素値との差分の総和を、上記色誤差として求める。もちろん、色誤差の計算方法はこれに限定するものではない。

次に、ステップＳ１５０５では、境界補正部１０３は、オブジェクト領域の境界線のうち、ステップＳ１５０４で求めた色誤差が閾値よりも小さい領域を除いた境界線上の各画素の画素値として、内側境界線の枠部を構成する画素の画素値を割り当てる。割り当て方法については第２の実施形態と同様にして行う。以上の処理によれば、図１３（ｅ）に示す如く、オブジェクト領域の枠部のうちアンチエイリアジングがかかっている枠部は補正される。

補正メッシュ生成部１０４は、境界補正部１０３により補正されたオブジェクト領域のデータを用いて初期メッシュ生成部１０２と同様の処理を行い、図１３（ｆ）に示すように、アンチエイリアシングが除去された補正メッシュを生成する。図１３（ｃ）に示したオブジェクト領域と図１３（ｆ）に示したオブジェクト領域とを比較したとき、図１３（ｆ）に示したオブジェクト領域の方が、図１３（ａ）に示したオブジェクト領域に近いメッシュを生成されていることが分かる。なお、補正メッシュ生成部１０４による処理結果としてのデータは、画像処理装置内のメモリに格納しても良いし、表示などの目的で画像処理装置の外部に出力しても良い。

なお、第２の実施形態及びその変形例で用いる画像処理装置にも当然ながら、図８に示したハードウェア構成例を示すコンピュータを適用することができる。その場合、ＣＰＵ１１０１が実行する画像処理用のアプリケーションプログラムは、基本的に図９、１２に示す各構成要素に相当する関数を備えることになる。

［第３の実施形態］
第１、２の実施形態では何れも、オブジェクト領域に基づいて初期メッシュ群を生成し、初期メッシュを用いてオブジェクト領域の境界付近に対する補正処理を行い、その後、再度、この補正したオブジェクト領域に対してメッシュ群を生成していた。しかし、この初期メッシュ群の生成や、内側境界線の生成には大きな計算コストを要する。本実施形態では、より簡易に境界補正を行う為に、オブジェクト領域に対して初期メッシュ群を生成することなく、直接境界補正を行い、その後、境界を補正したオブジェクト領域に対してメッシュ群を生成する。

先ず、図１５を用いて、本実施形態に係る画像処理装置の機能構成例について説明する。図１５に示す如く、本実施形態に係る画像処理装置は、オブジェクト入力部１０１、境界補正部１５０１、補正メッシュ生成部１０４を有する。即ち、本実施形態に係る画像処理装置は、第１の実施形態に係る画像処理装置の構成（図１）において、初期メッシュ生成部１０２、境界補正部１０３の代わりに、境界補正部１５０１を用いている。然るに、境界補正部１５０１以外の動作については第１の実施形態で説明したとおりであるので、以下では、境界補正部１５０１の動作について、図１６〜１８を用いて説明する。

オブジェクト入力部１０１において抽出されたオブジェクト領域は、図１７（ａ）に示す如く、アンチエイリアシングがかかっていない領域９０１とアンチエイリアシングがかかっている領域９０２とで構成されている。もし、このようなオブジェクト領域に基づいてメッシュ群を生成すると、図１７（ｂ）に示す如く、領域９０１内の頂点１７５０と、領域９０２内の頂点１７０３（境界頂点）と、が得られることになる。

ここで、図１７（ｂ）に示した頂点群によるメッシュ群を表示すると、グラディエント・メッシュは頂点間で色の補間を行っているので、図１７（ｃ）に示す如く、オブジェクト領域の内部までアンチエイリアシングで生成された中間色の影響が及んでしまう。

本実施形態では、オブジェクト領域の枠部上に位置するそれぞれの境界画素について、境界画素の近傍、且つオブジェクト領域内の画素を補正画素として特定し、境界画素の画素値として補正画素の画素値を割り当てることで、オブジェクト領域を更新する。そしてその後、この更新されたオブジェクト領域を複数のメッシュに分割し、メッシュを構成する各頂点について、位置情報、勾配情報、色情報を求める。これにより、初期メッシュ群を生成することなく、アンチエイリアシングで生成された中間色を除去することができる。

次に、図１６〜１８を用いて、境界補正部１５０１が行う処理についてより詳細に説明する。先ず、ステップＳ１９０１では、境界補正部１５０１は、オブジェクト領域の境界線上の各画素のうち１つを選択画素として選択する。図１８（ａ）において２１０１は選択画素である。図１７（ｄ）において２００１はオブジェクト領域の境界線である。

次にステップＳ１９０２では、境界補正部１５０１は、ステップＳ１９０１で選択した選択画素を中心とするＮ画素×Ｎ画素のサイズの矩形領域を設定し、この矩形領域内且つオブジェクト領域内で、背景色とＲＧＢが最も異なる画素を補正画素として決定する。ここではＮ＝５としているが、Ｎは他の整数値であっても良い。

なお、補正画素の決定方法についてはこのほかにも様々な方法がある。例えば、オブジェクト領域内に規定の位置（例えば中心位置）を設定し、選択画素から規定の位置に向かう方向への色の変化量が閾値以下となる位置における画素を補正画素として決定しても良い。図１８（ｂ）において２１０２は、選択画素２１０１から決定した補正画素である。

次に、ステップＳ１９０３では、境界補正部１５０１は、図１８（ｃ）に示す如く、選択画素の画素値を補正画素の画素値に更新する。次に、ステップＳ１９０４では、境界補正部１５０１は、オブジェクト領域の境界線上の全ての画素を選択画素として選択したか否かを判断する。

係る判断の結果、オブジェクト領域の境界線上の全ての画素を選択画素として選択しているのであれば本処理は終了するし、選択画素として未だ選択していない画素があるのであれば、処理をステップＳ１９０５に進める。

ステップＳ１９０５では、境界補正部１５０１は、ステップＳ１９０３で画素値を更新した画素に隣接する未選択画素を選択する。そして処理をステップＳ１９０２に進め、ステップＳ１９０５で選択した画素について以降の処理を行う。以上の処理によれば、図１７（ｅ）に示す如く、オブジェクト領域の枠部のうちアンチエイリアジングがかかっている枠部は補正される。

補正メッシュ生成部１０４は、境界補正部１５０１により補正されたオブジェクト領域のデータを用いて第１，２の実施形態で説明したように動作し、図１７（ｆ）に示すように、アンチエイリアシングが除去された補正メッシュを生成する。図１７（ｃ）に示したオブジェクト領域と図１７（ｆ）に示したオブジェクト領域とを比較したとき、図１７（ｆ）に示したオブジェクト領域の方が、図１７（ａ）に示したオブジェクト領域に近いメッシュを生成されていることが分かる。なお、補正メッシュ生成部１０４による処理結果としてのデータは、画像処理装置内のメモリに格納しても良いし、表示などの目的で画像処理装置の外部に出力しても良い。

以上の説明により本実施形態によれば、初期メッシュ群を生成せずに直接オブジェクト境界の画素値を補正するので、アンチエイリアシング等で発生するオブジェクトと背景の中間色の影響を第１，２の実施形態よりもより簡易に排除することができる。そしてこれにより、グラディエント・メッシュによるオブジェクトの画質を向上させることができる。

なお、第３の実施形態で用いる画像処理装置にも当然ながら、図８に示したハードウェア構成例を示すコンピュータを適用することができる。その場合、ＣＰＵ１１０１が実行する画像処理用のアプリケーションプログラムは、基本的に図１６に示す各構成要素に相当する関数を備えることになる。また、上記各実施形態や変形例は、適宜組み合わせて用いても良い。

Claims (14)

1. 画像処理装置であって、
   画像からオブジェクトの領域をオブジェクト領域として抽出する手段と、
   前記オブジェクト領域を複数のメッシュに分割する分割手段と、
   前記複数のメッシュのそれぞれの頂点のうち前記オブジェクト領域の枠部上に位置する頂点を境界頂点とし、当該境界頂点が属するメッシュにおいて該境界頂点から前記オブジェクト領域の内側に向かう方向に沿う一辺上に位置する画素群のうち、当該方向への色の変化量が閾値以下となる位置における画素を補正画素として特定する特定手段と、
   隣接する補正画素の間を結ぶ曲線を、それぞれの補正画素間について求め、求めたそれぞれの曲線で囲まれた領域を補正対象外領域として求める手段と、
   前記オブジェクト領域の枠部上に位置するそれぞれの画素の画素値として、前記補正対象外領域の枠部上の画素の画素値を割り当てることで、前記オブジェクト領域を更新する更新手段と
   を備えることを特徴とする画像処理装置。
2. 前記更新手段は、
   前記オブジェクト領域の枠部上に位置するそれぞれの画素を含み且つ前記補正対象外領域と前記オブジェクト領域との差分領域を構成する各画素の画素値として、前記補正対象外領域の枠部上の画素の画素値を割り当てることで、前記オブジェクト領域を更新することを特徴とする請求項１に記載の画像処理装置。
3. 更に、
   隣接する２つの境界頂点と、当該２つの境界頂点のそれぞれに対して求めた補正画素と、から成る領域単位で、レンダリング前とレンダリング後との色誤差を求める手段を備え、
   前記更新手段は、前記オブジェクト領域の枠部のうち、前記色誤差が閾値よりも小さい領域を除く枠部上に位置するそれぞれの画素の画素値として、前記補正対象外領域の枠部上の画素の画素値を割り当てることで、前記オブジェクト領域を更新する
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記分割手段は更に、前記更新手段により更新されたオブジェクト領域を複数のメッシュに分割し、メッシュを構成する各頂点について、位置情報、勾配情報、色情報を求めることを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
5. 画像処理装置であって、
   画像からオブジェクトの領域をオブジェクト領域として抽出する手段と、
   前記オブジェクト領域の枠部上に位置するそれぞれの画素を境界画素とし、当該境界画素の近傍、且つ前記オブジェクト領域内の画素を補正画素として特定する特定手段と、
   前記境界画素の画素値として、前記補正画素の画素値を割り当てることで、前記オブジェクト領域を更新する更新手段と
   前記更新手段により更新されたオブジェクト領域を複数のメッシュに分割する分割手段と
   を備えることを特徴とする画像処理装置。
6. 前記特定手段は、前記境界画素を中心とする矩形領域内の画素を参照し、前記画像における背景の色から最も遠い色を示す画素値を有する画素を前記補正画素として特定することを特徴とする請求項５に記載の画像処理装置。
7. 前記特定手段は、前記境界画素の位置から前記オブジェクト領域内の規定の位置に向かう方向への色の変化量が閾値以下となる位置における画素を前記補正画素として特定することを特徴とする請求項５に記載の画像処理装置。
8. 前記分割手段は、
   前記オブジェクト領域内における基準位置を求める手段と、
   前記基準位置を通り、互いに直交する２軸を前記オブジェクト領域内に設けることで、この２軸によって前記オブジェクト領域を４つの分割領域に分割する手段と、
   それぞれの分割領域の枠部上に代表点を、対向する分割領域で代表点間の距離が最も長くなるように設定する手段と、
   隣接する代表点の間を結ぶ曲線を求める処理を、それぞれの代表点間について行うことで、４つの曲線を求める手段と、
   前記４つの曲線を用いて、前記４つの曲線で囲まれた領域に対する曲面を求める手段と、
   前記曲面上に設けられた２軸のそれぞれの軸方向に２次元的に前記曲面上の点をサンプリングすることで、４点で規定されるメッシュ単位で前記オブジェクト領域を分割する手段と
   を備えることを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
9. 前記曲線は、３次ベジエスプライン曲線であることを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
10. 前記曲面は、クーンズパッチであることを特徴とする請求項８に記載の画像処理装置。
11. 画像処理装置が行う画像処理方法であって、
    前記画像処理装置が有する抽出手段が、画像からオブジェクトの領域をオブジェクト領域として抽出する工程と、
    前記画像処理装置が有する分割手段が、前記オブジェクト領域を複数のメッシュに分割する分割工程と、
    前記画像処理装置が有する特定手段が、前記複数のメッシュのそれぞれの頂点のうち前記オブジェクト領域の枠部上に位置する頂点を境界頂点とし、当該境界頂点が属するメッシュにおいて該境界頂点から前記オブジェクト領域の内側に向かう方向に沿う一辺上に位置する画素群のうち、当該方向への色の変化量が閾値以下となる位置における画素を補正画素として特定する特定工程と、
    前記画像処理装置が有する算出手段が、隣接する補正画素の間を結ぶ曲線を、それぞれの補正画素間について求め、求めたそれぞれの曲線で囲まれた領域を補正対象外領域として求める工程と、
    前記画像処理装置が有する更新手段が、前記オブジェクト領域の枠部上に位置するそれぞれの画素の画素値として、前記補正対象外領域の枠部上の画素の画素値を割り当てることで、前記オブジェクト領域を更新する更新工程と
    を備えることを特徴とする画像処理方法。
12. 画像処理装置が行う画像処理方法であって、
    前記画像処理装置が有する抽出手段が、画像からオブジェクトの領域をオブジェクト領域として抽出する工程と、
    前記画像処理装置が有する特定手段が、前記オブジェクト領域の枠部上に位置するそれぞれの画素を境界画素とし、当該境界画素の近傍、且つ前記オブジェクト領域内の画素を補正画素として特定する特定工程と、
    前記画像処理装置が有する更新手段が、前記境界画素の画素値として、前記補正画素の画素値を割り当てることで、前記オブジェクト領域を更新する更新工程と
    前記画像処理装置が有する分割手段が、前記更新工程で更新されたオブジェクト領域を複数のメッシュに分割する分割工程と
    を備えることを特徴とする画像処理方法。
13. コンピュータを、請求項１乃至１０の何れか１項に記載の画像処理装置が有する各手段として機能させる為のコンピュータプログラム。
14. 請求項１３に記載のコンピュータプログラムを格納した、コンピュータ読み取り可能な記憶媒体。

Images