JP6294700B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、画像をベクトル表現する画像処理技術に関する。特に、ラスタ画像中の画素値変化が大きなエッジ部分を特徴線として抽出し、これをベースに画像をメッシュ群で表現するベクトル表現に好適な、メッシュ群の高速生成に関するものである。

従来から、画像をベクトル表現する技術は広く知られている。ベクトル表現された画像は、拡大縮小時に画質劣化が少ない、画像編集がし易い、高い圧縮率を実現できるなどの利点がある。

イラストや文字等のオブジェクトをベクトル表現するためには、オブジェクトの輪郭をベジェ、スプライン関数などで近似する手法が用いられている。オブジェクト領域内は、単一色、線形グラデーション、放射状グラデーションなどで塗ることができるが、複雑なグラデーションの表現は困難である。

複雑なグラデーションを含むオブジェクトをベクトル表現するには、Ａｄｏｂｅ Ｉｌｌｕｓｔｒａｔｏｒ（登録商標）のグラディエント・メッシュ・ツールが一般に用いられている。グラディエント・メッシュでは、メッシュに色と勾配を与えて３次関数を生成することで複雑なグラデーションを含むオブジェクトを描画できる（特許文献１）。

グラディエント・メッシュは４頂点から成る曲線メッシュであるが、３頂点から成る曲線メッシュにより、複雑なグラデーションをベクトル表現する技術が知られている（非特許文献１）。画像内のエッジを線分群として抽出し（以下エッジ線と呼ぶ）、エッジ線を再現する３頂点曲線メッシュ群を構成することでベクトル表現を行う。ここで３頂点曲線メッシュとは、メッシュの頂点数が３であり、頂点間を結ぶメッシュの辺が直線または曲線であるものとする。

自然画像のような色が複雑に変化するオブジェクトを３頂点曲線メッシュ群によりベクトル表現することを考える。直線メッシュに対して曲線メッシュは、オブジェクトの形状や特徴を曲線で近似するため、より少ないメッシュ数でオブジェクトを近似できる。

３頂点曲線メッシュ群で画像を精度良く近似するためには、エッジ線を再現し、且つ、画像の大域的な色変化の特徴を捉えたメッシュ群を生成する必要がある。そこで、画像内のエッジ線を抽出し、画像の全画素を頂点としてエッジ線を再現する初期メッシュ群を生成し、該初期メッシュ群からメッシュ簡略化によりメッシュ数を削減することにより３頂点曲線メッシュ群を生成する方法が知られている。ただし、この方法では、メッシュ群を簡略化する度に色変化を計算する必要があるため、画像近似精度は良いものの計算量が多くなってしまう。また、画像内のエッジ線を抽出し、該エッジ線上の点と画像をサブサンプリングした点とを頂点とし、ドロネー三角形分割から３頂点曲線メッシュ群を生成する方法がある。ただし、この方法ではエッジ線は再現可能なものの、エッジ線以外の部分では単純なサブサンプリングを用いているため、不要なメッシュが多くなってしまう。

このため、本出願人は、画像近似精度の良い効率的なメッシュ群を生成するための技術を提案している（特許文献２）。この技術では先ず、入力画像からエッジ線を検出し、検出したエッジ線上に複数の第一の特徴点を設定する。そして入力画像上に、複数の第一の特徴点とは異なる複数の第二の特徴点を設定する。そして、複数の第一の特徴点と複数の第二の特徴点とを統合した特徴点集合を用いて、入力画像を、該特徴点集合内の各点を頂点とする複数のメッシュに分割する。そして、分割されたそれぞれのメッシュの各頂点に対し、第一の特徴点に対応する頂点に対しては該頂点に対応する位置のエッジ線における両側２色の色情報を設定する。また、第二の特徴点に対応する頂点に対しては該頂点に対応する位置の１色の色情報を設定する。かくして、分割されたそれぞれのメッシュとそれらを構成する第一の特徴点、第二の特徴点に設定された色情報をもって入力画像を精度よく近似するメッシュ群を生成する。その際、第二の特徴点をエッジ線以外の部分では単純なサンプリングをするのではなく、検出したエッジ線からの距離や、エッジ線のエッジ強度や画素値の変化等を考慮することで、より画像近似精度の良い効率的なメッシュ群が生成可能であることも述べている。

特登録０４２２００１０ 特開２０１２−２３０６６３号公報

Ｔｉａｎ Ｘｉａ， Ｂｉｎｂｉｎ Ｌｉａｏ， ａｎｄ Ｙｉｚｈｏｕ Ｙｕ， 「Ｐａｔｃｈ−Ｂａｓｅｄ Ｉｍａｇｅ Ｖｅｃｔｏｒｉｚａｔｉｏｎ ｗｉｔｈ Ａｕｔｏｍａｔｉｃ Ｃｕｒｖｉｌｉｎｅａｒ Ｆｅａｔｕｒｅ Ａｌｉｇｎｍｅｎｔ」， ＡＣＭ ＳＩＧＧＲＡＰＨ Ａｓｉａ ２００９， Ｖｏｌ．２８， Ｎｏ．５．

上述のような構成、即ち、自然画の特徴となるエッジを検出し、検出したエッジ上に第一の特徴点を定め、エッジ線以外の部分では単純なサンプリングをするのではなく、検出したエッジ線からの距離や、検出したエッジ線のエッジ強度や画素値の変化等を考慮して第二の特徴点を定め、その上で、第一の特徴点と第二の特徴点とを統合した特徴点集合を用いて、該特徴点集合内の各点を頂点とする複数のメッシュに分割する、といった場合にも、色が複雑に変化するオブジェクトを３頂点曲線メッシュ群によりベクトル表現するためには、３頂点曲線メッシュ群を生成するのが前提である。３頂点曲線メッシュ群の生成には、上述のドロネー三角形分割を用いるのが一般的である。

しかしながら、自然画像中には、一般的に、オブジェクト以外の背景部分等の様に特徴となるエッジが存在しない部分が存在することも多い。この様な部分がオブジェクトの部分に対して比較的広い場合、上記の特徴点の定め方では、非常に大きなメッシュが構成されることになる。これら非常に大きなメッシュの部分では、結果的に広い領域を３頂点の色情報のみで表現することになり、累積的な原画との誤差が大きくなりがちである。非常に大きなメッシュの存在をさけるためには、やはり画像をサブサンプリングする等の規則的に配置された第二の特徴点を設けることが有効である。

一方で、特徴点集合から３頂点メッシュを生成する三角形を構成するには、特徴点集合内の特徴点の数が増えるに従って、処理時間が増加していくのは言うまでもない。上述のドロネー三角形分割処理アルゴリズムの計算量としては、点数をｎとしたとき、オーダーがｎ・log（ｎ）であることが知られている。より簡便な方法では、ｎの２乗のオーダーの計算量を必要とするものもある。

本発明はこのような問題に鑑みてなされたものであり、入力画像中に比較的広い特徴的なエッジが検出されない部分が含まれる場合であっても、累積的な誤差の発生を押さえ、且つ従来より高速にメッシュを生成するための技術を提供する。

本発明の一様態は、入力画像を、３頂点から成り且つ該３頂点間を結ぶ辺が直線又は曲線であるメッシュを単位に分割する画像処理装置であって、
入力画像から検出された検出線を規定する該検出線上の複数の特徴点を取得する手段と、
前記検出線を、隣接する特徴点を両端とする部分検出線を単位に分割した場合に、該部分検出線がメッシュの一辺となるように、前記入力画像上にメッシュを設定する設定手段と、
前記入力画像を複数の矩形領域に分割した場合に、前記設定手段が設定したメッシュと重ならない矩形領域を対象矩形領域とし、該対象矩形領域をメッシュを単位に分割する第１の分割手段と、
非対象矩形領域において前記設定手段が設定したメッシュと重ならない部分領域を、メッシュを単位に分割する第２の分割手段と、
前記設定手段が設定したそれぞれのメッシュ、前記第１，２の分割手段によって得られるそれぞれのメッシュ、を前記入力画像の分割結果として出力する出力手段と
を備えることを特徴とする。

本発明の構成によれば、入力画像中に比較的広い特徴的なエッジが検出されない部分が含まれる場合であっても、累積的な誤差の発生を押さえ、且つ従来より高速にメッシュを生成することができる。

画像処理装置の機能構成例を示すブロック図。 エッジ線として望ましくない結果となるケースを説明する図。 入力画像中に構成した特徴線の一例を示す図。 図３に示した入力画像を複数の矩形領域に分割した一例を示す図。 第一の特徴点決定部１０３１の動作を説明する図。 図４の特徴線に対し、最終的にサンプリングされた第１の特徴点を示す図。 第２の特徴点群の一例を示す図。 第１の特徴点間を結ぶ直線、第１，２の特徴点を結ぶ直線を書き加えた図。 条件１及び条件２を満たす矩形領域を右下がりの斜線でハッチングして表わした図。 第３の特徴点群の一例を示す図。 条件１及び条件２を満たす矩形領域をメッシュに分割した一例を示す図。 生成部１０４３によって生成されたメッシュ群を示す図。 コンピュータのハードウェア構成例を示す図。 コンピュータが行う処理のフローチャート。

以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施例の１つである。

［第１の実施形態］
先ず、本実施形態で用いる３頂点曲線メッシュについて説明する。上記の通り、３頂点曲線メッシュの各辺は曲線若しくは線分であるが、この曲線は、ベジェ曲線で構成されても良いし、Ｂ−スプラインで構成されても良い。即ち、曲線の種類は特定の種類に限るものではない。以下では説明上、３頂点曲線メッシュにパラメトリック曲面の一つである３頂点のベジェパッチを用いるものとする。ベジェパッチの中でも特に３次のベジェパッチでは、メッシュの各辺が３次のベジェ曲線となるため、３頂点曲線メッシュを生成したのちにユーザによる編集が容易であるという利点がある。Ｐ１、Ｐ２、Ｐ３を頂点とする３次のベジェパッチ内の点は以下の式で表される。

ここでｓ、ｔ、ｕはパッチのパラメータである。また、ｐ１、ｐ２、ｐ３はそれぞれ、頂点Ｐ１、Ｐ２、Ｐ３の座標値である。ｃ１、ｃ２、ｃ３、ｃ４、ｃ５、ｃ６およびｃ７は曲線パッチの形状を定めるパラメータである。ここで、ｃ１からｃ６はベジェパッチの輪郭を決める３つのベジェ曲線の制御点に対応するパラメータである。ｃ７はベジェパッチの輪郭には関与しないパラメータであり、本実施形態ではベジェパッチの頂点の座標と、輪郭を成すベジェ曲線の制御点に対応するパラメータから以下の式によって定める。

次に、本実施形態に係る画像処理装置の機能構成例について、図１のブロック図を用いて説明する。なお、図１に示した構成はあくまで以下に説明する処理を実行するための構成の一例に過ぎない。

画像入力部１０１には、ラスタ表現の画像（入力画像）が入力される。入力画像はカラー画像、グレー画像、白黒画像のいずれでも構わない。また、入力画像は矩形画像でも構わないし、画像の一部をベクトル化したい場合には背景部を透過色に設定した画像等、切り出された領域が与えられても良い。そして画像入力部１０１は、この入力画像を後段の特徴線抽出部１０２に転送する。

特徴線抽出部１０２は、入力画像中に、特徴を表す曲線形状の特徴線を構成する。本実施形態では、特徴線としてエッジ線を用いる。特徴線を構成するための処理は大きく分けて、エッジ検出処理と、エッジ線構成処理と、に分けられる。

先ず、エッジ線検出処理について説明する。エッジ線検出処理では先ず、入力画像からエッジを構成する画素（エッジ画素）を検出する。本実施形態では、キャニー法という既知の方法を用いてエッジ画素を検出するが、他の手法を用いてエッジ画素を検出するようにしても良い。また、キャニー法が効果的に機能するように、入力画像に対して明るさ調整、エッジ強調などの前処理を施しても構わない。

そして次に、エッジ線構成処理を行う。エッジ線構成処理では先ず、隣接するエッジ画素間を結ぶ線分を構成することで、エッジ線を再現する線分群を構成する。隣接するエッジ画素間を結んで線分群を構成する際に、注目エッジ画素の上、下、左、右にある４つのエッジ画素が隣接しているとみなす４連結接続がある。また、この４方向に加えて右上、右下、左上、左下にある４つのエッジ画素も隣接していると見なす８連結接続もある。本実施形態では８連結接続を用いるが、これは一例に過ぎない。

ここで、キャニー法を用いて検出したエッジ画素に対して８連結接続で隣接しているとみなせるエッジ画素間を結ぶと、エッジ線として望ましくない結果が得られる場合がある。このケースについて図２を用いて説明する。

図２（ａ）〜（ｄ）には画像中のある領域を構成する画素群を示しており、１つの四角形が１つの画素を表している。また、斜線で示している四角形がエッジ画素を表しており、斜線がない四角形がエッジ画素以外の画素（非エッジ画素）を表している。

図２（ａ）に示したエッジ画素群について、８連結接続で隣接したエッジ画素を結ぶと、図２（ｂ）に示すように、エッジ画素２０１、２０２、２０３を結ぶようなループが発生してしまう。図２（ａ）に示すようなエッジ画素が検出された場合、このようなループの発生を抑制する必要がある。そこで本実施形態では、８連結接続を行う前に、Ｈｉｌｄｉｔｃｈ細線化法という既知の手法を用いることで、この問題を解決する。図２（ａ）に示したエッジ画素群に対してＨｉｌｄｉｔｃｈ細線化を行うと、図２（ｂ）に示したエッジ画素２０１は非エッジ画素となる。その結果、図２（ｃ）に示すように、エッジ画素（２０４〜２０７）がループのない１つのエッジ線によって結ばれることになる。

このとき、図２（ｄ）のエッジ画素２０８に示すように、複数のエッジ線が一か所に会合するようなパターンが発生することがある。このような場合は、会合するエッジ線を分断し、それぞれ独立したエッジ線として扱うこととする。図２（ｄ）の例でいえばエッジ線は３本となる。

なお、特徴線にはエッジ線以外にも、例えば入力画像中のオブジェクトの領域の輪郭などが考えられる。ここでオブジェクトとは、文字や物体像等を指している。既に述べたように、入力画像の一部をベクトル化するという目的で、入力画像の一部が透過色に設定されている場合は、透過色と非透過色の境界に有る画素がオブジェクトの輪郭画素となる。オブジェクトの輪郭画素を１つの線分群にまとめる処理は、エッジ線構成処理と同様の処理に従って隣接する画素同士をつなぎ合わせることで実現できる。これは、入力画像内の異なる属性の領域の間の境界線にある画素についても同様である。

また、特徴線抽出部１０２は、入力画像を領域分割し、その境界線を特徴線としても良い。領域分割は最近傍法を用いたもの、ＥＭアルゴリズムを利用したものなど、多くの手法が知られている。本実施形態では、濃度変化の基準として閾値を定めたうえでキャニー法を適用してエッジ画素を検出し、このエッジ画素を用いて特徴線を構成する。

特徴線抽出部１０２が以上説明した処理を行うことで入力画像中に構成した特徴線の一例を図３に示す。また、図３に示した入力画像を複数の矩形領域に分割した一例を図４に示す。より具体的には、図４は、図３で例示される入力画像が、横１７７画素、縦１２９画素であるとして、縦横それぞれ１６画素おきに仮想的な仕切り線を考え、１７７画素×１２９画素の画像域を、１６画素×１６画素の矩形領域に区切った状況を表わしている。即ち、縦横それぞれ、１画素目、１７画素目、３３画素目、・・・といった具合に、縦方向には１２９画素目まで、横方向には１７７画素目までの仮想的な領域仕切り線を重畳表記した得られる図である。

次に、特徴点決定部１０３を構成する、第一の特徴点決定部１０３１の動作について図５を用いて説明する。第一の特徴点決定部１０３１は、特徴線上のサンプル点のうち、最終的に用いるサンプル点を第１の特徴点として決定する。

図５（ａ）には、入力画像中のある領域で構成された特徴線を示している。第一の特徴点決定部１０３１は、この特徴線上に複数のサンプル点を設定する。このサンプル点は上記のエッジ画素であっても良い。

ある区間における特徴線上のサンプル点群を図５（ａ）に示す。図５（ａ）において４０１〜４０５はサンプル点を示している。特徴線の端点を起点として隣接するサンプル点を順番に削除して近似関数を生成していく。

先ず、図５（ｂ）に示す如く、特徴線の端点であるサンプル点４０１を起点として、まずサンプル点４０２が削除され、サンプル点４０１とサンプル点４０３とを近似曲線の端点として、サンプル点４０２を近似するように近似曲線４０６を生成する。ここで近似関数は、３次のベジェ関数を最小自乗近似により生成しているが、Ｂ−スプライン関数など他の関数を用いても構わない。生成した近似曲線４０６と削除したサンプル点４０２との距離から誤差を計算し、誤差が閾値以内であれば次のサンプル点を削除する。本実施形態では、誤差の閾値は１画素としている。図５（ｂ）では誤差が閾値以内であるとして、次の処理を説明する。

図５（ｃ）に示す如く、次に隣接したサンプル点４０３を削除して、サンプル点４０１とサンプル点４０４を近似曲線の端点として、サンプル点４０２とサンプル点４０３を近似するように近似曲線４０７を生成する。近似曲線４０７とサンプル点４０２、４０３との誤差を計算する。図５（ｃ）では誤差が閾値以内であるとして、次の処理を説明する。

図５（ｄ）に示す如く、次に隣接したサンプル点４０４を削除して、サンプル点４０１とサンプル点４０５を近似曲線の端点としてサンプル点４０２、４０３、４０４を近似するように近似曲線４０８を生成する。近似曲線４０８とサンプル点４０２、４０３、４０４との誤差を計算する。ここで近似曲線４０８とサンプル点４０２、４０４との誤差が閾値を超えたとする。このとき近似曲線４０８は採用せず、前に生成された近似曲線４０７が有効な近似関数として採用される。

そしてこの場合は、図５（ｅ）に示す如く、特徴線の端点であるサンプル点４０１を起点とし、サンプル点４０２、４０３は削除され、近似曲線４０７の端点であるサンプル点４０４を特徴点としてサンプリングする。すなわち、特徴線の端点であるサンプル点４０１とサンプル点４０５、特徴点としてサンプリングされたサンプル点４０４、が第１の特徴点として採用される。ここで、サンプル点がより多いとき、サンプル点４０４を起点として同様の処理を繰り返して、第１の特徴点を決定していく。以上の処理により、図２（ｃ）のエッジ画素２０４、２０７のような特徴線の端点と図２（ｄ）のエッジ画素２０８のような特徴線の交点に加え、第１の特徴点が抽出される。図４の特徴線に対し、最終的にサンプリングされた第１の特徴点は、図６の白丸で示される通りである。もちろん画像の特徴を再現できるのであれば、特徴線の端点間を均等にサンプリングして特徴点とするなど他の方法を用いても構わない。

図１に戻って、次に、特徴点決定部１０３を構成する第二の特徴点決定部１０３２の動作について説明する。第二の特徴点決定部１０３２は、決定部１０３２１と決定部１０３２２とを有している。

先ず、決定部１０３２１の動作について説明する。決定部１０３２１は、同一の特徴線上に存在しかつ隣接する第１の特徴点間に挟まれる特徴線の部分区間ごとに、第２の特徴点を設定する。例えば、着目部分区間に対して第２の特徴点を設定する場合、先ず、該着目部分区間内のエッジ画素のエッジ強度の平均値を求める。そして、ある数値範囲をＮ個の部分数値範囲に分割した場合に、この求めた平均値がどの部分数値範囲に属しているのかを特定する。そして、部分数値範囲毎に予め設定されている距離のうち、特定した部分数値範囲に対応する距離を特定する。そして、該特定した距離だけ、着目部分区間の中間位置から該中間位置における特徴線の法線方向に離間した位置の画素を第２の特徴点として設定（サンプリング）する。

なお、エッジ強度が低いほど、エッジの周囲での色変化が少ないものとして、より遠い距離にある位置に第２の特徴点を設定し、エッジ強度が高いほど、エッジ周囲での色変化が急激であるとして、より近い距離に第２の特徴点を設定するのが好適である。然るに例えば、ある数値範囲Ａ１〜Ａ４（Ａ１＜Ａ４）を、部分数値範囲１：Ａ１〜Ａ２（Ａ１＜Ａ２）、部分数値範囲２：Ａ２〜Ａ３（Ａ２＜Ａ３）、部分数値範囲３：Ａ３〜Ａ４（Ａ３＜Ａ４）、に分割したとする。この場合、部分数値範囲１には９画素、部分数値範囲２には７画素、部分数値範囲３には５画素、をそれぞれ距離として割り当てる。そして着目部分区間について求めた平均値が部分数値範囲１に属している場合には、着目部分区間の中間位置から該中間位置における特徴線の法線方向に９画素分離間した位置の画素を第２の特徴点として設定（サンプリング）する。また、着目部分区間について求めた平均値が部分数値範囲２に属している場合には、着目部分区間の中間位置から該中間位置における特徴線の法線方向に７画素分離間した位置の画素を第２の特徴点として設定（サンプリング）する。また、着目部分区間について求めた平均値が部分数値範囲３に属している場合には、着目部分区間の中間位置から該中間位置における特徴線の法線方向に５画素分離間した位置の画素を第２の特徴点として設定（サンプリング）する。

なお、各部分区間に対して第２の特徴点を設定する方法は上記の方法に限るものではなく、様々な方法が考えられる。例えば、各部分区間のエッジ強度の平均値は、該部分区間の両端の２つの第１の特徴点のエッジ強度の平均値としても構わない。また、エッジ強度の代わりに、各部分区間の中間点から法線方向に並ぶ各画素の濃度を中間点から該中間点より離れる方向に順次求め、濃度の変化に着目してもよい。この場合には、周辺画素における画素値（濃度）の変化の程度が予め定める閾値以下となる位置をもって第２の特徴点の位置と定めるとよい。

図６に示されるような特徴線上に存在する第１の特徴点群を用いて設定した第２の特徴点群（黒丸で示す）の一例を、図７に示す。なお、この第２の特徴点を頂点とするメッシュにおいて、該頂点には、該頂点の位置における色を割り当てる。また、第１の特徴点を頂点とするメッシュにおいて、該頂点には、該頂点の位置を通るエッジ線における両端の２色、若しくは、該頂点を共有するそれぞれのメッシュ内の色、が割り当てられる。

次に、決定部１０３２２の動作について説明する。決定部１０３２２は、図４に示したような仮想的な領域仕切り線で仕切られた矩形領域のうち、以下の２つの条件（条件１，条件２）を満たす矩形領域の対角点上に第３の特徴点を設定する。

条件１ … エッジ画素、第１の特徴点、第２の特徴点、の何れも含まれていない矩形領域
条件２ … 同一特徴線上で互いに隣接する第１の特徴点間を結ぶ直線や同一特徴線上で互いに隣接する第１の特徴点とこれら第１の特徴点間に定める第２の特徴点とを結ぶ直線がいずれも通過していない矩形領域
図８には、図７のエッジ画素、第１の特徴点、第２の特徴点に対し、上記条件で述べた第１の特徴点間を結ぶ直線を破線で、第１の特徴点とこれら第１の特徴点間に定める第２の特徴点を結ぶ直線を実線で書き加えた図である。

図９は、図８の状態において、上記の２つの条件を満たす矩形領域を右下がりの斜線でハッチングして表わした図である。また、図１０は、図９にハッチングで示した矩形領域のそれぞれの対角点上に定めた第３の特徴点を、黒塗り三角形と白抜き三角形で示した。黒塗り三角形で示される第３の特徴点は、第３の特徴点のみからなるメッシュの頂点となるものであり、白抜き三角形で示される第３の特徴点は、第１の特徴点や第２の特徴点の何れかを含むメッシュの頂点となるものである。

次に、メッシュ生成部１０４の動作について説明する。メッシュ生成部１０４は、生成部１０４１，生成部１０４２，生成部１０４３を有する。先ず、生成部１０４１の動作について説明する。

生成部１０４１は、第１の特徴点と第２の特徴点とからなるメッシュ（３頂点から成り且つ該３頂点間を結ぶ辺が直線又は曲線であるメッシュ）を生成する。即ち、同一特徴線上に存在し且つ隣接する第１の特徴点間の部分特徴線を挟んで一方側と他方側に、該部分特徴線を１辺とし且つ第２の特徴点を頂点とするメッシュを生成する。（一方側及び他方側のそれぞれの）第２の特徴点からそれぞれの第１の特徴点への辺は直線である。

図８は、図７に示した第１の特徴点及び第２の特徴点を用いて生成したメッシュ群を示しており、隣接する２つの第１の特徴点（白丸）間を通る曲線と、該２つの第１の特徴点から該２つの第１の特徴点に対して設定された第２の特徴点への線分と、からなるメッシュが示されている。

次に、生成部１０４２の動作について説明する。生成部１０４２は、第３の特徴点のみからなるメッシュ（３頂点から成り且つ該３頂点間を結ぶ辺が直線であるメッシュ）を生成する。より詳しくは、入力画像を分割したそれぞれの矩形領域（上記の条件１及び条件２を満たす矩形領域）をメッシュを単位に分割する。矩形領域は左上隅の頂点と右下隅の頂点とを結ぶ線分（対角線）で２つのメッシュに分割しても良いし、右上隅の頂点と左下隅の頂点とを結ぶ線分（対角線）で２つのメッシュに分割しても良い。しかし、全ての矩形領域で同じ分割を行うものとする。そうすることにより、パターン化でき、生成部１０４２における処理を簡素化できる。

図１０の状態において、生成部１０４２により上記の条件１及び条件２を満たす矩形領域をメッシュに分割した一例を図１１に示す。なお、図１０及び図１１において、白抜き三角で示された第３の特徴点は、上記の条件１及び条件２を同時に満たす矩形領域の頂点であり、且つ、そうではない矩形領域の頂点でもある。即ち、白抜き三角で示された第３の特徴点は、上記の条件１及び条件２を同時に満たす矩形領域と、満たさない矩形領域の境界になる領域仕切り線上にある。一方で、図１０及び図１１において、黒塗り三角で示された第３の特徴点は、同境界にはなく、上記の条件１及び条件２を同時に満たす矩形領域上のみにある頂点である。

図１に戻って、次に、生成部１０４３の動作について説明する。生成部１０４３は、第１の特徴点及び／又は第２の特徴点と、第３の特徴点（図１１で白抜き三角で示される第３の特徴点）と、を用いてメッシュ（３頂点から成り且つ該３頂点間を結ぶ辺が直線であるメッシュ）を生成する。すなわち、第１の特徴点及び／又は第２の特徴点と、上記の条件１及び条件２を満たす矩形領域と満たさない矩形領域とで共有している第３の特徴点と、を用いてメッシュを生成する。このメッシュ生成では、特徴点間で、既に生成部１０４１及び生成部１０４２で生成したメッシュの直線辺を制約条件として、制約付きドロネー三角形分割を利用する。これにより、設定した辺がメッシュの辺となるメッシュ群を生成する。制約付きドロネー三角形分割は、点群と制約条件を与えると、与えられた点群を頂点とし、かつ制約条件を満たす直線メッシュを生成するアルゴリズムである。ここで制約条件とは、点群の一部を結ぶ線分である。もちろん、設定した辺を再現するメッシュを生成することができるのであれば、他の方法を用いても構わない。

図１２は、図１１の状態において、生成部１０４３によって生成されたメッシュ群を示す図である。図１２において点線で表現されている直線が、生成部１０４３で生成したメッシュの辺を示している。以上の各機能部により、入力画像に対するメッシュ分割結果が得られることになる。

色設定部１０５は、メッシュ生成部１０４で生成されたそれぞれのメッシュの色を規定する色情報を生成して設定する。なお、色情報を生成する方法には様々な方法が考えられ、例えば、各メッシュに対して一色を生成してもよい。この場合、一色の決定方法としては、メッシュの内部領域に対応する入力画像の画素の色平均を用いることが考えられる。一方、メッシュ内の色をより複雑に表現する方法としてメッシュに対して色を表現する関数を生成する方法が考えられる。例えば非特許文献１ではＲＧＢの３成分に対して、メッシュ内の色を塗る薄板スプライン関数を入力画像の色を元に生成している。

本実施形態では、メッシュを更に微小な３頂点からなるメッシュに細分割し、その微小な細分割メッシュの頂点をサンプリング点として、該サンプリング点に対応する入力画像の位置から色を取得する。レンダリングの際は、それら微小な三角形内の色を双線形補間で補うことで、メッシュの色を塗ることができる。

また、色設定部１０５は、メッシュ生成部１０４が生成したそれぞれのメッシュに対して、特徴線上にある第１の特徴点には、該特徴線における両端の２色、若しくは該第１の特徴点を共有するそれぞれのメッシュ内の色、を割り当てる。また、第２の特徴点には、該第２の特徴点の位置における１色の色情報を設定する。

メッシュデータ出力部１０６は、メッシュ生成部１０４で生成したそれぞれのメッシュの形状を規定する形状情報と、該それぞれのメッシュについて色設定部１０５で設定された色情報と、を用いて、各メッシュに対するメッシュデータを生成して出力する。なお、メッシュデータ出力部１０６は、画像入力部１０１により入力された入力画像の全域に対するメッシュデータを生成するように構成しても良いし、該入力画像中の特定部分に対する１以上のメッシュのメッシュデータのみを生成するようにしても良い。

なお、上記説明では、図１においてより上に示された機能部から順に動作するように説明したが、これに限るものではない。例えば、画像入力部１０１で入力した画像に対して特徴線抽出部１０２で特徴線を得た後、第一の特徴点決定部１０３１及び決定部１０３２１が動作し、その後、生成部１０４１が動作して、第１の特徴点と第２の特徴点とからなるメッシュを生成する。このような処理により、入力画像を分割したそれぞれの矩形領域のうち、生成部１０４１が生成したメッシュと重ならない矩形領域、即ち、上記の条件１及び条件２を満たす矩形領域を容易に特定することができる。

然るに、生成部１０４１の動作後、決定部１０３２２の処理を行ってから、生成部１０４２、生成部１０４３、色設定部１０５、メッシュデータ出力部１０６、の順に動作すればよい。

＜第１の実施形態の変形例＞
図１に示した各機能部はハードウェアで構成しても良いが、ソフトウェア（コンピュータプログラム）として実装しても良い。この場合、このソフトウェアは、ＰＣ（パーソナルコンピュータ）等、一般のコンピュータのメモリにインストールされることになる。そしてこのコンピュータのＣＰＵがこのインストールされたソフトウェアを実行することで、このコンピュータは、上述の画像処理装置の機能（図１に示した各機能部の機能）を実現することになる。即ち、このコンピュータは、上述の画像処理装置に適用することができる。図１３を用いて、第１の実施形態に係る画像処理装置として適用可能なコンピュータのハードウェア構成例について説明する。

ＣＰＵ１２０１は、ＲＡＭ１２０２やＲＯＭ１２０３に格納されているコンピュータプログラムやデータを用いて処理を実行することで、本コンピュータ全体の動作制御を行うと共に、画像処理装置が行うものとして上述した各処理を実行する。即ち、図１に示した各機能部が行うものとして上述した各処理を実行する。

ＲＡＭ１２０２は、コンピュータ読み取り可能な記憶媒体の一例である。ＲＡＭ１２０２は、外部記憶装置１２０７や記憶媒体ドライブ１２０８からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）１２０９を介して外部装置から受信したデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ１２０２は、ＣＰＵ１２０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ１２０２は、各種のエリアを適宜提供することができる。ＲＯＭ１２０３は、コンピュータ読み取り可能な記憶媒体の一例であり、本コンピュータの設定データや、ブートプログラムなどが格納されている。

キーボード１２０４、マウス１２０５は、本コンピュータの操作者が操作することで各種の指示をＣＰＵ１２０１に対して入力することができるユーザインターフェースの一例である。

表示装置１２０６は、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ１２０１による処理結果を画像や文字などをもって表示することができる。例えば、上記入力画像を表示したり、メッシュ群や、メッシュデータを用いたレンダリング結果、などを表示したりすることができる。

外部記憶装置１２０７は、コンピュータ読み取り可能な記憶媒体の一例であり、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置１２０７には、ＯＳ（オペレーティングシステム）や、図１に示した各機能部の機能をＣＰＵ１２０１に実現させるためのコンピュータプログラムやデータ、上記入力画像のデータ、既知の情報として説明した情報等が保存されている。外部記憶装置１２０７に保存されているコンピュータプログラムやデータは、ＣＰＵ１２０１による制御に従って適宜ＲＡＭ１２０２にロードされ、ＣＰＵ１２０１による処理対象となる。

記憶媒体ドライブ１２０８は、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体に記録されているコンピュータプログラムやデータを読み出し、読み出したコンピュータプログラムやデータを外部記憶装置１２０７やＲＡＭ１２０２に出力する。なお、外部記憶装置１２０７に保存されているものとして説明した情報の一部若しくは全部をこの記憶媒体に記録させておき、この記憶媒体ドライブ１２０８に読み取らせても良い。

Ｉ／Ｆ１２０９は、外部装置を本コンピュータに接続する為のものである。例えば、ディジタルカメラなど、上記入力画像を取得するための装置を、このＩ／Ｆ１２０９に接続し、この装置から入力画像をＩ／Ｆ１２０９を介してＲＡＭ１２０２や外部記憶装置１２０７に取得するようにしても良い。１２１０は、上述の各部を繋ぐバスである。

上述構成において、本コンピュータの電源がＯＮになると、ＣＰＵ１２０１はＲＯＭ１２０３に格納されている上記ブートプログラムに従って、外部記憶装置１２０７からＯＳをＲＡＭ１２０２にロードする。この結果、キーボード１２０４、マウス１２０５を介した情報入力操作が可能となり、表示装置１２０６にＧＵＩを表示することが可能となる。ユーザが、キーボード１２０４やマウス１２０５を操作し、外部記憶装置１２０７に格納された画像処理用アプリケーションプログラムの起動指示を入力すると、ＣＰＵ１２０１はこのプログラムをＲＡＭ１２０２にロードし、実行する。これにより、本コンピュータが上記の画像処理装置として機能することになる。

ＣＰＵ１２０１が実行する画像処理用のアプリケーションプログラムは、基本的に図１の各機能部、及び以下に述べる図１４の各ステップに示す各構成要素に相当する関数を備えることになる。

次に、図１の画像処理装置として機能するコンピュータのＣＰＵ１２０１が実行する処理について、同処理のフローチャートを示す図１４を用いて説明する。もちろん、このフローチャートは、図１の画像処理装置が行う処理のフローチャートも兼ねている。

ステップＳ１０１０では、外部記憶装置１２０７や記憶媒体ドライブ１２０８からロードされた画像、Ｉ／Ｆ１２０９を介して外部装置から受信した画像を、以下の処理の対象とする入力画像としてＲＡＭ１２０２に取得する。

ステップＳ１０２０では、ステップＳ１０１０で取得した入力画像中に、特徴を表す曲線形状の特徴線を構成する。ステップＳ１０３０では、特徴線上のサンプル点のうち、最終的に用いるサンプル点を第１の特徴点として決定する。ステップＳ１０４０では、同一の特徴線上に存在しかつ隣接する第１の特徴点間に挟まれる特徴線の部分区間ごとに、第２の特徴点を設定する。

ステップＳ１０５０では、同一特徴線上に存在し且つ隣接する第１の特徴点間の部分特徴線を挟んで一方側と他方側に、該部分特徴線を１辺とし且つ第２の特徴点を頂点とするメッシュを生成する。そして、ここまでの処理において、エッジ画素、第１の特徴点、第２の特徴点、の位置、同一特徴線上で互いに隣接する第１の特徴点間を結ぶ直線、同一特徴線上で互いに隣接する第１の特徴点とこれら第１の特徴点間に定める第２の特徴点とを結ぶ直線、は既知若しくは算出可能である。然るに、これらの情報を用いれば、入力画像を複数の矩形領域に分割した場合に、それぞれの矩形領域が、上記の条件１及び条件２の両方を満たしているか否かを判断することができる。

なお、任意の２点を結ぶ直線の通過する領域は、例えば、それら２点間にある水平方向及び垂直方向の仮想的な仕切り線とこれら２点を繋ぐ直線との交点を、それぞれの座標値を用いて公知の方法により求めれば、該交点を挟む領域として容易に定まる。

ステップＳ１０６０では、ステップＳ１０５０において上記の条件１及び条件２を同時に満たしていると判断された矩形領域の対角点上に第３の特徴点を設定する。

ステップＳ１０７０では、入力画像を分割したそれぞれの矩形領域（上記の条件１及び条件２を満たす矩形領域）をメッシュを単位に分割する（第３の特徴点のみからなるメッシュ（３頂点から成り且つ該３頂点間を結ぶ辺が直線であるメッシュ）を生成する）。

ステップＳ１０８０では、第１の特徴点及び／又は第２の特徴点と、上記の条件１及び条件２を満たす矩形領域と満たさない矩形領域とで共有している第３の特徴点と、を用いてメッシュを生成する。

ステップＳ１０９０では、上記の処理で生成したそれぞれのメッシュに対し、特徴線上にある第１の特徴点には、該特徴線における両端の２色若しくは該第１の特徴点を共有するそれぞれのメッシュ内の色を割り当て、第２の特徴点には、該第２の特徴点の位置における１色の色情報を設定する。

ステップＳ１１００では、上記の処理で生成したそれぞれのメッシュの形状を規定する形状情報と、該それぞれのメッシュについてステップＳ１０９０で設定された色情報と、を用いて、各メッシュに対するメッシュデータを生成して出力する。出力先については特定の出力先に限るものではなく、外部記憶装置１２０７にファイルとして出力しても構わないし、Ｉ／Ｆ１２０９を介して外部装置に対して送信しても構わないし、レンダリングして表示装置１２０６に表示出力しても構わない。

このように、本実施形態によれば、生成部１０４３のみドロネー三角形分割を利用してメッシュ群を生成し、生成部１０４１及び生成部１０４２は一意に定まる方法でメッシュ群を生成している。即ち、計算量が多く、処理時間が長いドロネー三角形分割を利用する特徴点を限定することで、従来に比し、格段に高速なメッシュ生成が可能となる。

［第２の実施形態］
第１の実施形態で述べたように、図１においてより上に示された機能部から順に動作することに限るものではない。例えば、第１の実施形態で述べた、生成部１０４１、決定部１０３２２の順に動作した例においては、その後、生成部１０４３が動作し、その後、生成部１０４２が動作するようにしても構わない。ただし、この場合には、生成部１０４１で生成されたメッシュの辺と、上記の条件１及び条件２を同時に満たす矩形領域と満たさない矩形領域との境界を辺と見立て、これらに着目する。即ち、生成部１０４３での処理では、これらの辺、および、辺と見立てた境界を制約条件として、制約付きドロネー三角形分割を利用するものとする。

＜第２の実施形態の変形例＞
第２の実施形態で説明した処理を実行する画像処理装置についても、基本的には図１に示した構成を有することから、図１３に例示した構成を有するコンピュータは、第２の実施形態に係る画像処理装置に適用することができる。なお、第２の実施形態に係る画像処理装置に適用したコンピュータも、基本的には図１４のフローチャートに従った処理を実行するのであるが、ステップＳ１０７０とステップＳ１０８０の実行順序を入れ替えることになる。また、ステップＳ１０８０で実行する制約付きドロネー三角形分割は、第２の実施形態で説明したものと同様な制約条件のもとでの処理として実装とする。

このように、第２の実施形態によっても、第１の実施形態と同様、計算量が多く、処理時間が長いドロネー三角形分割を利用する特徴点を限定することができるので、従来に比し、格段に高速なメッシュ生成が可能である。

このように、第１，２の実施形態やその変形例においても、基本的には次のように動作することは変わらず、以下の動作（構成）に沿っていれば、如何なる変形や変更を行っても構わない。

即ち、画像処理装置は、入力画像を、３頂点から成り且つ該３頂点間を結ぶ辺が直線又は曲線であるメッシュを単位に分割するものであることが前提である。その上で、入力画像から検出された検出線を規定する該検出線上の複数の特徴点を取得し、検出線を、隣接する特徴点を両端とする部分検出線を単位に分割した場合に、該部分検出線がメッシュの一辺となるように、入力画像上に該メッシュを設定する。そして、入力画像を複数の矩形領域に分割した場合に、メッシュと重ならない矩形領域を対象矩形領域とし、該対象矩形領域をメッシュを単位に分割する（第１の分割）。また、非対象矩形領域においてメッシュと重ならない部分領域を、メッシュを単位に分割する（第２の分割）。そして、設定したそれぞれのメッシュ、第１，２の分割によって得られるそれぞれのメッシュ、を入力画像の分割結果として出力する。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (7)

1. 入力画像を、３頂点から成り且つ該３頂点間を結ぶ辺が直線又は曲線であるメッシュを単位に分割する画像処理装置であって、
   入力画像から検出された検出線を規定する該検出線上の複数の特徴点を取得する手段と、
   前記検出線を、隣接する特徴点を両端とする部分検出線を単位に分割した場合に、該部分検出線がメッシュの一辺となるように、前記入力画像上にメッシュを設定する設定手段と、
   前記入力画像を複数の矩形領域に分割した場合に、前記設定手段が設定したメッシュと重ならない矩形領域を対象矩形領域とし、該対象矩形領域をメッシュを単位に分割する第１の分割手段と、
   非対象矩形領域において前記設定手段が設定したメッシュと重ならない部分領域を、メッシュを単位に分割する第２の分割手段と、
   前記設定手段が設定したそれぞれのメッシュ、前記第１，２の分割手段によって得られるそれぞれのメッシュ、を前記入力画像の分割結果として出力する出力手段と
   を備えることを特徴とする画像処理装置。
2. 前記設定手段は、
   前記部分検出線のエッジ強度の平均値が大きいほど小さい距離、該平均値が小さいほど大きい距離だけ、該部分検出線の中間位置から該中間位置における該部分検出線の法線方向に離間した位置をメッシュの頂点とし、且つ該部分検出線が該メッシュの一辺となるように、前記入力画像上に該メッシュを設定する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記設定手段は、
   前記部分検出線の中間位置から該中間位置における法線方向に並ぶ各画素の濃度を該中間位置から該中間位置より離れる方向に順次求め、濃度の変化の程度が閾値以下となる位置をメッシュの頂点とし、且つ該部分検出線が該メッシュの一辺となるように、前記入力画像上に該メッシュを設定する
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記第１の分割手段は、前記対象矩形領域を対角線で２つのメッシュに分割することを特徴とする請求項１に記載の画像処理装置。
5. 前記第２の分割手段は、前記設定手段により設定されたメッシュの直線辺、前記第１の分割手段によって得られるメッシュの直線辺、を制約条件として、制約付きドロネー三角形分割を利用して、前記非対象矩形領域において前記設定手段が設定したメッシュと重ならない部分領域を、メッシュを単位に分割することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 入力画像を、３頂点から成り且つ該３頂点間を結ぶ辺が直線又は曲線であるメッシュを単位に分割する画像処理装置が行う画像処理方法であって、
   前記画像処理装置の取得手段が、入力画像から検出された検出線を規定する該検出線上の複数の特徴点を取得する工程と、
   前記画像処理装置の設定手段が、前記検出線を、隣接する特徴点を両端とする部分検出線を単位に分割した場合に、該部分検出線がメッシュの一辺となるように、前記入力画像上にメッシュを設定する設定工程と、
   前記画像処理装置の第１の分割手段が、前記入力画像を複数の矩形領域に分割した場合に、前記設定工程で設定したメッシュと重ならない矩形領域を対象矩形領域とし、該対象矩形領域をメッシュを単位に分割する第１の分割工程と、
   前記画像処理装置の第２の分割手段が、非対象矩形領域において前記設定工程で設定したメッシュと重ならない部分領域を、メッシュを単位に分割する第２の分割工程と、
   前記画像処理装置の出力手段が、前記設定工程で設定したそれぞれのメッシュ、前記第１，２の分割工程で得られるそれぞれのメッシュ、を前記入力画像の分割結果として出力する出力工程と
   を備えることを特徴とする画像処理方法。
7. コンピュータを、請求項１乃至５の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。

Images