JP5966800B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents
画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP5966800B2 JP5966800B2 JP2012206129A JP2012206129A JP5966800B2 JP 5966800 B2 JP5966800 B2 JP 5966800B2 JP 2012206129 A JP2012206129 A JP 2012206129A JP 2012206129 A JP2012206129 A JP 2012206129A JP 5966800 B2 JP5966800 B2 JP 5966800B2
- Authority
- JP
- Japan
- Prior art keywords
- mesh
- deformation
- image
- control point
- deformation control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Description
本発明は、表示された画像を変形させる処理を行う画像処理装置、画像処理方法及びプログラムに関する。
従来、２次元平面に表示された画像を変形するために、種々の画像処理手法が提案されている。
例えば、特許文献１に記載の技術では、変形対象となる２次元オブジェクト内部に三角形のメッシュを生成し、その頂点の座標を２次元オブジェクトの形状を表すオリジナルのデータとしている。そして、特許文献１に記載の技術では、２次元オブジェクト上の三角形の頂点に設定したハンドルが移動されると、そのハンドルの移動に合わせて、メッシュを構成する三角形の平行移動、回転及び拡大縮小等を行うことにより、最終的なメッシュデータとの誤り量が最小となるように、２次元オブジェクト全体の変形を行っている。
例えば、特許文献１に記載の技術では、変形対象となる２次元オブジェクト内部に三角形のメッシュを生成し、その頂点の座標を２次元オブジェクトの形状を表すオリジナルのデータとしている。そして、特許文献１に記載の技術では、２次元オブジェクト上の三角形の頂点に設定したハンドルが移動されると、そのハンドルの移動に合わせて、メッシュを構成する三角形の平行移動、回転及び拡大縮小等を行うことにより、最終的なメッシュデータとの誤り量が最小となるように、２次元オブジェクト全体の変形を行っている。
しかしながら、特許文献１に記載の技術では、画像の変形度合いが大きくなった場合、三角形のメッシュを変形する過程において、不適切に変形する三角形が発生する可能性があり、これにより、ユーザが意図しない変形となることがあった。
即ち、従来の技術においては、種々の変形態様に対応して、２次元平面に表示された画像を適切に変形することが困難であった。
即ち、従来の技術においては、種々の変形態様に対応して、２次元平面に表示された画像を適切に変形することが困難であった。
本発明は、このような状況に鑑みてなされたものであり、種々の変形態様に対応して、２次元平面に表示された画像をより適切に変形することを目的とする。
上記目的を達成するため、本発明の一態様の画像処理装置は、
画像に設定した１以上の変形制御点の移動に対応して、前記画像を変形させる画像処理装置であって、
前記画像に三角形で構成されるオリジナルメッシュを生成するオリジナルメッシュ生成手段と、
前記１以上の変形制御点のうち、所定の変形制御点を選択する制御点選択手段と、
前記制御点選択手段により選択された前記変形制御点から所定の範囲内に存在する前記オリジナルメッシュを複数に分割するメッシュ分割手段と、
前記変形制御点の移動に対応して、前記オリジナルメッシュを構成する三角形、または前記メッシュ分割手段によって分割されたメッシュを構成する三角形の変形処理を行う変形手段と、
を備えることを特徴とする。
画像に設定した１以上の変形制御点の移動に対応して、前記画像を変形させる画像処理装置であって、
前記画像に三角形で構成されるオリジナルメッシュを生成するオリジナルメッシュ生成手段と、
前記１以上の変形制御点のうち、所定の変形制御点を選択する制御点選択手段と、
前記制御点選択手段により選択された前記変形制御点から所定の範囲内に存在する前記オリジナルメッシュを複数に分割するメッシュ分割手段と、
前記変形制御点の移動に対応して、前記オリジナルメッシュを構成する三角形、または前記メッシュ分割手段によって分割されたメッシュを構成する三角形の変形処理を行う変形手段と、
を備えることを特徴とする。
本発明によれば、種々の変形態様に対応して、２次元平面に表示された画像をより適切に変形することが可能となる。
以下、本発明の実施形態について、図面を用いて説明する。
［第１実施形態］
［ハードウェア構成］
図１は、本発明の一実施形態に係る画像処理装置１のハードウェアの構成を示すブロック図である。
画像処理装置１は、例えばパーソナルコンピュータ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）として構成される。
［第１実施形態］
［ハードウェア構成］
図１は、本発明の一実施形態に係る画像処理装置１のハードウェアの構成を示すブロック図である。
画像処理装置１は、例えばパーソナルコンピュータ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）として構成される。
本実施形態に係る画像処理装置１は、変形対象となる画像に三角形のメッシュを生成し、変形制御点の移動に対応して、変形条件を定めることによって定義される所定の行列による演算を行って、多段階に三角形を変形させる。このとき、途中の変形段階において三角形の大きさを補正する際に、当初の三角形よりも一定以上小さくなった三角形については、大きさの補正を行うことなく後段の処理に用いることとしている。そして、最終的に変形された三角形の集合によって表されるメッシュが、変形結果の画像を表すものとなる。このような処理を行うことにより、変形過程において縮小された三角形を拡大することによって、不適切に変形する三角形が発生することを抑制でき、種々の変形態様に対応して、２次元平面に表示された画像をより適切に変形することが可能となる。
画像処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、入力部１６と、出力部１７と、記憶部１８と、通信部１９と、ドライブ２０と、を備えている。
ＣＰＵ１１は、例えば、後述するメイン画像処理のためのプログラム等、ＲＯＭ１２に記録されているプログラム、または、記憶部１８からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
ＣＰＵ１１は、例えば、後述するメイン画像処理のためのプログラム等、ＲＯＭ１２に記録されているプログラム、または、記憶部１８からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、入力部１６、出力部１７、記憶部１８、通信部１９及びドライブ２０が接続されている。
入力部１６は、各種釦やポインティングデバイス等で構成され、メイン画像処理における画像の変形を行うための指示操作等、ユーザの指示操作に応じて各種情報を入力する。
出力部１７は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部１８は、ハードディスクあるいはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部１９は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
出力部１７は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部１８は、ハードディスクあるいはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部１９は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
ドライブ２０には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２０によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１８にインストールされる。また、リムーバブルメディア３１は、記憶部１８に記憶されている画像のデータ等の各種データも、記憶部１８と同様に記憶することができる。
［機能的構成］
図２は、このような画像処理装置１の機能的構成のうち、メイン画像処理を実行するための機能的構成を示す機能ブロック図である。
メイン画像処理とは、ユーザによって入力される画像の変形指示（変形制御点の移動）に対応して、表示されている画像に変形を施す一連の処理をいう。なお、以下、上述の特許文献１（特許第４６１３３１３号公報）に開示された処理手順を基本とし、さらに、種々の変形態様に対しても、より適切に画像の変形を行うことができる処理手順を追加した実施形態について説明する。
図２は、このような画像処理装置１の機能的構成のうち、メイン画像処理を実行するための機能的構成を示す機能ブロック図である。
メイン画像処理とは、ユーザによって入力される画像の変形指示（変形制御点の移動）に対応して、表示されている画像に変形を施す一連の処理をいう。なお、以下、上述の特許文献１（特許第４６１３３１３号公報）に開示された処理手順を基本とし、さらに、種々の変形態様に対しても、より適切に画像の変形を行うことができる処理手順を追加した実施形態について説明する。
ＣＰＵ１１は、メイン画像処理を実行する機能ブロックとして、ユーザ指示取得部４１と、オリジナルメッシュ生成部４２と、制御点選択部４３と、メッシュ均等化部４４と、メッシュ分割部４５と、メッシュ依存行列生成部４６と、制御点依存行列生成部４７と、中間メッシュ生成部４８と、適合メッシュ生成部４９と、最終メッシュ生成部５０とを備えている。
ユーザ指示取得部４１は、入力部１６を介してユーザによって入力されるメイン画像処理のための各種指示入力を取得する。例えば、ユーザ指示取得部４１は、入力部１６を介して入力される変形対象となる画像の選択、変形制御点の設定及び移動、メイン画像処理の終了の指示入力等を取得する。
ユーザ指示取得部４１は、入力部１６を介してユーザによって入力されるメイン画像処理のための各種指示入力を取得する。例えば、ユーザ指示取得部４１は、入力部１６を介して入力される変形対象となる画像の選択、変形制御点の設定及び移動、メイン画像処理の終了の指示入力等を取得する。
オリジナルメッシュ生成部４２は、メイン画像処理において処理対象となる変形前の画像に三角形のメッシュ（以下、適宜「オリジナルメッシュ」と呼ぶ。）（以下、「オリジナルメッシュ」を「初期メッシュ」とも呼ぶ。）を生成する。このとき、オリジナルメッシュ生成部４２は、ドロネー三角形分割等の手法によって、処理対象となる画像に三角形の頂点を設定し、三角形のメッシュを生成する。そして、オリジナルメッシュ生成部４２は、生成したオリジナルメッシュを表すデータ（具体的には、メッシュに含まれる各三角形の座標）を変形処理データ記憶部５１に記憶する。
制御点選択部４３は、ユーザ指示取得部４１により取得した１以上の変形制御点のうち、所定の変形制御点を選択する。制御点選択部４３により選択される変形制御点は任意に決定される。制御点選択部４３は、選択した変形制御点の情報をメッシュ分割部４５へ供給する。
メッシュ均等化部４４は、初期メッシュが略均等のサイズになるようなメッシュ均等化処理（後述）を実行する。メッシュ均等化処理とは、オリジナルメッシュ生成部４２により生成された各々の初期メッシュのサイズが略均等となるようにメッシュのサイズの均等化を行う処理である。
メッシュ分割部４５は、制御点選択部４３により選択された変形制御点から所定の範囲内に存在する初期メッシュを複数に分割する。メッシュ均等化部４４は、初期メッシュ全体が均等のサイズとなるようにメッシュのサイズを分割するのに対し、メッシュ分割部４５は、細かく動く部位であると考えられる変形制御点付近のメッシュをさらに細かくすることにより、画像をより適切に変形することができる。具体的には、メッシュ分割部４５は、以下の手順に基づいて初期メッシュを複数に分割する。
図３は、初期メッシュにおける三角形の変形例を模式的に示す図である。図３（ａ）は、変形対象となる画像に初期メッシュが生成された状態を示す図、図３（ｂ）は、生成された初期メッシュに対し所定の変形制御点Ｐが選択された状態を示す図、図３（ｃ）は、選択された変形制御点Ｐから所定の範囲内に存在する初期メッシュが複数に分割された状態を示す図、図３（ｄ）は、初期メッシュが複数に分割されることにより、画像が変形された状態を示す図である。
本実施形態では、メイン画像処理において処理対象となる画像が画像表示部５２に表示される。オリジナルメッシュ生成部４２は、処理対象となる画像に初期メッシュを生成する（図３（ａ）参照）。制御点選択部４３は、オリジナルメッシュ生成部４２により生成された初期メッシュにおける三角形の頂点の一部を変形制御点Ｐとして選択する（図３（ｂ）参照）。メッシュ分割部４５は、選択された変形制御点Ｐから所定の範囲内に存在する初期メッシュを複数に分割する（図３（ｃ）参照）。そして、複数に分割されたメッシュに基づいて、画像が変形される（図３（ｄ）参照）。
このように、変形制御点近傍のメッシュのみを細かく分割することにより、変形量が多い部分（折れ曲がった部分）のメッシュが細かくなるため、折れ曲がり部の表示がスムーズとなる。これに対し、変形制御点の近傍以外の部位については無用にメッシュを細かく設定されないため、処理の負担の軽減を図ることができる。
このように、変形制御点近傍のメッシュのみを細かく分割することにより、変形量が多い部分（折れ曲がった部分）のメッシュが細かくなるため、折れ曲がり部の表示がスムーズとなる。これに対し、変形制御点の近傍以外の部位については無用にメッシュを細かく設定されないため、処理の負担の軽減を図ることができる。
図２の説明に戻り、メッシュ依存行列生成部４６は、オリジナルメッシュ生成部４２によって生成された三角形のメッシュに依存して定まる各行列（後述する行列Ｇ１，Ｂ１等）を算出する。
制御点依存行列生成部４７は、オリジナルメッシュの三角形の頂点上に変形制御点が設定、追加あるいは削除されたときに、変形制御点に依存して定まる各行列（後述するＧ２，Ｇ４等）を生成する。
具体的には、メッシュ依存行列生成部４６及び制御点依存行列生成部４７は、以下の手順に基づいて各行列を算出する。
制御点依存行列生成部４７は、オリジナルメッシュの三角形の頂点上に変形制御点が設定、追加あるいは削除されたときに、変形制御点に依存して定まる各行列（後述するＧ２，Ｇ４等）を生成する。
具体的には、メッシュ依存行列生成部４６及び制御点依存行列生成部４７は、以下の手順に基づいて各行列を算出する。
図４は、オリジナルメッシュにおける三角形Ｓの変形例を模式的に示す図である。
図４において、三角形Ｓは、３つの頂点（ｖ０，ｖ１，ｖ２）を有している。
これら３つの頂点のうちの１つの座標は、他の２つの頂点の座標によって表すことができる。即ち、頂点ｖ０，ｖ１の座標と、頂点ｖ２から辺ｖ０ｖ１に下ろした垂線の長さｙ０及び垂線の足の位置（頂点ｖ０からの距離）ｘ０とが与えられれば、次式（１）のように、頂点ｖ２の座標を頂点ｖ０，ｖ１の座標によって表すことができる。
ｖ２＝ｖ０＋ｘ０１・（ベクトルｖ０ｖ１）＋ｙ０・Ｒ９０（ベクトルｖ０ｖ１） (１)
図４において、三角形Ｓは、３つの頂点（ｖ０，ｖ１，ｖ２）を有している。
これら３つの頂点のうちの１つの座標は、他の２つの頂点の座標によって表すことができる。即ち、頂点ｖ０，ｖ１の座標と、頂点ｖ２から辺ｖ０ｖ１に下ろした垂線の長さｙ０及び垂線の足の位置（頂点ｖ０からの距離）ｘ０とが与えられれば、次式（１）のように、頂点ｖ２の座標を頂点ｖ０，ｖ１の座標によって表すことができる。
ｖ２＝ｖ０＋ｘ０１・（ベクトルｖ０ｖ１）＋ｙ０・Ｒ９０（ベクトルｖ０ｖ１） (１)
なお、（１）式において、Ｒ９０は９０度の回転を示す演算子である。
（１）式と同様に、頂点ｖ０，ｖ１の座標についても、他の２つの頂点の座標によって表すことができる。
また、変形制御点が移動されることにより、三角形の歪みや不均一な伸縮を禁止し、平行移動、回転及び拡大・縮小を許容して変形させた結果の三角形からなるメッシュ（以下、適宜「中間メッシュ」と呼ぶ。）における頂点ｖ２の誤差は、｜ｖ２＊−ｖ２｜と表すことができる。ただし、ｖ２＊は、中間メッシュを構成する三角形に変形後の頂点ｖ２の座標である。また、頂点ｖ２と同様に、頂点ｖ０，ｖ１についても誤差｜ｖ０＊−ｖ０｜，｜ｖ１＊−ｖ１｜を算出することができる。これらの誤差は、１つの頂点に関する移動量の大きさを表している。
（１）式と同様に、頂点ｖ０，ｖ１の座標についても、他の２つの頂点の座標によって表すことができる。
また、変形制御点が移動されることにより、三角形の歪みや不均一な伸縮を禁止し、平行移動、回転及び拡大・縮小を許容して変形させた結果の三角形からなるメッシュ（以下、適宜「中間メッシュ」と呼ぶ。）における頂点ｖ２の誤差は、｜ｖ２＊−ｖ２｜と表すことができる。ただし、ｖ２＊は、中間メッシュを構成する三角形に変形後の頂点ｖ２の座標である。また、頂点ｖ２と同様に、頂点ｖ０，ｖ１についても誤差｜ｖ０＊−ｖ０｜，｜ｖ１＊−ｖ１｜を算出することができる。これらの誤差は、１つの頂点に関する移動量の大きさを表している。
このように各三角形の頂点の誤差を算出し、全ての三角形の頂点についての誤差を取得することにより、次式（２）に示すように、オリジナルメッシュと変形後のメッシュとの誤差Ｅ１は行列Ｇ１を用いて表すことができる。行列Ｇ１は、オリジナルメッシュを構成する各頂点の接続状態を表している。なお、１つの三角形の３つの頂点についての上記誤差の集合は、その三角形の変形量の大きさを表す指標となる。
Ｅ１＝ｖｔ・Ｇ１・ｖ （２）
ただし、ｖはオリジナルメッシュにおける三角形の各頂点の座標の集合からなるベクトル、ｖｔはベクトルｖの転置行列を表している。なお、ベクトルｖにおいては、三角形の頂点のうち、変形制御点ｑが下位、他の自由点（変形制御点の移動に対応して位置が決まる点）ｕが上位に配列されている（ｖ＝［ｕ，ｑ］）。
Ｅ１＝ｖｔ・Ｇ１・ｖ （２）
ただし、ｖはオリジナルメッシュにおける三角形の各頂点の座標の集合からなるベクトル、ｖｔはベクトルｖの転置行列を表している。なお、ベクトルｖにおいては、三角形の頂点のうち、変形制御点ｑが下位、他の自由点（変形制御点の移動に対応して位置が決まる点）ｕが上位に配列されている（ｖ＝［ｕ，ｑ］）。
（２）式においては、変形制御点ｑの座標を入力すると、自由点ｕの座標が与えられる。
（２）式によれば、行列Ｅ１は、ベクトルｖの要素について２次の関数であるため、行列Ｅ１の最小値を求めるためには、（３）式に示すように、自由点ｕの座標で偏微分し、その値が０となるときの方程式を解けばよい。
∇Ｅ１／∇ｕ＝Ｇ２・ｕ＋Ｂ１・ｑ＝０ （３）
ただし、Ｇ２は行列Ｇ１において変形制御点の成分を除去した行列、Ｂ１は行列Ｇ１及び変形制御点の座標から得られるベクトルである。なお、（３）式における「Ｂ１・ｑ」項を行列Ｇｘ（＝Ｂ１・ｑ）と置く。行列Ｇｘは、変形制御点の移動と共に変化する。
（２）式によれば、行列Ｅ１は、ベクトルｖの要素について２次の関数であるため、行列Ｅ１の最小値を求めるためには、（３）式に示すように、自由点ｕの座標で偏微分し、その値が０となるときの方程式を解けばよい。
∇Ｅ１／∇ｕ＝Ｇ２・ｕ＋Ｂ１・ｑ＝０ （３）
ただし、Ｇ２は行列Ｇ１において変形制御点の成分を除去した行列、Ｂ１は行列Ｇ１及び変形制御点の座標から得られるベクトルである。なお、（３）式における「Ｂ１・ｑ」項を行列Ｇｘ（＝Ｂ１・ｑ）と置く。行列Ｇｘは、変形制御点の移動と共に変化する。
（３）式より、求める自由点ｕの座標は、次式（４）に示すように、
ｕ＝Ｇ２−１・（−Ｂ１・ｑ） （４）
として算出できる。
メッシュ依存行列生成部４６は、オリジナルメッシュが生成されると、上述の手順によって行列Ｇ１，Ｂ１を算出する。
そして、制御点依存行列生成部４７は、行列Ｇ２及びその逆行列Ｇ２−１を算出する。
また、オリジナルメッシュの三角形に、歪み、不均一な伸縮及び拡大・縮小を禁止すると共に回転及び平行移動を許容して、上述の中間メッシュを構成する三角形に適合させて、適合メッシュが生成される。中間メッシュと適合メッシュとの誤差（各頂点の位置の誤差）は、各三角形について算出することができる。
ｕ＝Ｇ２−１・（−Ｂ１・ｑ） （４）
として算出できる。
メッシュ依存行列生成部４６は、オリジナルメッシュが生成されると、上述の手順によって行列Ｇ１，Ｂ１を算出する。
そして、制御点依存行列生成部４７は、行列Ｇ２及びその逆行列Ｇ２−１を算出する。
また、オリジナルメッシュの三角形に、歪み、不均一な伸縮及び拡大・縮小を禁止すると共に回転及び平行移動を許容して、上述の中間メッシュを構成する三角形に適合させて、適合メッシュが生成される。中間メッシュと適合メッシュとの誤差（各頂点の位置の誤差）は、各三角形について算出することができる。
このとき、次式（５）に示すように、中間メッシュの三角形について、適合メッシュの三角形との誤差Ｅ２は行列Ｇ３を用いて表すことができる。
Ｅ２＝ｗｔ・Ｇ３・ｗ （５）
ただし、ｗは１つの頂点を他の２つの頂点の座標によって表すことにより、４つの変数の集合となったベクトルであり、ｗｔはベクトルｗの転置行列を表している。
（５）式をベクトルｗの各要素で偏微分すると、次式（６）が得られる。
∇Ｅ２／∇ｗ＝Ｇ４・ｗ＋Ｂ２ （６）
ただし、Ｇ４は行列Ｇ３において変形制御点の成分を除去した行列、Ｂ２は行列Ｇ３及び変形制御点の座標から得られるベクトルである。
Ｅ２＝ｗｔ・Ｇ３・ｗ （５）
ただし、ｗは１つの頂点を他の２つの頂点の座標によって表すことにより、４つの変数の集合となったベクトルであり、ｗｔはベクトルｗの転置行列を表している。
（５）式をベクトルｗの各要素で偏微分すると、次式（６）が得られる。
∇Ｅ２／∇ｗ＝Ｇ４・ｗ＋Ｂ２ （６）
ただし、Ｇ４は行列Ｇ３において変形制御点の成分を除去した行列、Ｂ２は行列Ｇ３及び変形制御点の座標から得られるベクトルである。
（６）式の右辺を０として、求める三角形の頂点を表す座標ｗは、次式（７）に示すように、
ｗ＝Ｇ４−１・（−Ｂ２） （７）
として算出できる。
ここで、（６）式においては、中間メッシュの三角形に適合させるために、オリジナルメッシュの三角形を拡大・縮小する要素が含まれているため、変化した大きさを元の大きさに調整するための値を算出する。即ち、（６）式の右辺を０として、ベクトルｗを算出し、ベクトルｗにおける頂点の座標から、三角形の各辺を表すベクトルの大きさＷｆを算出する。そして、オリジナルメッシュの三角形の辺を表すベクトルＥ０と、それに対応する三角形の辺を表すベクトルＷｆとの比（以下、適宜「スケール調整値」と呼ぶ。）Ｗｐを次式（８）に従って算出する。
ｗ＝Ｇ４−１・（−Ｂ２） （７）
として算出できる。
ここで、（６）式においては、中間メッシュの三角形に適合させるために、オリジナルメッシュの三角形を拡大・縮小する要素が含まれているため、変化した大きさを元の大きさに調整するための値を算出する。即ち、（６）式の右辺を０として、ベクトルｗを算出し、ベクトルｗにおける頂点の座標から、三角形の各辺を表すベクトルの大きさＷｆを算出する。そして、オリジナルメッシュの三角形の辺を表すベクトルＥ０と、それに対応する三角形の辺を表すベクトルＷｆとの比（以下、適宜「スケール調整値」と呼ぶ。）Ｗｐを次式（８）に従って算出する。
Ｗｐ＝｜Ｗｆ｜／｜Ｅ０｜ （８）
適合メッシュを構成する各三角形は、（８）式の値の逆数を乗ずることによりオリジナルメッシュにおいて対応する三角形と同一の大きさとされる。
メッシュ依存行列生成部４６は、中間メッシュが生成されると、行列Ｇ４，Ｂ２及び行列Ｇ４の逆行列Ｇ４−１を算出する。
適合メッシュを構成する各三角形は、（８）式の値の逆数を乗ずることによりオリジナルメッシュにおいて対応する三角形と同一の大きさとされる。
メッシュ依存行列生成部４６は、中間メッシュが生成されると、行列Ｇ４，Ｂ２及び行列Ｇ４の逆行列Ｇ４−１を算出する。
また、適合メッシュの三角形を、誤差を最小にしつつ、最終的なターゲットとなるメッシュ（以下、適宜「最終メッシュ」と呼ぶ。）の三角形に適合させることにより、各自由点ｕの最終的な座標が算出される。このとき、三角形の平行移動、回転、拡大・縮小、歪みが許容され、適合メッシュと最終メッシュとにおいて、対応する三角形の辺を表すベクトルの誤差が最小となるように最終メッシュの三角形が取得される。
即ち、適合メッシュの三角形の各辺を示すベクトルと、対応する最終メッシュの三角形の各辺を示すベクトルとの誤差を、各三角形について算出する。
即ち、適合メッシュの三角形の各辺を示すベクトルと、対応する最終メッシュの三角形の各辺を示すベクトルとの誤差を、各三角形について算出する。
このとき、次式（９）に示すように、適合メッシュの三角形の各辺について、最終メッシュの三角形との誤差を表す行列Ｅ３は行列Ｇ５を用いて表すことができる。
Ｅ３＝ｚｔ・Ｇ５・ｚ＋Ｂ３・ｚ＋Ｃ （９）
ただし、ｚはオリジナルメッシュにおける三角形の各頂点の座標の集合からなるベクトル、ｚｔはベクトルｚの転置行列を表している。また、Ｂ３及びＣは適合メッシュ座標から得られるベクトルである。なお、ベクトルｚにおいては、三角形の頂点のうち、変形制御点ｑが下位、他の自由点（変形制御点の移動に対応して位置が決まる点）ｕが上位に配列されている（ｚ＝［ｕ，ｑ］）。
Ｅ３＝ｚｔ・Ｇ５・ｚ＋Ｂ３・ｚ＋Ｃ （９）
ただし、ｚはオリジナルメッシュにおける三角形の各頂点の座標の集合からなるベクトル、ｚｔはベクトルｚの転置行列を表している。また、Ｂ３及びＣは適合メッシュ座標から得られるベクトルである。なお、ベクトルｚにおいては、三角形の頂点のうち、変形制御点ｑが下位、他の自由点（変形制御点の移動に対応して位置が決まる点）ｕが上位に配列されている（ｚ＝［ｕ，ｑ］）。
行列Ｅ３の最小値を求めるためには、（２）式と同様に、行列Ｅ３を自由点ｕの座標で偏微分し、その値が０となるときの方程式を解けばよい。
∇Ｅ３／∇ｕ＝Ｇ６・ｕ＋Ｂ４＝０ （１０）
ただし、Ｇ６は行列Ｇ５において変形制御点の成分を除去した行列、Ｂ４は行列Ｇ５、Ｂ３及び変形制御点の座標から得られるベクトルである。
（１０）式より、求める自由点ｕの座標は、次式（１１）に示すように、
ｕ＝Ｇ６−１・（−Ｂ４） （１１）
として算出できる。
∇Ｅ３／∇ｕ＝Ｇ６・ｕ＋Ｂ４＝０ （１０）
ただし、Ｇ６は行列Ｇ５において変形制御点の成分を除去した行列、Ｂ４は行列Ｇ５、Ｂ３及び変形制御点の座標から得られるベクトルである。
（１０）式より、求める自由点ｕの座標は、次式（１１）に示すように、
ｕ＝Ｇ６−１・（−Ｂ４） （１１）
として算出できる。
このように算出された自由点ｕの座標によって表される最終メッシュの各三角形は、隣接する三角形の辺が重複しており、最終メッシュは、三角形が連続した構成となっている。
これにより、変形制御点の移動に対応した画像の変形処理が実現される。
メッシュ依存行列生成部４６は、適合メッシュが生成されると、行列Ｇ５を算出する。
そして、制御点依存行列生成部４７は、行列Ｇ６及びその逆行列Ｇ６−１、行列Ｂ４を算出する。
これにより、変形制御点の移動に対応した画像の変形処理が実現される。
メッシュ依存行列生成部４６は、適合メッシュが生成されると、行列Ｇ５を算出する。
そして、制御点依存行列生成部４７は、行列Ｇ６及びその逆行列Ｇ６−１、行列Ｂ４を算出する。
中間メッシュ生成部４８は、行列Ｇ２の逆行列Ｇ２−１及び行列Ｂ１によって、オリジナルメッシュの三角形を中間メッシュの三角形に変換する。
適合メッシュ生成部４９は、行列Ｇ４の逆行列Ｇ４−１及び行列Ｂ２と、スケール調整値Ｗｐによって、中間メッシュ生成部４８によって変換された中間メッシュの三角形を適合メッシュの三角形に変換する。
適合メッシュ生成部４９は、行列Ｇ４の逆行列Ｇ４−１及び行列Ｂ２と、スケール調整値Ｗｐによって、中間メッシュ生成部４８によって変換された中間メッシュの三角形を適合メッシュの三角形に変換する。
最終メッシュ生成部５０は、行列Ｇ６の逆行列Ｇ６−１及び行列Ｂ４によって、中間メッシュの三角形を最終メッシュの三角形に変換する。
ここで、本実施形態において、適合メッシュ生成部４９は、スケール調整値Ｗｐの大きさに応じて、適合メッシュの三角形を算出する際のスケール調整処理を切り替える。具体的には、スケール調整値Ｗｐが設定した閾値（ここでは１／８とする）以下である場合、スケール調整を行わず、中間メッシュの三角形をそのまま適合メッシュの三角形とする。一方、適合メッシュ生成部４９は、スケール調整値Ｗｐが設定した閾値より小さくない場合、（７）式によって算出した座標の三角形をＷｐでスケール調整し、適合メッシュの三角形とする。
ここで、本実施形態において、適合メッシュ生成部４９は、スケール調整値Ｗｐの大きさに応じて、適合メッシュの三角形を算出する際のスケール調整処理を切り替える。具体的には、スケール調整値Ｗｐが設定した閾値（ここでは１／８とする）以下である場合、スケール調整を行わず、中間メッシュの三角形をそのまま適合メッシュの三角形とする。一方、適合メッシュ生成部４９は、スケール調整値Ｗｐが設定した閾値より小さくない場合、（７）式によって算出した座標の三角形をＷｐでスケール調整し、適合メッシュの三角形とする。
図２の説明に戻り、記憶部１８の一領域には、メイン画像処理において使用される各種データを記憶する変形処理データ記憶部５１が設けられている。
出力部１７は、メイン画像処理において処理対象となる画像を表示する画像表示部５２を備えている。
出力部１７は、メイン画像処理において処理対象となる画像を表示する画像表示部５２を備えている。
図５は、画像に各メッシュが生成された状態を示す図であり、図５（ａ）は変形対象となる画像にオリジナルメッシュが生成された状態を示す図、図５（ｂ）は中間メッシュ、適合メッシュ及び最終メッシュが生成されることにより、画像が変形された状態を示す図である。
図５に示すように、本実施形態では、メイン画像処理において処理対象となる画像が画像表示部５２に表示され、オリジナルメッシュ生成部４２によって画像にオリジナルメッシュが生成される（図５（ａ）参照）。そして、オリジナルメッシュにおける三角形の頂点の一部が変形制御点として設定されると、メッシュ依存行列生成部４６及び制御点依存行列生成部４７が各行列及びスケール調整値Ｗｐを算出し、中間メッシュ生成部４８が中間メッシュの三角形を算出する。さらに、適合メッシュ生成部４９が適合メッシュの三角形を算出し、最終メッシュ生成部５０が最終メッシュの三角形を算出する。このとき、適合メッシュ生成部４９は、スケール調整値Ｗｐが設定した閾値（例えば１／８）以下である場合、スケール調整を行わず、中間メッシュの三角形をそのまま適合メッシュの三角形とする。一方、適合メッシュ生成部４９は、スケール調整値Ｗｐが設定した閾値より小さくない場合、（７）式によって算出した座標の三角形をＷｐでスケール調整し、適合メッシュの三角形とする（図５（ｂ）参照）。
このように、スケール調整値Ｗｐに応じて適合メッシュを構成する三角形の生成方法を切り替えることにより、変形制御点の移動に伴い変形度合いが大きくなる領域（例えば図５（ｂ）における領域Ｌ）において、画像の一部が極端に拡大する等、不適切に変形する三角形の発生を抑制することができる。
［動作］
次に、画像処理装置１の動作を説明する。
［メイン画像処理］
初めに、画像処理装置１の動作におけるメインフローとなるメイン画像処理について説明する。
図６は、画像処理装置１が実行するメイン画像処理の流れを示すフローチャートである。
メイン画像処理は、ユーザがメイン画像処理の開始を指示入力することに対応して実行される。
ステップＳ１０１において、ユーザ指示取得部４１は、変形対象となる画像を選択する指示入力を取得する。
次に、画像処理装置１の動作を説明する。
［メイン画像処理］
初めに、画像処理装置１の動作におけるメインフローとなるメイン画像処理について説明する。
図６は、画像処理装置１が実行するメイン画像処理の流れを示すフローチャートである。
メイン画像処理は、ユーザがメイン画像処理の開始を指示入力することに対応して実行される。
ステップＳ１０１において、ユーザ指示取得部４１は、変形対象となる画像を選択する指示入力を取得する。
ステップＳ１０２において、ユーザ指示取得部４１は、ユーザによって設定された変形制御点の設定内容を取得する。なお、変形制御点は、画像の変形の複雑さに応じて、１つまたは複数設定される。
ステップＳ１０３において、オリジナルメッシュ生成部４２、制御点選択部４３、メッシュ均等化部４４及びメッシュ分割部４５は、メッシュ生成処理（後述）を実行する。メッシュ生成処理は、三角形で構成されるメッシュを画像に生成し、生成したメッシュを分割する処理である。
ステップＳ１０４において、メッシュ依存行列生成部４６及び制御点依存行列生成部４７は、画像の変形処理における演算負荷を軽減するための変形用前処理（後述）を実行する。変形用前処理は、画像の変形処理に用いる各種行列等を予め生成する処理である。
ステップＳ１０５において、ユーザ指示取得部４１は、メイン画像処理の終了が指示入力されたか否かの判定を行う。
ステップＳ１０４において、メッシュ依存行列生成部４６及び制御点依存行列生成部４７は、画像の変形処理における演算負荷を軽減するための変形用前処理（後述）を実行する。変形用前処理は、画像の変形処理に用いる各種行列等を予め生成する処理である。
ステップＳ１０５において、ユーザ指示取得部４１は、メイン画像処理の終了が指示入力されたか否かの判定を行う。
メイン画像処理の終了が指示入力された場合、ステップＳ１０５においてＹＥＳであると判定されて、処理は終了となる。
これに対して、メイン画像処理の終了が指示入力されていない場合、ステップＳ１０５においてＹＥＳと判定されて、処理はステップＳ１０６に進む。
ステップＳ１０６において、ユーザ指示取得部４１は、ユーザによる変形制御点の移動結果を取得する。
これに対して、メイン画像処理の終了が指示入力されていない場合、ステップＳ１０５においてＹＥＳと判定されて、処理はステップＳ１０６に進む。
ステップＳ１０６において、ユーザ指示取得部４１は、ユーザによる変形制御点の移動結果を取得する。
ステップＳ１０７において、中間メッシュ生成部４８、適合メッシュ生成部４９及び最終メッシュ生成部５０は、画像変形処理（後述）を実行する。画像変形処理は、変形制御点の移動に応じて、中間メッシュ、適合メッシュ及び最終メッシュを生成し、変形結果となる各三角形の座標を算出する処理である。
ステップＳ１０８において、画像表示部５２は、画像変形処理において算出した最終メッシュの三角形の座標に従って、変形後の画像を描画する。
ステップＳ１０８の後、処理はステップＳ１０５に進む。
ステップＳ１０８において、画像表示部５２は、画像変形処理において算出した最終メッシュの三角形の座標に従って、変形後の画像を描画する。
ステップＳ１０８の後、処理はステップＳ１０５に進む。
［メッシュ生成処理］
次に、メイン画像処理のステップＳ１０３において実行されるメッシュ生成処理について説明する。
図７は、画像処理装置１が実行するメッシュ生成処理の流れを示すフローチャートである。
ステップＳ２０１において、オリジナルメッシュ生成部４２は、初期メッシュ生成処理（後述）を実行する。初期メッシュ生成処理は、ドロネー三角形分割等の手法によって、処理対象となる画像に三角形の頂点を設定し、三角形の初期メッシュ（オリジナルメッシュ）を生成する処理である。
ステップＳ２０２において、メッシュ均等化部４４は、メッシュ均等化処理（後述）を実行する。メッシュ均等化処理は、ステップＳ２０１において生成した各々の初期メッシュのサイズが略均等となるようにメッシュのサイズの均等化を行う処理である。
ステップＳ２０３において、メッシュ分割部４５は、メッシュ分割処理（後述）を実行する。メッシュ分割処理は、メッシュ均等化部４４により均等化されたメッシュに対し、変形制御点周りのメッシュのサイズが細かくなるようにさらにメッシュを分割する処理である。
このようなステップ２０３の処理が終了すると、処理はメイン画像処理に戻る。
次に、メイン画像処理のステップＳ１０３において実行されるメッシュ生成処理について説明する。
図７は、画像処理装置１が実行するメッシュ生成処理の流れを示すフローチャートである。
ステップＳ２０１において、オリジナルメッシュ生成部４２は、初期メッシュ生成処理（後述）を実行する。初期メッシュ生成処理は、ドロネー三角形分割等の手法によって、処理対象となる画像に三角形の頂点を設定し、三角形の初期メッシュ（オリジナルメッシュ）を生成する処理である。
ステップＳ２０２において、メッシュ均等化部４４は、メッシュ均等化処理（後述）を実行する。メッシュ均等化処理は、ステップＳ２０１において生成した各々の初期メッシュのサイズが略均等となるようにメッシュのサイズの均等化を行う処理である。
ステップＳ２０３において、メッシュ分割部４５は、メッシュ分割処理（後述）を実行する。メッシュ分割処理は、メッシュ均等化部４４により均等化されたメッシュに対し、変形制御点周りのメッシュのサイズが細かくなるようにさらにメッシュを分割する処理である。
このようなステップ２０３の処理が終了すると、処理はメイン画像処理に戻る。
［初期メッシュ生成処理］
次に、メッシュ生成処理のステップＳ２０１において実行される初期メッシュ生成処理について説明する。
図８は、画像処理装置１が実行する初期メッシュ生成処理の流れを示すフローチャートである。
ステップＳ３０１において、オリジナルメッシュ生成部４２は、処理対象の画像外周に略均等に点を配置する。この処理では、オリジナルメッシュ生成部４２は、変形対象となる処理対象の画像（被写体の画像）の外周に沿って、所望の間隔で初期メッシュの頂点となる点を配置する。この画像の外周に配置された点は、図７のステップＳ２０２のメッシュ均等化処理において消去されることはない。
ステップＳ３０２において、オリジナルメッシュ生成部４２は、処理対象の画像（被写体の画像）の内部にランダムに所望の点を配置する。
ステップＳ３０３において、オリジナルメッシュ生成部４２は、処理対象の画像（被写体の画像）の内部において、ステップＳ３０１及びステップＳ３０２で配置された点を頂点とするメッシュをドロネー三角分割法等を用い生成する。この処理で生成されたメッシュが初期メッシュ（オリジナルメッシュ）となる。
このようなステップ３０３の処理が終了すると、処理はメッシュ生成処理に戻る。
次に、メッシュ生成処理のステップＳ２０１において実行される初期メッシュ生成処理について説明する。
図８は、画像処理装置１が実行する初期メッシュ生成処理の流れを示すフローチャートである。
ステップＳ３０１において、オリジナルメッシュ生成部４２は、処理対象の画像外周に略均等に点を配置する。この処理では、オリジナルメッシュ生成部４２は、変形対象となる処理対象の画像（被写体の画像）の外周に沿って、所望の間隔で初期メッシュの頂点となる点を配置する。この画像の外周に配置された点は、図７のステップＳ２０２のメッシュ均等化処理において消去されることはない。
ステップＳ３０２において、オリジナルメッシュ生成部４２は、処理対象の画像（被写体の画像）の内部にランダムに所望の点を配置する。
ステップＳ３０３において、オリジナルメッシュ生成部４２は、処理対象の画像（被写体の画像）の内部において、ステップＳ３０１及びステップＳ３０２で配置された点を頂点とするメッシュをドロネー三角分割法等を用い生成する。この処理で生成されたメッシュが初期メッシュ（オリジナルメッシュ）となる。
このようなステップ３０３の処理が終了すると、処理はメッシュ生成処理に戻る。
［メッシュ均等化処理］
次に、メッシュ生成処理のステップＳ２０２において実行されるメッシュ均等化処理について説明する。
図９は、画像処理装置１が実行するメッシュ均等化処理の流れを示すフローチャートである。この処理では、全てのメッシュが順番に選択され、処理が実行される。
次に、メッシュ生成処理のステップＳ２０２において実行されるメッシュ均等化処理について説明する。
図９は、画像処理装置１が実行するメッシュ均等化処理の流れを示すフローチャートである。この処理では、全てのメッシュが順番に選択され、処理が実行される。
ステップＳ４０１において、メッシュ均等化部４４は、ステップＳ２０１の初期メッシュ生成処理において生成された複数の初期メッシュのうち１つの初期メッシュを選択する。
ステップＳ４０２において、メッシュ均等化部４４は、ステップＳ４０１において選択した初期メッシュを構成する三角形の３辺のうち、最大辺がＭａｘＥｄｇｅ以上であるか否かを判定する。最大辺がＭａｘＥｄｇｅ以上である場合には、ステップＳ４０２においてＹＥＳであると判定されて、処理はステップＳ４０３に進む。
ステップＳ４０３において、メッシュ均等化部４４は、着目する辺を分割する新たな点を生成し、メッシュを分割するメッシュ崩壊を行う。この処理では、メッシュ均等化部４４は、まずステップＳ４０２において着目された最大辺の略中心位置に中点を生成する。そして、メッシュ均等化部４４は、生成した中点と対向する頂点とを線で結ぶことにより、着目された最大辺を含む２つのメッシュを夫々２つに分割してメッシュ崩壊を行う。
図１０を参照してステップＳ４０３において行われるメッシュ崩壊について説明する。
図１０は、初期メッシュがメッシュ崩壊により２つのメッシュに分割される状態を示す図である。
図１０（ａ）に示すように、処理対象の初期メッシュ２０１に対し、ステップ４０２において最大辺がＭａｘＥｄｇｅ以上であると判定された最大辺２０２の中点に点２０３が生成される。そして、図１０（ｂ）に示すように、生成された点２０３と、対向する頂点２０４ａ，２０４ｂとが線で結ばれることにより、着目された最大辺２０２を含む２つのメッシュを夫々２つに分割してメッシュ崩壊が行われる。
図１０は、初期メッシュがメッシュ崩壊により２つのメッシュに分割される状態を示す図である。
図１０（ａ）に示すように、処理対象の初期メッシュ２０１に対し、ステップ４０２において最大辺がＭａｘＥｄｇｅ以上であると判定された最大辺２０２の中点に点２０３が生成される。そして、図１０（ｂ）に示すように、生成された点２０３と、対向する頂点２０４ａ，２０４ｂとが線で結ばれることにより、着目された最大辺２０２を含む２つのメッシュを夫々２つに分割してメッシュ崩壊が行われる。
図９に戻り、選択した初期メッシュを構成する辺の最大辺がＭａｘＥｄｇｅ以下である場合には、ステップＳ４０２においてＮＯであると判定されて、処理はステップＳ４０４に進む。
ステップＳ４０４において、メッシュ均等化部４４は、ステップＳ４０１において選択した初期メッシュを構成する三角形の辺のうち、最小辺がＭｉｎＥｄｇｅ以下であるか否かを判定する。最小辺がＭｉｎＥｄｇｅ以下である場合には、ステップＳ４０４においてＹＥＳであると判定されて、処理はステップＳ４０５に進む。
ステップＳ４０４において、メッシュ均等化部４４は、ステップＳ４０１において選択した初期メッシュを構成する三角形の辺のうち、最小辺がＭｉｎＥｄｇｅ以下であるか否かを判定する。最小辺がＭｉｎＥｄｇｅ以下である場合には、ステップＳ４０４においてＹＥＳであると判定されて、処理はステップＳ４０５に進む。
ステップＳ４０５において、メッシュ均等化部４４は、処理対象となる画像外周ではない点を削除し、隣接するメッシュで併合するメッシュ併合を行う。この処理では、メッシュ均等化部４４は、まずステップＳ４０４において着目された最小辺に隣接する点のうち画像外周ではない点を削除する。そして、メッシュ均等化部４４は、削除した点と夫々対向する頂点とを結ぶ線を夫々削除してメッシュ併合を行う。
図１１を参照してステップＳ４０５において行われるメッシュ併合について説明する。
図１１は、２つの初期メッシュがメッシュ併合により１つのメッシュに併合される状態を示す図である。
図１１（ａ）に示すように、処理対象の初期メッシュ３０１に対し、ステップＳ４０４において最小辺がＭｉｎＥｄｇｅ以下であると判定された最小辺３０２の各端部にある点３０３ａ，３０３ｂのうち画像外周ではない点３０３ａが削除される。そして、図１１（ｂ）に示すように、削除された点３０３ｂと夫々対向する頂点３０４ａ，３０４ｂとを結ぶ線３０５ａ，３０５ｂが夫々削除される。これにより、最小辺３０２に隣接する２つの初期メッシュ３０６ａ，３０６ｂが１つのメッシュ３０６に併合されると共に、２つの初期メッシュ３０７ａ，３０７ｂが１つのメッシュ３０７に併合されるメッシュ併合が行われる。
図１１は、２つの初期メッシュがメッシュ併合により１つのメッシュに併合される状態を示す図である。
図１１（ａ）に示すように、処理対象の初期メッシュ３０１に対し、ステップＳ４０４において最小辺がＭｉｎＥｄｇｅ以下であると判定された最小辺３０２の各端部にある点３０３ａ，３０３ｂのうち画像外周ではない点３０３ａが削除される。そして、図１１（ｂ）に示すように、削除された点３０３ｂと夫々対向する頂点３０４ａ，３０４ｂとを結ぶ線３０５ａ，３０５ｂが夫々削除される。これにより、最小辺３０２に隣接する２つの初期メッシュ３０６ａ，３０６ｂが１つのメッシュ３０６に併合されると共に、２つの初期メッシュ３０７ａ，３０７ｂが１つのメッシュ３０７に併合されるメッシュ併合が行われる。
図９に戻り、最小辺がＭｉｎＥｄｇｅ以上である場合には、ステップＳ４０４においてＮＯであると判定されて、処理はステップＳ４０６に進む。
ステップＳ４０６において、メッシュ均等化部４４は、全てのメッシュを処理したか否かを判定する。全てのメッシュを処理していない場合には、ステップＳ４０６においてＮＯであると判定されて、処理はステップＳ４０１に戻る。即ち、全てのメッシュに対してメッシュ均等化処理が行われるまで、ステップＳ４０１乃至ステップＳ４０６の処理が繰り返し実行される。これに対し、全てのメッシュを処理した場合には、ステップＳ４０６においてＹＥＳであると判定されて、メッシュ均等化処理は終了となる。このメッシュ平均化処理を繰り返し行うことにより、画像外周点以外のメッシュの辺の長さを、ＭａｘＥｄｇｅからＭｉｎＥｄｇｅの間の長さにすることができる。
メッシュ均等化処理で判定されるＭａｘＥｄｇｅ及びＭｉｎＥｄｇｅは、画像サイズ、処理を行うプロセッサ（例えば、ＣＰＵ１１）の能力等により予め設定しておく。メッシュのサイズが小さくなると変形時の処理負荷が増大するため、処理能力が低くリアルタイム性が要求される場合には、メッシュのサイズを大きめに設定する必要がある。この場合、ＭａｘＥｄｇｅ及びＭｉｎＥｄｇｅの大きさが大きく設定することにより処理負担の軽減を図ることができる。
ステップＳ４０６において、メッシュ均等化部４４は、全てのメッシュを処理したか否かを判定する。全てのメッシュを処理していない場合には、ステップＳ４０６においてＮＯであると判定されて、処理はステップＳ４０１に戻る。即ち、全てのメッシュに対してメッシュ均等化処理が行われるまで、ステップＳ４０１乃至ステップＳ４０６の処理が繰り返し実行される。これに対し、全てのメッシュを処理した場合には、ステップＳ４０６においてＹＥＳであると判定されて、メッシュ均等化処理は終了となる。このメッシュ平均化処理を繰り返し行うことにより、画像外周点以外のメッシュの辺の長さを、ＭａｘＥｄｇｅからＭｉｎＥｄｇｅの間の長さにすることができる。
メッシュ均等化処理で判定されるＭａｘＥｄｇｅ及びＭｉｎＥｄｇｅは、画像サイズ、処理を行うプロセッサ（例えば、ＣＰＵ１１）の能力等により予め設定しておく。メッシュのサイズが小さくなると変形時の処理負荷が増大するため、処理能力が低くリアルタイム性が要求される場合には、メッシュのサイズを大きめに設定する必要がある。この場合、ＭａｘＥｄｇｅ及びＭｉｎＥｄｇｅの大きさが大きく設定することにより処理負担の軽減を図ることができる。
［メッシュ分割処理］
次に、メッシュ生成処理のステップＳ２０３において実行されるメッシュ分割処理について説明する。
図１２は、画像処理装置１が実行するメッシュ分割処理の流れを示すフローチャートである。
次に、メッシュ生成処理のステップＳ２０３において実行されるメッシュ分割処理について説明する。
図１２は、画像処理装置１が実行するメッシュ分割処理の流れを示すフローチャートである。
ステップＳ５０１において、制御点選択部４３は、１以上の変形制御点のうち処理対象となる変形制御点を選択する。この処理で選択される変形制御点は、ユーザの指示又は予め設定されたテンプレートに基づいて複数設定される。
ステップＳ５０２において、メッシュ分割部４５は、ステップＳ５０１において選択された変形制御点からの距離Ｄに含まれるメッシュを選択する。変形制御点からの距離Ｄ以内に含まれるメッシュが複数ある場合には、メッシュ分割部４５は、変形制御点からの距離Ｄに含まれる複数のメッシュを選択する。
ステップＳ５０３において、メッシュ分割部４５は、ステップＳ５０２において選択されたメッシュをＮ（「Ｎ」は２以上の整数）分割する。具体的には、メッシュ分割部４５は、ステップＳ５０２で選択された三角形のメッシュの重心に点を配置する。そして、メッシュ分割部４５は、配置した重心の点と、メッシュを構成する三角形の各頂点と、を線で結ぶことにより、選択したメッシュを３つに分割する。
図１３を参照してステップＳ５０３において行われるメッシュの分割について説明する。図１３は、変形制御点からの距離Ｄに含まれるメッシュが分割される状態を示す図である。
図１３（ａ）に示すように、オリジナルメッシュ生成部４２により初期メッシュが生成されている状態で、図１３（ｂ）に示すように、ステップＳ５０１において変形制御点Ｐが選択される。次に、図１３（ｃ）に示すように、選択された変形制御点Ｐからの距離がＤに含まれる１以上のメッシュが選択される。本実施形態においては、距離Ｄに含まれるメッシュとして５つのメッシュが選択されている。そして、図１３（ｄ）に示すように、選択された夫々のメッシュの重心に点が配置され、配置された重心の点とメッシュを構成する三角形の各頂点と、が線で結ばれることにより、選択されたメッシュが各々３つに分割される。
図１３（ａ）に示すように、オリジナルメッシュ生成部４２により初期メッシュが生成されている状態で、図１３（ｂ）に示すように、ステップＳ５０１において変形制御点Ｐが選択される。次に、図１３（ｃ）に示すように、選択された変形制御点Ｐからの距離がＤに含まれる１以上のメッシュが選択される。本実施形態においては、距離Ｄに含まれるメッシュとして５つのメッシュが選択されている。そして、図１３（ｄ）に示すように、選択された夫々のメッシュの重心に点が配置され、配置された重心の点とメッシュを構成する三角形の各頂点と、が線で結ばれることにより、選択されたメッシュが各々３つに分割される。
図１２に戻り、ステップＳ５０４において、メッシュ分割部４５は、全ての変形制御点を処理したか否かを判定する。全ての変形制御点を処理していない場合には、ステップＳ５０４においてＮＯであると判定されて、処理はステップＳ５０１に戻る。即ち、全ての変形制御点に対してメッシュ分割処理が行われるまで、ステップＳ５０１乃至ステップＳ５０４の処理が繰り返し実行される。これに対し、全ての変形制御点を処理した場合には、ステップＳ５０４においてＹＥＳであると判定されて、メッシュ分割処理は終了となる。以上のメッシュ分割処理を繰り返し実行されることにより、変形制御点周りのメッシュを小さく構成することができる。
［変形用前処理］
次に、メイン画像処理のステップＳ１０４において実行される変形用前処理について説明する。
図１４は、画像処理装置１が実行する変形用前処理の流れを示すフローチャートである。
ステップＳ６０１において、メッシュ依存行列生成部４６は行列Ｇ１，Ｇ５を生成する。
次に、メイン画像処理のステップＳ１０４において実行される変形用前処理について説明する。
図１４は、画像処理装置１が実行する変形用前処理の流れを示すフローチャートである。
ステップＳ６０１において、メッシュ依存行列生成部４６は行列Ｇ１，Ｇ５を生成する。
ステップＳ６０２において、メッシュ依存行列生成部４６は行列Ｇ４及びその逆行列Ｇ４−１を算出する。
ステップＳ６０３において、制御点依存行列生成部４７は行列Ｇ２，Ｇ６を算出する。
ステップＳ６０４において、制御点依存行列生成部４７は行列Ｇ２の逆行列Ｇ２−１及び行列Ｇ６の逆行列Ｇ６−１を算出する。
このようなステップ６０４の処理が終了すると、処理はメイン画像処理に戻る。
ステップＳ６０３において、制御点依存行列生成部４７は行列Ｇ２，Ｇ６を算出する。
ステップＳ６０４において、制御点依存行列生成部４７は行列Ｇ２の逆行列Ｇ２−１及び行列Ｇ６の逆行列Ｇ６−１を算出する。
このようなステップ６０４の処理が終了すると、処理はメイン画像処理に戻る。
［画像変形処理］
次に、メイン画像処理のステップＳ１０７において実行される画像変形処理について説明する。
図１５は、画像処理装置１が実行する画像変形処理の流れを示すフローチャートである。
ステップＳ７０１において、メッシュ依存行列生成部４６は、変形制御点が移動されたことによる行列Ｇｘ（＝Ｂ１・ｑ）の補正を行う。
ステップＳ７０２において、中間メッシュ生成部４８は、（４）式に従い、自由点ｕを算出する。即ち、ここで算出される自由点は、中間メッシュの三角形の頂点を表す。
次に、メイン画像処理のステップＳ１０７において実行される画像変形処理について説明する。
図１５は、画像処理装置１が実行する画像変形処理の流れを示すフローチャートである。
ステップＳ７０１において、メッシュ依存行列生成部４６は、変形制御点が移動されたことによる行列Ｇｘ（＝Ｂ１・ｑ）の補正を行う。
ステップＳ７０２において、中間メッシュ生成部４８は、（４）式に従い、自由点ｕを算出する。即ち、ここで算出される自由点は、中間メッシュの三角形の頂点を表す。
ステップＳ７０３において、メッシュ依存行列生成部４６は、中間メッシュの三角形の頂点の座標に基づいて、（６）式に従い、行列Ｂ２を算出する。
ステップＳ７０４において、適合メッシュ生成部４９は、（７）式によって算出される頂点の座標ｗを基に、中間メッシュの各三角形の辺を表すベクトルＷｆを算出する。
ステップＳ７０５において、適合メッシュ生成部４９は、中間メッシュの各三角形の辺に対応するオリジナルメッシュの辺を表すベクトルＥ０を取得する。
ステップＳ７０４において、適合メッシュ生成部４９は、（７）式によって算出される頂点の座標ｗを基に、中間メッシュの各三角形の辺を表すベクトルＷｆを算出する。
ステップＳ７０５において、適合メッシュ生成部４９は、中間メッシュの各三角形の辺に対応するオリジナルメッシュの辺を表すベクトルＥ０を取得する。
ステップＳ７０６において、適合メッシュ生成部４９は、中間メッシュの三角形の辺を表すベクトルＷｆと、オリジナルメッシュにおいて対応する三角形の辺を表すベクトルＥ０との比であるスケール調整値Ｗｐが閾値１／８以下であるか否かの判定を行う。
スケール調整値Ｗｐが閾値１／８以下である場合、ステップＳ７０６においてＹＥＳと判定されて、処理はステップＳ７０７に進む。
これに対し、スケール調整値Ｗｐが閾値１／８より小さくない場合、ステップＳ７０７においてＮＯと判定されて、処理はステップＳ７０８に進む。
スケール調整値Ｗｐが閾値１／８以下である場合、ステップＳ７０６においてＹＥＳと判定されて、処理はステップＳ７０７に進む。
これに対し、スケール調整値Ｗｐが閾値１／８より小さくない場合、ステップＳ７０７においてＮＯと判定されて、処理はステップＳ７０８に進む。
ステップＳ７０７において、適合メッシュ生成部４９は、中間メッシュの三角形をスケール調整することなく適合メッシュの三角形とする。
ステップＳ７０８において、適合メッシュ生成部４９は、スケール調整値Ｗｐで中間メッシュの三角形をスケール調整してオリジナルメッシュの三角形の大きさに戻す。
ステップＳ７０９において、適合メッシュ生成部４９は、中間メッシュの三角形の全てを処理したか否かの判定を行う。
ステップＳ７０８において、適合メッシュ生成部４９は、スケール調整値Ｗｐで中間メッシュの三角形をスケール調整してオリジナルメッシュの三角形の大きさに戻す。
ステップＳ７０９において、適合メッシュ生成部４９は、中間メッシュの三角形の全てを処理したか否かの判定を行う。
中間メッシュの三角形を全て処理し終えていない場合、ステップＳ７０９においてＮＯと判定されて、処理はステップＳ７０３に進む。
これに対し、中間メッシュの三角形の全てを処理した場合、ステップＳ７０９においてＹＥＳと判定されて、処理はステップＳ７１０に進む。
ステップＳ７１０において、最終メッシュ生成部５０は、適合メッシュの三角形の頂点の座標を基に、ベクトルＢ３を算出する。
これに対し、中間メッシュの三角形の全てを処理した場合、ステップＳ７０９においてＹＥＳと判定されて、処理はステップＳ７１０に進む。
ステップＳ７１０において、最終メッシュ生成部５０は、適合メッシュの三角形の頂点の座標を基に、ベクトルＢ３を算出する。
ステップＳ７１１において、最終メッシュ生成部５０は、行列Ｇ５、ベクトルＢ３及び移動された変形制御点の座標ｑを基に、行列Ｂ４を算出する。
ステップＳ７１２において、最終メッシュ生成部５０は、（１１）式を基に、最終メッシュの三角形の頂点の座標を算出する。
このようなステップＳ７１２の処理が終了すると、処理はメイン画像処理に戻る。
ステップＳ７１２において、最終メッシュ生成部５０は、（１１）式を基に、最終メッシュの三角形の頂点の座標を算出する。
このようなステップＳ７１２の処理が終了すると、処理はメイン画像処理に戻る。
以上説明したように、画像に設定した１以上の変形制御点の移動に対応して、画像を変形させる画像処理装置１は、オリジナルメッシュ生成部４２と、制御点選択部４３と、メッシュ分割部４５と、変形部と、を備える。
オリジナルメッシュ生成部４２は、当該画像に三角形で構成されるオリジナルメッシュを生成する。
制御点選択部４３は、１以上の変形制御点Ｐのうち、所定の変形制御点Ｐを選択する。
メッシュ分割部４５は、制御点選択部４３により選択された変形制御点Ｐから所定の距離Ｄに存在するオリジナルメッシュをＮ個に分割する。
変形部は、変形制御点の移動に対応して、オリジナルメッシュを構成する三角形、またはメッシュ分割部４５によって分割されたメッシュを構成する三角形の回転、拡大及び縮小を許容して変形処理を行う。
これにより、変形制御点周りのメッシュを小さく構成することで、メッシュ１個当たりの誤差を最小化しつつ、細かく設定されたメッシュの領域（メッシュ密度が高い領域）は、変形量が大きくすることができる。つまり、変形制御点近傍が関節の如く曲がり、変形制御点間は剛体のような振る舞いが行われる。したがって、人間等の骨を持ったモデルに対して、自然な変形が可能となる。さらに、折れ曲がった部分等の変形量が多い部分のメッシュが細かくなっているため、折れ曲がり部の表示をスムーズに行うことができる。したがって、種々の変形態様に対応して、２次元平面に表示された画像をより適切に変形することができる。
オリジナルメッシュ生成部４２は、当該画像に三角形で構成されるオリジナルメッシュを生成する。
制御点選択部４３は、１以上の変形制御点Ｐのうち、所定の変形制御点Ｐを選択する。
メッシュ分割部４５は、制御点選択部４３により選択された変形制御点Ｐから所定の距離Ｄに存在するオリジナルメッシュをＮ個に分割する。
変形部は、変形制御点の移動に対応して、オリジナルメッシュを構成する三角形、またはメッシュ分割部４５によって分割されたメッシュを構成する三角形の回転、拡大及び縮小を許容して変形処理を行う。
これにより、変形制御点周りのメッシュを小さく構成することで、メッシュ１個当たりの誤差を最小化しつつ、細かく設定されたメッシュの領域（メッシュ密度が高い領域）は、変形量が大きくすることができる。つまり、変形制御点近傍が関節の如く曲がり、変形制御点間は剛体のような振る舞いが行われる。したがって、人間等の骨を持ったモデルに対して、自然な変形が可能となる。さらに、折れ曲がった部分等の変形量が多い部分のメッシュが細かくなっているため、折れ曲がり部の表示をスムーズに行うことができる。したがって、種々の変形態様に対応して、２次元平面に表示された画像をより適切に変形することができる。
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
上述の実施形態においては、メッシュ分割部４５は、選択されたメッシュを３つに分割しているがこれに限られるものではない。例えば、メッシュ分割部４５は、変形制御点からオリジナルメッシュまでの距離に応じて、オリジナルメッシュを分割する個数を変更してオリジナルメッシュを分割することができる。
これにより、変形制御点近傍のオリジナルメッシュについては細かく分割することにより、変形量が多い部分（折れ曲がった部分）のメッシュが細かくなるため、折れ曲がり部の表示がスムーズとなる。これに対し、変形制御点の近傍以外の部位については無用にメッシュが細かく設定されないため、処理の負担の軽減を図ることができる。
これにより、変形制御点近傍のオリジナルメッシュについては細かく分割することにより、変形量が多い部分（折れ曲がった部分）のメッシュが細かくなるため、折れ曲がり部の表示がスムーズとなる。これに対し、変形制御点の近傍以外の部位については無用にメッシュが細かく設定されないため、処理の負担の軽減を図ることができる。
また、上述の実施形態においては、メッシュ分割部４５は、選択されたメッシュを３つに分割しているがこれに限られるものではない。例えば、複数の変形制御点は夫々重要度の情報を設定することができる。そして、メッシュ分割部４５は、変形制御点に対応する重要度に応じて、オリジナルメッシュを分割する個数を変更してオリジナルメッシュを分割することができる。
これにより、変形量が多い部位については予め変形制御点の重要度を高く設定しておくことで、重要度が高い変形制御点近傍のオリジナルメッシュについては細かく分割されるため、折れ曲がり部の表示がスムーズとなる。
さらに、画像に含まれる被写体のうち、変形量の多い部位の重要度は、その他の部位と比較して大きく設定することができる。この場合、メッシュ分割部４５は、重要度の大きさに応じてオリジナルメッシュを分割する個数を増加する。
これにより、変形量が多い部位については変形制御点の重要度が高く設定されているため、変形量が多い部位が含まれる変形制御点近傍のオリジナルメッシュについては細かく分割され、折れ曲がり部の表示がスムーズとなる。
さらに、画像に、被写体の四肢を含む画像が含まれている場合、画像に含まれる四肢の部位の重要度を、その他の胴体や頭等の部位と比較して大きく設定することができる。この場合、メッシュ分割部４５は、重要度の大きさに応じてオリジナルメッシュを分割する個数を増加する。
これにより、四肢等の変形量が多い部位については変形制御点の重要度を高く設定されているために、四肢が含まれる変形制御点近傍のオリジナルメッシュについては細かく分割され、折れ曲がり部の表示がスムーズとなる。
これにより、変形量が多い部位については予め変形制御点の重要度を高く設定しておくことで、重要度が高い変形制御点近傍のオリジナルメッシュについては細かく分割されるため、折れ曲がり部の表示がスムーズとなる。
さらに、画像に含まれる被写体のうち、変形量の多い部位の重要度は、その他の部位と比較して大きく設定することができる。この場合、メッシュ分割部４５は、重要度の大きさに応じてオリジナルメッシュを分割する個数を増加する。
これにより、変形量が多い部位については変形制御点の重要度が高く設定されているため、変形量が多い部位が含まれる変形制御点近傍のオリジナルメッシュについては細かく分割され、折れ曲がり部の表示がスムーズとなる。
さらに、画像に、被写体の四肢を含む画像が含まれている場合、画像に含まれる四肢の部位の重要度を、その他の胴体や頭等の部位と比較して大きく設定することができる。この場合、メッシュ分割部４５は、重要度の大きさに応じてオリジナルメッシュを分割する個数を増加する。
これにより、四肢等の変形量が多い部位については変形制御点の重要度を高く設定されているために、四肢が含まれる変形制御点近傍のオリジナルメッシュについては細かく分割され、折れ曲がり部の表示がスムーズとなる。
また、上述の実施形態においては、三角メッシュを分割する例について説明しているがこれに限られるものではない。例えば、四角形や多角形のメッシュを対象に分割する処理を行うこともできる。
また、上述の実施形態では、メッシュ分割部４５は、三角形のメッシュの重心に点を配置し、配置した重心の点と、メッシュを構成する三角形の各頂点と、を線で結ぶことにより、選択したメッシュを３つに分割しているがこれに限られるものではない。例えば、メッシュ分割部４５は、三角形のメッシュの内心、外心、垂心、又は傍心に点を配置し、配置した点と、メッシュを構成する三角形の各頂点と、を線で結ぶことにより、選択したメッシュを３つに分割することができる。
また、上述の実施形態では、本発明が適用される画像処理装置１は、パーソナルコンピュータを例として説明したが、特にこれに限定されない。
例えば、本発明は、画像処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、ポータブルゲーム機等に適用可能である。
例えば、本発明は、画像処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、ポータブルゲーム機等に適用可能である。
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図２の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が画像処理装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
換言すると、図２の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が画像処理装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、または光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部１８に含まれるハードディスク等で構成される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
以上、本発明の実施形態について説明したが、この実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。上記実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
画像に設定した１以上の変形制御点の移動に対応して、前記画像を変形させる画像処理装置であって、
前記画像に三角形で構成されるオリジナルメッシュを生成するオリジナルメッシュ生成手段と、
前記１以上の変形制御点のうち、所定の変形制御点を選択する制御点選択手段と、
前記制御点選択手段により選択された前記変形制御点から所定の範囲内に存在する前記オリジナルメッシュを複数に分割するメッシュ分割手段と、
前記変形制御点の移動に対応して、前記オリジナルメッシュを構成する三角形、または前記メッシュ分割手段によって分割されたメッシュを構成する三角形の回転、拡大及び縮小を許容して変形処理を行う変形手段と、
を備えることを特徴とする画像処理装置。
［付記２］
前記メッシュ分割手段は、前記変形制御点から前記オリジナルメッシュまでの距離に応じて、前記オリジナルメッシュを分割する個数を変更して前記オリジナルメッシュを分割する
ことを特徴とする付記１に記載の画像処理装置。
［付記３］
前記複数の変形制御点は夫々重要度の情報を有し、
前記メッシュ分割手段は、前記変形制御点に対応する前記重要度に応じて、前記オリジナルメッシュを分割する個数を変更して前記オリジナルメッシュを分割する
ことを特徴とする付記１に記載の画像処理装置。
［付記４］
前記画像に含まれる被写体のうち、変形量の多い部位の前記重要度は、その他の部位と比較して大きく設定され、
前記メッシュ分割手段は、前記重要度の大きさに応じて前記オリジナルメッシュを分割する個数を増加する
ことを特徴とする付記３に記載の画像処理装置。
［付記５］
前記画像には、被写体の四肢を含む画像が含まれており、
前記画像に含まれる前記四肢の部位の前記重要度は、その他の部位と比較して大きく設定され、
前記メッシュ分割手段は、前記重要度の大きさに応じて前記オリジナルメッシュを分割する個数を増加する
ことを特徴とする付記３に記載の画像処理装置。
［付記６］
画像に設定した１以上変形制御点の移動に対応して、前記画像を変形させる画像処理装置が実行する画像処理方法であって、
前記画像に三角形で構成されるオリジナルメッシュを生成するオリジナルメッシュ生成ステップと、
前記１以上の変形制御点のうち、所定の変形制御点を選択する制御点選択ステップと、
前記制御点選択ステップにより選択された前記変形制御点から所定の範囲内に存在する前記オリジナルメッシュを複数に分割するメッシュ分割ステップと、
前記変形制御点の移動に対応して、前記オリジナルメッシュを構成する三角形、または前記メッシュ分割ステップによって分割されたメッシュを構成する三角形の回転、拡大及び縮小を許容して変形処理を行う変形ステップと、
を含むことを特徴とする画像処理方法。
［付記７］
画像に設定した１以上の変形制御点の移動に対応して、前記画像を変形させる制御を実行するコンピュータを、
前記画像に三角形で構成されるオリジナルメッシュを生成するオリジナルメッシュ生成手段、
前記１以上の変形制御点のうち、所定の変形制御点を選択する制御点選択手段、
前記制御点選択手段により選択された前記変形制御点から所定の範囲内に存在する前記オリジナルメッシュを複数に分割するメッシュ分割手段、
前記変形制御点の移動に対応して、前記オリジナルメッシュを構成する三角形、または前記メッシュ分割手段によって分割されたメッシュを構成する三角形の回転、拡大及び縮小を許容して変形処理を行う変形手段、
として機能させることを特徴とするプログラム。
［付記１］
画像に設定した１以上の変形制御点の移動に対応して、前記画像を変形させる画像処理装置であって、
前記画像に三角形で構成されるオリジナルメッシュを生成するオリジナルメッシュ生成手段と、
前記１以上の変形制御点のうち、所定の変形制御点を選択する制御点選択手段と、
前記制御点選択手段により選択された前記変形制御点から所定の範囲内に存在する前記オリジナルメッシュを複数に分割するメッシュ分割手段と、
前記変形制御点の移動に対応して、前記オリジナルメッシュを構成する三角形、または前記メッシュ分割手段によって分割されたメッシュを構成する三角形の回転、拡大及び縮小を許容して変形処理を行う変形手段と、
を備えることを特徴とする画像処理装置。
［付記２］
前記メッシュ分割手段は、前記変形制御点から前記オリジナルメッシュまでの距離に応じて、前記オリジナルメッシュを分割する個数を変更して前記オリジナルメッシュを分割する
ことを特徴とする付記１に記載の画像処理装置。
［付記３］
前記複数の変形制御点は夫々重要度の情報を有し、
前記メッシュ分割手段は、前記変形制御点に対応する前記重要度に応じて、前記オリジナルメッシュを分割する個数を変更して前記オリジナルメッシュを分割する
ことを特徴とする付記１に記載の画像処理装置。
［付記４］
前記画像に含まれる被写体のうち、変形量の多い部位の前記重要度は、その他の部位と比較して大きく設定され、
前記メッシュ分割手段は、前記重要度の大きさに応じて前記オリジナルメッシュを分割する個数を増加する
ことを特徴とする付記３に記載の画像処理装置。
［付記５］
前記画像には、被写体の四肢を含む画像が含まれており、
前記画像に含まれる前記四肢の部位の前記重要度は、その他の部位と比較して大きく設定され、
前記メッシュ分割手段は、前記重要度の大きさに応じて前記オリジナルメッシュを分割する個数を増加する
ことを特徴とする付記３に記載の画像処理装置。
［付記６］
画像に設定した１以上変形制御点の移動に対応して、前記画像を変形させる画像処理装置が実行する画像処理方法であって、
前記画像に三角形で構成されるオリジナルメッシュを生成するオリジナルメッシュ生成ステップと、
前記１以上の変形制御点のうち、所定の変形制御点を選択する制御点選択ステップと、
前記制御点選択ステップにより選択された前記変形制御点から所定の範囲内に存在する前記オリジナルメッシュを複数に分割するメッシュ分割ステップと、
前記変形制御点の移動に対応して、前記オリジナルメッシュを構成する三角形、または前記メッシュ分割ステップによって分割されたメッシュを構成する三角形の回転、拡大及び縮小を許容して変形処理を行う変形ステップと、
を含むことを特徴とする画像処理方法。
［付記７］
画像に設定した１以上の変形制御点の移動に対応して、前記画像を変形させる制御を実行するコンピュータを、
前記画像に三角形で構成されるオリジナルメッシュを生成するオリジナルメッシュ生成手段、
前記１以上の変形制御点のうち、所定の変形制御点を選択する制御点選択手段、
前記制御点選択手段により選択された前記変形制御点から所定の範囲内に存在する前記オリジナルメッシュを複数に分割するメッシュ分割手段、
前記変形制御点の移動に対応して、前記オリジナルメッシュを構成する三角形、または前記メッシュ分割手段によって分割されたメッシュを構成する三角形の回転、拡大及び縮小を許容して変形処理を行う変形手段、
として機能させることを特徴とするプログラム。
１・・・画像処理装置、１１・・・ＣＰＵ、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１４・・・バス、１５・・・入出力インターフェース、１６・・・入力部、１７・・・出力部、１８・・・記憶部、１９・・・通信部、２０・・・ドライブ、３１・・・リムーバブルメディア、４１・・・ユーザ指示取得部、４２・・・オリジナルメッシュ生成部、４３・・・制御点選択部、４４・・・メッシュ均等化部、４５・・・メッシュ分割部、４６・・・メッシュ依存行列生成部、４７・・・制御点依存行列生成部、４８・・・中間メッシュ生成部、４９・・・適合メッシュ生成部、５０・・・最終メッシュ生成部、５１・・・変形処理データ記憶部、５２・・・画像表示部
Claims (8)
- 画像に設定した１以上の変形制御点の移動に対応して、前記画像を変形させる画像処理装置であって、
前記画像に三角形で構成されるオリジナルメッシュを生成するオリジナルメッシュ生成手段と、
前記１以上の変形制御点のうち、所定の変形制御点を選択する制御点選択手段と、
前記制御点選択手段により選択された前記変形制御点から所定の範囲内に存在する前記オリジナルメッシュを複数に分割するメッシュ分割手段と、
前記変形制御点の移動に対応して、前記オリジナルメッシュを構成する三角形、または前記メッシュ分割手段によって分割されたメッシュを構成する三角形の変形処理を行う変形手段と、
を備えることを特徴とする画像処理装置。 - 前記メッシュ分割手段は、前記変形制御点から前記オリジナルメッシュまでの距離に応じて、前記オリジナルメッシュを分割する個数を変更して前記オリジナルメッシュを分割する
ことを特徴とする請求項１に記載の画像処理装置。 - 前記複数の変形制御点は夫々重要度の情報を有し、
前記メッシュ分割手段は、前記変形制御点に対応する前記重要度に応じて、前記オリジナルメッシュを分割する個数を変更して前記オリジナルメッシュを分割する
ことを特徴とする請求項１に記載の画像処理装置。 - 前記画像に含まれる被写体のうち、変形量の多い部位の前記重要度は、その他の部位と比較して大きく設定され、
前記メッシュ分割手段は、前記重要度の大きさに応じて前記オリジナルメッシュを分割する個数を増加する
ことを特徴とする請求項３に記載の画像処理装置。 - 前記画像には、被写体の四肢を含む画像が含まれており、
前記画像に含まれる前記四肢の部位の前記重要度は、その他の部位と比較して大きく設定され、
前記メッシュ分割手段は、前記重要度の大きさに応じて前記オリジナルメッシュを分割する個数を増加する
ことを特徴とする請求項３に記載の画像処理装置。 - 前記変形手段は、前記変形制御点の移動に対応して、前記オリジナルメッシュを構成する三角形、または前記メッシュ分割手段によって分割されたメッシュを構成する三角形の回転、又は拡大、又は縮小を許容して変形処理を行うことを特徴とする請求項１乃至５の何れか一項に記載の画像処理装置。
- 画像に設定した１以上変形制御点の移動に対応して、前記画像を変形させる画像処理装置が実行する画像処理方法であって、
前記画像に三角形で構成されるオリジナルメッシュを生成するオリジナルメッシュ生成ステップと、
前記１以上の変形制御点のうち、所定の変形制御点を選択する制御点選択ステップと、
前記制御点選択ステップにより選択された前記変形制御点から所定の範囲内に存在する前記オリジナルメッシュを複数に分割するメッシュ分割ステップと、
前記変形制御点の移動に対応して、前記オリジナルメッシュを構成する三角形、または前記メッシュ分割ステップによって分割されたメッシュを構成する三角形の変形処理を行う変形ステップと、
を含むことを特徴とする画像処理方法。 - 画像に設定した１以上の変形制御点の移動に対応して、前記画像を変形させる制御を実行するコンピュータを、
前記画像に三角形で構成されるオリジナルメッシュを生成するオリジナルメッシュ生成手段、
前記１以上の変形制御点のうち、所定の変形制御点を選択する制御点選択手段、
前記制御点選択手段により選択された前記変形制御点から所定の範囲内に存在する前記オリジナルメッシュを複数に分割するメッシュ分割手段、
前記変形制御点の移動に対応して、前記オリジナルメッシュを構成する三角形、または前記メッシュ分割手段によって分割されたメッシュを構成する三角形の変形処理を行う変形手段、
として機能させることを特徴とするプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012206129A JP5966800B2 (ja) | 2012-09-19 | 2012-09-19 | 画像処理装置、画像処理方法及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012206129A JP5966800B2 (ja) | 2012-09-19 | 2012-09-19 | 画像処理装置、画像処理方法及びプログラム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2014059844A JP2014059844A (ja) | 2014-04-03 |
| JP2014059844A5 JP2014059844A5 (ja) | 2015-09-24 |
| JP5966800B2 true JP5966800B2 (ja) | 2016-08-10 |
Family
ID=50616235
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012206129A Expired - Fee Related JP5966800B2 (ja) | 2012-09-19 | 2012-09-19 | 画像処理装置、画像処理方法及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5966800B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106504250B (zh) * | 2016-10-28 | 2019-07-23 | 锐捷网络股份有限公司 | 图像块标识匹配方法和远端服务器 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4185698B2 (ja) * | 2002-03-25 | 2008-11-26 | 株式会社富士テクニカルリサーチ | メッシュ生成方法 |
| JP4613313B2 (ja) * | 2005-04-01 | 2011-01-19 | 国立大学法人 東京大学 | 画像処理システムおよび画像処理プログラム |
-
2012
- 2012-09-19 JP JP2012206129A patent/JP5966800B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014059844A (ja) | 2014-04-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4613313B2 (ja) | 画像処理システムおよび画像処理プログラム | |
| JP5218993B2 (ja) | 補間処理方法、および補間処理装置 | |
| WO2010103942A1 (ja) | 表面加工データの作成方法および装置 | |
| JP5471474B2 (ja) | 画像処理装置および画像処理方法 | |
| US20070229544A1 (en) | Nurbs surface deformation apparatus and the method using 3d target curve | |
| JP2007193508A (ja) | 画像処理装置及び画像処理プログラム | |
| JP2007000205A (ja) | 画像処理装置及び画像処理方法並びに画像処理プログラム | |
| JP2011180798A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| CN103985085A (zh) | 图像超分辨率放大的方法和装置 | |
| JP2008512767A (ja) | 一般的な２次元空間変換の表現システム及び方法 | |
| JP2001076177A (ja) | ポリゴンリダクション処理を用いたモーフィング画像処理装置および方法 | |
| JP2011128978A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| JP2012060517A (ja) | 画像処理装置、画像処理方法 | |
| US20180225882A1 (en) | Method and device for editing a facial image | |
| JP2013058147A (ja) | 画像処理装置及び方法、並びにプログラム | |
| JP4714444B2 (ja) | 四面体メッシュ生成方法およびプログラム | |
| JP6789720B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP5966800B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP5811690B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP5857531B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2016157174A (ja) | ３次元空間データ補間プログラム、ならびに、それを組み合わせて実現する形状発生プログラム | |
| JP2007034724A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| JP5678756B2 (ja) | 六面体メッシュ生成方法 | |
| JP6158956B2 (ja) | 画像処理装置 | |
| JP2015197374A (ja) | ３次元形状推定装置及び３次元形状推定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150804 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150804 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160527 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160607 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160620 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5966800 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |