JP5857531B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents
画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP5857531B2 JP5857531B2 JP2011182844A JP2011182844A JP5857531B2 JP 5857531 B2 JP5857531 B2 JP 5857531B2 JP 2011182844 A JP2011182844 A JP 2011182844A JP 2011182844 A JP2011182844 A JP 2011182844A JP 5857531 B2 JP5857531 B2 JP 5857531B2
- Authority
- JP
- Japan
- Prior art keywords
- deformation
- control point
- deformation control
- image
- setting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Description
例えば、特許文献1に記載の技術では、変形対象となる2次元オブジェクト内部に三角形のメッシュを生成し、その頂点の座標を2次元オブジェクトの形状を表すオリジナルのデータとしている。そして、特許文献1に記載の技術では、2次元オブジェクト上の三角形の頂点に設定したハンドルが移動されると、そのハンドルの移動に合わせて、メッシュを構成する三角形の平行移動、回転及び拡大縮小等を行うことにより、最終的なメッシュデータとの誤り量が最小となるように、2次元オブジェクト全体の変形を行っている。
即ち、従来の技術においては、種々の変形態様に対応して、2次元平面に表示された画像を適切に変形することが困難であった。
画像に設定した変形制御点の移動に対応して、前記画像を変形させる画像処理装置であって、
前記画像に三角形で構成されるオリジナルメッシュを設定するオリジナルメッシュ生成手段と、
前記変形制御点の一つと、この一つの変形制御点に隣接する他の前記変形制御点との関係に基づいて、前記三角形における変形の抑制度合いを設定する設定手段と、
前記変形制御点の移動に対応して、前記設定手段によって設定された変形の抑制度合いに従って、前記オリジナルメッシュを構成する三角形の変形処理を行うメッシュ生成手段と、を備え、
前記設定手段は、一の前記変形制御点を基準として、隣接する他の前記変形制御点との距離の範囲に含まれる前記三角形からなる領域の面積を取得し、当該面積が、設定された閾値よりも大きい場合に、前記領域に含まれる三角形について変形の抑制度合いを高めることを特徴とする。
また、上記目的を達成するため、本発明の第2の態様の画像処理装置は、
画像に設定した変形制御点の移動に対応して、前記画像を変形させる画像処理装置であって、
前記画像に三角形で構成されるオリジナルメッシュを設定するオリジナルメッシュ生成手段と、
前記変形制御点の一つと、この一つの変形制御点に隣接する他の前記変形制御点との関係に基づいて、前記三角形における変形の抑制度合いを設定する設定手段と、
前記変形制御点の移動に対応して、前記設定手段によって設定された変形の抑制度合いに従って、前記オリジナルメッシュを構成する三角形の変形処理を行うメッシュ生成手段と、を備え、
前記設定手段は、一の前記変形制御点を基準として、隣接する他の前記変形制御点との距離を取得し、当該距離が、設定された閾値よりも大きい場合に、基準とする前記変形制御点から当該距離までの範囲に位置する前記三角形について変形の抑制度合いを高めることを特徴とする。
更に、上記目的を達成するため、本発明の第3の態様の画像処理装置は、
画像に設定した変形制御点の移動に対応して、前記画像を変形させる画像処理装置であって、
前記画像に三角形で構成されるオリジナルメッシュを設定するオリジナルメッシュ生成手段と、
前記変形制御点の一つと、この一つの変形制御点に隣接する他の前記変形制御点との関係に基づいて、前記三角形における変形の抑制度合いを設定する設定手段と、
前記変形制御点の移動に対応して、前記設定手段によって設定された変形の抑制度合いに従って、前記オリジナルメッシュを構成する三角形の変形処理を行うメッシュ生成手段と、を備え、
前記設定手段は、前記三角形について変形の抑制度合いを高める場合に、他の前記三角形との境界部分において、変形の抑制度合いの平滑化を行うことを特徴とする。
[第1実施形態]
[ハードウェア構成]
図1は、本発明の一実施形態に係る画像処理装置1のハードウェアの構成を示すブロック図である。
画像処理装置1は、例えばパーソナルコンピュータ(Personal Computer)として構成される。
CPU11は、例えば、後述する画像変形処理のためのプログラム等、ROM12に記録されているプログラム、または、記憶部18からRAM13にロードされたプログラムに従って各種の処理を実行する。
出力部17は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部18は、ハードディスクあるいはDRAM(Dynamic Random Access Memory)等で構成され、各種画像のデータを記憶する。
通信部19は、インターネットを含むネットワークを介して他の装置(図示せず)との間で行う通信を制御する。
図2は、このような画像処理装置1の機能的構成のうち、画像変形処理を実行するための機能的構成を示す機能ブロック図である。
画像変形処理とは、ユーザによって入力される画像の変形指示(変形制御点の移動)に対応して、表示されている画像に変形を施す一連の処理をいう。なお、以下、上述の特許文献1(特許第4613313号公報)に開示された処理手順を基本とし、さらに、種々の変形態様に対しても、より適切に画像の変形を行うことができる処理手順を追加した実施形態について説明する。
ユーザ指示取得部41は、入力部16を介してユーザによって入力される画像変形処理のための各種指示入力を取得する。例えば、ユーザ指示取得部41は、入力部16を介して入力される変形対象となる画像の選択、変形制御点の設定及び移動、画像変形処理の終了の指示入力等を取得する。
制御点依存行列生成部44は、オリジナルメッシュの三角形の頂点上に変形制御点が設定、追加あるいは削除されたときに、変形制御点に依存して定まる各行列(後述するG2,G4等)を生成する。また、制御点依存行列生成部44は、変形制御点の位置関係に応じて自由点uの変形の抑制度合いを設定するペナルティ設定部44aを有している。
具体的には、メッシュ依存行列生成部43及び制御点依存行列生成部44は、以下の手順に基づいて各行列を算出する。
図3において、三角形Sは、3つの頂点(v0,v1,v2)を有している。
これら3つの頂点のうちの1つの座標は、他の2つの頂点の座標によって表すことができる。即ち、頂点v0,v1の座標と、頂点v2から辺v0v1に下ろした垂線の長さy0及び垂線の足の位置(頂点v0からの距離)x0とが与えられれば、次式(1)のように、頂点v2の座標を頂点v0,v1の座標によって表すことができる。
v2=v0+x01・(ベクトルv0v1)+y0・R90(ベクトルv0v1) (1)
(1)式と同様に、頂点v0,v1の座標についても、他の2つの頂点の座標によって表すことができる。
また、変形制御点が移動されることにより、三角形の歪みや不均一な伸縮を禁止し、平行移動、回転及び拡大・縮小を許容して変形させた結果の三角形からなるメッシュ(以下、適宜「中間メッシュ」と呼ぶ。)における頂点v2の誤差は、|v2*−v2|と表すことができる。ただし、v2*は、中間メッシュを構成する三角形に変形後の頂点v2の座標である。また、頂点v2と同様に、頂点v0,v1についても誤差|v0*−v0|,|v1*−v1|を算出することができる。これらの誤差は、1つの頂点に関する移動量の大きさを表している。
E1=vt・G1・v (2)
ただし、vはオリジナルメッシュにおける三角形の各頂点の座標の集合からなるベクトル、vtはベクトルvの転置行列を表している。なお、ベクトルvにおいては、三角形の頂点のうち、変形制御点qが下位、他の自由点(変形制御点の移動に対応して位置が決まる点)uが上位に配列されている(v=[u,q])。
ペナルティベクトルPVは、後述する変形用前処理において設定され、変形制御点の間隔が一定以上開いている領域に含まれる三角形の頂点に対して、1以上の値であるペナルティp(ここでは一定値とする)を付与するベクトルである。なお、ペナルティp=1の場合、変形制御点の移動に伴う変形の抑制が行われないことを示しており、ペナルティpの値が大きくなるほど、変形制御点の移動に伴う変形が抑制される。
図4に示すように、変形対象となる画像に変形制御点101〜114が設定されている場合に、変形制御点101と変形制御点102との間隔が広く開いているとする。
このとき、変形制御点101を基準として、変形制御点101と変形制御点102との距離よりも近い距離に頂点が位置する三角形群(図4における斜線の領域に含まれる三角形)を検出し、それらの三角形の頂点については、1よりも大きい値のペナルティpが設定される。
本実施形態においては、(2)式における各頂点によりオリジナルメッシュの構成を表す行列G1にペナルティベクトルPVを作用させる。具体的には、各頂点の座標に対応するペナルティベクトルPVを、各オリジナルメッシュに対応するベクトルPFに、オリジナルメッシュを構成する頂点に関連するペナルティの平均を取ることにより変換する。
各オリジナルメッシュに対応したペナルティベクトルPFを、行列G1の対応する位置に乗じ、行列G1’を得て、(2)式を次式(2a)のように補正する。
E1=vt・G1’・v (2a)
(2a)式によれば、行列E1は、ベクトルvの要素について2次の関数であるため、行列E1の最小値を求めるためには、(3)式に示すように、自由点uの座標で偏微分し、その値が0となるときの方程式を解けばよい。
∇E1/∇u=G2・u+B1・q=0 (3)
ただし、G2は行列G1’において変形制御点の成分を除去し、ペナルティベクトルPFの要素を算入した行列、B1は行列G1及び変形制御点の座標から得られるベクトルである。なお、(3)式における「B1・q」項を行列Gx(=B1・q)と置く。行列Gxは、変形制御点の移動と共に変化する。
u=G2−1・(−B1・q) (4)
として算出できる。
メッシュ依存行列生成部43は、オリジナルメッシュが生成されると、上述の手順によって行列G1,B1を算出する。
そして、制御点依存行列生成部44は、行列G2及びその逆行列G2−1を算出する。
また、オリジナルメッシュの三角形に、歪み、不均一な伸縮及び拡大・縮小を禁止すると共に回転及び平行移動を許容して、上述の中間メッシュを構成する三角形に適合させて、適合メッシュが生成される。中間メッシュと適合メッシュとの誤差(各頂点の位置の誤差)は、各三角形について算出することができる。
E2=wt・G3・w (5)
ただし、wは1つの頂点を他の2つの頂点の座標によって表すことにより、4つの変数の集合となったベクトルであり、wtはベクトルwの転置行列を表している。
(5)式をベクトルwの各要素で偏微分すると、次式(6)が得られる。
∇E2/∇w=G4・w+B2 (6)
ただし、G4は行列G3において変形制御点の成分を除去した行列、B2は行列G3及び変形制御点の座標から得られるベクトルである。
w=G4−1・(−B2) (7)
として算出できる。
ここで、(6)式においては、中間メッシュの三角形に適合させるために、オリジナルメッシュの三角形を拡大・縮小する要素が含まれているため、変化した大きさを元の大きさに調整するための値を算出する。即ち、(6)式の右辺を0として、ベクトルwを算出し、ベクトルwにおける頂点の座標から、三角形の各辺を表すベクトルの大きさWfを算出する。そして、オリジナルメッシュの三角形の辺を表すベクトルE0と、それに対応する三角形の辺を表すベクトルWfとの比(以下、適宜「スケール調整値」と呼ぶ。)Wpを次式(8)に従って算出する。
適合メッシュを構成する各三角形は、(8)式の値の逆数を乗ずることによりオリジナルメッシュにおいて対応する三角形と同一の大きさとされる。
メッシュ依存行列生成部43は、中間メッシュが生成されると、行列G4,B2及び行列G4の逆行列G4−1を算出する。
即ち、適合メッシュの三角形の各辺を示すベクトルと、対応する最終メッシュの三角形の各辺を示すベクトルとの誤差を、各三角形について算出する。
E3=zt・G5・z+B3・z+C (9)
ただし、zはオリジナルメッシュにおける三角形の各頂点の座標の集合からなるベクトル、ztはベクトルzの転置行列を表している。また、B3及びCは適合メッシュ座標から得られるベクトルである。なお、ベクトルzにおいては、三角形の頂点のうち、変形制御点qが下位、他の自由点(変形制御点の移動に対応して位置が決まる点)uが上位に配列されている(z=[u,q])。
ここで、ペナルティベクトルPFを、ベクトルB3に作用させ行列B3’とする。B3は、適合メッシュから得られるベクトルであり、ペナルティベクトルPFの対応するB3内のメッシュ位置にペナルティを乗じる(オリジナルメッシュも適合メッシュも、同じ頂点インデックスから構成されるメッシュのため、適合メッシュに対してペナルティベクトルPFをそのまま利用できる)。
∇E3/∇u=G6・u+B4=0 (10)
ただし、G6は行列G5において変形制御点の成分を除去した行列、B4は行列G5、B3’及び変形制御点の座標から得られるベクトルである。
(10)式より、求める自由点uの座標は、次式(11)に示すように、
u=G6−1・(−B4) (11)
として算出できる。
これにより、変形制御点の移動に対応した画像の変形処理が実現される。
メッシュ依存行列生成部43は、適合メッシュが生成されると、行列G5を算出する。
そして、制御点依存行列生成部44は、行列G6及びその逆行列G6−1、行列B4を算出する。
適合メッシュ生成部46は、行列G4の逆行列G4−1及び行列B2と、スケール調整値Wpによって、中間メッシュ生成部45によって変換された中間メッシュの三角形を適合メッシュの三角形に変換する。
ここで、本実施形態において、適合メッシュ生成部46は、スケール調整値Wpの大きさに応じて、適合メッシュの三角形を算出する際のスケール調整処理を切り替える。具体的には、スケール調整値Wpが設定した閾値(ここでは1/8とする)以下である場合、スケール調整を行わず、中間メッシュの三角形をそのまま適合メッシュの三角形とする。一方、適合メッシュ生成部46は、スケール調整値Wpが設定した閾値より小さくない場合、(7)式によって算出した座標の三角形をWpでスケール調整し、適合メッシュの三角形とする。
なお、以上のスケール調整値Wpに応じたスケール調整処理の切り替えは、ユーザの選択等によって実行しないこととしても良い。
出力部17は、画像変形処理において処理対象となる画像を表示する画像表示部49を備えている。
図5に示すように、本実施形態では、画像変形処理において処理対象となる画像が画像表示部49に表示され、オリジナルメッシュ生成部42によって画像にオリジナルメッシュが生成される(図5(a)参照)。そして、オリジナルメッシュにおける三角形の頂点の一部が変形制御点として設定されると、メッシュ依存行列生成部43及び制御点依存行列生成部44が各行列及びスケール調整値Wpを算出し、中間メッシュ生成部45が中間メッシュの三角形を算出する。さらに、適合メッシュ生成部46が適合メッシュの三角形を算出し、最終メッシュ生成部47が最終メッシュの三角形を算出する。このとき、適合メッシュ生成部46は、スケール調整値Wpが設定した閾値(例えば1/8)以下である場合、スケール調整を行わず、中間メッシュの三角形をそのまま適合メッシュの三角形とする。一方、適合メッシュ生成部46は、スケール調整値Wpが設定した閾値より小さくない場合、(7)式によって算出した座標の三角形をWpでスケール調整し、適合メッシュの三角形とする(図5(b)参照)。
なお、上述のように、スケール調整値Wpに応じたスケール調整処理は、適宜行わないこととしても良い。
次に、画像処理装置1の動作を説明する。
[画像変形処理]
初めに、画像処理装置1の動作におけるメインフローとなる画像変形処理について説明する。
図6は、画像処理装置1が実行する画像変形処理の流れを示すフローチャートである。
画像変形処理は、ユーザが画像変形処理の開始を指示入力することに対応して実行される。
ステップS1において、ユーザ指示取得部41は、ユーザの指示に従って変形対象となる画像を選択する。
ステップS3において、メッシュ依存行列生成部43及び制御点依存行列生成部44は、画像の変形処理における演算負荷を軽減するための変形用前処理(後述)を実行する。変形用前処理は、画像の変形処理に用いる各種行列等を予め生成する処理である。本実施形態において、変換用前処理では、変形制御点の位置関係に応じて、各自由点uに対するペナルティが設定される。
ステップS4において、ユーザ指示取得部41は、画像変形処理の終了が指示入力されたか否かの判定を行う。
これに対して、画像変形処理の終了が指示入力されていない場合、ステップS4においてYESと判定されて、処理はステップS5に進む。
ステップS5において、ユーザ指示取得部41は、ユーザによる変形制御点の移動結果を取得する。
ステップS7において、画像表示部49は、メッシュ生成処理において算出した最終メッシュの三角形の座標に従って、変形後の画像を描画する。
ステップS7の後、処理はステップS4に進む。
次に、画像変形処理のステップS3において実行される変形用前処理について説明する。
図7は、画像処理装置1が実行する変形用前処理の流れを示すフローチャートである。
ステップS301において、ペナルティ設定部44aは、全ての頂点のペナルティpを1に初期化する(ペナルティベクトルPVをリセットする)。
ステップS302において、ペナルティ設定部44aは、全ての変形制御点を基準としたペナルティpの設定が終了したか否かの判定を行う。
全ての変形制御点を基準としたペナルティpの設定が終了していない場合、ステップS302においてNOと判定されて、処理はステップS303に進む。
ステップS303において、ペナルティ設定部44aは、基準としている変形制御点から一番近い変形制御点の位置を検索し、検索された変形制御点までの距離を変数Distに設定する。なお、このときの探索経路は三角形のエッジ(辺)上とし、経路探索アルゴリズムとして、例えば、ダイクストラ法を用いることができる。
ステップS304において、ペナルティ設定部44aは、基準とする変形制御点から距離がDist以内である頂点からなる三角形群を取得し(図4参照)、これらの三角形が構成する領域の面積Arを算出する。
ステップS305において、ペナルティ設定部44aは、面積Arが、面積Arについて設定された閾値Sthよりも大きいか否かの判定を行う。
これに対し、面積Arが、面積Arについて設定された閾値Sthよりも大きい場合、ステップS305においてYESと判定されて、処理はステップS306に進む。
ステップS306において、ペナルティ設定部44aは、面積Arの領域を構成する三角形の各頂点に対して、1以上の値であるペナルティpを設定する。
このようなステップS306の後、処理はステップS302に進む。
ステップS307において、メッシュ依存行列生成部43は行列G1,G1’,G5を生成する。
ステップS309において、制御点依存行列生成部44は行列G2,G6を算出する。
ステップS310において、制御点依存行列生成部44は行列G2の逆行列G2−1及び行列G6の逆行列G6−1を算出する。
このようなステップS310の処理が終了すると、処理は画像変形処理に戻る。
次に、画像変形処理のステップS6において実行されるメッシュ生成処理について説明する。
図8は、画像処理装置1が実行するメッシュ生成処理の流れを示すフローチャートである。
ステップS601において、メッシュ依存行列生成部43は、変形制御点が移動されたことによる行列Gx(=B1・q)の補正を行う。
ステップS602において、中間メッシュ生成部45は、(4)式に従い、自由点uを算出する。即ち、ここで算出される自由点uは、中間メッシュの三角形の頂点を表す。
ステップS604において、適合メッシュ生成部46は、(7)式によって算出される頂点の座標wを基に、中間メッシュの各三角形の辺を表すベクトルWfを算出する。
ステップS605において、適合メッシュ生成部46は、中間メッシュの各三角形の辺に対応するオリジナルメッシュの辺を表すベクトルE0を取得する。
スケール調整値Wpが閾値1/8以下である場合、ステップS606においてYESと判定されて、処理はステップS607に進む。
これに対し、スケール調整値Wpが閾値1/8より小さくない場合、ステップS607においてNOと判定されて、処理はステップS608に進む。
ステップS608において、適合メッシュ生成部46は、スケール調整値Wpで中間メッシュの三角形をスケール調整してオリジナルメッシュの三角形の大きさに戻す。
ステップS609において、適合メッシュ生成部46は、中間メッシュの三角形の全てを処理したか否かの判定を行う。
なお、上記ステップS606〜S608によるスケール調整処理は、ユーザの選択等によって実行しないこととしても良い。
これに対し、中間メッシュの三角形の全てを処理した場合、ステップS609においてYESと判定されて、処理はステップS610に進む。
ステップS610において、最終メッシュ生成部47は、適合メッシュの三角形の頂点の座標を基に、ベクトルB3を算出し、ペナルティベクトルPFを作用させた行列B3’を算出する。
ステップS612において、最終メッシュ生成部47は、(11)式を基に、最終メッシュの三角形の頂点の座標を算出する。
このようなステップS612の処理が終了すると、処理は画像変形処理に戻る。
即ち、変形制御点は周囲の三角形の変形を抑制する作用があるところ、変形制御点の間隔が広く開いた領域等において、変形制御点によって変形が抑制されないことにより、不適切に変形する三角形が発生することを抑制できる。
したがって、種々の変形態様に対応して、2次元平面に表示された画像をより適切に変形することが可能となる。
したがって、メッシュを構成する三角形の変換による歪みが生じる確率を低減することができ、種々の変形態様に対応して、2次元平面に表示された画像をより適切に変形することが可能となる。
次に、本発明の第2実施形態について説明する。
第2実施形態では、第1実施形態における変形用前処理を変更し、基準とする変形制御点から頂点までの距離Distが閾値以内にあるか否かに応じて、その頂点にペナルティpを設定する。
即ち、第1実施形態では、基準とする変形制御点から隣接する変形制御点までの距離Distを取得し、基準とする変形制御点から距離がDist以内である三角形群によって構成される領域の面積Arが、閾値Sthよりも大きいか否かに応じて、それらの頂点にペナルティを設定することとした。
以下、本実施形態の変形用前処理について説明する。
図9は、画像処理装置1が実行する変形用前処理の流れを示すフローチャートである。
ステップS701において、ペナルティ設定部44aは、全ての頂点のペナルティpを1に初期化する(ペナルティベクトルPVをリセットする)。
ステップS702において、ペナルティ設定部44aは、全ての変形制御点を基準としたペナルティpの設定が終了したか否かの判定を行う。
全ての変形制御点を基準としたペナルティpの設定が終了していない場合、ステップS702においてNOと判定されて、処理はステップS703に進む。
ステップS703において、ペナルティ設定部44aは、基準としている変形制御点から一番近い変形制御点の位置を検索し、検索された変形制御点までの距離を変数Distに設定する。なお、このときの探索経路は三角形のエッジ(辺)上とし、経路探索アルゴリズムとして、例えば、ダイクストラ法を用いることができる。
ステップS704において、ペナルティ設定部44aは、距離Distが、距離Distについて設定された閾値Dthよりも大きいか否かの判定を行う。
これに対し、距離Distが、距離Distについて設定された閾値Dthよりも大きい場合、ステップS704においてYESと判定されて、処理はステップS705に進む。
ステップS705において、ペナルティ設定部44aは、基準とする変形制御点からの距離がDist以内である各頂点に対して、1以上の値であるペナルティpを設定する。
このようなステップS705の後、処理はステップS702に進む。
ステップS706において、メッシュ依存行列生成部43は行列G1,G1’,G5を生成する。
ステップS708において、制御点依存行列生成部44は行列G2,G6を算出する。
ステップS709において、制御点依存行列生成部44は行列G2の逆行列G2−1及び行列G6の逆行列G6−1を算出する。
このようなステップS709の処理が終了すると、処理は画像変形処理に戻る。
そのため、最終メッシュとして算出された各頂点は、変形制御点の位置関係に基づいて、ペナルティによって変形が抑制された状態となる。
即ち、変形制御点は周囲の三角形の変形を抑制する作用があるところ、変形制御点の間隔が広く開いた領域等において、変形制御点によって変形が抑制されないことにより、不適切に変形する三角形が発生することを抑制できる。
したがって、種々の変形態様に対応して、2次元平面に表示された画像をより適切に変形することが可能となる。
上記各実施形態において、ペナルティpを設定する頂点を面積Ar(第1実施形態)あるいは距離Dist(第2実施形態)について設定した閾値によって、択一的に選択することとした。
これに対し、上記閾値を基に選択された頂点からなる領域と、それ以外の頂点からなる領域との境界において、ペナルティpを平滑化することができる。
図10は、ペナルティpの平滑化処理の流れを示すフローチャートである。
図10に示す処理は、変形用前処理において、ペナルティベクトルPVが生成された後、ペナルティpの平滑化処理の実行が指示されている場合に開始される。
ステップS801において、ペナルティ設定部44aは、全ての頂点についてペナルティpの平滑化を終了したか否かの判定を行う。
これに対し、全ての頂点についてペナルティpの平滑化を終了していない場合、ステップS801においてNOと判定されて、処理はステップS802に進む。
ステップS802において、ペナルティ設定部44aは、ペナルティpの平滑化を終了していない頂点を選択する。
なお、ステップS802において選択する処理対象の頂点の範囲は、1以上の値であるペナルティpが設定された頂点の領域と、ペナルティpが1の頂点(変形の抑制がない頂点)の領域との境界を挟んで、境界から所定数(例えば3つ)までとすることができる。
このようなステップS803の処理が終了すると、処理はステップS801に進む。
以上のようなペナルティpの平滑化処理を行うことにより、画像の変形が抑制される領域と抑制されない領域との境界で、変形の状態に不整合が生じ、ユーザに違和感を与えることを抑制できる。
例えば、上述の各実施形態において、変形対象となる画像の顔検出を行う顔検出機能と組み合わせて、ペナルティpの設定を行うことができる。
即ち、顔検出機能によって変形対象となる画像の顔を検出し、顔として検出された領域を対象として、各実施形態におけるペナルティpの設定を行うことができる。
このような処理を行うことにより、顔が不自然に変形する事態を抑制することができ、ユーザに違和感を与えることを防止できる。
これに対し、スケール調整値Wpが設定した閾値以下である場合に、その中間メッシュの三角形に対応するオリジナルメッシュの三角形を、適合メッシュの三角形とすることもできる。
また、上述の各実施形態では、本発明が適用される画像処理装置1は、パーソナルコンピュータを例として説明したが、特にこれに限定されない。
例えば、本発明は、画像処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、ポータブルゲーム機等に適用可能である。
換言すると、図2の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が画像処理装置1に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図2の例に限定されない。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
[付記1]
画像に設定した変形制御点の移動に対応して、前記画像を変形させる画像処理装置であって、
前記画像に三角形で構成されるオリジナルメッシュを設定するオリジナルメッシュ生成手段と、
前記変形制御点の位置関係に応じて、前記三角形における変形の抑制度合いを設定する設定手段と、
前記変形制御点の移動に対応して、前記設定手段によって設定された変形の抑制度合いに従って、前記オリジナルメッシュを構成する三角形の変形処理を行うメッシュ生成手段と、
を備えることを特徴とする画像処理装置。
[付記2]
前記設定手段は、一の前記変形制御点を基準として、隣接する他の前記変形制御点との距離の範囲に含まれる前記三角形からなる領域の面積を取得し、当該面積が、設定された閾値よりも大きい場合に、前記領域に含まれる三角形について変形の抑制度合いを高めることを特徴とする付記1記載の画像処理装置。
[付記3]
前記設定手段は、一の前記変形制御点を基準として、隣接する他の前記変形制御点との距離を取得し、当該距離が、設定された閾値よりも大きい場合に、基準とする前記変形制御点から当該距離までの範囲に位置する前記三角形について変形の抑制度合いを高めることを特徴とする付記1記載の画像処理装置。
[付記4]
前記設定手段は、前記三角形について変形の抑制度合いを高める場合に、当該三角形の頂点における変形の抑制度合いを一律に高めることを特徴とする付記1から3のいずれか1項に記載の画像処理装置。
[付記5]
前記設定手段は、前記三角形について変形の抑制度合いを高める場合に、他の前記三角形との境界部分において、変形の抑制度合いの平滑化を行うことを特徴とする付記1から3のいずれか1項に記載の画像処理装置。
[付記6]
画像に設定した変形制御点の移動に対応して、前記画像を変形させる画像処理方法であって、
前記画像に三角形で構成されるオリジナルメッシュを設定するオリジナルメッシュ生成ステップと、
前記変形制御点の位置関係に応じて、前記三角形における変形の抑制度合いを設定する設定ステップと、
前記変形制御点の移動に対応して、前記設定ステップにおいて設定された変形の抑制度合いに従って、前記オリジナルメッシュを構成する三角形の変形処理を行うメッシュ生成ステップと、
を含むことを特徴とする画像処理方法。
[付記7]
画像に設定した変形制御点の移動に対応して、前記画像を変形させるためのプログラムであって、
コンピュータに、
前記画像に三角形で構成されるオリジナルメッシュを設定するオリジナルメッシュ生成機能と、
前記変形制御点の位置関係に応じて、前記三角形における変形の抑制度合いを設定する設定機能と、
前記変形制御点の移動に対応して、前記設定機能によって設定された変形の抑制度合いに従って、前記オリジナルメッシュを構成する三角形の変形処理を行うメッシュ生成機能と、
を実現させることを特徴とするプログラム。
Claims (7)
- 画像に設定した変形制御点の移動に対応して、前記画像を変形させる画像処理装置であって、
前記画像に三角形で構成されるオリジナルメッシュを設定するオリジナルメッシュ生成手段と、
前記変形制御点の一つと、この一つの変形制御点に隣接する他の前記変形制御点との関係に基づいて、前記三角形における変形の抑制度合いを設定する設定手段と、
前記変形制御点の移動に対応して、前記設定手段によって設定された変形の抑制度合いに従って、前記オリジナルメッシュを構成する三角形の変形処理を行うメッシュ生成手段と、を備え、
前記設定手段は、一の前記変形制御点を基準として、隣接する他の前記変形制御点との距離の範囲に含まれる前記三角形からなる領域の面積を取得し、当該面積が、設定された閾値よりも大きい場合に、前記領域に含まれる三角形について変形の抑制度合いを高めることを特徴とする画像処理装置。 - 画像に設定した変形制御点の移動に対応して、前記画像を変形させる画像処理装置であって、
前記画像に三角形で構成されるオリジナルメッシュを設定するオリジナルメッシュ生成手段と、
前記変形制御点の一つと、この一つの変形制御点に隣接する他の前記変形制御点との関係に基づいて、前記三角形における変形の抑制度合いを設定する設定手段と、
前記変形制御点の移動に対応して、前記設定手段によって設定された変形の抑制度合いに従って、前記オリジナルメッシュを構成する三角形の変形処理を行うメッシュ生成手段と、を備え、
前記設定手段は、一の前記変形制御点を基準として、隣接する他の前記変形制御点との距離を取得し、当該距離が、設定された閾値よりも大きい場合に、基準とする前記変形制御点から当該距離までの範囲に位置する前記三角形について変形の抑制度合いを高めることを特徴とする画像処理装置。 - 前記設定手段は、前記三角形について変形の抑制度合いを高める場合に、当該三角形の頂点における変形の抑制度合いを一律に高めることを特徴とする請求項1又は2に記載の画像処理装置。
- 画像に設定した変形制御点の移動に対応して、前記画像を変形させる画像処理装置であって、
前記画像に三角形で構成されるオリジナルメッシュを設定するオリジナルメッシュ生成手段と、
前記変形制御点の一つと、この一つの変形制御点に隣接する他の前記変形制御点との関係に基づいて、前記三角形における変形の抑制度合いを設定する設定手段と、
前記変形制御点の移動に対応して、前記設定手段によって設定された変形の抑制度合いに従って、前記オリジナルメッシュを構成する三角形の変形処理を行うメッシュ生成手段と、を備え、
前記設定手段は、前記三角形について変形の抑制度合いを高める場合に、他の前記三角形との境界部分において、変形の抑制度合いの平滑化を行うことを特徴とする画像処理装置。 - 画像に設定した変形制御点の移動に対応して、前記画像を変形させる画像処理方法であって、
前記画像に三角形で構成されるオリジナルメッシュを設定するオリジナルメッシュ生成ステップと、
前記変形制御点の一つと、この一つの変形制御点に隣接する他の前記変形制御点との関係に基づいて、前記三角形における変形の抑制度合いを設定する設定ステップと、
前記変形制御点の移動に対応して、前記設定ステップにおいて設定された変形の抑制度合いに従って、前記オリジナルメッシュを構成する三角形の変形処理を行うメッシュ生成ステップと、を含み、
前記設定ステップは、一の前記変形制御点を基準として、隣接する他の前記変形制御点との距離の範囲に含まれる前記三角形からなる領域の面積を取得し、当該面積が、設定された閾値よりも大きい場合に、前記領域に含まれる三角形について変形の抑制度合いを高めることを特徴とする画像処理方法。 - 画像に設定した変形制御点の移動に対応して、前記画像を変形させる画像処理方法であって、
前記画像に三角形で構成されるオリジナルメッシュを設定するオリジナルメッシュ生成ステップと、
前記変形制御点の一つと、この一つの変形制御点に隣接する他の前記変形制御点との関係に基づいて、前記三角形における変形の抑制度合いを設定する設定ステップと、
前記変形制御点の移動に対応して、前記設定ステップにおいて設定された変形の抑制度合いに従って、前記オリジナルメッシュを構成する三角形の変形処理を行うメッシュ生成ステップと、を含み、
前記設定ステップは、一の前記変形制御点を基準として、隣接する他の前記変形制御点との距離を取得し、当該距離が、設定された閾値よりも大きい場合に、基準とする前記変形制御点から当該距離までの範囲に位置する前記三角形について変形の抑制度合いを高めることを特徴とする画像処理方法。 - 画像に設定した変形制御点の移動に対応して、前記画像を変形させるためのプログラムであって、
コンピュータに、
前記画像に三角形で構成されるオリジナルメッシュを設定するオリジナルメッシュ生成機能と、
前記変形制御点の一つと、この一つの変形制御点に隣接する他の前記変形制御点との関係に基づいて、前記三角形における変形の抑制度合いを設定する設定機能と、
前記変形制御点の移動に対応して、前記設定機能によって設定された変形の抑制度合いに従って、前記オリジナルメッシュを構成する三角形の変形処理を行うメッシュ生成機能と、を実現させ、
前記設定機能は、一の前記変形制御点を基準として、隣接する他の前記変形制御点との距離の範囲に含まれる前記三角形からなる領域の面積を取得し、当該面積が、設定された閾値よりも大きい場合に、前記領域に含まれる三角形について変形の抑制度合いを高めることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011182844A JP5857531B2 (ja) | 2011-08-24 | 2011-08-24 | 画像処理装置、画像処理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011182844A JP5857531B2 (ja) | 2011-08-24 | 2011-08-24 | 画像処理装置、画像処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013045295A JP2013045295A (ja) | 2013-03-04 |
JP5857531B2 true JP5857531B2 (ja) | 2016-02-10 |
Family
ID=48009153
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011182844A Active JP5857531B2 (ja) | 2011-08-24 | 2011-08-24 | 画像処理装置、画像処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5857531B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111951349B (zh) * | 2019-05-17 | 2024-03-22 | 珠海金山办公软件有限公司 | 一种图形顶点类型的调整方法、装置及电子设备 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007279776A (ja) * | 2004-07-23 | 2007-10-25 | Matsushita Electric Ind Co Ltd | Cgキャラクタエージェント装置 |
JP4613313B2 (ja) * | 2005-04-01 | 2011-01-19 | 国立大学法人 東京大学 | 画像処理システムおよび画像処理プログラム |
US7812850B1 (en) * | 2007-06-29 | 2010-10-12 | Adobe Systems Incorporated | Editing control for spatial deformations |
-
2011
- 2011-08-24 JP JP2011182844A patent/JP5857531B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013045295A (ja) | 2013-03-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4999392B2 (ja) | 画像処理装置及びその制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体 | |
US8873886B2 (en) | Apparatus and method for displaying a region of an image in an enlarged manner, and program therefor | |
JP5471474B2 (ja) | 画像処理装置および画像処理方法 | |
JP4053021B2 (ja) | 画像拡大装置、及びプログラム | |
JP6789720B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5857531B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5811690B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP4595805B2 (ja) | 設計データ生成装置及び設計データ生成プログラム | |
JP2007034724A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP5966800B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5164280B2 (ja) | 階層マスク生成装置、フレーム補間処理装置 | |
JP5478200B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
JP4740956B2 (ja) | 3次元グラフィック装置、3次元グラフィック方法、3次元グラフィックプログラム、および記録媒体 | |
JP3906201B2 (ja) | 補間画像生成装置および隠蔽領域推定方法 | |
JP4242381B2 (ja) | 画像補正装置、画像補正方法、および画像補正プログラム | |
JP5565671B2 (ja) | 画像変形方法、画像処理装置、及びコンピュータプログラム | |
JP2009104228A (ja) | 画像位置合わせ方法及び画像位置合わせプログラム | |
JP4121024B2 (ja) | 動画像合成装置および方法並びにプログラム | |
JP5719271B2 (ja) | 画像処理方法、画像処理装置及び画像処理プログラム | |
JP5085589B2 (ja) | 画像処理装置および方法 | |
JP2001043357A (ja) | 画像処理方法、画像処理装置及び記録媒体 | |
JP5750349B2 (ja) | 画像復元装置、画像復元方法およびプログラム | |
JP4242824B2 (ja) | デジタル画像拡大・縮小方法、デジタル画像拡大・縮小装置、及びデジタル画像拡大・縮小プログラム | |
KR20140079701A (ko) | 변형 축을 이용한 이미지 변형 방법 및 장치 | |
JP5863273B2 (ja) | 画像処理装置、制御方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140811 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150609 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150616 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150709 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150908 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151008 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151117 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151130 |
|
R150 | Certificate of patent (=grant) or registration of utility model |
Ref document number: 5857531 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |