JPH1069549A - 画像処理方法 - Google Patents

Abstract

(57)【要約】 【課題】 画像内の形状情報を反映し、自然で複雑な変
形を実現する単純な画像変形方法を提供する。 【解決手段】 ステップ１１で画像データが入力され、
ステップ１２でメッシュが貼られる。ステップ１３でメ
ッシュの頂点間を結ぶバネのバネ係数を決定する。ステ
ップ１４でメッシュ頂点を共有するバネとバネのなす角
の回転バネのバネ係数を決定する。ステップ１５でバネ
一本一本毎につり合い方程式のマトリックスと、更に全
体のバネのつり合い方程式のマトリックスを求める。ス
テップ１６で変形制御情報を入力し、これに基づいてス
テップ１７でバネのつり合い方程式の変形を行う。ステ
ップ１８で変形後のメッシュ点の位置を求め、ステップ
１９、１１０で各々のメッシュ毎に座標変換の補間式の
算出を行い、変形後の画像を得る。ステップ１１１で変
形後の画像データを出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本願発明は、画像処理、コン
ピュータグラフィックス分野で用いられる画像の変形方
法に関するものである。

【０００２】

【従来の技術】近年、テレビジョンや製本の業界にもコ
ンピュータによるデジタル処理が広まっている。デジタ
ル処理においては、画像もデジタルデータとして表現さ
れ、昔では不可能であった自在な変形処理が可能とな
り、より効果的なテロップや挿し絵の作成も可能となっ
た。

【０００３】例えば、デジタル画像の変形処理で実用化
されている第１の方法は、対象画像の輪郭部あるいはい
くつかの制御点に所定の変形を与え、内部の変形は線
形、双一次、双二次等の単純な数式に基づく補間で求め
ていた。

【０００４】また第２の方法として、コンピュータシミ
ュレーションの分野で用いられる形状の内部情報に基づ
く変形方法としてのＦＥＭ（Ｆｉｎｉｔｅ Ｅｌｅｍｅ
ｎｔＭｅｔｈｏｄ）または有限要素法と呼ばれる弾性体
モデルによる方法がある（参考文献：有限要素法入門
三好俊郎著 培風館 ＩＳＢＮ４−５６３−０３４９０
−８）。ＦＥＭは非常に計算コストが高く昔はスーパー
コンピュータ等が必要であったが、最近では高速なワー
クステーションや高速なパーソナルコンピュータなら実
用に耐える速度で実行できるようになった。一方、ＦＥ
Ｍを用いた変形は、下記する問題はあるものの、画像内
の形状情報を反映できるので、従来の単純な画像変形方
法より自然で複雑な変形を実現できる潜在能力は高い。

【０００５】

【発明が解決しようとする課題】上述した従来の第１の
方法には、補間による変形は画像内の形状情報を全く反
映しないので、こうした形状が不自然な変形を起こした
り、形状情報に基づく複雑な変形ができなかったりする
等の欠点があった。

【０００６】第１の方法の問題の一例を図６〜図８を用
いて説明する。図６は蛇の画像である。図７の画像を得
ようとして蛇の頭６１と尾６２を制御点に指定して引き
延ばす。すると、蛇の頭６１と尾６２を含む矩形領域６
３が、図８に示す矩形領域８１となり、内部の画像も線
形補間によって引き延ばされた図８の画像を得る。図７
と図８を比較すると、図８は蛇の胴体が縦向きのところ
だけ太くなるために幅が不均一になって不自然な画像で
ある。このような画像変形技術では図７の画像を得るこ
とができない。

【０００７】また、第２の方法においても、ＦＥＭをそ
のまま画像の変形に適用すると、視覚的には不自然な変
形を起こす場合がある。

【０００８】第２の方法の問題の一例を図３〜図５を用
いて説明する。図３は単純な長方形である。この両辺を
縮めて正方形にしたいとする。単純な線形補間法なら図
４のように正方形になるが、ＦＥＭを用いると図５のよ
うに上下が膨らんでしまう。これはＦＥＭが画像を長方
形の弾性体として扱うためにポアソン効果が発生して上
下方向に膨らむ力が作用するからである。実際の弾性体
の左右を圧縮すれば図５のようになり物理的には正しい
のであるが、画像の変形が目的の場合、弾性論の支配方
程式に基づく変形は視覚的に不自然な結果をもたらす場
合がある。

【０００９】本願発明は、以上の問題点を解決するため
のものであり、その目的は画像内の形状情報を反映し、
自然で複雑な変形を実現する単純な画像変形方法を提供
することである。

【００１０】

【課題を解決するための手段】ＦＥＭの抱える前述の問
題は、ＦＥＭがポアソン効果に代表される弾性体の拘束
条件をつり合い方程式に含んでいるために現実の弾性体
と同じ変形しかできないからである。従って、バネモデ
ルだけからなるつり合い方程式を作ることにより、視覚
的に不都合な弾性体の物理的拘束をなくせばよい。

【００１１】そこで、上記の目的を達成するために本願
発明では、画像内の指定された形状を変形する方法にお
いて、該形状を含む画像領域を等間隔でメッシュ状に区
分する過程と、前記区分したメッシュの各々のメッシュ
頂点間を結ぶバネを定義する過程と、同じメッシュ頂点
を共有する前記バネとバネのなす角に作用する回転バネ
を定義する過程と、前記バネおよび前記回転バネのバネ
係数を、原画像または原画像を画像処理して得る特徴画
像の情報を用いて算出する過程と、単数もしくは複数の
メッシュ頂点を移動、または、単数もしくは複数のメッ
シュ頂点に力を加えることを変形条件として与えること
により、該変形条件下でバネのつり合い状態を求めるこ
とによって変形後のメッシュ頂点の位置を求める過程
と、各々のメッシュ毎に４隅のメッシュ頂点の座標の移
動から座標変換の補間式を求める過程と、該補間式に従
って各々のメッシュ毎にメッシュ内の画像を変形させる
ことによって、画像内の指定された形状を変形する過程
と、を備えることをその解決手段とする。

【００１２】本願発明においては、変形対象となる画像
を含む画像データ領域を等間隔でメッシュ状に区分し、
メッシュの各々の頂点間を結ぶバネと、同じメッシュ頂
点を共有するバネとバネのなす角に作用する回転バネを
定義し、これらのバネのつり合い方程式を用いてＦＥＭ
を実行する。

【００１３】これにより、メッシュの各々のメッシュ頂
点間を結ぶバネによって弾性論における縦弾性と同等の
効果を、また、同じメッシュ頂点を共有するバネとバネ
のなす角に作用する回転バネによって弾性論における揃
断弾性と同等の効果を得る。

【００１４】ところで弾性論に基づいた既存技術におい
ては揃断弾性率Ｇは縦弾性率Ｅおよびポアソン比νを用
いて次式で示される。

【００１５】

【数１】

【００１６】これより、Ｇは独立に決めることができず
νとＥに支配されることがわかる。

【００１７】一方で、ポアソン効果により物体形状は水
平方向に単位長さあたりｘ変位すると、垂直方向にも単
位長さあたり−νｘ変位する。このために、ポアソン効
果による問題として、水平方向への圧縮／伸長すると垂
直方向も伸長／圧縮されてしまうのである。

【００１８】そこで、回転バネによって揃断弾性の効果
を得る本願発明の方法では、揃断弾性を回転バネのバネ
係数として独立に、１メッシュ点につき複数のパラメー
タを定義できるようにする。これにより、視覚上不自然
な変形の原因となるポアソン効果を除去し、上記ポアソ
ン効果による問題を解決するとともに、弾性論では定義
できない回転バネを用いた新しい画像変形を実現し、揃
断弾性率に相当する回転バネの係数を独立に設定するこ
とによって同メッシュ数でＦＥＭを実行した時の近似精
度を向上させる。

【００１９】以上のバネおよび回転バネの定義方法を図
２を用いて説明する。例えば、バネ２７を定義する場合
は、メッシュ頂点３１とメッシュ頂点３５を結ぶバネと
して定義する。

【００２０】例えば、回転バネ２２を定義する場合は、
メッシュ頂点３１とメッシュ頂点３２はメッシュ頂点３
５を共有するので、バネ２７とバネ２８のなす角に作用
する回転バネとして定義する。したがって、本願発明の
方法では、メッシュ頂点３１〜３５で構成される１メッ
シュ点につき、揃断弾性を回転バネのバネ係数として、
最大６パラメータ定義できる。

【００２１】

【発明の実施の形態】以下、本願発明の実施形態例を、
図を用いて詳しく説明する。

【００２２】図１は本願発明の一実施形態例を示す。図
１においてステップ１１は画像データの入力、ステップ
１２はメッシュ点の決定、ステップ１３はメッシュの各
々の頂点問を結ぶバネのバネ係数の決定、ステップ１４
はメッシュ頂点を共有するバネとバネのなす角に作用す
る回転バネのバネ係数の決定、ステップ１５はステップ
１３と１４のバネ係数に基づくバネのつり合い方程式の
設定、ステップ１６は変形制御情報の入力、ステップ１
７は変形制御情報に基づくバネのつり合い方程式の変
形、ステップ１８は変形後のつり合い方程式を解くこと
による変形後のメッシュ点の位置計算、ステップ１９は
各々のメッシュ毎に行う座標変換の補間式の算出、ステ
ップ１１０は該補間式に基づいた画像の変形、ステップ
１１１は変形後の画像データ出力の処理を表す。

【００２３】次に本願発明の一実施形態例の処理の流れ
を説明する。

【００２４】まず、ステップ１１では画像データが入力
されると、ステップ１２で予め設定されたサイズで正方
格子状にメッシュが貼られる。

【００２５】次に、ステップ１３では、メッシュの各々
のメッシュ頂点間を結ぶバネのバネ係数を、入力された
画像情報（原画像または原画像を画像処理して得る特徴
画像）から決定する。バネ係数の決定方法は、例えば、
バネの両端のメッシュ点に位置する画像上の画素値の和
をバネ係数とする等がある。この他にも様々なバネ係数
の決定方法がありうるが本願発明では、バネ係数の決定
方法は問題とせず、どのような方法を用いても良い。

【００２６】次に、ステップ１４では、メッシュ頂点を
共有するバネとバネのなす角に作用する回転バネのバネ
係数を、入力された画像情報（原画像または原画像を画
像処理して得る特徴画像）から決定する。回転バネのバ
ネ係数の決定方法は例えば回転バネの８頂点のメッシュ
点に位置する画像上の画素値の和をバネ係数とする等が
ある。この他にも様々な回転バネのバネ係数の決定方法
がありうるが本願発明では、回転バネのバネ係数の決定
方法は問題とせず、どのような方法を用いても良い。

【００２７】次に、ステップ１５では、まずステップ１
３とステップ１４で決定したバネ係数を用いて、バネ一
本一本毎につり合い方程式のマトリックスを求める。バ
ネのつり合い方程式のマトリックスは、バネの水平から
の傾きをＳ、バネ係数をｋとして、次式で定める。

【００２８】

【数２】

【００２９】回転バネのつり合い方程式のマトリックス
は、あるバネの長さをＬ、水平からの傾きをＳ、該バネ
につながっている３つの回転バネのバネ係数をそれぞ
れ、ｋ１、ｋ２、ｋ３として、次式で定める。

【００３０】

【数３】

【００３１】全部のバネについて上記のバネと回転バネ
のつり合い方程式のマトリックスの算出を終えたら、全
体のバネのつり合い方程式のマトリックスの対応する位
置に加算していくことによって、全体のバネのつり合い
方程式のマトリックスを求める。該マトリックスの生成
方法は、公知のＦＥＭの剛性マトリックスの生成方法と
全く同じである。

【００３２】次に、ステップ１６では、変形制御情報を
入力する。次に、ステップ１７で変形制御情報に基づく
バネのつり合い方程式の変形を行う。この変形制御情報
および変形制御情報に基づくつり合い方程式の変形方法
は公知のＦＥＭの処理方法と全く同じである。

【００３３】次に、ステップ１８では、つり合い方程式
を変位量について解き、変形後のメッシュ点の位置を求
める。これは公知のＦＥＭの処理方法と全く同じであ
る。

【００３４】次に、ステップ１９では、各々のメッシュ
毎に行う座標変換の補間式の算出を行う。補間式の一例
として双一次変形補間を示すと、変形前のメッシュは長
方形で４頂点の位置は時計回りでそれぞれ、（Ｘ０，Ｙ
０）、（Ｘ０＋ＤＸ，Ｙ０）、（Ｘ０＋ＤＸ，Ｙ０＋Ｄ
Ｙ）、（Ｘ０，Ｙ０＋ＤＹ）とする。変形後のメッシュ
の４頂点の位置をそれぞれ（Ｕ０，Ｖ０）、（Ｕ１，Ｖ
１）、（Ｕ２，Ｖ２）、（Ｕ３，Ｖ３）とすれば、双一
次変形の補間式は次式で表される。ここで、（ｘ，ｙ）
は変形前の座標、（ｕ，ｖ）は変形後の座標である。

【００３５】

【数４】ｕ＝(１-ａ)(１-ｂ)Ｕ０＋ａ(１-ｂ)Ｕ１＋ａ
ｂＵ２＋(１-ｂ)ａＵ３ ｖ＝(１-ａ)(１-ｂ)Ｖ０＋ａ(１-ｂ)Ｖ１＋ａｂＶ２＋
(１-ｂ)ａＶ３ ただし、ａ＝（ｘ-Ｘ０）／ＤＸ，ｂ＝（ｙ-Ｙ０）／Ｄ
Ｙ なお、本実施形態例では双一次補間を示したが、メッシ
ュに隣接する他のメッシュ点の位置情報を用いた双二次
補間やスプライン補間でも同じ作用が実現でき、双一次
補間は補間例の一つに過ぎない。

【００３６】次に、ステップ１１０では、各メッシュ毎
に求めた補間式を用いてそのメッシュ内にある画像を変
換し変形後の画像を得る。全メッシュについてステップ
１９とステップ１１０の処理を行うことにより変形後の
画像データを得る。次に、ステップ１１１で変形後の画
像データを出力する。

【００３７】したがって、本願発明によれば、画像内の
形状の情報を有効に用いた変形が可能となり、例えば、
図７のような変形画像を得ることができる。また、従来
のＦＥＭと比較すると、弾性体の物理モデルに基づかな
い処理なので、例えば図５のように、視覚的には不自然
な変形を起こすことがない。

【００３８】

【発明の効果】本願発明によれば、画像内の形状の情報
を有効に用いた変形が可能となるという効果を有する。

【００３９】また、弾性体の物理モデルに基づかない処
理なので視覚的には不自然な変形を起こすことがないと
いう効果を有する。

【図面の簡単な説明】

【図１】本願発明の方法の一実施形態例を示すフローチ
ャートである。

【図２】本願発明で用いられるバネモデルの例を示す図
である。

【図３】第２の従来方法における変形前の画像例を示す
図である。

【図４】従来方法における線形補間によって変形した画
像例を示す図である。

【図５】第２の従来方法におけるＦＥＭによって変形し
た画像例を示す図である。

【図６】第１の従来方法における変形前の画像例を示す
図である。

【図７】第１の従来方法における望む変形画像例を示す
図である。

【図８】第１の従来方法における線形補間によって変形
した画像例を示す図である。

Claims (1)

【特許請求の範囲】
1. 【請求項１】 画像内の指定された形状を変形する方法
   において、 該形状を含む画像領域を等間隔でメッシュ状に区分する
   過程と、 前記区分したメッシュの各々のメッシュ頂点間を結ぶバ
   ネを定義する過程と、 同じメッシュ頂点を共有する前記バネとバネのなす角に
   作用する回転バネを定義する過程と、 前記バネおよび前記回転バネのバネ係数を、原画像また
   は原画像を画像処理して得る特徴画像の情報を用いて算
   出する過程と、 単数もしくは複数のメッシュ頂点を移動、または、単数
   もしくは複数のメッシュ頂点に力を加えることを変形条
   件として与えることにより、該変形条件下でバネのつり
   合い状態を求めることによって変形後のメッシュ頂点の
   位置を求める過程と、 各々のメッシュ毎に４隅のメッシュ頂点の座標の移動か
   ら座標変換の補間式を求める過程と、 該補間式に従って各々のメッシュ毎にメッシュ内の画像
   を変形させることによって、画像内の指定された形状を
   変形する過程と、 を備えることを特徴とする画像処理方法。