JPH09231397A

JPH09231397A - 連続変形画像の描画処理システム

Info

Publication number: JPH09231397A
Application number: JP3927496A
Authority: JP
Inventors: Hajime Enomoto; 肇榎本
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1996-02-27
Filing date: 1996-02-27
Publication date: 1997-09-05

Abstract

(57)【要約】【課題】連続変形画像の描画処理システムに関し，顔の
表情変化，揺れ動くシャボン玉，格闘技の動作など，軟
質的変形や相互作用によって変形する動画像を，画像の
特徴に基づいて簡単な操作で生成し描画することを目的
とする。【解決手段】対象画像の空間的なスカラ特徴を解析して
凹凸分割線などの構造線を抽出し(12), その構造線によ
って画像を部分領域に分割する(13)。指定された変換方
法に従って部分領域毎に画像の特徴に関する値を変換し
(16), 隣接する部分領域間の連続性を保つために境界部
分の値を修正し(17), その結果から次の時点の画像を生
成する(18)。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は，画像の特徴に基づ
く連続変形画像の描画処理システムに関する。例えば，
シャボン玉や顔の表情のような軟質的変形を伴う動画
像，あるいは衝突や打撃のような相互作用によって変形
する物体の動画像の描画を，リアリティのあるように行
うことは，現在のコンピュータグラフィック（ＣＧ）技
術では，大きな手数を必要とする。一方，ＣＧ技術の応
用分野の拡大に伴い，このような軟質的変形や相互作用
によって変形する動画像の描画が必要されるケースが多
く発生してきている。このような軟質的変形等を伴う動
画像を簡単に効率よく生成する技術が必要とされてい
る。

【０００２】

【従来の技術】従来，アニメーション等の動画像を生成
し表示する方法として，ワイヤフレームなどの骨格を利
用するもの，画像として表示する立体図形をできるだけ
小さな微小領域に分割し，微小領域毎に各時点における
絵素の値を計算していくものなどがある。

【０００３】また，例えば人間の顔を動物の顔に連続的
に変形するというような，いわゆるモーフィングの技術
が知られており，このモーフィングでは，開始画像と目
的画像との対応点について時間的，空間的補間を行うこ
とにより，開始画像から目的画像まで連続的に画像を変
化させる。

【０００４】また，ＸＹ平面で表されるカラー画像につ
いて，ＸＹ平面に直交するＺ軸を考慮して，３次元ベク
トル場でカラー画像を取り扱う技術が知られている。こ
れらの技術については，特開昭６３−２９９５９４号公
報（カラー画像伝送処理方式），特開平１−２１３７６
１号公報（カラー画像のエッジ検出方式及び伝送処理方
式），特開平２−２０８７８１号公報（カラー描画ワー
クステーション），特開平３−２６７８７９号公報（ス
カラー・データ処理方式），特開平４−２８７１８０号
公報（カラー画像のエッジ検出方式）に開示されてお
り，カラー画像信号について発散（ダイバージェンス）
処理を行った結果の値や，回転（ローテーション）処理
を行った結果の値を利用し，カラー画像信号の情報圧縮
やカラー画像のエッジ（色度の変化位置を含む）を抽出
することなどが示されている。

【０００５】また，特開平６−３０９４６２号公報に
は，動画像中の個別対象の動きを剛体的な動きと軟質変
形的な動きとに分けて把握することによって，個別対象
についての動き速度ベクトルを抽出し，描画のために利
用する動画像処理装置が開示されている。

【０００６】

【発明が解決しようとする課題】従来の技術では，顔の
表情変化，風船，揺れ動くシャボン玉，格闘技の動作，
車の衝突および衝突回避など，軟質的変形や相互作用に
よって変形する動画像の描画や処理に，多大な手数と時
間がかかるという問題があった。

【０００７】本発明は上記問題点の解決を図り，静止画
などの特定の画像から，画像の特徴に基づいて簡単な操
作で連続的変形画像を生成する手段を提供することを目
的する。

【０００８】

【課題を解決するための手段】図１は，本発明の構成例
を示す。画像処理装置１０は，１台または複数台のＣＰ
Ｕおよびメモリ等からなり，軟質的変形や相互作用によ
る変形を伴う物体の連続変形画像を得るために，画像の
特徴を時間的期間で分割するとともに，空間的領域とし
て分割し，各領域毎に並行プロセスで画像の変換処理を
行う装置である。

【０００９】対象画像入力部１１は，連続変形画像のも
ととなる変換対象の画像を外部からまたは内部の記憶装
置等から取り込む手段である。構造線解析部１２は，対
象画像入力部１１によって取り込んだ画像の空間的なス
カラ特徴を解析し，それをもとに凹凸分割線やハイライ
ト線などの構造線を抽出する処理手段である。

【００１０】個別領域分割部１３は，構造線解析部１２
によって抽出された構造線をもとに，画像を個別領域に
分割する手段である。変換方法選択部１４は，例えば画
像の変換にアフィン変換を用いるか，動きベクトル法を
用いるかなどの変換方法をユーザの指定によって選択す
るとともに，動画像を作成すべき時間的期間および各コ
マの時間差Δｔ等を選択する手段である。

【００１１】特徴点・変換情報入力部１５は，変換方法
選択部１４によって選択した変換方法に応じて，構造線
上のいくつかの特徴点の位置および特徴点の移動先また
は特徴点毎の動きベクトル等を入力する手段である。

【００１２】個別領域毎の変換部１６は，変換方法選択
部１４で選択された変換方法によって，画像の特徴につ
いての変換処理を，個別領域毎に並行プロセスによって
並列に実行する手段である。

【００１３】領域境界部分修正部１７は，例えば変換方
法がアフィン変換である場合に，隣接する各個別領域間
の特徴の不整合を修正する処理手段である。画像生成部
１８は，個別領域毎の変換部１６による変換結果または
領域境界部分修正部１７による修正結果の情報に基づい
て，対象画像入力部１１で取り込んだ画像の次の時点の
画像を生成し，画像記憶部１９に記憶する手段である。

【００１４】画像記憶部１９に記憶された画像につい
て，順次，上記各部による処理を繰り返すことにより，
各時点における連続変形画像の動画像が生成されること
になる。シーンチェンジ等があれば，対象画像入力部１
１によって外部から新しい対象画像を入力する。

【００１５】変換する画像の空間的なスカラ特徴を，例
えば輝度データから得られる値によって表現することが
できる。また，色度ベクトルのダイバージェンス（ｄｉ
ｖ）演算やローテーション（ｒｏｔ）演算の結果をもと
に，画像の空間的なベクトル的特徴を表現することがで
きる。

【００１６】図１に示す画像処理装置１０は，次のよう
に動作する。まず，対象画像入力部１１から，ある特定
時点の画像が与えられたならば，構造線解析部１２によ
って空間的なスカラ特徴を解析し，その特徴から得られ
る構造線を抽出する。個別領域分割部１３は，その構造
線によって画像を個別領域に分割する。変換方法選択部
１４によって変換方法と時間的期間および時間差（いつ
まで，どれくらいの時間間隔で変換を実施するか）等の
情報をユーザに指定させる。

【００１７】変換方法がアフィン変換の場合，特徴点・
変換情報入力部１５によって構造線上の特徴点とその変
換先を入力し，個別領域毎の変換部１６によって，各個
別領域における画像のスカラ特徴およびベクトル的特徴
に関する値を変換する。領域境界部分修正部１７によっ
て，隣接している個別領域を照合し，隣接領域間で特徴
の不連続性があれば，指定された部分修正領域につい
て，領域間の連続性を保つための修正を行う。画像生成
部１８によって，変換された個別領域の結果と部分修正
領域の修正結果とを合成し，得られた画像を画像記憶部
１９に格納する。この画像が，最初の入力画像の次の時
点における画像となる。必要に応じて，図示省略したデ
ィスプレイに画像を表示し，次の時点における画像の変
換を続ける。

【００１８】変換方法選択部１４で選択された変換方法
が動きベクトル法の場合，特徴点・変換情報入力部１５
によって構造線上の特徴点を入力するとともに，各特徴
点の動きベクトルを入力する。次に，個別領域毎の変換
部１６によって，以下のように動きベクトルを処理す
る。まず，構造線上で動きベクトルを補間し，その結果
から構造線で囲まれた部分領域（個別領域）上で動きベ
クトルを補間する。各個別領域上の動きベクトルに従っ
て各絵素の空間的なスカラ特徴およびベクトル的特徴を
移動もしくは変化させ，画像生成部１８によって，次の
時点における画像を生成して画像記憶部１９に格納す
る。

【００１９】

【発明の実施の形態】軟質的変形のような連続変形を伴
う動画像の例として，シャボン玉や顔，あるいは衝突や
打撃などを伴う相互作用のある物体を対象とした場合，
物体の連続変形が画像のリアリティ性に大きな影響を与
える。

【００２０】以上の例のような連続変形画像では，時間
的に相互作用の発生する時間の前後での相互関係の評価
を行うことや，空間領域における相互作用を考慮するこ
とによって，領域間の相互関係を規定する制御点を定義
し，複数領域間の連続性を保つような変形画像として取
り扱う必要がある。

【００２１】したがって，連続変形については，時間的
には，１．定常運動期間，２．相互作用期間，の期間によって時間軸領域を分割する。

【００２２】同様に幾何学的空間では，１．物体の構成領域，２．物体内部の構造的領域，３．物体表面の構造線による分割領域，によって空間的な分割を行う。

【００２３】画像の観点からみると，可視部分領域につ
いての画像が連続性を保有するように表示される必要が
ある。このために物体表面の構造線による分割領域，特
に物体画像についての濃淡による支配領域について，描
画および処理が実行可能でなければならない。

【００２４】静止画像についての幾何学的特徴として，１．環境の伝意の変形について，不変であること，２．特徴構造が，原始特徴から構成可能であること，３．特徴間に，ほぼ独立的性質を持つこと，４．局所的に特徴についての値が視覚生理的意味を持つ
こと，という性質を満足することが幾何学的に要請される。

【００２５】２次元濃淡画像ψ（ｘ，ｙ）についての微
分に関する不変式として，

【００２６】

【数１】

【００２７】が基本的であることが知られている。Ｘに
直交，すなわち等高線方向のベクトルＸ_r，

【００２８】

【数２】

【００２９】を考えて，上記から構成される不変式とし
て，Ｃ（ｘ，ｙ）＝Ｘ^tＨＸ_r Ｄ（ｘ，ｙ）＝Ｘ^t _rＨＸ_r Ｅ（ｘ，ｙ）＝Ｘ^tＨＸＬ（ｘ，ｙ）＝ｔｒａｃｅＨが二次偏微分の形式のものである。これらの不変式を０
とする方程式，Ｘ＝０，Ｃ＝０，Ｄ＝０，Ｅ＝０，Ｌ＝
０が不変方程式であることから，特徴についての４条件
を満足する。それは，Ｘ＝０：局所的極値点Ｃ＝０：尾根／谷線Ｄ＝０：凹凸分割線Ｅ＝０：ステップ変化線Ｌ＝０：ステップ変化線のような特徴を表現している。

【００３０】濃淡のようなスカラ量でなく，例えば色度
ベクトルとして，

【００３１】

【数３】

【００３２】のようにξ，ηを考え，ξ，ηがそれぞれ
（ｘ，ｙ）の関数とすると，Ｖはベクトルの性質を持
ち，次式のように表現される。Ｖ＝ grad Ｌ＋rot Ｒ・ｋ〔ここで，Ｌ（ｘ，ｙ）：スカラポテンシャル，Ｒ
（ｘ，ｙ）：ベクトルポテンシャル，ｋ：（ｘ，ｙ）に
直交するＺ軸方向の単位ベクトル〕これから， div Ｖ＝ div・grad Ｌ rot Ｖ＝ rot・rot ・rot Ｒ・ｋが成り立ち， ξ_x＋η_y＝Ｌ_xx＋Ｌ_yy η_x−ξ_y＝Ｒ_xx＋Ｒ_yy の関係式が成立する。

【００３３】div Ｖおよびrot Ｖの絶対値が大きい部分
を抽出し，エッジ検出に利用することができる。また，
div Ｖがエッジ以外で，ある関係値以上の値を持つと
き，Ｖを色度ベクトルとすると，補色関係が存在し得る
ことを示す。rot Ｖの場合には，回転性補色関係を持つ
ような特徴を持っている。

【００３４】輝度のようなスカラ値を持っている場合，
ハイライト線のような特徴は，ベクトル成分としての g
rad ψのｘ成分が零であることが必要となる。以上のよ
うな種々の特徴の変化が，連続変形画像中の動きとして
表現され，逆に特徴の動きから連続変形の動き形式を決
定し得る。

【００３５】輝度のようなスカラ・データについては，
特徴点や構造線が役に立つ。構造線の中で，曲面の微小
変化について，もっとも大局的不変性を持っているの
は，分割線であることが実験的に判明している。分割線
は，曲面の高さ〔スカラ値〕についての凹部分と凸部分
を分割している。したがって，モード情報を担ってお
り，支配領域と名づけて情報処理学会で発表をしてい
る。個々の支配領域の中に存在する特徴点〔極大点，極
小点〕を通過する特徴線によって，スカラ・データの振
る舞いがより細かく規定される。このことが，支配領域
によって大局的に画像を生成し，次に特徴線について修
正を行うべきことを示している。

【００３６】連続変形画像の処理では，各時点におい
て，これらの特徴を，モデルをもとに抽出を行うことに
なる。一方，描画では，支配領域の変化を規定し，各支
配領域内でまず輝度値を次に色度値を規定し，各領域毎
に描画を行う。

【００３７】このような描画方法では，Ｅｘｔｅｎｓｉ
ｂｌｅＷＥＬＬ−ＰＰＰに組み込まれている要素ネッ
トワークを用いて，点，線，セグメントとフレーム部を
描き，各絵素点でのデータ値を変形規則に基づいて定め
る方法をとる。

【００３８】なお，ＥｘｔｅｎｓｉｂｌｅＷＥＬＬ−
ＰＰＰについては，例えば特開平５−２３３６９０号公
報（オブジェクトネットワークによる言語処理システ
ム），特開平７−２９５９２９号公報（コモン・プラッ
トフォーム機能による対話的情報処理装置）等によって
知られており，ここでの詳細な説明は省略する。

【００３９】この方法は，新しく画像描画をユーザ指定
で各時点毎に特徴点から出発し，線，セグメントと要素
画像の描画を行い，時点間で各特徴点の移動を補間し，
それから描画を行う方法で，特開平６−３０９４６２号
公報に記載されている動画像処理装置と基本原理は同一
である。

【００４０】ここでは，より簡単に連続変形を画像に対
して行うのにアフィン変換を利用する方法について述べ
る。アフィン変換は，図２（ａ）のようにＡ，Ｂ，Ｃの
３点を，それぞれＡ’，Ｂ’，Ｃ’のように移動を行う
のに線形変換を行うことと定義づけられ，

【００４１】

【数４】

【００４２】に対して，（Ａ，Ａ’）（Ｂ，Ｂ’）
（Ｃ，Ｃ’）についての方程式を満足するように，変換
パラメータａ，ｂ，ｃ，ｄ，ｅ，ｆが決定される。この
ように規定されたアフィン変換は，ある特定対象領域に
のみ適用されなければならない。この変換は，画面全体
に適用するのが簡単である。ところが，図２（ｂ）に示
すように，着目する領域ＡＢＣを，例えば図示のＡＢ
Ｃ’のように上下に傾けて領域移動をすると，指定領域
ＡＢＣ外部にある画像も，変換によって同じように移動
してしまう。

【００４３】この現象を防ぐためには，外部領域内にあ
る画像を消去する。すなわち，色度をなくし，輝度値を
白もしくは黒，あるいは特定のクロマキーに便利な輝
度，色度に調整する。こうすると，領域ＡＢＣのみがＡ
ＢＣ’に移動し，背景部としての外部領域は悪影響を及
ぼさない。

【００４４】領域についての連続変形を考えると，これ
は隣接領域の変形を意味し，領域の境界は相互に整合す
る形でなければならないので，領域間を分割する隣接線
の近辺を相互に整合させる必要がある。

【００４５】この要件は，図３に示すような支配領域を
分割する特徴としての分割線の性質と関係してくる。分
割線は，曲面の凹凸モードを分離する性質を持っている
ので，支配領域の境界付近では曲面の高さ，あるいは輝
度の値のようなスカラ値についての等高線の変曲点であ
ることが，凹凸モードを分割することとして要求され
る。また，力線についての連続性を制約として要求され
る。

【００４６】なお，図３（ａ）は理解を容易にするため
に単純化した顔の画像についての支配領域の例を示して
おり，（ｂ）に示すように，目の領域は凹部領域，鼻と
口の領域は凸部領域となっている。顔の表情変化の例を
図４に示す。顔の表情は，例えば図４（ａ）のような顔
の支配領域を，図４（ｂ）または（ｃ）に示すように変
形させることによって変化させることができる。図４
（ｂ）の例では，目尻と口の両端とを上に移動させてお
り，図４（ｃ）の例では，逆に目尻と口の両端とを下に
移動させている。移動のさせ方によって，笑った顔，怒
った顔，困惑した顔など，種々の表情を生成することが
できる。

【００４７】個々の支配領域について，アフィン変換に
よって領域変換を行う上で，隣接する支配領域について
の分割線は，同じ形状である必要がある。図５におい
て，ＡＢＣで囲まれる領域が凸部領域であるならば，Ａ
ＢＤで囲まれる領域は凹部領域となる。したがって，Ａ
ＢＣ領域では，等高線が極大点△の周りにある一定符号
の曲率で，曲線を描く。これに対し，ＡＢＤ領域では極
小点▽の周りで反対となる。このような図５（ａ）の隣
接支配領域を変換して，図５（ｂ）のようになったとす
るとき，ＡＢＤ領域の変化は少ないのに対し，ＡＢＣ領
域は大きく歪んで，ＡＢＣ’のようになる。

【００４８】その結果として分割線ＡＢの近傍の等高線
は，図５（ｂ）から明らかなように領域の各境界線によ
って分離し，したがって，等高線および力線の連続的接
続性が失われる。この分離現象はアフィン変換に対し，
分割線が直線であるときには生じない。しかし，図６に
示すように，分割線が直線であっても領域面積比の不等
性によって，等高線と直交する grad ψの値が領域によ
って異なった値をとる。すなわち，力線が境界線によっ
て変化する。

【００４９】以上のような領域の変換によって生ずる領
域の隣接関係の連続性が損なわれるのを防止するため
に，ハイライト線や特徴線，エッジ線などの特徴を重視
する場合，あるいは図７のように境界線が直線でなく，
曲線化する場合や，図５に示したように境界線が分離す
る場合には，アフィン変換のみでは対応できない。

【００５０】これらの場合には，１．特徴境界線について特徴点を指定し，それを通過す
る曲線を描く，２．曲線によって指定された領域についてカラー画像を
描く，（特開平２−２０８７８１号公報「カラー描画ワークス
テーション」，特開平３−２６７８７９号公報「スカラ
ー・データ処理方式」参照）というように，領域を点，
線，領域のように階層的に要素領域について描画を行
う。

【００５１】また，他の方法として，まずアフィン変換
のような簡単な変形を行い，次に修正を行う方法が有用
である。そのために部分修正領域を定義する。図８に部
分修正領域の指定の例を示す。すなわち，次の方法を用
いる。

【００５２】１．修正を行うべき領域を規定する境界線
ＡＢを指定する。２．指定境界線について修正すべき値の最大となる点を
指定する。３．その点について，隣接する境界領域において変換に
よって発生したスカラ値の grad の値の差を算出し，そ
れを長さとしてウィンド上に表示する。

【００５３】４．修正領域の幅を規定するために，上記
表示した長さに比例する幅を定義する。５．以上の結果を用いて部分修正領域を定義する。

【００５４】以上のように部分修正領域の指定を行った
ならば，次に輝度，色度についての修正値を定義する。
以上では，ある主要時点での画像描画の方法について述
べた。

【００５５】画像処理を行い，それをある時点での画像
として描画するためには，これまで説明したような構造
的特徴を抽出する処理を行う。この段階で完全に特徴を
抽出できないときは，それを完全化するために特徴を線
として補間する作業をその前段階で行う。

【００５６】アフィン変換は，クロマキーなどによって
対象物体についての部分領域を抽出した画面全体に適用
するので，極めて高速であるが，隣接する部分領域間の
輝度，色度などの属性値の連続性を確保するために修正
領域を必要とする。

【００５７】これに対し，動きベクトルを特徴点につい
て定義し，色度ベクトルについて，特開平２−２０８７
８１号公報に記載の「カラー描画ワークステーション」
や，輝度などのスカラデータをベクトル化を行って処理
した特開平３−２６７８７９号公報に記載の「スカラー
・データ処理方式」と同様な技術によって，次のような
手順を実行する。

【００５８】１．特徴点上で定義された動きベクトルを
得る。２．特徴点を通過する特徴構造についての構造線上で動
きベクトルを補間する。

【００５９】３．構造線によって囲まれた部分領域，例
えば水平走査線上で動きベクトルを補間する。４．部分領域上での動きベクトルを，今後の領域に連続
性を保つように補間（ヘルムホルツの定理を利用）す
る。

【００６０】図９は，動きベクトルの定義画面の例を示
す。動きベクトルの定義画面２０において，ベクトル値
ダイヤグラム２１を表示させ，マウス等のポインティン
グデバイスを用いて，ベクトル値ダイヤグラム２１内で
動きベクトル（方向と大きさ）を指定する（）。次
に，構造線上の任意点でマウス・クリック等により特徴
点を指定する（）。これによって，指定された特徴点
に，ベクトル値ダイヤグラム２１で指定された動きベク
トルが写しとられる。同じ動きベクトルを与える特徴点
に対しては，同様にクリックを繰り返して，特徴点の動
きベクトルを指定する。動きベクトルを変える場合に
は，ベクトル値ダイヤグラム２１を用いてベクトル値を
指定し直す。

【００６１】図１０は，動きベクトルを着目する対象領
域内の各絵素について定義する様子を示す図である。図
１０（ａ）は，図９に示す画面２０によって，ユーザに
指定された特徴点とその動きベクトルを示している。こ
の図１０（ａ）の動きベクトルをもとに，図１０（ｂ）
に示すように構造線上の各絵素について動きベクトルを
補間し定義する。次に，図１０（ｃ）に示すように，例
えば水平走査線上で動きベクトルを補間する処理を，各
水平走査線について繰り返すことによって，図１０
（ｄ）に示す対象領域全体について，動きベクトルを定
義する。

【００６２】図１０（ｄ）のような対象領域全体につい
て動きベクトルが定義されると，その時点の画像のΔｔ
時間後では，各絵素が（動きベクトル値）×Δｔの絵素
の点に動き，各絵素の輝度値と色度値とから，動き後の
画像が得られる。この場合，対象は特徴によって部分成
分に分割されていることより，精密な動きを描画するこ
とができる。例えば，シャボン玉のように部分的にぶる
ぶる振動して全体が動く場合の描画などは，この方法が
適している。

【００６３】ある構造線上の特徴点が変化する軌跡を，
作図画面上に記し，その軌跡上である一定時間間隔毎に
指定するのが便利な場合がある。この場合には，図９に
示す動きベクトルの定義画面２０において，各構造線毎
の軌跡の色を変えて見やすくしておくことも有用であ
る。

【００６４】さらに，運動を定常的な剛体運動と非定常
的な軟質運動に分離し，軟質運動は，剛体運動からの攝
動式変形として総合的に描画するほうが，計算精度の点
から望ましい。

【００６５】特に，複数個の対象間に相互作用のある場
合には，上記のように剛体運動と軟質運動とに分離する
と，並行処理によって効率的な計算を行い，その結果を
描画することが可能となる。

【００６６】例えば，２個の物体が衝突し，その反作用
によって剛体運動の変化が生じる場合などには，以下の
手順によって連続的動きを表現することができる。１．各対象毎に，剛体運動を行わせる。

【００６７】２．衝突時間を求める。３．衝突時間後の剛体運動を，各対象の持っているパラ
メータによって計算する。この時点から始まる期間をシ
ステムの時相制約として計算し，以後の計算道程を並行
プロセスとして時間的に分割して生成する。

【００６８】４．軟質変形描画を剛体運動画像の攝動と
して計算を行う。この場合，相互作用のある区間の運動
と，相互作用後の独立運動とに分けて計算する。上述の
ようないくつかの動き変換の方法を選択し，対象の動き
表現を行った時点では，動きによって各対象中の対応点
において，もともとの輝度と色度を動き後も属性値とし
て持っている。ハイライトのような特徴は，環境光と対
象形状の総合的効果として動きに伴って表出される。

【００６９】図１１は，右回転する楕円体のハイライト
線の様子を示す図である。例えば，模様のある球状の対
象が回転する時，模様は回転に伴って動くが，ハイライ
トの線は動かない。ラグビーボールのような楕円体が，
図１１（ａ）のような正面を向いた状態から右方向に回
転すると，図１１（ｂ）のように楕円体の左側が前に出
てくる。したがって，ハイライト線は左側へ向かって変
形する。この変化を動きベクトルとして表現することに
より，属性値がそれと共に変化した形で描画可能とな
る。

【００７０】以下，図１に示すシステムの動作を，図１
２に示す処理フローチャートと図１３に示す処理の例に
従って説明する。対象画像入力部１１は，ある特定時点
における連続変形の対象となる画像を取り込む（ステッ
プＳ１）。例えば，図１３（ａ）に示すような顔の画像
が取り込まれたとする。構造線解析部１２は，輝度デー
タ（スカラ値）の解析を行い，前述したＤ（ｘ，ｙ）＝
Ｘ^t _rＨＸ_rの式から，Ｄ＝０となる凹凸分割線を求め
る（ステップＳ２）。求めた凹凸分割線を画像のスカラ
特徴を表す構造線とする（ステップＳ３）。図１３
（ｂ）は，抽出された構造線の例を示している。ここ
で，▽は凹部領域を，△は凸部領域を示している。

【００７１】次に，個別領域分割部１３は，構造線によ
って画像を個別領域に分割する（ステップＳ４）。ステ
ップＳ５では，変換方法選択部１４によって，ユーザか
らの指定により，連続変形を行うべき時間間隔（時間差
Δｔ）や変換方法を選択する。変換方法としては，アフ
ィン変換や動きベクトル法などがあるが，ここではアフ
ィン変換が選択されたものとして説明する。特徴点・変
換情報入力部１５によって，構造線上の特徴点と，各特
徴点の移動先の情報とを入力する。図１３（ｃ）は，そ
の入力の様子を示しており，例えばマウス等のポインテ
ィングデバイスの指定により画面上で各特徴点とその移
動先を決定する。

【００７２】個別領域毎の変換部１６は，並行プロセス
によって個別領域毎に指定された変換処理（アフィン変
換）を実行する（ステップＳ６）。図１３（ｄ）は，そ
の変換結果の例を示している。この変換された個別領域
の画像情報を記憶する（ステップＳ７）。

【００７３】次に，領域境界部分修正部１７は，隣接し
ている個別領域を照合し，隣接領域間の不連続性を抽出
する（ステップＳ８，Ｓ９）。図１３（ｄ）にハッチン
グで示した部分が不連続性が抽出された部分である。こ
の部分についての隣接境界線のパラメータ（前述した画
像のスカラ特徴やベクトル的特徴）を計算する（ステッ
プＳ１０）。図８で説明したような部分修正領域の指定
により（ステップＳ１１），部分修正領域について隣接
する個別領域間の境界部分を整合させる修正を行う。

【００７４】画像生成部１８は，変換された個別領域と
部分修正領域のスカラ特徴およびベクトル的特徴から画
像を合成し，特定時点の画像の次の時点における画像を
生成して，画像記憶部１９に格納する（ステップＳ１
２）。また，ディスプレイへの表示を行い，必要に応じ
てユーザからの確認のレスポンスを得る。

【００７５】あらかじめ指定された時間の画像をすべて
生成した場合，またはユーザから終了の指示があった場
合には，処理を終了する（ステップＳ１３）。処理を続
行する場合には，ユーザの指定等により，シーンチェン
ジが必要かどうかを判定し（ステップＳ１４），シーン
チェンジが必要であれば，ステップＳ１へ戻って，次の
変換対象画像を取り込み，同様に処理を繰り返す。ま
た，シーンチェンジが必要なければ，ステップＳ２へ戻
って同様に処理を繰り返す。なお，２回目以降の処理で
は，１回目で計算した結果を保持しておくことにより，
ステップＳ２〜Ｓ５等の処理を必要に応じて省略するこ
とも可能である。

【００７６】ステップＳ５で選択した変換方法が，動き
ベクトル法である場合には，特徴点・変換情報入力部１
５によって，図９で説明したように代表的な特徴点とそ
の動きベクトルを入力し，個別領域毎の変換部１６によ
って，図１０に示すように各個別領域内の各絵素につい
ての動きベクトルを求める。動きベクトル法の場合，領
域境界部分修正部１７の処理は不要である。他の処理
は，全体的にアフィン変換の場合とほぼ同様である。

【００７７】

【発明の効果】以上説明したように，本発明によれば，
与えられた画像について分割線等の特徴に基づいて領域
分割を行い，各領域毎に輝度などのスカラ特徴および色
度などのベクトル的特徴をもとにした画像の変形を行う
ので，シャボン玉や顔の表情などの連続変形を伴う動画
像を簡単に作成することができる。また，各領域の境界
を修正する手段を持つことにより，自然なリアリティの
ある動画像を得ることができる。

【図面の簡単な説明】

【図１】本発明の構成例を示す図である。

【図２】アフィン変換の例を説明する図である。

【図３】支配領域の説明図である。

【図４】顔の表情変化の例を示す図である。

【図５】隣接する支配領域の変換と輝度値の等高線を示
す図である。

【図６】領域面積比の不等性によるベクトル値の不連続
性を説明する図である。

【図７】境界線が曲線化する場合の例を示す図である。

【図８】部分修正領域の指定法を説明する図である。

【図９】動きベクトルの定義画面例を示す図である。

【図１０】動きベクトルの定義手順を示す図である。

【図１１】右回転する楕円体のハイライト線についての
変化を示す図である。

【図１２】本発明の実施例の処理フローチャートであ
る。

【図１３】本発明による処理の例を示す図である。

【符号の説明】

１０画像処理装置１１対象画像入力部１２構造線解析部１３個別領域分割部１４変換方法選択部１５特徴点・変換情報入力部１６個別領域毎の変換部１７領域境界部分修正部１８画像生成部１９画像記憶部

Claims

【特許請求の範囲】

【請求項１】連続変形を伴う動画像を描画するシステ
ムにおいて，ある特定時点の画像の空間的なスカラ特徴
を解析し，その特徴から得られる構造線を抽出する手段
と，抽出した構造線によって画像を部分領域に分割する
手段と，分割された部分領域毎に，指定された変換方法
に従って当該部分領域における画像のスカラ特徴および
ベクトル的特徴に関する値を変換する手段と，変換され
た隣接する部分領域間の連続性を保つために部分修正領
域を指定し，その部分修正領域の特徴に関する値を修正
する手段と，変換された部分領域と部分修正領域のスカ
ラ特徴およびベクトル的特徴から画像を合成し，前記特
定時点の画像の次の時点における画像を生成する手段と
を備えたことを特徴とする連続変形画像の描画処理シス
テム。
【請求項２】前記画像の空間的なスカラ特徴は，画像
の輝度データに関する値であり，前記ベクトル的特徴
は，色度ベクトルに関する値であり，前記構造線は，輝
度データ値の凹部領域と凸部領域の境界を示す凹凸分割
線であることを特徴とする請求項１記載の連続変形画像
の描画処理システム。
【請求項３】前記変換方法は，前記部分領域における
指定された特徴点または所定の特徴点の位置変化をもと
にしたアフィン変換であることを特徴とする請求項１ま
たは請求項２記載の連続変形画像の描画処理システム。
【請求項４】前記部分領域毎に値を変換する手段は，
分割された部分領域毎に並行プロセスによって並列に変
換処理を行う手段であることを特徴とする請求項１，請
求項２または請求項３に記載の連続変形画像の描画処理
システム。
【請求項５】連続変形を伴う動画像を描画するシステ
ムにおいて，ある特定時点の画像の空間的なスカラ特徴
を解析し，その特徴から得られる構造線を抽出する手段
と，抽出した構造線上に定義された特徴点の動きベクト
ルを入力する手段と，前記構造線上で動きベクトルを補
間する手段と，前記構造線で囲まれた部分領域上で動き
ベクトルを補間する手段と，各部分領域上の動きベクト
ルに従って各絵素の空間的なスカラ特徴およびベクトル
的特徴を移動もしくは変化させ，次の時点における画像
を生成する手段とを備えたことを特徴とする連続変形画
像の描画処理システム。
【請求項６】前記空間的なスカラ特徴およびベクトル
的特徴は，それぞれ輝度データおよび色度ベクトルから
得られる値であることを特徴とする請求項５記載の連続
変形画像の描画処理システム。
【請求項７】前記部分領域上での動きベクトルの補間
および画像の特徴の変換は，分割された部分領域毎に並
行プロセスによって並列に処理されることを特徴とする
請求項５または請求項６記載の連続変形画像の描画処理
システム。