JP2938739B2 - 動画像処理装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、与えられた動画像中の
個別対象について、当該個別対象の時間的な動きを分析
して当該個別対象の動き情報を抽出して保持し、および
／または当該保持された動き情報にもとづいて上記動画
像における個別対象の動きを描画する動画像処理装置に
関する。

【０００２】

【従来の技術】ＸＹ平面で表されるカラー画像につい
て、当該ＸＹ平面に直交するＺ軸を考慮して、３次元ベ
クトル場で当該カラー画像を取り扱うことが知られてい
る。当該技術に関しては、特開昭６３−２９９５９４
号、特開平１−２１３７６１号、特開平２−２０８７８
１号、特開平３−２６７８７９号、特開平４−２８７１
８０号に開示されており、静止画の場合、カラー画像信
号について発散（ダイバージェンス）処理を行った結果
の値や、回転（ローテーション）処理を行った結果の値
は略んど零に近い値をとるが、カラー画像における色度
変化の大きい所で上記夫々の値が大となることを利用し
て、カラー画像のエッジ（色度の変化位置を含む）を抽
出するなどの技術が開示されている。

【０００３】一方、動画像の処理における動きの検出に
関しては、従来から、画像中の個別対象上の点につい
て、或る時点での位置と次の時点での位置とでの相関の
高い対応点を見出し、その距離ベクトルから動きベクト
ルの検出を行っている。

【０００４】

【発明が解決しようとする課題】動画像の処理における
上記従来の処理の場合には、上述の相関の高い対応点を
見出す処理が煩雑であり、個別対象上の多数の点につい
て夫々相関をとるための処理量が膨大となる。更に動き
を表現する基本パラメータの抽出ができないことがあ
る。

【０００５】本発明は、動画像中の個別対象の動きを剛
体的な動きと軟質変形的な動きとに分けて把握すること
によって、当該個別対象についての基本となる動き速度
ベクトルを抽出し、また描画のために利用するようにす
ることを目的としている。また画面内軸を軸とした回転
運動についても処理できるようにすることを目的として
いる。

【０００６】

【課題を解決するための手段】図１は本発明の原理構成
図を示す。図中の符号１００は処理対象動画像、２００
は動画像処理装置、３００は描画結果動画像を表してい
る。

【０００７】動画像処理装置２００は、データ処理シス
テムによって実現されるが、内部の機能について構成す
ると、大別して、(i) 処理対象動画像１００を分析して
パラメータを抽出するための動き速度ベクトル抽出部２
１０と、(ii)与えられたパラメータから描画結果動画像
３００を描画するための動き速度ベクトル描画部２２０
と、(iii) 上記抽出された結果の抽出パラメータ２３０
とからなる。

【０００８】そして、動き速度ベクトル抽出部２１０に
関して、本発明の場合、動画像中の夫々の個別対象ごと
に、当該個別対象が剛体であるとみなした際の剛体的動
きについて速度ベクトルを抽出する剛体的動き速度ベク
トル抽出部１をそなえると共に、当該個別対象の動きを
剛体とみなした際に把握し得ない所の、個別対象内の軟
質変形的な動きについて速度ベクトルを抽出する軟質変
形的動き速度ベクトル抽出部２とを有する。

【０００９】また動き速度ベクトル描画部２２０に関し
て、与えられたパラメータにもとづいて上記個別対象の
剛体的な動きを描画する剛体的動き速度ベクトル描画部
３と、上記個別対象の軟質変形的な動きを描画する軟質
変形的動き速度ベクトル描画部４とを有する。

【００１０】

【作用】上記剛体的動きについては、(i) 個別対象全体
が平行移動する並進運動と、(ii)個別対象全体の拡大・
縮小に対応する尺度変化と、(iii) 個別対象が画面内鉛
直軸（即ちＺ軸）のまわりを回転する画面内鉛直軸回転
とに分けることができ、夫々の動きに対応するパラメー
タを得る。なお個別対象を構成する領域内での各座標点
ごとの並進運動動き速度ベクトルが抽出可能であれば、
上記の外に、(iv)個別対象が画面内軸（即ちＸＹ平面上
の軸）のまわりを回転する画面内軸回転による剛体的な
動きを抽出することができる。

【００１１】図１に示す剛体的動き速度ベクトル抽出部
１においては、アフイン変換処理によって、並進運動動
き速度ベクトル・データと、尺度変化動き速度ベクトル
・データと、画面内鉛直軸回転動き速度ベクトル・デー
タとを得る。そして必要ならば当該３者のデータを利用
した形で更に進んで画面内軸回転動き速度ベクトル・デ
ータを得る。

【００１２】上記軟質変形的動きについては、上記の並
進運動、尺度変化、画面内鉛直軸回転に対応する動き成
分を取り除いた上で、更に必要ならば上記画面内軸回転
に対応する動き成分を取り除いた上で、対応する個別対
象における個別対象内での変形について処理する。

【００１３】当該軟質変形的動きについては、従来の場
合と同様に、時間的に前後の画像について、個別対象の
例えばエッジ上の点の相関関係を調べて速度ベクトルを
抽出することになる。

【００１４】上述の如き抽出されたパラメータ２３０
は、例えば記憶装置に格納され、必要に応じて読み出さ
れて描画のために利用される。当該描画に当っては、剛
体的な動きに対応した部分の描画と、軟質変形的な動き
に対応した部分の描画とに分けられ、図１に示す剛体的
動き速度ベクトル描画部３と、軟質変形的動き速度ベク
トル描画部４とで夫々実行される。

【００１５】

【実施例】先ず剛体的動きに対応するパラメータの抽出
について述べる。図２は並進運動に対応するパラメータ
の抽出態様を説明する図である。図２の場合、図中の符
号５−１で示す個別対象が速度Ｖ_p ’による平行移動に
よって符号６−１で示す個別対象の位置にまで移動した
ものとして示されている。個別対象５−１上の任意の点
Ｐ_i に時間ｔにおける座標について、

【００１６】

【数１】

【００１７】とし、時刻ｔ＋τにおける座標について、

【００１８】

【数２】

【００１９】とし、並進運動動き速度ベクトルについ
て、

【００２０】

【数３】

【００２１】とすると、個別対象５−１が個別対象６−
１の位置まで時間τを要して移動したことから、

【００２２】

【数４】

【００２３】で表される。したがって上記並進運動動き
速度ベクトルＶ_p ’が与えられれば、個別対象５−１か
ら個別対象６−１への位置移動を規定することができ、
また当該位置移動を描画することができる。

【００２４】図３は尺度変化に対応するパラメータの抽
出態様を説明する図である。図３の場合、図中の符号５
−２で示す個別対象が尺度変化中心Ｃ_s から１／２倍に
尺度変化を生じて符号６−２で示す個別対象となった場
合を示している。しかし、一般には尺度変化中心Ｃ_s が
どの点であるかについては予め判明していないものであ
る。このために図３の上方に示す如く、個別対象５−２
が仮想的な尺度変化中心（以下、擬中心という）Ｃ_s ’
から１／２倍に尺度変化を生じたものと考え、その上で
尺度変化中心Ｃ_s と尺度変化擬中心Ｃ_s ’とが一致して
いないことによって生じる影響を補正するようにする。
図示の符号６−２’は個別対象５−２が擬中心Ｃ_s ’か
ら尺度変化を生じた結果の個別対象を表している。

【００２５】尺度変化速度をスカラー量ｓとし、個別対
象５−２上の点Ｐ_i が時刻ｔから時刻ｔ＋τに至る間
に、擬中心Ｃ_s ’から個別対象６−２’上の点にまで尺
度変化によって位置移動したとすると、

【００２６】

【数５】

【００２７】一方、尺度変化中心が点Ｃ_s であったのに
尺度変化擬中心Ｃ_s ’として個別対象６−２’が得られ
ているのであるから、図３に示すようにＰ_i ’（ｔ＋
τ）をＰ_i （ｔ＋τ）に平行移動させる必要がある。当
該平行移動のための速度ベクトルをＶ_p ”とすると、 Ｖ_p ”＝Ｄ_s （ｔ＋τ）−Ｄ_s （ｔ）＝ｓ・τ・Ｄ
_s （ｔ） で与えられる。したがって、個別対象５−２上の点Ｐ_i
が時刻ｔから時刻ｔ＋τに至る間に、尺度変化中心Ｃ_s
から個別対象６−２上の点にまで尺度変化によって位置
移動した場合 Ｐ_i （ｔ＋τ）＝Ｐ_i ’（ｔ＋τ）＋Ｖ_p ” ＝（１＋ｓ・τ）Ｐ_i （ｔ）＋ｓ・τ・Ｄ_s （ｔ） となる。

【００２８】尺度変化の際に発生した速度ベクトル
Ｖ_p ”は並進運動の場合の速度ベクトルＶ_p ’と対応す
るものであることから並進運動動き速度ベクトルＶ_p に
まとめた実効速度ベクトルＶで表すことも可能であり、
尺度変化に当って必要なパラメータは尺度変化速度ｓで
あるが、ｓと（Ｃｓ，Ｃｓ’）で表現しておくのも判り
易い。これらを抽出して保持する。

【００２９】図４は画面内鉛直軸回転に対応するパラメ
ータの抽出態様を説明する図である。図４の場合、図中
の符号５−３で示す個別対象が回転中心Ｃ_r から反時計
方向に９０°回転して符号６−３で示す個別対象となっ
た場合を示している。しかし、一般には回転中心Ｃ_r が
どの点であるかについては予め判明していないものであ
る。このために図４の上方に示す如く、個別対象５−２
が仮想的な回転中心（以下、擬中心という）Ｃ_r ’から
９０°回転したものと考え、その上で回転中心Ｃ_r と回
転擬中心Ｃ_r ’とが一致していないことによって生じる
影響を補正するようにする。図中の符号６−３’は個別
対象５−３が擬中心Ｃ_r ’から回転を生じた結果の個別
対象を表している。

【００３０】画面内鉛直軸回転の角速度をスカラー量ω
とし、個別対象５−３上の点Ｐ_i が時刻ｔから時刻ｔ＋
τに至る間に、擬中心Ｃ_r ’から個別対象６−３’上の
点にまで回転したとする。時間τ内の回転Ω・τは

【００３１】

【数６】

【００３２】点Ｐ_i （ｔ）から点Ｐ_i ’（ｔ＋τ）にま
で回転したものである。 Ｐ_i ’（ｔ＋τ）＝（Ｅ＋Ω・τ）・Ｐ_i （ｔ） であり、回転中心が点Ｃ_r であったのに回転擬抽出
Ｃ_r ’として個別対象６−３’が得られているのである
から、図４に示すようにＰ_i ’（ｔ＋τ）をＰ_i （ｔ＋
τ）に平行移動させる必要がある。当該平行移動のため
の速度ベクトルをＶ_p''' とすると、 Ｖ_p ''' ＝Ｄ_r （ｔ＋τ）−Ｄ_r （ｔ）＝Ω・τ・Ｄ_r
（ｔ） で与えられる。したがって、個別対象５−３上の点Ｐ_i
が時刻ｔから時刻ｔ＋τに至る間に、回転中心Ｃ_r とし
て個別対象６−３上の点にまで回転して位置移動した場
合、 Ｐ_i （ｔ＋τ）＝Ｐ_i ’（ｔ＋τ）＋Ｖ_p ''' ＝（Ｅ＋Ω・τ）Ｐ_i （ｔ）＋Ω・τ・Ｄ_r （ｔ） となる。

【００３３】なお上記ＥやΩはマトリクス表現では

【００３４】

【数７】

【００３５】で表される。回転時に生じた速度ベクトル
Ｖ_p ''' は並進運動の場合の速度ベクトルＶ_p ’と対応
するものであることから、並進運動動き速度ベクトルＶ
_p にまとめた実効速度ベクトルＶで表すことが可能であ
り、画面内鉛直軸回転に当って必要なパラメータは角速
度ωであり、これを抽出して保持する。

【００３６】上記並進運動と尺度変化と画面内鉛直軸回
転とを総合すると、 Ｐ_i （ｔ＋τ）＝（Ｅ（１＋ｓ・τ）＋Ω・τ）Ｐ
_i （ｔ）＋Ｖ_p ’・τ＋ｓ・τ・Ｄ_s （ｔ）＋Ω・τ・
Ｄ_r （ｔ） となり、第３項と第４項とは、尺度変化中心Ｃ_s と尺度
変化擬中心Ｃ_s ’との距離や、回転中心Ｃ_r と回転擬中
心Ｃ_r ’との距離が定まれば、パラメータｓやΩを乗じ
て、並進運動動き速度ベクトルＶ_p にまとめることがで
きる。

【００３７】Ｐ_i （ｔ＋τ）は、 Ｐ_i （ｔ＋τ）＝Ｐ_i （ｔ）＋Ｖ_p ’・τ＋ｓ・τ（Ｐ
_i （ｔ）＋Ｄ_s （ｔ））＋Ω・τ（Ｐ_i （ｔ）＋Ｄ
_r （ｔ）） で表すことができ、Ｐ_i （ｔ）＋Ｄ_s （ｔ）は尺度変化
中心Ｃ_s から点Ｐ_i （ｔ）までの距離ベクトルであり、
Ｐ_i （ｔ）＋Ｄ_r （ｔ）は回転中心Ｃ_r から点Ｐ
_i （ｔ）までの距離ベクトルである。

【００３８】したがって、尺度中心Ｃ_s から点Ｐ
_i （ｔ）までの距離ベクトルをγ_s とし、回転中心Ｃ_r
から点Ｐ_i （ｔ）までの距離ベクトルを、γ_r とする
と、上記図２ないし図４に対応した変化が生じている際
の点Ｐ_i の実効速度ベクトルＶは、時間差τが小さいも
のとして、

【００３９】

【数８】

【００４０】時刻ｔから時刻ｔ＋τに至る間に点Ｐ
_i （ｔ）が点Ｐ_i （ｔ＋τ）に移動した距離ベクトルＶ
が夫々の点ごとに測定されれば問題はないが、点間の対
応が判らなくても、上述の位置移動に当っては剛体的な
変化であり、軟質変形的な動きがないものとすると、次
のようにして計算可能である。

【００４１】図５は時刻ｔにおける個別対象のエッジ線
が時刻ｔ＋τにおける個別対象のエッジ線に変化した状
態に関連した説明図である。図５において符号Ｐ
_i （ｔ），Ｐ_i （ｔ＋τ）は図３などに対応し、７は時
刻ｔにおける個別対象のエッジ線、８は時刻ｔ＋τにお
ける個別対象のエッジ線、９はエッジ線７の点Ｐ
_i （ｔ）を通る接線、１０は点Ｐ_i （ｔ＋τ）を通る接
線９に平行な線、１１はエッジ線７の点Ｐ_i （ｔ）を通
る力線（法線）、ｇは力線方向単位ベクトル、ｈは接線
方向単位ベクトル、Ｖは上記第（１）式にて与えられる
実効速度ベクトルである。ｖは、力線方向単位ベクトル
ｇ方向でのエッジ線７とエッジ線８との距離であって、
図示の場合、点Ｐ_i （ｔ）が単位時間内にエッジ線８上
の点ａに移動したとした場合の速度ベクトルに対応して
いる。なお当該ｖは動画像上から測定可能である。また
θはエッジ線７とエッジ線８との交差する角度である。

【００４２】言うまでもなく、点Ｐ_i （ｔ）がエッジ線
８上の点Ｐ_i （ｔ＋τ）に移動したことは予め判明して
いるものではない。しかし、エッジ線７の力線方向にお
いて点Ｐ_i （ｔ）がエッジ線８上で点ａに達しているこ
とは、これを知ることができる。

【００４３】図５において点ａｂ間の値は、実効速度ベ
クトルＶの接線方向の成分（Ｖ・ｈ）にtan θを乗じた
ものであり、実効速度ベクトルＶの力線方向の成分（Ｖ
・ｇ）が点Ｐ_i （ｔ）と点ｂとの間の値に相当すること
から、 ｖ＝（Ｖ・ｇ）＋（Ｖ・ｈ）ｔａｎθ ─────（２） で与えられる。

【００４４】上記第（１）式と第（２）式とにおいて、
未知数はＶ_px’，Ｖ_py’，ｓ，ω，γ_sx，γ_sy，γ_rx，
γ_ryの８個であるため、（Ｖ_px’，Ｖ_py’，ｓ，ω，Ｃ
_sx，Ｃ_sy，Ｃ_rx，Ｃ_ryの８個と考えてもよい）、例えば
エッジ線７上の４個の点についてｖ₁ ないしｖ₄ を測定
し、ｘ方向とｙ方向とに分けて上記第（１）式と第
（２）式とに代入することによって、上記各未知数を決
定することができる。

【００４５】図６は４個の点についてｖ₁ ないしｖ₄ を
得る態様を示す。図中の符号７，８は図５に対応してい
る。上述の如く、時刻ｔから時刻ｔ＋τに至る間に点Ｐ
_i （ｔ）が点Ｐ_i （ｔ＋τ）に移動した距離ベクトルＶ
を測定するが、点Ｐ_i （ｔ）と点Ｐ_i （ｔ＋τ）とを対
応づけることが必ずしも簡単ではない。

【００４６】このためには、処理対象である個別対象毎
に輪郭線（エッジ線）を抽出し、当該エッジ線上の屈曲
点や交点などの特徴ある点を上記Ｐ₁ ，Ｐ₂ ，Ｐ₃ ，Ｐ
₄ に選ぶことが望ましい。上記エッジ線は，個別対象の
外形を表すエッジ線のみではなく、個別対象上の点の輝
度や色度や光を照射した際の反射光などを利用して個別
対象の外形の内側に構造拡張形輪郭線を得て，上記外形
を表すエッジ線と同等に扱うようにすることによって、
より多くの上記特徴ある点を利用することが可能とな
る。

【００４７】上記点Ｐ₁ ，Ｐ₂ ，Ｐ₃ ，Ｐ₄ を選択する
ことによって、一般には上記第（１）式に関連する８個
の未知数を連立方程式によって求めることができる。し
かし、当該連立方程式は互いに独立したものであること
が必要であって、上記点Ｐ₁，Ｐ₂ ，Ｐ₃ ，Ｐ₄ の選定
状況によっては方程式の独立性を与える階数（Rank)値
「８」未満になっていることがある。図７ないし図１３
に示す態様は、上記階数が値「８」未満となる典型的な
例を示している。

【００４８】図７は、エッジ線Ｌ₁ が単に並行移動して
エッジ線Ｌ₂ になった場合である。図示の如く点Ｐ₁ ，
Ｐ₂ ，Ｐ₃ ，Ｐ₄ を選んで連立方程式を立てたとして
も、階数は値「２」であって、上述のＶ_px’とωとが決
定され得る（ω＝０）だけである。

【００４９】図８は、エッジ線Ｌ₁ が移動と回転とを生
じてエッジ線Ｌ₂ になった場合である。図示の如く点Ｐ
₁ ，Ｐ₂ ，Ｐ₃ ，Ｐ₄ を選んで連立方程式を立てたとし
ても、階数は値「２」であって、上記Ｖ_p ・Ｃ_r ・Ｃ_s
間の関係とωとが決定され得る（ω≠０）だけである。

【００５０】図９は、エッジ線Ｌ₁ が並行移動してエッ
ジ線Ｌ₂ になっている場合であるが、図６に示した如く
点Ｐ_i から法線方向に眺めて、第（２）式に示すｖの値
を求めようとしても、点Ｐ₁ や点Ｐ₂ についてはエッジ
線Ｌ₂ 上で対応点が見付からない。この場合には、点Ｐ
₃ ，Ｐ₄ についてのみ式を立て得るだけであるので、階
数は値「２」である。

【００５１】図１０は、エッジ線Ｌ₁ が並行移動してエ
ッジ線Ｌ₂ になっている場合であるが、点Ｐ₁ と点Ｐ₂
との間に屈曲点が存在していて、階数は値「４」となっ
ている。この場合には、上述のＶ_px’とγ_sxとγ_syとω
とが決定され得る（ω＝０）だけである。

【００５２】図１１の場合には、階数は値「６」であ
り、Ｖ_px’とＶ_py’とｓとＣ_sxとＣ_syとωとが決定され
得る（ω＝０）だけである。図１２の場合には、エッジ
線Ｌ₁ とエッジ線Ｌ₂ とが同心円で表されるものであっ
て、エッジ線Ｌ₁ に対応する円に対してエッジ線Ｌ₂ に
対応する円が回転を生じている。この場合、階数は値
「７」であって、上記ω以外の未知数は決定され得る。

【００５３】図１３の場合にも、図１０の場合と同様に
屈曲点を挟んで注目点が選ばれた場合である。この場合
には階数は値「４」であって，上述のＶ_px’Ｖ_py’，γ
_sx，γ_syが決定されるだけである。

【００５４】上述の如く、階数が値「８」未満となる場
合には、上述の８個の未知数のすべてを決定することが
できないものであるが、更に図１４に示す場合には第
（２）式で示される関係自体が成立しないものとなって
しまう。

【００５５】図１４は、エッジ線Ｌ₁ が回転するなどし
てエッジ線Ｌ₂ になった場合であるが、注目点Ｐ
_i （ｔ）の選定位置が好ましくなくて図５に示した関係
が成立しない場合である。即ち、図５に関連して説明し
た如く、注目点Ｐ_i （ｔ）から法線方向に線を延ばして
エッジ線Ｌ₂ 上で点ａに達したことから、第（２）式に
示すｖを測定しているが、点ａと点Ｐ_i （ｔ＋τ）との
間に屈曲点が存在していて、第（２）式を得るに至って
前提が成立しなくなっている。したがって、図１４に示
す如き場合には、第（２）式自体が成立していないもの
であって、連立方程式の解を得たとしても、全く非所望
なものとなってしまっているものである。

【００５６】上述の点Ｐ₁ ，Ｐ₂ ，Ｐ₃ ，Ｐ₄ の選定に
は、図７ないし図１４に関連して説明した如く、注意を
はらうことが必要であり、点Ｐ₁ ，Ｐ₂ ，Ｐ₃ ，Ｐ₄ の
選定に当っては場合によって選定し直しを行う必要が生
じる。

【００５７】図１５は本発明の場合のパラメータ決定に
関する一実施例処理手順を示している。 （ＳＰ１）・・・処理対象画像（個別対象）を記録す
る。 （ＳＰ２）・・・時刻ｔ，時刻ｔ＋τなどで個別対象を
サンプリングする。 （ＳＰ３）・・・個別対象について、エッジ線（構造拡
張形輪郭線を含む）を抽出する。 （ＳＰ４）・・・エッジ線上で交点や屈曲点などの特徴
点を抽出する。 （ＳＰ５）・・・エッジ線上で特徴点が存在しているか
否かを調べる。 （ＳＰ６）・・・存在していれば、時刻ｔでのエッジ線
上の特徴点と時刻ｔ＋τでのエッジ線上の特徴点とを対
応づける。 （ＳＰ７）・・・エッジ線上で特徴点（４個分）が存在
していなかった場合には適宜に点Ｐ₁ ないしＰ₄ を選択
する。 （ＳＰ８）・・・選択された点Ｐ₁ ないしＰ₄ につい
て、時刻ｔでのそれらと、時刻ｔ＋τでのそれらとを対
応づける。 （ＳＰ９）・・・時刻ｔでの注目点（選択点）Ｐ₁ ない
しＰ₄ と時刻ｔ＋τでの注目点（選択点）との対応関係
を表にまとめる。 （ＳＰ１０）・・・個別対象について動きパラメータを
得る。 （ＳＰ１１）・・・或る時刻Ｔにおける個別対象全体を
調べて任意の点あるいは点群において、動きパラメータ
が全体からみて異常である所があるか否かを調べる。 （ＳＰ１２）・・・異常な所があれば切出す。 （ＳＰ１３）・・・切出された部分について、注目点Ｐ
₁ ないしＰ₄ を変更する。変更した上で，ステップＳＰ
４に戻る。 （ＳＰ１４）・・・異常な所がなければ、動きパラメー
タを確定する。 （ＳＰ１５）・・・点の対応関係を確定して表にまとめ
る。 （ＳＰ１６）・・・以後の識別や描画などの処理に利用
する。

【００５８】上記説明においては、図５や図６に示すエ
ッジ線が既知であるものとして説明したが、一般には既
知ではない。しかし当該エッジ線（構造拡張形輪郭線を
含む）を抽出するに当っては、上述した （ａ）特開昭６３−２９９５９４号（カラー画像伝送処
理方式） （ｂ）特開平１−２１３７６１号（カラー画像のエッジ
検出方式及び伝送処理方式） （ｃ）特開平２−２０８７８１号（カラー描画ワークス
テーション） （ｄ）特開平３−２６７８７９号（スカラー・データ処
理方式） （ｅ）特開平４−２８７１８０号（カラー画像のエッジ
検出方式） に開示される技術を利用することができる。

【００５９】即ち、画像の輝度成分と色度成分とを考慮
し、輝度成分の変化点に対応してエッジ線を考慮すると
共に、色度成分についてのダイバージェンス演算とロー
テーション演算とを行って夫々の演算値の大きい値とな
る位置が上記エッジ線と対応するものとして、エッジ線
の抽出を確実にし、また上記夫々の演算値の大きい値と
なる位置が画像における色の変化点となることや、上記
輝度の変化点が画像上での影曲面部などに対応すること
を考慮して、画像内の個別対象の領域内での構造拡張形
輪郭線を抽出するようにされるが、この場合のエッジ線
（輪郭線）や構造拡張形輪郭線をもって、図５や図６に
示すエッジ線とみなして処理を行うようにする。

【００６０】上記色度成分を利用するに当っての原理は
次の如きものである。即ち、カラー画像を輝度成分と色
度成分とに分離した所の色度成分は、一般の場合にＩ，
Ｑで与えられている如く、ベクトル信号で与えられる。
即ち、テレビジョン伝送に当ってのＮＴＳＣ方式の場合
には当該ベクトルＷは、

【００６１】

【数９】

【００６２】によって表現されていたものである。この
ように色度成分がベクトルＷで表現される点に着目し
て、当該ベクトルＷを

【００６３】

【数１０】

【００６４】として、ヘルムホルツの定理を適用する
と、 Ｗ＝ grad φ＋ rot（Ａ・ｋ） であり、

【００６５】

【数１１】

【００６６】で表される。 但し、φ：明るさなどのスカラ・ポテンシャル、 Ａ・ｋ：紙面に直角な方向（ｚ軸）の単位ベクトルｋに
て方向を示されるベクトル・ポテンシャル、 φ_x ＝∂φ／∂ｘ φ_y ＝∂φ／∂ｙ Ａ_x ＝∂Ａ／∂ｘ Ａ_y ＝∂Ａ／∂ｙ ここで上記ベクトルＷに対してdiv Ｗを演算すると、 div Ｗ＝div ・gradφ＋div ・rot （Ａ・ｋ） ＝div ・gradφ であり、 ξ_x ＋η_y ＝φ_xx＋φ_yy ──────（３） が得られる。また上記ベクトルＷに対してrot Ｗを演算
すると、 rot Ｗ＝rot ・rot （Ａ・ｋ） であり、 ξ_y −η_x ＝Ａ_xx＋Ａ_yy ──────（４） が得られる。

【００６７】但し ξ_x ＝∂ξ／∂ｘ ξ_y ＝∂ξ／∂ｙ η_x ＝∂η／∂ｘ η_y ＝∂η／∂ｙ φ_xx＝∂² φ／∂ｘ² φ_yy＝∂² φ／∂ｙ² Ａ_xx＝∂² Ａ／∂ｘ² Ａ_yy＝∂² Ａ／∂ｙ² 上記第（３）式および第（４）式において、夫々の左辺
は測定可能であり、当該第（３）式および第（４）式を
解くことによって、φおよびＡを解くことができる。

【００６８】なおφは層流分（ラメラ成分）でポテンシ
ャルであり、背景上に置いた異なる色の円板に対応し
て、直線状の線分で表現できるものである。またＡは渦
流分（ボーテックス成分）を表すポテンシャルであっ
て、上記と同様の背景上に置いた円板に対応して、曲線
状の線分で表現できるものである。

【００６９】したがって、上記ラメラ成分とボーテック
ス成分とを伝送すると共に、輝度成分を伝送することに
よって、受信部において原カラー画像を再生することが
できる。米国ソサイエティ・オブ・モーション・ピクチ
ャー・アンド・テレビジョン・エンジニアズ（ＳＭＰＴ
Ｅ）において定めている標準画像ＧＩＲＬ（ＧＩＲＬの
カラー画像）について、シミュレーション実験を行って
みると、上記φにくらべて上記Ａのエネルギーは２．２
５％に過ぎず、当該Ａに対応するボーテックス成分を省
略して伝送するかあるいは極く僅かな情報量をもって伝
送するだけで、原カラー画像の品質を大きく低下させる
ことなく再生し得ることが判る。

【００７０】上述した構造拡張形輪郭線は、色度成分を
考慮して、色の変化点などを用いて仮想的に得られた当
該色の境界線などの線分である。上記各着目点に対応し
て、時刻ｔにおける当該着目点に関する情報として、 （ｘ座標値）（ｙ座標値）（輝度値）（色度ベクトル
値） の如き情報を与え、時刻ｔ＋τにおける当該着目点に関
する情報として、同様に （ｘ’座標値）（ｙ’座標値）（輝度値）（色度ベクト
ル値） が与えられる。ここにおける輝度値と色度ベクトル値と
は、時刻ｔにおける情報をコピーするだけで足りる（輝
度や色度が変化しないものと考えている場合には）。

【００７１】上記の如きデータ構造をもつ複数の着目点
について、例えば色度ベクトル値が変化する位置に対応
する着目点を連ねることによって、上述の輪郭線や構造
拡張形輪郭線が得られる。上述の如く、図５や図６に示
したエッジ線７や８は、当該輪郭線や構造拡張形輪郭線
である。

【００７２】当該輪郭線や構造拡張形輪郭線を利用する
と、１つの個別対象の領域内にも複数の構造拡張形輪郭
線が得られることがあり、結果として上記着目点を当該
構造拡張形輪郭線の上に多数個設定し、各着目点ごとに
上述の並進運動動き速度ベクトルＶ_p ’を得ることがで
きる。勿論、個別対象の形体が判明していれば、この点
を利用して、個別対象の領域内の各座標ごとに、上記並
進運動動き速度ベクトルＶ_p ’を与えることが可能とな
る。

【００７３】このように、個別対象の領域内の多数の座
標点に対応して上記並進運動動き速度ベクトルＶ_p ’を
得ることが可能である場合には、次の如き、更に発展し
た処理を得ることができる。

【００７４】即ち、画像処理の技術においては、従来一
般には個別対象は２次元形状をもつものとしている。し
かし、より好ましくは、３次元形状をもつ個別対象を取
り扱うことが望まれている。このためには、上述の画面
内鉛直軸回転と共に、画面内軸（ＸＹ平面上に存在する
軸）を中心に回転する画面内軸回転を考慮する必要があ
る。

【００７５】図１６は画面上に描かれている像の回転運
動を説明する図である。画面上で３次元形体の個別対象
が任意の軸を中心として回転する場合には、図中の個別
対象１２の如く回転することになる。しかし、当該回転
は、図示の個別対象１３に示す画面内鉛直軸回転と図示
の個別対象１４に示す画面内軸回転との和で与えられ
る。以下、画面内軸回転についてのパラメータ抽出につ
いて述べる。

【００７６】上述の如くして個別対象内の主要な座標点
ごとに上記速度ベクトルＶ_p ’が得られているものとす
る。なお上記構造拡張形輪郭線などを利用して多数の着
目点についての上記速度ベクトルＶ_p ’が得られている
場合には、他の座標点における当該速度ベクトルＶ_p ’
は補間によって求めるようにすればよい。勿論、平滑化
が必要な場合には夫々得られた値について滑らかな変化
を生じるように補正すればよい。

【００７７】処理は次の如く行われる。 （Ａ）上記速度ベクトルＶ_p ’について各座標点ごとに
求める。 （Ｂ）個別対象について、個々の時点ごとに外形輪郭線
を求め、当該外形輪郭線上の座標点での上記速度ベクト
ルＶ_p ’の平均値を求めておく。

【００７８】（Ｃ）上記速度ベクトルＶ_p ’について、
各座標点ごとに、div Ｖ_p ’とrotＶ_p ’とを演算す
る。 （Ｄ）今、図１７に示す如く画面内軸回転によって生じ
る動きベクトルの方向をξとし、回転軸方向をηとする
と、当該ξ方向の動き速度ベクトルはｖ（ξ）で与えら
れる。ここで、 rot Ｖ_p ’＝∂ｖ（ξ）／∂η で与えられ、rot Ｖ_p ’が零となる個所の近傍では、画
面内軸回転により生じる動きベクトルはξ方向に向き、
その値のみが変化する（ちなみに、上述の並進運動によ
って生じた動きベクトルは方向が一定であり、かつ個別
対象内では値も一定値をとっている）。

【００７９】上記の如くrot Ｖ_p ’の値が零となる点に
ついての速度ベクトルＶ_p ’が得られた状態で、次の処
理が継続される。 （Ｅ）当該得られた速度ベクトルＶ_p ’から、上記並進
運動によって生じているとみなされる「Ｖ_p ’の平均
値」を差し引き、当該差し引いた結果を用いて、回転軸
からの個別対象表面までのＺ軸方向の位置を逐次的に求
める。

【００８０】（Ｆ）上記div Ｖ_p ’は、 div Ｖ_p ’＝∂ｖ（ξ）／∂ξ で与えられ、div Ｖ_p ’の値が零となる点は、個別対象
の断面が凸形状である場合、図１８に示す点Ｒに該当す
る所である。なお図１８において、符号１５は個別対象
をＺ軸に直角な平面で切断した外形形状を表し、ｑは回
転中心軸点、Ｚ_{ma x} は点ｑと点Ｒとの距離を表してい
る。またｖ（ξ_max ）は点Ｒでの速度ベクトルである。
したがって、上述の如くＺ_max が求められていれば ｖ（ξ_max ）＝ω_q ・Ｚ_max で与えられることから、回転角速度ω_q が求まる。実際
には、上記処理（Ｅ）（Ｆ）を繰り返し実行して精度を
高めるようにされる。

【００８１】このようにして、パラメータω_q やＺ_max
が求められる。即ち画面内軸回転に対応する剛体的動き
速度ベクトルが得られる。上記軟質変形的動き速度ベク
トル抽出部２による処理はこの結果を得た上で実行され
ることになる。

【００８２】なお図１８に示す如く、個別対象の表面上
の点Ｓにおける速度ベクトルｖ（ξ）が得られていると
し、上記回転角速度ω_q が知られたとして、図１８にお
ける点ｑと点Ｓとの距離をζとすると、 ｖ（ξ）＝ω_q ・ζ sinθ＝Ｚ・ω_q で与えられることから、観測している画面情報から可視
点Ｓに対応する距離Ｚが求まる。このことから、個別対
象における外形形状１５上の各可視点の上記Ｚに相当す
る値が求まることとなり、当該個別対象の立体形状が決
定され得るものとなる。また上記のdiv Ｖ_p ’が零とな
る線やrot Ｖ_p ’が零となる線を描くことによって、当
該個別対象の立体形状をより具体化することができる。
なお div Ｖ_p ’＝０ でかつ rot Ｖ_p ’＝０ となる点は、個別対象の、Ｚ軸上方向でみた最も手前に
位置するピーク点に対応している。

【００８３】画面内軸回転を考慮すると、時間の経過と
共に、それまで前面（画面上）に見えていた個別対象の
部分が後面にかくれ、後面にあって見えなかった個別対
象の部分が前面に出て見えてくるようになる。

【００８４】このように時間の経過と共に現れる各時間
的サンプリング点での個別対象の形状について、表面像
と裏面像とをもつ１つのデータ画面として保持し、動画
像処理に利用するようにされる。

【００８５】上述のように div Ｖ_p ’＝０ や rot Ｖ_p ’＝０ となる個所を結んだ線分、あるいは div Ｖ_p ’＝０ でかつ rot Ｖ_p ’＝０ となる点を抽出し、画面内軸回転が生じている場合の動
きベクトルを考察することができる。上記以外にも例え
ば画面内軸回転が生じている個別対象に対して一方向か
ら光を照射した際の反射光の変化状況や、反射光が極大
となる点をつらねたハイライト線の存在によって，画面
内軸回転が生じている場合の動きベクトルを考察するこ
とができる。

【００８６】図１９および図２０は夫々ハイライト線が
生じる状況を説明する図である。図中の符号は図１８に
対応している。図１９の場合には視線の方向と照明光源
の方向（光の照る方向）とが同じ方向である場合を表し
ている。

【００８７】図１９から判る如く点Ｓでの視線の方向の
距離Ｚは Ｚ＝ｒ cosθ であるので、Ｓ点での表面のｘ方向に対する傾きは ｄｚ／ｄθ＝（ｄｒ／ｄθ）cos θ−ｒsin θ で与えられる。点Ｓでの反射光が他にくらべて極大であ
るためには点Ｓでの接平面がＺ方向と垂直であることが
必要であり、 ｄｚ／ｄθ＝０ から ｄｚ／ｄθ＝（ｄｒ／ｄθ）cos θ−ｒsin θ＝０ ∴ ｄｒ／ｄθ＝ｒ tanθ ──────（５） を満足する点の列で反射光が極大となり、その点の列が
ハイライト線となって見える。

【００８８】図２０の場合には視線の方向と照明光源の
方向（Ｚ’の方向）とが角度Ωだけずれている場合を表
している。Ｚ’方向の値はＺ軸方向の値とｘ軸方向の値
とのベクトル和で与えられることから、 Ｚ’＝Ｚ cos（Ω／２）＋ｘ sin（Ω／２） であり、ハイライト線は ｄｒ／ｄθ＝ｒ tan（θ−（Ω／２）） ─────（６） を満足する点の列で与えられる。

【００８９】個別対象が例えば図２１で示される如き直
方体であって、当該直方体が画面内軸回転を生じている
とすると、当該直方体からの反射光（輝度）は図２２
（ａ）に示す如く回転角度θの変化に伴って段階状ある
いは折線状に変化することになろう。

【００９０】これに対して、図１９や図２０に符号１５
で示す断面形状をもって表した如き個別対象が画面内軸
回転を生じている場合には、図２２（ｂ）に示す如く、
回転角度θの変化に応じてゆるやかな曲線状に変化する
ことになろう。

【００９１】上記第（５）式や第（６）式で与えられる
ハイライト線は、上記水平方向ハイライト線と同様に、
垂直方向ハイライト線を考慮することができる。個別対
象の動きによって、例えば水平方向ハイライト線がどの
ように動くかは、次の如きものとなる。 （ａ）並進運動の場合には、ハイライト線が並進運動す
る。 （ｂ）尺度運動の場合には、ハイライト線を例えば区切
った長さが拡大または縮小される。 （ｃ）画面内鉛直軸回転の場合、個別対象の水平断面の
形状や垂直断面の形状の角度に対する変化に伴って、ハ
イライト線が動くことになる。但し、水平方向ハイライ
ト線と垂直方向ハイライト線との交点は動かない。図２
３は楕円回転体が画面内鉛直軸回転を生じた場合のハイ
ライト線の挙動を示している。図において個別対象内の
等輝度の線を等高線の形で示しており、図の左側は左目
でみた場合のハイライト線を示し、図の右側は右目でみ
た場合のハイライト線を示している。楕円回転体の形状
をもつ個別対象が画面内鉛直軸回転を生じているとき、
等高線は図示下方に示す如く当該回転に伴って同じ回転
をするが、ハイライト線は当該回転に伴って図示下方に
示す如く変化する。但し、交点位置は不変である。

【００９２】以上の如きハイライト線の動きを調べてお
いて、個別対象の形状（３次元形状）を把握することが
可能となる。またハイライト線の交点は不変であること
から、上述の注目点Ｐ_i の１つとして利用することがで
きる。特に並進運動の場合には、時刻ｔでのハイライト
線の交点と時刻ｔ＋τでのハイライト線の交点とを対応
づけることによって、並進運動時の速度ベクトルを得る
ことができる。

【００９３】なお言うまでもなく画面内軸回転の場合に
おいて、個別対象の表面上の点（定められた１つの点）
での上記Ｖ（ξ）は，当該回転に伴って当該点がＺ軸方
向（奥行き方向）に動くにつれて正弦波状に変化するか
ら、この点を用いて、個別対象の立体形状を識別するこ
とができる。例えば、図２１に示す如き場合には、図示
頂点ｄ₁ ないしｄ₇ の夫々における上記Ｖ（ξ）の変化
を利用することができる。

【００９４】上記動き速度ベクトル描画部２２０におけ
る処理は、上述した動き速度ベクトル抽出部２１０にお
いて得られたパラメータを利用して処理すれば足りる。
剛体的動き速度ベクトル描画部３においては、次の如き
処理が行われると考えてよい。即ち、個別対象に対応し
て与えられる着目点を設定し、上述の輪郭線や構造拡張
形輪郭線を生成する。次いで各着目点に対応して、上記
情報 （ｘ座標値）（ｙ座標値）（輝度値）（色度ベクトル
値）（ハイライト線） にもとづいて当該着目点における輝度値や色度値を与
え、上記輪郭線や構造拡張形輪郭線での輝度や色度値を
補間によって与え、更に「輪郭線や構造拡張形輪郭線」
相互の間の領域における座標点において輝度や色度値を
補間によって与える。

【００９５】このようにして、個別対象を剛体とみた場
合のある時刻ｔの静止画像が得られたら、上述の各剛体
的動きに対応するパラメータを主要座標点に対して働か
せて、同じく剛体とみた場合の時刻ｔ＋τにおける静止
画像の生成処理に入ってゆく。この処理においても、上
述の輪郭線や構造拡張形輪郭線を生成する処理から始め
られる。

【００９６】軟質変形的動き速度ベクトル描画部４にお
いては、時刻ｔの画像上の点をスタート点として、時刻
ｔ＋τにおける画像上で、対応する点を設定する。即ち
当該スタート点からの時刻ｔ＋τに至る速度ベクトルが
与えられていることから、当該速度ベクトルで決定され
る点をもって、時刻ｔ＋τにおける画像上の点とする。

【００９７】図２４は描画処理に関する説明図を示す。
図示左半分は静止画像を描く場合の処理に対応し、図示
右半分は動画像を描くに当って、左半分の静止画像描画
処理を捕捉する処理に対応している。そして、図右下部
に示すサブ・ウインド（ＳＵＢ ＷＩＮＤＯＷＳ）は各
個別対象について剛体的動きを描く場合に用いられるサ
ブ画面に相当している。当該サブ・ウインドウ内で時刻
ｔ＋τでの個別対象の画像を生成して、時刻ｔでの画像
に転写するようにする。

【００９８】図中の記号について述べる。 （ａ）ＮＯＮＥ 構造ネットワークにおける初期状態を示す。

【００９９】（ｂ）ＣＯＭＰＯＮＥＮＴ 要素ネットワークにおいて描出された、またはデータベ
ース上に存在する参照すべき要素画像が要素キャンバス
上に表示された状態を示す。関数ＧＥＴにより要素画像
を表示する。

【０１００】 （ｃ）ＰＯＳＩＴＩＯＮＥＤ ＣＯＭＰＯＮＥＮＴＳ 要素キャンバスで表示された要素画像が、構造キャンバ
ス上に載せられた状態を示す。サブネットで定義された
関数ＳＥＴ（ＣＯＰＹ，ＳＣＡＬＥ，ＲＯＴＡＴＥ，Ｍ
ＯＶＥ）の操作によって、基本的な前後関係を持たせ、
構造キャンバス上に載せる。マトリックスの定義上ＣＯ
ＰＹ，ＳＣＡＬＥ，ＲＯＴＡＴＥは、並行的に行われ
る。

【０１０１】 （ｄ）ＲＥＦＬＥＣＴＥＤ ＣＯＭＰＯＮＥＮＴＳ 光の強弱、入射角、反射、屈折等の見地から、光が物体
表面に当たるときに起こる現象が表現された状態を示
す。サブネットで定義したＲＥＦＲＥＣＴ，ＲＥＦＲＡ
ＣＴによって表現し、これらの処理は並行的に行われ
る。

【０１０２】 （ｅ）ＳＨＡＤＥＤ ＣＯＭＰＯＮＥＮＴＳ 光と照明等の見地からユーザーによって指示された影多
角形を定義し、影生成された状態を示す。反射・屈折現
象に比べ環境依存が大きいため付影処理はその後に行わ
れ、関数ＳＨＡＤＥによって影生成をする。

【０１０３】 （ｆ）ＲＥＦＩＮＥＤ ＣＯＭＰＯＮＥＮＴＳ 構造ネットワーク上で処理された要素画像に対して、周
囲環境との矛盾といったハイライト線等の相互関係の矛
盾が修正された状態を示す。関数ＲＥＦＩＮＥによって
相互関係の修正をする。

【０１０４】 （ｇ）ＩＮＴＥＧＲＡＴＥＤ ＰＩＣＴＵＲＥ 一枚の画像が完成された状態を示す。合成実行時に定義
される前後関係も含め、関数ＩＮＴＥＧＲＡＴＥによっ
て合成する。

【０１０５】 （ｈ）ＰＯＳＩＴＩＯＮＥＤ ＣＯＭＰＯＮＥＮＴ 静止画像部から要素画像情報が送られてきた状態。ここ
では、各要素画像が選択して送られそれに対する移動、
拡大・縮小、回転がＩＮＳＴＡＮＴＩＡＴＥでそれぞれ
指定される。

【０１０６】 （ｉ）ＩＮＳＴＡＮＣＥＤ ＣＯＭＰＯＮＥＮＴ 各要素画像に対しＩＮＳＴＡＮＴＩＡＴＥで、移動、拡
大・縮小、回転が実行されることにより主要時点での状
態が決定される。

【０１０７】（ｊ）ＩＮＳＴＡＮＣＥＤ ＣＯＭＰＯＮ
ＥＮＴ ＩＮ ＴＩＭＥ ＳＥＧＭＥＮＴ ＩＮＳＴＡＮＣＥＤ ＣＯＭＰＯＮＥＮＴで定められた
主要時点のそれぞれの情報が、時間の流れにそってシー
ケンスとなる。決定した主要時点のシーケンスに対して
セグメント（相続く幾つかの主要時点間）単位で補間が
行われる。

【０１０８】（ｋ）ＩＮＳＴＡＮＣＥＤ ＣＯＭＰＯＮ
ＥＮＴ ＩＮ ＴＩＭＥ セグメント単位で補間が行われたものを合わせることに
よりすべての時点での要素画像の状態が定まる。

【０１０９】この構造ネットワークの動画像部と静止画
像部が、次のようにパラメータのやりとりを行うことに
よって、動画像生成が行われる。 （ｌ）ＳＥＬＥＣＴ 静止画像部から動画像部へ選択された要素画像データが
パラメータと共に送られる。静止画像部のＰＯＳＩＴＩ
ＯＮＥＤ ＣＯＭＰＯＮＥＮＴＳで合成されたものを再
び要素画像を分解し動画像部へ送ることにより、個々の
要素画像に注目して動きを見ていくことが出来る。

【０１１０】（ｍ）ＴＲＡＮＳＭＩＴ 構造ネットワークの動画像部で生成されたすべての時点
での要素画像データ及びパラメータが静止画像部へ送り
返される。この要素画像に対し、静止画像部で反射・屈
折処理、影付け、ハイライト線の移動が行われ、補間さ
れたすべての時点での画像が完成する。

【０１１１】質感・実在間をもつ画像モデルの生成に必
要な主要要因を、光と照明・影・明暗・材質と考え、物
体に光が当たった時に生じる現象を反射・屈折等の見地
から光線追跡法を使用しない描画の容易な画像のモデル
化を行い、並行実行型画像描画システム記述言語で定義
された要素ネットワーク、更にそれを拡張した構造ネッ
トワークを用いて高速に処理するようにする。

【０１１２】構造ネットワークを用いる処理について
は、本出願人が先に特許出願した特願平４−３４８６４
号「オブジェクトネットワークによる言語処理システ
ム」に開示される技術を用いることができる。

【０１１３】要素ネットワークで描出された要素画像に
対し、前後関係をもたせ、質感・実在感表現を施すと共
に、動画処理をも行うために構造ネットワークを用い
る。この構造ネットワーク上の処理、ユーザーにとって
プログラムレスで行われる。また主要時点での動画像を
静止画像と考え、ある主要時点での静止画像を描出し、
その静止画像を動画像部にデータ転送をすることにより
動画像を生成する。構造ネットワークでは、各要素画像
の位置関係を定義する際、静止画像、動画像をユーザー
に意識させることなく描出・描画することができると共
に、複数の静止画像における画像合成・静止画像描出と
動画像描出等を同時に行うことができることから並行処
理が可能となる。

【０１１４】要素ネットワークでは、環境に依存してい
ない要素画像のデッサンを行うのに対し、構造ネットワ
ークでは光と照明等のような光源と、物体の位置関係・
材質等による反射・屈折現象のように環境依存の処理を
主に行う。これらの処理は、必要に応じて要素ネットワ
ークを参照することができる。

【０１１５】静止画用構造ネットワークは、描出された
要素画像に対し、構造キャンバス上の要素画像間の位置
関係を定義し、それに位置関係・前後関係を与え、その
要素画像関係に基づいて反射・屈折、影生成などの処理
を行う。名詞オブジェクトのクラスをノードで示し、そ
のノード同志は方向性のあるブランチで接続されてい
る。このようなブランチは関数であり、動詞オブジェク
トである。図１０図示の「ＲＥＦＩＮＥＤ ＣＯＭＰＯ
ＮＥＴＳ」などは名詞オブジェクトであり「ＲＥＦＩＮ
Ｅ」などは動詞オブジェクトである。

【０１１６】媒質の境界面は光を反射の法則に従って反
射する性質があり、同時に屈折の法則に従って光を屈折
する性質がある。つまり光は媒質の境界面に達すると、
その一部は反射光となってその媒体側にもどり、残りは
屈折光となって境界面を通過し、次の媒体中に入る。

【０１１７】図２５は反射・屈折に基づく位置関係を説
明する図である。今透明物体が厚さｃをもつものとし
て、視点がｘだけ移動した場合に、透明物体の表面で生
じる１次反射点Ａと透明物体の底面で生じる２次反射点
Ｂとを考えると、 α＝ｂｘ／（２ｂ＋ａ） β＝ｃ×tan ｒ で与えられる。なお、ａは原視点と物体との距離、ｂは
物体と透明物体との距離、ｃは透明物体の厚さ、ｘは視
点の移動距離、ｉ，ｒは角度を表している。

【０１１８】反射像の相対位置関係が定義された後、そ
の位置に主要点情報だけを移動させ、入射角に対する反
射率（素材に依存）を求め、主要点に対する輝度・色度
値を計算し、それに基づいてヘルムホルツ補間によって
スムージングを行い、反射物体を生成する。

【０１１９】透明物体の入射角と反射率との関係は次の
如く与えられる。光が境界面に対して斜めに入射する場
合、光の反射は、入射光の偏光状態からｓ偏光の場合と
ｐ偏光の場合とに分かれる。そのおのおのについて、入
射光側の屈折率をｎ_a 、屈折光側の屈折率をｎ_b 、入射
角をＩ、屈折角をｒとすると、

【０１２０】

【数１２】

【０１２１】反射率は夫々 Ｒ_s ＝｜ｒ_s ｜² ，Ｒ_p ＝｜ｒ_p ｜² となる。通常の光については、ｓ偏光とｐ偏光とが同じ
割合で含まれているとして、反射率Ｒは、 Ｒ＝（Ｒ_s ＋Ｒ_p ）／２ となる。

【０１２２】反射物体生成は、主要点での輝度・色度を
ユーザーが反射率を考慮してデータとして与えるか、ま
たは上記の関係からシステム側が自動的に反射率を計算
して生成する。

【０１２３】影の処理については次の如き処理が行われ
る。影の表示といった立場から光源を考えると、光源は
次の２種類に分類できる。そのひとつは平行線や点光源
のように光源の大きさを考慮しないもので、影の境界が
判然としている。すなわち、影は本影のみで構成され
る。本影とは、光源からの直射光が全く当たらない部分
である。もうひとつは、線光源、面光源のように、長
さ、面積をもつ光源である。これらによる影は濃い影か
ら徐々に明るくなり、影の境界がはっきりしない。すな
わち、この場合の影は本影と半影から成り立つ。なお、
半影とは、光源からの直射光の一部から遮られてできる
影である。

【０１２４】人が絵画に影をつける際、絵画上のある特
徴主要点に対応して影の輪郭の主要点を設定し、それに
基づいて輪郭を生成し描画する手法が存在する。よって
カラー画像処理・描画システムにおいても、ある画像中
の主要点に対し、その点がどれだけ移動するかを指定
し、その主要点を基に影多角形の輪郭を生成することと
する。この指定された主要点数によって光源を判別す
る。また生成する影多角形に関する環境光の大きさが、
本影の値となる。生成された影どうしは、相加合成され
る。

【０１２５】影多角形生成のための画像変換は、せん
断、スケーリング、平行移動の基本変換を複合的に組み
合わせて行われる。図２４に示す右半分の動画像に関す
る処理においては、個別対象を選択して抽出し、「ＰＯ
ＳＩＴＩＯＮＥＤ ＣＯＭＰＯＮＥＮＴ」を得る。次い
で上述の各着目点に対応した「ＩＮＳＴＡＮＣＥＤ Ｃ
ＯＭＰＯＮＥＮＴ」を得る。

【０１２６】次いで各着目点ごとに時系列に対応づけた
「ＩＮＳＴＡＮＣＥＤ ＣＯＭＰＯＮＥＮＴ ＩＮ Ｔ
ＩＭＥ ＳＥＧＭＥＮＴ」を得る。そして、平滑化を行
って「ＩＮＳＴＡＮＣＥＤ ＣＯＭＰＯＮＥＮＴ ＩＮ
ＴＩＭＥ」を得て、静止画像の側に転移する。

【０１２７】図２４に示す如く描画が行われるが、当該
描画結果が必ずしも十分満足すべきものではなかった場
合などにおいては、図１に示す如く、軟質変形的動き速
度ベクトル描画部４からの出力を、動き速度ベクトル抽
出部２１０側に戻して修正処理が繰り返される。

【０１２８】

【発明の効果】以上説明した如く、本発明によれば、先
に出願した所のカラー画像についてのエッジ抽出などの
技術を更に発展させ、各着目点について個別対象が剛体
的な動きを行っている場合と軟質変形的な動きを生じて
いる場合とに分けたパラメータを抽出し、動画像を分析
しおよび／または動画像描画に用いるようにしている。
このため、移動前の画像と移動後の画像との対応点の確
認処理が大幅に簡単化され、描画のための処理も簡単化
される。そして画面内軸回転についても対処することが
できる。

【図面の簡単な説明】

【図１】本発明の原理構成図である。

【図２】並進運動に対応するパラメータの抽出態様を説
明する図である。

【図３】尺度変化に対応するパラメータの抽出態様を説
明する図である。

【図４】画面内鉛直軸回転に対応するパラメータの抽出
態様を説明する図である。

【図５】時刻ｔにおける個別対象のエッジ線が時刻ｔ＋
τにおける個別対象のエッジ線に変化した状態に関連し
た説明図である。

【図６】４個の点についてｖ₁ ないしｖ₄ を得る態様を
示す。

【図７】階数が値「８」未満となる例を示す図である。

【図８】階数が値「８」未満となる例を示す図である。

【図９】階数が値「８」未満となる例を示す図である。

【図１０】階数が値「８」未満となる例を示す図であ
る。

【図１１】階数が値「８」未満となる例を示す図であ
る。

【図１２】階数が値「８」未満となる例を示す図であ
る。

【図１３】階数が値「８」未満となる例を示す図であ
る。

【図１４】第（２）式が成立しない例を示す図である。

【図１５】本発明の場合のパラメータ決定に関する一実
施例処理手順を示す図である。

【図１６】画面上に描かれている像の回転運動を説明す
る図である。

【図１７】画面内軸回転を説明する図である。

【図１８】画面内軸回転時のベクトルｖ（ξ）を説明す
る図である。

【図１９】ハイライト線が生じる状況を説明する図であ
る。

【図２０】ハイライト線が生じる状況を説明する図であ
る。

【図２１】直方体が画面内軸回転を生じている状況を説
明する図である。

【図２２】画面内軸回転時の輝度の変化を説明する図で
ある。

【図２３】画面内鉛直軸回転時のハイライト線の移動を
説明する図である。

【図２４】描画処理に関する説明図である。

【図２５】反射・屈折に基づく位置関係を説明する図で
ある。

【符号の説明】

１００ 処理対象動画像 ２００ 動画像処理装置 ３００ 描画結果動画像 ２１０ 動き速度ベクトル抽出部 ２２０ 動き速度ベクトル描画部 ２３０ 抽出パラメータ １ 剛体的動き速度ベクトル抽出部 ２ 軟質変形的動き速度ベクトル抽出部 ３ 剛体的動き速度ベクトル描画部 ４ 軟質変形的動き速度ベクトル描画部 ５ 時刻ｔにおける個別対象 ６ 時刻ｔ＋τにおける個別対象 ７ 時刻ｔにおけるエッジ線 ８ 時刻ｔ＋τにおけるエッジ線

フロントページの続き (56)参考文献 特開 昭63−299594（ＪＰ，Ａ) 特開 平１−213761（ＪＰ，Ａ) 特開 平２−208781（ＪＰ，Ａ) 特開 平３−267879（ＪＰ，Ａ) 特開 平４−287180（ＪＰ，Ａ) 特開 平５−233690（ＪＰ，Ａ) 特開 平５−73684（ＪＰ，Ａ) 特開 平５−43680（ＪＰ，Ａ) 特開 平５−73681（ＪＰ，Ａ) 特開 平５−250460（ＪＰ，Ａ) 特開 平５−250473（ＪＰ，Ａ) 特開 平５−250459（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁶，ＤＢ名) G06T 7/20

Claims (21)

(57)【特許請求の範囲】
1. 【請求項１】 与えられた動画像中の個別対象につい
   て、当該個別対象の時間的な動きを分析して当該個別対
   象の動き情報を抽出して保持し、および／または当該保
   持された動き情報にもとづいて上記動画像における個別
   対象の動きを処理しまたは描画する動画像処理装置にお
   いて、 上記個別対象の時間的な動きを動き速度ベクトルとして
   抽出するようにした構成部分において、当該動き速度ベ
   クトルを抽出する動き速度ベクトル抽出部（２１０）
   が、 並進運動と、拡大・縮小を含む尺度変化と、画面内鉛直
   軸を軸とした画面内鉛直軸回転と、を少なくとも含む剛
   体的動きについての剛体的動き速度ベクトル・データを
   得る剛体的動き速度ベクトル抽出部（１）と、 上記剛体的動きに対応する成分を差し引いた後の当該個
   別対象内の軟質変形的な動きについての軟質変形的動き
   速度ベクトル・データを得る軟質変形的動き速度ベクト
   ル抽出部（２）とを備え、 上記剛体的動き速度ベクトル抽出部（１）が、各個別対
   象についてアフイン変換を行って上記並進運動と上記尺
   度変化と上記画面内鉛直軸回転とを含む各動きについて
   の動き速度ベクトル・データを求め、 上記軟質変形的動き速度ベクトル抽出部（２）が、上記
   剛体的動き成分を差し引いた後の当該個々の個別対象内
   の動きを、ベクトル的手法を含む処理によって演算し、
   上記軟質変形的動き速度ベクトル・データを得るよう構
   成されてなることを特徴とする動画像処理装置。
2. 【請求項２】 上記剛体的動き速度ベクトル抽出部
   （１）は、 上記並進運動と上記尺度変化と上記画面内鉛直軸回転と
   の各動き速度ベクトル・データを得るに当って、上記個
   別対象における着目点Ｐ_i に関して、当該着目点Ｐ_i の
   実効動き速度ベクトルＶ_i を、並進運動動き速度ベクト
   ル・データＶ_pと、尺度変化パラメータｓと、画面内鉛
   直軸回転角速度ωと、上記尺度変化または上記画面内鉛
   直軸回転が仮想的にその点から生じたとみなす擬中心点
   Ｃ’からの各着目点Ｐ_i までの距離ベクトルγ_i との関
   数で与えておき、 上記各着目点Ｐ_i に対応する所の少なくとも４つの点Ｐ
   ₁ ，Ｐ₂ ，Ｐ₃ ，Ｐ₄について、当該個別対象を構成す
   る線分における力線方向の速度成分と、当該線分におけ
   る接線方向の速度成分とを測定し、 当該力線方向の速度成分と当該接線方向の速度成分とを
   用いて、上記並進運動動き速度ベクトル・データＶ
   _p と、上記尺度変化パラメータｓと、上記画面内鉛直軸
   回転角速度ωとを求めるよう構成されることを特徴とす
   る請求項１記載の動画像処理装置。
3. 【請求項３】 上記軟質変形的動き速度ベクトル抽出部
   （２）は、 上記剛体的動き成分を差し引いた後の上記個別対象内の
   動きを、当該個別対象の外形を表す線分で与えられる輪
   郭線および／または輝度変化や色度データ変化にもとづ
   いて与えられる構造拡張形輪郭線について、ベクトル的
   な手法を含む処理によって演算し、 かつ上記輪郭線および／または上記構造拡張形輪郭線内
   の未決定点については補間演算を用いて補間する処理を
   行った上で、点対応を求め、 対応点間での速度ベクトルを求めることを特徴とする請
   求項１記載の動画像処理装置。
4. 【請求項４】 上記剛体的動き速度ベクトル抽出部
   （１）において用いられる上記着目点Ｐ_i の決定に当っ
   て、当該個別対象の外形を表す線分を与えられる輪郭線
   および／または輝度変化や色度データ変化にもとづいて
   与えられる構造拡張形輪郭線上の点を抽出し、上記点Ｐ
   ₁ ，Ｐ₂ ，Ｐ₃ ，Ｐ₄ は当該輪郭線および／または構造
   拡張形輪郭線上の点によって与えられることを特徴とす
   る請求項２記載の動画像処理装置。
5. 【請求項５】 上記少なくとも４つの点Ｐ₁ ，Ｐ₂ ，Ｐ
   ₃ ，Ｐ₄ として、 上記個別対象の外形を表す線分で与えられる輪郭線上の
   および／または輝度変化や色度データ変化にもとづいて
   与えられる構造拡張形輪郭線上の、輪郭線の交点および
   ／または屈曲点が選択されることを特徴とする請求項２
   記載の動画像処理装置。
6. 【請求項６】 上記少なくとも４つの点Ｐ₁ ，Ｐ₂ ，Ｐ
   ₃ ，Ｐ₄ として、 上記輪郭線上の交点および／または屈曲点以外の点が選
   択されることを含むことを特徴とする請求項５記載の動
   画像処理装置。
7. 【請求項７】 上記少なくとも４つの点Ｐ₁ ，Ｐ₂ ，Ｐ
   ₃ ，Ｐ₄ を選んで与えられる連立方程式についての階数
   が値「８」未満となっているか否かをチェックし、 値「８」未満である場合には、当該階数が値「８」とな
   る４つの点を選択し直すようにしたことを特徴とする請
   求項２記載の動画像処理装置。
8. 【請求項８】 上記個別対象の時間的な動きに対応する
   動き速度ベクトルを抽出するに当って、画面の急激な変
   化を伴うような主要時点での各着目点について処理を行
   い、当該主要時点ごとの各着目点についての処理結果を
   用いて、主要時点の間に存在する当該主要時点相互間の
   各着目点についての情報を補間するようにしたことを特
   徴とする請求項４記載の動画像処理装置。
9. 【請求項９】 上記剛体的動き速度ベクトル抽出部
   （１）は、 処理対象となっている上記個別対象について、当該個別
   対象を構成する領域内の点についての上記並進運動動き
   速度ベクトルＶ_p が既知データとして与えられるとき、 当該並進運動動き速度ベクトルＶ_p についてのダイバー
   ジェンス演算と当該並進運動動き速度ベクトルＶ_p につ
   いてのローテーション演算とを行って、画面内軸を軸と
   して画面内軸回転に対応する剛体的動き速度ベクトル・
   データを求める処理を行い、 上記軟質変形的動き速度ベクトル抽出部（２）は、上記
   並進運動と、上記尺度変化と、上記画面内鉛直軸回転
   と、上記画面内軸回転とによる剛体的動き成分を差し引
   いた後の当該個別対象内の動きに対応する軟質変形的動
   き速度ベクトル・データを得ることを特徴とする請求項
   １記載の動画像処理装置。
10. 【請求項１０】 上記剛体的動き速度ベクトル抽出部
    （１）は、 上記個別対象に対して光が照射された際の、当該個別対
    象からの反射光を調べ、 当該反射光が極大である点をつらねたハイライト線を求
    めておき、 画面内軸を軸として回転する画面内軸回転に対応する剛
    体的動き速度ベクトル・データを求める処理を行うこと
    を特徴とする請求項９記載の動画像処理装置。
11. 【請求項１１】 与えられた動画像中の個別対象につい
    て、当該個別対象の時間的な動きを分析して当該個別対
    象の動き情報を抽出して保持し、および／または当該保
    持された動き情報にもとづいて上記動画像における個別
    対象の動きを描画する動画像処理装置において、 上記個別対象の時間的な動きを動き速度ベクトルとして
    抽出して得た当該動き速度ベクトルを用いて描画する動
    き速度ベクトル描画部（２２０）が、 並進運動と、拡大・縮小を含む尺度変化と、画面内鉛直
    軸を軸とする画面内鉛直軸回転と、を少なくとも含む剛
    体的動きについての剛体的動き速度ベクトル・データを
    用いた剛体的動き速度ベクトル描画部（３）と、 上記剛体的動きに対応する成分を差し引いた後の当該個
    別対象内の軟質変形的な動きについての軟質変形的動き
    速度ベクトル・データを用いた軟質変形的動き速度ベク
    トル描画部（４）とを備え、 上記剛体的動き速度ベクトル描画部（３）の処理と、上
    記軟質変形的動き速度ベクトル描画部（４）の処理と
    が、夫々行われるようにしたことを特徴とする動画像処
    理装置。
12. 【請求項１２】 上記剛体的動き速度ベクトル描画部
    （３）は、並進運動動き速度ベクトル・データＶ_p と、
    尺度変形パラメータｓと、画面内鉛直軸回転角速度ωと
    を少なくとも与えられて、当該個別対象の剛体的動きに
    ついての描画を行うことを特徴とする請求項１１記載の
    動画像処理装置。
13. 【請求項１３】 上記剛体的動き速度ベクトル描画部
    （３）は、与えられた着目点Ｐ_i についての当該着目点
    Ｐ_i における与えられたサンプリング時点での情報にも
    とづいて、当該個別対象の剛体的動きについての描画を
    行うことを特徴とする請求項１２記載の動画像処理装
    置。
14. 【請求項１４】 上記剛体的動き速度ベクトル描画部
    （３）は、処理対象となっている上記個別対象につい
    て、当該個別対象を構成する領域内の点についての上記
    並進運動動き速度ベクトルＶ_p が既知データとして与え
    られるとき、 当該個別対象が画面内軸を軸として回転した際の画面内
    軸回転に対応する動きを含む当該個別対象の剛体的動き
    についての描画を行うことを特徴とする請求項１１記載
    の動画像処理装置。
15. 【請求項１５】 上記動き速度ベクトル描画部（２２
    ０）は、上記着目点Ｐ _i についての当該着目点Ｐ_i にお
    けるサンプリング時点での情報にもとづいて、当該複数
    の着目点をつらねる線分を描き、次いで領域を設定して
    当該領域内での輝度および／または色度データを決定す
    ることを特徴とする請求項１３記載の動画像処理装置。
16. 【請求項１６】 上記動き速度ベクトル描画部（２２
    ０）による描画処理に当って、ディスプレイ画面上に、
    個別対象を描画するためのサブ・ウインドウをもうけ、
    当該サブ・ウインドウ内で描画処理を行うようにしたこ
    とを特徴とする請求項１１記載の動画像処理装置。
17. 【請求項１７】 上記動き速度ベクトル描画部（２２
    ０）は、個別対象の描画に当って、反射像または屈折像
    または影画像を与える処理を行う機能をもつことを特徴
    とする請求項１１記載の動画像処理装置。
18. 【請求項１８】 上記動き速度ベクトル描画部（２２
    ０）は、サンプリング時間に沿って変化する個別画像の
    動きを修正して、なめらかな連続動き画像を得る機能を
    もつことを特徴とする請求項１１記載の動画像処理装
    置。
19. 【請求項１９】 上記剛体的動き速度ベクトル描画部
    （３）において、複数の着目点Ｐ_i における並進運動動
    き速度ベクトルを求め、当該個別対象内の座標値（ｘ，
    ｙ）の点に対応する並進運動動き速度ベクトルＶ
    _p （ｘ，ｙ）を求めた上で、 div Ｖ_p （ｘ，ｙ）＝０ 又は rot Ｖ_p （ｘ，ｙ）＝０ を満たす線を決定し、当該夫々の線上での並進運動動き
    速度ベクトルにもとづいて、上記画面内軸回転に対応す
    る剛体的動き速度ベクトル・データを求めることを特徴
    とする請求項１１記載の動画像処理装置。
20. 【請求項２０】 上記剛体的動き速度ベクトル描画部
    （３）において、上記 div Ｖ_p （ｘ，ｙ）＝０ 又は rot Ｖ_p （ｘ，ｙ）＝０ を満足する線を決定して、上記画面内軸回転に対応する
    剛体的動き速度ベクトル・データを求め結果を用いて、
    対応する個別対象表面の、当該画面内軸からの画面奥行
    き方向の距離を計測するようにしたことを特徴とする請
    求項１９記載の動画像処理装置。
21. 【請求項２１】 上記剛体的動き速度ベクトル描画部
    （３）において、 上記個別対象に対して光が照射された際の、当該個別対
    象からの反射光を調べ、 当該反射光が極大である点をつらねたハイライト線を求
    めておき、 対応する個別対象表面の、画面内軸を軸として回転する
    際の当該画面内軸からの画面奥行き方向の距離を計測す
    るようにしたことを特徴とする請求項１１記載の動画像
    処理装置。