JPH04184575A - 時系列画像の輪郭線対応方法および装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［目　次〕 概要 産業上の利用分野 従来の技術 発明が解決しようとするｉ！ＩＮ 課題を解決するための手段 作用 実施例 発明の効果 〔概　要〕 時系列画像中の連続する２フレーム中の閉領域を形成す
る輪郭線を多角形近似し、この多角形を構成する線分に
つき２フレーム間の対応付けを行う方法および装置に関
し、 時系列画像中の連続する２フレーム中の閉領域を形成す
る輪郭線を多角形近似した線分が前記２フレーム間で必
ず対応するようにし、さらにこの多角形近似による多角
形を細分化する方法および装置を提供することを目的と
し、 時系列画像中の連続する２フレームについて対応する閉
領域を形成する輪郭線を多角形近似し、この多角形を形
成する線分同士の対応を求め、前記２フレームのうち前
フレームの線分に対して後フレームの線分が対応しない
ときにはこの後フレームの対応しない線分に対応する輪
郭線部分を前フレームの前記線分に対応する輪郭線部分
の多角形近似と同じ数の頂点を有する多角形近似とする
よう構成する。また、時系列画像中の連続する２フレー
ムについて、対応する閉領域を形成する輪郭線を多角形
近似してこの各頂点間の各線分が対応するようにし、こ
の対応する線分に対応する輪郭線上にそれぞれ分割端点
を設けて２分υ１してこの分割端点と前記対応する線分
の一方の端点とを結んで第１線分とし、この分割端点と
前記対応する線分の他方の端点とを結んで第２線分とし
、前記２フレームの各前記第１ｔＪ１分の特徴量の差と
各前記第２ｖＡ分の特＠量の差が共に小さくなるように
前記分割端点の位置を決定し、このような分割を繰り返
して前フレー１、と後フレームの各線分の対応付けを行
うよう構成する。また、時系列画像中の連続する２フレ
ームを入力しそれぞれのフレー五の閉ｉｆｆ域ごとにラ
ベル付けしたラベル画像を生成するｉ像入力部と、この
ラベル画像を入力して対応する閉領域のラヘルを同じラ
ヘルとした対応付はラベル画像を生成するフレーム間領
域対応部と、この対応付はラベル画像を入力すると共に
、前記閉領域を形成する輪郭線を多角形近似してこの多
角形を形成する線分の対応づけする処理の制御を行う輪
部線対応制御部と、この輪部線対応制御部より前記対応
付はラベル画像を入力し、前記輪郭線の座標値を出力す
る輪郭線情報抽出部と、前記輪郭線の座標値を入力して
前記輪郭線を多角形近似し、この多角形近似を形成する
前記２フレームの各線分の対応付けを行う粗対応処理部
と、この粗対応処理部で前記２フレームの対応付けした
各線分につき、この線分の対応する輪郭線を２分割して
その分割端点と各線分の両端点の一方の端点とを結ぶ第
１線分と、その分割端点と各線分の両端点の他方の端点
とを結ぶ第２線分を前記２フレーム間でそれぞれ対応さ
せ、このように分割を繰り返して多角形近似を行う細分
化処理部とを備え、この細分化処理部の出力を前記輪部
線対応制御部を介して出力するよう構成する。

〔産業上の利用分野〕

本発明は、時系列画像中の連続する２フレーム中の閉領
域を形成する輪郭線を多角形近似し、この多角形を構成
する線分につき２フレーム間の対応付けを行う方法およ
び装置に関する。

一般にアニメーションの作成には物体の動作を一定時間
間隔にずらして描いた静止画（セルりが装置にａ・要で
ある。セル画の元になる輪邦線画は全て手作業で描かれ
ているため人件費が高いものとなっている。ところで、
２つのフレーム間の輪郭線区間の対応を求めておくと、
輪郭線形状のフレーム間での変形を抽出することができ
るため、２フレームの中間画像が作成できる。これを利
用して物体の動作が大きく変化するフレームをアニメー
タが描き、これらのフレーム間に中間画像を内挿するこ
とでキーフレームアニメージョンヲ作成することができ
るようになる。

（従来の技術〕 従来技術では輪郭線を分割する特徴点として輪！１（Ｉ
を多角形近似したときの頂点を用い、輪郭線区間として
多角形近似したときの近似線分の端点により挾まれた区
間を用いる。したがって輪郭線区間の対応処理は、近ｆ
Ｃ１１分の対応処理と同義である。

輪郭線の多角形近似の手法として分割法がある。

これは第３図（ａｌに示すように、閉領域の輪郭線上に
多角形近似の基準点となる頂点を１つ定め、この頂点か
ら最も離れた輪郭線上の点を多角形近似の頂点として輪
郭線を２つに分割する６次に（ｂ）に示すように２つの
頂点に挟まれた輪郭線区間上の点のうち、２つの頂点を
結ぶ直線との距離が最大となる点を多角形近似の新たな
頂点とし、この頂点で輪郭線区間を更に分割する０分割
された全ての輪郭線区間に対して同様の分割処理を（Ｃ
）に示すように再帰的に実施し、（ｄ）に示すように隣
あう頂点を結んだ近似線分と輪郭線との最大距離が一定
の許容近偵娯差（１大距離の闇値）以下となったときに
処理を終了する。

時系列中で連続した２フレーム（前フレーム、後フレー
ム）の多角形近似による特徴点（頂点）の抽出が終了し
たのちに近似線分の対応処理が行われる。対応処理を行
うために、先ず近似線分毎に１￥ｍｌを抽出し、前フレ
ーム中の近似線分ｉと後フレーム中の近似線分ｊの類似
性を表す頻偵度Ｓ（ｉ、ｊ）を２つの近似線分の待＠旨
を基に計算する。Ｓ　（ｉ、ｊ）は近似線分の特徴量の
差が小さいほど大きい値になるように設定しているため
、近似線分の対応は次式の評価間数Ｅを最大化するよう
に近似線分ｊに対応する近似線分ｉを選択することによ
り行われる。

ｊｔ Ｅ冨ΣＳ（ｉ、ｊ） ｊ＝１ 但し、ｊｔは後フレーム中の近似線分数を表している。

近似線分のフレーム対応が既知であるとき、フレーム間
で対応する近ｆＵ線分の端点に挟まれる輪郭線区間がそ
れぞれフレーム間で対応する輪郭線区間として記録され
る。

（発明が解決しようとする課題〕 上述した従来技術ではフレーム毎に独立に特徴点を抽出
したのち、それらにより分割される輪郭線区間の対応を
行っている。そのため、第４図に示すように後フレーム
中の輪郭線区間に対応する区間が前フレーム中に存在す
るとは限らない、対応する区間が存在しない場合には、
その区間がフレーム間で対応しないだけではなく、他の
区間対応に関しても悪影響を轢えるため、誤対応が生じ
やすくなっている。

本発明は、上述の問題点に鑑みてなされたもので、時系
列画像中の連続する２フレーム中の閉領域を形成する輪
郭線を多角形近似した線分が前記２フレーム間で必ず対
応するようにし、さらにこの多角形近似による多角形を
細分化する方法およびａｔを提供することを目的とする
。

〔課脛を解決するための手段〕

第１Ａ図、第１Ｂ図は本発明の方法の発明の原理説明図
である。方法の発明は、大まかな対応区間を定める相対
応処理方法と、対応区間を更に細分化する細分化処理方
法に分けられる。

（＋）相対応処理方法 第１Ａ図（ａｌに示すようにまず前フレームと後フレー
ム中の領域から輪郭線を抽出し、この輪郭線に対して許
容近（Ｃ１ｆｉ差ｄρを十分大きく設定した分割法によ
る粗い多角形近似を行う６次に前フレームの近似線分ｉ
と後フレームの近似線分ｊの特徴音を抽出し、それらの
線分のｗ４（Ｒ性を表す類似度Ｓ（ｉ、ｊ）を計算する
。Ｓ（ｉ、ｊ）は（０゜１〕の実数値を採るように正規
化されており、特徴量の差が小さいほど大きい値を採る
ように設定する。近イ以線分の対応Ｐの決定は、次式の
評価間数Ｅを最大化する線分ｊに対応する線分ｉを選択
することで行われる。

ｔ Ｅ＝ΣＳ（ｉ、ｊ） Ｐ−（（ｔ、　ｊ）　ｌ　ｊ＝１．−、　Ｊ　ｔ　；　
ｔはｊに対応する前フレーム中の近似線分） 前フレームと後フレームの近似線分の対応には誤対応が
含まれる可能性が大きいため、ら）に示すように対応Ｐ
を類似度のｔＪｈ！！（Ｓｔ）を用いて確からしい対応
のみに絞り込む。

Ｐ＝ｆ（ｉ、ｊ）Ｉｓ　（ｉ、ｊ）＞Ｓｔ；　　（ｉ。

ｊ）ＥＰＩ 前フレームの多角形近似の頂点、及び、仮対応Ｐに関与
している後フレーム中の線分の端点（多角形近似の頂点
）は、それぞれのフレーム中の輪郭線を分割する特徴点
になる（図中○で表示）、（＆フレーム中の輪郭線のう
ち前フレームの近似線分と対応しなかった区間について
は、前フレーム中の特徴点に対応する仮特徴点を定める
。これを（Ｃ１回の黒ぬりの四角で示す、この仮特徴点
の初期位置は、仮特徴点により分割される輪郭線区間の
長さの比と、前フレームで特徴点により分割される輪郭
線区間の長さの比が等しくなるように設定される。前フ
レームの特徴点数と後フレームの特徴点と仮特徴点数の
合計は等しく、後フレーム中で隣接する特徴点及び仮特
徴点を結んで生成される仮近イロ線分は、そのＩ！７　
Ｍ関係により前フレーム中でどの近似線分と対応するか
が自明であるため、その対応関係（ｒ　’ｌ　Ｊ　’）
をＰに追加する。

Ｐ−Ｐ　　Ｕ＋（＋’、ｊ′）） ｊ゛の端点となる仮特徴点は、隣接する特徴点及び仮特
徴点により区切られた輪郭線区間上に存在可能であり、
仮近似線分ｊ°　とそれに対応する前フレーム中の近似
線分ｉ′との特徴音の差が小さくなる方向に移動するも
のとする。仮特徴点の移動はそれぞれの点毎に独立番二
行われ、移動が停止したとき仮特徴点の位置を特徴点の
位置として確定する。

（２）細分化処理方法 ２フレーム間の輪祁の近似線分対応と特徴点位置が全て
求められ、相対応処理が終了したのち、近似線分の端点
に挟まれる輪郭線区間の細分化処理が行われる。Ｐ中の
任意の要素（ｉ、ｊ）について、前フレームの近似線分
ｉとｉの端点Ｖ　ｒ　１　＋Ｖｉ２により挟まれた輪郭
線との最大距ｉｌｄを抽出し、このｄが許容近４ｖｍ差
ｄ　ｆ　（ｄ　ｆｅｄ　Ｐ）より大きい時に、最大距離
となる点Ｖｉｄを特徴点とする。そして、ＶｉｌとＶｉ
ｄを結んだ近似線分をｉ、　、ＶｉｄとＶｉ２を結んだ
近似線分を１□とする０次に、後フレームの近１ｖ線分
ｊの端点Ｖｊｌ、　　Ｖｊ２Ａこより挾まれた輪５ｒＩ
Ｉａ区間中に仮特徴点Ｖｊｄを設定する。これを第１Ｂ
図（ｄｌの黒ぬり四角で表す。ＶｊｌとＶｊｄを結んだ
近似線分をＪ　＋、　ＶｊｄとＶｊ２を結んだ近似線分
をＪ８として、（ｉ＋　、Ｊ＋）、（ｉｔ、ｊ□）が対
応するものとする。そしてＰに対して次の操作を加える
。

Ｐ−Ｐ＼（（ｉ、Ｊ）ｌＬＪｉ（ｉ＋、ｊ＋）、（ｉｔ
。

ｊ２）） 但し、＼は集合差演算を表し＼の左の集合Ｐより＼の右
の集合の要素を除去する演算子を示す、Ｐに対してこの
操作を行ったのち、Ｖｊｄの位置決定を行うａｖＪｄの
位置決定は、１１とハの特徴音の差とｉ！と１軍の特徴
音の差が共に小さくなるようにＶｉｄを移動さセて、移
動が停止した位置の値をＶｊｄの値として確定すること
で行われる。Ｐの任意の要素い、ｊ）について、ｄ＜ｄ
　ｆが成り立つまでこの処理を繰り返す。

以上の処理が終了した結果、前フレームおよび後フレー
ムでζ；ｊ　（ｅｌ示すように特徴点を頂点とする多角
形は近似線分と輪郭線の最大距離がｄ［以下の近似多角
形となる。また、前フレームと後フレームの近似線分の
対応する関係は全てＰに記述されている。近似線分ｉ　
　（ｊ）の端点により挟まれている輪郭線区間を近似線
分と同じ記号ｉ　（ｊ）で表すと、近似線分対応Ｐは同
時に輪郭線区間対応も表していることになる。

第２図は本発明の装置の原理図を示す、同図において、
１は画像入力部で、時系列画像中の連続する２フレーム
を入力し、それぞれのフレームの閉領域ごとにラベル付
けしたラベル画像を生成する。２はフレーム間領域対応
部で、前記ラベル画像を入力して対応する閉領域のラベ
ルを同じラベルにする。３は輪部線対応制御部でこの対
応付はラベル画像を入力すると共に、前記閉領域を形成
する輪郭線を多角形近似してこの多角形を形成する線分
の対応づけする処理に対する制御を行う。

４は輪郭線情報抽出部で前記対応付けうヘル画像を入力
し、前記輪郭線の座標値を出力する。５は粗対応処理部
でこの輪郭線座標値を入力して輪郭線を多角形近似し、
この多角形近似を形成する前記２フレームの各線分の対
応付けを行う、６は細分化処理部で前記２フレームの対
応付けした各線分につき、この線分の対応する輪郭線を
２分割してその分割端点と各線分の両端点の一方の端点
とを結ぶ第１線分と、その分割端点と各線分の両端点の
他方の端点とを結ぶ第２線分を前記２フレーム間でそれ
ぞれ対応さセ、このように分割を繰り返して多角形近似
を行い、その処理結果を前記輪郭線対応制御ｎ部３を介
して出力する。

〔作　用〕

相対応処理においては、特徴点によって分割した輪郭線
区間の対応が頻伯度の闇値以上となるものだけを対応結
果として採用し、それ以外の対応結果は破棄する。この
ような対応しなかった輪郭線区間は、前フレーム輪郭線
区間と対応するように再分割される。そのため、分割さ
れた輪郭線区間は２フレーム間で対応関係が明らかであ
り、対応が存在しないような輪郭線区間は存在しな（な
る。しかし、相対応処理での輸牡綿の分割結果は相いも
のであるため、細分化処理でより細かい輪郭線区間分割
する。相対応で予め対応する輪郭線区間が既知であるた
め、区間を順次２分割することで輪郭線区間の細分化を
行える。さらに、この２つの細分化された輪郭線区間は
分割点となった特徴点の前後どちらに存在するかで、２
フレーム間で対応する輪ｙＩ！線区間を判定することが
できるため、細分化処理と同時に輪郭線区間対応を容易
に得ることができる。

また、上記の処理を寅現する装置番こおいては、時系列
画像中の連続する画像ａと画像すを入力して閉胡域をラ
ベル付けし、フレーム間ｔＩＪ！対応部２でこの画像ａ
と画像すの対応する閉胡域のラベルを同じラベルとし、
輪郭線情報抽出部４でこの同じラベル付けした輪郭線の
座標値を出力する。

この座標値に基づいて粗対応処理部５では輪郭線部を多
角形近似し、この多角形近似を形成する画像ａ１画像す
の各線分が互いに対応付けされるようにする。細分化処
理部６はこの対応付けされた各線分につき、この線分に
対応する輪郭線を２分割して画像３９画像すの各分ｖ１
線分を対応さゼながら分割を繰り返し細分化を行い所定
の細分化を実施すると出力する。輪郭線対応制御ｎ部３
は輪郭線情報抽出部４．粗対応処理部５．細分化処理部
６の制御を行う。

〔実　施　例］ 以下、本発明の実施例を図面を参照して説明する。

本実施例は第２図で示した本発明の装置原理図の具体的
内容を説明したものである。

第２図において、画像入力部１は、カメラ等の画像入力
装置によって画像ａと画像すを読み込む。

両像ａと画像すはそれぞれ閉領域毎にラベルが付加され
たラベル画像Ｆａ、Ｆｂに変換され、Ｆａ。

Ｆｂをフレーム間領域対応部２に送る。

フレーム間領域対応部２は、ラベル画像Ｆａ。

Ｆｂ中のラベルｆｉＪｉ城の対応を決定し、対応したラ
ベル領域に同じラベルを付加する６第５図はフレーム間
傾城対応部２の詳細構成を示し、ラベル画像格納部２１
．領域特徴抽出部２２．領域特全格納部２３、　ＩＩ（
ｉｕ度作成部２４．領域対応処理部２５．ラベル画像書
換え部２６から構成され、画像入力部１から入力された
Ｆａ、Ｆｂはラベル画像格納部２１中の格納部２１ａと
格納部２１ｂにそれぞれ格納される。

領域特徴抽出部２２は格納部２１ａと格納部２１ｂを参
照し、Ｆａ、Ｆｂの各ラベル領域毎の領域特徴を抽出ｌ
−で領域特徴格納部２３に格納する。抽出する領域特徴
は、面積１周囲長、？Ｊ！雑度、チエインコード・ヒス
トグラム、重心位置、慣性主軸方向の６種類である０面
積はフレームメモリ上のラベル領域の画素数、周囲長は
ラベル領域の輪郭線上の画素数、複雑度は周囲長の２乗
を面積で割った値、チエインコード・ヒストグラムは慣
性主軸方向を画像の縦軸に一敗させたときのラベル領域
の輪郭を８方向のチエインコードで表して０〜７のコー
ド毎に累積した度数表、重心位置はラベル領域の重心の
フレームメモリ上の座標値、慣性主軸方向はラベル領域
の慣性主軸と画像の横軸とがなす反時君１周りの角度と
する。領域特徴抽出部２２は、格納部２１ａに格納され
ているＦａの領域特徴を領域特徴格納部２３中の格納部
２３ａに、格納部２１ｈに格納されているＦｂの領域特
徴を格納部２３ｂに、それぞれ格納する。ＩｆｉｊｆＪ
度作成部２４は、格納部２３ａに格納されているＦａ中
のラベルｋ　ｅｌｆ域（ｋ＝１゜−“、Ｋｔ）の領域特
徴と、格納部２３ｂに格納部されているラベル丙像Ｆｂ
中のラベル１Ｍ域（１−１、−、Ｌｔ）の領域特徴より
、全てのｋと１の組み合わせについて領域形状のＭｆＨ
度Ｒ（ｋ。

１）を計算する。

本実施例は領域特徴として、上記の６種類を用いてラベ
ルｋｔＪｌ域とラベル傾城域間の類似度を計算する。Ｒ
（ｋ、ｌ）の値は［０，１）の実数値をとり、２領域の
領域特徴の差が小さいほど１に近い値をとるように設定
されている。

言１算された類似度の値は、；ｎ域対応処理部２５に送
られる０頭載対応処理部２５では、Ｒ（ｋ、ｌ）を基に
して次の評価間数Ｆを最大化するようにラベル１領域に
対応するラベルに領域を選択する。

ラベル１　Ｍ４域とラベルｋｆＩＷ域の対応は（ｋ、１
）の順序対で表現され、全対応は順序対の築合Ｑで表さ
れる。

Ｌ Ｆ＝ΣＲ（ｋ　、　　ｌ　）−−−−−−−−−・−−
（］）ｌ・Ｉ Ｑ＝　（（ｋ、１）Ｉ　Ｉ＝１、−’＋Ｌｔｉｋはラベ
ル１領域に対応するＦａ中の領域ラベル１−−−−一−
−（２） ラベル領域のフレーム間対応結果Ｑはラベル画像書換え
部２６に送られ、ラベル画像書換え部２６ではＱに従い
格納部２１ｂのラベル画像Ｆｂのラベル１領域を、Ｆａ
中で対応するラベルにで書き換えてラベル画像Ｆｂ’　
として作成する。

ラベル画像Ｆｂ’の作成が終了したのちに輪部線対応制
御部３が起動する０輪部線対応制御部３は、輪郭線情報
抽出部４．粗対応処理部５．細分化処理部６を操作して
、格納部２１ａと格納部２１ｂに格納されたＦａとＦｂ
’中の同一ラベルを持つ領域の輪郭線のフレーム間対応
を制ｊｎする０輪祁線対応制ｍ部３は起動すると、格納
部２１ａと格納部２１ｂを走査して同一のラベルｋ　（
ｋ＝１．−、Ｋｔ）が付加された領域をそれぞれ抽出し
、抽出結果画像であるＦ　ａｋ、　　Ｆ　ｂｋを輪邦線
情ｆ［Ｊ抽出部４に送り、輪郭線情報抽出部４．粗対応
処理部５゜細分化処理部６の順に起動する。細分化処理
部６が終了したのち輪部線対応制御部３は処理結果を外
部に出力し、未処理のラベル領域について処理を行い、
未処理のラベル領域がなくなったとき本装置の処理が終
了する。

第６図は輪郭線情報抽出部４の詳細構造を示し、画像格
納部４１．輸祁線座標抽出部４２から構成される。抽出
結果画像Ｆ　ａｋ、　　Ｆ　ｂｋは画像格納部４１中の
格納部４Ｉａ、ｊ７１納部４１ｂ　４こそれぞれ格納さ
れる９輪郭線座標抽出部４２は、まずＦａｋ（Ｆｂｋ）
のラベルＨ域の輪郭線を走査して最大曲率となる輪郭線
上の点を抽出する。最大曲率の点は、第７図（ａｌに示
すようにその点とその点から一定の画素数だけ輪郭線上
を移動した位置に存在する２点を結んだ線分が成す角度
が最大になる点として定義する０輪邦線座［Ｉａの抽出
は、最大曲率の点を初期位置として、第７回出）に示す
ように領域を走査方向に対して左に見えるように輪郭線
−Ｌを走査し、そのＸ。

Ｙ座＋ｊｌ値を記録することで行われる。Ｆａｋ（Ｆｂ
ｋ）のラベル領域上でＶａｋ（Ｖｌ＋ｋ）番目に抽出さ
れたｘ、ｙ座標値を、それぞれＸａｋ　Ｃｖａｉ、）　
、　　Ｙａｋ　（ｖ−ｖ）　　（Ｘｈｋ　（ｖｂｋ、ｌ
　、　　Ｙｂｋ　（ｖｂｋ）　）と記述する。但し０≦
ｖ、１＜Ｖａｋ（０≦Ｖ、、＜Ｖｂｋ）であり、■、、
＝Ｑ　（ｖ、に＝Ｏ）は初期位置を表し、Ｖａｋ（Ｖｂ
ｋ）はＦａｋ（Ｆｂｋ）中のラベル領域の周囲長（輸邦
をなす画素の個数）である０輪郭線のＸ、Ｙ座標値は粗
対応処理部５に送られる。第８図は粗対応処理部５の詳
細構成を示し、多角形近似部５１．近Ｉｌｌ線分仮対応
部５２．未対応区間対応部５３により構成される。多角
形近似部５１はＦａｋとＦｂｋの輸祁線情報を基にして
、分割法により輪郭線と近似線分の最大距離が閾値ｄｐ
以下になるように輪郭線の多角形近似を行う。本実施例
では、ｄＰの値を２０画素に設定する。ＦａｋとＦｈｋ
の多角形近似の処理結果の近似線分情報は、それぞれ順
序対ＴａｋとＴｂｋに次のように記録される。

Ｔａｋ　ｆｉｌ　　＝　（ｖ　−に−ｆｉｌ　、　ｖ　
−ｗ−ｆｉｌ）Ｔｂｋ［ｊｌ　　＝　（Ｖｂｖｓ　１１
］、ｖｍ　［ｊｌ）（＠　シｖ　ｍｋ−［ｉｌ　とＶａ
ｋ。Ｆｉｔ　はＦａｋ中の近似線分ｉ（１≦ｉ≦Ｉｔ）
の始点と終点の■。の値であり、Ｖｂｍｓ　ＩＩ　と’
Ｊｂｋａ　［ｊｌ　はＦｂｋ中の近似線分ｊ（１≦ｊ≦
ＪＬ）の始点と終点のＶｂｋの値を表している。

第９図は近伯線分仮対応部５２の詳細構造を示し、線分
特徴抽出部５２１．線分特徴格納部５２２．類似度作成
部５２３．対応処理部５２４から構成される。線分特徴
抽出部５２１は近似線分情報と輪郭線座標値を基にして
線分特徴Ｉを抽出し、抽出結果を線分特徴格納部５２２
に格納する。線分時１ｔｋｆとしては、近似線分の中点
座標、　ＩＩＪき角（始点から終点方向へのベクトルの
Ｘ軸に対する傾き角）、線分長、隣接する近似線分との
成す角度（始点位置で隣接する場合と終点位置で隣接す
る場合の２ｆ！類の旧５種類である。類似度作成部５２
３は線分特徴格納部５２２を参照して、Ｆａｋ中の近似
線分ｉとＦｂｋ中の近似線分ｊの類似度Ｓ（ｉ、ｊ）を
次式により計算する。

Δｍ（ｉ、ｊ）　　−１６■（ｉ、ｊ）−δ−）／σ醜
σ−−δｄ鴎（ｉ、ｊ）の分散（直 δ−−δ鵬（１ｊ）の平均値 δ＋（ｉ＋ｊ）＝中点座標間ユークリノｌ′距離δχ（
ｉ、ｊ）　＝　１（Ｉｌき角の差１δｓ（ｉ、ｊ）＝　
１４１分長差１ δｎ（ｉ、ｊ）”ｌ始点位置で接する近似線分との傾き
角の差１ δｓ（ｉ、ｊ）＝　ｌ終点位置で接する近似線分との傾
き角の差Ｉ （ｒ和１．「差ｊは共に、近似線分ｌと近似線分Ｊの線
分特徴間の演算である。） Ｓ（ｉ、ｊ）は、全ての近似線分ｉと近似線分ｊの１０
み合わせについて１算され、対応処理部５２４に送られ
る。対応処理部５２４はＳ（ｉ、ｊ）を基にして、次式
の評価関数Ｅを最大化する様な（ｉ。

ｊ）の組み合わせをｍ１Ｊｅする。

Ｅ＝ΣＳ（ｉ、ｊ）　　−−−−−−（５１ｊ＝１ 求められた（ｉ、ｊ）の組み合わせは、ＦａｋとＦｂｋ
間の近似線分の対応結果としてＰｋに格納される。

Ｐｋ−ｔ（ｉ、Ｎ　　ｌ　ｊ＝１．−・、Ｊｔ；ｉはｊ
に対応するＦａｋ中の近似線分）−（６）対応結果Ｐｋ
の要素が全て選択されたのち、Ｐｋは未対応区間対応部
５３に送信される。

未対応区間対応部５３は、誤対応の可能性を減少させる
ため類似度の闇値Ｓｔを用いて類似度の高い対応だけに
対応結果を絞り込む。

Ｐｋ＝（（ｉ、ｊ）ｌ　Ｓ　（ｉ、ｊ）＞Ｓｔ　；（ｉ
、ｊ）任Ｐｋ）　−−−−（７） 次に、未対応区間対応部５３は第１０図（ａ）に示すよ
うに、この絞り込み処理によって対応に関すしなくなっ
た近似線分をＦｂｋ　　中の領域から抽出し、未対応の
近似線分の端点によって区切られた輪郭線区間のうち隣
接する区間同士を統合してゆく。統合した区間は、区間
の始点と終点のｖｂｋの値であるｕ　ｂｋｓ　とｕ。、
を用いて区間［”ＪｂＭＳ　＋　　ｕｂｋｌｌｌ　と表
すものとすると、線分（ｕｂｋｓ　＋　　１Ｊｂｋ＊　
）と隣接する近似線分ｊｂとｊａはそれぞれＦａｋ中に
対応する近似線分ｉｂと１ａを持つ。

（ｉ　ｂ、　　ｊ　ｂ）　ＥＰｋ、（ｉ　ａ、　　ｊ　
ａ）　ＥＰｋ　−（８）但しｖｂｋｓ　Ｉｊｈｌ＝ｌＪ
ｂｗｓ　１Ｖｂｋｓ　１ｊａｌ＝ｌｌｂｋ＊　。

Ｆａｋ中領域の輪郭線区間Ｃｖａｋａ　ｌ’）１．　　
Ｖｂｗｔ　ｆｉａｌ　　］は、Ｆｈｋの領域中の区間Ｉ
　ＬＩｂｋｇ’　＋　　ｕｂｋ＠ｌ　と対応する区間で
あり、かつその輪郭線区間は幾つかの近似線分で近似さ
れている。いま、第１０図（ｂ）に示すようにこのＦａ
ｋ中領域の輪郭線区間がＮ個の近似線分で近似されてい
るものとし、領域を左に見でｖ１□［１ｂ１　から輪郭
線をトレースしたときの順にこの近似線分を、ｉ　ｆｌ
＋　＋ｆ２．−＋　’ｆｎ、−−、ｉｆＮとする。ｉｆ
ｎに対応するＦｈｋ中領域の近似線分としてｊｆｎ（ｎ
　＝　１．−、　Ｎ）を設定し、この対応（ｉ　ｆｎ、
　　ｉ　ｆｎ）をＰｋに登録する。

Ｐｋ−ＰｋＵ　ｆｉｆｎ、ｊｆｎ）Ｉ　ｎ＝１．−、Ｎ
１近似線分ｊｆｎの端点の始点と終点のｖｂｋ値である
Ｖｂｋｌ　［ｊｆｎｌ　　とＶｂｗｍ　［Ｊｆｎｌ　は
、対応の登録が終了したのちに決定される。ｊｆｎの端
点の決定は、ｊｆｎの端点の初回位置を与えてｊｉｎの
線分特徴讐を抽出し、この線分特徹旨を用いてｉｆｎと
ｊｆｎの類似度Ｓ　ｒ　（ｉ　Ｉｎ、　　ｊ　ｆｎ）を
計算し、評価関数Ｅｆを大きくする方向にｊｆｎの端点
を輪ｎ線うえで動かずことで行わわる。ｊｆｎの端点の
初回位置は、輪郭線区間（Ｖｏａ　ｆｌ　ｂｌ　、　　
Ｖａｖｔ　ＩＩ　ａｌ〕における輪郭線区間（Ｖａｌｅ
　［！　ｆｎｌ　、　Ｖａｋｓ　Ｉ！ｆｎｌ　）の占め
る輪祁線長の比率と、輪郭線区間［ｕｋｋｌ　＋　　ｕ
ｂｋｓ　］　における輪輪線線区間　Ｖ　ｂｋａ　［ｊ
ｆｎｌ　＋Ｖｂｌｌｓ　［ｊ　ｆｎｌ〕の占める輪重線
長の比率が等しくなるように決定される。これを第１Ｏ
図（ｂ）に示す。このとき、類似度Ｓ　ｆ　（ｉ　ｆｎ
、　　ｊ　ｆｎ）は次式で与えられる。

ｆ　　０．　１１−−”　　　　−曲）Δ「ｌｌ（ｉｆ
ｎ、ｊｆｎ）：ＩδＦｍ（ｉｆｎ、ｊｆｎ）−δ−）／
σ■δｆ　、　（ｉｆｎ、　ｊｆｎ）＝中点座標間ユー
クリッド距Ａｌｌδｆｚ（ｉｒｎ、　ｊｆｎ）・１（頃
き角の差１δｈ（ｉｆｎ、ｊｆｎ）＝　ｌ線分長差１δ
ｆ４（ｉｆｎ、ｊｆｎ）・Ｉ始点位置で隣接線分と成す
角度の差１ ｄｆ５（ｉｆｎ、ｊｆｎ）・１終点位置で隣接線分と成
す角度の差１ （ｒ和Ｊ＋　　ｒ差Ｊは共に、近似線分ｉｆｎと近似線
分ｊｆｎの線分特徴間の演算である。δ−とσ−は式（
４）で計算した値を用いる。） Ｓ　Ｆ　（ｉ　ｆｎ、　ｊｆｎ）を用いると、評価関数
Ｅ「は次式で表される。

Ｅｆ　−ΣＳ　ｆ　（ｉ　ｆ　ｎ　、　ｊ　ｆ　ｎ　）
　−−−−−−−−（Ｉｔ）ｎ＝１ このＥｆを最大にするように、Ｖｂｋｅ　［ｊ　ｆｎｌ
（＝ｖｂｋ＊　［Ｊ　ｆ（ｎ＋１）１．２≦ｎ＜Ｎ）の
値を　ｌＶｂｋｍｌｊｆ（ｎ−１）Ｉ、　ｖｂｋｍ　［
ｊｆ（ｎ＋１）ＩＩの輪重綿区間内で移動させる。ｖｂ
ｋａ　ＩＪ　ｆｎｌ（−ｖｈｋｓ［Ｊ　ｆ（ｎ＋１）１
．２≦ｎ　＜Ｎ）の確定値は、返信線分情報として順序
対Ｔｔ＋ｋに次のように追加記録される。

（ｌＪｂｋｓ、　Ｖｂｋｅ　ｌｊＨ］）；　　ｎ　＝　
１Ｔｂｋ［ｊ　　ｆｎｌ−（Ｖｂｋｅ　　１ｊｆ（ｎ−
１）１．ｖｂｖｅ　　ｌｊ　　ｆｎｌ）；２　≦ｎ＜Ｎ （ｖｂｙｌｌｌＪｆ（Ｎ−１）］、＋Ｉ　ｂｋａ　）；
　ｎ　＝　Ｎ−〜〜　−−−０２） 全てのＦｂｋ中領域の未対応輪郭線区間について以上の
処理が終了したのち、未対応区間対応部５３が終了し、
Ｐ　ｋ　、　　Ｔａｋ、　　Ｔ　ｂｋ＋　　ｖａｋａ＋
　ｖａｈ　１．Ｖｂｋｅ１Ｖｂｍｍ、　Ｘａｋ、　Ｙａ
ｋ、　Ｘｂｋ、　Ｙｂｋを細分化処理部６に送信したの
ち粗対応処理部５が終了する。

第１１図は細分化処理部６の詳細を示し、処理制御部６
１１輪祁輪重割部６２１分割位置決定部６３から構成さ
れる。処理制御部６１は、Ｐｋから近似線分の対応関係
を表す任意の順序対（ｉ、ｊ）（θＰｋ）を取り出す、
Ｆａｋ中の近似線分ｉと近似線分ｉの端点により区切ら
れる区間の輪郭線との最大距離を計算し、最大路Ｍｄが
閾値ｄｆより大きい時に処理制御部６１は順序対（ｉ、
ｊ）を輪重線分割部６２に送る。

ｄがｄｆより小さい時はＰｋから他の順序対を取り出し
同様の処理を行う。ｔＨは多角形近似部５１で用いた閾
値ｄρと比較して十分小さく設定され、本実施例では３
画素の値をとる。処理制御部６１は、輪郭線分割部６２
と分割位置決定部６３の処理が終了すると同様の判定処
理を繰り返し、Ｐｋ中の全ての要素についてｄがｄｆよ
り小さくなった時に処理を終了する。

輪郭線分割部６２は第１２図に示すように１１１１序対
（ｉ、Ｎを受は取ると、Ｆａｋ中の近（１１Ｊ線分ｊと
Ｆｂｋ中の近似線分ｊをそれぞれ２つに分割する。

まず、近似線分ｉを最大距離ｄが得られた輪郭線上の点
（Ｖｍｋ”’　ｖａｉｙ　）を端点とする２つの近似線
分１１とｉ、に分割し、Ｆａｋの近似線分情報として順
序対Ｔａｋに次のように追加記録する。

近似線分ｔ　１：Ｔａｋ［ｉｌ　＝　（ｖａｋｓ　ｌｉ
ｌ＋　Ｖａｋａ　）近似線分ｉｚ：Ｔａｋ［ｉｚｌ　＝
　（Ｖｍｋ、、　　Ｖａｋａ　ｒｉｌ）次に、近似線分
りと１２に対応するＦａｋ中の近似線分をそれぞれｊ、
とｊ２として、Ｐｋに対し次式の操作を加えたのち分割
位置決定部６３を起動する。

Ｐｋ−Ｐ＼［（ｉ、ｊＮすｆ（Ｌ、Ｌ）、（ｉｚ、ｊｚ
）　１−−−　・　　　　　圓 但し、近（１１分Ｊ１ば始点が近（ＩＪ線分Ｊの始点位
置ｖｈｈｒｘ　Ｉｊｌ　と、近似線分ｊ２　　は終点が
ｊの終点位置Ｖ。ｅ　［ＪＩ　　と一致する線分である
。また、近似線分ｊ１の終点位置と近似線分ｊ２の始点
位置（ｖ。

＝Ｖｂｋ４）は−敗しており、近１ｖ線分ノの始点。

終点により区切られる輪郭線上に存在する。

分割位置決定部６３は、まず、近似線分１．と１２の線
分特徴としてＸ軸との傾き角と線分長を抽出する０次に
、次式のＳｄを最大化するＶ　ｂｋｄを決定する。

ｍ＝１１量ｅｘｐ（Δｄ＋ｗ） Δｄ、＝１δｄ、−δｄ、）／σ。

Δｄ２−（δｄｚ−δｄ２）／σ２ δ（Ｌ＝ｌｉｌとｊｌのｆ頃き角の差１＋Ｈｚと」２の
１嘆き角の差１ δｄｔ＝ｌｔ、とｊｌの線分長差１＋ＨｚとＪ２の線分
長差１ 但し、ｊｌは始点位置をＶｂｋｓ　［ｊｌ＋終点位置を
Ｖｍｋ４とする線分で、」２は始点１α置をｖｈｋ４＋
　終点位置をＶｋｋａ　ＩＩＩ　　とする線分である。

δ「とδ「はＶ　ｂｋｄが輪郭線区間［Ｖｂｍｓ　［ｊ
ｌｌ　Ｖｂｋｍ　（Ｊ目上全体を移動する時のＳｄ、と
Ｓｄ、の平均値で、σ］とσ２はδｄ、とＳｄ２の分散
値である。Ｓｄを最大化するＶ　ｂｋｄは、近似線分ｊ
１の終点位置と近似線分ｊ８の始点位ｉの確定値であり
、この値を用いてｊｌとｊ２の近（Ｄ線分情報がＴｂｋ
に記録される。

近似線分ｊ＋：　ＴｂｋｌＬＩ＝　（Ｖｂｂａ　［ｊｌ
、ｖｂｖ４）近似線分ｊｚ：　Ｔｂｋ［ｊｚｌ＝　（Ｖ
ｂｂｉ　、　Ｖｂｈａ　［ｊｌ）−・−−・−−−−Ｏ
ω Ｔｂｋの登録が終了したのち分割位置決定部６３の処理
が終了する。

以上の処理で得られたＰｋは、ラベルｋ　ｊｉＩ域の輪
郭線の近似線分の対応関係を記述しているが、近似線分
の始点１終点により区切られた輪郭線区間に対して近似
線分と同じ記号を付加するとＰｋは輪郭線区間対応も同
時に表していることになる。

その結果、ラベルに頭載の輪郭線区間対応情報は次のよ
うに記述される。

輪郭線区間対応：Ｐｋ＝ｉＮ、Ｎｌラヘル画像Ｆａ中の
輪郭線区曲名、ラベル 画像Ｆｂ’中の輪重線区量水１ 輪郭線区間情報：区間ｉ　：　Ｄａｋｌｉｌ・Ｉ　ｖａ
ｔｓ　Ｉｊｌ。

Ｖ、、、　Ｆｉｌ＋ ：区間ｊ　：　Ｄｈｋｉｊｌ＝ｌ　ｖｂｈｓ　［Ｎ。

ｖｂｂａ　ＩＪｌｌ 区間１開始位Ｗ　ｅ　Ｘ座１１　：　Ｘａｋ　ＩＶａｍ
ｓ　ＩＩ］］；Ｙ座標：　Ｙａｋ　ＩＶａｍｓ　Ｉ＋Ｉ
Ｉ区間ｉ終了位置：Ｘ座Ｂ！　：　Ｘａｋ　Ｉｖｍｈ−
１ｉ１１：Ｙ座４１　：　Ｙａｋ　（Ｖｍｍａ　ｌｉｌ
＋区間ｊ開始位置：Ｘ座標：　Ｘｌ＋ｋ　（Ｖｂｋｓ　
１ｊｌｌ：Ｙ座標：　Ｙｂｋ　［Ｖｂｋｚ　Ｉｊｌ１区
間ｊ　８％了位置：Ｘ座１１：　ｘｂｋ［Ｖｍ　［ｊｌ
ｌ：　Ｙ座＋！　　：　　ｙｂｋ　　　Ｉｖｂ＊−［ｊ
１１本装置の出力はこれらの情報を記述するのに必要な
、Ｐｋ、Ｄａｋ、　　Ｄｂｋ、　　Ｘａｋ、　Ｙ、Ｉｋ
、　　Ｘｂｋ、　Ｙｂｋ（ｋ＝　１　、−、　　Ｋ　ｔ
）であり、各ラベル頭載について細分化処理部６が終了
する度を二輪郭線対応制？卸部３によって外部に出力さ
れる。装置外部で、これらの出力は記録装置に保存する
などして適宜利用される。

（発明の効果） 以上説明したように本発明では、時系列画像の連続する
２フレーム中の閉領域を表示する輪郭線区間の対応処理
を行うために、まず大まかな輪郭線区間について対応処
理を行い、対応が不確かな部分については対応関係を確
かにするように輪郭線区間の分割をやり直す。この処理
により、２フレーム間の輪部線上で互いに対応する区間
を持たないような輪郭線区間は存在しなくなる。また、
大まかな輪郭線区間の対応処理が終了した後、輪郭線区
間の分割と対応付けを繰り返し行い、より細かい区間の
対応を抽出する。大まかな輪経線区間の対応から段階的
に細かい輪郭線区間の対応へと処理を行うため、輪郭線
の局所的な変形に強い輪郭線対応が可能となり、誤対応
の少ない輪郭線区間の対応処理が可能になる。

【図面の簡単な説明】

第１Ａ図、第１Ｂ［Ｊは本発明の方法の原理を説明する
図、第２図は本発明の装置の原理を説明する図、第３図
は分割法の説明図、第４図は従来技術の問題点を説明す
る図、第５回はフレーム間頭載対応部の詳細構成図、第
６図は輪郭線情報抽出部とその周辺の構成を示す図、第
７図は輪郭線座標値の抽出を説明する図、第８図は粗対
応処理部の詳細構成図、第９図は近偵線分仮対応部の詳
細構成図、第１０図は未対応区間の対応処理説明図、第
１１図は細分化処理部とその周辺の構成を示す図、第１
２図は細分化処理説明図である。 図において、 １−画像入力部、 ２−フレーム間頭載対応部、 ３−輪部線対応制御部、 ４−輪郭線情報抽出部、 ５−粗対応処理部、　　６　細分化処理部。 くＳ＼ 特許出願人　富士通株式会社　　　　　　　ａ＝、　、
　　、、、。 １ト−− 代理人弁理士　井　桁　　貞　−（ほか２名５２　−ゝ
二一一 発明原理図−１ 第１Ｂ図 面像８１画像す 発明の原理図−２ 第２図 （ａ）初ＩＪＩ近似　　　　　　　　　　　　　　　ｔ
ｂｊ分Ｍ法説明図 第３図 罰フレーム中の領域　　　　　　　　　　　　後フレー
ム中の領域従来技術の問題点 第４図 輪郭線情報抽出部４周辺 第６図 報郭線情報抽出部４より 粗対応処理部５ 第８図 近似線分仮対応部５２ 第９図 （ａ）未対応区間の抽出 （ｂ）端もの初期位置決定 未対の区間の対応処理 第１０図 細分化処理部６周辺 ａル１１しＩ

Claims (1)

1. 【特許請求の範囲】 １）時系列画像中の連続する２フレームについて対応す
   る閉領域を形成する輪郭線を多角形近似し、この多角形
   を形成する線分同士の対応を求め、前記２フレームのう
   ち前フレームの線分に対して後フレームの線分が対応し
   ないときには、この後フレームの対応しない線分に対応
   する輪郭線部分を前フレームの前記線分に対応する輪郭
   線部分の多角形近似と同じ数の頂点を有する多角形近似
   とすることを特徴とする時系列画像の輪郭線対応方法。 ２）後フレームの対応しない線分に対応する前記輪郭線
   部分の多角形近似の前記頂点の位置を、前フレームの前
   記線分に対応する輪郭線部分がその輪郭線上の各頂点に
   よって分割されている輪郭線の長さの比と同じ比となる
   ように定めることを特徴とする請求項１記載の時系列画
   像の輪郭線対応方法。 ３）時系列画像中の連続する２フレームについて、対応
   する閉領域を形成する輪郭線を多角形近似してこの各頂
   点間の各線分が対応するようにし、この対応する線分に
   対応する輪郭線上にそれぞれ分割端点を設けて２分割し
   てこの分割端点と前記対応する線分の一方の端点とを結
   んで第１線分とし、この分割端点と前記対応する線分の
   他方の端点とを結んで第２線分とし、前記２フレームの
   各前記第１線分の特徴量の差と各前記第２線分の特徴量
   の差が共に小さくなるように前記分割端点の位置を決定
   し、このような分割を繰り返して前フレームと後フレー
   ムの各線分の対応付けを行うことを特徴とする時系列画
   像の輪郭線対応方法。 ４）時系列画像中の連続する２フレームを入力しそれぞ
   れのフレームの閉領域ごとにラベル付けしたラベル画像
   を生成する画像入力部（１）と、このラベル画像を入力
   して対応する閉領域のラベルを同じラベルとした対応付
   けラベル画像を生成するフレーム間領域対応部（２）と
   、この対応付けラベル画像を入力すると共に、前記閉領
   域を形成する輪郭線を多角形近似してこの多角形を形成
   する線分の対応づけする処理の制御を行う輪郭線対応制
   御部（３）と、この輪部線対応制御部（３）より前記対
   応付けラベル画像を入力し、前記輪郭線の座標値を出力
   する輪郭線情報抽出部（４）と、前記輪郭線の座標値を
   入力して前記輪郭線を多角形近似し、この多角形近似を
   形成する前記２フレームの各線分の対応付けを行う粗対
   応処理部（５）と、この粗対応処理部（５）で前記２フ
   レームの対応付けした各線分につき、この線分の対応す
   る輪郭線を２分割してその分割端点と各線分の両端点の
   一方の端点とを結ぶ第１線分と、その分割端点と各線分
   の両端点の他方の端点とを結ぶ第２線分を前記２フレー
   ム間でそれぞれ対応させ、このように分割を繰り返して
   多角形近似を行う細分化処理部（６）とを備え、この細
   分化処理部（６）の出力を前記輪郭線対応制御部（３）
   を介して出力することを特徴とする時系列画像の輪郭線
   対応装置。