JP3812763B2 - Key signal generating apparatus and method - Google Patents

Description

を用いて算出される。ここでαは、各画素において色の混合比を決定するキー情報である。
【０００７】
一般に画像における物体の輪郭は、撮像系のフイルタ効果及び物体の運動に起因するぼけのために、ある有限の太さをもつた領域である。この輪郭領域は、本来の物体の色と背景の色とが混合した色をもつている。キー情報の変化と輪郭の色の変化が一致していない場合には、輪郭領域において変色した画素を合成することになるので、合成画像の品質が著しく低下する。このような問題を解決するための方法として、輪郭領域においてキーを緩やかに変化させ、輪郭の色の変化に近づけるようにする方法がある。ここでαが「０」（又は「１」）から「１」（又は「０」）に急激に変化するキーをハードキーと呼び、上述の方法で緩やかに変化するキーをソフトキーと呼ぶ。
【０００８】
すなわち画像のうち注目する対象物を前景（前景画像）とし、それ以外の部分を背景（背景画像）とした場合、画像における前景領域を「１」とすると共に、背景領域を「０」とした２値のキー情報をハードキーと呼ぶ。これに対して、画像にはエイリアスやモーシヨンブラー（動きぼけ）が生ずるが、これらを考慮して、「０」から「１」の範囲の連続した実数値をもつキー情報をソフトキーと呼ぶ。従つてハードキーは、急峻な境目を有する信号（キー信号が「０」（又は「１」）から「１」（又は「０」）に変わる境目の傾斜が急峻な信号）であり、ソフトキーは、滑らかな境目を有する信号（キー信号が「０」（又は「１」）から「１」（又は「０」）に変わる境目の傾斜が滑らかな信号）となる。
【０００９】
この輪郭領域にソフトキーを生成する方法として、「画像合成装置」（特開昭60-232787 号）がある。この「画像合成装置」においては、ハードキーを得た後、このハードキーを用いて輪郭領域を平滑化することにより、輪郭領域をぼかして、見た目上滑らかにするものである。また「画像合成におけるアンチエイリアシング方法」（特開平4-340671号）に記載されている方法は、ハードキー２値画像における輪郭領域の画素パターンを観察し、適当な中間値のαに置き換えることによりソフトキーを得るものである。
【００１０】
しかしながらこれら２つのソフトキー生成方法によつて生成されたソフトキーは、グレー領域（「０」から「１」までの間の値をとる領域）における値が一様なものであるため、例えば前景が動いている場合に生ずるモーシヨンブラーに対処することが困難であつた。
このような問題を解決するためのソフトキー生成方法として、「映像信号合成装置」（特開平5-143493号）、「動画像のための対象物の抽出とはめ込み法」（井上誠善、小山広毅、テレビジヨン学会誌、Vol.47、No.7、pp.999-1005 、1993）及び「ソフトキー生成装置」（特開平5-236347号）がある。
【００１１】
「映像信号合成装置」に記載されている方法は、フレーム間の画素値の変化を検出することにより、この画素値の変化に基づいて物体が移動したか否かを判断し、画素値の変化の大きさに基づいてソトフキーを生成するものである。また「動画像のための対象物の抽出とはめ込み法」及び「ソフトキー生成装置」に記載されている方法は、予め得たハードキーを、物体内部に向かつてα値を削つていくことによりソフトキーを生成するものである。このとき、物体の重心の運動方向と輪郭の各場所におけるエツジ強度を検出し、物体運動によるぶれの影響をαの削り量に反映させている。
【００１２】
【発明が解決しようとする課題】
ところで上述のように、画像における物体の輪郭は、撮像系のフイルタ効果及び物体の運動に起因するぼけのために、ある有限の太さをもつた領域であり、本来の物体の色と背景の色が混合した色をもつている。
ところが上述したソフトキー生成方法は、上述した輪郭抽出方法を用いてハードキーを生成し、このハードキーの輪郭部におけるα値の変化を適当に緩やかにする操作を行うことによりソフトキーを生成しているため、ハードキーを作成した時点において物体色と背景色とが混合した輪郭領域の太さについての情報が失われ、ソフトキーのα値が緩やかに変化する領域と画像の輪郭領域とが一致せず、ソフトキーを精度良く生成することができなかつた。
【００１３】
このような問題を解決する１つの方法として、画像勾配情報を用いることによりソフトキーを精度良く生成することができる。この画像勾配情報を用いたソフトキー生成方法として上述の「ソフトキー生成装置」がある。ところがこの「ソフトキー生成装置」の場合、物体運動によるキーのぶれを確実に回避することができず、また画像勾配を分離して処理したり、予め得たハードキーの内側だけにソフトキー領域を作成するなど、本来の画像勾配とソフトキーの物理的関係とが異なる経験則的な手法を用いているために、ソフトキーを精度良く生成するには実用上未だ不十分であつた。
【００１４】
また上述した「映像信号合成装置」に記載されている方法は、フレーム間の画像勾配を検出することによりキーのぶれ量を推測しているが、通常の画像フレームレートは24フレーム／秒、25フレーム／秒又は30フレーム／秒程度であるため、画像上を高速に運動する物体のぶれ量を正確に測定することは困難であり、このためソフトキーを精度良く生成することができなかなつた。
【００１５】
本発明は以上の点を考慮してなされたもので、対象物の輪郭を表す２本の境界曲線を抽出することにより、キー情報を精度良く生成することのできる輪郭抽出装置、輪郭抽出方法、キー信号生成装置及びキー信号生成方法を提案しようとするものである。
【００１６】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、画像中からキー信号を生成するキー信号生成装置において、対象物の輪郭についての輪郭領域を決定する輪郭領域決定手段と、輪郭領域におけるグラデイエントベクトルを算出するグラデイエントベクトル算出手段と、輪郭領域におけるグラデイエントベクトルに基づき、輪郭領域のエツジに沿つてエツジの内側及び外側における境界位置をそれぞれ複数抽出し、当該各境界位置を表す境界座標情報をエツジの内側及び外側毎に生成して出力する境界座標抽出手段と、境界座標抽出手段の出力に基づき、各境界座標情報によつて表される各形状を近似する２本の境界曲線を対象物の輪郭として生成する境界曲線生成手段と、境界曲線生成手段の出力に基づいて、２本の境界曲線間に形成する曲面の形状を決定する曲面制御情報を算出して出力する曲面制御情報算出手段と、曲面制御情報算出手段の出力に基づいて、各境界曲線によつて挟まれた領域上に曲面を生成し、当該曲面をキー情報として出力する曲線生成手段とを具え、曲面制御情報算出手段は、境界曲線のうち一方の境界曲線をｚ＝１の平面上に位置させると共に、境界曲線のうち他方の境界曲線をｚ＝０の平面上に位置させ、当該境界曲線を相対する縁とする曲線を生成するような曲面制御情報を算出する。
【００１７】
本発明によれば、輪郭領域を囲む２本の境界曲線間に当該境界曲線間を縁とするような曲面が生成されるので、対象物の色が混合する輪郭領域とソフトキー情報の位置とを一致させたキー情報を生成することができる。
【００１８】
【発明の実施の形態】
以下、図面について本発明の一実施例を詳述する。
【００１９】
（１）全体構成
図１において、１は全体として本発明を適用したキー信号生成装置を示し、連続した複数の画像中に存在する対象物の輪郭領域にソフトキーを生成する。
キー信号生成装置１は、輪郭抽出部２及びソフトキー生成部３により構成されている。
【００２０】
キー信号生成装置１は、マウスやタブレツト等の２次元ポインテイングデバイスを入力手段としてオペレータによつて入力された、輪郭のおおまかな形状を示す線分情報、折れ線情報、曲線情報、又は太い筆でなぞつたようなマスク画像情報Ｓ１を、輪郭抽出部２の推定輪郭算出部５で受ける。推定輪郭算出部５は、輪郭領域決定手段として線分情報、折れ線情報、曲線情報又はマスク画像情報Ｓ１に基づいて対象物の輪郭の推定形状（以下、これを推定輪郭と呼ぶ）に応じた推定輪郭情報Ｓ２を得、当該推定輪郭情報Ｓ２を輪郭候補領域決定部６に送出する。
【００２１】
輪郭候補領域決定部６は、輪郭領域決定手段として、推定輪郭情報Ｓ２に基づいて、輪郭が存在すると考えられる領域（以下、これを輪郭候補領域と呼ぶ）を算出し、当該輪郭候補領域に応じた輪郭候補領域情報Ｓ３をグラデイエントベクトル算出部７に送出する。グラデイエントベクトル算出部７は、グラデイエントベクトル算出手段として、輪郭候補領域情報Ｓ３に基づいて輪郭候補領域におけるグラデイエント強度（エツジ強度）を算出することにより輪郭のグラデイエントベクトルを算出した後、当該グラデイエントベクトルに基づいてエツジ強度画像Ｇを生成し、エツジ強度画像Ｇを輪郭経路探査部８及び境界抽出部９に送出する。
【００２２】
輪郭経路探査部８は、エツジ強度画像Ｇに基づいて、輪郭の中心を通過する画素のリスト（以下、これを輪郭座標リストと呼ぶ）Ｄを生成し、当該輪郭座標リストＤを曲線生成部１０に送出する。曲線生成部１０は、輪郭座標リストＤに基づいて得られる輪郭を曲線近似することにより輪郭曲線を生成し、当該輪郭曲線に応じた輪郭曲線情報Ｃを境界抽出部９に送出する。
【００２３】
ここでこのキー信号生成装置１においては、線分情報、折れ線情報、曲線情報又はマスク画像情報Ｓ１より推定輪郭情報Ｓ２を得る方法とは別に、１つ前のフレームである画像ｉ−１の輪郭曲線情報Ｃを用い、動きベクトル推定処理によつて画像ｉ−１の輪郭曲線が現画像ｉにおいてどこに移動したかを推定することにより、現画像ｉにおける推定輪郭情報Ｓ２を得ることができるようになされている。
【００２４】
すなわち動きベクトル推定部１１は、１つ前の画像ｉ−１について、輪郭候補領域決定部６、グラデイエントベクトル算出部７、輪郭経路探査部８、曲線生成部１０を介して得られる輪郭曲線情報Ｃを用いて、当該輪郭曲線情報Ｃに応じた輪郭曲線が現画像ｉにおいてどこに移動したかを推定し、この結果を推定輪郭情報Ｓ２として輪郭候補領域決定部６に送出する。この場合、輪郭候補領域決定部６から曲線生成部１０までの処理は、上述と同様の方法で行われる。
従つて推定輪郭情報Ｓ２を得る方法として動きベクトル推定部１１が選択された場合、曲線生成部１０は、輪郭曲線情報Ｃを遅延回路１２を介して動きベクトル推定部１１にフイードバツクするようになされている。
【００２５】
境界抽出部９はエツジ強度画像Ｇ及び輪郭曲線情報Ｃに基づいて、対象物の輪郭に相当する領域を囲むような２本の境界曲線Ｃ０及びＣ１を生成し、これら２本の境界曲線Ｃ０及びＣ１をソフトキー生成部３に送出する。ソフトキー生成部３は、これら境界曲線Ｃ０及びＣ１間の幅を算出し、当該境界曲線Ｃ０及びＣ１間の幅に基づいて２本の境界曲線間に高さが「０」から「１」まで滑らかに変化する曲面を生成し、この曲面の高さをソフトキーＫの値として画像に書き込む処理を行つてソフトキーＫを算出し出力する。
【００２６】
この場合、ソフトキー生成部３は、対象物の内部側の境界曲線を境界として対象物の内部側領域におけるキー情報を「１」とし、対象物の外部側領域におけるキー情報を「０」とすることにより、ソフトキーＫを生成する。
ここで、後述するように、生成されたソフトキーＫは画像（ｘ、ｙ）のキー情報をｚ値にもつような曲面で定義されたものである。画像合成処理においては、各画素のキー情報が与えられなければならないが、ここで言う曲面で定義されたキーから曲面のｚ値を画像平面上に曲面を垂直に投影した位置に書き込む処理を行うことによりキー画像を得ることができる。この実施例においては、曲面でキー情報を定義したものを含めてソフトキーと呼ぶ。
【００２７】
かくしてこのキー信号生成装置１は、画像中に存在する対象物の輪郭領域にソフトキーＫを精度良く生成することができるようになされている。
【００２８】
（２−１）境界抽出部の構成
本発明の実施例による境界抽出部９の構成を図２に示し、境界抽出部９における境界抽出処理の処理手順について図３に示すフローチヤートを用いて説明する。
境界抽出部９は、境界抽出手段として、ステツプＳＰ１より境界抽出処理を開始し、ステツプＳＰ２及びステツプＳＰ３において、それぞれエツジ強度画像Ｇ（ｘ、ｙ）及び輪郭曲線情報Ｃを境界座標抽出部２１で受ける。
【００２９】
ステツプＳＰ４において、境界抽出部９は、境界座標抽出部２１において、エツジ強度画像Ｇ及び輪郭曲線情報Ｃに基づき、対象物の輪郭のエツジ強度が対象物の内部側領域において所定のしきい値以下となる点ｐ０₀ 〜ｐ０_m-1 を境界位置として輪郭に沿つて複数抽出し、当該抽出した境界位置ｐ０₀ 〜ｐ０_m-1 の座標を表す境界座標リストＰ０を境界座標情報として生成すると共に、対象物の輪郭のエツジ強度が対象物の外部側領域において所定のしきい値以下となる点ｐ１₀ 〜ｐ１_n-1 を境界位置として輪郭に沿つて複数抽出し、当該抽出した境界位置ｐ１₀ 〜ｐ１_n-1 の座標を表す境界座標リストＰ１を境界座標情報として生成し、これら境界座標リストＰ０及びＰ１を境界曲線生成部２２に送出する。
【００３０】
ステツプＳＰ５において、境界抽出部９は、境界曲線生成部２２において、境界座標リストＰ０及びＰ１に基づき、境界座標リストＰ０によつて表される形状を近似する近似曲線（曲線セグメント）ｃ０₀ 〜ｃ０_k-1 を生成してこれら近似曲線ｃ０₀ 〜ｃ０_k-1 で構成される境界曲線Ｃ０を生成すると共に、境界座標リストＰ１によつて表される形状を近似する近似曲線ｃ１₀ 〜ｃ１_l-1 を生成してこれら近似曲線ｃ１₀ 〜ｃ１_l-1 で構成される境界曲線Ｃ１を生成し、ステツプＳＰ６においてこれら２本の境界曲線Ｃ０及びＣ１をソフトキー生成部３に送出する。
【００３１】
（２−１−１）境界座標抽出部の構成
この実施例の場合、境界抽出部９は、図４（Ａ）に示すように、まずエツジ近傍の適当な位置ｐｏをエツジの方向に沿つて適当な間隔で決めた後、各位置ｐｏにおけるエツジの法線方向を算出し、このエツジの法線方向に平行で長さが「１」のベクトルｐｄを決定する。ここで位置ｐｏは、エツジの近傍にあればどこでもよい。
【００３２】
次に境界抽出部９は、各位置ｐｏと当該位置ｐｏでのベクトルｐｄによつて決まるエツジを横切る経路Ｐ上において、後述する境界位置検出方法によつてエツジの境界位置ｐ０_i 及びｐ１_i を検出する（図４（Ｂ））。すなわち境界抽出部９は、各経路Ｐ上においてエツジ強度断面の面積を測定すると共に、エツジ強度が最大となるエツジ強度最大位置ｐｃ_i と当該エツジ強度最大位置ｐｃ_i でのエツジ強度値ｈ_i とを求め、エツジ強度最大値ｈ_i に等しい高さと、エツジ強度最大位置ｐｃ_i を底辺の中心位置に有し、かつ算出したエツジ強度断面の面積に等しい矩形を算出した後、当該矩形の底辺における両端位置をエツジの境界位置ｐ０_i 及びｐ１_i として算出する。これによりエツジ強度にノイズがある場合でもエツジの境界位置ｐ０_i 及びｐ１_i を安定して抽出し得るようになされている。
【００３３】
かくして境界抽出部９は、対象物の内部側領域においてエツジ沿つて得られる内側境界位置ｐ０_i の座標を表す境界座標リストＰ０と、対象物の外部側領域においてエツジに沿つて得られる外側境界位置ｐ１_i の座標を表す境界座標リストＰ１を得ることができるようになされている。
【００３４】
ここでエツジにおける内側境界位置及び外側境界位置の検出原理について図５（Ａ）〜図５（Ｅ）を用いて説明する。図５（Ａ）は画像中において対象物の輪郭が存在する領域を模式的に表したものであり、左側の領域を色Ｂ、右側の領域を色Ｆとする。また中心に輪郭領域が存在し、輪郭領域の画像勾配を濃淡の勾配で表す。ここで輪郭を横切る方向の経路Ｐにおける色の変化の測定結果を図５（Ｂ）に示し、輪郭領域において色Ｂから色Ｆへの色の変化を観察することができる。
【００３５】
図５（Ｃ）は図５（Ｂ）における勾配、すなわち１次微分を示す。勾配の大きさは輪郭領域の境界位置、すなわち内側境界位置ａと外側境界位置ｂとの間で「０」でない値をもち、勾配の面積をｓとする。図５（Ｄ）は以降の処理を分かりやすくするため面積ｓが「１」になるように規格化したことを表すものである。。ここで勾配の大きさの最大値ｈを求め、この最大値ｈをもつ位置ｐｃの周囲に高さｈで面積「１」の矩形を求めることにより、輪郭領域における境界位置を算出し、この境界位置をそれぞれ内側境界位置ｐ０及び外側境界位置ｐ１とする。
【００３６】
ここで上述した境界位置の検出方法がノイズに対して強いことを図６及び図７を用いて説明する。図６（Ａ）はノイズを含む輪郭領域の画像勾配の大きさの一例を示す。この場合、輪郭領域の左側に陰影などの効果によつて緩やかな勾配が生じているものとする。この勾配は輪郭に起因する成分ではない。図６（Ｂ）及び図６（Ｃ）は画像勾配の大きさが小さくなる位置を直接探査し、その位置を輪郭の境界位置とする処理を用いた例を示す。画像勾配が小さくなる位置を検出するためにしきい値Ｔとして小さいしきい値を用いる。このときしきい値Ｔをわずかにしきい値Ｔ′にずらして設定すると、検出される位置ａ及び位置ｂがそれぞれ位置ａ′及び位置ｂに変化する（右側の位置ｂはほとんど影響を受けないものとする）。この方法で求めた境界位置ｐ０及びｐ１を図６に示す。この方法では、しきい値処理で検出した位置が直接境界位置となるので、設定するしきい値の大きさによつて結果が大きく変化する。
【００３７】
一方、図７（Ａ）〜図７（Ｃ）は、上述した本発明の方法で輪郭領域の境界位置を検出するプロセスを示す。図６（Ａ）と同様にノイズがある画像勾配が算出されたとする（図７（Ａ））。本発明の方法ではまず勾配の面積を計算するために画像勾配の大きさが小さくなる位置を測定する必要がある。この手順（図７（Ｂ））を図６（Ｂ）と同じにすると、上述の場合と同様に、勾配の面積を計算する領域の大きさは設定するしきい値の大きさによつて大きく変化する。しかしながら輪郭における勾配の大きさは十分に大きいため、算出した勾配の面積全体に対するノイズ領域の面積の割合は小さい。
【００３８】
勾配の面積と同じ面積の矩形を算出する過程を図７（Ｃ）に示す。ノイズ領域の面積の影響が小さいので、異なるしきい値から得られる矩形の高さｈとｈ′の違いを小さく抑えることができる。従つて図７（Ｄ）に示すように、その矩形から得られる輪郭領域の境界位置はほとんど変わらないように得ることができる。
【００３９】
ここで実際の画像においては、輪郭に起因する画像勾配成分だけでなく、物体内部のテクスチヤや陰影などに起因する成分が存在するので、上述したノイズの影響は無視できない。従つて上述した本発明の方法によればノイズの影響を実用上十分に回避することができる。
【００４０】
境界座標抽出部２１の構成を図８に示し、境界座標抽出部２１における境界抽出処理の処理手順について図９に示すフローチヤートを用いて説明する。
境界座標抽出部２１は、境界座標抽出手段として、ステツプＳＰ１より境界座標抽出処理を開始し、ステツプＳＰ２において輪郭曲線情報Ｃを経路算出部２３で受けると共に、ステツプＳＰ３において、エツジ強度画像Ｇをそれぞれエツジ強度ピーク検出部２４及びエツジ強度断面積算出部２５で受ける。
【００４１】
続いてステツプＳＰ４において、境界座標抽出部２１は、経路算出部２３において、輪郭曲線情報Ｃに基づき、輪郭曲線Ｃ上の適当な位置ｐｏ_i と当該位置ｐｏ_i でのベクトルｐｄ_i との対をエツジの方向に複数個（｛ｐｏ₀ ，ｐｄ₀ ｝、……、｛ｐｏ_m-1 ，ｐｄ_m-1 ｝）算出し、これら位置ｐｏ_i 及びベクトルｐｄ_i の対を経路情報としてエツジ強度ピーク検出部２４及びエツジ強度断面積算出部２５に送出する。
【００４２】
次いでステツプＳＰ５において、境界座標抽出部２１は、エツジ強度ピーク検出部２４において、エツジ強度画像Ｇ及び経路情報（位置ｐｏ_i 及びベクトルｐｄ_i の対）に基づき、位置ｐｏ_i 及びベクトルｐｄ_i の対で決まる各経路Ｐ上において、エツジ強度最大値ｈ_i を検出すると共に、当該エツジ強度最大値ｈ_i の位置（以下、これをエツジ強度最大位置と呼ぶ）ｐｃ_i を算出し、これらエツジ強度最大値ｈ_i 及びエツジ強度最大位置ｐｃ_i をそれぞれエツジ強度断面積算出部２５及び矩形算出部２６に送出する。
【００４３】
続いてステツプＳＰ６において、境界座標抽出部２１は、エツジ強度断面積算出部２５において、エツジ強度画像Ｇ、位置ｐｏ_i 及びベクトルｐｄ_i の対、エツジ強度最大値ｈ_i 及びエツジ強度最大位置ｐｃ_i に基づき、位置ｐｏ_i 及びベクトルｐｄ_i の対で決まる各経路Ｐ上において、エツジ強度を積分した値ｓ_i を算出し、当該積分値ｓ_i をエツジ強度の断面積として矩形算出部２６に送出する。
【００４４】
次いでステツプＳＰ７において、境界座標抽出部２１は、矩形算出部２６において、エツジ強度最大値ｈ_i 、エツジ強度最大位置ｐｃ_i 及び積分値ｓ_i に基づき、各経路Ｐ上においてエツジ強度最大位置ｐｃ_i を基準位置として当該基準位置から各経路Ｐ上の両側に（ｓ_i ／ｈ_i ）＊ｃだけ離れた位置を輪郭領域における境界位置、すなわち内側境界位置ｐ０_i 及び外側境界位置ｐ１_i として算出し（図４（Ｂ））、ステツプＳＰ８において内側境界位置ｐ０_i の座標を表す境界座標リストＰ０と、外側境界位置ｐ１_i の座標を表す境界座標リストＰ１を境界曲線近似部２２に送出し、ステツプＳＰ９において境界座標抽出処理を終了する。ここでｃは予め与えられた定数値であり、0.5 前後の値が用いられる。
【００４５】
（２−１−１−１）経路算出部の構成
経路算出部２３の構成を図１０に示し、経路算出部２３における経路算出処理について図１１に示すフローチヤートを用いて説明する。
経路算出部２３は、経路算出手段として、ステツプＳＰ１より経路算出処理を開始し、ステツプＳＰ２において、輪郭曲線情報Ｃを計算点抽出回路２３Ａで受ける。
【００４６】
続いてステツプＳＰ３において、経路算出部２３は、計算点抽出手段としての計算点抽出回路２３Ａにおいて、予め定めた適当な間隔ｄｔで輪郭曲線情報Ｃによつて表される曲線Ｃ上における始点から終点までｎ個の位置を計算点ｐｏ_i （ｐｏ_o 、ｐｏ₁ 、……、ｐｏ_n-1 ）として抽出してこれら計算点ｐｏ_i でなる計算点座標リストＰｏを生成し、ステツプＳＰ４において、計算点座標リストＰｏをエツジ強度ピーク検出部２４、エツジ強度断面積算出部２５及び方向算出回路２３Ｂに送出する。ここで曲線Ｃは、パラメータｔがｔs からｔe の範囲で定義されているものとする。また「WHILE Ａ｛Ｂ｝」は、「Ａが真である間は、処理Ｂを繰り返す」ということを意味する。
【００４７】
続いてステツプＳＰ５において、経路算出部２３は、方向算出手段としての方向算出回路２３Ｂにおいて、各計算点ｐｏ_i において、曲線Ｃの接線ベクトルｔｇを算出した後、当該各接線ベクトルｔｇと直角をなす単位ベクトルｐｄ_i を法線方向として算出してこれら単位ベクトルｐｄ_i でなる方向ベクトルリストＰｄを生成し、ステツプＳＰ６において、方向ベクトルリストＰｄをエツジ強度ピーク検出部２４及びエツジ強度断面積算出部２５に送出し、ステツプＳＰ７において経路算出処理を終了する。
【００４８】
（２−１−１−２）エツジ強度ピーク検出部及びエツジ強度断面積算出部の構成エツジ強度ピーク検出部２４におけるエツジ強度ピーク検出処理及びエツジ強度断面積算出部２５におけるエツジ強度断面積算出処理について図１２に示すフローチヤートを用いて説明する。
【００４９】
エツジ強度ピーク検出部２４及びエツジ強度断面積算出部２５は、ステツプＳＰ１よりエツジ強度ピーク検出処理及びエツジ強度断面積算出処理を開始し、ステツプＳＰ２において、それぞれエツジ強度画像Ｇ、計算点座標リストＰｏ及び方向ベクトルリストＰｄを受ける。
【００５０】
続いてステツプＳＰ３において、エツジ強度ピーク検出部２４は、エツジ強度ピーク検出手段として計算点座標リストＰｏ及び方向ベクトルリストＰｄのそれぞれ対応する計算点ｐｏ_i 及び単位ベクトルｐｄ_i によつて決まる各経路Ｐ上において、エツジ強度画像Ｇに基づきエツジ強度最大値ｈ_i 及びエツジ強度最大位置ｐｃ_i を検出してエツジ強度最大値ｈ_i でなるエツジ強度最大値リストＨ及びエツジ強度最大位置ｐｃ_i でなるエツジ強度最大位置リストＰｃを生成し、当該エツジ強度最大値リストＨ及びエツジ強度最大位置リストＰｃをエツジ強度断面積算出部２５に送出する。
ここでステツプＳＰ３において、ｋは適当なスカラを表す。
【００５１】
次いでステツプＳＰ４において、エツジ強度断面積算出部２５は、エツジ強度断面積算出手段として計算点座標リストＰｏ及び方向ベクトルリストＰｄのそれぞれ対応する計算点ｐｏ_i 及び単位ベクトルｐｄ_i によつて決まる各経路Ｐ上において、エツジの一端からエツジ強度最大位置ｐｃ_i を通過してエツジの他端までの区間、すなわちエツジ強度最大位置ｐｃ_i を基準位置として当該基準位置を中心に各経路上の両側にそれぞれ１点ずつ位置ａ及び位置ｂを境界位置として求めて当該位置ａ及び位置ｂを結ぶ線分ａｂを積分区間とし、当該積分区間ａｂにおけるエツジ強度値の総和を計算することによりエツジ強度の断面積ｓ_i を算出し、断面積ｓ_i でなる断面積リストＳを生成する。これにより最初に与えられた輪郭を横切る経路があいまいな場合でも、輪郭を正しく横切るようにエツジ強度の断面積を算出し得るようになされている。
【００５２】
ここで位置ａ及び位置ｂを求める処理は、エツジ強度最大位置ｐｃ_i を基準位置として、エツジ強度が予めエツジ強度最大値ｈ_i のスカラｋ倍で設定したしきい値より最初に小さくなる位置を、基準位置を中心に経路Ｐに沿つて両方向に順次探査することにより行われる。図１２のステツプＳＰ４において、ｄは経路Ｐ上のエツジ強度をサンプルするために予め定めたスカラである。
【００５３】
次いでステツプＳＰ５において、エツジ強度ピーク検出部２４は、エツジ強度最大位置リストＰｃ及びエツジ強度最大値リストＨを矩形算出部２６に送出し、エツジ強度断面積算出部２５は、断面積リストＳを矩形算出部２６に送出し、ステツプＳＰ６においてエツジ強度ピーク検出処理及びエツジ強度断面積算出処理を終了する。
【００５４】
実際上、図１３に示すように、エツジ強度断面積算出部２５は、積分区間算出回路２５Ａ及び積分回路２５Ｂによつて構成されている。積分区間算出回路２５Ａは、エツジ強度最大位置ｐｃ_i を基準位置として、エツジ強度がエツジ強度最大値ｈ_i のスカラｈ倍で設定したしきい値より最初に小さくなる経路上の２点を、基準位置を中心に両方向に経路端点ａ及びｂとして算出し、端点ａ及びｂを結ぶ線分ａｂを積分区間ａｂとして算出し、各経路Ｐ上において算出した積分区間ａｂでなる積分区間リストＡＢを積分回路２５Ｂに送出する。積分回路２５Ｂは、積分区間リストＡＢを基に、各積分区間ａｂおけるエツジ強度値を積分することにより、エツジ強度の断面積ｓ_i を算出し、断面積ｓ_i でなる断面積リストＳを生成して矩形算出部２６に送出する。
【００５５】
ここで上述のように、エツジ強度ピーク検出部２４及びエツジ強度断面積算出部２５は、エツジを横切る経路Ｐ上の点におけるエツジ強度値を算出する必要がある。この場合、経路Ｐ上の位置は必ずしも画素格子上にあるとは限らないので、この実施例においては、エツジ強度ピーク検出部２４及びエツジ強度断面積算出部２５は、サブピクセル精度の計算を実現するものとして画像補間手段（図示せず）を有する。この画像補間手段は、画素格子上にない位置におけるエツジ強度値を得るために、画像と実数座標とを入力とし、実数座標上の画像値を出力するようになされている。
【００５６】
画像補間手段における画像補間処理について図１４に示すフローチヤートを用いて説明する。
画像補間手段は、ステツプＳＰ１より画像補間処理を開始し、ステツプＳＰ２及びステツプＳＰ３において、それぞれ画像Ｉ_i （ｘ、ｙ）及び実数座標（ｘｆ、ｙｆ）を受けた後、ステツプＳＰ４において、補間フイルタの重み関数を定義する。
【００５７】
ここで補間フイルタの重み関数としては、「画像理解のためのデイジタル画像処理（Ｉ）」（鳥脇純一郎、昭晃堂）、「画像解析ハンドブツク」（高木幹雄、下田陽久、東京大学出版会、1991）に記載されている方法を利用する。例えば次式
【数２】

で表される関数を用いることができる。ここでｘ＊＊ｙはｘのｙ乗を表す。
【００５８】
次いで画像補間手段は、ステツプＳＰ５において、画像Ｉ_i と重み関数の畳み込みを計算することにより、関数Ｉｃ（ｘ、ｙ）を作成した後、ステツプＳＰ６において、当該関数Ｉｃを実数座標上の画像値として出力し、ステツプＳＰ７において画像補間処理を終了する。
かくしてエツジ強度ピーク検出部２４及びエツジ強度断面積算出部２５は、それぞれエツジ強度最大値ｈ_i 及びエツジ強度断面積ｓ_i を精度良く算出し得るようになされている。
【００５９】
（２−１−２）境界曲線生成部の構成
境界曲線生成部２２の構成を図１５に示す。境界曲線生成部２２は、境界曲線生成手段として、境界座標抽出部２１から供給される境界座標リストＰ０及びＰ１を、それぞれ入力座標分割回路２２Ａ、連結条件算出回路２２Ｂ及び曲線近似回路２２Ｃで受ける。入力座標分割回路２２Ａは、それぞれ境界座標リストＰ０及びＰ１によつて表される各形状をそれぞれ分割する分割点（｛ｅ０₀ 、ｅ０₁ 、……、ｅ０_m-1 ｝、｛ｅ１₀ 、ｅ１₁ 、……、ｅ１_m-1 ｝）の座標リスト（以下、これを分割点座標リストと呼ぶ）Ｅ０及びＥ１を生成し、これを連結条件算出回路２２Ｂ及び曲線近似回路２２Ｃに送出する。
【００６０】
すなわち入力座標分割回路２２Ａは、それぞれ境界座標リストＰ０及びＰ１における境界位置ｐ０_i 及びｐ１_i の離散的な並びから、求める形状の次数を局所的に推定する。この場合、境界座標リストＰ０及びＰ１は分割された各セグメントにおける形状の次数が大きくならないように分割する。例えば各分割点を曲率の大きさに基づいて決定することにより、座標データ数に依存せずに各セグメントにおける次数を決定することができるので、各セグメントにおける次数が大きくなることを防止し得るようになされている。
【００６１】
連結条件算出回路２２Ｂは、境界座標リストＰ０及びＰ１と分割点座標リストＥ０及びＥ１とに基づいて、それぞれ各分割点における連結条件、すなわちＧ１連続性を満たす連結条件を算出し、連結条件リストＲＶ０及びＲＶ１として曲線近似回路２２Ｃに送出する。すなわち連結条件算出回路２２Ｂは、分割点座標リストＰ０における各分割点の連結位置を一致させるための連結位置の座標ｒ０_i と、連結位置ｒ０_i における速度方向を一致させるための速度ベクトルｖ０_i との対（すなわち接線）を連結条件リストＲＶ０として算出すると共に、分割点座標リストＰ１における各分割点の連結位置を一致させるための連結位置の座標ｒ１_i と、連結位置ｒ１_i における速度方向を一致させるための速度ベクトルｖ１_i との対（すなわち接線）を連結条件リストＲＶ１として算出する。この場合、連結位置の座標と分割点の座標とは必ずしも一致しない。
【００６２】
曲線近似回路２２Ｃは、隣接する分割点で区切られる各セグメントを、これら分割点における連結条件を満たすように最小２乗法を用いて曲線近似することにより、隣接する分割点間における近似曲線ｃ０_i 及びＣ１_i を曲線セグメントｃ０_i 及びｃ１_i として算出し、当該曲線セグメントｃ０_i でなる近似曲線群及び曲線セグメントｃ１_i でなる近似曲線群をそれぞれ境界曲線Ｃ０及びＣ１としてソフトキー生成部３に送出する。これによりエツジ強度にノイズが含まれている場合でも、境界曲線Ｃ０及びＣ１を精度良く生成することができるようになされている。
【００６３】
境界曲線生成部２２における境界曲線生成処理について図１６に示すフローチヤートを用いて説明する。ここでは境界座標リストＰ０から境界曲線Ｃ０を生成する場合について説明する。
【００６４】
境界曲線生成部２２は、ステツプＳＰ１より境界曲線生成処理を開始し、ステツプＳＰ２において、境界座標抽出部２１から境界座標リストＰ０を受け、ステツプＳＰ３において、境界座標リストＰ０に基づいて分割点（ｅ０₀ 、ｅ０₁ 、……、ｅ０_m-1 ）でなる分割点座標リストＥ０を作成する。続いて境界曲線生成部２２は、ステツプＳＰ４において、境界座標リストＰ０及び分割点座標リストＥ０に基づいて、各分割点ｅ０_i 近傍における形状に近似した近似曲線を算出し、当該近似曲線における分割点ｅ０_i 近傍での連結位置ｒ０_i 及び速度ベクトルｖ０_i （接線）を、各セグメントを曲線近似するための連結条件ＲＶ０として算出する。
【００６５】
次いで境界曲線生成部２２は、ステツプＳＰ５において、隣接する分割点ｅ０_i 及びｅ０_i+1 で区切られる各セグメントを、これら分割点ｅ０_i 及びｅ０_i+1 における連結条件ｒ０_i 、ｖ０_i ｒ０_i+1 及びｖ０_i+1 を満たすように最小２乗法を用いて曲線近似することにより得られる近似曲線を曲線セグメントｃ０_i として算出し、ステツプＳＰ６において、これら曲線セグメントｃ０₀ 、ｃ０₁ 、……、ｃ０_n-1 を境界曲線Ｃ０として出力し、ステツプＳＰ７において境界曲線生成処理を終了する。
【００６６】
以上の処理を境界座標リストＰ１に対して行うことにより、境界座標リストＰ１より境界曲線Ｃ１を算出し、境界曲線生成部２２は、各境界曲線Ｃ０及びＣ１をソフトキー生成部３に送出する。
【００６７】
（２−２）ソフトキー生成部の構成
ソフトキー生成部３の構成を図１７に示し、ソフトキー生成部３におけるソフトキー生成処理について図１８に示すフローチヤートを用いて説明する。
ソフトキー生成部３は、ステツプＳＰ１よりソフトキー生成処理を開始し、ステツプＳＰ２において、境界曲線Ｃ０及びＣ１を曲面制御情報算出回路３Ａで受ける。
【００６８】
次いでステツプＳＰ３において、ソフトキー生成部３は、曲面制御情報算出手段としての曲面制御情報算出回路３Ａにおいて、対応する近似曲線ｃ０_i 及びｃ１_i 毎に曲面を生成するための曲面制御情報ｆ０_i 及びｆ１_i を算出し、当該曲面制御情報ｆ０_i 及びｆ１_i を曲面生成回路３Ｂに送出する。ここで曲面制御情報ｆ０及びｆ１は（ｘ、ｙ、ｚ）空間上の曲線である。（ｘ、ｙ）平面は画像に平行であり、ｚ軸は画像に垂直である。ｉ番目の曲面制御情報ｆ０_i はｚ＝０の平面上に曲線セグメントｃ０_i を描いたものである。また曲面制御情報ｆ１_i はｚ＝１の平面上に曲線セグメントｆ１_i を描いたものである。
【００６９】
次いでステツプＳＰ４において、ソフトキー生成部３は、曲面生成手段としての曲面生成回路３Ｂにおいて、対応する各曲線セグメントｃ０_i 及びｃ１_i 毎に、それぞれ対応する曲面制御情報ｆ０_i 及びｆ１_i を用いて（ｘ、ｙ）空間上の曲面ｒ_i を生成し、曲面ｒ₀ 、ｒ₁ 、……、ｒ_k-1 でなる曲面群Ｒをソフトキー情報Ｋとして出力する。ここでｉ番目の曲線セグメントにおける曲面ｒ_i は次式
【数３】

のようにパラメータｓで表現できる。
【００７０】
（２−３）実施例の動作及び効果
以上の構成において、このキー信号生成装置１は、エツジ強度画像Ｇに基づいて、輪郭領域のエツジに沿つてエツジの内側及び外側における境界位置をそれぞれ複数抽出し、エツジの内側及び外側毎に各境界位置の座標を表す境界座標リストＰ０及びＰ１を作成し、境界座標リストＰ０によつて表される形状を近似する境界曲線Ｃ０を生成すると共に、境界座標リストＰ１によつて表される形状を近似する境界曲線Ｃ１を生成する。
【００７１】
続いてキー信号生成装置１は、境界曲線Ｃ０及びＣ１に基づいて、対応する曲線セグメントｃ０_i 及びｃ１_i 毎に曲面を生成するための曲面制御情報ｆ０_i 及びｆ１_i を算出した後、対応する曲線セグメントｃ０_i 及びｃ１_i 毎に、それぞれ対応する曲面制御情報ｆ０_i 及びｆ１_i を用いて曲面ｒ_i を生成し、これら曲面ｒ_i でなる曲面群Ｒをソフトキー情報Ｋとして出力する。
【００７２】
従つてこのキー信号生成装置１は、対象物の輪郭を、画像勾配の大きさが「０」でない領域を囲む２本の境界曲線Ｃ０及びＣ１として抽出するので、境界曲線Ｃ０及びＣ１によつて囲まれる領域にα値の勾配を作成することができる。これにより対象物の色が混合する輪郭領域の位置が必要な場合に特に有効な情報を与えることができる。
またこのキー信号生成装置１は、輪郭領域を囲む２本の境界曲線Ｃ０及びＣ１間に、当該各境界曲線Ｃ０及びＣ１を縁とするような曲面を生成したので、対象物の色が混合する輪郭領域とソフトキー情報の位置とを一致させたキー情報を生成することができる。
【００７３】
以上の構成によれば、輪郭曲線Ｃ上の点ｐｏ_i と当該位置ｐｏ_i でのベクトルｐｄ_i との対をエツジの方向に複数個算出し、これら位置ｐｏ_i 及びベクトルｐｄ_i で決まる各経路Ｐ上においてエツジ強度最大値ｈ_i 及びエツジ強度最大位置ｐｃ_i を算出すると共にエツジ強度を積分した値ｓ_i を算出し、各経路Ｐ上においてエツジ強度最大位置ｐｃ_i を基準位置として当該基準位置から各経路Ｐ上の両側に（ｓ_i ／ｈ_i ）＊ｃだけ離れた位置を内側境界位置ｐ０_i 及び外側境界位置ｐ１_i として算出し、内側境界位置ｐ０_i の座標を表す境界座標リストＰ０及び外側境界位置ｐ１_i の座標を表す境界座標リストＰ１によつてそれぞれ表される各形状をそれぞれ分割する分割点でなる座標リストＥ０及びＥ１を生成すると共に各分割点における連結条件ＲＶ０及びＲＶ１を算出し、隣接する分割点で区切られる各セグメントを、これら分割点における連結条件を満たすように最小２乗法を用いて曲線近似することにより、隣接する分割点間における曲線セグメントｃ０_i 及びＣ１_i を算出した後、対応する曲線セグメントｃ０_i 及びｃ１_i 毎に曲面制御情報ｆ０_i 及びｆ１_i を作成し、対応する曲線セグメントｃ０_i 及びｃ１_i 毎に、それぞれ対応する曲面制御情報ｆ０_i 及びｆ１_i を用いて曲面ｒ_i を生成し、これら曲面ｒ_i でなる曲面群Ｒをソフトキー情報Ｋとして出力したことにより、対象物の輪郭を、画像勾配の大きさが「０」でない領域を囲む２本の境界曲線Ｃ０及びＣ１として抽出し得るので、境界曲線Ｃ０及びＣ１によつて囲まれる領域にα値の勾配を作成することができると共に、輪郭領域を囲む２本の境界曲線Ｃ０及びＣ１間に当該各境界曲線Ｃ０及びＣ１を縁とするような曲面Ｒを生成したので、対象物の色が混合する輪郭領域とソフトキー情報の位置とを一致させたキー情報を生成することができる。
かくしてキー情報を精度良く生成することのできる輪郭抽出部２、輪郭抽出方法、キー信号生成装置１及びキー信号生成方法を実現することができる。
【００７４】
また上述の構成によれば、グラデイエントベクトルに基づいて輪郭座標リストＤを作成し、当該輪郭座標リストＤによつて表される形状を近似することによつて得た輪郭曲線情報Ｃに基づいて、計算点座標リストＰｏ及び方向ベクトルリストＰｄを算出したので、対象物の輪郭領域とソフトキーの位置とを一段と一致させたキー情報を生成することができる。
【００７５】
さらに上述の構成によれば、エツジを横切る経路Ｐ上における点のエツジ強度を算出する際、画像補間手段を用いてサブピクセル精度で経路Ｐ上における点のエツジ強度を算出したので、エツジ強度最大値ｈ_i 及びエツジ強度断面積ｓ_i の精度を格段的に向上させることができる。
【００７６】
さらに上述の構成によれば、エツジを横切る方向においてエツジ強度最大値ｈ_i 及びエツジ強度断面積ｓ_i を算出し、エツジ強度最大値ｈ_i 及びエツジ強度断面積ｓ_i に基づいて内側境界位置ｐ０_i 及び外側境界位置ｐ１_i を算出したので、エツジ強度にノイズがある場合でも、対象物の輪郭領域を精度良く抽出することができる。
【００７７】
さらに上述の構成によれば、計算点座標リストＰｏ及び方向ベクトルリストＰｄのそれぞれ対応する計算点ｐｏ_i 及び単位ベクトルｐｄ_i によつて決まる各経路Ｐ上において、エツジ強度最大位置ｐｃ_i を基準位置として当該基準位置から各経路Ｐ上の両側にそれぞれ１点ずつ位置ａと位置ｂとを経路端点として求めて当該端点ａ及び端点ｂを結ぶ線分ａｂを積分区間とし、当該積分区間ａｂにおけるエツジ強度値の総和を計算することによりエツジ強度の断面積ｓ_i を算出したので、最初に与えられた輪郭を横切る経路があいまいでも実際の輪郭を正しく横切るように断面積を算出することができ、これにより対象物の輪郭領域を精度よく抽出することができる。
【００７８】
さらに上述の構成によれば、境界座標リストＰ０、Ｐ１及び分割点座標リストＥ０、Ｅ１に基づいて、各分割点近傍における形状に近似した近似曲線を算出し、当該近似曲線における分割点近傍での接線ｒ０_i 、ｖ０_i 及び接線ｒ１_i 、ｖ１_i を各セグメントを曲線近似するための連結条件ＲＶ０及びＲＶ１として算出し、隣接する分割点で区切られる各セグメントを、これら分割点における連結条件を満たすように最小２乗法を用いて曲線近似してそれぞれ曲線セグメントｃ０_i 及びｃ１_i を算出したので、エツジ強度にノイズが含まれている場合でも境界曲線Ｃ０及びＣ１を精度良く生成することができる。また境界曲線Ｃ０及びＣ１を滑らかに連結することができるので、ソフトキー生成部３における曲面制御処理を容易に行うことができる。
【００７９】
さらに上述の構成によれば、境界曲線Ｃ０及びＣ１の一方をｚ＝１の平面上に位置させ、他方をｚ＝０の平面上に位置させて境界曲線Ｃ０及びＣ１を縁とする曲面を生成するようにしたので、曲面制御処理を容易に行うことができると共に、ｚ値が「０」から「１」まで変化する曲面を輪郭領域において決定することができる。このｚ値をキー情報αとみなして画像に書き込むことによつてソフトキー画像を得ることができる。
【００８０】
さらに上述の構成によれば、現画像ｉと、既に輪郭曲線情報Ｃとして輪郭曲線Ｃが得られている１フレーム前の画像ｉ−１と、当該画像ｉ−１の輪郭曲線情報Ｃとに基づいて現画像ｉについての推定輪郭情報Ｓ２を得るようにしたので、オペレータが入力手段４を用いて対象物の輪郭のおおまかな形状を表す折れ線情報、曲線情報又は線図形２値画像情報をその都度入力する場合に比して、作業効率を大幅に向上させることができ、特に動画像に対して有効である。
【００８１】
（３）他の実施例
なお上述の実施例においては、経路算出手段として経路算出部２３を用いて、曲線生成部１０から供給される輪郭曲線Ｃに基づいて計算点座標リストＰｏ及び方向ベクトルリストＰｄを算出した場合について述べたが、本発明はこれに限らず、図１０との対応部分に同一符号を付した図１９に示すような経路算出部３０を用いてもよい。この経路算出部３０における経路算出処理について図２０に示すフローチヤートを用いて説明する。
【００８２】
経路算出部３０は、ステツプＳＰ１より経路算出処理を開始し、ステツプＳＰ２において、グラデイエントベクトル算出部７から供給されるエツジ強度画像Ｇを細線化手段としての細線化回路３０Ａで受けた後、ステツプＳＰ３において、エツジ強度を指標としてエツジ強度画像Ｇを細線化回路３０Ａで細線化処理することにより輪郭の位置を表す線図形２値画像Ｂ（ｘ、ｙ）を算出し、当該線図形２値画像Ｂを座標変換手段としての座標リスト変換回路３０Ｂに送出する。ここで細線化処理としては、例えば上述の「画像合成のための対象物抽出法」に記載されている方法を用いることができる。
【００８３】
また細線化回路３０Ａによつてエツジ強度画像Ｇから線図形２値画像Ｂを生成したが、例えばＣＲＴなどの表示手段の表示画面上に対象とする画像を表示し、入力手段４から画像中の対象物の軌跡を入力することにより、線図形２値画像を得るようにしてもよい。従つてこの場合には、入力手段４から入力された対象物の軌跡に応じた線図形２値画像は直接座標リスト変換回路３０Ｂに入力される。
【００８４】
続いてステツプＳＰ４において、経路算出部３０は、座標リスト変換回路３０Ｂにおいて、線図形２値画像Ｂより座標リストＬを算出し、当該座標リストＬを計算点抽出回路２３Ａ及び方向算出回路２３Ｂに送出する。この座標リストＬは、ｍ個のベクトルｌ_i （ｉ＝０〜ｍ−１）の配列でなる。すなわち座標リストＬは、チエーンコーデイング（Chain Coding）と呼ばれる方法を用いて、線図形２値画像Ｂのある点から線図形を辿る処理を行うことによつて画像からベクトルデータへの変換を行うことにより得ることができる。
【００８５】
次いでステツプＳＰ５において、経路算出部３０は、計算点抽出回路２３Ａにおいて、予め定めた間隔ｄｔで座標リストＬの始点から終点までｎ個の位置を計算点ｐｏとして抽出し、ステツプＳＰ６において当該計算点ｐｏでなる計算点リストＰｏを方向算出回路２３Ｂ、エツジ強度ピーク検出部２４及びエツジ強度断面積算出部２５に送出する。
【００８６】
続いてステツプＳＰ７において、経路算出部３０は、方向算出回路２３Ｂにおいて、各計算点ｐｏ_i における接線ベクトルｔｇを座標リストＬに基づいて算出し、ステツプＳＰ８において当該接線ベクトルｔｇと直角をなす単位ベクトル（法線方向）ｐｄ_i を算出し、当該単位ベクトルｐｄ_i でなる方向ベクトルリストＰｄをエツジ強度ピーク検出部２４及びエツジ強度断面積算出部２５に送出し、ステツプＳＰ９において経路算出処理を終了する。
【００８７】
また上述の実施例においては、境界抽出部として境界抽出部９を用いた場合について述べたが、本発明はこれに限らず、図８、図１０及び図１５との対応部分に同一符号を付した図２１に示すような境界抽出部４０を用いてもよい。
この場合、境界抽出部４０は、境界座標抽出部４１における経路算出部４２の計算点抽出回路４２Ａにおいて作成された分割点座標リストＥを境界曲線生成部４３の連結条件算出部２２Ｂで受けるようになされている。
【００８８】
すなわち計算点抽出部４２Ａは、入力される輪郭曲線情報Ｃに応じた曲線Ｃ上の位置を計算点ｐｏ_i として所定の間隔で抽出することにより作成した計算点リストＰｏ中の適当なサブセツトを分割座標リストＥとして作成し、これを連結条件算出部２２Ｂに送出する。ここで連結条件算出部２２Ｂには、境界座標リストＰ０及びＰ１が入力されるので、分割座標リストＥがそのサブセツトであることは保証される。
【００８９】
従つてこの境界抽出部４０は、境界抽出部９に比して入力座標分割部２２Ａの分だけ構成が簡易になり、これによりキー信号生成装置１の構成を簡略化することができる。また曲線近似部２２Ｃから出力される境界曲線Ｃ０及びＣ１をそれぞれ構成する曲線セグメントｃ０_i 及びｃ１_i の数は同数（すなわち図３のステツプＳＰ５においてｋ＝ｌ）となるので、ソフトキー生成部３における処理を容易にすることができる。
【００９０】
さらに上述の実施例においては、曲線生成部１０から供給される輪郭曲線情報Ｃに基づいて計算点座標リストＰｏ及び方向ベクトルリストＰｄを作成した場合について述べたが、本発明はこれに限らず、例えば推定輪郭情報Ｓ２や輪郭候補領域情報Ｓ３を用いてもよい。また対象物の輪郭についてのおおまかな形状を表す折れ線情報又は曲線情報を入力手段４から入力し、この折れ線情報又は曲線情報を用いて計算点座標リストＰｏ及び方向ベクトルリストＰｄを作成するようにしてもよい。これにより、抽出したい対象物の輪郭を指定することができるので、輪郭抽出を精度良く行うことができる。従つてキー信号生成装置１として、輪郭経路探査部８及び曲線生成部９をもたないキー信号生成装置１に本発明を適用し得る。
【００９１】
ここで入力手段４から折れ線情報又は曲線情報をそれぞれ計算点抽出回路２３Ａ及び入力座標分割回路２２Ａに直接入力させるようにしてもよい。この場合、折れ線情報に応じた折れ線の対応する線分、又は曲線情報に応じた曲線の対応するセグメントに基づいて得た境界座標リストＰ０及びＰ１における対応する境界位置ｐ０_i 及びｐ１_i を１つのセグメントと見なして、これら境界位置ｐ０_i 及びｐ１_i を分割点とすることにより、境界座標リストＰ０及びＰ１を分割する必要がなくなるので、境界曲線生成部２２の構成を入力座標分割回路２２Ａの分だけ簡略化することができ、これによりキー信号生成装置１の構成を簡略化することができる。
【００９２】
さらに上述の実施例においては、エツジ強度画像Ｇを用いて対象物の輪郭を表す境界曲線Ｃ０及びＣ１を生成した場合について述べたが、本発明はこれに限らず、グラデイエントベクトル算出部７で算出したグラデイエントベクトルに基づいて対象物の輪郭を表す境界曲線Ｃ０及びＣ１を生成してもよい。
【００９３】
【発明の効果】
上述のように本発明によれば、対象物の輪郭についての輪郭領域を決定し、輪郭領域におけるグラデイエントベクトルを算出し、輪郭領域におけるグラデイエントベクトルに基づいて、輪郭領域のエツジに沿つてエツジの内側及び外側における境界位置をそれぞれ複数抽出し、当該各境界曲線を表す境界座標情報をエツジの内側及び外側毎に生成し、各境界座標情報によつて表される各形状を近似する２本の境界曲線を対象物の輪郭として生成することにより、対象物の輪郭を、画像勾配の大きさで「０」でない領域を囲む２本の境界曲線として抽出することができるので、境界曲線によつて囲まれる領域にα値の勾配を作成することができ、さらに、画像中における対象物の輪郭について、当該輪郭における内側及び外側における境界位置を表す２本の境界曲線を生成し、各境界曲線間に形成する曲面の形状を決定する曲面制御情報を算出し、曲面制御情報に基づいて各境界曲線によつて挟まれた領域上に曲面を生成し、当該曲面をキー情報として出力することにより、輪郭領域を囲む２本の境界曲線間に当該境界曲線間を縁とするような曲面を生成することができるので、対象物の色が混合する輪郭領域とソフトキー情報の位置とを一致させたキー情報を生成することができる。
かくしてキー情報を精度良く生成することができるキー信号生成装置及びキー信号生成方法を実現することができる。
【図面の簡単な説明】
【図１】本発明を適用したキー信号生成装置の全体構成を示すブロツク図である。
【図２】境界抽出部の構成を示すブロツク図である。
【図３】境界抽出部における境界抽出処理の処理手順を示すフローチヤートである。
【図４】境界座標抽出部における境界位置抽出処理の説明に供する略線図である。
【図５】境界位置の検出原理の説明に供する略線図及びグラフである。
【図６】エツジ強度のノイズに対する強さの説明に供するグラフ及び略線図である。
【図７】エツジ強度のノイズに対する強さの説明に供するグラフ及び略線図である。
【図８】境界座標抽出部の構成を示すブロツク図である。
【図９】境界座標抽出部における境界座標抽出処理の処理手順を示すフローチヤートである。
【図１０】経路算出部の構成を示すブロツク図である。
【図１１】経路算出部における経路算出処理の処理手順を示すフローチヤートである。
【図１２】エツジ強度ピーク検出処理及びエツジ強度断面積算出処理の処理手順を示すフローチヤートである。
【図１３】エツジ強度断面積算出部の構成を示すブロツク図である。
【図１４】画像補間手段における画像補間処理の処理手順を示すフローチヤートである。
【図１５】境界曲線生成部の構成を示すブロツク図である。
【図１６】境界曲線生成部における境界曲線生成処理の処理手順を示すフローチヤートである。
【図１７】ソフトキー生成部の構成を示すブロツク図である。
【図１８】ソフトキー生成部におけるソフトキー生成処理の処理手順を示すフローチヤートである。
【図１９】他の実施例による経路算出部の構成を示すブロツク図である。
【図２０】他の実施例による経路算出部における経路算出処理の処理手順を示すフローチヤートである。
【図２１】他の実施例による境界抽出部の構成を示すブロツク図である。
【符号の説明】
１……キー信号生成装置、２……輪郭抽出部、３……ソフトキー生成部、３Ａ……曲面制御情報算出回路、３Ｂ……曲面生成回路、４……入力手段、５……推定輪郭算出部、６……輪郭候補領域決定部、７……グラデイエントベクトル算出部、８……輪郭経路探査部、９、４０……境界抽出部、１０……曲線生成部、１１……動きベクトル推定部、１２……遅延回路、２１、４１……境界座標抽出部、２２……境界曲線生成部、２２Ａ……入力座標分割回路、２２Ｂ……連結条件算出回路、２２Ｃ……曲線近似回路、２３、３０、４２……経路算出部、２３Ａ、４２Ａ……計算点抽出回路、２３Ｂ……方向算出回路、２４……エツジ強度ピーク検出部、２５……エツジ強度断面積算出部、２５Ａ……積分区間算出回路、２５Ｂ……積分回路、２６……矩形算出部、２６Ａ……積分区間算出回路、２６Ｂ……積分回路、３０Ａ……細線化回路、３０Ｂ……座標リスト変換回路。[0001]
【table of contents】
The present invention will be described in the following order.
TECHNICAL FIELD OF THE INVENTION
Conventional technology
Problems to be solved by the invention
Means for solving the problem
BEST MODE FOR CARRYING OUT THE INVENTION
(1) Overall configuration (Fig. 1)
(2-1) Configuration of boundary extraction unit (FIGS. 2 to 16)
(2-1-1) Configuration of boundary coordinate extraction unit (FIGS. 8 and 9)
(2-1-1-1) Configuration of route calculation unit (FIGS. 10 and 11)
(2-1-1-2) Configuration of Edge Strength Peak Detection Unit and Edge Strength Cross Section Calculation Unit (FIGS. 12 to 14)
(2-1-2) Configuration of boundary curve generation unit (FIGS. 15 and 16)
(2-2) Configuration of Soft Key Generation Unit (FIGS. 17 and 18)
(2-3) Operation and effect of the embodiment
(3) Other embodiments (FIGS. 19 to 21)
The invention's effect
[0002]
BACKGROUND OF THE INVENTION
The present invention relates to a contour extraction device, a contour extraction method, a key signal generation device, and a key signal generation method, and for example, in special effect processing in video production such as television and movies, extracts an image of an object of interest from the image, It is suitable for application when the extracted object image is combined with another image.
[0003]
[Prior art]
Conventionally, in this type of special effect processing, a soft key is used to combine an extracted partial image with another image, and accuracy in extracting an arbitrary partial image from an image is important. Become. In this extraction work, processing such as edge detection, area detection, and association with a known object is necessary. Especially when the background and the object in the image are complicated, the edges constituting the contour of the object are detected. Must be detected and tracked with high accuracy.
[0004]
Here, the edge detection is a process (process for detecting a color change) for detecting a portion in which a pixel value is rapidly changing in a grayscale image. Usually, such a sharp change in the pixel value occurs in the contour of the target object. Therefore, the contour of the target object can be extracted from the image based on the edge detection result. This contour extraction is a basic and important technique used in object recognition, object tracking, image synthesis, and the like. Therefore, it can be said that edge detection is the most basic technique for obtaining information about a target object from an image.
[0005]
In this way, as a contour extraction method for extracting the contour of an object from an image, “object extraction method for image synthesis” (Masayoshi Inoue, IEICE Transactions, vol.J74-D-IINo.10 , Pp.1411-1418, 1991), “Area Extraction Method” (Japanese Patent Laid-Open No. 3-17680), “Automatic Extraction of Complex Objects Based on Region Segmentation” (Mr. Eito, Yoshiaki Shirai, NICOGRAPH'92, pp. 8-17, 1992), “Regional Extractor” (Japanese Patent Laid-Open No. 5-61977), “Contour Tracking Method Based on Elastic Contour Model and Erygie Minimization Principle” (Nobuyoshi Ueda, Kenji Mase, Yasuhito Suenaga, Journal of Science, Vol. J-75-D-II, No.1, pp.111-120, 1992), “Contour Tracking Method of Moving Objects” (Japanese Patent Laid-Open No. 5-12443), “Intelligent Scissors for Image Composition” (Eric N. Mortensen and William A. Barrett, Computer Graphics Proceedings, Annual Coference Series, 1995, ACM SIGGRAPH, pp.191-198) are known.
In these contour extraction methods, the contour is extracted as a single curved line or line figure image so as to pass through substantially the center of the contour of the object.
[0006]
In image composition processing, in order to cut out a region of a target object of interest, processing for extracting the contour of the target object is often performed first. The contour extraction method described above is for application to image composition processing.
In general, in the image composition processing, a composite image I obtained by combining images is obtained from the foreground image F and the background image B by the following formula.
[Expression 1]

Is calculated using Here, α is key information for determining a color mixture ratio in each pixel.
[0007]
In general, the contour of an object in an image is a region having a certain finite thickness due to a filter effect of an imaging system and a blur caused by the motion of the object. This contour region has a color in which the original object color and the background color are mixed. If the change in the key information and the change in the color of the outline do not match, the pixel that has changed color in the outline area is synthesized, so the quality of the synthesized image is significantly reduced. As a method for solving such a problem, there is a method in which a key is gently changed in an outline region so as to approximate a change in the color of the outline. Here, a key in which α changes abruptly from “0” (or “1”) to “1” (or “0”) is called a hard key, and a key that slowly changes in the above-described method is called a soft key.
[0008]
That is, when the target object in the image is the foreground (foreground image) and the other part is the background (background image), the foreground area in the image is “1” and the background area is “0”. The binary key information is called a hard key. On the other hand, aliases and motion blurs (motion blur) occur in the image. In consideration of these, key information having continuous real values in the range of “0” to “1” is called a soft key. . Therefore, the hard key is a signal having a steep boundary (a signal having a steep boundary where the key signal changes from “0” (or “1”) to “1” (or “0”)), and the soft key Is a signal having a smooth boundary (a signal having a smooth boundary where the key signal changes from “0” (or “1”) to “1” (or “0”)).
[0009]
As a method for generating a soft key in this contour region, there is an “image composition device” (Japanese Patent Laid-Open No. 60-232787). In this “image composition device”, after obtaining a hard key, the contour region is smoothed by using the hard key, thereby blurring the contour region and making it visually smooth. In addition, the method described in “Anti-aliasing method in image composition” (Japanese Patent Laid-Open No. 4-340671) is obtained by observing the pixel pattern of the contour area in the hard key binary image and replacing it with α having an appropriate intermediate value. Get a soft key.
[0010]
However, since the soft keys generated by these two soft key generation methods have uniform values in the gray area (areas between “0” and “1”), for example, the foreground It was difficult to cope with motion blur that occurred when the camera was moving.
Soft key generation methods for solving such problems include “video signal synthesizer” (Japanese Patent Laid-open No. 5-143493), “object extraction and fitting method for moving images” (Makoto Yoshie Inoue, Koyama Hiroki, The Journal of the Television Society of Japan, Vol. 47, No. 7, pp. 999-1005, 1993) and “Soft Key Generator” (Japanese Patent Laid-Open No. 5-236347).
[0011]
The method described in “Video Signal Synthesizer” detects whether or not an object has moved based on a change in pixel value by detecting a change in pixel value between frames. The Sotof key is generated based on the size of. In addition, the methods described in “Extraction and fitting method of object for moving image” and “Soft key generation device” are performed by cutting the α value by moving the hard key obtained in advance toward the inside of the object. A soft key is generated. At this time, the motion direction of the center of gravity of the object and the edge intensity at each location of the contour are detected, and the influence of the shake due to the object motion is reflected in the amount of cutting of α.
[0012]
[Problems to be solved by the invention]
By the way, as described above, the contour of the object in the image is an area having a certain finite thickness due to the filter effect of the imaging system and the blur caused by the motion of the object. The colors have a mixed color.
However, in the soft key generation method described above, a hard key is generated using the contour extraction method described above, and the soft key is generated by performing an operation that moderately moderates the change in the α value in the contour portion of the hard key. Therefore, when the hard key is created, information about the thickness of the contour area where the object color and the background color are mixed is lost, and the area where the alpha value of the soft key changes slowly and the contour area of the image They did not match, and the soft keys could not be generated accurately.
[0013]
As one method for solving such a problem, soft keys can be generated with high accuracy by using image gradient information. As a soft key generation method using the image gradient information, there is the above-mentioned “soft key generation device”. However, in the case of this “soft key generation device”, it is not possible to reliably avoid key shake due to object movement, and the image gradient is separated and processed, or the soft key area is only inside the hard key obtained in advance. Since an empirical method such as creating an image with a different physical relationship between the original image gradient and the soft key is used, it is still insufficient in practice to generate the soft key with high accuracy.
[0014]
The method described in the above-mentioned “video signal synthesizer” estimates the blurring amount of the key by detecting the image gradient between frames, but the normal image frame rate is 24 frames / second, 25 Since it is about 30 frames / second or 30 frames / second, it is difficult to accurately measure the amount of blurring of an object that moves at high speed on the image. Therefore, soft keys cannot be generated with high accuracy. .
[0015]
The present invention has been made in consideration of the above points, and by extracting two boundary curves representing the contour of an object, a contour extracting device, a contour extracting method, and the like, which can generate key information with high accuracy, A key signal generation device and a key signal generation method are proposed.
[0016]
[Means for Solving the Problems]
In order to solve such a problem, in the present invention, in a key signal generation device for generating a key signal from an image, a contour region determining means for determining a contour region for the contour of an object, and a gradient vector in the contour region are calculated. And a plurality of boundary positions inside and outside the edge along the edge of the contour area based on the gradient vector calculating means and the gradient vector in the contour area, and the boundary coordinate information representing each boundary position is extracted from the edge Boundary coordinate extraction means that generates and outputs each inside and outside, and two boundary curves that approximate each shape represented by each boundary coordinate information based on the output of the boundary coordinate extraction means And a curved surface formed between the two boundary curves based on the output of the boundary curve generating means A curved surface control information calculating means for calculating and outputting curved surface control information for determining a shape, and a curved surface is generated on an area sandwiched between the boundary curves based on the output of the curved surface control information calculating means. Curve generation means for outputting as a key information, the curved surface control information calculation means positions one boundary curve of the boundary curves on the plane of z = 1, and sets the other boundary curve of the boundary curves to z Surface control information that generates a curve that is positioned on the plane of = 0 and that has the boundary curve as an opposite edge is calculated.
[0017]
According to the present invention, since a curved surface having an edge between the boundary curves is generated between the two boundary curves surrounding the contour region, the contour region where the color of the object is mixed and the position of the soft key information Can be generated.
[0018]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings.
[0019]
(1) Overall configuration
In FIG. 1, reference numeral 1 denotes a key signal generating apparatus to which the present invention is applied as a whole, and generates a soft key in a contour area of an object existing in a plurality of continuous images.
The key signal generation device 1 includes a contour extraction unit 2 and a soft key generation unit 3.
[0020]
The key signal generating device 1 is a line information, a broken line information, a curve information, or a thick brush which is input by an operator using a two-dimensional pointing device such as a mouse or a tablet as an input means. The ragged mask image information S <b> 1 is received by the estimated contour calculation unit 5 of the contour extraction unit 2. The estimated contour calculation unit 5 performs estimation according to an estimated shape of the contour of the target object (hereinafter referred to as an estimated contour) based on line segment information, polygonal line information, curve information, or mask image information S1 as a contour region determination unit. Contour information S2 is obtained, and the estimated contour information S2 is sent to the contour candidate region determination unit 6.
[0021]
The contour candidate region determination unit 6 calculates, as a contour region determination unit, a region where a contour is considered to exist (hereinafter referred to as a contour candidate region) based on the estimated contour information S2, and according to the contour candidate region. The contour candidate area information S3 is sent to the gradient vector calculation unit 7. The gradient vector calculating unit 7 calculates a gradient gradient vector in the candidate contour region based on the candidate contour region information S3 as a gradient vector calculating unit, and then calculates a gradient vector of the contour. An edge intensity image G is generated based on the Yent vector, and the edge intensity image G is sent to the contour path search unit 8 and the boundary extraction unit 9.
[0022]
The contour path exploration unit 8 generates a list of pixels passing through the center of the contour (hereinafter referred to as a contour coordinate list) D based on the edge intensity image G, and uses the contour coordinate list D as the curve generation unit 10. To send. The curve generation unit 10 generates a contour curve by approximating the contour obtained based on the contour coordinate list D, and sends the contour curve information C corresponding to the contour curve to the boundary extraction unit 9.
[0023]
Here, in this key signal generation device 1, the outline of the image i-1 which is the previous frame is separated from the method of obtaining the estimated outline information S2 from the line segment information, the broken line information, the curve information or the mask image information S1. The estimated contour information S2 in the current image i can be obtained by using the curve information C to estimate where the contour curve of the image i-1 has moved in the current image i by the motion vector estimation process. Has been made.
[0024]
That is, the motion vector estimation unit 11 obtains the contour curve information obtained through the contour candidate region determination unit 6, the gradient vector calculation unit 7, the contour path search unit 8, and the curve generation unit 10 for the previous image i-1. C is used to estimate where the contour curve corresponding to the contour curve information C has moved in the current image i, and the result is sent to the contour candidate region determination unit 6 as estimated contour information S2. In this case, the processes from the contour candidate region determination unit 6 to the curve generation unit 10 are performed by the same method as described above.
Therefore, when the motion vector estimation unit 11 is selected as a method of obtaining the estimated contour information S2, the curve generation unit 10 feeds back the contour curve information C to the motion vector estimation unit 11 via the delay circuit 12. Yes.
[0025]
Based on the edge intensity image G and the contour curve information C, the boundary extraction unit 9 generates two boundary curves C0 and C1 that surround an area corresponding to the contour of the object, and the two boundary curves C0 and C1 C1 is sent to the soft key generation unit 3. The soft key generation unit 3 calculates the width between the boundary curves C0 and C1, and based on the width between the boundary curves C0 and C1, the height between the two boundary curves is “0” to “1”. A smoothly changing curved surface is generated, and the processing of writing the height of the curved surface in the image as the value of the soft key K is performed to calculate and output the soft key K.
[0026]
In this case, the soft key generation unit 3 sets the key information in the inner area of the object to “1” and the key information in the outer area of the object as “0” with the boundary curve on the inner side of the object as the boundary. As a result, the soft key K is generated.
Here, as will be described later, the generated soft key K is defined by a curved surface having key information of an image (x, y) as a z value. In the image compositing process, key information of each pixel must be given, and a process of writing the z value of the curved surface from the key defined here to the position where the curved surface is vertically projected on the image plane is performed. Thus, a key image can be obtained. In this embodiment, soft keys including those in which key information is defined by curved surfaces are called.
[0027]
Thus, the key signal generation device 1 can generate the soft key K with high accuracy in the contour region of the target existing in the image.
[0028]
(2-1) Configuration of boundary extraction unit
The configuration of the boundary extraction unit 9 according to the embodiment of the present invention is shown in FIG. 2, and the processing procedure of the boundary extraction process in the boundary extraction unit 9 will be described using the flowchart shown in FIG.
The boundary extraction unit 9 starts boundary extraction processing from step SP1 as boundary extraction means. The boundary coordinate extraction unit 21 obtains the edge intensity image G (x, y) and the contour curve information C at step SP2 and step SP3, respectively. receive.
[0029]
In step SP4, the boundary extracting unit 9 uses the boundary coordinate extracting unit 21 based on the edge intensity image G and the contour curve information C so that the edge intensity of the contour of the object is below a predetermined threshold value in the inner region of the object. The point p0 ₀ ~ P0 _m-1 Are extracted along the contour as a boundary position, and the extracted boundary position p0 is extracted. ₀ ~ P0 _m-1 Is generated as boundary coordinate information, and the edge intensity of the contour of the object is a point p1 that is equal to or less than a predetermined threshold value in the external region of the object. ₀ ~ P1 _n-1 Are extracted along the contour as a boundary position, and the extracted boundary position p1 ₀ ~ P1 _n-1 Boundary coordinate list P1 representing the coordinates of is generated as boundary coordinate information, and these boundary coordinate lists P0 and P1 are sent to boundary curve generation unit 22.
[0030]
In step SP5, the boundary extraction unit 9 causes the boundary curve generation unit 22 to approximate the shape represented by the boundary coordinate list P0 based on the boundary coordinate lists P0 and P1 (curve segment) c0. ₀ ~ C0 _k-1 To generate these approximate curves c0 ₀ ~ C0 _k-1 And an approximate curve c1 that approximates the shape represented by the boundary coordinate list P1. ₀ ~ C1 _l-1 To generate these approximate curves c1 ₀ ~ C1 _l-1 The boundary curve C1 is generated, and in step SP6, these two boundary curves C0 and C1 are sent to the soft key generation unit 3.
[0031]
(2-1-1) Configuration of boundary coordinate extraction unit
In the case of this embodiment, as shown in FIG. 4A, the boundary extraction unit 9 first determines an appropriate position po near the edge at an appropriate interval along the edge direction, and then sets the edge at each position po. And a vector pd having a length “1” parallel to the normal direction of the edge is determined. Here, the position po may be anywhere near the edge.
[0032]
Next, the boundary extraction unit 9 uses the boundary position detection method to be described later on the path P crossing the edge determined by each position po and the vector pd at the position po. _i And p1 _i Is detected (FIG. 4B). That is, the boundary extraction unit 9 measures the area of the edge strength cross section on each path P, and at the edge strength maximum position pc where the edge strength is maximum. _i And the edge strength maximum position pc _i Edge strength value h _i And the edge strength maximum value h _i And the edge strength maximum position pc _i Is calculated at the center position of the base and equal to the area of the calculated edge strength cross section, and then both end positions of the base of the rectangle are defined as the edge boundary position p0. _i And p1 _i Calculate as Thus, even when there is noise in the edge strength, the edge boundary position p0 _i And p1 _i Can be extracted stably.
[0033]
Thus, the boundary extraction unit 9 can obtain the inner boundary position p0 obtained along the edge in the inner region of the object. _i Boundary coordinate list P0 representing the coordinates of the outer boundary position p1 obtained along the edge in the outer region of the object _i The boundary coordinate list P1 representing the coordinates of can be obtained.
[0034]
Here, the detection principle of the inner boundary position and the outer boundary position in the edge will be described with reference to FIGS. 5 (A) to 5 (E). FIG. 5A schematically shows an area where the contour of the object exists in the image. The left area is color B and the right area is color F. FIG. A contour region exists at the center, and the image gradient of the contour region is represented by a light and shade gradient. Here, the measurement result of the color change in the path P in the direction crossing the contour is shown in FIG. 5B, and the color change from the color B to the color F can be observed in the contour region.
[0035]
FIG. 5C shows the gradient in FIG. 5B, that is, the first derivative. The magnitude of the gradient has a value other than “0” between the boundary position of the contour region, that is, the inner boundary position a and the outer boundary position b, and the area of the gradient is s. FIG. 5D shows that the area s is normalized so as to be “1” for easy understanding of the subsequent processing. . Here, the maximum value h of the magnitude of the gradient is obtained, and the boundary position in the contour region is calculated by obtaining a rectangle having the height “h” and the area “1” around the position pc having the maximum value h. The positions are defined as an inner boundary position p0 and an outer boundary position p1, respectively.
[0036]
Here, it will be described with reference to FIGS. 6 and 7 that the boundary position detection method described above is strong against noise. FIG. 6A shows an example of the magnitude of the image gradient of the contour region including noise. In this case, it is assumed that a gentle gradient is generated on the left side of the contour region due to an effect such as a shadow. This gradient is not a component due to the contour. FIG. 6B and FIG. 6C show an example in which a position where the magnitude of the image gradient is reduced is directly searched and the position is set as the boundary position of the contour. A small threshold is used as the threshold T in order to detect a position where the image gradient becomes small. At this time, if the threshold value T is set slightly shifted to the threshold value T ', the detected position a and position b change to position a' and position b, respectively (the right position b is hardly affected). And). The boundary positions p0 and p1 obtained by this method are shown in FIG. In this method, since the position detected by the threshold processing is directly the boundary position, the result greatly varies depending on the threshold value to be set.
[0037]
On the other hand, FIGS. 7A to 7C show a process of detecting the boundary position of the contour region by the method of the present invention described above. Assume that an image gradient with noise is calculated as in FIG. 6A (FIG. 7A). In the method of the present invention, first, it is necessary to measure a position where the magnitude of the image gradient becomes small in order to calculate the area of the gradient. If this procedure (FIG. 7B) is the same as FIG. 6B, the size of the area for calculating the area of the gradient is increased depending on the threshold value to be set, as in the case described above. Change. However, since the gradient in the contour is sufficiently large, the ratio of the area of the noise region to the entire calculated gradient area is small.
[0038]
FIG. 7C shows a process of calculating a rectangle having the same area as the gradient area. Since the influence of the area of the noise region is small, the difference between the heights h and h ′ of the rectangles obtained from different threshold values can be kept small. Therefore, as shown in FIG. 7D, the boundary position of the contour region obtained from the rectangle can be obtained so as not to change.
[0039]
Here, in the actual image, not only the image gradient component caused by the contour but also the component caused by the texture or shadow inside the object, the influence of the noise cannot be ignored. Therefore, according to the method of the present invention described above, the influence of noise can be sufficiently avoided in practice.
[0040]
The configuration of the boundary coordinate extraction unit 21 is shown in FIG. 8, and the processing procedure of the boundary extraction process in the boundary coordinate extraction unit 21 will be described using the flowchart shown in FIG.
The boundary coordinate extraction unit 21 starts boundary coordinate extraction processing from step SP1 as boundary coordinate extraction means, receives the contour curve information C at the route calculation unit 23 at step SP2, and receives the edge intensity image G at step SP3. It is received by the edge intensity peak detector 24 and the edge intensity cross-sectional area calculator 25.
[0041]
Subsequently, in step SP4, the boundary coordinate extraction unit 21 uses the route calculation unit 23 to select an appropriate position po on the contour curve C based on the contour curve information C. _i And the position po _i Vector pd at _i Multiple pairs in the direction of the edge ({po ₀ , Pd ₀ }, ..., {po _m-1 , Pd _m-1 }) And calculate these positions po _i And vector pd _i Are sent to the edge intensity peak detector 24 and the edge intensity cross section calculator 25 as route information.
[0042]
Next, at step SP5, the boundary coordinate extracting unit 21 uses the edge intensity peak detecting unit 24 to detect the edge intensity image G and the route information (position po). _i And vector pd _i Position po based on _i And vector pd _i On each path P determined by a pair of _i And the edge intensity maximum value h _i Pc (hereinafter referred to as the edge strength maximum position) pc _i To calculate these edge strength maximum values h. _i And edge strength maximum position pc _i Are sent to the edge strength cross section calculation unit 25 and the rectangle calculation unit 26, respectively.
[0043]
Subsequently, in step SP6, the boundary coordinate extraction unit 21 uses the edge intensity cross-sectional area calculation unit 25 to determine the edge intensity image G, position po. _i And vector pd _i Vs. maximum edge strength h _i And edge strength maximum position pc _i Based on position po _i And vector pd _i A value s obtained by integrating the edge intensity on each path P determined by a pair of _i And the integral value s _i Is sent to the rectangle calculation unit 26 as the cross-sectional area of the edge strength.
[0044]
Next, in step SP7, the boundary coordinate extraction unit 21 uses the rectangle calculation unit 26 to determine the edge intensity maximum value h. _i Edge strength maximum position pc _i And integral value s _i On the path P, the edge intensity maximum position pc on each path P _i (S) on both sides of each path P from the reference position (s _i / H _i ) A position separated by * c is a boundary position in the contour region, that is, the inner boundary position p0 _i And outer boundary position p1 _i (FIG. 4B), and the inner boundary position p0 is obtained at step SP8. _i Boundary coordinate list P0 representing the coordinates of the outer boundary position p1 _i The boundary coordinate list P1 representing the coordinates of the above is sent to the boundary curve approximation unit 22, and the boundary coordinate extraction process is terminated at step SP9. Here, c is a constant value given in advance, and a value around 0.5 is used.
[0045]
(2-1-1-1) Configuration of route calculation unit
The configuration of the route calculation unit 23 is shown in FIG. 10, and the route calculation processing in the route calculation unit 23 will be described with reference to the flowchart shown in FIG.
The route calculation unit 23 starts route calculation processing from step SP1 as route calculation means, and receives contour curve information C by the calculation point extraction circuit 23A at step SP2.
[0046]
Subsequently, at step SP3, the path calculation unit 23 uses the calculation point extraction circuit 23A as the calculation point extraction means to start from the start point to the end point on the curve C represented by the contour curve information C at a predetermined appropriate interval dt. N positions until the calculation point po _i (Po _o , Po ₁ , ..., po _n-1 ) And extract these calculation points po _i The calculation point coordinate list Po is generated, and in step SP4, the calculation point coordinate list Po is sent to the edge intensity peak detection unit 24, the edge intensity cross-sectional area calculation unit 25, and the direction calculation circuit 23B. Here, it is assumed that the parameter C is defined in the range of the parameter t from ts to te. “WHILE A {B}” means “repeating process B while A is true”.
[0047]
Subsequently, at step SP5, the route calculation unit 23 performs calculation at each calculation point po in the direction calculation circuit 23B as direction calculation means. _i After calculating the tangent vector tg of the curve C, the unit vector pd perpendicular to each tangent vector tg _i Are calculated as normal directions and these unit vectors pd _i The direction vector list Pd is generated, and in step SP6, the direction vector list Pd is sent to the edge intensity peak detector 24 and the edge intensity cross-sectional area calculator 25, and the path calculation process is terminated in step SP7.
[0048]
(2-1-1-2) Configuration of Edge Strength Peak Detection Unit and Edge Strength Cross Section Calculation Unit Edge strength peak detection processing in edge strength peak detection unit 24 and edge strength cross section calculation processing in edge strength cross section calculation unit 25 Will be described using the flowchart shown in FIG.
[0049]
The edge intensity peak detecting unit 24 and the edge intensity cross-sectional area calculating unit 25 start the edge intensity peak detecting process and the edge intensity cross-sectional area calculating process from step SP1. And the direction vector list Pd.
[0050]
Subsequently, at step SP3, the edge intensity peak detection unit 24 functions as an edge intensity peak detection means corresponding to the calculation point po corresponding to each of the calculation point coordinate list Po and the direction vector list Pd. _i And the unit vector pd _i On each path P determined by the edge intensity based on the edge intensity image G. _i And edge strength maximum position pc _i Detecting the edge strength maximum value h _i Edge strength maximum value list H and edge strength maximum position pc _i The edge intensity maximum position list Pc is generated, and the edge intensity maximum value list H and the edge intensity maximum position list Pc are sent to the edge intensity cross-sectional area calculator 25.
Here, in step SP3, k represents an appropriate scalar.
[0051]
Next, at step SP4, the edge intensity cross-sectional area calculation unit 25 functions as an edge intensity cross-sectional area calculation means corresponding to the calculation point po corresponding to each of the calculation point coordinate list Po and the direction vector list Pd. _i And the unit vector pd _i On each path P determined by the edge, the edge strength maximum position pc from one end of the edge _i To the other end of the edge, that is, the edge strength maximum position pc _i With the reference position as the reference position, the position a and the position b are determined as boundary positions one by one on both sides of each route, and the line segment ab connecting the position a and the position b is defined as an integration section. The cross-sectional area s of the edge strength s by calculating the sum of the edge strength values at ab _i To calculate the cross-sectional area s _i A cross-sectional area list S is generated. As a result, even when the path that crosses the contour given first is ambiguous, the cross-sectional area of the edge strength can be calculated so as to correctly cross the contour.
[0052]
Here, the processing for obtaining the position a and the position b is the edge strength maximum position pc. _i The edge strength is set to the edge strength maximum value h in advance. _i A position that first becomes smaller than the threshold value set by the scalar k times is obtained by sequentially searching in both directions along the path P around the reference position. In step SP4 of FIG. 12, d is a scalar that is predetermined for sampling the edge intensity on the path P.
[0053]
Next, at step SP5, the edge intensity peak detector 24 sends the edge intensity maximum position list Pc and the edge intensity maximum value list H to the rectangle calculator 26, and the edge intensity cross-sectional area calculator 25 displays the cross-sectional area list S as a rectangle. The result is sent to the calculation unit 26, and the edge intensity peak detection process and the edge intensity cross-sectional area calculation process are terminated in step SP6.
[0054]
In practice, as shown in FIG. 13, the edge intensity cross-sectional area calculation unit 25 is constituted by an integration interval calculation circuit 25A and an integration circuit 25B. The integration interval calculation circuit 25A generates the edge strength maximum position pc. _i The edge strength is the edge strength maximum value h. _i Two points on the path that are initially smaller than the threshold value set by the scalar h times are calculated as path end points a and b in both directions around the reference position, and a line segment ab connecting the end points a and b is integrated. Calculated as ab, and an integration interval list AB composed of the integration intervals ab calculated on each path P is sent to the integration circuit 25B. The integration circuit 25B integrates the edge intensity value in each integration interval ab based on the integration interval list AB, thereby obtaining a cross-sectional area s of the edge intensity s. _i To calculate the cross-sectional area s _i A cross-sectional area list S is generated and sent to the rectangle calculator 26.
[0055]
Here, as described above, the edge intensity peak detector 24 and the edge intensity cross-sectional area calculator 25 need to calculate the edge intensity value at a point on the path P that crosses the edge. In this case, since the position on the path P is not necessarily on the pixel grid, in this embodiment, the edge intensity peak detecting unit 24 and the edge intensity cross-sectional area calculating unit 25 realize sub-pixel accuracy calculation. It has image interpolation means (not shown). This image interpolating means receives an image intensity value at a position not on the pixel grid, inputs an image and real number coordinates, and outputs an image value on the real number coordinates.
[0056]
The image interpolation processing in the image interpolation means will be described using the flowchart shown in FIG.
The image interpolation means starts the image interpolation process from step SP1, and in step SP2 and step SP3, the image I _i After receiving (x, y) and real number coordinates (xf, yf), the weight function of the interpolation filter is defined in step SP4.
[0057]
Here, as the weighting function of the interpolation filter, “Digital Image Processing for Image Understanding (I)” (Junichiro Toriwaki, Shogodo), “Image Analysis Handbook” (Mikio Takagi, Yoshihisa Shimoda, The University of Tokyo Press, 1991 ) Is used. For example
[Expression 2]

Can be used. Here, x ** y represents x to the power of y.
[0058]
Next, in step SP5, the image interpolation means performs image I. _i And a weight function convolution is calculated to create a function Ic (x, y). Then, in step SP6, the function Ic is output as an image value on real coordinates, and the image interpolation processing is terminated in step SP7. .
Thus, the edge intensity peak detection unit 24 and the edge intensity cross-sectional area calculation unit 25 each have an edge intensity maximum value h. _i And edge strength cross section s _i Can be calculated with high accuracy.
[0059]
(2-1-2) Configuration of boundary curve generation unit
The configuration of the boundary curve generation unit 22 is shown in FIG. The boundary curve generation unit 22 receives the boundary coordinate lists P0 and P1 supplied from the boundary coordinate extraction unit 21 as boundary curve generation means by the input coordinate division circuit 22A, the connection condition calculation circuit 22B, and the curve approximation circuit 22C, respectively. The input coordinate division circuit 22A divides each shape represented by the boundary coordinate lists P0 and P1, respectively ({e0 ₀ , E0 ₁ ... e0 _m-1 }, {E1 ₀ , E1 ₁ ... e1 _m-1 }) Coordinate lists (hereinafter referred to as division point coordinate lists) E0 and E1 are generated and sent to the connection condition calculation circuit 22B and the curve approximation circuit 22C.
[0060]
That is, the input coordinate dividing circuit 22A has the boundary position p0 in the boundary coordinate lists P0 and P1, respectively. _i And p1 _i The order of the desired shape is estimated locally from the discrete sequence of. In this case, the boundary coordinate lists P0 and P1 are divided so that the order of the shape in each divided segment does not increase. For example, by determining each division point based on the magnitude of curvature, the order in each segment can be determined without depending on the number of coordinate data, so that the order in each segment can be prevented from becoming large. Has been made.
[0061]
Based on the boundary coordinate lists P0 and P1 and the division point coordinate lists E0 and E1, the connection condition calculation circuit 22B calculates a connection condition at each division point, that is, a connection condition satisfying G1 continuity, and a connection condition list RV0. And RV1 to the curve approximation circuit 22C. That is, the connection condition calculation circuit 22B has the coordinate r0 of the connection position for matching the connection position of each division point in the division point coordinate list P0. _i And the connecting position r0 _i Vector v0 for matching the velocity direction _i Is calculated as a connection condition list RV0, and the coordinate r1 of the connection position for matching the connection position of each division point in the division point coordinate list P1. _i And connection position r1 _i Velocity vector v1 for matching the velocity direction at _i Is calculated as a connection condition list RV1. In this case, the coordinates of the connection position and the coordinates of the dividing points do not necessarily match.
[0062]
The curve approximation circuit 22C approximates each segment divided by adjacent division points using a least square method so as to satisfy the connection condition at these division points, thereby approximating an approximate curve c0 between adjacent division points. _i And C1 _i The curve segment c0 _i And c1 _i And the curve segment c0 _i Approximate curve group and curve segment c1 _i Are sent to the soft key generation unit 3 as boundary curves C0 and C1, respectively. Thus, even when the edge intensity includes noise, the boundary curves C0 and C1 can be generated with high accuracy.
[0063]
The boundary curve generation processing in the boundary curve generation unit 22 will be described using the flowchart shown in FIG. Here, a case where the boundary curve C0 is generated from the boundary coordinate list P0 will be described.
[0064]
The boundary curve generation unit 22 starts the boundary curve generation process from step SP1, receives the boundary coordinate list P0 from the boundary coordinate extraction unit 21 in step SP2, and in step SP3, based on the boundary coordinate list P0, the dividing point (e0). ₀ , E0 ₁ ... e0 _m-1 A dividing point coordinate list E0 is created. Subsequently, in step SP4, the boundary curve generation unit 22 determines each division point e0 based on the boundary coordinate list P0 and the division point coordinate list E0. _i An approximate curve approximated to the shape in the vicinity is calculated, and a dividing point e0 in the approximate curve is calculated. _i Nearly connected position r0 _i And velocity vector v0 _i (Tangent) is calculated as a connection condition RV0 for approximating each segment to a curve.
[0065]
Next, the boundary curve generation unit 22 determines the adjacent division point e0 in step SP5. _i And e0 _{i + 1} Each segment delimited by is divided into these dividing points e0. _i And e0 _{i + 1} Link condition r0 in _i , V0 _i r0 _{i + 1} And v0 _{i + 1} An approximate curve obtained by curve approximation using the least square method so as to satisfy _i And in step SP6, these curve segments c0 ₀ , C0 ₁ , ..., c0 _n-1 Is output as the boundary curve C0, and the boundary curve generation processing is terminated at step SP7.
[0066]
By performing the above processing on the boundary coordinate list P1, the boundary curve C1 is calculated from the boundary coordinate list P1, and the boundary curve generation unit 22 sends the boundary curves C0 and C1 to the softkey generation unit 3.
[0067]
(2-2) Configuration of soft key generation unit
The configuration of the soft key generation unit 3 is shown in FIG. 17, and the soft key generation process in the soft key generation unit 3 will be described using the flowchart shown in FIG.
The soft key generation unit 3 starts the soft key generation process from step SP1, and receives the boundary curves C0 and C1 by the curved surface control information calculation circuit 3A at step SP2.
[0068]
Next, in step SP3, the soft key generation unit 3 performs the corresponding approximate curve c0 in the curved surface control information calculation circuit 3A as curved surface control information calculation means. _i And c1 _i Surface control information f0 for generating a curved surface every time _i And f1 _i And the curved surface control information f0 _i And f1 _i Is sent to the curved surface generation circuit 3B. Here, the curved surface control information f0 and f1 are curves in the (x, y, z) space. The (x, y) plane is parallel to the image and the z-axis is perpendicular to the image. i-th curved surface control information f0 _i Is a curved segment c0 on the plane of z = 0 _i It is drawn. Curved surface control information f1 _i Is the curved segment f1 on the plane of z = 1 _i It is drawn.
[0069]
Next, in step SP4, the soft key generation unit 3 performs the corresponding curve segment c0 in the curved surface generation circuit 3B as the curved surface generation means. _i And c1 _i Each corresponding curved surface control information f0 _i And f1 _i A curved surface r in (x, y) space using _i To generate a curved surface r ₀ , R ₁ , ..., r _k-1 Is output as soft key information K. Where the curved surface r in the i-th curve segment _i Is
[Equation 3]

It can be expressed by parameter s as follows.
[0070]
(2-3) Operation and effect of the embodiment
In the above configuration, the key signal generation device 1 extracts a plurality of boundary positions inside and outside the edge along the edge of the contour region based on the edge intensity image G, and each of the boundary positions inside and outside the edge. Boundary coordinate lists P0 and P1 representing the coordinates of the boundary position are created, a boundary curve C0 approximating the shape represented by the boundary coordinate list P0 is generated, and the shape represented by the boundary coordinate list P1 is generated. An approximate boundary curve C1 is generated.
[0071]
Subsequently, the key signal generation device 1 performs the corresponding curve segment c0 based on the boundary curves C0 and C1. _i And c1 _i Surface control information f0 for generating a curved surface every time _i And f1 _i After calculating the corresponding curve segment c0 _i And c1 _i Each corresponding curved surface control information f0 _i And f1 _i Using the curved surface r _i To generate these curved surfaces r _i Is output as soft key information K.
[0072]
Therefore, the key signal generation device 1 extracts the contour of the object as two boundary curves C0 and C1 surrounding a region where the magnitude of the image gradient is not “0”. An α value gradient can be created in the enclosed area. Thus, particularly effective information can be given when the position of the contour region where the colors of the object are mixed is necessary.
In addition, since the key signal generation device 1 generates a curved surface with the boundary curves C0 and C1 as an edge between the two boundary curves C0 and C1 surrounding the contour region, the colors of the objects are mixed. Key information in which the contour region and the position of the soft key information are matched can be generated.
[0073]
According to the above configuration, the point po on the contour curve C _i And the position po _i Vector pd at _i A plurality of pairs are calculated in the direction of the edge, and these positions po are calculated. _i And vector pd _i Edge strength maximum value h on each path P determined by _i And edge strength maximum position pc _i S calculated by integrating the edge strength _i And the edge intensity maximum position pc on each path P _i (S) on both sides of each path P from the reference position (s _i / H _i ) * C is the inner boundary position p0 _i And outer boundary position p1 _i And the inner boundary position p0 _i Boundary coordinate list P0 and outer boundary position p1 representing the coordinates of _i Coordinate lists E0 and E1 that are division points that respectively divide each shape represented by the boundary coordinate list P1 that represents the coordinates of the coordinates are generated, and connection conditions RV0 and RV1 at each division point are calculated, and adjacent divisions are calculated. The curve segment c0 between adjacent division points is obtained by approximating each segment divided by points using the least square method so as to satisfy the connection condition at these division points. _i And C1 _i After calculating the corresponding curve segment c0 _i And c1 _i Curve control information f0 for each _i And f1 _i And the corresponding curve segment c0 _i And c1 _i Each corresponding curved surface control information f0 _i And f1 _i Using the curved surface r _i To generate these curved surfaces r _i Is output as soft key information K, the contour of the object can be extracted as two boundary curves C0 and C1 surrounding a region where the magnitude of the image gradient is not “0”. An α value gradient can be created in the region surrounded by the curves C0 and C1, and the boundary curves C0 and C1 are bordered between the two boundary curves C0 and C1 surrounding the contour region. Since the curved surface R is generated, it is possible to generate key information in which the contour region where the colors of the object are mixed and the position of the soft key information are matched.
Thus, the contour extraction unit 2, contour extraction method, key signal generation device 1, and key signal generation method that can generate key information with high accuracy can be realized.
[0074]
Further, according to the above-described configuration, based on the contour curve information C obtained by creating the contour coordinate list D based on the gradient vector and approximating the shape represented by the contour coordinate list D. Since the calculation point coordinate list Po and the direction vector list Pd are calculated, it is possible to generate key information in which the contour region of the target object and the position of the soft key are more closely matched.
[0075]
Furthermore, according to the above-described configuration, when calculating the edge intensity of the point on the path P crossing the edge, the edge intensity of the point on the path P is calculated with sub-pixel accuracy using the image interpolation means. Value h _i And edge strength cross section s _i Accuracy can be improved significantly.
[0076]
Furthermore, according to the above-described configuration, the edge strength maximum value h in the direction across the edge _i And edge strength cross section s _i And the maximum edge strength h _i And edge strength cross section s _i Based on the inner boundary position p0 _i And outer boundary position p1 _i Thus, even if there is noise in the edge intensity, the contour region of the object can be extracted with high accuracy.
[0077]
Further, according to the above-described configuration, the calculation point po corresponding to each of the calculation point coordinate list Po and the direction vector list Pd. _i And the unit vector pd _i On each path P determined by the maximum edge strength pc _i As a reference position, a position a and a position b on each side of each path P from the reference position are obtained as path end points, and a line segment ab connecting the end points a and b is defined as an integration section. The cross-sectional area s of the edge strength s by calculating the sum of the edge strength values at ab _i Is calculated, the cross-sectional area can be calculated so as to correctly cross the actual contour even if the path crossing the initially given contour is ambiguous, and the contour region of the object can be accurately extracted.
[0078]
Furthermore, according to the above-described configuration, an approximate curve that approximates the shape in the vicinity of each division point is calculated based on the boundary coordinate lists P0 and P1 and the division point coordinate list E0 and E1, and the approximation curve near the division point in the approximation curve is calculated. Tangent r0 _i , V0 _i And tangent r1 _i , V1 _i Are calculated as connection conditions RV0 and RV1 for approximating each segment, and each segment divided by adjacent division points is approximated using a least square method so as to satisfy the connection conditions at these division points, respectively. Curve segment c0 _i And c1 _i Therefore, the boundary curves C0 and C1 can be generated with high accuracy even when noise is included in the edge intensity. Further, since the boundary curves C0 and C1 can be smoothly connected, the curved surface control processing in the soft key generation unit 3 can be easily performed.
[0079]
Further, according to the above configuration, one of the boundary curves C0 and C1 is positioned on the z = 1 plane and the other is positioned on the z = 0 plane to generate a curved surface having the boundary curves C0 and C1 as edges. Thus, the curved surface control process can be easily performed, and a curved surface whose z value changes from “0” to “1” can be determined in the contour region. A soft key image can be obtained by regarding the z value as key information α and writing it in the image.
[0080]
Further, according to the above-described configuration, based on the current image i, the image i-1 one frame before in which the contour curve C is already obtained as the contour curve information C, and the contour curve information C of the image i-1. Since the estimated contour information S2 on the current image i is obtained, the operator uses the input means 4 to obtain the polygonal line information, the curve information, or the line figure binary image information representing the rough shape of the contour of the object each time. Compared to the case of inputting, the work efficiency can be greatly improved, which is particularly effective for moving images.
[0081]
(3) Other embodiments
In the above-described embodiment, a case where the calculation point coordinate list Po and the direction vector list Pd are calculated based on the contour curve C supplied from the curve generation unit 10 using the route calculation unit 23 as the route calculation unit will be described. However, the present invention is not limited to this, and a route calculation unit 30 as shown in FIG. The route calculation process in the route calculation unit 30 will be described using the flowchart shown in FIG.
[0082]
The route calculation unit 30 starts the route calculation process from step SP1, and in step SP2, after receiving the edge intensity image G supplied from the gradient vector calculation unit 7 by the thinning circuit 30A as the thinning means, In SP3, the line strength binary image B (x, y) representing the position of the contour is calculated by thinning the edge strength image G by the thinning circuit 30A using the edge strength as an index. B is sent to a coordinate list conversion circuit 30B as coordinate conversion means. Here, as the thinning process, for example, the method described in the above-mentioned “object extraction method for image synthesis” can be used.
[0083]
Further, the line pattern binary image B is generated from the edge intensity image G by the thinning circuit 30A, but the target image is displayed on the display screen of the display means such as CRT, and the input means 4 A line figure binary image may be obtained by inputting the trajectory of the object. Therefore, in this case, the line figure binary image corresponding to the trajectory of the object input from the input unit 4 is directly input to the coordinate list conversion circuit 30B.
[0084]
Subsequently, in step SP4, the route calculation unit 30 calculates the coordinate list L from the line figure binary image B in the coordinate list conversion circuit 30B, and sends the coordinate list L to the calculation point extraction circuit 23A and the direction calculation circuit 23B. To do. This coordinate list L has m vectors l _i (I = 0 to m−1). That is, the coordinate list L is converted from an image to vector data by performing a process of tracing the line figure from a certain point of the line figure binary image B by using a method called chain coding. Can be obtained.
[0085]
Next, in step SP5, the route calculation unit 30 extracts n positions from the start point to the end point of the coordinate list L as calculation points po at a predetermined interval dt in the calculation point extraction circuit 23A, and in step SP6, the calculation point po. The calculation point list Po consisting of po is sent to the direction calculation circuit 23B, the edge intensity peak detection unit 24, and the edge intensity cross-sectional area calculation unit 25.
[0086]
Subsequently, at step SP7, the route calculation unit 30 performs calculation at each calculation point po in the direction calculation circuit 23B. _i Is calculated based on the coordinate list L, and a unit vector (normal direction) pd perpendicular to the tangent vector tg in step SP8. _i And the unit vector pd _i Is sent to the edge intensity peak detecting unit 24 and the edge intensity cross-sectional area calculating unit 25, and the path calculation process is terminated at step SP9.
[0087]
In the above-described embodiment, the case where the boundary extraction unit 9 is used as the boundary extraction unit has been described. However, the present invention is not limited to this, and the same reference numerals are given to the corresponding parts to those in FIGS. A boundary extraction unit 40 as shown in FIG. 21 may be used.
In this case, the boundary extraction unit 40 receives the division point coordinate list E created in the calculation point extraction circuit 42A of the route calculation unit 42 in the boundary coordinate extraction unit 41 by the connection condition calculation unit 22B of the boundary curve generation unit 43. Has been made.
[0088]
That is, the calculation point extraction unit 42A determines the position on the curve C according to the input contour curve information C as the calculation point po. _i As a divided coordinate list E, an appropriate subset in the calculation point list Po created by extracting at a predetermined interval is created and sent to the connection condition calculation unit 22B. Here, since the boundary coordinate lists P0 and P1 are input to the connection condition calculation unit 22B, it is guaranteed that the divided coordinate list E is a subset thereof.
[0089]
Therefore, the boundary extracting unit 40 is simplified in configuration by the input coordinate dividing unit 22A as compared with the boundary extracting unit 9, thereby simplifying the configuration of the key signal generating device 1. Further, the curve segment c0 that constitutes the boundary curves C0 and C1 output from the curve approximation unit 22C, respectively. _i And c1 _i Are the same number (that is, k = 1 in step SP5 of FIG. 3), so that the processing in the soft key generation unit 3 can be facilitated.
[0090]
Furthermore, in the above-described embodiment, the case where the calculation point coordinate list Po and the direction vector list Pd are created based on the contour curve information C supplied from the curve generation unit 10 has been described, but the present invention is not limited thereto, For example, estimated contour information S2 and contour candidate area information S3 may be used. Further, polygonal line information or curve information representing an approximate shape of the contour of the object is input from the input means 4, and the calculation point coordinate list Po and the direction vector list Pd are created using the polygonal line information or curve information. Also good. Thereby, since the outline of the target object to be extracted can be designated, the outline extraction can be performed with high accuracy. Therefore, the present invention can be applied to the key signal generating device 1 that does not have the contour path searching unit 8 and the curve generating unit 9 as the key signal generating device 1.
[0091]
Here, the polygonal line information or the curve information may be directly input from the input means 4 to the calculation point extraction circuit 23A and the input coordinate division circuit 22A, respectively. In this case, the corresponding boundary position p0 in the boundary coordinate lists P0 and P1 obtained based on the corresponding line segment corresponding to the broken line information or the corresponding segment of the curved line corresponding to the curve information. _i And p1 _i Are regarded as one segment, and these boundary positions p0 _i And p1 _i Since the boundary coordinate lists P0 and P1 need not be divided by using as a dividing point, the configuration of the boundary curve generating unit 22 can be simplified by the input coordinate dividing circuit 22A, thereby generating a key signal. The configuration of the device 1 can be simplified.
[0092]
Furthermore, in the above-described embodiment, the case where the boundary curves C0 and C1 representing the contour of the object are generated using the edge intensity image G has been described. However, the present invention is not limited to this, and the gradient vector calculation unit 7 Boundary curves C0 and C1 that represent the contour of the object may be generated based on the calculated gradient vector.
[0093]
【The invention's effect】
As described above, according to the present invention, the contour region for the contour of the object is determined, the gradient vector in the contour region is calculated, and the edge along the edge of the contour region is calculated based on the gradient vector in the contour region. A plurality of boundary positions on the inside and outside of each edge are extracted, boundary coordinate information representing each boundary curve is generated for each inside and outside of the edge, and two shapes approximating each shape represented by each boundary coordinate information Since the boundary curve of the object is generated as the contour of the object, the contour of the object can be extracted as two boundary curves surrounding a region that is not “0” with the magnitude of the image gradient. In addition, it is possible to create an α value gradient in the region enclosed, and for the contour of the object in the image, the boundary positions on the inside and outside of the contour Two boundary curves are generated, curved surface control information for determining the shape of the curved surface formed between the boundary curves is calculated, and a curved surface is formed on the region sandwiched between the boundary curves based on the curved surface control information. By generating and outputting the curved surface as key information, a curved surface having an edge between the boundary curves can be generated between the two boundary curves surrounding the contour region. Key information in which the contour area to be matched with the position of the soft key information can be generated.
Thus, a key signal generation device and a key signal generation method capable of generating key information with high accuracy can be realized.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an overall configuration of a key signal generation apparatus to which the present invention is applied.
FIG. 2 is a block diagram showing a configuration of a boundary extraction unit.
FIG. 3 is a flowchart showing a procedure of boundary extraction processing in a boundary extraction unit.
FIG. 4 is a schematic diagram for explaining boundary position extraction processing in a boundary coordinate extraction unit;
FIGS. 5A and 5B are a schematic diagram and a graph for explaining the detection principle of the boundary position.
FIG. 6 is a graph and a schematic diagram for explaining the strength of edge strength against noise.
FIG. 7 is a graph and a schematic diagram for explaining the strength of edge strength against noise.
FIG. 8 is a block diagram showing a configuration of a boundary coordinate extraction unit.
FIG. 9 is a flowchart showing a processing procedure of boundary coordinate extraction processing in the boundary coordinate extraction unit.
FIG. 10 is a block diagram showing a configuration of a route calculation unit.
FIG. 11 is a flowchart showing a processing procedure of route calculation processing in a route calculation unit.
FIG. 12 is a flowchart showing processing steps of edge intensity peak detection processing and edge intensity cross-sectional area calculation processing.
FIG. 13 is a block diagram showing a configuration of an edge strength cross-sectional area calculation unit.
FIG. 14 is a flowchart showing a processing procedure of image interpolation processing in the image interpolation means.
FIG. 15 is a block diagram showing a configuration of a boundary curve generation unit.
FIG. 16 is a flowchart showing a processing procedure of boundary curve generation processing in the boundary curve generation unit;
FIG. 17 is a block diagram showing a configuration of a soft key generation unit.
FIG. 18 is a flowchart showing a processing procedure of soft key generation processing in the soft key generation unit.
FIG. 19 is a block diagram showing a configuration of a route calculation unit according to another embodiment.
FIG. 20 is a flowchart showing a processing procedure of route calculation processing in a route calculation unit according to another embodiment.
FIG. 21 is a block diagram showing a configuration of a boundary extraction unit according to another embodiment.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Key signal generation apparatus, 2 ... Contour extraction part, 3 ... Soft key generation part, 3A ... Curved surface control information calculation circuit, 3B ... Curved surface generation circuit, 4 ... Input means, 5 ... Estimated outline Calculation unit, 6 ... contour candidate region determination unit, 7 ... gradient vector calculation unit, 8 ... contour route search unit, 9, 40 ... boundary extraction unit, 10 ... curve generation unit, 11 ... motion vector Estimating unit, 12 ... delay circuit, 21, 41 ... boundary coordinate extracting unit, 22 ... boundary curve generating unit, 22A ... input coordinate dividing circuit, 22B ... connection condition calculating circuit, 22C ... curve approximating circuit, 23, 30, 42... Path calculation unit, 23A, 42A... Calculation point extraction circuit, 23B .. direction calculation circuit, 24... Edge intensity peak detection unit, 25. Integration interval calculation circuit, 25B ... integration circuit, 6 ...... rectangular calculator, 26A ...... integration interval calculation circuit, 26B ...... integrating circuit, 30A ...... thinning circuit, 30B ...... coordinate list conversion circuit.

Claims (8)

In a key signal generation device that generates a key signal from an image,
Contour region determining means for determining a contour region for the contour of the object;
A gradient vector calculating means for calculating a gradient vector in the contour region;
Based on the gradient vector in the contour region, a plurality of boundary positions inside and outside the edge are extracted along the edge of the contour region, and boundary coordinate information representing each boundary position is obtained for each of the inside and outside edges of the edge. Boundary coordinate extraction means for generating and outputting
Boundary curve generating means for generating two boundary curves approximating each shape represented by the boundary coordinate information based on the output of the boundary coordinate extracting means as the contour of the object;
Curved surface control information calculating means for calculating and outputting curved surface control information for determining the shape of the curved surface formed between the two boundary curves based on the output of the boundary curve generating means;
Based on the output of the curved surface control information calculating means, a curved surface is generated on a region sandwiched between the boundary curves, and the curved surface generating means for outputting the curved surface as key information comprises:
The curved surface control information calculating means includes
One boundary curve of the boundary curves is positioned on a plane of z = 1, and the other boundary curve of the boundary curves is positioned on a plane of z = 0, and the boundary curves are opposed to each other. A key signal generation apparatus that calculates the curved surface control information that generates a curve as follows . The boundary coordinate extraction means includes
Path calculation means for calculating and outputting a path crossing the edge as path information based on the output of the gradient vector calculation means;
An edge intensity peak detecting means for detecting and outputting an edge intensity maximum value in a direction crossing the edge and a position of the edge intensity maximum value based on outputs of the gradient vector calculating means and the path calculating means;
An edge intensity cross-sectional area calculating means for calculating an edge intensity cross-sectional area in a direction crossing the edge based on the output of the gradient vector calculating means, the path calculating means and the edge intensity peak detecting means;
Based on the edge intensity peak detecting means and the edge intensity cross-sectional area calculating means, the bottom has a height equal to the edge intensity maximum value and a center position equal to the edge intensity maximum value position, and the edge intensity cross section. Rectangle calculation means for calculating a rectangle having an area equal to the function, and calculating and outputting the coordinates of both end points of the bottom of the rectangle as boundary positions inside and outside the edge. The key signal generation device according to 1 . The edge strength cross-sectional area calculating means is:
Based on the outputs of the gradient vector calculating means, the path calculating means, and the edge intensity peak calculating means, the edge passing through the position of the edge intensity maximum value from one end of the edge on the path crossing the edge. Integration interval calculation means for calculating and outputting the interval up to the other end of as an integration interval;
Integrating means for calculating and outputting a value obtained by integrating the edge intensity value in the integration section as the edge intensity cross-sectional area based on the outputs of the gradient vector calculating means and the integration path calculating means. The key signal generation device according to claim 2. The route calculation means
Thinning means for calculating and outputting the position of the contour of the object by thinning the edge intensity image using the edge intensity as an index based on the edge intensity image;
Coordinate information conversion means for converting the position of the object into coordinate information based on the output of the thinning means;
Calculation point extraction means for extracting and outputting calculation points at predetermined intervals from the coordinate information;
Direction calculating means for calculating a normal direction at each of the calculation points based on outputs of the coordinate information converting means and the calculation point extracting means, and the path calculation means includes the corresponding calculation points and normal lines. The key signal generation device according to claim 2, wherein a direction is output as the route information. The boundary curve generating means is
Division point calculation means for calculating a division point for dividing each shape represented by each of the boundary coordinate information representing the boundary position inside and outside the edge, respectively, into a plurality of segments;
A connection condition for calculating a connection condition for connecting the segments for each of the division points based on the boundary coordinate information and the division points for the shapes represented by the boundary coordinate information. A calculation means;
For each shape represented by each boundary coordinate information, based on each boundary coordinate information, each division point, and each connection condition, each segment is set to satisfy the connection condition at each division point. The key signal generation device according to claim 1, further comprising: curve approximation means for generating the two boundary curves by curve approximation. The contour region determining means includes
Input means for inputting polyline information or curve information indicating an approximate shape of the outline of the object,
The route calculation means
Calculation point extraction means for extracting, as calculation points, any of a plurality of positions on a polygonal line or curve corresponding to the polygonal line information or curve information input from the input means;
Direction calculation means for calculating a normal direction at each calculation point based on the broken line or curve and each calculation point, and the path calculation means displays the corresponding calculation point and normal direction as the path. The key signal generation device according to claim 2, wherein the key signal generation device is output as information. Comprising image interpolating means for calculating the value of the image in an arbitrary real coordinate;
The edge intensity peak detecting means detects the edge intensity maximum value in the direction crossing the edge, or the edge intensity cross-sectional area calculating means calculates the edge intensity cross-sectional area in the direction crossing the edge. The key signal generation device according to claim 2. In a key signal generation method for generating a key signal from an image,
A contour region determining step for determining a contour region for the contour of the object;
A gradient vector calculating step for calculating a gradient vector in the contour region;
Based on the gradient vector in the contour region, a plurality of boundary positions inside and outside the edge are extracted along the edge in the contour region, and boundary coordinate information representing each boundary position is extracted for each inner and outer edge of the edge. Boundary coordinate extraction step to generate and output to
A boundary curve generation step for generating, as contours of the object, two boundary curves approximating each shape represented by the boundary coordinate information based on the output of the boundary coordinate extraction means;
A curved surface control information calculation step for calculating and outputting curved surface control information for determining the shape of the curved surface formed between the two boundary curves based on the output of the boundary curve generation step;
A curved surface generating step for generating a curved surface on an area sandwiched between the boundary curves based on the output of the curved surface control information calculating step, and outputting the curved surface as key information ; Key signal generation method .

Images