JP3713689B2 - キー信号生成装置およびキー信号生成方法、並びに画像合成装置 - Google Patents

Description

【０００１】
【産業上の利用分野】
本発明は、キー信号生成装置およびキー信号生成方法、並びに画像合成装置に関する。特に、キー信号を生成する対象とする対象物体の境界部分に関する境界情報に基づいて、キー信号の曲面を決定する決定情報を算出し、キー信号の曲面を直接生成することにより、キー信号の変更を容易に行うことができるようにしたキー信号生成装置およびキー信号生成方法、並びに画像合成装置に関する。
【０００２】
【従来の技術】
例えば、映画その他の映像制作において、画像（映像）の各種シミュレーションを行ったり、あるいは画像に特殊効果を与えたりする場合には、画像から、注目する部分（物体）を抜き出したり、その抜き出した部分を、他の画像に合成することが行われる。このような画像からの抜き出し、合成は、キー信号を用いて行われる。
【０００３】
キー信号には、ハードキーと呼ばれるものとソフトキーと呼ばれるものとがある。例えば、いま、キー信号を生成するのに用いる画像のうち、注目する部分を前景とするとともに、それ以外の部分を背景とする場合、図２０（ａ）に示すように、画像における前景の範囲を１とするとともに、背景の範囲を０とした２値のキー信号（マスク画像）が、ハードキーと呼ばれる。これに対し、画像には、後述するエイリアスやモーションブラーが生じるが、これらを考慮して、０および１の２値だけではなく、図２０（ｂ）に示すように、０乃至１の範囲の連続した実数値をとることのできるキー信号が、ソフトキーと呼ばれる。
【０００４】
従って、ハードキーは、急峻な境目を有する信号（キー信号αが０（または１）から１（または０）に変わる境目の傾斜が急峻になっている信号）であり、またソフトキーは、滑らかな境目を有する信号（キー信号αが０（または１）から１（または０）に変わる境目の傾斜が滑らかな信号）ということができる。
【０００５】
ここで、図２０に図示してあるα（アルファ値）は、キー信号の値を、画素単位で表すものであり、従って、αは、キー信号をＬＰＦ（ローパスフィルタ）でフィルタリングしたものといえる。画像において、前景と背景との境界部分の画素の画素値は、前景および背景の信号成分どうしを重畳したものとなるが、このことから、αは、各画素について、前景がどれだけ寄与しているかを示す寄与率を表しているということができる。なお、本明細書中では、キー信号およびαを、適宜、区別せずに用いる。
【０００６】
【発明が解決しようとする課題】
ところで、前景および背景のいずれも静止している場合において、その画像を構成している画素の境目に、前景と背景との境界が位置していることは稀で、通常は、図２１（ａ）に示すように、前景と背景との境界は、有限の大きさを有する画素の内部に存在する。しかしながら、画素は、画像を構成する最小単位であるから、上述のような前景と背景との境界が存在する画素であっても、その画素は、図２１（ｂ）に示すように、前景または背景のいずれか一方の色（画素値）とされる。このため、前景と背景との境界は、図２１（ｃ）に示すように、画素の境目に沿って引かれ、このような画像全体を見た場合には、その前景と背景との境界（画素の境目）部分に、不自然なちらつき、即ちエイリアスが生じる。
【０００７】
従って、そのキー信号を用いて画像合成を行った結果得られる合成画像にも、エイリアスが生じる。
【０００８】
そこで、合成画像に生じるエイリアスを防止する方法として、例えば特開昭６０−２３２７８７号公報や特開平４−３４０６７１号公報に開示されているものがある。特開昭６０−２３２７８７号公報に開示されている方法では、ハードキーを用いて、前景と背景との境界部分だけにＬＰＦをかけ、その境界部分をぼかして、見た目に滑らかにするようになされている。この方法においては、ハードキーが用いられるが、前景と背景との境界部分にＬＰＦをかけるので、０と１の他に、その中間値をとることができる、いわば傾斜をつけたキー信号、即ち、実質的には、ソフトキーを用いて、画像合成が行われているということができる。
【０００９】
また、特開平４−３４０６７１号公報に開示されている方法では、前景と背景との境界上の注目画素を中心とするブロックを設定し、そのブロック内の前景および背景を構成する画素パターンから、キー信号（ソフトキー）を算出し、これを用いて、前景の抜き出し、合成を行うことで、エイリアスを低減するようになされている。
【００１０】
しかしながら、以上の方法で用いられるソフトキーは、その傾斜（図２０（ｂ）において、αが０から１（１から０）に変化している部分の傾斜）が一様なものであり、また、前景と背景との境界の場所によって異なるキー信号の制御を行っていないため、例えば前景が動いている場合に生じるモーションブラーに対処することが困難な課題があった。
【００１１】
ここで、モーションブラー（動きボケ）について、簡単に説明する。動画像は、画像（静止画像）が、例えばフレーム単位などで連続して表示されることで実現される。例えば、いま、画像の中を、左から右方向へ動く円形状の物体があったとして、その物体の移動速度に対し、フレーム周期が無限小とみなすことのできるほど短い時間であるとした場合には、その物体は、図２２（ａ）に示すように、各フレームにおいて円形状の物体として表示される。しかしながら、円形状の物体の移動速度に対し、フレーム周期が無限小とみなすことのできるほど短い時間ではない場合、ある時刻ｔ２におけるフレームの画像は、図２２（ｂ）に示すように、その１つ前のフレームの時刻ｔ１から、時刻ｔ２までの物体の動きを反映した画像となる。即ち、時刻ｔ２におけるフレームの画像の中の物体は、円形状のものではなく、その動きの方向に薄く伸びた、輪郭のぼやけたものとなる。このような現象がモーションブラーと呼ばれる。
【００１２】
なお、モーションブラーは、前景または背景のいずれか一方だけが動いている場合の他、両者が独立に動いている場合も生じるが、背景だけが動いている場合および両者が独立に動いている場合は、背景を基準とすれば、いずれも前景だけが動いている場合と同様に考えることができる。また、モーションブラーが生じている場合には、前景と背景との明確な境界は存在しない。
【００１３】
以上のようなモーションブラーを考慮したキー信号を生成する方法としては、例えば特開平５−１５３４９３号公報や特開平５−２３６３４７号公報に開示されているものがある。特開平５−１５３４９３号公報に開示されている方法では、現在のフレームと、その１つ前のフレームとを比較することにより、現在のフレーム（またはその１つ前のフレーム）の前景を構成する画素の画素値と、その画素の、１つ前のフレーム（または現在のフレーム）の画素値との変化量の所定の指定されたブロック全体についての総和を求め、その総和値から、傾斜をつけるソフトキーの領域（０＜α＜１の範囲のαの領域）を決定するようになされている。しかしながら、この方法においては、ソフトキーが、上述した画素値の変化量（変化の大きさ）に依存して求められるため、前景の動きの方向が考慮されておらず、その動きに対応した、正確なソフトキーが得られるのかどうかが不明であった。
【００１４】
一方、特開平５−２３６３４７号公報に開示されている方法では、まずハードキーを生成し、前景と背景との境界上の各点において、そのハードキーの側面（図２０（ａ）に示したα＝１の部分を底面の１つとする円柱の側面）を楕円錘で削り取ることで、直接にではなく、いわば間接的にソフトキーを生成するようになされており、この場合において、楕円錘の底面を構成する楕円の長軸および短軸は、注目している部分の動きベクトルとエッジ強度から決定されるようになされている。しかしながら、この方法においても、エッジ強度の方向の決定が不十分であり、やはり、前景の動きに対応した、正確なソフトキーが得られるかどうかが不明であった。
【００１５】
さらに、上述した方法により求められたソフトキーは、いずれも、画像を構成する各画素に対応するαの集合と考えられるが、このようなαの集合でなるソフトキーは、その変更が容易でない課題があった。即ち、上述の方法で得られたソフトキーによっては、所望する画像が得られなかった場合には、ソフトキーを変更する必要があるが、αの集合でなるソフトキーを変更するには、αを書き換える必要があり、この書き換えを画素単位で行うのは容易ではなかった。
【００１６】
そこで、特開平５−１５３４９３号公報に開示されている方法の場合には、例えば上述した総和値を、また特開平５−２３６３４７号公報に開示されている方法の場合には、上述した楕円錘の底面を構成する楕円の長軸および短軸を変えることで、ソフトキーを再生成し、その変更を行う方法が考えられるが、この場合、その総和値あるいは長軸および短軸の変更がソフトキーに与える影響は、直感的には分かりにくく、所望の変更を容易に行うことができるかどうかが不明であった。
【００１７】
本発明は、このような状況に鑑みてなされたものであり、エイリアスおよびモーションブラーを考慮した、変更容易なキー信号を得ることができるようにするものである。
【００１８】
【課題を解決するための手段】
本発明のキー信号生成装置は、対象物体の境界を求め、その境界を近似する複数の曲線のそれぞれの始点となる複数の境界点と、複数の境界点のそれぞれにおける画像の勾配のそれぞれとを算出する境界情報算出手段と、対象物体の境界の法線方向に、複数の境界点のそれぞれにおける画像の勾配に対応した傾斜をそれぞれ有する複数の線分を求め、求められた複数の線分のうちの隣接する所定の２つの線分同士の間を補間する１以上の補間曲面のそれぞれを決定するために必要な決定情報を算出する決定情報算出手段と、決定情報算出手段により算出された決定情報に基づいて、１以上の補間曲面を生成し、１以上の補間曲面からキー信号の曲面を生成する曲面生成手段とを備え、決定情報算出手段は、所定の１つの補間曲面を所定の平面上に射影させたときに得られる領域における、所定の２つの線分の対応する端点同士を結ぶ２つの曲線のそれぞれに対応する２つの像のうちの一方から他方に向かう方向への幅によって、その所定の１つの補間曲面についての決定情報のうちの少なくとも一部を算出することを特徴とする。
【００１９】
曲面生成手段により曲面が生成されたキー信号に対応するマスク画像を生成するマスク画像生成手段をさらに設けるようにすることができる。
所定の１つの補間曲面についての決定情報は、所定の２つの線分の各端点のそれぞれにおける速度ベクトルを少なくとも含むようにすることができる。
所定の１つの補間曲面についての決定情報は、さらに、所定の２つの線分の各端点のそれぞれの位置を示す位置ベクトルを少なくとも含み、曲面生成手段により曲面が生成されたキー信号を表示する表示手段と、表示手段に表示されたキー信号を変更するときに操作される操作手段とをさらに設け、決定情報算出手段は、操作手段の操作に対応して、いま出力している決定情報を構成する各速度ベクトルおよび各移動ベクトルのうちの少なくとも１つを変更するようにすることができる。
決定情報算出手段は、所定の１つの補間曲面についての領域の幅との間に一定の関係が存在する画像の境界の曲率に基づいて、その所定の１つの補間曲面についての決定情報ののうちの少なくとも一部を算出するようにすることができる。
画像の勾配とは、画像に平行な 1 以上の軸、および画像に対して垂直な垂直軸からなる空間において、垂直軸方向に、画像を構成する各画素の画素値に対応する各点のそれぞれをプロットしたときに、各点で構成される面の傾きであるようにすることができる。
補間曲面は、パラメトリックな曲面であるようにすることができる。
補間曲面は、ベジェ (Bezier) 曲面であるようにすることができる。
【００２１】
本発明のキー信号生成方法は、対象物体の境界を求め、境界を近似する複数の曲線のそれぞれの始点となる複数の境界点と、複数の境界点のそれぞれにおける画像の勾配のそれぞれとを算出する境界情報算出ステップと、対象物体の境界の法線方向に、複数の境界点のそれぞれにおける画像の勾配に対応した傾斜をそれぞれ有する複数の線分を求め、求められた複数の線分のうちの隣接する所定の２つの線分同士の間を補間する１以上の補間曲面のそれぞれを決定するために必要な決定情報を算出する決定情報算出ステップと、決定情報算出ステップの処理により算出された決定情報に基づいて、１以上の補間曲面を生成し、１以上の補間曲面からキー信号の曲面を生成する曲面生成ステップとを含み、決定情報算出ステップは、所定の１つの補間曲面を所定の平面上に射影させたときに得られる領域における、所定の２つの線分の対応する端点同士を結ぶ２つの曲線のそれぞれに対応する２つの像のうちの一方から他方に向かう方向への幅によって、その所定の１つの補間曲面についての決定情報のうちの少なくとも一部を算出する算出ステップを少なくとも含むことを特徴とする。
曲面生成ステップの処理により曲面が生成されたキー信号に対応するマスク画像を生成するマスク画像生成ステップをさらに含むようにすることができる。
所定の１つの補間曲面についての決定情報は、所定の２つの線分の各端点のそれぞれにおける速度ベクトルを少なくとも含むようにすることができる。
所定の１つの補間曲面についての決定情報は、さらに、所定の２つの線分の各端点のそれぞれの位置を示す位置ベクトルを少なくとも含み、曲面生成ステップの処理により曲面が生成されたキー信号を表示する表示ステップと、表示ステップの処理で表示されたキー信号を変更するときの操作を検出する操作検出ステップとをさらに含み、決定情報算出ステップでは、操作検出ステップの処理で検出された操作に対応して、いま出力している決定情報を構成する各速度ベクトルおよび各移動ベクトルのうちの少なくとも１つを変更するようにすることができる。
決定情報算出ステップの算出ステップは、所定の１つの補間曲面についての領域の幅との間に一定の関係が存在する画像の境界の曲率に基づいて、その所定の１つの補間曲面についての決定情報ののうちの少なくとも一部を算出するステップであるようにすることができる。
画像の勾配とは、画像に平行な 1 以上の軸、および画像に対して垂直な垂直軸からなる空間において、垂直軸方向に、画像を構成する各画素の画素値に対応する各点のそれぞれをプロットしたときに、各点で構成される面の傾きであるようにすることができる。
補間曲面は、パラメトリックな曲面であるようにすることができる。
補間曲面は、ベジェ (Bezier) 曲面であるようにすることができる。
【００２２】
本発明の画像合成装置は、対象物体の境界を求め、境界を近似する複数の曲線のそれぞれの始点となる複数の境界点と、複数の境界点のそれぞれにおける画像の勾配のそれぞれとを算出する境界情報算出手段と、対象物体の境界の法線方向に、複数の境界点のそれぞれにおける画像の勾配に対応した傾斜をそれぞれ有する複数の線分を求め、求められた複数の線分のうちの隣接する所定の２つの線分同士の間を補間する１以上の補間曲面のそれぞれを決定するために必要な決定情報を算出する決定情報算出手段と、決定情報算出手段により算出された決定情報に基づいて、１以上の補間曲面を生成し、１以上の補間曲面からキー信号の曲面を生成する曲面生成手段と、曲面生成手段により曲面の生成されたキー信号を用いて、所定の画像と他の画像とを合成する合成手段とを備え、決定情報算出手段は、所定の１つの補間曲面を所定の平面上に射影させたときに得られる領域における、所定の２つの線分の対応する端点同士を結ぶ２つの曲線のそれぞれに対応する２つの像のうちの一方から他方に向かう方向への幅によって、その所定の１つの補間曲面についての決定情報のうちの少なくとも一部を算出することを特徴とする。
曲面生成手段により曲面が生成されたキー信号に対応するマスク画像を生成するマスク画像生成手段をさらに設けるようにすることができる。
所定の１つの補間曲面についての決定情報は、所定の２つの線分の各端点のそれぞれにおける速度ベクトルを少なくとも含むようにすることができる。
所定の１つの補間曲面についての決定情報は、さらに、所定の２つの線分の各端点のそれぞれの位置を示す位置ベクトルを少なくとも含み、曲面生成手段により曲面が生成された前記キー信号を表示する表示手段と、表示手段に表示されたキー信号を変更するときに操作される操作手段とをさらに設け、決定情報算出手段は、操作手段の操作に対応して、いま出力している決定情報を構成する各速度ベクトルおよび各移動ベクトルのうちの少なくとも１つを変更するようにすることができる。
決定情報算出手段は、所定の１つの補間曲面についての領域の幅との間に一定の関係が存在する画像の境界の曲率に基づいて、その所定の１つの補間曲面についての決定情報ののうちの少なくとも一部を算出するようにすることができる。
画像の勾配とは、画像に平行な 1 以上の軸、および画像に対して垂直な垂直軸からなる空間において、垂直軸方向に、画像を構成する各画素の画素値に対応する各点のそれぞれをプロットしたときに、各点で構成される面の傾きであるようにすることができる。
補間曲面は、パラメトリックな曲面であるようにすることができる。
補間曲面は、ベジェ (Bezier) 曲面であるようにすることができる。
【００２３】
【作用】
本発明のキー信号生成装置においては、境界情報算出手段は、対象物体の境界を求め、境界を近似する複数の曲線のそれぞれの始点となる複数の境界点と、複数の境界点のそれぞれにおける画像の勾配のそれぞれとを算出するようになされている。決定情報算出手段は、対象物体の境界の法線方向に、複数の境界点のそれぞれにおける画像の勾配に対応した傾斜をそれぞれ有する複数の線分を求め、求められた複数の線分のうちの隣接する所定の２つの線分同士の間を補間する１以上の補間曲面のそれぞれを決定するために必要な決定情報を算出するようになされている。詳細には、決定情報算出手段は、所定の１つの補間曲面を所定の平面上に射影させたときに得られる領域における、所定の２つの線分の対応する端点同士を結ぶ２つの曲線のそれぞれに対応する２つの像のうちの一方から他方に向かう方向への幅によって、その所定の１つの補間曲面についての決定情報のうちの少なくとも一部を算出するようになされている。曲面生成手段は、決定情報算出手段により算出された決定情報に基づいて、１以上の補間曲面を生成し、１以上の補間曲面からキー信号の曲面を生成するようになされている。
【００２４】
本発明のキー信号生成方法においては、対象物体の境界を求め、境界を近似する複数の曲線のそれぞれの始点となる複数の境界点と、複数の境界点のそれぞれにおける画像の勾配のそれぞれとを算出し、対象物体の境界の法線方向に、複数の境界点のそれぞれにおける画像の勾配に対応した傾斜をそれぞれ有する複数の線分を求め、求められた複数の線分のうちの隣接する所定の２つの線分同士の間を補間する１以上の補間曲面のそれぞれを決定するために必要な決定情報を算出するようになされている。詳細には、所定の１つの補間曲面を所定の平面上に射影させたときに得られる領域における、所定の２つの線分の対応する端点同士を結ぶ２つの曲線のそれぞれに対応する２つの像のうちの一方から他方に向かう方向への幅によって、その所定の１つの補間曲面についての決定情報のうちの少なくとも一部を算出するようになされている。そして、決定情報に基づいて、１以上の補間曲面を生成し、１以上の補間曲面から前記キー信号の曲面を生成するようになされている。
【００２５】
本発明の画像合成装置においては、境界情報算出手段は、対象物体の境界を求め、境界を近似する複数の曲線のそれぞれの始点となる複数の境界点と、複数の境界点のそれぞれにおける画像の勾配のそれぞれとを算出するようになされている。決定情報算出手段は、対象物体の境界の法線方向に、複数の境界点のそれぞれにおける画像の勾配に対応した傾斜をそれぞれ有する複数の線分を求め、求められた複数の線分のうちの隣接する所定の２つの線分同士の間を補間する１以上の補間曲面のそれぞれを決定するために必要な決定情報を算出するようになされている。詳細には、決定情報算出手段は、所定の１つの補間曲面を所定の平面上に射影させたときに得られる領域における、所定の２つの線分の対応する端点同士を結ぶ２つの曲線のそれぞれに対応する２つの像のうちの一方から他方に向かう方向への幅によって、その所定の１つの補間曲面についての決定情報のうちの少なくとも一部を算出するようになされている。画面生成手段は、決定情報算出手段により算出された決定情報に基づいて、１以上の補間曲面を生成し、１以上の補間曲面からキー信号の曲面を生成するようになされている。合成手段は、曲面生成手段により曲面の生成されたキー信号を用いて、所定の画像と他の画像とを合成するようになされている。
【００２６】
【実施例】
以下、図面を参照して、本発明の実施例について説明するが、その前段階の準備として、画像の画素値の変化と、その画像からキー信号を生成する対象とする物体（対象物体）（以下、適宜、前景という）の境界との関係について説明する。
【００２７】
なお、画像のうち、前景を除く部分は、背景と呼ぶこととする。従って、画像は、前景と背景とから構成される。また、画像の画素値の変化とは、例えば２次元の画像の場合、その画像が、ｘｙ平面を構成するとし、そのｘｙ平面に垂直な軸（ｚ軸）をとってｘｙｚ空間を考え、そのｚ軸方向に、画像を構成する画素値に対応する点をプロットしたときに、その点で構成される面の傾き（各点における傾きが最も大きい方向（この方向は、エッジ強度が最大となる方向に一致する）とその傾き具合（傾きの大きさ））を意味し、以下、適宜、画像の勾配という。
【００２８】
まず、［１］背景に対して前景が静止している画像を考える。なお、ここでは、説明を簡単にするため、画像は１次元であるとする。
【００２９】
この場合、画像を構成する、位置ｘにある画素の画素値をＣ（ｘ）とすると、画素が無限小とみなすことができるときには、前景の境界（この境界は、背景の境界と考えることもできる）（前景と背景との境界）の位置（前景から背景（あるいは背景から前景）に変わる位置）で、画素値Ｃ（ｘ）は、図１（ａ）に示すようにステップ状に変化する。従って、前景の境界での画像の勾配は、図１（ｂ）に示すように、インパルス状に変化する。
【００３０】
理想的には上述の通りであるが、実際には、画素は有限の大きさを有し、このため、前述したようなエイリアスが生じる。そこで、画像（全体あるいは前景の境界部分）には、ローパスフィルタがかけられ、エイリアスが低減（除去）される。これにより、前景の境界付近の画素値Ｃ（ｘ）は、図１（ｃ）に示すように滑らかに変化するようになる。さらに、これに伴い、前景の境界での画像の勾配も、図１（ｄ）に示すように、同図（ｂ）に示したインパルスをローパスフィルタでフィルタリングしたように変化するようになる。
【００３１】
次に、［２］背景に対して前景が動いている場合を考える。なお、ここでも、説明を簡単にするため、画像は１次元であるとする。
【００３２】
この場合、前景が、ほぼ等速運動しているとみなすことができる程度に、画像のフレーム周期が短いものとし（この仮定は、通常成立する）、また、画素が無限小とみなすことができるとすると、前景の境界付近の画素値Ｃ（ｘ）は、図２（ａ）に示すように、一定（ほぼ一定）の割合で変化する。従って、前景の境界付近での画像の勾配は、図２（ｂ）に示すように、一定となる。
【００３３】
しかしながら、実際には、上述したように、画素は有限の大きさを有するので、やはり、画像（全体あるいは前景の境界部分）には、ローパスフィルタがかけられ、これにより、前景の境界付近の画素値Ｃ（ｘ）は、図２（ｃ）に示すようになる。同様に、前景の境界付近での画像の勾配も、図２（ｄ）に示すように、滑らかに変化するようになる。
【００３４】
［１］および［２］のいずれの場合も、図１（ｃ）および図２（ｃ）に示したように、前景の境界部分（画像の勾配が変化している部分）の中心点Ｐにおける画像の勾配が、前景の境界（前景の境界と考えられる位置）における画像の勾配を、最も良く近似していると考えることができる。そして、この場合、完全に、前景または背景を構成する画素の位置におけるキー信号αが、それぞれ１または０となるものとしたとき、点Ｐにおけるキー信号αは、０．５となり、また、図１（ｄ）および図２（ｄ）に示したように、点Ｐ、即ち前景の境界（前景の境界と考えられる位置）は、画像の勾配が局所的に大きい点となると推定することができる。
【００３５】
従って、２次元の画像を考えた場合、その画像の勾配が局所的に大きくなる点を結び、閉曲線を描くと、それは、図３に示すように、前景の境界（前景の境界と考えられる線）となる。また、この閉曲線（以下、適宜、境界線という）の法線方向は、その境界線と法線との交点における画像の勾配の方向（最大傾斜の方向）になる。
【００３６】
以上の画像の勾配とその前景の境界との関係から、前景の境界上の点（画素）すべてについて、各点の法線方向に、その点における画像の勾配の大きさに対応した傾斜を有する線分を求めれば、その線分の集合として表現される曲面は、エイリアスおよびモーションブラーを考慮したキー信号の曲面（図２０（ｂ）において、０＜α＜１の部分を表す曲面）となる。しかしながら、この曲面を表現する線分を、前景の境界上の点（画素）すべてについて求めるのは、計算量の点から容易ではない。
【００３７】
そこで、以下説明するキー信号生成装置では、前景の境界部分に関する境界情報として、前景の境界、さらにはその境界上の幾つかの（複数の）点（境界点）における画像の勾配を求め、前景の境界線の法線方向に、各境界点における画像の勾配に対応した傾斜を有する線分を求めて、隣接する２つの線分どうしの間を補間する面（曲面）を決定するための決定情報を算出し、その決定情報に基づいて、キー信号の曲面全体を、直接生成するようになされている。
【００３８】
図４は、以上のようにしてキー信号を生成するキー信号生成装置の一実施例の構成を示している。境界情報算出部１には、キー信号を生成する対象とする前景を含む画像が入力されるようになされている。境界情報算出部１（境界情報算出手段）は、入力された画像から、その前景の境界情報としての、例えば前景の境界（前景の境界と考えられる閉曲線）およびその境界（閉曲線）上の点における画像の勾配を算出し、制御情報算出部２に出力するようになされている。
【００３９】
制御情報算出部２（決定情報算出手段）は、境界情報算出部１から出力される境界情報に基づいて、キー信号の曲面を決定する決定情報（制御情報）を算出し、曲面生成部３に出力するようになされている。曲面生成部３（曲面生成手段）は、制御情報算出部２より出力される決定情報に基づいて、キー信号の曲面を生成し、さらにその曲面を用いてキー信号を生成し、マスク画像生成部４および表示部５に出力するようになされている。
【００４０】
マスク画像生成部４（マスク画像生成手段）は、曲面生成部３からのキー信号に対応するマスク画像（キー信号αの値に対応して、例えば輝度が変化する画像）を生成し、表示部５に出力するようになされている。表示部５（表示手段）は、曲面生成部３からのキー信号およびマスク画像生成部４からのマスク画像を表示するようになされている。なお、本実施例では、マスク画像は、例えば２次元の画像として表示され、キー信号は、例えば図２０に示したような、いわば３Ｄ（3-Dimension）の画像として表示されるようになされている。
【００４１】
制御信号変更部６（操作手段）は、例えばキーボードやマウスなどで構成され、表示部５に表示されたキー信号、マスク画像を変更するときに操作されるようになされている。なお、制御情報算出部２は、制御信号変更部６が操作されると、その操作に対応して、いま出力している決定情報を変更するようになされている。
【００４２】
次に、図５および図６のフローチャートを参照して、その動作について説明する。なお、図６は、図５のフローチャートに続くフローチャートである。
【００４３】
まず最初に、ステップＳ１では、境界情報算出部１において、前景の境界が求められ、それが、所定の数の所定の曲線で近似される。
【００４４】
即ち、ステップＳ１では、まず画像の勾配が求められ、その勾配に基づいて、画像の前景の境界が求められる。ここで、画像の勾配は、上述した定義から、ｘｙｚ空間における画像の画素値の１次微分に等しい。この空間１次微分値は、例えば画素値とソーベルオペレータなどとの畳み込みを行うことによって求められる。即ち、例えば画像のｘまたはｙ方向それぞれについて、図７に示すソーベルオペレータｆｘまたはｆｙによる畳み込みを行うことにより、ｘまたはｙ方向の１次微分値、即ち画像の勾配が得られる。
【００４５】
ステップＳ１では、画像の勾配が求められた後、その勾配が局所的に大きい点により構成される閉曲線が、画像の前景の境界として求められる。そして、前景の境界を近似する所定の数の所定の曲線として、例えばＩ個のベジェ（Bezier）曲線Ｃｉ（ｔ）が求められる（但し、ｉ＝１，２，・・・，Ｉで、ｔは０乃至１の範囲の実数値をとる助変数）。
【００４６】
さらに、ステップＳ１では、前景の境界を近似するＩ個のベジェ曲線Ｃｉ（ｔ）それぞれの始点Ｐｉが求められ、この始点Ｐｉ、ベジェ曲線Ｃｉ（ｔ）（Ｉ個のベジェ曲線Ｃｉ（ｔ）とその始点Ｐｉの集合が、前景の境界を表す）、および始点Ｐｉにおける画像の勾配Ｅｉが、境界情報として、制御情報算出部２に出力される。
【００４７】
なお、上述の場合は、前景の境界を近似するＩ個のベジェ曲線Ｃｉ（ｔ）を求めてから、その始点Ｐｉを求めるようにしたが、これとは逆に、前景の境界上にＩ個の点をとって、これをベジェ曲線の始点とし、その後、隣接する２つの点の間の境界線を近似するＩ個のベジェ曲線Ｃｉ（ｔ）を求めるようにしても良い。
【００４８】
制御情報算出部２においては、ステップＳ２乃至Ｓ９のループ処理が行われる。即ち、制御情報算出部２では、まず最初に、ステップＳ２において、変数ｉに、初期値としての１がセットされ、ステップＳ３，Ｓ４に順次進み、始点Ｐｉについて、前景の境界の法線方向に、その始点Ｐｉにおける画像の勾配に対応した傾斜を有する線分が求められる。
【００４９】
ここで、画像が、ｘｙ平面を構成するとし、そのｘｙ平面に垂直な軸（α軸）をとってｘｙα空間を考え、そのα軸方向に、画像を構成する各画素に対応するキー信号αをプロットするものとすると、上述の推定から、前景の境界は、図８（ａ）に示すように、α＝０．５の平面上に存在する。従って、始点Ｐｉも、このα＝０．５の平面上に存在し、ステップＳ３では、図８（ｂ）に示すように、このα＝０．５の平面上に存在する始点Ｐｉを通り、その始点Ｐｉにおける境界の法線方向の直線であって、始点Ｐｉにおける画像の勾配Ｅｉに対応する傾斜を有する直線（図８（ｂ）において点線で示す直線）が求められる。
【００５０】
そして、ステップＳ４では、キー信号αがそれぞれ１または０となる２つの平面、即ちα＝１，α＝０の平面が、適当な方法で定義され、図８（ｃ）に示すように、ステップＳ３で求められた直線を、α＝１の平面およびα＝０の平面で打ち切った線分が求められる。さらに、このとき、ステップＳ４では、その線分の端点、即ち、ステップＳ３で求められた直線と、α＝１の平面またはα＝０の平面それぞれとの交点Ｐｉ１またはＰｉ０が求められる。
【００５１】
ここで、α＝１，α＝０の平面は、例えば次のような方法で定義することができる。即ち、図９（ａ）に示すように、始点Ｐｉにおける境界の法線方向にある各位置の画素について、画像の勾配を求め、その大きさが所定の閾値Ｋとなる点ｐ１およびｐ２を求める。そして、この点ｐ１乃至ｐ２の範囲、即ち画像の勾配が閾値Ｋより大きくなる範囲を、図９（ｂ）に示すように、キー信号αが０＜α＜１の値をとる有効な範囲とし、点ｐ１またはｐ２におけるキー信号αを、それぞれ０または１に設定する。点ｐ１およびｐ２は、いずれも始点Ｐｉにおける境界の法線方向の直線上の点であり、従って、点ｐ１またはｐ２それぞれを通り、ｘｙ平面に垂直な２つの直線ＣＬ１またはＣＬ２は、いずれもステップＳ３で求められた直線と交わる。この２つの直線ＣＬ１またはＣＬ２それぞれと、ステップＳ３で求められた直線との交点を含み、ｘｙ平面と平行な平面が、それぞれα＝０の平面またはα＝１の平面とされる。
【００５２】
なお、図９においては、点ｐ１から点ｐ２への方向が背景から前景への方向であるとしている。
【００５３】
また、α＝０の平面およびα＝１の平面は、ある点Ｐｉだけについて求め、その他の点については、点Ｐｉについての平面を用いることも考えられるが、精度その他の観点から、α＝０の平面およびα＝１の平面は、各点Ｐｉごとに求めるのが好ましい。
【００５４】
さらに、α＝０の平面およびα＝１の平面を定義する方法は、上述したものに限定されるものではなく、α＝０の平面およびα＝１の平面は、キー信号αが０＜α＜１の値をとる有効な範囲を決定することが可能なその他の方法によって定義することが可能である。
【００５５】
以上のようにして、端点をＰｉ０およびＰｉ１とする線分を求めた後、ステップＳ５乃至Ｓ７に順次進み、ステップＳ３乃至Ｓ９のループ処理によって求められる、Ｉ個の始点Ｐｉを通る、上述したような線分のうちの、隣接する２つの線分どうしの間を補間する面を決定する決定情報が算出される。
【００５６】
ここで、本実施例では、隣接する２つの線分どうしの間を補間する面として、例えばパラメトリックな面を採用する。パラメトリックな面としては、例えばベジェ曲面などがあり、いま、隣接する２つの線分どうしの間を補間する面として、例えば３次のベジェ曲面を用いるものとすると、この３次のベジェ曲面Ｑは、２つの助変数ｓ，ｔを用いて、次のように表すことができる。
【００５７】
Ｑ＝Ｑ（ｓ，ｔ） ・・・（１）
但し、３次のベジェ曲面Ｑという場合は、助変数ｓ，ｔの最高次数がいずれも３次であり、従って、３次のベジェ曲面Ｑは、最高次数が６次の多項式で表すことができる。また、ｓ，ｔは、０乃至１の範囲の実数値をとる。
【００５８】
３次のベジェ曲面は、例えば図１０に示すような曲面で、曲面の４端点（例えば、Ｑ（０，０），Ｑ（０，１），Ｑ（１，０），Ｑ（１，１））を表す位置ベクトルと、各端点における速度ベクトルとで決定（制御）される。即ち、逆にいえば、４端点の位置ベクトルおよび速度ベクトルが決まれば、ベジェ曲面は一意に決定される。
【００５９】
図１０において、助変数ｓを０または１に固定して、助変数ｔを０乃至１に変化させた場合には、端点Ｑ（０，０）とＱ（０，１）とを結ぶ曲線Ｑ（０，ｔ）または端点Ｑ（１，０）とＱ（１，１）とを結ぶ曲線Ｑ（１，ｔ）が、それぞれ描かれる。また、助変数ｔを０または１に固定して、助変数ｓを０乃至１に変化させた場合には、端点Ｑ（０，０）とＱ（１，０）とを結ぶ曲線Ｑ（ｓ，０）または端点Ｑ（０，１）とＱ（１，１）とを結ぶ曲線Ｑ（ｓ，１）が、それぞれ描かれる。従って、助変数ｓ，ｔを０乃至１の範囲で変化させた場合には、４端点Ｑ（０，０），Ｑ（０，１），Ｑ（１，０），Ｑ（１，１）とそれらを結ぶ曲線Ｑ（０，ｔ），Ｑ（１，ｔ），Ｑ（ｓ，０），Ｑ（ｓ，１）とによって囲まれる曲面Ｑ（ｓ，ｔ）が描かれる。
【００６０】
境界情報算出部１から出力されたＩ個の始点Ｐｉは、上述したｘｙα空間において、α＝０．５の平面上に存在するが、本実施例では、図１１に示すように、このうちのある点Ｐｉとそれに隣接する点Ｐ（ｉ＋１）を通り、前景の境界の法線方向に、点Ｐｉ，Ｐ（ｉ＋１）における画像の勾配に対応した傾斜を有する３次のベジェ曲面を、ステップＳ３で求めた線分のうちの、隣接する２つの線分どうしの間を補間する面として採用する。
【００６１】
この場合、助変数ｓを、次式で示すように、キー信号αと等しい値にとるものとする。
【００６２】
ｓ＝α （２）
【００６３】
また、点ＰｉまたはＰ（ｉ＋１）における助変数ｔの値を、それぞれ０または１とすると、点ＰｉまたはＰ（ｉ＋１）それぞれは、式（１）および（２）から、次のように表すことができる。
【００６４】
Ｐｉ＝Ｑ（０．５，０） （３）
Ｐ（ｉ＋１）＝Ｑ（０．５，１） （４）
【００６５】
さらに、この場合、ステップＳ３で求められる、点ＰｉまたはＰ（ｉ＋１）を通る線分を、それぞれＬｉまたはＬ（ｉ＋１）とすると、この線分ＬｉまたはＬ（ｉ＋１）は、次式で表すことができる。
【００６６】
Ｌｉ＝Ｑ（ｓ，０） （５）
Ｌ（ｉ＋１）＝Ｑ（ｓ，１） （６）
【００６７】
線分ＬｉまたはＬ（ｉ＋１）は、１次の変数で表すことができる（いわゆるｙ＝ａｘ＋ｂの形で表すことができる）から、助変数ｓの最高次数は１次であり（ｓ²およびｓ³の項における定数はいずれも０であり）、従って、本実施例で採用する３次のベジェ曲面Ｑは、助変数ｓまたはｔについての最高次数がそれぞれ１次または３次の多項式、即ち最高次数が４次の多項式で表すことができる。
【００６８】
いま、図１１に示したように、線分Ｌｉの、平面α＝０またはα＝１上における端点をそれぞれＰｉ０またはＰｉ１とするとともに、線分Ｌ（ｉ＋１）の、平面α＝０またはα＝１上における端点をそれぞれＰ（ｉ＋１）０またはＰ（ｉ＋１）１とし、これらの点Ｐｉ０，Ｐｉ１，Ｐ（ｉ＋１）０，Ｐ（ｉ＋１）１を、それぞれ次式で示すように定義する。
【００６９】
Ｐｉ０＝Ｑ（０，０） （７）
Ｐｉ１＝Ｑ（１，０） （８）
Ｐ（ｉ＋１）０＝Ｑ（０，１） （９）
Ｐ（ｉ＋１）１＝Ｑ（１，１） （１０）
【００７０】
ここで、本実施例で採用する３次のベジェ曲面Ｑは、上述したように、助変数ｓまたはｔについての最高次数がそれぞれ１次または３次の多項式であるから、助変数ｓについては、定数項および１次のｓの項の２つの項が存在し、また助変数ｔについては、定数項および１乃至３次のｔの項の４つの項が存在する。従って、この場合、ベジェ曲面Ｑは、８（＝２×４）つの項でなる多項式で表されるから、８つの情報を与えることにより一意に決定される。即ち、例えば式（７）乃至（１０）に示した４つの端点Ｑ（０，０），Ｑ（０，１），Ｑ（１，０），Ｑ（１，１）それぞれを表す位置ベクトルＰｉ０，Ｐｉ１，Ｐ（ｉ＋１）０，Ｐ（ｉ＋１）１に加え、その４つの端点それぞれにおける、１つの速度ベクトル、即ち４つの速度ベクトルを与えることによって、曲面（ベジェ曲面）Ｑを決定することができる。
【００７１】
そこで、本実施例では、曲面Ｑの端点Ｑ（０，０），Ｑ（１，０），Ｑ（０，１），Ｑ（１，１）それぞれにおける速度ベクトルＶｉ０，Ｖｉ１，Ｖ（ｉ＋１）０，Ｖ（ｉ＋１）１を以下のように定義し、これらと、上述した位置ベクトルＰｉ０，Ｐｉ１，Ｐ（ｉ＋１）０，Ｐ（ｉ＋１）１によって、線分ＬｉとＬ（ｉ＋１）との間を補間する曲面Ｑを決定するものとする。
【００７２】
Ｖｉ０＝Ｄｔ｛Ｑ（０，ｔ）｝｜ｔ＝０ （１１）
Ｖｉ１＝Ｄｔ｛Ｑ（１，ｔ）｝｜ｔ＝０ （１２）
Ｖ（ｉ＋１）０＝Ｄｔ｛Ｑ（０，ｔ）｝｜ｔ＝１ （１３）
Ｖ（ｉ＋１）１＝Ｄｔ｛Ｑ（１，ｔ）｝｜ｔ＝１ （１４）
但し、式（１１）乃至（１４）において、Ｄｔ｛｝は、｛｝内の関数を、助変数ｔによって微分することを表す演算子であり、｜ｔ＝０または｜ｔ＝１は、｜の左側の演算子Ｄｔ｛｝による微分結果における助変数ｔに、それぞれ０または１を代入することを表す。
【００７３】
助変数ｓを０または１に固定した場合の曲面Ｑ、即ち曲線Ｑ（０，ｔ）またはＱ（１，ｔ）は、式（２）より、α＝０またはα＝１の平面上にそれぞれ存在し、従って、式（１１）乃至（１４）で表される速度ベクトルＶｉ０およびＶ（ｉ＋１）０、またはＶｉ１およびＶ（ｉ＋１）１は、図１２に示すように、それぞれ平面α＝０またはα＝１上に存在するベクトルとなる。
【００７４】
本実施例においては、４つの位置ベクトル（端点）Ｐｉ０，Ｐｉ１，Ｐ（ｉ＋１）０，Ｐ（ｉ＋１）１は、ステップＳ４において決定されるので、残りの情報としての４つの速度ベクトルＶｉ０，Ｖ（ｉ＋１）０，Ｖｉ１，Ｖ（ｉ＋１）１によって、線分ＬｉとＬ（ｉ＋１）との間を補間する曲面Ｑを決定（制御）することができる。
【００７５】
従って、速度ベクトルＶｉ０，Ｖ（ｉ＋１）０，Ｖｉ１，Ｖ（ｉ＋１）１をどのように制御するかが問題となるが、ここでは、曲面Ｑの幅が大きく変動しないように、速度ベクトルＶｉ０，Ｖ（ｉ＋１）０，Ｖｉ１，Ｖ（ｉ＋１）１を決定する。
【００７６】
即ち、いま、助変数ｓを０または１に固定し、助変数ｔを０乃至１の範囲で変化させたときに得られる軌跡（曲線）Ｃ０またはＣ１は、それぞれ次式で表される。
【００７７】
Ｃ０＝Ｑ（０，ｔ） （１５）
Ｃ１＝Ｑ（１，ｔ） （１６）
なお、曲線Ｃ０からＣ１への方向は、キー信号αが、０から１に変化する方向となる。
【００７８】
いま、この曲線Ｃ０およびＣ１、並びに線分ＬｉおよびＬ（ｉ＋１）で囲まれる曲面Ｑを、図１３に示すように、ｘｙ平面上に射影したときに得られる領域（像）ｑ（図中、斜線を付してある部分）を考えると、曲線Ｃ０に対応する像からＣ１に対応する像への方向（あるいはその逆方向）への幅（この幅は、上述した曲面Ｑの幅に相当する）（膨らみ）は、背景から前景に（あるいは前景から背景に）、いわば移行していく部分であり、従って、この領域ｑの幅が、図１４（ａ）に示すように、大きく振動していると、キー信号は、視覚的に不自然なものとなる。
【００７９】
そこで、図１４（ｂ）に示すように、曲面Ｑの幅、即ち領域ｑの幅が大きく変動しないように、速度ベクトルＶｉ０，Ｖ（ｉ＋１）０，Ｖｉ１，Ｖ（ｉ＋１）１を決定する必要がある。これは、例えば前景の境界の曲率（前景の境界上の点ＰｉおよびＰ（ｉ＋１）の曲率）を求め、その曲率に基づいて行うことができる。
【００８０】
即ち、いま、点Ｐｉまたは点Ｐ（ｉ＋１）における速度ベクトルＶｉまたはＶ（ｉ＋１）を、式（１１）乃至（１４）における場合と同様に定義すると、それぞれ次式で表される。
【００８１】
Ｖｉ＝Ｄｔ｛Ｑ（０．５，ｔ）｝｜ｔ＝０ （１７）
Ｖ（ｉ＋１）＝Ｄｔ｛Ｑ（０．５，ｔ）｝｜ｔ＝１ （１８）
【００８２】
速度ベクトルＶｉまたはＶ（ｉ＋１）は、平面α＝０．５上に存在するベクトルであり、また、上述したように、速度ベクトルＶｉ０およびＶ（ｉ＋１）０、またはＶｉ１およびＶ（ｉ＋１）１は、それぞれ平面α＝０またはα＝１上に存在するベクトルであるから、これらはｘｙ平面に射影しても変化しない。
【００８３】
そこで、図１５に示すように、領域ｑ、並びに速度ベクトルＶｉ，Ｖ（ｉ＋１），Ｖｉ０，Ｖ（ｉ＋１）０，Ｖｉ１，Ｖ（ｉ＋１）１を、ｘｙ平面上に射影したものを考える。
【００８４】
この場合、領域ｑの幅の振動を抑えるには、速度ベクトルＶｉ０およびＶ（ｉ＋１）０の向きが、速度ベクトルＶｉの向きと一致するように、かつその大きさが、速度ベクトルＶｉの曲率の中心Ｏｉからの距離に比例して大きくなるようにするとともに、速度ベクトルＶ（ｉ＋１）０およびＶ（ｉ＋１）１の向きが、速度ベクトルＶ（ｉ＋１）の向きと一致するように、かつその大きさが、速度ベクトルＶ（ｉ＋１）の曲率の中心Ｏ（ｉ＋１）からの距離に応じて大きくなるようにすれば良い。
【００８５】
従って、いま、点Ｐｉでの曲率半径（曲率の逆数）をＲｉとするとともに、ｘｙ平面上に射影した点ＰｉとＰｉ０との距離または点ＰｉとＰｉ１との距離を、それぞれＤｉ０またはＤｉ１とすると、速度ベクトルＶｉ０，Ｖ（ｉ＋１）０は、次式にしたがって決定すれば良い。
【００８６】
即ち、曲率の中心Ｏｉが、前景側（点Ｐｉから見た場合には、点Ｐｉ１側）に存在する場合は、式
Ｖｉ０＝（Ｒｉ＋Ｄｉ０）／Ｒｉ×Ｖｉ （１９）
Ｖｉ１＝（Ｒｉ−Ｄｉ１）／Ｒｉ×Ｖｉ （２０）
にしたがって、速度ベクトルＶｉ０，Ｖ（ｉ＋１）０を決定する。
【００８７】
また、曲率の中心Ｏｉが、背景側（点Ｐｉから見た場合には、点Ｐｉ０側）に存在する場合（例えば、図１５に示したような場合）は、式
Ｖｉ０＝（Ｒｉ−Ｄｉ０）／Ｒｉ×Ｖｉ （２１）
Ｖｉ１＝（Ｒｉ＋Ｄｉ１）／Ｒｉ×Ｖｉ （２２）
にしたがって、速度ベクトルＶｉ０，Ｖ（ｉ＋１）０を決定する。
【００８８】
速度ベクトルＶ（ｉ＋１）０およびＶ（ｉ＋１）１も、速度ベクトルＶ（ｉ＋１）に基づいて、同様に決定する。
【００８９】
以上のようにして速度ベクトルＶｉ０，Ｖ（ｉ＋１）０，Ｖｉ１，Ｖ（ｉ＋１）１を決定することで、領域ｑの幅の振動を抑えることができる。
【００９０】
なお、本実施例においては、助変数ｓの最高次数は１次であるから、曲面Ｑの、前景の境界の法線方向における傾きは一定であり、従って、点Ｐｉ（点Ｐ（ｉ＋１）についても同様）は、点Ｐｉ０とＰｉ１との中点（線分Ｌｉの中点）にあるので、Ｄｉ０＝Ｄｉ１となる。ここで、以下では、Ｄｉ０＝Ｄｉ１＝Ｄｉとする。
【００９１】
図５に戻り、ステップＳ５では、点Ｐｉにおける曲率半径Ｒｉが算出され、さらにこの点Ｐｉと、ステップＳ４で求められた点Ｐｉ０とをｘｙ平面上に射影して得られる２点の間の距離（あるいは、点Ｐｉと、ステップＳ４で求められた点Ｐｉ１とをｘｙ平面上に射影して得られる２点の間の距離）Ｄｉが算出される。そして、ステップＳ６に進み、点Ｐｉにおける速度ベクトルＶｉが、式（１７）にしたがって算出され、ステップＳ７に進む。
【００９２】
ステップＳ７においては、ステップＳ４で求められた点Ｐｉ０またはＰｉ１における速度ベクトルＶｉ０またはＶｉ１が、曲率の中心Ｏｉの位置に基づいて、式（１９）または（２０）、あるいは式（２１）または（２２）にしたがって算出される。
【００９３】
その後、ステップＳ８において、変数ｉが１だけインクリメントされ、ステップＳ９に進み、変数ｉがＩ以下であるか否かが判定される。ステップＳ９において、変数ｉがＩ以下であると判定された場合、即ち、ステップＳ１で求められたＩ個の点Ｐｉすべてについて、ステップＳ３乃至Ｓ７の処理を、まだ行っていない場合、ステップＳ３に戻る。
【００９４】
一方、ステップＳ９において、変数ｉがＩ以下でないと判定された場合、即ち、ステップＳ１で求められたＩ個の点Ｐｉすべてについて、ステップＳ３乃至Ｓ７の処理を行った場合、１乃至Ｉの各ｉについて、線分ＬｉとＬ（ｉ＋１）との間を補間する曲面Ｑを決定する決定情報（制御情報）としての点Ｐｉ０，Ｐｉ１，Ｐ（ｉ＋１）０、およびＰ（ｉ＋１）１、並びに速度ベクトルＶｉ０，Ｖｉ１，Ｖ（ｉ＋１）０、およびＶ（ｉ＋１）１が、制御情報算出部２から曲面生成部３に出力される。
【００９５】
なお、ｉ＝Ｉについては、線分ＬＩとＬ１との間を補間する曲面Ｑを決定する決定情報（制御情報）として、点ＰＩ０，ＰＩ１，Ｐ１０、およびＰ１１、並びに速度ベクトルＶＩ０，ＶＩ１，Ｖ１０、およびＶ１１が出力される。
【００９６】
曲面生成部３では、各ｉについての点Ｐｉ０，Ｐｉ１，Ｐ（ｉ＋１）０、およびＰ（ｉ＋１）１、並びに速度ベクトルＶｉ０，Ｖｉ１，Ｖ（ｉ＋１）０、およびＶ（ｉ＋１）１から、線分ＬｉとＬ（ｉ＋１）との間を補間する曲面Ｑが生成され、これらを、いわばつなぎ合わせることでキー信号の曲面（側面）が求められる。そして、この曲面に、α＝１の平面（但し、点Ｐｉ１（ｉ＝１，２，・・・，Ｉ）で囲まれる部分）と、α＝０の平面（但し、点Ｐｉ０（ｉ＝１，２，・・・，Ｉ）で囲まれる部分を除く部分）とが付加され、これにより境界情報算出部１に入力された画像に対応するキー信号が生成される。このキー信号は、マスク画像生成部４に供給され、そこでは、曲面生成部３からのキー信号が、ｘｙ平面上の各画素に射影され、これにより、例えばキー信号αの値によって輝度の異なるマスク画像が生成される。
【００９７】
即ち、制御情報算出部２で決定情報が算出された後は、図６のステップＳ１０に進み、以下、曲面生成部３において、ステップＳ１０乃至Ｓ２０の処理が行われ、さらに、マスク画像生成部４において、ステップＳ２１の処理が行われる。
【００９８】
ここで、図１６乃至図１８を参照して、ステップＳ１０乃至Ｓ２１の処理について説明する。
【００９９】
例えば、あるｉについての点Ｐｉ０，Ｐｉ１，Ｐ（ｉ＋１）０、およびＰ（ｉ＋１）１、並びに速度ベクトルＶｉ０，Ｖｉ１，Ｖ（ｉ＋１）０、およびＶ（ｉ＋１）１から決定される曲面Ｑに、図１６に示すように、α軸方向に曲面のねじれや歪などがあるとき、これを、ｘｙ平面に射影すると、そのねじれや歪の部分が射影されたｘｙ平面上の画素には、複数の値のキー信号が重ねて（このような重なりを、以下、適宜、干渉という）割り当てられる。
【０１００】
そこで、干渉が生じる画素におけるキー信号αをどのような値とするかが問題となるが、この値を決定する方法として、例えば次のようなスーパサンプリングによるものなどがある。
【０１０１】
即ち、ｘｙ平面上における各画素を、それより細かい、例えば８×８の画素（この画素は、仮想的なもので、以下、適宜、副画素（サブピクセル）という）に分割し、この副画素単位に、キー信号を射影する。
【０１０２】
具体的には、点Ｐｉ０，Ｐｉ１，Ｐ（ｉ＋１）０、およびＰ（ｉ＋１）１、並びに速度ベクトルＶｉ０，Ｖｉ１，Ｖ（ｉ＋１）０、およびＶ（ｉ＋１）１から決定される曲面Ｑ上の任意の点は、助変数ｓまたはｔを変化させていくことで表すことができる。そして、この場合、助変数ｓを固定して、助変数ｔを変化させたときには、曲面Ｑ上の、点Ｐｉ０からＰ（ｉ＋１）０への方向（点Ｐｉ１からＰ（ｉ＋１）１への方向）にある点を表すことができ、また、助変数ｔを固定して、助変数ｓを変化させたときには、曲面Ｑ上の、点Ｐｉ０からＰｉ１への方向（点Ｐ（ｉ＋１）０からＰ（ｉ＋１）１への方向）にある点を表すことができる。
【０１０３】
そこで、助変数ｓまたはｔそれぞれを、細かい刻み幅（上述したように、ｘｙ平面上の各画素を、例えば８×８に分割することができるような幅）で変化させていくことで、図１７に示すように、曲面Ｑを格子（メッシュ）状に分割し、各格子点をｘｙ平面に射影した点を含む所定の範囲の部分を副画素（サブピクセル）とする。そして、各格子点におけるキー信号の値を、ｘｙ平面に射影して、これを各副画素に割り当てる。
【０１０４】
この場合、干渉が生じることによって、１つの副画素に、複数のキー信号αが割り当てられることがあるが、このような場合には、適当な方法、即ち、例えば複数のキー信号αのうちの最小値を優先的に割り当てることによって、１つの副画素に、１つのキー信号αを割り当てる。これにより、干渉を回避することができる。
【０１０５】
なお、干渉が生じる場合に、複数のキー信号αのうちの最小値を優先的に割り当てるようにしたのは、例えばそのうちの最大値を優先的に割り当てるようにすると、極端なときには、１が優先的に割り当てられることになり、値の小さなキー信号が考慮されないことになるからである。
【０１０６】
副画素単位でのキー信号の割り当てが終了した後は、図１８に示すように、各画素内に存在する副画素に割り当てられたキー信号を、ローパスフィルタでフィルタリングすることにより（時領域で考えた場合には、キー信号とローパスフィルタとを畳み込むことにより）、画素単位にキー信号が割り当てられたマスク画像を得ることができる（以上のように、副画素単位に、キー信号を射影してフィルタリングすることを、本実施例中では、スーパサンプリングと呼んでいる）。
【０１０７】
図６のステップＳ１０乃至Ｓ２１では、以上のような処理が行われる。即ち、ステップＳ１０では、変数ｊに、初期値としての１がセットされ、ステップＳ１１に進み、ｘｙ平面上の画像が、Ｍ×Ｎ個の副画素Ｗ（ｍ，ｎ）に分割される。但し、ＭまたはＮは、ｘｙ平面上の画像を構成する横または縦方向それぞれの画素の数より大きい整数であり、ｍまたはｎは、１乃至Ｍまたは１乃至Ｎの範囲の整数値をそれぞれとる。
【０１０８】
さらに、ステップＳ１１では、副画素Ｗ（ｍ，ｎ）に割り当てるキー信号αを記憶する変数を、ｗ（ｍ，ｎ）とするとき、この変数ｗ（ｍ，ｎ）が、そこに初期値としての０がセットされることにより初期化され、ステップＳ１２に進み、点Ｐｊ０，Ｐｊ１，Ｐ（ｊ＋１）０、およびＰ（ｊ＋１）１、並びに速度ベクトルＶｊ０，Ｖｊ１，Ｖ（ｊ＋１）０、およびＶ（ｊ＋１）１から、線分ＬｊとＬ（ｊ＋１）との間を補間する曲面Ｑが算出され、ステップＳ１３に進む。
【０１０９】
ステップＳ１３では、助変数ｓまたはｔそれぞれを変化させる、上述した細かい刻み幅δｓまたはδｔが決定され、ステップＳ１４に進み、変数ｓまたはｔに、初期値としてのδｓまたはδｔがそれぞれセットされる。
【０１１０】
そして、ステップＳ１５に進み、点（格子点）Ｑ（ｓ，ｔ）を、ｘｙ平面へ射影して得られる点（以下、適宜、射影点という）Ｍｊ（ｘ，ｙ）が算出され、ステップＳ１６に進む。ステップＳ１６では、射影点Ｍｊ（ｘ，ｙ）を含む副画素Ｗ（ｍ，ｎ）が求められ、ステップＳ１７に進み、変数ｗ（ｍ，ｎ）が０に等しいか否かと、変数ｗ（ｍ，ｎ）が変数ｓ以上であるか否かとが判定される。
【０１１１】
ステップＳ１７において、変数ｗ（ｍ，ｎ）が０に等しいと判定されるか、または変数ｗ（ｍ，ｎ）が変数ｓ以上であると判定された場合、変数ｗ（ｍ，ｎ）に変数ｓ（変数（助変数）ｓは、式（２）に示したように、キー信号αに等しい）がセットされ、ステップＳ１８に進む。即ち、変数ｗ（ｍ，ｎ）に、副画素Ｗ（ｍ，ｎ）に割り当てられたキー信号ｓが、まだセットされていない場合、および変数ｗ（ｍ，ｎ）に、既にキー信号がセットされているが、副画素Ｗ（ｍ，ｎ）に干渉が生じており、セットされているキー信号より値の小さなキー信号ｓが存在する場合、変数ｗ（ｍ，ｎ）に、変数ｓがセットされる。
【０１１２】
また、ステップＳ１７において、変数ｗ（ｍ，ｎ）が０に等しくないと判定され、かつ変数ｗ（ｍ，ｎ）が変数ｓ以上でないと判定された場合、ステップＳ１８に進み、変数ｓ，ｔが、ステップＳ１３で決定された所定の刻み幅δｓ，δｔだけインクリメントされ、ステップＳ１９に進む。
【０１１３】
なお、ステップＳ１８における変数ｓ，ｔのインクリメントは、例えば変数ｓを固定して、変数ｔのみがインクリメントされ、ステップＳ１５乃至Ｓ１９の処理を繰り返すことにより、変数ｔが１に等しくなったときには、変数ｔがδｔに初期化されるとともに、変数ｓのインクリメントが行われ、再び変数ｓを固定して、変数ｔのみがインクリメントされることが、変数ｓ，ｔがともに１に等しくなるまで行われる。但し、変数ｓ，ｔのインクリメントは、上述した方法の他、刻み幅δｓ，δｔ単位でとることのできる変数ｓ，ｔの組み合わせすべてを網羅することができるような方法で行うことが可能である。
【０１１４】
ステップＳ１９では、変数ｓ，ｔのうちのいずれか一方が１以下であるか否かが判定される。ステップＳ１９において、変数ｓ，ｔのうちのいずれか一方が１以下であると判定された場合、ステップＳ１５に戻り、ステップＳ１９で変数ｓ，ｔがいずれも１以下でないと判定されるまで、ステップＳ１５乃至Ｓ１９の処理を繰り返す。
【０１１５】
ステップＳ１９において、変数ｓ，ｔがいずれも１以下でないと判定された場合、ステップＳ２０に進み、変数ｊが、図５のステップＳ１で求められた前景の境界上の点Ｐｉの総数Ｉ以下であるか否かが判定される。ステップＳ２０において、変数ｊがＩ以下であると判定された場合、ステップＳ１２に戻る。また、ステップＳ２０において、変数ｊがＩ以下でないと判定された場合、ステップＳ２１に進み、変数ｗ（ｍ，ｎ）にローパスフィルタがかけられ、これにより、画素単位にキー信号が割り当てられたマスク画像が算出され、処理を終了する。
【０１１６】
マスク画像生成部４で求められたマスク画像は、表示部５に出力されて表示される。また、必要に応じて、曲面生成部３で求められたキー信号も表示部５に出力されて表示される。この場合、表示部５には、マスク画像またはキー信号とともに、各曲面Ｑを決定する決定情報としての速度ベクトルＶｉ０，Ｖｉ１，Ｖ（ｉ＋１）０、およびＶ（ｉ＋１）１が、各曲面Ｑの４端点に表示される。装置の操作者としての、例えば編集者（映像の編集者）は、この表示部５に表示されたマスク画像またはキー信号を見て、生成されたキー信号を所望するものに変更する。
【０１１７】
即ち、編集者は、表示部５に表示されたマスク画像またはキー信号が所望するものでない場合には、同じく表示部５に表示された速度ベクトルＶｉ０，Ｖｉ１，Ｖ（ｉ＋１）０，Ｖ（ｉ＋１）１を変えることで、表示部５に表示されたマスク画像またはキー信号を所望するものに変更する。
【０１１８】
速度ベクトルＶｉ０，Ｖｉ１，Ｖ（ｉ＋１）０，Ｖ（ｉ＋１）１は、制御信号変更部６を操作することで、その向きおよび大きさ変えることができ、即ち、制御情報算出部２では、制御信号変更部６の操作に応じて、速度ベクトルＶｉ０，Ｖｉ１，Ｖ（ｉ＋１）０，Ｖ（ｉ＋１）１が変更され、曲面生成部３では、その変更後の速度ベクトルＶｉ０，Ｖｉ１，Ｖ（ｉ＋１）０，Ｖ（ｉ＋１）１に基づいて、曲面が生成される。これにより、制御信号変更部６の操作に応じて変更されたマスク画像またはキー信号が、表示部５に表示される。
【０１１９】
そして、編集者は、表示部５に表示されたマスク画像またはキー信号が所望するものとなった場合には、そのキー信号を用いて、画像合成などの画像処理を行う。
【０１２０】
速度ベクトルＶｉ０，Ｖｉ１，Ｖ（ｉ＋１）０，Ｖ（ｉ＋１）１の大きさの変更は、図１３に示した曲線Ｃ０，Ｃ１の曲がり具合に反映され、またその向きの変更は、曲線Ｃ０，Ｃ１の曲がる方向に反映されるので、速度ベクトルＶｉ０，Ｖｉ１，Ｖ（ｉ＋１）０，Ｖ（ｉ＋１）１の変更がキー信号に与える影響が、直感的に分かりやすく、従って、編集者は、所望するキー信号への変更を容易に行うことができる。
【０１２１】
さらに、以上のようにして求めたキー信号を保持しておくには、位置ベクトルＰｉ０，Ｐｉ１，Ｐ（ｉ＋１）０、およびＰ（ｉ＋１）１、並びに速度ベクトルＶｉ０，Ｖｉ１，Ｖ（ｉ＋１）０、およびＶ（ｉ＋１）１だけを記憶しておくだけで良いので、例えば画素単位でキー信号を記憶しておく場合に比較して、記憶容量が少なくて済む。
【０１２２】
また、位置ベクトルＰｉ０，Ｐｉ１，Ｐ（ｉ＋１）０、およびＰ（ｉ＋１）１、並びに速度ベクトルＶｉ０，Ｖｉ１，Ｖ（ｉ＋１）０、およびＶ（ｉ＋１）１で決定される曲面は、前景の境界上の点Ｐｉの法線方向に、その点Ｐｉにおける画像の勾配の大きさに対応した傾斜を有するので、この曲面の集合で形成されるキー信号は、エイリアスの影響を低減し、かつモーションブラーの影響を正確に反映したものとなる。
【０１２３】
さらに、本実施例では、キー信号を構成する曲面Ｑが、位置ベクトルＰｉ０，Ｐｉ１，Ｐ（ｉ＋１）０、およびＰ（ｉ＋１）１、並びに速度ベクトルＶｉ０，Ｖｉ１，Ｖ（ｉ＋１）０、およびＶ（ｉ＋１）１で決定されるので、例えば時間的に連続するフレームＦ１，Ｆ２，Ｆ３があった場合、フレームＦ１またはＦ３についてのキー信号α１またはα３を求めておいたときには、フレームＦ２についてのキー信号α２に対応する位置ベクトル、速度ベクトルとしては、キー信号α１またはα３それぞれを構成する曲面を決定する位置ベクトル、速度ベクトルの平均値を採用することができる。即ち、フレームＦ２についてのキー信号α２に対応する位置ベクトル、速度ベクトルは、いわばベクトルの内挿を行うようにして求めることができる。以上のようにして求めたフレームＦ２についてのキー信号α２に対応する位置ベクトル、速度ベクトルは、実際に、図５および図６に示した処理を行った結果得られる値を、比較的精度良く近似する。
【０１２４】
次に、図１９は、本発明を適用した画像合成装置の一実施例の構成を示している。この画像合成装置は、キー信号生成装置１１およびミキサ１２で構成されている。キー信号生成装置１１は、図４のキー信号生成装置と同様に構成されており、上述したようにしてキー信号αを生成し、ミキサ１２に出力するようになされている。ミキサ１２（合成手段）は、キー信号生成装置１１からのキー信号を用いて、そこに入力される画像Ｔ１とＴ２とを合成するようになされている。
【０１２５】
次に、その動作について説明する。なお、ここでは、キー信号を生成する対象とする画像を、前景または背景をそれぞれＦまたはＢとする画像Ｔ１とし、キー信号生成装置１１では、前景Ｆを抜き出すためのキー信号αが生成されるものとする。また、ミキサ１２では、画像Ｔ２に、前景Ｆが合成されるものとする。
【０１２６】
キー信号を生成する対象の画像Ｔ１は、キー信号生成装置１１およびミキサ１２に入力され、前景Ｆを合成する画像Ｔ２は、ミキサ１２に入力される。キー信号生成装置１１では、上述したようにしてキー信号αが生成され、ミキサ１２に出力される。ミキサ１２では、キー信号αを用いて、そこに入力される画像Ｔ１から前景Ｆが抜き出され、さらにその前景Ｆが、画像Ｔ２に合成される。
【０１２７】
即ち、例えばミキサ１２では、まず画像Ｔ１から、キー信号αを用いて前景Ｆが抜き出される。具体的には、例えば画像Ｔ１を構成する各位置ｐの画素の画素値に対し、キー信号α（ｐ）（α（ｐ）は、位置ｐにおけるキー信号の値）が乗算されることにより、前景Ｆが求められる。但し、画素値が、例えば色相、彩度、および明度の３成分を有するとした場合には、０＜α＜１の範囲のキー信号αは、そのうちの明度にのみ乗算される（値が０，１のキー信号αは、３成分すべてに乗算される）。
【０１２８】
同時に、ミキサ１２においては、画像Ｔ２から、前景Ｆを合成する部分が取り除かれる。具体的には、例えば画像Ｔ２を構成する各位置ｐの画素の画素値に対し、１−αが乗算される。そして、これに、上述したようにして抜き出された前景Ｆが重畳され、これにより合成画像Ｔ３が生成される。
【０１２９】
即ち、いま、画像Ｔ１またはＴ２を構成する各位値ｐの画素の画素値を、それぞれＰ（ｐ）またはＱ（ｐ）と表すとすると、ミキサ１２では、式α（ｐ）Ｐ（ｐ）＋（１−α）Ｑ（ｐ）にしたがって、前景Ｆを、画像Ｔ２に合成した画像Ｔ３が求められる。
【０１３０】
キー信号生成装置１１から出力されるキー信号は、上述したように変更容易なものであるため、これを用いて画像の合成を行った場合には、所望する合成画像を容易に得ることができる。
【０１３１】
なお、ミキサ１２における画像の合成方法は、上述した方法に限定されるものではない。
【０１３２】
また、本実施例では、助変数ｓの最高次数を１次とするようにしたが、助変数ｓの最高次数は２次としたり、また助変数ｔと同様に３次とすることも可能である。
【０１３３】
さらに、本実施例では、前景の境界を３次のベジェ曲線で近似するようにしたが、前景の境界を近似するベジェ曲線の次数は３次以外であっても良いし、またベジェ曲線以外の曲線によって、前景の境界を近似するようにすることも可能である。
【０１３４】
また、本実施例においては、キー信号の曲面を、３次のベジェ曲面によって表現するようにしたが、ベジェ曲面の次数は３次に限定されるものではない。さらに、キー信号の曲面は、位置ベクトルおよび速度ベクトルに相当する決定情報（制御情報）により決定される、ベジェ曲面以外のパラメトリックな曲面や、パラメトリックでない曲面などによって表現することも可能である。
【０１３５】
また、本実施例では、速度ベクトルを変えることで、キー信号の変更を行うようにしたが、この他、例えば位置ベクトルを変えることによって、キー信号の変更を行うようにすることも可能である。
【０１３６】
さらに、本実施例においては、速度ベクトルおよび位置ベクトルによって決定される曲面の傾きは、点Ｐｉにおける画像の勾配によって決まるようにしたので、この曲面の傾きを変えることによって、キー信号の変更を行うようにすることも可能である。
【０１３７】
また、本実施例では、１つの副画素に複数のキー信号αが割り当てられた場合に、干渉を回避するため、そのうちの最小値を優先的に用いるようにしたが、その他の制御（手法）によって干渉を回避するようにすることも可能である。
【０１３８】
【発明の効果】
本発明のキー信号生成装置およびキー信号生成方法によれば、キー信号の曲面を決定する決定情報が算出される。そして、その決定情報に基づいて、キー信号の曲面が生成される。従って、決定情報を変えることで、キー信号の変更を容易に行うことが可能となる。
【０１３９】
本発明の画像合成装置によれば、キー信号の曲面を決定する決定情報が算出される。そして、その決定情報に基づいて、キー信号の曲面が生成され、そのキー信号を用いて、所定の画像と他の画像とが合成される。従って、所望する合成画像を容易に得ることが可能となる。
【図面の簡単な説明】
【図１】背景に対して前景が静止している画像の画素値とその変化との関係を示す図である。
【図２】背景に対して前景が動いている画像の画素値とその変化との関係を示す図である。
【図３】画像の勾配と、その画像を構成する前景の境界との関係を示す図である。
【図４】本発明を適用したキー信号生成装置の一実施例の構成を示すブロック図である。
【図５】図４のキー信号生成装置の動作を説明するフローチャートである。
【図６】図５のフローチャートに続くフローチャートである。
【図７】ソーベルオペレータを示す図である。
【図８】図５のステップＳ３およびＳ４の処理を説明するための図である。
【図９】α＝１の平面およびα＝０の平面を定義する方法を説明するための図である。
【図１０】３次のベジェ曲面を示す図である。
【図１１】キー信号の曲面を表現する曲面として採用する３次のベジェ曲面を示す図である。
【図１２】速度ベクトルＶｉ０およびＶ（ｉ＋１）０、またはＶｉ１およびＶ（ｉ＋１）１それぞれが平面α＝０、またはα＝１上に存在することを示す図である。
【図１３】ベジェ曲面Ｑを、ｘｙ平面上に射影した状態を示す図である。
【図１４】ベジェ曲面Ｑをｘｙ平面上に射影して得られる領域ｑの幅（膨らみ）の振動を説明するための図である。
【図１５】ベジェ曲面Ｑをｘｙ平面上に射影して得られる領域ｑの幅（膨らみ）の振動を防止する方法を説明するための図である。
【図１６】干渉を説明するための図である。
【図１７】ベジェ曲面Ｑを格子状に分割した状態を示す図である。
【図１８】図６のステップＳ２１の処理を説明するための図である。
【図１９】本発明を適用した画像合成装置の一実施例の構成を示すブロック図である。
【図２０】ハードキーおよびソフトキーを説明するための図である。
【図２１】エイリアスを説明するための図である。
【図２２】モーションブラーを説明するための図である。
【符号の説明】
１ 境界情報算出部
２ 制御情報算出部
３ 曲面生成部
４ マスク画像生成部
５ 表示部
６ 制御信号変更部
１１ キー信号生成装置
１２ ミキサ

Claims (24)

1. 画像から対象物体のキー信号を生成するキー信号生成装置であって、
   前記対象物体の境界を求め、前記境界を近似する複数の曲線のそれぞれの始点となる複数の境界点と、複数の前記境界点のそれぞれにおける前記画像の勾配のそれぞれとを算出する境界情報算出手段と、
   前記対象物体の前記境界の法線方向に、複数の前記境界点のそれぞれにおける前記画像の勾配に対応した傾斜をそれぞれ有する複数の線分を求め、求められた複数の前記線分のうちの隣接する所定の２つの線分同士の間を補間する１以上の補間曲面のそれぞれを決定するために必要な決定情報を算出する決定情報算出手段と、
   前記決定情報算出手段により算出された前記決定情報に基づいて、１以上の前記補間曲面を生成し、１以上の前記補間曲面から前記キー信号の曲面を生成する曲面生成手段とを備え、
   前記決定情報算出手段は、所定の１つの前記補間曲面を所定の平面上に射影させたときに得られる領域における、前記所定の２つの線分の対応する端点同士を結ぶ２つの曲線のそれぞれに対応する２つの像のうちの一方から他方に向かう方向への幅によって、その所定の１つの補間曲面についての決定情報のうちの少なくとも一部を算出する
   ことを特徴とするキー信号生成装置。
2. 前記曲面生成手段により前記曲面が生成された前記キー信号に対応するマスク画像を生成するマスク画像生成手段をさらに備える
   ことを特徴とする請求項１に記載のキー信号生成装置。
3. 前記所定の１つの補間曲面についての決定情報は、前記所定の２つの線分の各端点のそれぞれにおける速度ベクトルを少なくとも含む
   ことを特徴とする請求項１に記載のキー信号生成装置。
4. 前記所定の１つの補間曲面についての決定情報は、さらに、前記所定の２つの線分の各端点のそれぞれの位置を示す位置ベクトルを少なくとも含み、
   前記曲面生成手段により前記曲面が生成された前記キー信号を表示する表示手段と、
   前記表示手段に表示された前記キー信号を変更するときに操作される操作手段と
   をさらに備え、
   前記決定情報算出手段は、前記操作手段の操作に対応して、いま出力している前記決定情報を構成する各速度ベクトルおよび各移動ベクトルのうちの少なくとも１つを変更する
   ことを特徴とする請求項３に記載のキー信号生成装置。
5. 前記決定情報算出手段は、前記所定の１つの補間曲面についての前記領域の前記幅との間に一定の関係が存在する前記画像の前記境界の曲率に基づいて、その所定の１つの補間曲面についての前記決定情報ののうちの少なくとも一部を算出する
   ことを特徴とする請求項１に記載のキー信号生成装置。
6. 前記画像の勾配とは、前記画像に平行な 1 以上の軸、および前記画像に対して垂直な垂直軸からなる空間において、前記垂直軸方向に、前記画像を構成する各画素の画素値に対応する各点のそれぞれをプロットしたときに、前記各点で構成される面の傾きである
   ことを特徴とする請求項１に記載のキー信号生成装置。
7. 前記補間曲面は、パラメトリックな曲面である
   ことを特徴とする請求項１に記載のキー信号生成装置。
8. 前記補間曲面は、ベジェ(Bezier)曲面である
   ことを特徴とする請求項７に記載のキー信号生成装置。
9. 画像から対象物体のキー信号を生成するキー信号生成装置のキー信号生成方法であって、
   前記対象物体の境界を求め、前記境界を近似する複数の曲線のそれぞれの始点となる複数の境界点と、複数の前記境界点のそれぞれにおける前記画像の勾配のそれぞれとを算出する境界情報算出ステップと、
   前記対象物体の前記境界の法線方向に、複数の前記境界点のそれぞれにおける前記画像 の勾配に対応した傾斜をそれぞれ有する複数の線分を求め、求められた複数の前記線分のうちの隣接する所定の２つの線分同士の間を補間する１以上の補間曲面のそれぞれを決定するために必要な決定情報を算出する決定情報算出ステップと、
   前記決定情報算出ステップの処理により算出された前記決定情報に基づいて、１以上の前記補間曲面を生成し、１以上の前記補間曲面から前記キー信号の曲面を生成する曲面生成ステップとを含み、
   前記決定情報算出ステップは、所定の１つの前記補間曲面を所定の平面上に射影させたときに得られる領域における、前記所定の２つの線分の対応する端点同士を結ぶ２つの曲線のそれぞれに対応する２つの像のうちの一方から他方に向かう方向への幅によって、その所定の１つの補間曲面についての決定情報のうちの少なくとも一部を算出する算出ステップを少なくとも含む
   ことを特徴とするキー信号生成方法。
10. 前記曲面生成ステップの処理により前記曲面が生成された前記キー信号に対応するマスク画像を生成するマスク画像生成ステップをさらに含む
    ことを特徴とする請求項９に記載のキー信号生成方法。
11. 前記所定の１つの補間曲面についての決定情報は、前記所定の２つの線分の各端点のそれぞれにおける速度ベクトルを少なくとも含む
    ことを特徴とする請求項９に記載のキー信号生成方法。
12. 前記所定の１つの補間曲面についての決定情報は、さらに、前記所定の２つの線分の各端点のそれぞれの位置を示す位置ベクトルを少なくとも含み、
    前記曲面生成ステップの処理により前記曲面が生成された前記キー信号を表示する表示ステップと、
    前記表示ステップの処理で表示された前記キー信号を変更するときの操作を検出する操作検出ステップと
    をさらに含み、
    前記決定情報算出ステップでは、前記操作検出ステップの処理で検出された操作に対応して、いま出力している前記決定情報を構成する各速度ベクトルおよび各移動ベクトルのうちの少なくとも１つを変更する
    ことを特徴とする請求項１１に記載のキー信号生成方法。
13. 前記決定情報算出ステップの算出ステップは、前記所定の１つの補間曲面についての前記領域の前記幅との間に一定の関係が存在する前記画像の前記境界の曲率に基づいて、その所定の１つの補間曲面についての前記決定情報ののうちの少なくとも一部を算出するステップである
    ことを特徴とする請求項９に記載のキー信号生成方法。
14. 前記画像の勾配とは、前記画像に平行な 1 以上の軸、および前記画像に対して垂直な垂直軸からなる空間において、前記垂直軸方向に、前記画像を構成する各画素の画素値に対応する各点のそれぞれをプロットしたときに、前記各点で構成される面の傾きである
    ことを特徴とする請求項９に記載のキー信号生成方法。
15. 前記補間曲面は、パラメトリックな曲面である
    ことを特徴とする請求項９に記載のキー信号生成方法。
16. 前記補間曲面は、ベジェ(Bezier)曲面である
    ことを特徴とする請求項１５に記載のキー信号生成方法。
17. 所定の画像から対象物体のキー信号を生成し、そのキー信号を用いて画像どうしを合成する画像合成装置であって、
    前記対象物体の境界を求め、前記境界を近似する複数の曲線のそれぞれの始点となる複数の境界点と、複数の前記境界点のそれぞれにおける前記画像の勾配のそれぞれとを算出する境界情報算出手段と、
    前記対象物体の前記境界の法線方向に、複数の前記境界点のそれぞれにおける前記画像の勾配に対応した傾斜をそれぞれ有する複数の線分を求め、求められた複数の前記線分の うちの隣接する所定の２つの線分同士の間を補間する１以上の補間曲面のそれぞれを決定するために必要な決定情報を算出する決定情報算出手段と、
    前記決定情報算出手段により算出された前記決定情報に基づいて、１以上の前記補間曲面を生成し、１以上の前記補間曲面から前記キー信号の曲面を生成する曲面生成手段と、
    前記曲面生成手段により前記曲面の生成された前記キー信号を用いて、前記所定の画像と他の画像とを合成する合成手段と
    を備え、
    前記決定情報算出手段は、所定の１つの前記補間曲面を所定の平面上に射影させたときに得られる領域における、前記所定の２つの線分の対応する端点同士を結ぶ２つの曲線のそれぞれに対応する２つの像のうちの一方から他方に向かう方向への幅によって、その所定の１つの補間曲面についての決定情報のうちの少なくとも一部を算出する
    ことを特徴とする画像合成装置。
18. 前記曲面生成手段により前記曲面が生成された前記キー信号に対応するマスク画像を生成するマスク画像生成手段をさらに備える
    ことを特徴とする請求項１７に記載の画像合成装置。
19. 前記所定の１つの補間曲面についての決定情報は、前記所定の２つの線分の各端点のそれぞれにおける速度ベクトルを少なくとも含む
    ことを特徴とする請求項１７に記載の画像合成装置。
20. 前記所定の１つの補間曲面についての決定情報は、さらに、前記所定の２つの線分の各端点のそれぞれの位置を示す位置ベクトルを少なくとも含み、
    前記曲面生成手段により前記曲面が生成された前記キー信号を表示する表示手段と、
    前記表示手段に表示された前記キー信号を変更するときに操作される操作手段と
    をさらに備え、
    前記決定情報算出手段は、前記操作手段の操作に対応して、いま出力している前記決定情報を構成する各速度ベクトルおよび各移動ベクトルのうちの少なくとも１つを変更する
    ことを特徴とする請求項１９に記載の画像合成装置。
21. 前記決定情報算出手段は、前記所定の１つの補間曲面についての前記領域の前記幅との間に一定の関係が存在する前記画像の前記境界の曲率に基づいて、その所定の１つの補間曲面についての前記決定情報ののうちの少なくとも一部を算出する
    ことを特徴とする請求項１７に記載の画像合成装置。
22. 前記画像の勾配とは、前記画像に平行な 1 以上の軸、および前記画像に対して垂直な垂直軸からなる空間において、前記垂直軸方向に、前記画像を構成する各画素の画素値に対応する各点のそれぞれをプロットしたときに、前記各点で構成される面の傾きである
    ことを特徴とする請求項１７に記載の画像合成装置。
23. 前記補間曲面は、パラメトリックな曲面である
    ことを特徴とする請求項１７に記載の画像合成装置。
24. 前記補間曲面は、ベジェ(Bezier)曲面である
    ことを特徴とする請求項２３に記載の画像合成装置。

Images