JPH08331455A - キー信号生成装置およびキー信号生成方法、並びに画像合成装置 - Google Patents

Abstract

(57)【要約】 【目的】 キー信号（ソフトキー）を容易に変更するこ
とができるようにする。 【構成】 キー信号αの曲面を、助変数をｓ，ｔとす
る、複数の３次のベジェ（Bezier）曲面Ｑ（ｓ，ｔ）で
近似する。各ベジェ曲面は、４つの端点Ｑ（０，０），
Ｑ（１，０），Ｑ（０，１），Ｑ（１，１）それぞれの
位置を表す位置ベクトルＰｉ０，Ｐｉ１，Ｐ（ｉ＋１）
０，Ｐ（ｉ＋１）１、およびそれぞれにおける速度ベク
トルＶｉ０，Ｖｉ１，Ｖ（ｉ＋１）０，Ｖ（ｉ＋１）１
によって一意に決定される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、キー信号生成装置およ
びキー信号生成方法、並びに画像合成装置に関する。特
に、キー信号を生成する対象とする対象物体の境界部分
に関する境界情報に基づいて、キー信号の曲面を決定す
る決定情報を算出し、キー信号の曲面を直接生成するこ
とにより、キー信号の変更を容易に行うことができるよ
うにしたキー信号生成装置およびキー信号生成方法、並
びに画像合成装置に関する。

【０００２】

【従来の技術】例えば、映画その他の映像制作におい
て、画像（映像）の各種シミュレーションを行ったり、
あるいは画像に特殊効果を与えたりする場合には、画像
から、注目する部分（物体）を抜き出したり、その抜き
出した部分を、他の画像に合成することが行われる。こ
のような画像からの抜き出し、合成は、キー信号を用い
て行われる。

【０００３】キー信号には、ハードキーと呼ばれるもの
とソフトキーと呼ばれるものとがある。例えば、いま、
キー信号を生成するのに用いる画像のうち、注目する部
分を前景とするとともに、それ以外の部分を背景とする
場合、図２０（ａ）に示すように、画像における前景の
範囲を１とするとともに、背景の範囲を０とした２値の
キー信号（マスク画像）が、ハードキーと呼ばれる。こ
れに対し、画像には、後述するエイリアスやモーション
ブラーが生じるが、これらを考慮して、０および１の２
値だけではなく、図２０（ｂ）に示すように、０乃至１
の範囲の連続した実数値をとることのできるキー信号
が、ソフトキーと呼ばれる。

【０００４】従って、ハードキーは、急峻な境目を有す
る信号（キー信号αが０（または１）から１（または
０）に変わる境目の傾斜が急峻になっている信号）であ
り、またソフトキーは、滑らかな境目を有する信号（キ
ー信号αが０（または１）から１（または０）に変わる
境目の傾斜が滑らかな信号）ということができる。

【０００５】ここで、図２０に図示してあるα（アルフ
ァ値）は、キー信号の値を、画素単位で表すものであ
り、従って、αは、キー信号をＬＰＦ（ローパスフィル
タ）でフィルタリングしたものといえる。画像におい
て、前景と背景との境界部分の画素の画素値は、前景お
よび背景の信号成分どうしを重畳したものとなるが、こ
のことから、αは、各画素について、前景がどれだけ寄
与しているかを示す寄与率を表しているということがで
きる。なお、本明細書中では、キー信号およびαを、適
宜、区別せずに用いる。

【０００６】

【発明が解決しようとする課題】ところで、前景および
背景のいずれも静止している場合において、その画像を
構成している画素の境目に、前景と背景との境界が位置
していることは稀で、通常は、図２１（ａ）に示すよう
に、前景と背景との境界は、有限の大きさを有する画素
の内部に存在する。しかしながら、画素は、画像を構成
する最小単位であるから、上述のような前景と背景との
境界が存在する画素であっても、その画素は、図２１
（ｂ）に示すように、前景または背景のいずれか一方の
色（画素値）とされる。このため、前景と背景との境界
は、図２１（ｃ）に示すように、画素の境目に沿って引
かれ、このような画像全体を見た場合には、その前景と
背景との境界（画素の境目）部分に、不自然なちらつ
き、即ちエイリアスが生じる。

【０００７】従って、そのキー信号を用いて画像合成を
行った結果得られる合成画像にも、エイリアスが生じ
る。

【０００８】そこで、合成画像に生じるエイリアスを防
止する方法として、例えば特開昭６０−２３２７８７号
公報や特開平４−３４０６７１号公報に開示されている
ものがある。特開昭６０−２３２７８７号公報に開示さ
れている方法では、ハードキーを用いて、前景と背景と
の境界部分だけにＬＰＦをかけ、その境界部分をぼかし
て、見た目に滑らかにするようになされている。この方
法においては、ハードキーが用いられるが、前景と背景
との境界部分にＬＰＦをかけるので、０と１の他に、そ
の中間値をとることができる、いわば傾斜をつけたキー
信号、即ち、実質的には、ソフトキーを用いて、画像合
成が行われているということができる。

【０００９】また、特開平４−３４０６７１号公報に開
示されている方法では、前景と背景との境界上の注目画
素を中心とするブロックを設定し、そのブロック内の前
景および背景を構成する画素パターンから、キー信号
（ソフトキー）を算出し、これを用いて、前景の抜き出
し、合成を行うことで、エイリアスを低減するようにな
されている。

【００１０】しかしながら、以上の方法で用いられるソ
フトキーは、その傾斜（図２０（ｂ）において、αが０
から１（１から０）に変化している部分の傾斜）が一様
なものであり、また、前景と背景との境界の場所によっ
て異なるキー信号の制御を行っていないため、例えば前
景が動いている場合に生じるモーションブラーに対処す
ることが困難な課題があった。

【００１１】ここで、モーションブラー（動きボケ）に
ついて、簡単に説明する。動画像は、画像（静止画像）
が、例えばフレーム単位などで連続して表示されること
で実現される。例えば、いま、画像の中を、左から右方
向へ動く円形状の物体があったとして、その物体の移動
速度に対し、フレーム周期が無限小とみなすことのでき
るほど短い時間であるとした場合には、その物体は、図
２２（ａ）に示すように、各フレームにおいて円形状の
物体として表示される。しかしながら、円形状の物体の
移動速度に対し、フレーム周期が無限小とみなすことの
できるほど短い時間ではない場合、ある時刻ｔ２におけ
るフレームの画像は、図２２（ｂ）に示すように、その
１つ前のフレームの時刻ｔ１から、時刻ｔ２までの物体
の動きを反映した画像となる。即ち、時刻ｔ２における
フレームの画像の中の物体は、円形状のものではなく、
その動きの方向に薄く伸びた、輪郭のぼやけたものとな
る。このような現象がモーションブラーと呼ばれる。

【００１２】なお、モーションブラーは、前景または背
景のいずれか一方だけが動いている場合の他、両者が独
立に動いている場合も生じるが、背景だけが動いている
場合および両者が独立に動いている場合は、背景を基準
とすれば、いずれも前景だけが動いている場合と同様に
考えることができる。また、モーションブラーが生じて
いる場合には、前景と背景との明確な境界は存在しな
い。

【００１３】以上のようなモーションブラーを考慮した
キー信号を生成する方法としては、例えば特開平５−１
５３４９３号公報や特開平５−２３６３４７号公報に開
示されているものがある。特開平５−１５３４９３号公
報に開示されている方法では、現在のフレームと、その
１つ前のフレームとを比較することにより、現在のフレ
ーム（またはその１つ前のフレーム）の前景を構成する
画素の画素値と、その画素の、１つ前のフレーム（また
は現在のフレーム）の画素値との変化量の所定の指定さ
れたブロック全体についての総和を求め、その総和値か
ら、傾斜をつけるソフトキーの領域（０＜α＜１の範囲
のαの領域）を決定するようになされている。しかしな
がら、この方法においては、ソフトキーが、上述した画
素値の変化量（変化の大きさ）に依存して求められるた
め、前景の動きの方向が考慮されておらず、その動きに
対応した、正確なソフトキーが得られるのかどうかが不
明であった。

【００１４】一方、特開平５−２３６３４７号公報に開
示されている方法では、まずハードキーを生成し、前景
と背景との境界上の各点において、そのハードキーの側
面（図２０（ａ）に示したα＝１の部分を底面の１つと
する円柱の側面）を楕円錘で削り取ることで、直接にで
はなく、いわば間接的にソフトキーを生成するようにな
されており、この場合において、楕円錘の底面を構成す
る楕円の長軸および短軸は、注目している部分の動きベ
クトルとエッジ強度から決定されるようになされてい
る。しかしながら、この方法においても、エッジ強度の
方向の決定が不十分であり、やはり、前景の動きに対応
した、正確なソフトキーが得られるかどうかが不明であ
った。

【００１５】さらに、上述した方法により求められたソ
フトキーは、いずれも、画像を構成する各画素に対応す
るαの集合と考えられるが、このようなαの集合でなる
ソフトキーは、その変更が容易でない課題があった。即
ち、上述の方法で得られたソフトキーによっては、所望
する画像が得られなかった場合には、ソフトキーを変更
する必要があるが、αの集合でなるソフトキーを変更す
るには、αを書き換える必要があり、この書き換えを画
素単位で行うのは容易ではなかった。

【００１６】そこで、特開平５−１５３４９３号公報に
開示されている方法の場合には、例えば上述した総和値
を、また特開平５−２３６３４７号公報に開示されてい
る方法の場合には、上述した楕円錘の底面を構成する楕
円の長軸および短軸を変えることで、ソフトキーを再生
成し、その変更を行う方法が考えられるが、この場合、
その総和値あるいは長軸および短軸の変更がソフトキー
に与える影響は、直感的には分かりにくく、所望の変更
を容易に行うことができるかどうかが不明であった。

【００１７】本発明は、このような状況に鑑みてなされ
たものであり、エイリアスおよびモーションブラーを考
慮した、変更容易なキー信号を得ることができるように
するものである。

【００１８】

【課題を解決するための手段】本発明のキー信号生成装
置は、対象物体の境界部分に関する境界情報を算出する
境界情報算出手段と、境界情報算出手段より出力される
境界情報に基づいて、キー信号の曲面を決定する決定情
報を算出する決定情報算出手段と、決定情報算出手段よ
り出力される決定情報に基づいて、キー信号の曲面を生
成する曲面生成手段とを備えることを特徴とする。

【００１９】このキー信号生成装置においては、境界情
報算出手段には、対象物体の境界と、その境界における
画像の画素値の変化を、境界情報として算出させ、決定
情報算出手段には、対象物体の境界の法線方向に、その
境界における画像の画素値の変化に対応した傾斜を有す
る面を生成するのに必要な決定情報を算出させることが
できる。決定情報算出手段には、対象物体の境界の曲率
を求めさせ、その曲率に基づいて、面の幅を決定する決
定情報を算出させることができる。また、このキー信号
生成装置は、曲面生成手段により曲面が生成されたキー
信号に対応するマスク画像を生成するマスク画像生成手
段をさらに備えることができる。さらに、曲面生成手段
により曲面が生成されたキー信号を表示する表示手段
と、表示手段に表示されたキー信号を変更するときに操
作される操作手段とをさらに備えることができ、この場
合、決定情報算出手段には、操作手段の操作に対応し
て、いま出力している決定情報を変更させることができ
る。

【００２０】境界情報算出手段には、対象物体の境界上
の複数の境界点と、その境界点それぞれにおける画像の
画素値の変化を、境界情報として算出させ、決定情報算
出手段には、対象物体の境界の法線方向に、各境界点に
おける画像の画素値の変化に対応した傾斜を有する線分
を求めさせ、隣接する２つの線分どうしの間を補間する
面を決定する決定情報を算出させることができる。隣接
する２つの線分どうしを補間する面は、パラメトリック
な曲面とすることができる。また、隣接する２つの線分
どうしを補間する面は、ベジェ（Bezier）曲面とするこ
とができる。決定情報には、隣接する２つの線分それぞ
れの端点における速度ベクトルを含ませることができ
る。

【００２１】本発明のキー信号生成方法は、対象物体の
境界部分に関する境界情報を算出し、境界情報に基づい
て、キー信号の曲面を決定する決定情報を算出し、決定
情報に基づいて、キー信号の曲面を生成することを特徴
とする。

【００２２】本発明の画像合成装置は、対象物体の境界
部分に関する境界情報を算出する境界情報算出手段と、
境界情報算出手段より出力される境界情報に基づいて、
キー信号の曲面を決定する決定情報を算出する決定情報
算出手段と、決定情報算出手段より出力される決定情報
に基づいて、キー信号の曲面を生成する曲面生成手段
と、曲面生成手段により曲面の生成されたキー信号を用
いて、所定の画像と他の画像とを合成する合成手段とを
備えることを特徴とする。

【００２３】

【作用】本発明のキー信号生成装置においては、境界情
報算出手段は、対象物体の境界部分に関する境界情報を
算出し、決定情報算出手段は、境界情報算出手段より出
力される境界情報に基づいて、キー信号の曲面を決定す
る決定情報を算出するようになされている。曲面生成手
段は、決定情報算出手段より出力される決定情報に基づ
いて、キー信号の曲面を生成するようになされている。

【００２４】本発明のキー信号生成方法においては、対
象物体の境界部分に関する境界情報を算出し、境界情報
に基づいて、キー信号の曲面を決定する決定情報を算出
し、決定情報に基づいて、キー信号の曲面を生成するよ
うになされている。

【００２５】本発明の画像合成装置においては、境界情
報算出手段は、対象物体の境界部分に関する境界情報を
算出し、決定情報算出手段は、境界情報算出手段より出
力される境界情報に基づいて、キー信号の曲面を決定す
る決定情報を算出するようになされている。曲面生成手
段は、決定情報算出手段より出力される決定情報に基づ
いて、キー信号の曲面を生成し、合成手段は、曲面生成
手段により曲面の生成されたキー信号を用いて、所定の
画像と他の画像とを合成するようになされている。

【００２６】

【実施例】以下、図面を参照して、本発明の実施例につ
いて説明するが、その前段階の準備として、画像の画素
値の変化と、その画像からキー信号を生成する対象とす
る物体（対象物体）（以下、適宜、前景という）の境界
との関係について説明する。

【００２７】なお、画像のうち、前景を除く部分は、背
景と呼ぶこととする。従って、画像は、前景と背景とか
ら構成される。また、画像の画素値の変化とは、例えば
２次元の画像の場合、その画像が、ｘｙ平面を構成する
とし、そのｘｙ平面に垂直な軸（ｚ軸）をとってｘｙｚ
空間を考え、そのｚ軸方向に、画像を構成する画素値に
対応する点をプロットしたときに、その点で構成される
面の傾き（各点における傾きが最も大きい方向（この方
向は、エッジ強度が最大となる方向に一致する）とその
傾き具合（傾きの大きさ））を意味し、以下、適宜、画
像の勾配という。

【００２８】まず、［１］背景に対して前景が静止して
いる画像を考える。なお、ここでは、説明を簡単にする
ため、画像は１次元であるとする。

【００２９】この場合、画像を構成する、位置ｘにある
画素の画素値をＣ（ｘ）とすると、画素が無限小とみな
すことができるときには、前景の境界（この境界は、背
景の境界と考えることもできる）（前景と背景との境
界）の位置（前景から背景（あるいは背景から前景）に
変わる位置）で、画素値Ｃ（ｘ）は、図１（ａ）に示す
ようにステップ状に変化する。従って、前景の境界での
画像の勾配は、図１（ｂ）に示すように、インパルス状
に変化する。

【００３０】理想的には上述の通りであるが、実際に
は、画素は有限の大きさを有し、このため、前述したよ
うなエイリアスが生じる。そこで、画像（全体あるいは
前景の境界部分）には、ローパスフィルタがかけられ、
エイリアスが低減（除去）される。これにより、前景の
境界付近の画素値Ｃ（ｘ）は、図１（ｃ）に示すように
滑らかに変化するようになる。さらに、これに伴い、前
景の境界での画像の勾配も、図１（ｄ）に示すように、
同図（ｂ）に示したインパルスをローパスフィルタでフ
ィルタリングしたように変化するようになる。

【００３１】次に、［２］背景に対して前景が動いてい
る場合を考える。なお、ここでも、説明を簡単にするた
め、画像は１次元であるとする。

【００３２】この場合、前景が、ほぼ等速運動している
とみなすことができる程度に、画像のフレーム周期が短
いものとし（この仮定は、通常成立する）、また、画素
が無限小とみなすことができるとすると、前景の境界付
近の画素値Ｃ（ｘ）は、図２（ａ）に示すように、一定
（ほぼ一定）の割合で変化する。従って、前景の境界付
近での画像の勾配は、図２（ｂ）に示すように、一定と
なる。

【００３３】しかしながら、実際には、上述したよう
に、画素は有限の大きさを有するので、やはり、画像
（全体あるいは前景の境界部分）には、ローパスフィル
タがかけられ、これにより、前景の境界付近の画素値Ｃ
（ｘ）は、図２（ｃ）に示すようになる。同様に、前景
の境界付近での画像の勾配も、図２（ｄ）に示すよう
に、滑らかに変化するようになる。

【００３４】［１］および［２］のいずれの場合も、図
１（ｃ）および図２（ｃ）に示したように、前景の境界
部分（画像の勾配が変化している部分）の中心点Ｐにお
ける画像の勾配が、前景の境界（前景の境界と考えられ
る位置）における画像の勾配を、最も良く近似している
と考えることができる。そして、この場合、完全に、前
景または背景を構成する画素の位置におけるキー信号α
が、それぞれ１または０となるものとしたとき、点Ｐに
おけるキー信号αは、０．５となり、また、図１（ｄ）
および図２（ｄ）に示したように、点Ｐ、即ち前景の境
界（前景の境界と考えられる位置）は、画像の勾配が局
所的に大きい点となると推定することができる。

【００３５】従って、２次元の画像を考えた場合、その
画像の勾配が局所的に大きくなる点を結び、閉曲線を描
くと、それは、図３に示すように、前景の境界（前景の
境界と考えられる線）となる。また、この閉曲線（以
下、適宜、境界線という）の法線方向は、その境界線と
法線との交点における画像の勾配の方向（最大傾斜の方
向）になる。

【００３６】以上の画像の勾配とその前景の境界との関
係から、前景の境界上の点（画素）すべてについて、各
点の法線方向に、その点における画像の勾配の大きさに
対応した傾斜を有する線分を求めれば、その線分の集合
として表現される曲面は、エイリアスおよびモーション
ブラーを考慮したキー信号の曲面（図２０（ｂ）におい
て、０＜α＜１の部分を表す曲面）となる。しかしなが
ら、この曲面を表現する線分を、前景の境界上の点（画
素）すべてについて求めるのは、計算量の点から容易で
はない。

【００３７】そこで、以下説明するキー信号生成装置で
は、前景の境界部分に関する境界情報として、前景の境
界、さらにはその境界上の幾つかの（複数の）点（境界
点）における画像の勾配を求め、前景の境界線の法線方
向に、各境界点における画像の勾配に対応した傾斜を有
する線分を求めて、隣接する２つの線分どうしの間を補
間する面（曲面）を決定するための決定情報を算出し、
その決定情報に基づいて、キー信号の曲面全体を、直接
生成するようになされている。

【００３８】図４は、以上のようにしてキー信号を生成
するキー信号生成装置の一実施例の構成を示している。
境界情報算出部１には、キー信号を生成する対象とする
前景を含む画像が入力されるようになされている。境界
情報算出部１（境界情報算出手段）は、入力された画像
から、その前景の境界情報としての、例えば前景の境界
（前景の境界と考えられる閉曲線）およびその境界（閉
曲線）上の点における画像の勾配を算出し、制御情報算
出部２に出力するようになされている。

【００３９】制御情報算出部２（決定情報算出手段）
は、境界情報算出部１から出力される境界情報に基づい
て、キー信号の曲面を決定する決定情報（制御情報）を
算出し、曲面生成部３に出力するようになされている。
曲面生成部３（曲面生成手段）は、制御情報算出部２よ
り出力される決定情報に基づいて、キー信号の曲面を生
成し、さらにその曲面を用いてキー信号を生成し、マス
ク画像生成部４および表示部５に出力するようになされ
ている。

【００４０】マスク画像生成部４（マスク画像生成手
段）は、曲面生成部３からのキー信号に対応するマスク
画像（キー信号αの値に対応して、例えば輝度が変化す
る画像）を生成し、表示部５に出力するようになされて
いる。表示部５（表示手段）は、曲面生成部３からのキ
ー信号およびマスク画像生成部４からのマスク画像を表
示するようになされている。なお、本実施例では、マス
ク画像は、例えば２次元の画像として表示され、キー信
号は、例えば図２０に示したような、いわば３Ｄ（3-Di
mension）の画像として表示されるようになされてい
る。

【００４１】制御信号変更部６（操作手段）は、例えば
キーボードやマウスなどで構成され、表示部５に表示さ
れたキー信号、マスク画像を変更するときに操作される
ようになされている。なお、制御情報算出部２は、制御
信号変更部６が操作されると、その操作に対応して、い
ま出力している決定情報を変更するようになされてい
る。

【００４２】次に、図５および図６のフローチャートを
参照して、その動作について説明する。なお、図６は、
図５のフローチャートに続くフローチャートである。

【００４３】まず最初に、ステップＳ１では、境界情報
算出部１において、前景の境界が求められ、それが、所
定の数の所定の曲線で近似される。

【００４４】即ち、ステップＳ１では、まず画像の勾配
が求められ、その勾配に基づいて、画像の前景の境界が
求められる。ここで、画像の勾配は、上述した定義か
ら、ｘｙｚ空間における画像の画素値の１次微分に等し
い。この空間１次微分値は、例えば画素値とソーベルオ
ペレータなどとの畳み込みを行うことによって求められ
る。即ち、例えば画像のｘまたはｙ方向それぞれについ
て、図７に示すソーベルオペレータｆｘまたはｆｙによ
る畳み込みを行うことにより、ｘまたはｙ方向の１次微
分値、即ち画像の勾配が得られる。

【００４５】ステップＳ１では、画像の勾配が求められ
た後、その勾配が局所的に大きい点により構成される閉
曲線が、画像の前景の境界として求められる。そして、
前景の境界を近似する所定の数の所定の曲線として、例
えばＩ個のベジェ（Bezier）曲線Ｃｉ（ｔ）が求められ
る（但し、ｉ＝１，２，・・・，Ｉで、ｔは０乃至１の
範囲の実数値をとる助変数）。

【００４６】さらに、ステップＳ１では、前景の境界を
近似するＩ個のベジェ曲線Ｃｉ（ｔ）それぞれの始点Ｐ
ｉが求められ、この始点Ｐｉ、ベジェ曲線Ｃｉ（ｔ）
（Ｉ個のベジェ曲線Ｃｉ（ｔ）とその始点Ｐｉの集合
が、前景の境界を表す）、および始点Ｐｉにおける画像
の勾配Ｅｉが、境界情報として、制御情報算出部２に出
力される。

【００４７】なお、上述の場合は、前景の境界を近似す
るＩ個のベジェ曲線Ｃｉ（ｔ）を求めてから、その始点
Ｐｉを求めるようにしたが、これとは逆に、前景の境界
上にＩ個の点をとって、これをベジェ曲線の始点とし、
その後、隣接する２つの点の間の境界線を近似するＩ個
のベジェ曲線Ｃｉ（ｔ）を求めるようにしても良い。

【００４８】制御情報算出部２においては、ステップＳ
２乃至Ｓ９のループ処理が行われる。即ち、制御情報算
出部２では、まず最初に、ステップＳ２において、変数
ｉに、初期値としての１がセットされ、ステップＳ３，
Ｓ４に順次進み、始点Ｐｉについて、前景の境界の法線
方向に、その始点Ｐｉにおける画像の勾配に対応した傾
斜を有する線分が求められる。

【００４９】ここで、画像が、ｘｙ平面を構成すると
し、そのｘｙ平面に垂直な軸（α軸）をとってｘｙα空
間を考え、そのα軸方向に、画像を構成する各画素に対
応するキー信号αをプロットするものとすると、上述の
推定から、前景の境界は、図８（ａ）に示すように、α
＝０．５の平面上に存在する。従って、始点Ｐｉも、こ
のα＝０．５の平面上に存在し、ステップＳ３では、図
８（ｂ）に示すように、このα＝０．５の平面上に存在
する始点Ｐｉを通り、その始点Ｐｉにおける境界の法線
方向の直線であって、始点Ｐｉにおける画像の勾配Ｅｉ
に対応する傾斜を有する直線（図８（ｂ）において点線
で示す直線）が求められる。

【００５０】そして、ステップＳ４では、キー信号αが
それぞれ１または０となる２つの平面、即ちα＝１，α
＝０の平面が、適当な方法で定義され、図８（ｃ）に示
すように、ステップＳ３で求められた直線を、α＝１の
平面およびα＝０の平面で打ち切った線分が求められ
る。さらに、このとき、ステップＳ４では、その線分の
端点、即ち、ステップＳ３で求められた直線と、α＝１
の平面またはα＝０の平面それぞれとの交点Ｐｉ１また
はＰｉ０が求められる。

【００５１】ここで、α＝１，α＝０の平面は、例えば
次のような方法で定義することができる。即ち、図９
（ａ）に示すように、始点Ｐｉにおける境界の法線方向
にある各位置の画素について、画像の勾配を求め、その
大きさが所定の閾値Ｋとなる点ｐ１およびｐ２を求め
る。そして、この点ｐ１乃至ｐ２の範囲、即ち画像の勾
配が閾値Ｋより大きくなる範囲を、図９（ｂ）に示すよ
うに、キー信号αが０＜α＜１の値をとる有効な範囲と
し、点ｐ１またはｐ２におけるキー信号αを、それぞれ
０または１に設定する。点ｐ１およびｐ２は、いずれも
始点Ｐｉにおける境界の法線方向の直線上の点であり、
従って、点ｐ１またはｐ２それぞれを通り、ｘｙ平面に
垂直な２つの直線ＣＬ１またはＣＬ２は、いずれもステ
ップＳ３で求められた直線と交わる。この２つの直線Ｃ
Ｌ１またはＣＬ２それぞれと、ステップＳ３で求められ
た直線との交点を含み、ｘｙ平面と平行な平面が、それ
ぞれα＝０の平面またはα＝１の平面とされる。

【００５２】なお、図９においては、点ｐ１から点ｐ２
への方向が背景から前景への方向であるとしている。

【００５３】また、α＝０の平面およびα＝１の平面
は、ある点Ｐｉだけについて求め、その他の点について
は、点Ｐｉについての平面を用いることも考えられる
が、精度その他の観点から、α＝０の平面およびα＝１
の平面は、各点Ｐｉごとに求めるのが好ましい。

【００５４】さらに、α＝０の平面およびα＝１の平面
を定義する方法は、上述したものに限定されるものでは
なく、α＝０の平面およびα＝１の平面は、キー信号α
が０＜α＜１の値をとる有効な範囲を決定することが可
能なその他の方法によって定義することが可能である。

【００５５】以上のようにして、端点をＰｉ０およびＰ
ｉ１とする線分を求めた後、ステップＳ５乃至Ｓ７に順
次進み、ステップＳ３乃至Ｓ９のループ処理によって求
められる、Ｉ個の始点Ｐｉを通る、上述したような線分
のうちの、隣接する２つの線分どうしの間を補間する面
を決定する決定情報が算出される。

【００５６】ここで、本実施例では、隣接する２つの線
分どうしの間を補間する面として、例えばパラメトリッ
クな面を採用する。パラメトリックな面としては、例え
ばベジェ曲面などがあり、いま、隣接する２つの線分ど
うしの間を補間する面として、例えば３次のベジェ曲面
を用いるものとすると、この３次のベジェ曲面Ｑは、２
つの助変数ｓ，ｔを用いて、次のように表すことができ
る。

【００５７】 Ｑ＝Ｑ（ｓ，ｔ） ・・・（１） 但し、３次のベジェ曲面Ｑという場合は、助変数ｓ，ｔ
の最高次数がいずれも３次であり、従って、３次のベジ
ェ曲面Ｑは、最高次数が６次の多項式で表すことができ
る。また、ｓ，ｔは、０乃至１の範囲の実数値をとる。

【００５８】３次のベジェ曲面は、例えば図１０に示す
ような曲面で、曲面の４端点（例えば、Ｑ（０，０），
Ｑ（０，１），Ｑ（１，０），Ｑ（１，１））を表す位
置ベクトルと、各端点における速度ベクトルとで決定
（制御）される。即ち、逆にいえば、４端点の位置ベク
トルおよび速度ベクトルが決まれば、ベジェ曲面は一意
に決定される。

【００５９】図１０において、助変数ｓを０または１に
固定して、助変数ｔを０乃至１に変化させた場合には、
端点Ｑ（０，０）とＱ（０，１）とを結ぶ曲線Ｑ（０，
ｔ）または端点Ｑ（１，０）とＱ（１，１）とを結ぶ曲
線Ｑ（１，ｔ）が、それぞれ描かれる。また、助変数ｔ
を０または１に固定して、助変数ｓを０乃至１に変化さ
せた場合には、端点Ｑ（０，０）とＱ（１，０）とを結
ぶ曲線Ｑ（ｓ，０）または端点Ｑ（０，１）とＱ（１，
１）とを結ぶ曲線Ｑ（ｓ，１）が、それぞれ描かれる。
従って、助変数ｓ，ｔを０乃至１の範囲で変化させた場
合には、４端点Ｑ（０，０），Ｑ（０，１），Ｑ（１，
０），Ｑ（１，１）とそれらを結ぶ曲線Ｑ（０，ｔ），
Ｑ（１，ｔ），Ｑ（ｓ，０），Ｑ（ｓ，１）とによって
囲まれる曲面Ｑ（ｓ，ｔ）が描かれる。

【００６０】境界情報算出部１から出力されたＩ個の始
点Ｐｉは、上述したｘｙα空間において、α＝０．５の
平面上に存在するが、本実施例では、図１１に示すよう
に、このうちのある点Ｐｉとそれに隣接する点Ｐ（ｉ＋
１）を通り、前景の境界の法線方向に、点Ｐｉ，Ｐ（ｉ
＋１）における画像の勾配に対応した傾斜を有する３次
のベジェ曲面を、ステップＳ３で求めた線分のうちの、
隣接する２つの線分どうしの間を補間する面として採用
する。

【００６１】この場合、助変数ｓを、次式で示すよう
に、キー信号αと等しい値にとるものとする。

【００６２】 ｓ＝α （２）

【００６３】また、点ＰｉまたはＰ（ｉ＋１）における
助変数ｔの値を、それぞれ０または１とすると、点Ｐｉ
またはＰ（ｉ＋１）それぞれは、式（１）および（２）
から、次のように表すことができる。

【００６４】 Ｐｉ＝Ｑ（０．５，０） （３） Ｐ（ｉ＋１）＝Ｑ（０．５，１） （４）

【００６５】さらに、この場合、ステップＳ３で求めら
れる、点ＰｉまたはＰ（ｉ＋１）を通る線分を、それぞ
れＬｉまたはＬ（ｉ＋１）とすると、この線分Ｌｉまた
はＬ（ｉ＋１）は、次式で表すことができる。

【００６６】 Ｌｉ＝Ｑ（ｓ，０） （５） Ｌ（ｉ＋１）＝Ｑ（ｓ，１） （６）

【００６７】線分ＬｉまたはＬ（ｉ＋１）は、１次の変
数で表すことができる（いわゆるｙ＝ａｘ＋ｂの形で表
すことができる）から、助変数ｓの最高次数は１次であ
り（ｓ²およびｓ³の項における定数はいずれも０であ
り）、従って、本実施例で採用する３次のベジェ曲面Ｑ
は、助変数ｓまたはｔについての最高次数がそれぞれ１
次または３次の多項式、即ち最高次数が４次の多項式で
表すことができる。

【００６８】いま、図１１に示したように、線分Ｌｉ
の、平面α＝０またはα＝１上における端点をそれぞれ
Ｐｉ０またはＰｉ１とするとともに、線分Ｌ（ｉ＋１）
の、平面α＝０またはα＝１上における端点をそれぞれ
Ｐ（ｉ＋１）０またはＰ（ｉ＋１）１とし、これらの点
Ｐｉ０，Ｐｉ１，Ｐ（ｉ＋１）０，Ｐ（ｉ＋１）１を、
それぞれ次式で示すように定義する。

【００６９】 Ｐｉ０＝Ｑ（０，０） （７） Ｐｉ１＝Ｑ（１，０） （８） Ｐ（ｉ＋１）０＝Ｑ（０，１） （９） Ｐ（ｉ＋１）１＝Ｑ（１，１） （１０）

【００７０】ここで、本実施例で採用する３次のベジェ
曲面Ｑは、上述したように、助変数ｓまたはｔについて
の最高次数がそれぞれ１次または３次の多項式であるか
ら、助変数ｓについては、定数項および１次のｓの項の
２つの項が存在し、また助変数ｔについては、定数項お
よび１乃至３次のｔの項の４つの項が存在する。従っ
て、この場合、ベジェ曲面Ｑは、８（＝２×４）つの項
でなる多項式で表されるから、８つの情報を与えること
により一意に決定される。即ち、例えば式（７）乃至
（１０）に示した４つの端点Ｑ（０，０），Ｑ（０，
１），Ｑ（１，０），Ｑ（１，１）それぞれを表す位置
ベクトルＰｉ０，Ｐｉ１，Ｐ（ｉ＋１）０，Ｐ（ｉ＋
１）１に加え、その４つの端点それぞれにおける、１つ
の速度ベクトル、即ち４つの速度ベクトルを与えること
によって、曲面（ベジェ曲面）Ｑを決定することができ
る。

【００７１】そこで、本実施例では、曲面Ｑの端点Ｑ
（０，０），Ｑ（１，０），Ｑ（０，１），Ｑ（１，
１）それぞれにおける速度ベクトルＶｉ０，Ｖｉ１，Ｖ
（ｉ＋１）０，Ｖ（ｉ＋１）１を以下のように定義し、
これらと、上述した位置ベクトルＰｉ０，Ｐｉ１，Ｐ
（ｉ＋１）０，Ｐ（ｉ＋１）１によって、線分ＬｉとＬ
（ｉ＋１）との間を補間する曲面Ｑを決定するものとす
る。

【００７２】 Ｖｉ０＝Ｄｔ｛Ｑ（０，ｔ）｝｜ｔ＝０ （１１） Ｖｉ１＝Ｄｔ｛Ｑ（１，ｔ）｝｜ｔ＝０ （１２） Ｖ（ｉ＋１）０＝Ｄｔ｛Ｑ（０，ｔ）｝｜ｔ＝１ （１３） Ｖ（ｉ＋１）１＝Ｄｔ｛Ｑ（１，ｔ）｝｜ｔ＝１ （１４） 但し、式（１１）乃至（１４）において、Ｄｔ｛｝は、
｛｝内の関数を、助変数ｔによって微分することを表す
演算子であり、｜ｔ＝０または｜ｔ＝１は、｜の左側の
演算子Ｄｔ｛｝による微分結果における助変数ｔに、そ
れぞれ０または１を代入することを表す。

【００７３】助変数ｓを０または１に固定した場合の曲
面Ｑ、即ち曲線Ｑ（０，ｔ）またはＱ（１，ｔ）は、式
（２）より、α＝０またはα＝１の平面上にそれぞれ存
在し、従って、式（１１）乃至（１４）で表される速度
ベクトルＶｉ０およびＶ（ｉ＋１）０、またはＶｉ１お
よびＶ（ｉ＋１）１は、図１２に示すように、それぞれ
平面α＝０またはα＝１上に存在するベクトルとなる。

【００７４】本実施例においては、４つの位置ベクトル
（端点）Ｐｉ０，Ｐｉ１，Ｐ（ｉ＋１）０，Ｐ（ｉ＋
１）１は、ステップＳ４において決定されるので、残り
の情報としての４つの速度ベクトルＶｉ０，Ｖ（ｉ＋
１）０，Ｖｉ１，Ｖ（ｉ＋１）１によって、線分Ｌｉと
Ｌ（ｉ＋１）との間を補間する曲面Ｑを決定（制御）す
ることができる。

【００７５】従って、速度ベクトルＶｉ０，Ｖ（ｉ＋
１）０，Ｖｉ１，Ｖ（ｉ＋１）１をどのように制御する
かが問題となるが、ここでは、曲面Ｑの幅が大きく変動
しないように、速度ベクトルＶｉ０，Ｖ（ｉ＋１）０，
Ｖｉ１，Ｖ（ｉ＋１）１を決定する。

【００７６】即ち、いま、助変数ｓを０または１に固定
し、助変数ｔを０乃至１の範囲で変化させたときに得ら
れる軌跡（曲線）Ｃ０またはＣ１は、それぞれ次式で表
される。

【００７７】 Ｃ０＝Ｑ（０，ｔ） （１５） Ｃ１＝Ｑ（１，ｔ） （１６） なお、曲線Ｃ０からＣ１への方向は、キー信号αが、０
から１に変化する方向となる。

【００７８】いま、この曲線Ｃ０およびＣ１、並びに線
分ＬｉおよびＬ（ｉ＋１）で囲まれる曲面Ｑを、図１３
に示すように、ｘｙ平面上に射影したときに得られる領
域（像）ｑ（図中、斜線を付してある部分）を考える
と、曲線Ｃ０に対応する像からＣ１に対応する像への方
向（あるいはその逆方向）への幅（この幅は、上述した
曲面Ｑの幅に相当する）（膨らみ）は、背景から前景に
（あるいは前景から背景に）、いわば移行していく部分
であり、従って、この領域ｑの幅が、図１４（ａ）に示
すように、大きく振動していると、キー信号は、視覚的
に不自然なものとなる。

【００７９】そこで、図１４（ｂ）に示すように、曲面
Ｑの幅、即ち領域ｑの幅が大きく変動しないように、速
度ベクトルＶｉ０，Ｖ（ｉ＋１）０，Ｖｉ１，Ｖ（ｉ＋
１）１を決定する必要がある。これは、例えば前景の境
界の曲率（前景の境界上の点ＰｉおよびＰ（ｉ＋１）の
曲率）を求め、その曲率に基づいて行うことができる。

【００８０】即ち、いま、点Ｐｉまたは点Ｐ（ｉ＋１）
における速度ベクトルＶｉまたはＶ（ｉ＋１）を、式
（１１）乃至（１４）における場合と同様に定義する
と、それぞれ次式で表される。

【００８１】 Ｖｉ＝Ｄｔ｛Ｑ（０．５，ｔ）｝｜ｔ＝０ （１７） Ｖ（ｉ＋１）＝Ｄｔ｛Ｑ（０．５，ｔ）｝｜ｔ＝１ （１８）

【００８２】速度ベクトルＶｉまたはＶ（ｉ＋１）は、
平面α＝０．５上に存在するベクトルであり、また、上
述したように、速度ベクトルＶｉ０およびＶ（ｉ＋１）
０、またはＶｉ１およびＶ（ｉ＋１）１は、それぞれ平
面α＝０またはα＝１上に存在するベクトルであるか
ら、これらはｘｙ平面に射影しても変化しない。

【００８３】そこで、図１５に示すように、領域ｑ、並
びに速度ベクトルＶｉ，Ｖ（ｉ＋１），Ｖｉ０，Ｖ（ｉ
＋１）０，Ｖｉ１，Ｖ（ｉ＋１）１を、ｘｙ平面上に射
影したものを考える。

【００８４】この場合、領域ｑの幅の振動を抑えるに
は、速度ベクトルＶｉ０およびＶ（ｉ＋１）０の向き
が、速度ベクトルＶｉの向きと一致するように、かつそ
の大きさが、速度ベクトルＶｉの曲率の中心Ｏｉからの
距離に比例して大きくなるようにするとともに、速度ベ
クトルＶ（ｉ＋１）０およびＶ（ｉ＋１）１の向きが、
速度ベクトルＶ（ｉ＋１）の向きと一致するように、か
つその大きさが、速度ベクトルＶ（ｉ＋１）の曲率の中
心Ｏ（ｉ＋１）からの距離に応じて大きくなるようにす
れば良い。

【００８５】従って、いま、点Ｐｉでの曲率半径（曲率
の逆数）をＲｉとするとともに、ｘｙ平面上に射影した
点ＰｉとＰｉ０との距離または点ＰｉとＰｉ１との距離
を、それぞれＤｉ０またはＤｉ１とすると、速度ベクト
ルＶｉ０，Ｖ（ｉ＋１）０は、次式にしたがって決定す
れば良い。

【００８６】即ち、曲率の中心Ｏｉが、前景側（点Ｐｉ
から見た場合には、点Ｐｉ１側）に存在する場合は、式 Ｖｉ０＝（Ｒｉ＋Ｄｉ０）／Ｒｉ×Ｖｉ （１９） Ｖｉ１＝（Ｒｉ−Ｄｉ１）／Ｒｉ×Ｖｉ （２０） にしたがって、速度ベクトルＶｉ０，Ｖ（ｉ＋１）０を
決定する。

【００８７】また、曲率の中心Ｏｉが、背景側（点Ｐｉ
から見た場合には、点Ｐｉ０側）に存在する場合（例え
ば、図１５に示したような場合）は、式 Ｖｉ０＝（Ｒｉ−Ｄｉ０）／Ｒｉ×Ｖｉ （２１） Ｖｉ１＝（Ｒｉ＋Ｄｉ１）／Ｒｉ×Ｖｉ （２２） にしたがって、速度ベクトルＶｉ０，Ｖ（ｉ＋１）０を
決定する。

【００８８】速度ベクトルＶ（ｉ＋１）０およびＶ（ｉ
＋１）１も、速度ベクトルＶ（ｉ＋１）に基づいて、同
様に決定する。

【００８９】以上のようにして速度ベクトルＶｉ０，Ｖ
（ｉ＋１）０，Ｖｉ１，Ｖ（ｉ＋１）１を決定すること
で、領域ｑの幅の振動を抑えることができる。

【００９０】なお、本実施例においては、助変数ｓの最
高次数は１次であるから、曲面Ｑの、前景の境界の法線
方向における傾きは一定であり、従って、点Ｐｉ（点Ｐ
（ｉ＋１）についても同様）は、点Ｐｉ０とＰｉ１との
中点（線分Ｌｉの中点）にあるので、Ｄｉ０＝Ｄｉ１と
なる。ここで、以下では、Ｄｉ０＝Ｄｉ１＝Ｄｉとす
る。

【００９１】図５に戻り、ステップＳ５では、点Ｐｉに
おける曲率半径Ｒｉが算出され、さらにこの点Ｐｉと、
ステップＳ４で求められた点Ｐｉ０とをｘｙ平面上に射
影して得られる２点の間の距離（あるいは、点Ｐｉと、
ステップＳ４で求められた点Ｐｉ１とをｘｙ平面上に射
影して得られる２点の間の距離）Ｄｉが算出される。そ
して、ステップＳ６に進み、点Ｐｉにおける速度ベクト
ルＶｉが、式（１７）にしたがって算出され、ステップ
Ｓ７に進む。

【００９２】ステップＳ７においては、ステップＳ４で
求められた点Ｐｉ０またはＰｉ１における速度ベクトル
Ｖｉ０またはＶｉ１が、曲率の中心Ｏｉの位置に基づい
て、式（１９）または（２０）、あるいは式（２１）ま
たは（２２）にしたがって算出される。

【００９３】その後、ステップＳ８において、変数ｉが
１だけインクリメントされ、ステップＳ９に進み、変数
ｉがＩ以下であるか否かが判定される。ステップＳ９に
おいて、変数ｉがＩ以下であると判定された場合、即
ち、ステップＳ１で求められたＩ個の点Ｐｉすべてにつ
いて、ステップＳ３乃至Ｓ７の処理を、まだ行っていな
い場合、ステップＳ３に戻る。

【００９４】一方、ステップＳ９において、変数ｉがＩ
以下でないと判定された場合、即ち、ステップＳ１で求
められたＩ個の点Ｐｉすべてについて、ステップＳ３乃
至Ｓ７の処理を行った場合、１乃至Ｉの各ｉについて、
線分ＬｉとＬ（ｉ＋１）との間を補間する曲面Ｑを決定
する決定情報（制御情報）としての点Ｐｉ０，Ｐｉ１，
Ｐ（ｉ＋１）０、およびＰ（ｉ＋１）１、並びに速度ベ
クトルＶｉ０，Ｖｉ１，Ｖ（ｉ＋１）０、およびＶ（ｉ
＋１）１が、制御情報算出部２から曲面生成部３に出力
される。

【００９５】なお、ｉ＝Ｉについては、線分ＬＩとＬ１
との間を補間する曲面Ｑを決定する決定情報（制御情
報）として、点ＰＩ０，ＰＩ１，Ｐ１０、およびＰ１
１、並びに速度ベクトルＶＩ０，ＶＩ１，Ｖ１０、およ
びＶ１１が出力される。

【００９６】曲面生成部３では、各ｉについての点Ｐｉ
０，Ｐｉ１，Ｐ（ｉ＋１）０、およびＰ（ｉ＋１）１、
並びに速度ベクトルＶｉ０，Ｖｉ１，Ｖ（ｉ＋１）０、
およびＶ（ｉ＋１）１から、線分ＬｉとＬ（ｉ＋１）と
の間を補間する曲面Ｑが生成され、これらを、いわばつ
なぎ合わせることでキー信号の曲面（側面）が求められ
る。そして、この曲面に、α＝１の平面（但し、点Ｐｉ
１（ｉ＝１，２，・・・，Ｉ）で囲まれる部分）と、α
＝０の平面（但し、点Ｐｉ０（ｉ＝１，２，・・・，
Ｉ）で囲まれる部分を除く部分）とが付加され、これに
より境界情報算出部１に入力された画像に対応するキー
信号が生成される。このキー信号は、マスク画像生成部
４に供給され、そこでは、曲面生成部３からのキー信号
が、ｘｙ平面上の各画素に射影され、これにより、例え
ばキー信号αの値によって輝度の異なるマスク画像が生
成される。

【００９７】即ち、制御情報算出部２で決定情報が算出
された後は、図６のステップＳ１０に進み、以下、曲面
生成部３において、ステップＳ１０乃至Ｓ２０の処理が
行われ、さらに、マスク画像生成部４において、ステッ
プＳ２１の処理が行われる。

【００９８】ここで、図１６乃至図１８を参照して、ス
テップＳ１０乃至Ｓ２１の処理について説明する。

【００９９】例えば、あるｉについての点Ｐｉ０，Ｐｉ
１，Ｐ（ｉ＋１）０、およびＰ（ｉ＋１）１、並びに速
度ベクトルＶｉ０，Ｖｉ１，Ｖ（ｉ＋１）０、およびＶ
（ｉ＋１）１から決定される曲面Ｑに、図１６に示すよ
うに、α軸方向に曲面のねじれや歪などがあるとき、こ
れを、ｘｙ平面に射影すると、そのねじれや歪の部分が
射影されたｘｙ平面上の画素には、複数の値のキー信号
が重ねて（このような重なりを、以下、適宜、干渉とい
う）割り当てられる。

【０１００】そこで、干渉が生じる画素におけるキー信
号αをどのような値とするかが問題となるが、この値を
決定する方法として、例えば次のようなスーパサンプリ
ングによるものなどがある。

【０１０１】即ち、ｘｙ平面上における各画素を、それ
より細かい、例えば８×８の画素（この画素は、仮想的
なもので、以下、適宜、副画素（サブピクセル）とい
う）に分割し、この副画素単位に、キー信号を射影す
る。

【０１０２】具体的には、点Ｐｉ０，Ｐｉ１，Ｐ（ｉ＋
１）０、およびＰ（ｉ＋１）１、並びに速度ベクトルＶ
ｉ０，Ｖｉ１，Ｖ（ｉ＋１）０、およびＶ（ｉ＋１）１
から決定される曲面Ｑ上の任意の点は、助変数ｓまたは
ｔを変化させていくことで表すことができる。そして、
この場合、助変数ｓを固定して、助変数ｔを変化させた
ときには、曲面Ｑ上の、点Ｐｉ０からＰ（ｉ＋１）０へ
の方向（点Ｐｉ１からＰ（ｉ＋１）１への方向）にある
点を表すことができ、また、助変数ｔを固定して、助変
数ｓを変化させたときには、曲面Ｑ上の、点Ｐｉ０から
Ｐｉ１への方向（点Ｐ（ｉ＋１）０からＰ（ｉ＋１）１
への方向）にある点を表すことができる。

【０１０３】そこで、助変数ｓまたはｔそれぞれを、細
かい刻み幅（上述したように、ｘｙ平面上の各画素を、
例えば８×８に分割することができるような幅）で変化
させていくことで、図１７に示すように、曲面Ｑを格子
（メッシュ）状に分割し、各格子点をｘｙ平面に射影し
た点を含む所定の範囲の部分を副画素（サブピクセル）
とする。そして、各格子点におけるキー信号の値を、ｘ
ｙ平面に射影して、これを各副画素に割り当てる。

【０１０４】この場合、干渉が生じることによって、１
つの副画素に、複数のキー信号αが割り当てられること
があるが、このような場合には、適当な方法、即ち、例
えば複数のキー信号αのうちの最小値を優先的に割り当
てることによって、１つの副画素に、１つのキー信号α
を割り当てる。これにより、干渉を回避することができ
る。

【０１０５】なお、干渉が生じる場合に、複数のキー信
号αのうちの最小値を優先的に割り当てるようにしたの
は、例えばそのうちの最大値を優先的に割り当てるよう
にすると、極端なときには、１が優先的に割り当てられ
ることになり、値の小さなキー信号が考慮されないこと
になるからである。

【０１０６】副画素単位でのキー信号の割り当てが終了
した後は、図１８に示すように、各画素内に存在する副
画素に割り当てられたキー信号を、ローパスフィルタで
フィルタリングすることにより（時領域で考えた場合に
は、キー信号とローパスフィルタとを畳み込むことによ
り）、画素単位にキー信号が割り当てられたマスク画像
を得ることができる（以上のように、副画素単位に、キ
ー信号を射影してフィルタリングすることを、本実施例
中では、スーパサンプリングと呼んでいる）。

【０１０７】図６のステップＳ１０乃至Ｓ２１では、以
上のような処理が行われる。即ち、ステップＳ１０で
は、変数ｊに、初期値としての１がセットされ、ステッ
プＳ１１に進み、ｘｙ平面上の画像が、Ｍ×Ｎ個の副画
素Ｗ（ｍ，ｎ）に分割される。但し、ＭまたはＮは、ｘ
ｙ平面上の画像を構成する横または縦方向それぞれの画
素の数より大きい整数であり、ｍまたはｎは、１乃至Ｍ
または１乃至Ｎの範囲の整数値をそれぞれとる。

【０１０８】さらに、ステップＳ１１では、副画素Ｗ
（ｍ，ｎ）に割り当てるキー信号αを記憶する変数を、
ｗ（ｍ，ｎ）とするとき、この変数ｗ（ｍ，ｎ）が、そ
こに初期値としての０がセットされることにより初期化
され、ステップＳ１２に進み、点Ｐｊ０，Ｐｊ１，Ｐ
（ｊ＋１）０、およびＰ（ｊ＋１）１、並びに速度ベク
トルＶｊ０，Ｖｊ１，Ｖ（ｊ＋１）０、およびＶ（ｊ＋
１）１から、線分ＬｊとＬ（ｊ＋１）との間を補間する
曲面Ｑが算出され、ステップＳ１３に進む。

【０１０９】ステップＳ１３では、助変数ｓまたはｔそ
れぞれを変化させる、上述した細かい刻み幅δｓまたは
δｔが決定され、ステップＳ１４に進み、変数ｓまたは
ｔに、初期値としてのδｓまたはδｔがそれぞれセット
される。

【０１１０】そして、ステップＳ１５に進み、点（格子
点）Ｑ（ｓ，ｔ）を、ｘｙ平面へ射影して得られる点
（以下、適宜、射影点という）Ｍｊ（ｘ，ｙ）が算出さ
れ、ステップＳ１６に進む。ステップＳ１６では、射影
点Ｍｊ（ｘ，ｙ）を含む副画素Ｗ（ｍ，ｎ）が求めら
れ、ステップＳ１７に進み、変数ｗ（ｍ，ｎ）が０に等
しいか否かと、変数ｗ（ｍ，ｎ）が変数ｓ以上であるか
否かとが判定される。

【０１１１】ステップＳ１７において、変数ｗ（ｍ，
ｎ）が０に等しいと判定されるか、または変数ｗ（ｍ，
ｎ）が変数ｓ以上であると判定された場合、変数ｗ
（ｍ，ｎ）に変数ｓ（変数（助変数）ｓは、式（２）に
示したように、キー信号αに等しい）がセットされ、ス
テップＳ１８に進む。即ち、変数ｗ（ｍ，ｎ）に、副画
素Ｗ（ｍ，ｎ）に割り当てられたキー信号ｓが、まだセ
ットされていない場合、および変数ｗ（ｍ，ｎ）に、既
にキー信号がセットされているが、副画素Ｗ（ｍ，ｎ）
に干渉が生じており、セットされているキー信号より値
の小さなキー信号ｓが存在する場合、変数ｗ（ｍ，ｎ）
に、変数ｓがセットされる。

【０１１２】また、ステップＳ１７において、変数ｗ
（ｍ，ｎ）が０に等しくないと判定され、かつ変数ｗ
（ｍ，ｎ）が変数ｓ以上でないと判定された場合、ステ
ップＳ１８に進み、変数ｓ，ｔが、ステップＳ１３で決
定された所定の刻み幅δｓ，δｔだけインクリメントさ
れ、ステップＳ１９に進む。

【０１１３】なお、ステップＳ１８における変数ｓ，ｔ
のインクリメントは、例えば変数ｓを固定して、変数ｔ
のみがインクリメントされ、ステップＳ１５乃至Ｓ１９
の処理を繰り返すことにより、変数ｔが１に等しくなっ
たときには、変数ｔがδｔに初期化されるとともに、変
数ｓのインクリメントが行われ、再び変数ｓを固定し
て、変数ｔのみがインクリメントされることが、変数
ｓ，ｔがともに１に等しくなるまで行われる。但し、変
数ｓ，ｔのインクリメントは、上述した方法の他、刻み
幅δｓ，δｔ単位でとることのできる変数ｓ，ｔの組み
合わせすべてを網羅することができるような方法で行う
ことが可能である。

【０１１４】ステップＳ１９では、変数ｓ，ｔのうちの
いずれか一方が１以下であるか否かが判定される。ステ
ップＳ１９において、変数ｓ，ｔのうちのいずれか一方
が１以下であると判定された場合、ステップＳ１５に戻
り、ステップＳ１９で変数ｓ，ｔがいずれも１以下でな
いと判定されるまで、ステップＳ１５乃至Ｓ１９の処理
を繰り返す。

【０１１５】ステップＳ１９において、変数ｓ，ｔがい
ずれも１以下でないと判定された場合、ステップＳ２０
に進み、変数ｊが、図５のステップＳ１で求められた前
景の境界上の点Ｐｉの総数Ｉ以下であるか否かが判定さ
れる。ステップＳ２０において、変数ｊがＩ以下である
と判定された場合、ステップＳ１２に戻る。また、ステ
ップＳ２０において、変数ｊがＩ以下でないと判定され
た場合、ステップＳ２１に進み、変数ｗ（ｍ，ｎ）にロ
ーパスフィルタがかけられ、これにより、画素単位にキ
ー信号が割り当てられたマスク画像が算出され、処理を
終了する。

【０１１６】マスク画像生成部４で求められたマスク画
像は、表示部５に出力されて表示される。また、必要に
応じて、曲面生成部３で求められたキー信号も表示部５
に出力されて表示される。この場合、表示部５には、マ
スク画像またはキー信号とともに、各曲面Ｑを決定する
決定情報としての速度ベクトルＶｉ０，Ｖｉ１，Ｖ（ｉ
＋１）０、およびＶ（ｉ＋１）１が、各曲面Ｑの４端点
に表示される。装置の操作者としての、例えば編集者
（映像の編集者）は、この表示部５に表示されたマスク
画像またはキー信号を見て、生成されたキー信号を所望
するものに変更する。

【０１１７】即ち、編集者は、表示部５に表示されたマ
スク画像またはキー信号が所望するものでない場合に
は、同じく表示部５に表示された速度ベクトルＶｉ０，
Ｖｉ１，Ｖ（ｉ＋１）０，Ｖ（ｉ＋１）１を変えること
で、表示部５に表示されたマスク画像またはキー信号を
所望するものに変更する。

【０１１８】速度ベクトルＶｉ０，Ｖｉ１，Ｖ（ｉ＋
１）０，Ｖ（ｉ＋１）１は、制御信号変更部６を操作す
ることで、その向きおよび大きさ変えることができ、即
ち、制御情報算出部２では、制御信号変更部６の操作に
応じて、速度ベクトルＶｉ０，Ｖｉ１，Ｖ（ｉ＋１）
０，Ｖ（ｉ＋１）１が変更され、曲面生成部３では、そ
の変更後の速度ベクトルＶｉ０，Ｖｉ１，Ｖ（ｉ＋１）
０，Ｖ（ｉ＋１）１に基づいて、曲面が生成される。こ
れにより、制御信号変更部６の操作に応じて変更された
マスク画像またはキー信号が、表示部５に表示される。

【０１１９】そして、編集者は、表示部５に表示された
マスク画像またはキー信号が所望するものとなった場合
には、そのキー信号を用いて、画像合成などの画像処理
を行う。

【０１２０】速度ベクトルＶｉ０，Ｖｉ１，Ｖ（ｉ＋
１）０，Ｖ（ｉ＋１）１の大きさの変更は、図１３に示
した曲線Ｃ０，Ｃ１の曲がり具合に反映され、またその
向きの変更は、曲線Ｃ０，Ｃ１の曲がる方向に反映され
るので、速度ベクトルＶｉ０，Ｖｉ１，Ｖ（ｉ＋１）
０，Ｖ（ｉ＋１）１の変更がキー信号に与える影響が、
直感的に分かりやすく、従って、編集者は、所望するキ
ー信号への変更を容易に行うことができる。

【０１２１】さらに、以上のようにして求めたキー信号
を保持しておくには、位置ベクトルＰｉ０，Ｐｉ１，Ｐ
（ｉ＋１）０、およびＰ（ｉ＋１）１、並びに速度ベク
トルＶｉ０，Ｖｉ１，Ｖ（ｉ＋１）０、およびＶ（ｉ＋
１）１だけを記憶しておくだけで良いので、例えば画素
単位でキー信号を記憶しておく場合に比較して、記憶容
量が少なくて済む。

【０１２２】また、位置ベクトルＰｉ０，Ｐｉ１，Ｐ
（ｉ＋１）０、およびＰ（ｉ＋１）１、並びに速度ベク
トルＶｉ０，Ｖｉ１，Ｖ（ｉ＋１）０、およびＶ（ｉ＋
１）１で決定される曲面は、前景の境界上の点Ｐｉの法
線方向に、その点Ｐｉにおける画像の勾配の大きさに対
応した傾斜を有するので、この曲面の集合で形成される
キー信号は、エイリアスの影響を低減し、かつモーショ
ンブラーの影響を正確に反映したものとなる。

【０１２３】さらに、本実施例では、キー信号を構成す
る曲面Ｑが、位置ベクトルＰｉ０，Ｐｉ１，Ｐ（ｉ＋
１）０、およびＰ（ｉ＋１）１、並びに速度ベクトルＶ
ｉ０，Ｖｉ１，Ｖ（ｉ＋１）０、およびＶ（ｉ＋１）１
で決定されるので、例えば時間的に連続するフレームＦ
１，Ｆ２，Ｆ３があった場合、フレームＦ１またはＦ３
についてのキー信号α１またはα３を求めておいたとき
には、フレームＦ２についてのキー信号α２に対応する
位置ベクトル、速度ベクトルとしては、キー信号α１ま
たはα３それぞれを構成する曲面を決定する位置ベクト
ル、速度ベクトルの平均値を採用することができる。即
ち、フレームＦ２についてのキー信号α２に対応する位
置ベクトル、速度ベクトルは、いわばベクトルの内挿を
行うようにして求めることができる。以上のようにして
求めたフレームＦ２についてのキー信号α２に対応する
位置ベクトル、速度ベクトルは、実際に、図５および図
６に示した処理を行った結果得られる値を、比較的精度
良く近似する。

【０１２４】次に、図１９は、本発明を適用した画像合
成装置の一実施例の構成を示している。この画像合成装
置は、キー信号生成装置１１およびミキサ１２で構成さ
れている。キー信号生成装置１１は、図４のキー信号生
成装置と同様に構成されており、上述したようにしてキ
ー信号αを生成し、ミキサ１２に出力するようになされ
ている。ミキサ１２（合成手段）は、キー信号生成装置
１１からのキー信号を用いて、そこに入力される画像Ｔ
１とＴ２とを合成するようになされている。

【０１２５】次に、その動作について説明する。なお、
ここでは、キー信号を生成する対象とする画像を、前景
または背景をそれぞれＦまたはＢとする画像Ｔ１とし、
キー信号生成装置１１では、前景Ｆを抜き出すためのキ
ー信号αが生成されるものとする。また、ミキサ１２で
は、画像Ｔ２に、前景Ｆが合成されるものとする。

【０１２６】キー信号を生成する対象の画像Ｔ１は、キ
ー信号生成装置１１およびミキサ１２に入力され、前景
Ｆを合成する画像Ｔ２は、ミキサ１２に入力される。キ
ー信号生成装置１１では、上述したようにしてキー信号
αが生成され、ミキサ１２に出力される。ミキサ１２で
は、キー信号αを用いて、そこに入力される画像Ｔ１か
ら前景Ｆが抜き出され、さらにその前景Ｆが、画像Ｔ２
に合成される。

【０１２７】即ち、例えばミキサ１２では、まず画像Ｔ
１から、キー信号αを用いて前景Ｆが抜き出される。具
体的には、例えば画像Ｔ１を構成する各位置ｐの画素の
画素値に対し、キー信号α（ｐ）（α（ｐ）は、位置ｐ
におけるキー信号の値）が乗算されることにより、前景
Ｆが求められる。但し、画素値が、例えば色相、彩度、
および明度の３成分を有するとした場合には、０＜α＜
１の範囲のキー信号αは、そのうちの明度にのみ乗算さ
れる（値が０，１のキー信号αは、３成分すべてに乗算
される）。

【０１２８】同時に、ミキサ１２においては、画像Ｔ２
から、前景Ｆを合成する部分が取り除かれる。具体的に
は、例えば画像Ｔ２を構成する各位置ｐの画素の画素値
に対し、１−αが乗算される。そして、これに、上述し
たようにして抜き出された前景Ｆが重畳され、これによ
り合成画像Ｔ３が生成される。

【０１２９】即ち、いま、画像Ｔ１またはＴ２を構成す
る各位値ｐの画素の画素値を、それぞれＰ（ｐ）または
Ｑ（ｐ）と表すとすると、ミキサ１２では、式α（ｐ）
Ｐ（ｐ）＋（１−α）Ｑ（ｐ）にしたがって、前景Ｆ
を、画像Ｔ２に合成した画像Ｔ３が求められる。

【０１３０】キー信号生成装置１１から出力されるキー
信号は、上述したように変更容易なものであるため、こ
れを用いて画像の合成を行った場合には、所望する合成
画像を容易に得ることができる。

【０１３１】なお、ミキサ１２における画像の合成方法
は、上述した方法に限定されるものではない。

【０１３２】また、本実施例では、助変数ｓの最高次数
を１次とするようにしたが、助変数ｓの最高次数は２次
としたり、また助変数ｔと同様に３次とすることも可能
である。

【０１３３】さらに、本実施例では、前景の境界を３次
のベジェ曲線で近似するようにしたが、前景の境界を近
似するベジェ曲線の次数は３次以外であっても良いし、
またベジェ曲線以外の曲線によって、前景の境界を近似
するようにすることも可能である。

【０１３４】また、本実施例においては、キー信号の曲
面を、３次のベジェ曲面によって表現するようにした
が、ベジェ曲面の次数は３次に限定されるものではな
い。さらに、キー信号の曲面は、位置ベクトルおよび速
度ベクトルに相当する決定情報（制御情報）により決定
される、ベジェ曲面以外のパラメトリックな曲面や、パ
ラメトリックでない曲面などによって表現することも可
能である。

【０１３５】また、本実施例では、速度ベクトルを変え
ることで、キー信号の変更を行うようにしたが、この
他、例えば位置ベクトルを変えることによって、キー信
号の変更を行うようにすることも可能である。

【０１３６】さらに、本実施例においては、速度ベクト
ルおよび位置ベクトルによって決定される曲面の傾き
は、点Ｐｉにおける画像の勾配によって決まるようにし
たので、この曲面の傾きを変えることによって、キー信
号の変更を行うようにすることも可能である。

【０１３７】また、本実施例では、１つの副画素に複数
のキー信号αが割り当てられた場合に、干渉を回避する
ため、そのうちの最小値を優先的に用いるようにした
が、その他の制御（手法）によって干渉を回避するよう
にすることも可能である。

【０１３８】

【発明の効果】本発明のキー信号生成装置およびキー信
号生成方法によれば、対象物体の境界部分に関する境界
情報が算出され、その境界情報に基づいて、キー信号の
曲面を決定する決定情報が算出される。そして、その決
定情報に基づいて、キー信号の曲面が生成される。従っ
て、決定情報を変えることで、キー信号の変更を容易に
行うことが可能となる。

【０１３９】本発明の画像合成装置によれば、対象物体
の境界部分に関する境界情報が算出され、その境界情報
に基づいて、キー信号の曲面を決定する決定情報が算出
される。そして、その決定情報に基づいて、キー信号の
曲面が生成され、そのキー信号を用いて、所定の画像と
他の画像とが合成される。従って、所望する合成画像を
容易に得ることが可能となる。

【図面の簡単な説明】

【図１】背景に対して前景が静止している画像の画素値
とその変化との関係を示す図である。

【図２】背景に対して前景が動いている画像の画素値と
その変化との関係を示す図である。

【図３】画像の勾配と、その画像を構成する前景の境界
との関係を示す図である。

【図４】本発明を適用したキー信号生成装置の一実施例
の構成を示すブロック図である。

【図５】図４のキー信号生成装置の動作を説明するフロ
ーチャートである。

【図６】図５のフローチャートに続くフローチャートで
ある。

【図７】ソーベルオペレータを示す図である。

【図８】図５のステップＳ３およびＳ４の処理を説明す
るための図である。

【図９】α＝１の平面およびα＝０の平面を定義する方
法を説明するための図である。

【図１０】３次のベジェ曲面を示す図である。

【図１１】キー信号の曲面を表現する曲面として採用す
る３次のベジェ曲面を示す図である。

【図１２】速度ベクトルＶｉ０およびＶ（ｉ＋１）０、
またはＶｉ１およびＶ（ｉ＋１）１それぞれが平面α＝
０、またはα＝１上に存在することを示す図である。

【図１３】ベジェ曲面Ｑを、ｘｙ平面上に射影した状態
を示す図である。

【図１４】ベジェ曲面Ｑをｘｙ平面上に射影して得られ
る領域ｑの幅（膨らみ）の振動を説明するための図であ
る。

【図１５】ベジェ曲面Ｑをｘｙ平面上に射影して得られ
る領域ｑの幅（膨らみ）の振動を防止する方法を説明す
るための図である。

【図１６】干渉を説明するための図である。

【図１７】ベジェ曲面Ｑを格子状に分割した状態を示す
図である。

【図１８】図６のステップＳ２１の処理を説明するため
の図である。

【図１９】本発明を適用した画像合成装置の一実施例の
構成を示すブロック図である。

【図２０】ハードキーおよびソフトキーを説明するため
の図である。

【図２１】エイリアスを説明するための図である。

【図２２】モーションブラーを説明するための図であ
る。

【符号の説明】

１ 境界情報算出部 ２ 制御情報算出部 ３ 曲面生成部 ４ マスク画像生成部 ５ 表示部 ６ 制御信号変更部 １１ キー信号生成装置 １２ ミキサ

Claims (11)

【特許請求の範囲】
1. 【請求項１】 画像から対象物体のキー信号を生成する
   キー信号生成装置であって、 前記対象物体の境界部分に関する境界情報を算出する境
   界情報算出手段と、 前記境界情報算出手段より出力される前記境界情報に基
   づいて、前記キー信号の曲面を決定する決定情報を算出
   する決定情報算出手段と、 前記決定情報算出手段より出力される前記決定情報に基
   づいて、前記キー信号の曲面を生成する曲面生成手段と
   を備えることを特徴とするキー信号生成装置。
2. 【請求項２】 前記境界情報算出手段は、前記対象物体
   の境界と、その境界における前記画像の画素値の変化
   を、前記境界情報として算出し、 前記決定情報算出手段は、前記対象物体の境界の法線方
   向に、その境界における前記画像の画素値の変化に対応
   した傾斜を有する面を生成するのに必要な前記決定情報
   を算出することを特徴とする請求項１に記載のキー信号
   生成装置。
3. 【請求項３】 前記決定情報算出手段は、前記対象物体
   の境界の曲率を求め、その曲率に基づいて、前記面の幅
   を決定する前記決定情報を算出することを特徴とする請
   求項２に記載のキー信号生成装置。
4. 【請求項４】 前記曲面生成手段により前記曲面が生成
   された前記キー信号に対応するマスク画像を生成するマ
   スク画像生成手段をさらに備えることを特徴とする請求
   項１に記載のキー信号生成装置。
5. 【請求項５】 前記曲面生成手段により前記曲面が生成
   された前記キー信号を表示する表示手段と、 前記表示手段に表示された前記キー信号を変更するとき
   に操作される操作手段とをさらに備え、 決定情報算出手段は、前記操作手段の操作に対応して、
   いま出力している前記決定情報を変更することを特徴と
   する請求項１に記載のキー信号生成装置。
6. 【請求項６】 前記境界情報算出手段は、前記対象物体
   の境界上の複数の境界点と、その境界点それぞれにおけ
   る前記画像の画素値の変化を、前記境界情報として算出
   し、 前記決定情報算出手段は、前記対象物体の境界の法線方
   向に、各境界点における前記画像の画素値の変化に対応
   した傾斜を有する線分を求め、隣接する２つの前記線分
   どうしの間を補間する面を決定する前記決定情報を算出
   することを特徴とする請求項１に記載のキー信号生成装
   置。
7. 【請求項７】 隣接する２つの前記線分どうしを補間す
   る面は、パラメトリックな曲面であることを特徴とする
   請求項６に記載のキー信号生成装置。
8. 【請求項８】 隣接する２つの前記線分どうしを補間す
   る面は、ベジェ（Bezier）曲面であることを特徴とする
   請求項７に記載のキー信号生成装置。
9. 【請求項９】 前記決定情報は、隣接する２つの前記線
   分それぞれの端点における速度ベクトルを少なくとも含
   むことを特徴とする請求項８に記載のキー信号生成装
   置。
10. 【請求項１０】 画像から対象物体のキー信号を生成す
    るキー信号生成方法であって、 前記対象物体の境界部分に関する境界情報を算出し、 前記境界情報に基づいて、前記キー信号の曲面を決定す
    る決定情報を算出し、 前記決定情報に基づいて、前記キー信号の曲面を生成す
    ることを特徴とするキー信号生成方法。
11. 【請求項１１】 所定の画像から対象物体のキー信号を
    生成し、そのキー信号を用いて画像どうしを合成する画
    像合成装置であって、 前記対象物体の境界部分に関する境界情報を算出する境
    界情報算出手段と、 前記境界情報算出手段より出力される前記境界情報に基
    づいて、前記キー信号の曲面を決定する決定情報を算出
    する決定情報算出手段と、 前記決定情報算出手段より出力される前記決定情報に基
    づいて、前記キー信号の曲面を生成する曲面生成手段
    と、 前記曲面生成手段により前記曲面の生成された前記キー
    信号を用いて、前記所定の画像と他の画像とを合成する
    合成手段とを備えることを特徴とする画像合成装置。