JP3804836B2 - キー信号生成装置および画像合成装置、並びにキー信号生成方法および画像合成方法 - Google Patents
キー信号生成装置および画像合成装置、並びにキー信号生成方法および画像合成方法 Download PDFInfo
- Publication number
- JP3804836B2 JP3804836B2 JP09787896A JP9787896A JP3804836B2 JP 3804836 B2 JP3804836 B2 JP 3804836B2 JP 09787896 A JP09787896 A JP 09787896A JP 9787896 A JP9787896 A JP 9787896A JP 3804836 B2 JP3804836 B2 JP 3804836B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- key signal
- foreground
- background
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、キー信号生成装置および画像合成装置、並びにキー信号生成方法および画像合成方法に関する。特に、画像を構成する画素間の画素値の変化を検出し、その画素値の変化に基づいて、キー信号を生成することにより、正確なキー信号を得ることができるようにしたキー信号生成装置および画像合成装置、並びにキー信号生成方法および画像合成方法に関する。
【０００２】
【従来の技術】
例えば、映画その他の映像制作において、画像（映像）の各種シミュレーションを行ったり、あるいは画像に特殊効果を与えたりする場合には、画像から、注目する部分（物体）を抜き出したり、その抜き出した部分を、他の画像に合成することが行われる。このような画像からの抜き出し、合成は、キー信号を用いて行われる。
【０００３】
キー信号には、ハードキーと呼ばれるものとソフトキーと呼ばれるものとがある。例えば、いま、キー信号を生成するのに用いる画像のうちの注目する部分を前景（前景画像）とするとともに、それ以外の部分を背景（背景画像）とする場合、図３８（ａ）に示すように、画像における前景の範囲を１とするとともに、背景の範囲を０とした２値のキー信号（マスク画像）が、ハードキーと呼ばれる。これに対し、画像には、後述するエイリアスやモーションブラーが生じるが、これらを考慮して、０および１の２値だけではなく、図３８（ｂ）に示すように、０乃至１の範囲の連続した実数値をとることのできるキー信号が、ソフトキーと呼ばれる。ここで、以下、適宜、キー信号が０から１までの間の値をとる領域を、グレー領域という。
【０００４】
従って、ハードキーは、急峻な境目を有する信号（キー信号が０（または１）から１（または０）に変わる境目の傾斜が急峻になっている信号）であり、またソフトキーは、滑らかな境目を有する信号（キー信号が０（または１）から１（または０）に変わる境目の傾斜が滑らかな信号）ということができる。
【０００５】
ここで、図３８に図示してあるα（アルファ値）は、連続したキー信号の値を表すが、ここでは、同時に、画素単位のキー信号の値も表すものとする。実際には、画素単位のキー信号としては、例えば、連続したキー信号を、画素の範囲などでフィルタリングし、その画素の中心におけるフィルタリング結果などが用いられる。なお、画像において、前景と背景との境界部分の画素の画素値は、前景および背景の信号成分どうしを重畳したものとなるが、このことから、αは、各画素について、前景がどれだけ寄与しているかを示す寄与率を表しているということができる。
【０００６】
【発明が解決しようとする課題】
ところで、前景および背景のいずれも静止している場合において、その画像を構成している画素の境目に、前景と背景との境界が位置していることは稀で、通常は、図３９（ａ）に示すように、前景と背景との境界は、有限の大きさを有する画素の内部に存在する。しかしながら、画素は、画像を構成する最小単位であるから、その内部に、上述のような前景と背景との境界が存在しても、その画素は、図３９（ｂ）に示すように、前景または背景のうちのいずれか一方の色（画素値）とされる。このため、前景と背景との境界は、図３９（ｃ）に示すように、画素の境目に沿って引かれ、このような画像全体を見た場合には、その前景と背景との境界（画素の境目）部分に、不自然なちらつき、即ちエイリアスが生じる。
【０００７】
従って、キー信号として、前景と背景との境界線を滑らかに表すものが得られたとしても、そのキー信号を用いて画像合成を行った結果得られる合成画像には、エイリアスが生じる。
【０００８】
そこで、合成画像に生じるエイリアスを防止する方法として、例えば特開昭６０−２３２７８７号公報や特開平４−３４０６７１号公報に開示されているものがある。特開昭６０−２３２７８７号公報に開示されている方法では、ハードキーを用いて、前景と背景との境界部分だけにＬＰＦをかけ、その境界部分をぼかして、見た目に滑らかにするようになされている。この方法においては、ハードキーが用いられるが、前景と背景との境界部分にＬＰＦをかけるので、キー信号に傾斜をつけたもの、即ち、実質的には、ソフトキーを用いて、画像合成が行われているということができる。
【０００９】
また、特開平４−３４０６７１号公報に開示されている方法では、前景と背景との境界上の注目画素を中心とするブロックを設定し、そのブロック内の前景および背景を構成する画素パターンから、キー信号（ソフトキー）を算出し、これを用いて、前景の抜き出し、合成を行うことで、エイリアスを低減するようになされている。
【００１０】
しかしながら、以上の方法で用いられるソフトキーは、その傾斜部分（図３８（ｂ）において、０＜α＜１の部分）、即ち、グレー領域における値が一様なものであるため、例えば前景が動いている場合に生じるモーションブラーに対処することが困難な課題があった。
【００１１】
ここで、モーションブラー（動きボケ）について、簡単に説明する。動画像は、画像（静止画像）が、例えばフレーム単位などで連続して表示されることで実現される。例えば、いま、画像の中を、左から右方向へ動く円形状の物体があったとして、その物体の移動速度に対し、フレーム周期が無限小とみなすことのできるほど短い時間であるとした場合には、その物体は、図４０（ａ）に示すように、各フレームにおいて円形状の物体として表示される。しかしながら、円形状の物体の移動速度に対し、フレーム周期が無限小とみなすことのできるほど短い時間ではない場合、ある時刻ｔ２におけるフレームの画像は、図４０（ｂ）に示すように、その１つ前のフレームの時刻ｔ１から、時刻ｔ２までの物体の動きを反映した画像となる。即ち、時刻ｔ２におけるフレームの画像の中の物体は、円形状のものではなく、その動きの方向に薄く伸びた、輪郭のぼやけたものとなる。このような現象がモーションブラーと呼ばれる。
【００１２】
なお、モーションブラーは、前景または背景のいずれか一方だけが動いている場合の他、両者が独立に動いている場合も生じるが、背景だけが動いている場合および両者が独立に動いている場合は、背景を基準とすれば、いずれも前景だけが動いている場合と同様に考えることができる。また、モーションブラーが生じている場合には、前景と背景との明確な境界は存在しない。
【００１３】
以上のようなモーションブラーを考慮したキー信号を生成する方法としては、例えば特開平５−１５３４９３号公報や特開平５−２３６３４７号公報に開示されているものがある。特開平５−１５３４９３号公報に開示されている方法では、現在のフレームと、その１つ前のフレームとを比較することにより、現在のフレーム（またはその１つ前のフレーム）の前景を構成する画素の画素値と、その画素の、１つ前のフレーム（または現在のフレーム）の画素値との変化量（大きさ）のフレーム全体についての総和を求め、その総和値から、ソフトキーのグレー領域を決定するようになされている。しかしながら、この方法においては、ソフトキーが、上述した画素値の変化量（同一の画素の画素値の差分）に依存して求められるため、前景の動きの方向が考慮されておらず、その動きに対応した、正確なソフトキーが得られるのかどうかが不明であった。
【００１４】
一方、特開平５−２３６３４７号公報に開示されている方法では、まずハードキーを生成し、前景と背景との境界上の各点において、そのハードキーの側面（図３８（ａ）に示したα＝１の部分を底面とする円柱の側面）を楕円錘で削り取ることで、ソフトキーを生成するようになされており、この場合において、楕円錘の底面を構成する楕円の長軸および短軸は、注目している部分の動きベクトルとエッジ強度の大きさとから決定されるようになされている。しかしながら、この方法においては、エッジ強度の方向が正しく考量されておらず、やはり、前景の動きに対応した、正確なソフトキーが得られるかどうかが不明であった。
【００１５】
本発明は、このような状況に鑑みてなされたものであり、モーションブラーを正確に反映し、さらに、エイリアスの影響を低減するキー信号を生成することができるようにするものである。
【００１６】
【課題を解決するための手段】
本発明のキー信号生成装置は、画像を構成する画素の画素値の１次微分値を算出する画像微分手段と、画像微分手段により算出された１次微分値が大きい複数の画素を接続することにより構成される閉曲線を、画像の前景と背景の境界として検出し、その閉曲線を構成する画素のうちの曲率の高い画素を特徴点として検出する曲線検出手段と、閉曲線と特徴点に基づいて、特徴点を含み、閉曲線から所定の距離の範囲内の領域である微小領域を検出し、その微小領域内の前景の画素の画素値である前景画素値と、背景の画素の画素値である背景画素値とを検出する前背景検出手段と、前背景検出手段により検出された前景画素値と背景画素値の色分布の重心の差分を、特徴点における前景と背景の差分として算出する差分算出手段と、画像微分手段により算出された特徴点を含む経路上の画素の画素値の１次微分値と、差分算出手段により算出された差分に基づいて、キー信号の骨組を算出するキー信号骨組算出手段と、骨組み算出手段により算出された骨組を補間することにより、画像を構成する各画素のキー信号を生成するキー信号生成手段とを備えることを特徴とする。
キー信号骨組算出手段は、特徴点を含む経路上の画素の画素値の１次微分値を、差分の絶対値で除算した値を、経路に沿って積分することにより、キー信号の骨組を算出することができる。
【００１７】
本発明の画像合成装置は、第１の画像を構成する画素の画素値の１次微分値を算出する画像微分手段と、画像微分手段により算出された１次微分値が大きい複数の画素を接続することにより構成される閉曲線を、第１の画像の前景と背景の境界として検出し、その閉曲線を構成する画素のうちの曲率の高い画素を特徴点として検出する曲線検出手段と、閉曲線と特徴点に基づいて、特徴点を含み、閉曲線から所定の距離の範囲内の領域である微小領域を検出し、その微小領域内の前景の画素の画素値である前景画素値と、背景の画素の画素値である背景画素値とを検出する前背景検出手段と、前背景検出手段により検出された前景画素値と背景画素値の色分布の重心の差分を、特徴点における前景と背景の差分として算出する差分算出手段と、画像微分手段により算出された特徴点を含む経路上の画素の画素値の１次微分値と、差分算出手段により算出された差分に基づいて、キー信号の骨組を算出するキー信号骨組算出手段と、骨組み算出手段により算出された骨組を補間することにより、第１の画像を構成する各画素のキー信号を生成するキー信号生成手段と、キー信号生成手段により生成されたキー信号を用いて、第１の画像の前景画像と、第２の画像の背景画像とを合成する合成手段とを備えることを特徴とする。
【００１８】
本発明のキー信号生成方法は、画像を構成する画素の画素値の１次微分値を算出し、その算出された１次微分値が大きい複数の画素を接続することにより構成される閉曲線を、画像の前景と背景の境界として検出し、その閉曲線を構成する画素のうちの曲率の高い画素を特徴点として検出し、閉曲線と特徴点に基づいて、特徴点を含み、閉曲線から所定の距離の範囲内の領域である微小領域を検出し、その微小領域内の前景の画素の画素値である前景画素値と、背景の画素の画素値である背景画素値とを検出し、
その検出された前景画素値と背景画素値の色分布の重心の差分を、特徴点における前景と背景の差分として算出し、その算出された特徴点を含む経路上の画素の画素値の１次微分値と、差分に基づいて、キー信号の骨組を算出し、その算出された骨組を補間することにより、画像を構成する各画素のキー信号を生成することを特徴とする。
【００１９】
本発明の画像合成方法は、第１の画像を構成する画素の画素値の１次微分値を算出し、その算出された１次微分値が大きい複数の画素を接続することにより構成される閉曲線を、第１の画像の前景と背景の境界として検出し、その閉曲線を構成する画素のうちの曲率の高い画素を特徴点として検出し、閉曲線と特徴点に基づいて、特徴点を含み、閉曲線から所定の距離の範囲内の領域である微小領域を検出し、その微小領域内の前景の画素の画素値である前景画素値と、背景の画素の画素値である背景画素値とを検出し、その検出された前景画素値と背景画素値の色分布の重心の差分を、特徴点における前景と背景の差分として算出し、その算出された特徴点を含む経路上の画素の画素値の１次微分値と、差分に基づいて、キー信号の骨組を算出し、その算出された骨組を補間することにより、第１の画像を構成する各画素のキー信号を生成し、そのキー信号を用いて、第１の画像の前景画像と、第２の画像の背景画像とを合成することを特徴とする。
【００２０】
本発明のキー信号生成装置およびキー信号生成方法においては、画像を構成する画素の画素値の１次微分値が算出され、その１次微分値が大きい複数の画素を接続することにより構成される閉曲線が、画像の前景と背景の境界として検出され、その閉曲線を構成する画素のうちの曲率の高い画素が特徴点として検出される。また、閉曲線と特徴点に基づいて、特徴点を含み、閉曲線から所定の距離の範囲内の領域である微小領域が検出され、その微小領域内の前景の画素の画素値である前景画素値と、背景の画素の画素値である背景画素値とが検出され、その前景画素値と背景画素値の色分布の重心の差分が、特徴点における前景と背景の差分として算出される。さらに、特徴点を含む経路上の画素の画素値の１次微分値と差分に基づいて、キー信号の骨組が算出され、その骨組を補間することにより、画像を構成する各画素のキー信号が生成される。
【００２１】
本発明の画像合成装置および画像合成方法においては、第１の画像を構成する画素の画素値の１次微分値が算出され、その算出された１次微分値が大きい複数の画素を接続することにより構成される閉曲線が、第１の画像の前景と背景の境界として検出され、その閉曲線を構成する画素のうちの曲率の高い画素が特徴点として検出される。また、閉曲線と特徴点に基づいて、特徴点を含み、閉曲線から所定の距離の範囲内の領域である微小領域が検出され、その微小領域内の前景の画素の画素値である前景画素値と、背景の画素の画素値である背景画素値とが検出され、その検出された前景画素値と背景画素値の色分布の重心の差分が、特徴点における前景と背景の差分として算出される。さらに、その算出された特徴点を含む経路上の画素の画素値の１次微分値と、差分に基づいて、キー信号の骨組が算出され、その算出された骨組を補間することにより、第１の画像を構成する各画素のキー信号が生成される。
【００３２】
【発明の実施の形態】
本発明の理論的根拠（原理）について説明する。なお、説明を簡単にするために、ここでは、画像は１次元の画像であるとする。
【００３３】
いま、１次元の画像Ｃを構成する、位置（座標）ｘにおける画素の画素値をＣ（ｘ）とする。そして、画像Ｃが、前景（前景画像）Ｆおよび背景（背景画像）Ｂで構成されるとし、前景Ｆまたは背景Ｂを構成する、位置ｘの画素の画素値を、それぞれＦ（ｘ）またはＢ（ｘ）とする。さらに、画像Ｃから前景Ｆを抜き出すためのキー信号の位置ｘにおける値（位置ｘにおける前景Ｆの寄与率）を、α（ｘ）とする。但し、α（ｘ）は、０以上１以下の範囲をとり、完全に、前景Ｆまたは背景Ｂを構成する画素の位置では、それぞれ１または０となるものとする。そして、前景Ｆと背景Ｂとが混じり合っている画素の位置では、前景Ｆの画素値の寄与の程度に応じた値となるものとする。
【００３４】
この場合、画像Ｃを構成する画素の画素値Ｃ（ｘ）は、前景Ｆを構成する画素の画素値Ｆ（ｘ）と背景Ｂを構成する画素の画素値Ｂ（ｘ）とが、キー信号α（ｘ）に対応した割合で合成されたものと考えることができ、従って、画素値Ｃ（ｘ）は、次式で表すことができる。
【００３５】
Ｃ（ｘ）＝α（ｘ）Ｆ（ｘ）＋（１−α（ｘ））Ｂ（ｘ）・・・（１）
【００３６】
ここで、前述したエイリアスは、画素が有限の大きさを有するために生じ、また、モーションブラーは、前景Ｆまたは背景Ｂのうちのいずれか一方が動いている場合、およびその両方が独立して動いている場合に生じる。そこで、以下では、［１］前景Ｆおよび背景Ｂが静止していて、画素が無限小とみなせる場合、［２］前景Ｆまたは背景Ｂが動いていて、画素が無限小とみなせる場合、［３］前景Ｆおよび背景Ｂが静止していて、画素が有限の大きさを有する場合、および［４］前景Ｆまたは背景Ｂが動いていて、画素が有限の大きさを有する場合の４つの場合に分けて説明を行う。
【００３７】
［１］前景Ｆおよび背景Ｂが静止していて、画素が無限小とみなせる場合
この場合は、前景Ｆおよび背景Ｂが静止しているので、モーションブラーは生じず、また画素が無限小とみなせるので、エイリアスも生じない。従って、キー信号α（ｘ）は、０または１のいずれかの値をとり、その値が１となる位置ｘは、前景Ｆの存在範囲と一致する。
【００３８】
ここで、式（１）を、ｘで微分すると、式（２）が得られる。なお、以下では、適宜、関数の引数（ｘ）の記載は省略する。
【００３９】
Ｃ’＝（Ｆ−Ｂ）α’＋（Ｆ’−Ｂ’）α＋Ｂ’ ・・・（２）
但し、’は微分を表す。
【００４０】
通常の画像を考えた場合、前景Ｆおよび背景Ｂのテクスチャ（画素値）は一様ではなく、図１に示すように変化している。しかしながら、前景Ｆおよび背景Ｂを、例えば画素単位などで局所的に見た場合には、同図に示すように、そのテクスチャは一様であると考えることができる。従って、局所的には、ＦおよびＢは定数とみなすことができ、その結果、Ｆ’およびＢ’は、いずれも０と考えることができる。このことから、式（２）は、次のように書き直すことができる。
【００４１】
Ｃ’＝（Ｆ−Ｂ）α’ ・・・（３）
【００４２】
式（３）の左辺Ｃ’は、画像Ｃを構成する画素値Ｃ（ｘ）を、ｘで微分したものであるから、画像Ｃを構成する画素間の画素値の変化を表している。式（３）から、画像Ｃの画素間の画素値の変化Ｃ（ｘ）’と、キー信号の微分値α（ｘ）’とは、前景Ｆと背景Ｂとの差分Ｆ（ｘ）−Ｂ（ｘ）を比例定数とする比例関係にあることが分かる。
【００４３】
［２］前景Ｆまたは背景Ｂが動いていて、画素が無限小とみなせる場合
いま、物体が動いている画像を考えた場合、図４０で説明したように、現フレームの画像にはモーションブラーが生じる。即ち、現フレームの画像は、現フレームの１つ前のフレームから現フレームまでの間の物体の動きを反映したものとなる。従って、現フレームまたはその１つ前のフレームの時刻をそれぞれｔ２またはｔ１とし、画像Ｃの、ある位置ｘの画素の、時刻ｔにおける画素値をＣt（ｘ）とした場合、時刻ｔ２における位置ｘの画素の画素値Ｃt2（ｘ）は、図２（ａ）に示すように、時刻ｔ１乃至ｔ２の間に、位置ｘの画素を通過した画像Ｓx（ｔ）の時間積分で表すことができる。即ち、画素値Ｃt2（ｘ）は、次式で表すことができる。
【００４４】
【数１】
【００４５】
しかしながら、時刻ｔ１乃至ｔ２の間に、位置ｘの画素を通過した画像Ｓx（ｔ）は、現フレームの画像またはその１つ前のフレームの画像からは知りようがない。そこで、いま、現フレームの時刻ｔ２において、位置ｘにある画像をＳt2（ｘ）とすると、位置ｘ１乃至ｘ２の範囲にある画像それぞれは、Ｓt2（ｘ１）乃至Ｓt2（ｘ２）となる。この場合において、時刻ｔ１乃至ｔ２の間に、画像Ｓt2（ｘ１）乃至Ｓt2（ｘ２）が、位置ｘにある画素を通過し、これにより、時刻ｔ２における位置ｘの画像の画素値Ｃt2（ｘ）が、画像Ｓt2（ｘ１）乃至Ｓt2（ｘ２）の影響を受けたとすると、図２（ｂ）に示すように、画素値Ｃt2（ｘ）は、時刻ｔ１乃至ｔ２の間に、位置ｘの画素を通過した画像Ｓx（ｔ）の時間積分に等しい、時刻ｔ２において位置ｘ１乃至ｘ２の範囲にある画像Ｓt2（ｘ１）乃至Ｓt2（ｘ２）の空間積分で表すことができる。即ち、画素値Ｃt2（ｘ）は、次式で表すことができる。
【００４６】
【数２】
【００４７】
ところで、時刻ｔ２における静止画像（モーションブラーが生じていない画像）をＳ（ｘ）とし、静止画像に対し、モーションブラーの効果を与えるフィルタをＲ（ｘ）とすると、式（５）の右辺は、図３に示すように、Ｓ（ｘ）とＲ（ｘ）との畳み込み積分に等しい。従って、式（５）は、式（６）のように書き直すことができる。
【００４８】
Ｃt2（ｘ）＝Ｓ（ｘ）＊Ｒ（ｘ） ・・・（６）
但し、＊は、畳み込み積分を表す。
【００４９】
そこで、前景Ｆまたは背景Ｂにモーションブラーの効果を与えるフィルタを、それぞれＲｆ（ｘ）またはＲｂ（ｘ）とする。そして、本実施例においては、キー信号α（ｘ）は、前景Ｆとともに動くので、図４（ａ）に示すように、前景Ｆに対し、フィルタＲｆ（ｘ）によりモーションブラーの効果を与える場合には、図４（ｂ）に示すように、キー信号α（ｘ）にも、同一のフィルタＲｆ（ｘ）によりモーションブラーの効果を与える必要があることを考慮して、前景Ｆ、背景Ｂ、キー信号αに、モーションブラーの効果を与えて、式（１）を書き直すと、次のようになる。
【００５０】
Ｃ＝（α＊Ｒｆ）（Ｆ＊Ｒｆ）＋（１−α＊Ｒｆ）（Ｂ＊Ｒｂ）・・・（７）
【００５１】
そして、式（７）をｘで微分すると、式（８）のようになる。
【００５２】
【００５３】
ここで、例えば図５に示すように、モーションブラーの効果を与えた前景Ｆ、即ち前景ＦをフィルタＲｆでフィルタリングして得られる画像のテクスチャは、局所的に見れば、図１における場合と同様に、やはり一様とみなすことができる。そして、このことは、背景Ｂについても同様のことがいえる。
【００５４】
従って、局所的には、Ｆ＊ＲｆおよびＢ＊Ｒｂは定数とみなすことができ、その結果、（Ｆ＊Ｒｆ）’および（Ｂ＊Ｒｂ）’は、いずれも０と考えることができる。このことから、式（８）は、次のように書き直すことができる。
【００５５】
Ｃ’＝（Ｆ＊Ｒｆ−Ｂ＊Ｒｂ）（α＊Ｒｆ）’ ・・・（９）
【００５６】
式（９）から、画像Ｃの画素間の画素値の変化Ｃ’と、モーションブラーの効果を考慮したキー信号の微分値（α＊Ｒｆ）’とは、同じくモーションブラーの効果を考慮した前景Ｆ＊Ｒｆと背景Ｂ＊Ｒｂとの差分Ｆ＊Ｒｆ−Ｂ＊Ｒｂを比例定数とする比例関係にあることが分かる。
【００５７】
［３］前景Ｆおよび背景Ｂが静止していて、画素が有限の大きさを有する場合画素の大きさが無限小とみなせる場合には、図６（ａ）に示すように、画素値は、位置ｘに対して滑らかに変化するが、画素が有限の大きさを有する場合には、画素値は、図６（ｂ）に示すように、位置ｘに対してステップ状に変化するため、図６（ａ）に示す信号を単にサンプリングしただけでは、前景Ｆと背景Ｂとの境界では、前述したようにエイリアスを生じる。このエイリアスを低減するには、同図（ａ）に示すように、画素値を算出するためにローパスフィルタＧ（ｘ）でフィルタリングした後にサンプリングする方法、即ち画素位置において、ローパスフィルタＧ（ｘ）との畳み込み積分の結果得られる値を、新たな画素値とする方法がある。そこで、このようにローパスフィルタＧ（ｘ）によってエイリアスを低減した画像を考えた場合、その画素値（新たな画素値）Ｃ（ｘ）は、式（１）から、次式で表すことができる。
【００５８】
【００５９】
そして、式（１０）をｘで微分すると、次のようになる。
【００６０】
【００６１】
ここで、前景Ｆおよび背景ＢをローパスフィルタＲでフィルタリングした結果得られる画像のテクスチャは、いずれも局所的に見れば、図１における場合と同様に、やはり一様とみなすことができる。
【００６２】
従って、局所的には、Ｆ＊ＧおよびＢ＊Ｇはいずれも定数とみなすことができ、その結果、（Ｆ＊Ｇ）’および（Ｂ＊Ｇ）’は、いずれも０と考えることができる。このことから、式（１１）は、次のように書き直すことができる。
【００６３】
Ｃ’＝（（Ｆ−Ｂ）α’）＊Ｇ ・・・（１２）
【００６４】
また、図１で説明したように、局所的に見れば、ＦおよびＢはいずれも定数とみなすことができるので、式（１２）は、さらに、次のように書き直すことができる。
【００６５】
Ｃ’＝（Ｆ−Ｂ）（α＊Ｇ）’ ・・・（１３）
【００６６】
式（１３）から、画像Ｃの画素間の画素値の変化Ｃ’と、エイリアスを低減するキー信号の微分値（α＊Ｇ）’とは、前景Ｆと背景Ｂとの差分Ｆ−Ｂを比例定数とする比例関係にあることが分かる。
【００６７】
［４］前景Ｆまたは背景Ｂが動いていて、画素が有限の大きさを有する場合
この場合は、上述した式（１），（７）、および（１０）から、画素値Ｃは、次式で表すことができる。
【００６８】
【００６９】
式（１４）をｘで微分すると、次のようになる。
【００７０】
ここで、前景ＦをフィルタＲｆでフィルタリングし、さらにそれをローパスフィルタＧでフィルタリングして得られる画像のテクスチャは、局所的に見れば、図１における場合と同様に、やはり一様とみなすことができる。そして、このことは、背景Ｂについても同様のことがいえる。
【００７１】
従って、局所的には、Ｆ＊Ｒｆ＊ＧおよびＢ＊Ｒｂ＊Ｇは定数とみなすことができ、その結果、（Ｆ＊Ｒｆ＊Ｇ）’および（Ｂ＊Ｒｂ＊Ｇ）’は、いずれも０と考えることができる。さらに、図１で説明したように、局所的に見れば、ＦおよびＢはいずれも定数とみなすことができる。このことから、式（１５）は、次のように書き直すことができる。
【００７２】
Ｃ’＝（Ｆ＊Ｒｆ−Ｂ＊Ｒｂ）（α＊Ｒｆ＊Ｇ）’ ・・・（１６）
【００７３】
式（１６）から、画像Ｃの画素間の画素値の変化Ｃ’と、モーションブラーの効果を考慮し、かつエイリアスを低減するキー信号の微分値（α＊Ｒｆ＊Ｇ）’とは、モーションブラーの効果を考慮した前景Ｆ＊Ｒｆと背景Ｂ＊Ｒｂとの差分Ｆ＊Ｒｆ−Ｂ＊Ｒｂを比例定数とする比例関係にあることが分かる。
【００７４】
以上の式（３），（９），（１３）、および（１６）から、上述の［１］乃至［４］のいずれの場合も、画像Ｃの画素間の画素値の変化Ｃ’と、キー信号の微分値α’との間には比例関係があり、その比例定数は、画像Ｃを構成する前景と背景との差分Ｆ−Ｂであることが分かる。即ち、画像Ｃにモーションブラーやエイリアスが生じていなくても、Ｃ’とα’との比例関係は成立し、また、画像Ｃにモーションブラーまたはエイリアスが生じている場合には、そのモーションブラーの影響を考慮したキー信号αまたはエイリアスを低減するキー信号αと画素値Ｃとの間についても、Ｃ’とα’との比例関係は成立する。そして、いずれの場合も、比例定数は、画像Ｃを構成する前景と背景との差分Ｆ−Ｂとなる。
【００７５】
従って、この比例関係を成立させるようなキー信号αは、画像Ｃにモーションブラーが生じている場合には、そのモーションブラーの影響を考慮したものとなり、また、画像Ｃにエイリアスが生じている場合には、そのエイリアスを低減するものとなることになる。本発明は、以上の理論的根拠（原理）に基づくものである。
【００７６】
図７は、以上の原理に基づいて、キー信号を生成するキー信号生成装置の一実施例の構成を示している。変化検出部１には、キー信号を生成するための画像Ｃが入力されるようになされている。そして、変化検出部１は、画像Ｃの画素間の画素値の変化Ｃ’（変化情報）を算出（検出）し、特徴点検出部２および積分値計算部４に出力するようになされている。
【００７７】
特徴点検出部２は、変化検出部１からの画素値の変化Ｃ’に基づいて、後述する経路決定用閉曲線および特徴点を検出し、Ｆ−Ｂ検出部３および積分値計算部４に供給するようになされている。
【００７８】
Ｆ−Ｂ検出部３には、変化検出部１から画素値の変化Ｃ’が、特徴点検出部２から経路決定用閉曲線および特徴点が、それぞれ供給される他、変化検出部１に入力される画像と同一の画像Ｃが入力されるようになされている。そして、Ｆ−Ｂ検出部３は、画像Ｃの前景Ｆと背景Ｂとの差分Ｆ−Ｂ（差分情報）を演算（検出）し、積分値計算部４に出力するようになされている。
【００７９】
積分値計算部４は、変化検出部１からの画素値の変化Ｃ’、特徴点検出部２からの経路決定用閉曲線および特徴点、並びにＦ−Ｂ検出部３からの差分Ｆ−Ｂに基づいて、画像Ｃ全体に対応するキー信号αのうちの、後述する骨組み部分を算出し、キー信号生成部５に出力するようになされている。
【００８０】
キー信号生成部５は、積分値計算部４の出力を用いて、画像Ｃから前景Ｆを抜き出し、また、その抜き出した前景Ｆを、他の画像に合成するためのキー信号を生成するようになされている。即ち、積分値計算部４が出力するキー信号は、画像Ｃ全体に対応するキー信号αのうちの骨組み部分だけであり、キー信号生成部５は、キー信号の骨組み部分以外の部分を補間し、これにより、画像Ｃ全体に対応するキー信号αを生成するようになされている。
【００８１】
次に、図８のフローチャートを参照して、その動作について説明する。なお、以下では、画像Ｃは、ｘｙ平面上の画像、即ち２次元の画像であるものとする。
【００８２】
キー信号を生成するための画像Ｃが入力されると、その画像Ｃは、変化検出部１およびＦ−Ｂ検出部３に供給される。変化検出部１では、画像Ｃが入力されると、ステップＳ１において、その画像Ｃの画素間の画素値の変化Ｃ’が算出される。即ち、ステップＳ１では、画像Ｃを構成する各画素について、その隣接画素との、例えば色空間上の距離が算出され、これが画像Ｃの画素間の画素値の変化（この場合は、色変化）Ｃ’として出力される。
【００８３】
即ち、図９は、図７の変化検出部１の構成例を示している。画像Ｃは、ＲＧＢ分解部１−１に供給されるようになされており、ＲＧＢ分解部１−１は、画像Ｃを、例えばＲＧＢ（Red, Green, Blue）空間の各軸方向の成分、つまり、Ｒ，Ｇ，Ｂ成分に分解するようになされている。Ｒ，Ｇ，Ｂ成分は、１次微分値計算部１−２Ｒ，１−２Ｇ，１−２Ｂにそれぞれ供給されるようになされている。
【００８４】
１次微分値計算部１−２Ｒ，１−２Ｇ，１−２Ｂは、Ｒ，Ｇ，Ｂ成分それぞれの１次微分値Ｒ’，Ｇ’，Ｂ’を計算し、これにより、各成分の変化（勾配）（画像Ｃが存在するｘｙ平面に、これに垂直な画素値を表す軸を加えた空間上において、画像Ｃの画素値（各成分）で構成される曲面を考えた場合の、その曲面の勾配（gradient））の方向および大きさを算出するようになされている。
【００８５】
Ｒ，Ｇ，Ｂ成分それぞれの変化の方向と大きさは、ベクトル合成部１−３に供給されるようになされており、ベクトル合成部１−３は、１次微分値計算部１−２Ｒ，１−２Ｇ，１−２ＢからのＲ，Ｇ，Ｂ成分それぞれの変化の方向を合成するとともに、それぞれの大きさを合成し、これにより、画像Ｃの画素間の画素値の変化（色変化）Ｃ’（従って、Ｃ’はベクトルである）を算出するようになされている。
【００８６】
次に、図１０のフローチャートを参照して、その動作について説明する。変化検出部１では、まず最初に、ステップＳ１−１において、ＲＧＢ分解部１−１によって、画像Ｃが、ＲＧＢ空間の各軸方向の成分、即ち、Ｒ，Ｇ，Ｂ成分に分解される。なお、画像Ｃは、ＲＧＢ以外の色空間である、例えば、ＹＵＶ空間におけるＹ，Ｕ，Ｖ成分などに分解するようにしても良い。即ち、用いる色空間は、特に限定されるものではない。また、画像Ｃは、色空間の各軸方向の成分に分解する他、そこから、輝度成分のみを抽出し、この輝度成分だけを対象に、後段の処理を行うようにしても良い。
【００８７】
ステップＳ１−１において得られたＲ，Ｇ，Ｂ成分は、ＲＧＢ分解部１−１から１次微分計算部１−２Ｒ，１−２Ｇ，１−２Ｂそれぞれに出力される。１次微分計算部１−２Ｒ，１−２Ｇ，１−２Ｂは、Ｒ，Ｇ，Ｂ成分を受信すると、ステップＳ１−２において、そのＲ，Ｇ，Ｂ成分の１次微分値Ｒ’，Ｇ’，Ｂ’を計算する。
【００８８】
なお、本実施例では、各成分の１次微分値は、例えば各成分とソーベルオペレータなどとの畳み込みを行うことによって求められるようになされている。即ち、１次微分計算部１−２Ｒ，１−２Ｇ，１−２Ｂでは、Ｒ，Ｇ，Ｂ成分それぞれのｘまたはｙ方向成分と、図１１に示すソーベルオペレータＳＯｘまたはＳＯｙとの畳み込みを行うことにより得られる値ｆｘ，ｆｙが、ｘまたはｙ方向の１次微分値とされる。
【００８９】
以上のようにして求められるＲ，Ｇ，Ｂ成分の１次微分値、即ち、Ｒ，Ｇ，Ｂ成分の変化は、その大きさ（勾配）が、各画素において最大となるものであり、従って、各成分の変化の方向は、エッジ強度が最大となる方向に一致する。つまり、ステップＳ１−２では、図１２に示すように、注目画素（同図において、斜線を付してある部分）に対して３６０°のうちのいずれかの方向のうち、エッジ強度が最大となる方向に一致する方向についてのＲ，Ｇ，Ｂ成分の変化が求められる。
【００９０】
１次微分計算部１−２Ｒ，１−２Ｇ，１−２Ｂそれぞれで求められたＲ，Ｇ，Ｂ成分の１次微分値Ｒ’，Ｇ’，Ｂ’（これらは、上述したように、大きさと方向を有するからベクトルである）は、いずれもベクトル合成部１−３に供給される。ベクトル合成部１−３では、ステップＳ１−３において、１次微分値Ｒ’，Ｇ’，Ｂ’が合成され、これにより、画像Ｃの画素間の画素値の変化（色変化）Ｃ’が算出される。即ち、１次微分値Ｒ’，Ｇ’，Ｂ’を、それぞれ（ｒｘ，ｒｙ），（ｇｘ，ｇｙ），（ｂｘ，ｂｙ）と表すとともに、Ｃ’を（ｃｘ，ｃｙ）と表すとすれば（（ａ，ｂ）のａまたはｂは、それぞれｘまたはｙ成分を表す）、ステップＳ１−３では、画素値の変化Ｃ’のｘ成分ｃｘ、またはｙ成分ｃｙが、式ｒｘ＋ｇｘ＋ｂｘ、またはｒｙ＋ｇｙ＋ｂｙそれぞれによって与えられ、処理を終了する。
【００９１】
変化検出部１において、以上のようにして求められた画素値の変化Ｃ’は、特徴点検出部２および積分値計算部４に供給される。特徴点検出部２は、変化検出部１から画素値の変化Ｃ’を受信すると、ステップＳ２（図８）において、その画素値の変化Ｃ’から、経路決定用閉曲線および特徴点を検出する。
【００９２】
即ち、図１３は、特徴点検出部２の構成例を示している。境界検出部２−１には、変化検出部１からの画素値の変化Ｃ’が供給されるようになされている。そして、境界検出部２−１は、画素値の変化Ｃ’から、画像Ｃを構成する前景（物体）Ｆと背景Ｂとの境界を検出するようになされている。即ち、境界検出部２１は、例えば、画素値の変化Ｃ’が大きい点（画素）を検出し、そのような点を接続することにより構成される、例えば、図１４（ａ）に示すような閉曲線（この閉曲線は、後述する積分経路を決定するために用いられるので、以下、適宜、経路決定用閉曲線という）を、前景Ｆと背景Ｂとの境界（画像Ｃにおける物体の境界）として検出するようになされている。
【００９３】
境界検出部２−１で検出された経路決定用閉曲線は、特徴点決定部２−２に供給されるようになされており、特徴点決定部２−２は、図１４（ｂ）に示すように、境界検出部２−１からの経路決定用閉曲線上の所定の点を、特徴点として決定するようになされている。即ち、特徴点決定部２−２は、例えば、経路決定用閉曲線を構成する点のうち、その曲率が高い点を検出し、その点を、特徴点として決定する。
【００９４】
あるいは、また、特徴点決定部２−２は、例えば、図１４（ｃ）に示すように、経路決定用閉曲線を囲む閉曲線（同図（ｃ）において点線で示す部分）を考え、その閉曲線と、経路決定用閉曲線とで囲まれる背景Ｂの領域を、その画素値の変化Ｃ’が比較的一定な、幾つかの領域（以下、適宜、背景一定領域という）に分割する。さらに、特徴点決定部２−２は、経路決定用閉曲線を、背景一定領域単位に区切り、これにより微小区間に分割する。そして、特徴点決定部２−２は、各微小区間における中点を検出し、その点を、特徴点として決定する。
【００９５】
なお、特徴点の検出方法については、本件出願人が先に出願した、例えば特願平７−１４０９３２号などに、その詳細が開示されている。
【００９６】
次に、図１５のフローチャートを参照して、その動作について説明する。境界検出部２−１は、変化検出部１から画素値の変化Ｃ’を受信すると、ステップＳ２−１において、その画素値の変化Ｃ’が大きい点（画素）を検出し、そのような点を接続することで、経路決定用閉曲線を構成する。この経路決定用閉曲線は、特徴点決定部２−２に供給され、特徴点決定部２−２は、経路決定用閉曲線を受信すると、ステップＳ２−２において、上述したように、その経路決定用閉曲線上の所定の点を、特徴点として決定し、処理を終了する。
【００９７】
なお、境界検出部２−１または特徴点決定部２−２においてそれぞれ得られた経路決定用閉曲線または特徴点は、Ｆ−Ｂ検出部３および積分値計算部４に供給される。
【００９８】
図８に戻り、ステップＳ２において、以上のようにして経路決定用閉曲線および特徴点が検出されると、ステップＳ３に進み、Ｆ−Ｂ検出部３において、画像Ｃを構成する前景Ｆと背景Ｂとの差分Ｆ−Ｂ（前景Ｆと背景Ｂとの画素値の差分）が演算（検出）される。
【００９９】
即ち、図１６は、図７のＦ−Ｂ検出部３の構成例を示している。微小領域検出部３−１には、画像Ｃ（画像値）の他、特徴点検出部２が出力する特徴点および経路決定用閉曲線が供給されるようになされており、微小領域検出部３−１は、例えば、図１７（ａ）に示すように、特徴点を含む微小領域を検出するようになされている。即ち、微小領域検出部３−１は、図１７（ａ）の一部を拡大した図１７（ｂ）に示すように、例えば、特徴点から等距離にある点で、経路決定用閉曲線を微小な線分に分割し、その線分から、前景Ｆまたは背景Ｂ側に所定の距離（例えば、４画素分の距離など）にある範囲を、微小領域（図１７（ｂ）において斜線を付してある部分）として検出する。
【０１００】
そして、微小領域検出部３−１は、各微小領域について、その領域に含まれる前景Ｆを構成する画素（経路決定用閉曲線より前景Ｆ側にある画素）（同図（ｂ）において左下がりの斜線を付してある部分）を抽出し、その画素の画素値（以下、適宜、Ｆ境界画素値という）を色分布形成部３−２Ｆに供給するとともに、背景Ｂを構成する画素（経路決定用閉曲線より背景Ｂ側にある画素）（同図（ｂ）において右下がりの斜線を付してある部分）を抽出し、その画素の画素値（以下、適宜、Ｂ境界画素値という）を色分布形成部３−２Ｂに供給するようになされている。
【０１０１】
色分布形成部３−２Ｆまたは３−２Ｂは、微小領域検出部３−１から供給される各微小領域ごとのＦ境界画素値またはＢ境界画素値の、例えばＲＧＢ空間などの色空間上における色分布を求め、重心検出部３−３Ｆまたは３−３Ｂにそれぞれ供給するようになされている。重心検出部３−３Ｆまたは３−３Ｂは、色分布形成部３−２Ｆまたは３−２ＢからのＦ境界画素値またはＢ境界画素値の色分布の重心を求め、それぞれを、グレー領域における画素の、前景Ｆまたは背景Ｂの画素値として（擬制して）、差分演算部３−４に供給するようになされている。差分演算部３−４は、図１８に示すように、重心検出部３−３Ｆより供給されるＦ境界画素値の色分布の重心から、重心検出部３−３Ｂより供給されるＢ境界画素値の色分布の重心を減算し、これを、微小領域（あるいは、その微小領域に含まれる特徴点）における前景Ｆと背景Ｂとの差分Ｆ−Ｂ（前景Ｆと背景Ｂとの画素値の差分）（従って、これもＣ’と同様、ベクトルである）として出力するようになされている。
【０１０２】
次に、その動作について、図１９のフローチャートを参照して説明する。まず最初に、ステップＳ３−１では、微小領域検出部３−１において、特徴点および経路決定用閉曲線に基づいて、図１７で説明した微小領域が検出され、さらに、その微小領域におけるＦ境界画素値およびＢ境界画素値が抽出され、それぞれが、色分布形成部３−２Ｆまたは３−２Ｂに供給される。
【０１０３】
色分布形成部３−２Ｆまたは３−２Ｂでは、ステップＳ３−２において、ある微小領域におけるＦ境界画素値またはＢ境界画素値のＲＧＢ空間上における色分布が求められ、重心検出部３−３Ｆまたは３−３Ｂにそれぞれ供給され、ステップＳ３−３に進む。ステップＳ３−３では、重心検出部３−３Ｆまたは３−３Ｂそれぞれにおいて、Ｆ境界画素値またはＢ境界画素値の色分布の重心が算出（検出）され、差分演算部３−４に供給される。差分演算部３−４では、ステップＳ３−４において、Ｆ境界画素値の色分布の重心と、Ｂ境界画素値の色分布の重心との差分値が求められ、これが、微小領域に含まれる特徴点における前景Ｆと背景Ｂとの差分Ｆ−Ｂとして出力される。
【０１０４】
以上のようにして、ある微小領域に含まれる特徴点における前景Ｆと背景Ｂとの差分Ｆ−Ｂが得られた後は、ステップＳ３−５に進み、微小領域検出部３−１において検出されたすべての微小領域（特徴点検出部２で検出されたすべての特徴点）について、差分Ｆ−Ｂが求められたかどうかが判定される。ステップＳ３−５において、差分Ｆ−Ｂが、まだ、すべての微小領域について求められていないと判定された場合、ステップＳ３−２に戻り、差分Ｆ−Ｂが求められていない微小領域を対象に、ステップＳ３−２以下の処理が行われる。一方、ステップＳ３−５において、差分Ｆ−Ｂが、すべての微小領域について求められたと判定された場合、処理を終了する。
【０１０５】
なお、以上のようにして得られる前景Ｆと背景Ｂとの差分（ベクトル）Ｆ−Ｂの方向は、エッジ強度が最大となる方向に一致（ほぼ一致）し、従って、Ｆ−Ｂの方向とＣ’の方向とは一致（ほぼ一致）する。
【０１０６】
さらに、図１６の実施例では、画素値の変化Ｃ’から得られた経路決定用閉曲線（前景Ｆと背景Ｂとの境界）から、微小領域を求め、この微小領域から、差分Ｆ−Ｂを求めるようにしたが、Ｆ−Ｂ検出部３には、差分Ｆ−Ｂを、その他、例えば次のようにして求めさせるようにすることも可能である。即ち、例えば、Ｆ−Ｂ検出部３に対しては、画像Ｃのフレームだけではなく、その前後の、動画像を構成するフレームも時系列に入力するようにし、Ｆ−Ｂ検出部３には、いま入力されたフレームを、次のフレームが入力されるまで記憶させるようにする。さらに、Ｆ−Ｂ検出部３には、キー信号を生成するための画像Ｃが入力された場合に、その画像Ｃのフレームと、記憶していた、その１つ前のフレームとを、いわゆるブロックマッチングさせ、その結果および必要ならばそれ以前のブロックマッチングの結果に基づいて、前景Ｆと背景Ｂとの境界を検出させる。そして、その境界から推測される経路決定用閉曲線上の特徴点を決定させ、図１９のステップＳ３−１，Ｓ３−２における場合と同様にして各特徴点を含む微小領域を検出させる。その後、この検出した各微小領域ごとに、画像Ｃを構成する前景Ｆまたは背景Ｂそれぞれの色分布を認識させ、以下、図１９のステップＳ３−３，Ｓ３−４における場合と同様に、前景Ｆまたは背景Ｂそれぞれの色分布の重心を求めさせ、さらに、背景Ｂの色分布の重心の位置に対する背景Ｆの色分布の重心の位置の方向、および両者の色空間上での距離、即ち、前景Ｆと背景Ｂとの差分Ｆ−Ｂを求めさせる。
【０１０７】
この場合、特徴点検出部２からＦ−Ｂ検出部３に対しては、経路決定用閉曲線および特徴点を供給する必要がない。
【０１０８】
なお、上述のようなブロックマッチングを用いて、前景Ｆと背景Ｂとの境界を検出する方法については、例えば特願平７−１６４７９２号などに、その詳細が開示されている。
【０１０９】
また、前景Ｆと背景Ｂとの境界を検出する方法は、上述したような、画素値の変化Ｃ’を用いる方法や、ブロックマッチングを用いる方法に限定されるものではなく、前景Ｆと背景Ｂとの境界の検出は、例えば図２７において後述するように、ユーザにより指示してもらうことによって行うようにすることなども可能である。さらに、前景Ｆと背景Ｂとの境界は、例えば、ユーザにより指示してもらう方法と、画素値の変化Ｃ’を用いる方法とを併用して検出することも可能である。また、前景Ｆと背景Ｂとの境界は、例えば、ユーザにより指示してもらう方法と、ブロックマッチングを用いる方法とを併用して検出するようにすることも可能である。即ち、例えば、最初のフレームについては、前景Ｆと背景Ｂとの境界を、ユーザに指示してもらい、その後のフレームについては、ブロックマッチングにより、前景Ｆと背景Ｂとの境界を検出するようにすることができる。
【０１１０】
さらに、差分Ｆ−Ｂを検出する方法は、上述した方法に限定されるものではなく、その他の方法を用いることも可能である。
【０１１１】
また、図８では、ステップＳ２の処理後、ステップＳ３の処理を行うようにしたが、特徴点検出部２からＦ−Ｂ検出部３に対して、経路決定用閉曲線および特徴点を供給する必要がない場合には、ステップＳ２とＳ３の処理は、その逆の順序で行うようにすることもできるし、同時に行うようにすることもできる。
【０１１２】
図８に戻り、ステップＳ３において、以上のようにして求められた差分Ｆ−Ｂは、Ｆ−Ｂ検出部３から積分値計算部４に供給される。積分値計算部４では、ステップＳ４において、変化検出部１からの画素値の変化Ｃ’が、Ｆ−Ｂ検出部３からの差分Ｆ−Ｂの絶対値｜Ｆ−Ｂ｜により規格化され、ステップＳ５に進み、その規格値Ｃ’／｜Ｆ−Ｂ｜が、例えば、画素値の変化Ｃ’を算出（検出）した方向などに沿って積分されることにより、キー信号αの骨組み部分が算出される。
【０１１３】
即ち、上述したように、画像Ｃの画素間の画素値の変化Ｃ’と、キー信号の微分値α’との間には比例関係があり、その比例定数は、画像Ｃを構成する前景と背景との差分Ｆ−Ｂであること、即ち、式Ｃ’＝（Ｆ−Ｂ）α’が成立することから、キー信号は、次式によって求めることができる。
【０１１４】
【数３】
但し、α（ｐ）は、画像Ｃを構成する、位置（点）ｐ（ｘ，ｙ）における画素に対するキー信号を意味し、Ｆ（ｐ）またはＢ（ｐ）それぞれは、画像Ｃを構成する前景Ｆまたは背景Ｂの、位置ｐ（ｘ，ｙ）における画素の画素値を意味する。さらに、Ｃ（ｐ）は、画像Ｃを構成する、位置ｐ（ｘ，ｙ）における画素の画素値を意味する。なお、以下、適宜、関数の引数（ｐ）の記載は省略する。
【０１１５】
従って、ステップＳ４では、式（１７）の右辺を構成するＣ’／｜Ｆ−Ｂ｜、即ちＣ’を｜Ｆ−Ｂ｜で規格化した規格値が求められ、ステップＳ５では、式（１７）の右辺における積分、即ち、例えば、画素値の変化Ｃ’を検出した方向に沿っての、規格値Ｃ’／｜Ｆ−Ｂ｜の積分が行われる。Ｃ’をそのまま積分せず、これを｜Ｆ−Ｂ｜で規格化したものを積分することで、その結果得られる値、即ちαは、０乃至１の範囲の値をとることになる。
【０１１６】
ここで、ステップＳ５で行われる積分について、さらに説明する。いま、図２０に示すように、画像Ｃが存在するｘｙ平面に、それと垂直なｚ軸を設けた空間を考え、ｚ軸方向に画素値をとると、その空間には、画素値でなる平面（曲面）Ｖが形成される。なお、画像Ｃがカラーの画像であれば、画素値には、上述したようにＲＧＢやＹＵＶなどの３成分があるが、ここでは、説明を簡単にするために、画素値が１成分でなるとする。
【０１１７】
この場合、画像Ｃ上のある点ｐを通り、ｘｙ平面と垂直な直線と、平面Ｖとの交点における勾配、即ち、位置ｐにある画素の画素値Ｃ（ｐ）の変化は、その点Ｃ（ｐ）から平面Ｖを見た場合の最大傾斜方向のベクトル（点Ｃ（ｐ）における平面Ｖのgradientを計算することにより得られるベクトル）として表すことができる。
【０１１８】
ここで、最大傾斜方向とは、点Ｃ（ｐ）に無限小の大きさのボールを置いた場合に、そのボールが転がっていく方向である。
【０１１９】
いま、点Ｃ（ｐ）にボールを置いて、そのボールが、点Ｃ（ｐ０）まで落下した（転がった）とした場合に、そのボールが、平面Ｖ上に描いた軌跡（経路）をＵとすると、式（１７）の積分は、この経路（以下、適宜、最大傾斜方向経路という）Ｕに沿っての積分を意味し、また、式（１７）は、この積分を行うことで、位置ｐにある画素に対するキー信号α（ｐ）が求められることを意味している。
【０１２０】
従って、位置ｐ０にある画素に対するキー信号α（ｐ０）が分かれば、式（１７）から、次式にしたがって、位置ｐにある画素に対するキー信号α（ｐ）を求めることができる。
【０１２１】
【数４】
但し、右上にＵを付した積分記号は、最大傾斜方向経路Ｕに沿っての積分を意味する。
【０１２２】
ステップＳ５では、例えば、式（１８）の右辺の計算が行われることなどによって、キー信号（キー信号の骨組み部分）が求められる。
【０１２３】
なお、式（１８）の右辺の積分は、必ずしも最大傾斜方向経路Ｕに沿って行う必要はない。即ち、点Ｃ（ｐ）から点Ｃ（ｐ０）までの経路として、最大傾斜方向経路Ｕでない経路Ｕ１（図２０）に沿って積分を行うことも可能である。即ち、式（１８）の右辺の積分は、最大傾斜方向経路Ｕ上の各点の勾配を積分することを意味するから、その他の経路Ｕ１に沿って積分していく場合には、その経路Ｕ１上の各点の勾配のうちの、最大傾斜方向経路Ｕの方向の成分を積分（従って、この積分も、結局は、最大傾斜方向経路Ｕに沿っての積分と同一であるということができる）していくことで、最大傾斜方向経路Ｕに沿って積分を行った場合と同一のキー信号を求めることができる。
【０１２４】
但し、最大傾斜方向経路Ｕ以外の経路に沿って積分を行う場合は、最大傾斜方向経路Ｕに沿って積分を行う場合に比較して演算量が増加するので、積分は、最大傾斜方向経路Ｕに、できるだけ沿って行うのが好ましい。
【０１２５】
図２１は、以上のような処理を行う、図７の積分値計算部４の構成例を示している。特徴点検出部２からの経路決定用閉曲線および特徴点は、積分経路決定部４−１に供給されるようになされており、また、変化検出部１からの画素値の変化Ｃ’およびＦ−Ｂ検出部３からの差分Ｆ−Ｂは、規格化実行部４−２に供給されるようになされている。
【０１２６】
積分経路決定部４−１は、特徴点検出部２からの経路決定用閉曲線および特徴点に基づいて、式（１８）の積分を行うための積分経路を決定するようになされている。即ち、積分経路決定部４−１は、図２２（ａ）に示すように、経路決定用閉曲線の法線方向の直線であって、特徴点を通るものを、その特徴点についての積分経路として決定する。以上のようにして求められた特徴点についての積分経路は、規格化実行部４−２および積分実行部４−３に供給されるようになされている。
【０１２７】
なお、このようにして決定された積分経路は、ほぼ、最大傾斜方向経路Ｕに沿ったものとなる。
【０１２８】
規格化実行部４−２は、積分経路決定部４−１から供給される積分経路上にある画素の画素値の変化Ｃ’を、差分Ｆ−Ｂの絶対値｜Ｆ−Ｂ｜で規格化した規格値Ｃ’／｜Ｆ−Ｂ｜（規格化情報）を求め、積分実行部４−３に供給するようになされている。積分実行部４−３は、式（１８）にしたがい、規格値Ｃ’／｜Ｆ−Ｂ｜の積分を、積分経路決定部４−１からの積分経路に沿って行い、これにより、その積分経路上のキー信号を求めるようになされている。この積分経路上のキー信号は、閉曲線生成部４−４に供給されるようになされており、閉曲線生成部４−４は、積分実行部４−３より供給されるキー信号から、後述するｐ１閉曲線およびｐ２閉曲線を生成するようになされている。
【０１２９】
即ち、積分実行部４−３において、図２２（ａ）に示した積分経路に沿って、式（１８）にしたがった積分が行われることにより、その積分経路上のキー信号αが得られるが、そのキー信号は、グレー領域と背景Ｂとの境界で０となり、また、グレー領域と前景Ｆとの境界で１となる。閉曲線生成部４−４では、図２２（ａ）に示すように、各積分経路上のキー信号が０となる点（α＝０となる点）（以下、適宜、点ｐ１という）が求められるとともに、キー信号が１となる点（α＝１となる点）（以下、適宜、点ｐ２という）が求められ、各積分経路上の点ｐ１またはｐ２どうしがそれぞれ接続される。そして、図２２（ｂ）に示すように、点ｐ１どうしを接続して得られる閉曲線がｐ１閉曲線として、また、点ｐ２どうしを接続して得られる閉曲線がｐ２閉曲線として、それぞれ出力される。
【０１３０】
積分実行部４−３で得られたキー信号、並びに閉曲線生成部４−４で得られたｐ１曲線およびｐ２曲線は、キー信号生成部５（図７）に供給されるようになされている。
【０１３１】
次に、その動作について、図２３のフローチャートを参照して説明する。まず最初に、ステップＳ４−１において、積分経路決定部４−１は、特徴点検出部２から受信した特徴点のうちのいずれかを注目特徴点とし、その注目特徴点を通る直線であって、特徴点検出部２からの経路決定用閉曲線の法線方向のものを、その注目特徴点についての積分経路として決定する。この注目特徴点についての積分経路は、規格化実行部４−２および積分実行部４−３に供給される。
【０１３２】
そして、ステップＳ４−２に進み、規格化実行部４−２において、積分経路決定部４−１からの積分経路上にある画素の画素値の変化Ｃ’が、Ｆ−Ｂ検出部３から供給される差分Ｆ−Ｂであって、注目特徴点を含む微小領域（図１７）から求められたものの絶対値｜Ｆ−Ｂ｜で除算され、その結果得られる規格値Ｃ’／｜Ｆ−Ｂ｜が、積分実行部４−３に供給される。積分実行部４−３は、積分経路およびその積分経路上にある画素についての規格値Ｃ’／｜Ｆ−Ｂ｜を受信すると、ステップＳ４−３において、式（１８）にしたがい、規格値Ｃ’／｜Ｆ−Ｂ｜を、積分経路決定部４−１からの積分経路に沿って積分し、これにより、その積分経路上のキー信号αを算出する。このキー信号は、閉曲線生成部４−４に供給される。
【０１３３】
ここで、積分実行部４−３では、例えば、注目特徴点が、α＝０．５となる点とみなされ、この注目特徴点を始点として、式（１８）の積分が行われる。従って、ここでは、式（１８）の積分は、α（ｐ０）を０．５として行われる。
【０１３４】
その後、ステップＳ４−４に進み、積分経路決定部４−１は、特徴点検出部２からの特徴点すべてを、注目特徴点としたかどうかを判定する。ステップＳ４−４において、特徴点検出部２からの特徴点すべてを、まだ、注目特徴点としていないと判定された場合、ステップＳ４−１に戻り、積分経路決定部４−１において、まだ注目特徴点とされていない特徴点が、新たに注目特徴点とされ、以下、上述した処理が繰り返される。
【０１３５】
一方、ステップＳ４−４において、特徴点すべてを、注目特徴点としたと判定された場合、即ち、特徴点検出部２から供給された各特徴点を通る積分経路すべてに沿っての、式（１８）の積分が行われ、これにより、それらの積分経路上のキー信号（以下、適宜、キー信号の骨組み部分という）が求められた場合、ステップＳ４−５に進み、閉曲線生成部４−４において、ｐ１閉曲線およびｐ２閉曲線が生成され、処理を終了する。
【０１３６】
即ち、閉曲線生成部４−４は、積分実行部４−３からの各積分経路上のキー信号から、点ｐ１（α＝０の点）およびｐ２（α＝１の点）を検出し、点ｐ１どうし、または点ｐ２どうしを接続することで、ｐ１閉曲線またはｐ２閉曲線をそれぞれ生成する。
【０１３７】
なお、積分実行部４−３では、積分経路決定部４−１から供給される積分経路に沿っての積分は、例えば、その積分経路のうち、キー信号αが０となる点（点ｐ１）と、１となる点（点ｐ２）との間の線分（以下、適宜、経路線分という）、即ち、グレー領域内にある積分経路を対象に行われるようになされている（これは、グレー領域以外の領域におけるキー信号αは、０または１のうちのいずれかの値をとるから、そのような領域についてのαは、式（１８）にしたがって求める必要がないからである）。従って、積分実行部４−３では、経路線分上におけるキー信号αだけが算出されるようになされており、上述の骨組み部分とは、積分経路決定部４−１から供給される積分経路すべてにおける経路線分を意味する。
【０１３８】
図８に戻り、以上のようにして積分値計算部４において得られたキー信号の骨組み部分、並びにｐ１閉曲線およびｐ２閉曲線は、キー信号生成部５に供給される。
【０１３９】
キー信号生成部５では、ステップＳ６において、キー信号の骨組み部分に対して補間が行われ、これにより、画像Ｃ全体に対応するキー信号が生成され、処理を終了する。
【０１４０】
即ち、図２４は、キー信号生成部５の構成例を示している。グレー領域内補間部５−１には、積分値計算部４からキー信号の骨組み部分が、後述する０／１割当部５−２からｐ１閉曲線およびｐ２閉曲線上のキー信号が、それぞれ供給されるようになされており、グレー領域内補間部５−１は、図２５（ａ）に斜線を付して示す、グレー領域のうちの、骨組み部分、ｐ１閉曲線、およびｐ２閉曲線を除く領域（骨組み部分、ｐ１閉曲線、およびｐ２閉曲線で囲まれる領域）におけるキー信号の補間を行うようになされている。
【０１４１】
即ち、図２５（ａ）は、画像Ｃをｘｙ平面上に配置し、そのｘｙ平面に垂直な軸（α軸）をとったｘｙα空間を示している。いま、このｘｙα空間において、そのα軸方向に、画像Ｃ上の各点におけるキー信号をプロットするものとすると、グレー領域内補間部５−１に供給されるキー信号は、キー信号の骨組み部分（経路線分上のキー信号）、並びにｐ１閉曲線上のキー信号（ｐ１閉曲線は、α＝０の点である点ｐ１が接続されたものであるから、そこにおけるキー信号の値は０）およびｐ２閉曲線上のキー信号（ｐ２閉曲線は、α＝１の点である点ｐ２が接続されたものであるから、そこにおけるキー信号の値は１）であるから、経路線分上に、キー信号の骨組み部分に対応する点がプロットされるとともに、ｐ１閉曲線またはｐ２曲線上に、α＝０またはα＝１の点がそれぞれプロットされ、これにより、ｘｙα空間上に、同図（ａ）に太線で示すような枠（以下、適宜、骨組み枠というが形成される。
【０１４２】
そして、グレー領域内補間部５−１は、骨組み枠の内部を補間する曲面Ｑを生成し、この曲面Ｑが与えるαを、曲面Ｑをｘｙ平面に射影したときに形成される領域（図２５（ａ）において斜線を付してある部分）（以下、適宜、パッチ領域という）内の各点におけるキー信号とするようになされている。
【０１４３】
なお、グレー領域内補間部５−１は、図２５（ｂ）に示すように、ｐ１閉曲線およびｐ２閉曲線、並びに経路線分によって囲まれる領域、即ち、パッチ領域すべてについて、上述したようなキー信号の補間を行うようになされている。
【０１４４】
キー信号の骨組み部分、ｐ１閉曲線上のキー信号（α＝０）、ｐ２閉曲線上のキー信号（α＝１）、および補間により得られたパッチ領域のキー信号は、グレー領域内補間部５−１から合成部５−４に供給されるようになされている。
【０１４５】
０／１割当部５−２には、積分値計算部４からｐ１閉曲線およびｐ２閉曲線が供給されるようになされており、０／１割当部５−２は、ｐ１閉曲線またはｐ２閉曲線上のキー信号αとして、それぞれ０または１を割り当て、グレー領域内補間部５−１に供給するようになされている。グレー領域外補間部５−３には、ｐ１閉曲線およびｐ２閉曲線が供給されるようになされており、グレー領域外補間部５−３は、図２５（ｂ）に示すように、画像Ｃの画枠とｐ１閉曲線とに挟まれる領域（完全に、背景Ｂである領域）（以下、適宜、α０領域という）内の各点におけるキー信号として０を補間するとともに、ｐ２閉曲線に囲まれる領域（完全に、前景Ｆである領域）（以下、適宜、α１領域という）内の各点におけるキー信号として１を補間し、合成部５−４に供給するようになされている。
【０１４６】
合成部５−４は、グレー領域内補間部５−１からのキー信号の骨組み部分、ｐ１閉曲線上のキー信号、ｐ２閉曲線上のキー信号、および補間により得られたパッチ領域のキー信号、並びにグレー領域外補間部５−３からのα０領域のキー信号、およびα１領域のキー信号を合成し（画像Ｃの画枠内の、対応する位置に配置し）、これにより、画像Ｃ全体に対応するキー信号を生成するようになされている。
【０１４７】
次に、図２６のフローチャートを参照して、その動作について説明する。まず最初にステップＳ５−１では、０／１割当部５−２において、ｐ１閉曲線またはｐ２閉曲線に０または１がそれぞれ割り当てられ、これにより、ｐ１閉曲線上のキー信号とｐ２閉曲線上のキー信号とが生成される。このｐ１閉曲線上のキー信号およびｐ２閉曲線上のキー信号は、グレー領域内補間部５−１に供給される。グレー領域内補間部５−１は、０／１割当部５−２からｐ１閉曲線上のキー信号およびｐ２閉曲線上のキー信号を受信すると、ステップＳ５−２において、図２５（ａ）で説明したように、骨組み枠を形成し、さらに、その骨組み枠内を補間する曲面（補間曲面）Ｑを生成する。そして、グレー領域内補間部５−１は、ステップＳ５−３に進み、その曲面Ｑに基づいて、パッチ領域のキー信号を生成し、合成部５−４に出力する。
【０１４８】
その後、ステップＳ５−４において、グレー領域外補間部５−３は、α０領域内の各点におけるキー信号として０を補間するとともに、α１領域内の各点におけるキー信号として１を補間し、合成部５−４に供給する。そして、合成部５−４では、ステップＳ５−５において、グレー領域内補間部５−１からのキー信号の骨組み部分、ｐ１閉曲線上のキー信号、ｐ２閉曲線上のキー信号、および補間により得られたパッチ領域のキー信号、並びにグレー領域外補間部５−３からのα０領域のキー信号、およびα１領域のキー信号が合成され、これにより、画像Ｃ全体に対応するキー信号が生成される。そして、合成部５−４は、このキー信号（連続したキー信号）を、例えば、前述したようにフィルタリングすることなどによって、画素単位のキー信号に変換し、これを、画像Ｃから前景Ｆを抜き出し、また、その抜き出した前景Ｆを他の画像に合成（キーイング）するためのキー信号として出力し、処理を終了する。
【０１４９】
なお、ステップＳ５−４の処理は、ステップＳ５−１乃至Ｓ５−３の処理より先行して行うようにすることもできるし、また、同時に行うようにすることもできる。
【０１５０】
さらに、上述の場合においては、パッチ領域のキー信号を、骨組み枠を補間する曲面Ｑから得るようにしたが、パッチ領域のキー信号は、その他、例えば次のようにして求めるようにすることも可能である。即ち、まず、グレー領域であって、経路線分、ｐ１閉曲線、またはｐ１閉曲線それぞれに隣接する点のキー信号を、既に得られているキー信号の骨組み部分、ｐ１閉曲線上のキー信号、およびｐ２閉曲線上のキー信号に基づいて求め、以下、キー信号を求めた点に隣接する点のキー信号を、既に求められているキー信号に基づいて求めていくようにすることが可能である。
【０１５１】
また、上述の場合では、経路線分上に、キー信号の骨組み部分に対応する点をプロットすとともに、ｐ１閉曲線またはｐ２曲線上に、α＝０またはα＝１の点をそれぞれプロットすることにより形成される骨組み枠を補間する曲面Ｑから、パッチ領域のキー信号を求めるようにしたが、パッチ領域のキー信号は、その他、例えば、さらに、経路決定用閉曲線上に、α＝０．５の点をもプロットすることにより得られる枠を補間する曲面から求めるようにすることも可能である。
【０１５２】
次に、図７の実施例では、経路決定用閉曲線、即ち、前景Ｆと背景Ｂとの境界を、画素値の変化Ｃ’から求めるようにしたが、経路決定用閉曲線は、装置の使用者（ユーザ）からの指示に基づいて求めるようにすることも可能である。
【０１５３】
即ち、図２７は、ユーザからの指示に基づいて、経路決定用閉曲線を算出するキー信号生成装置の構成例を示している。なお、図中、図７における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、このキー信号生成装置は、特徴点検出部２に代えて特徴点検出部１２が設けられ、さらに、操作部１１が新たに設けられている他は、図７のキー信号生成装置と同様に構成されている。
【０１５４】
操作部１１は、例えば、タブレットおよびペンや、マウスなどでなり、図示せぬディスプレイに表示された画像Ｃを見ながら、その前景Ｆと背景Ｂとの境界を指示するときに操作されるようになされており、その操作に対応する操作信号は、特徴点検出部１２に供給されるようになされている。
【０１５５】
特徴点検出部１２は、操作部１１からの操作信号に基づいて、経路決定用閉曲線および特徴点を検出するようになされている。即ち、図２８は、特徴点検出部１２の構成例を示している。なお、図中、図１３における特徴点検出部２における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、特徴点検出部１２は、境界検出部２−１に代えて、細線化部１２−１が設けられている他は、特徴点検出部２と同様に構成されている。
【０１５６】
細線化部１２−１は、操作部１１から供給される操作信号に基づいて、前景Ｆと背景Ｂとの境界に対応する、ユーザにより指示された線（以下、適宜、指示線という）を認識し、その細線化を行うことで、経路決定用閉曲線を検出するようになされている。即ち、指示線は、例えば、画像Ｃが表示されたディスプレイに、その画像Ｃに重ねて表示されるようになされており、従って、図２９（ａ）に示すように、１画素以上の幅を有する線となる。そこで、細線化部１２−１は、このような幅を有する指示線から、幅のない理想的な線としての経路決定用閉曲線を求めるため、例えば図２９（ｂ）に示すように、指示線を構成する画素の中心（同図（ｂ）において、×印で示す部分）からの距離の２乗誤差を最小にする線（曲線）が、最小２乗法により求められ、これが、経路決定用閉曲線とされる。
【０１５７】
この経路決定用閉曲線は、細線化部１２−１から特徴点決定部２−２に供給されるようになされている。
【０１５８】
なお、指示線の細線化の方法は、上述の手法に限定されるものではなく、その他の方法を用いることも可能である。即ち、例えば、指示線を構成する画素を、外側のものから取り除いていくことで、幅が１画素でなる細線を生成し、さらに、その細線を構成する画素の中心を通る線を最も良く近似する線を求め、これを、経路決定用閉曲線とするようにすることなどが可能である。
【０１５９】
以上のように構成されるキー信号生成装置では、ユーザによって操作部１１が操作されることにより、前景Ｆと背景Ｂとの境界（境界を構成する画素）に対応する指示線が指示されると、特徴点検出部１２の細線化部１２−１において、その指示線の細線化が行われることにより、経路決定用閉曲線が求められ、特徴点決定部２−２に供給される。以下、図７における場合と同様の処理が行われ、画像Ｃ全体に対応するキー信号αが求められる。
【０１６０】
従って、この場合、経路決定用閉曲線が、ユーザの指示（指示線）に基づいて求められるので、それを求めるのに、画素値の変化Ｃ’は必要なくなる。即ち、この場合、変化検出部１から特徴点検出部１２に対し、画素値の変化Ｃ’を供給する必要はない。
【０１６１】
次に、図７においては、Ｆ−Ｂ検出部３で、差分Ｆ−Ｂを求め、これにより画素値の変化Ｃ’を規格化した後に、キー信号を求めるようにしたが、キー信号生成装置は、Ｆ−Ｂ検出部３を設けずに構成することが可能である。
【０１６２】
即ち、図３０は、本発明を適用したキー信号生成装置の他の実施例の構成を示している。なお、図中、図７における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、このキー信号生成装置は、Ｆ−Ｂ検出部３が削除され、積分値計算部４に代えて、積分値計算部２１が設けられている他は、図７のキー信号生成装置と同様に構成されている。
【０１６３】
積分値計算部２１は、画素値の変化Ｃ’の量（大きさ）が所定の閾値Ｋ以上となる範囲（以下、適宜、積分範囲という）において、その変化量を、例えば、画素値Ｃ’の変化を検出した方向などに沿って積分し、その積分値に基づいて、キー信号（キー信号の骨組み部分）を算出するようになされている。
【０１６４】
即ち、積分値計算部２１は、まず、例えば最大傾斜方向経路Ｕ（但し、上述したように、経路自体は、最大傾斜方向経路Ｕ以外の経路であっても良い）上の点ｐのうち、グレー領域の境界上の点、即ち、キー信号αが０または１となる点である点ｐ１またはｐ２を求める。具体的には、積分値計算部２１は、例えば、図３１（ａ）に示すように、変化検出部１より供給される画素値の変化Ｃ’の大きさが、所定の閾値Ｋとなる２つの点を求め、それぞれを点ｐ１またはｐ２とする（例えば、背景Ｂ側から前景Ｆ側に、画素値の変化Ｃ’を見ていった場合には、最初に、画素値の変化Ｃ’が閾値Ｋとなる点が、点ｐ１とされ、その後、画素値の変化Ｃ’が閾値Ｋとなる点が、点ｐ２とされる）。
【０１６５】
さらに、積分値計算部２１は、例えば、最大傾斜方向経路Ｕに沿って、点ｐ１乃至ｐ２の範囲（積分範囲）の画素値Ｃ’の変化の積分値（定積分値）Ｄ（定積分情報）を次式にしたがって算出する。
【０１６６】
【数５】
【０１６７】
そして、積分値計算部２１は、画素値の変化Ｃ’を定積分値Ｄで規格化することにより、規格値Ｃ’／Ｄを求め、この規格値Ｃ’／Ｄを、例えば、式（２０）にしたがって積分することで、点（位置）ｐの画素に対するキー信号αを求める。
【０１６８】
【数６】
【０１６９】
定積分値Ｄは、図７の実施例における場合の差分Ｆ−Ｂの絶対値｜Ｆ−Ｂ｜に相当し、従って、この定積分値Ｄにより、画素値の変化Ｃ’の規格化し、式（２０）による積分を行うようにすることで、図３１（ｂ）に示すように、０乃至１の範囲の値をとるキー信号αを、容易に得ることができる。なお、この場合、点（位置）ｐ１乃至ｐ２の範囲（同図（ｂ）において「有効な幅」と記載してある部分）におけるキー信号αが得られるが、その他の範囲、即ち、図中、点ｐ１より左側の範囲または点ｐ２より右側の範囲におけるキー信号αの値は、それぞれ０または１とされる（この０および１の補間は、上述したように、キー信号生成部５において行われる）。
【０１７０】
従って、このキー信号生成装置には、Ｆ−Ｂ検出部３を設ける必要がないので、図７の場合に比較して、装置を小型に構成することができる。
【０１７１】
次に、図３２を参照して、図３０のキー信号生成装置の動作について説明する。まず最初に、ステップＳ２１では、変化検出部１において、図８のステップＳ１における場合と同様にして、画像（入力画像）Ｃの画素間の画素値の変化Ｃ’が算出され、特徴点検出部２および積分値計算部２１に供給される。
【０１７２】
特徴点検出部２は、変化検出部１より画素値の変化Ｃ’を受信すると、ステップＳ２２において、図８のステップＳ２における場合と同様にして、経路決定用閉曲線および特徴点を検出し、積分値計算部２１に出力する。
【０１７３】
積分値計算部２１は、変化検出部１より画素値の変化Ｃ’を、特徴点検出部２より経路決定用閉曲線および特徴点を、それぞれ受信すると、ステップＳ２３において、例えば、図７の積分値計算部４における場合と同様に積分経路を決定し、さらに、その積分経路上において、図３１（ａ）で説明したように、画素値の変化Ｃ’の大きさが、所定の閾値Ｋとなる点ｐ１およびｐ２を求める。そして、積分値計算部２１は、式（１９）にしたがって、点ｐ１乃至ｐ２の間にある、積分経路上の点の画素値Ｃ’の変化量の積分値Ｄを算出し、ステップＳ２４に進む。ステップＳ２４では、積分値計算部２１は、その積分値Ｄで、画素値の変化Ｃ’を規格化し、規格値Ｃ’／Ｄを算出する。その後、積分値計算部２１は、ステップＳ２５において、積分経路（経路線分）を構成する点ｐに対するキー信号、即ち、キー信号の骨組み部分を、式（２０）にしたがって求め、キー信号生成部５に出力する。さらに、積分値計算部２１は、図７の積分値計算部４と同様に、ｐ１閉曲線およびｐ２閉曲線を生成し、キー信号生成部５に出力する。
【０１７４】
キー信号生成部５では、ステップＳ２６において、図８のステップＳ６における場合と同様の処理が行われ、これにより、画像Ｃ全体に対応するキー信号αが生成されて、処理を終了する。
【０１７５】
次に、図３３は、図３０の積分値計算部２１の構成例を示している。
【０１７６】
特徴点検出部２からの経路決定用閉曲線および特徴点は、積分経路決定部２１−１に、変化検出部１からの画素値の変化Ｃ’は、積分経路決定部２１、定積分値算出部２１−２、および規格化実行部２１−３に供給されるようになされている。なお、積分経路決定部２１−１には、さらに、図示せぬ回路より所定の閾値Ｋも供給されるようになされている。
【０１７７】
積分経路決定部２１−１は、特徴点および経路決定用閉曲線に基づいて、図２１の積分経路決定部４−１における場合と同様にして、各特徴点を通る積分経路を決定し、定積分値算出部２１−２、規格化実行部２１−３、および積分実行部２１−４に供給するようになされている。さらに、積分経路決定部２１−１は、各特徴点を通る積分経路上の点ｐのうち、画素値の変化Ｃ’の大きさが、所定の閾値Ｋとなる点、即ち、点ｐ１およびｐ２を求め、定積分値算出部２１−２、積分実行部２１−４、および閉曲線生成部２１−５に供給するようにもなされている。
【０１７８】
定積分値算出部２１−２は、式（１９）にしたがった演算を行うようになされている。即ち、定積分値算出部２１−２は、積分経路決定部２１−１から供給される各特徴点を通る積分経路に沿って、同じく積分経路決定部２１−１から供給される点ｐ１からｐ２までの、画素値の変化Ｃ’の定積分を行い、その結果得られる、各積分経路ごとの積分値（定積分値）Ｄを、規格化実行部２１−３に供給するようになされている。
【０１７９】
規格化実行部２１−３は、積分経路決定部２１−１からの各積分経路上の画素値の変化Ｃ’を、定積分値算出部２１−１から供給される、各積分経路について定積分値Ｄで規格化し、その結果得られる規格値Ｃ’／Ｄを、積分実行部２１−４に供給するようになされている。
【０１８０】
積分実行部２１−４は、式（２０）にしたがった演算を行うようになされている。即ち、積分実行部２１−４は、積分経路決定部３２からの各積分経路に沿っての、規格化実行部２１−３から供給される規格値Ｃ’／Ｄの積分を行うようになされており、その結果得られる各積分経路（経路線分）上の積分値としてのキー信号の骨組み部分を出力するようになされている。なお、積分実行部２１−４において、各積分経路に沿って積分は、式（２０）によれば、積分経路決定部２１−１から供給される各積分経路上の点ｐ１を始点として行われるようになされているが、この積分は、点ｐ２を始点として行うことも可能である。
【０１８１】
閉曲線生成部２１−５は、積分経路決定部２１−１より、すべての積分経路上の点ｐ１およびｐ２を受信すると、その点ｐ１どうし、またはｐ２どうしを接続することにより、それぞれｐ１閉曲線、またはｐ２閉曲線を生成するようになされている。
【０１８２】
次に、図３４のフローチャートを参照して、その動作について説明する。積分値計算部２１では、ステップＳ２１−１において、積分経路決定部２１−１により、図２３のステップＳ４−１における場合と同様の処理が行われ、注目特徴点を通る積分経路が決定され、定積分値算出部２１−２、規格化実行部２１−３、および積分実行部２１−４に供給される。さらに、積分経路決定部２１−１は、ステップＳ２１−２において、注目特徴点を通る積分経路上の点のうち、変化検出部１より供給される画素値の変化Ｃ’の大きさが、所定の閾値Ｋとなる点ｐ１およびｐ２を検出し、定積分値算出部２１−２、積分実行部２１−４、および閉曲線生成部２１−５に供給する。
【０１８３】
定積分値算出部２１−２は、積分経路決定部２１−１より注目特徴点についての積分経路およびその積分経路上の点ｐ１およびｐ２を受信すると、ステップＳ２１−３において、式（１９）にしたがい、その積分経路に沿った、点ｐ１からｐ２までの、画素値の変化Ｃ’の積分を行い、その結果得られる定積分値Ｄを、規格化実行部２１−３に出力する。規格化実行部２１−３では、ステップＳ２１−４において、注目特徴点についての積分経路上の画素の画素値の変化Ｃ’が、定積分値算出部２１−２からの定積分値Ｄで規格化され、その結果得られる規格値Ｃ’／Ｄが、積分実行部２１−４に供給される。
【０１８４】
積分実行部２１−４では、ステップＳ２１−５において、式（２０）にしたがい、規格化実行部２１−３からの規格値Ｃ’／Ｄが、例えば、積分経路決定部２１−１からの点ｐ１を始点として、同じく積分経路決定部４−１からの積分経路に沿って積分され、これにより、その積分経路上のキー信号、即ち、キー信号の骨組み部分が算出される。
【０１８５】
その後、ステップＳ２１−６に進み、積分経路決定部２１−１は、特徴点検出部２からの特徴点すべてを、注目特徴点としたかどうかを判定する。ステップＳ２１−６において、特徴点検出部２からの特徴点すべてを、まだ、注目特徴点としていないと判定された場合、ステップＳ２１−１に戻り、積分経路決定部２１−１において、まだ注目特徴点とされていない特徴点が、新たに注目特徴点とされ、以下、上述した処理が繰り返される。
【０１８６】
一方、ステップＳ２１−６において、特徴点すべてを、注目特徴点としたと判定された場合、即ち、特徴点検出部２から供給された各特徴点を通る積分経路すべてに沿っての、式（２０）の積分が行われ、これにより、それらの積分経路上のキー信号（キー信号の骨組み部分）が求められた場合、ステップＳ２１−７に進み、閉曲線生成部２１−５において、ｐ１閉曲線およびｐ２閉曲線が生成され、処理を終了する。
【０１８７】
即ち、閉曲線生成部２１−５は、積分経路決定部２１−１より供給されたすべての積分経路上の点ｐ１どうし、またはｐ２どうしを接続することにより、それぞれｐ１閉曲線、またはｐ２閉曲線を生成する。
【０１８８】
なお、積分実行部２１−４における積分は、図２１における積分実行部４−３における場合と同様に、積分経路のうちの経路線分のみを対象に行われるようになされている。
【０１８９】
次に、図３５は、本発明を適用した画像合成装置の一実施例の構成を示している。
【０１９０】
画像提供装置６１乃至６３は、例えばビデオテーププレーヤ、あるいはハードディスク装置などのディスクプレーヤなどで、所定の画像を再生して出力するようになされている。なお、ここでは、画像提供装置６１が再生する、前景または背景をそれぞれＦまたはＢとする画像Ｔ１（第１の画像）が、キー信号生成装置６４およびミキサ６５に供給されるようになされており、この画像Ｔ１が、キー信号を生成する対象とされている。また、画像提供装置６２が再生する画像Ｔ２（第２の画像）は、ミキサ６５に供給されるようになされており、この画像Ｔ２に対し、画像Ｔ１の前景Ｆが合成されるようになされている。さらに、画像提供装置６３からは、画像提供装置６１が再生する画像Ｔ１の背景Ｂだけを撮影した画像Ｔ３が再生されるようになされている。即ち、例えば、画像Ｔ１が、ある風景の中を、人物が歩いている状態のものだとすると、その人物（前景Ｆ）を排除した状態で、その風景（背景Ｂ）を撮影した画像Ｔ３が、画像提供装置６３からは再生されるようになされている。この画像提供装置６３が再生する画像Ｔ３は、ミキサ６５に供給されるようになされている。
【０１９１】
キー信号生成装置６４は、図７、図２７、または図３０のキー信号生成装置と同様に構成されており、上述したようにしてキー信号αを生成し、ミキサ６５に出力するようになされている。ミキサ６５は、キー信号生成装置６４からのキー信号αを用いて、そこに入力される画像Ｔ１とＴ２とを合成するようになされている。即ち、ミキサ６５は、画像Ｔ１から前景Ｆを抜き出し、その前景Ｆを、画像Ｔ２に合成（はめ込む）するようになされている。
【０１９２】
次に、その動作について説明する。画像提供装置６１乃至６３では、画像Ｔ１乃至Ｔ３がそれぞれ再生され、ミキサ６５に供給される。さらに、画像提供装置６１が再生する画像Ｔ１は、キー信号生成装置６４にも供給される。キー信号生成装置６４では、上述したようにしてキー信号αが生成され、ミキサ６５に出力される。ミキサ６５では、キー信号αを用いて、そこに入力される画像Ｔ１から前景Ｆが抜き出され、さらにその前景Ｆが、画像Ｔ２に合成され、これにより、画像Ｔ２に前景Ｆを合成した画像（合成画像）Ｔ４が生成される。
【０１９３】
即ち、いま、画像Ｔ１またはＴ２を構成する各位値ｐの画素の画素値を、それぞれＰ（ｐ）またはＱ（ｐ）と表すとするとともに、画像Ｔ１の前景または背景を構成する各位置ｐの画素の画素値それぞれＦ（ｐ）またはＢ（ｐ）とし、合成画像Ｔ４を構成する各位置ｐの画素の画素値をＲ（ｐ）とすると、次式が成立する。
Ｐ（ｐ）＝αＦ（ｐ）＋（１−α）Ｂ（ｐ） ・・・（２１）
Ｒ（ｐ）＝αＦ（ｐ）＋（１−α）Ｑ（ｐ） ・・・（２２）
【０１９４】
ここで、式（２２）の右辺のαＦ（ｐ）を、式（２１）により除去すると、式（２２）は、次のようになる。
Ｒ（ｐ）＝Ｐ（ｐ）−（１−α）Ｂ（ｐ）＋（１−α）Ｑ（ｐ）・・・（２３）
【０１９５】
ミキサ６５では、式（２３）にしたがって、合成画像Ｔ４が生成される。即ち、画素値Ｐ（ｐ），Ｑ（ｐ），Ｂ（ｐ）は、画像提供装置６１乃至６３それぞれからミキサ６５に供給され、キー信号α（ｐ）も、キー信号生成装置６４からミキサ６５に供給される。ミキサ６５では、これらの各画素値およびキー信号を用いて、式（２３）の演算が行われ、これにより、画素値Ｒ（ｐ）でなる画像Ｔ４、即ち、画像Ｔ２に前景Ｆを合成した画像Ｔ４が生成される。
【０１９６】
この画像Ｔ４は、例えば、図示せぬ記録装置（例えば、ビデオテープレコーダ、あるいはハードディスク装置などの書き込み可能なディスクレコーダなど）に供給されて記録される。
【０１９７】
キー信号生成装置６４からは、上述したように、正確なキー信号、即ちモーションブラーの影響を考慮し、かつエイリアスを低減するキー信号が出力されるので、これを用いて画像の合成を行った場合には、正確な合成画像（見た目に違和感のない画像）を得ることができる。
【０１９８】
なお、図３５の実施例では、画像提供装置６３によって背景Ｂが提供されるから、キー信号生成装置６４が、Ｆ−Ｂ検出部３を有する図７または図２７に示したようなキー信号生成装置で構成される場合には、同図において点線で示すように、背景Ｂを、キー信号生成装置６４に供給するようにし、キー信号生成装置６４には、この背景Ｂから、差分Ｆ−Ｂを求めさせるようにすることが可能である。
【０１９９】
ところで、画素値Ｑ（ｐ）でなる画像Ｔ２は、画像提供装置６２から得られ、キー信号αは、キー信号生成装置６４から得られるから、前景Ｆの画素値Ｆ（ｐ）がわかれば（画素値Ｆ（ｐ）を推定することができれば）、式（２２）によっても、画像Ｔ２に前景Ｆを合成した画像Ｔ４を生成することができる。
【０２００】
そこで、図３６は、式（２２）にしたがって、画像Ｔ４を生成する画像合成装置の一実施例の構成を示している。なお、図中、図３５における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、この画像合成装置は、画像提供装置６３またはミキサ６５に代えて、情報生成装置７１またはミキサ７２がそれぞれ設けられている他は、図３５の画像合成装置と同様に構成されている。
【０２０１】
情報生成装置７１には、画像提供装置６１が出力する画像Ｔ１が供給されるようになされている。情報生成装置７１は、画像Ｔ１から、その前景Ｆの画素値Ｆ（ｐ）を推定し（生成し）、ミキサ７２に供給するようになされている。ミキサ７２は、画像情報提供装置６１または６２がそれぞれ出力する画像Ｔ１またはＴ２（画素値Ｐ（ｐ）またはＱ（ｐ））、キー信号生成装置６４が出力するキー信号α（ｐ）、情報生成装置７１が出力する前景Ｆ（画素値Ｆ（ｐ））を用い、式（２２）にしたがった演算を行うことにより、画像Ｔ２に前景Ｆを合成した画像Ｔ４を生成するようになされている。
【０２０２】
以上のように構成される画像合成装置では、画像提供装置６１または６２において、画像Ｔ１またはＴ２がそれぞれ再生され、ミキサ７２に供給される。さらに、画像提供装置６１が再生する画像Ｔ１は、情報生成装置７１およびキー信号生成装置６４にも供給される。キー信号生成装置６４では、上述したようにしてキー信号αが生成され、ミキサ７２に出力される。
【０２０３】
一方、情報生成装置７１では、画像Ｔ１から、その前景Ｆの画素値Ｆ（ｐ）が求められる。
【０２０４】
即ち、図３７は、情報生成装置７１の構成例を示している。この情報生成装置７１は、変化検出部７１−１、境界検出部７１−２、境界分割部７１−３、色分布形成部７１−４、重心検出部７１−５から構成されている。変化検出部７１−１は、図７（図２７または図３０）の変化検出部１と同様に構成されおり、境界検出部７１−２は、図１３の境界検出部２−１と同様に構成されている。また、微小領域検出部７１−３、色分布形成部７１−４、または重心検出部７１−５は、図１６の微小領域検出部３−１、色分布形成部３−２Ｆ、または重心検出部３−３Ｆとそれぞれ同様に構成されている。但し、微小領域検出部７１−３は、各微小領域についての前景Ｆを構成する画素のみを抽出し、その画素の画素値、即ち、Ｆ境界画素値のみを色分布形成部７１−４に供給するようになされている。
【０２０５】
従って、情報生成装置７１では、変化検出部７１−１において、画像Ｔ１の画素値Ｐの変化Ｐ’が求められ、境界検出部７１−２において、その変化Ｐ’に基づいて、経路決定用閉曲線および特徴点が求められる。さらに、微小領域検出部７１−３において、各特徴点を含む微小領域が検出され、その各微小領域について、Ｆ境界画素値が抽出される。そして、色分布形成部７１−４において、各微小領域におけるＦ境界画素値の、色空間上における色分布が求められ、さらに、重心検出部７１−５において、その色分布の重心が求められ、それが、グレー領域における、各特徴点周辺にある画素の、前景Ｆの画素値Ｆ（ｐ）として出力される。
【０２０６】
なお、情報生成装置７１においては、前景Ｆのうちの、グレー領域以外の部分（完全に、前景Ｆの部分）については、その前景Ｆの画素値Ｆ（ｐ）が、そのまま出力される。
【０２０７】
図３６に戻り、ミキサ７２では、画像情報提供装置６１または６２がそれぞれ出力する画素値Ｐ（ｐ）またはＱ（ｐ）、キー信号生成装置６４が出力するキー信号α（ｐ）、情報生成装置７１が出力する画素値Ｆ（ｐ）を用い、式（２２）にしたがって、画像Ｔ２に前景Ｆを合成した画像Ｔ４の画素値Ｒ（ｐ）が求められる。
【０２０８】
従って、この場合も、正確な合成画像を得ることができる。
【０２０９】
ここで、情報生成装置７１には、前景Ｆを生成させるのではなく、背景Ｂを生成させるようにすることも可能である。この場合、ミキサ７２には、情報生成装置７１によって生成される背景Ｂを用い、式（２３）にしたがって、合成画像Ｔ４の画素値Ｒ（ｐ）を求めさせるようにすることが可能である。
【０２１０】
なお、ミキサ６５（および７２）における画像の合成方法は、上述した方法に限定されるものではなく、他の合成方法を用いることも可能である。
【０２１１】
また、本実施例では、積分値計算部４（および２１）において積分を行うようにしたが、この積分に代えて、積分と等価な演算、即ち、積分を行う経路にサンプル点を設定し、各サンプル点におけるサンプル値を加算するようにすることも可能である。
【０２１２】
さらに、本実施例では、グレー領域におけるキー信号のうち、その骨組み部分以外については、補間により求めるようにしたが、キー信号の骨組み部分以外も、補間ではなく、例えば、式（１８）や（２０）による積分を行うことで求めるようにすることが可能である。
【０２１３】
【発明の効果】
本発明のキー信号生成装置およびキー信号生成方法によれば、正確なキー信号を得ることが可能となる。
【０２１４】
本発明の画像合成装置および画像合成方法によれば、正確な合成画像を得ることが可能となる。
【図面の簡単な説明】
【図１】画像の局所的なテクスチャが一様であると考えられることを示す図である。
【図２】モーションブラーが生じている画像の算出方法を説明するための図である。
【図３】モーションブラーの効果を与えるフィルタ処理を示す図である。
【図４】モーションブラーの効果を考慮した前景Ｆとキー信号αを示す図である。
【図５】モーションブラーの効果を与えた前景Ｆの局所的なテクスチャが一様であると考えられることを示す図である。
【図６】画素が有限の大きさを有する場合にエイリアスが生じることを示す図である。
【図７】本発明を適用したキー信号生成装置の第１実施例の構成を示すブロック図である。
【図８】図７のキー信号生成装置の動作を説明するためのフローチャートである。
【図９】図７の変化検出部１の構成例を示すブロック図である。
【図１０】図９の変化検出部１の動作を説明するためのフローチャートである。
【図１１】ソーベルオペレータを示す図である。
【図１２】図１０のステップＳ１−２の処理を説明するための図である。
【図１３】図７の特徴点検出部２の構成例を示すブロック図である。
【図１４】図１３の特徴点検出部２の処理を説明するための図である。
【図１５】図１３の特徴点検出部２の動作を説明するためのフローチャートである。
【図１６】図７のＦ−Ｂ検出部３の構成例を示すブロック図である。
【図１７】図１６の微小領域検出部３−１の処理を説明するための図である。
【図１８】図１６の差分演算部３−４の処理を説明するための図である。
【図１９】図１６のＦ−Ｂ検出部３の動作を説明するためのフローチャートである。
【図２０】図８のステップＳ５の処理を説明するための図である。
【図２１】図７の積分値計算部４の構成例を示すブロック図である。
【図２２】図２１の積分値計算部４の処理を説明するための図である。
【図２３】図２１の積分値計算部４の動作を説明するためのフローチャートである。
【図２４】図７のキー信号生成部５の構成例を示すブロック図である。
【図２５】図２４のキー信号生成部５の処理を説明するための図である。
【図２６】図２４のキー信号生成部５の動作を説明するためのフローチャートである。
【図２７】本発明を適用したキー信号生成装置の第２実施例の構成を示すブロック図である。
【図２８】図２７の特徴点検出部１２の構成例を示すブロック図である。
【図２９】図２８の細線化部１２−１の処理を説明するための図である。
【図３０】本発明を適用したキー信号生成装置の第３実施例の構成を示すブロック図である。
【図３１】図３０の積分値計算部２１の処理を説明するための図である。
【図３２】図３０のキー信号生成装置の動作を説明するためのフローチャートである。
【図３３】図３０の積分値計算部２１の構成例を示すブロック図である。
【図３４】図３３の積分値計算部２１の動作を説明するためのフローチャートである。
【図３５】本発明を適用した画像合成装置の第１実施例の構成を示す図である。
【図３６】本発明を適用した画像合成装置の第２実施例の構成を示す図である。
【図３７】図３６の情報生成装置７１の構成例を示すブロック図である。
【図３８】ハードキーおよびソフトキーを説明するための図である。
【図３９】エイリアスを説明するための図である。
【図４０】モーションブラーを説明するための図である。
【符号の説明】
１ 変化検出部， １−１ ＲＧＢ分解部， １−２Ｒ，１−２Ｇ，１−２Ｂ１次微分値計算部， １−３ ベクトル合成部， ２ 境界検出部， ２−２特徴点決定部， ３ Ｆ−Ｂ検出部， ３−１ 微小領域検出部， ３−２Ｆ，３−２Ｂ 色分布形成部， ３−３Ｆ，３−３Ｂ 重心検出部， ３−４ 差分演算部， ４ 積分値計算部， ４−１ 積分経路決定部， ４−２ 規格化実行部， ４−３ 積分実行部， ４−４ 閉曲線生成部， ５ キー信号生成部， ５−１ グレー領域内補間部， ５−２ ０／１割当部， ５−３ グレー領域外補間部， ５−４ 合成部， １１ 操作部， １２ 特徴点検出部，１２−１ 細線化部， ２１ 積分値計算部， ２１−１ 積分経路決定部，２１−２ 定積分値算出部， ２１−３ 規格化実行部， ２１−４ 積分実行部， ２１−５ 閉曲線生成部， ６１乃至６３ 情報提供装置， ６４ キー信号生成装置， ６５ ミキサ， ７１ 情報生成装置， ７２ ミキサ， ７１−１ 変化検出部， ７１−２ 境界検出部， ７１−３ 微小領域検出部， ７１−４ 色分布形成部， ７１−５ 重心検出部
【発明の属する技術分野】
本発明は、キー信号生成装置および画像合成装置、並びにキー信号生成方法および画像合成方法に関する。特に、画像を構成する画素間の画素値の変化を検出し、その画素値の変化に基づいて、キー信号を生成することにより、正確なキー信号を得ることができるようにしたキー信号生成装置および画像合成装置、並びにキー信号生成方法および画像合成方法に関する。
【０００２】
【従来の技術】
例えば、映画その他の映像制作において、画像（映像）の各種シミュレーションを行ったり、あるいは画像に特殊効果を与えたりする場合には、画像から、注目する部分（物体）を抜き出したり、その抜き出した部分を、他の画像に合成することが行われる。このような画像からの抜き出し、合成は、キー信号を用いて行われる。
【０００３】
キー信号には、ハードキーと呼ばれるものとソフトキーと呼ばれるものとがある。例えば、いま、キー信号を生成するのに用いる画像のうちの注目する部分を前景（前景画像）とするとともに、それ以外の部分を背景（背景画像）とする場合、図３８（ａ）に示すように、画像における前景の範囲を１とするとともに、背景の範囲を０とした２値のキー信号（マスク画像）が、ハードキーと呼ばれる。これに対し、画像には、後述するエイリアスやモーションブラーが生じるが、これらを考慮して、０および１の２値だけではなく、図３８（ｂ）に示すように、０乃至１の範囲の連続した実数値をとることのできるキー信号が、ソフトキーと呼ばれる。ここで、以下、適宜、キー信号が０から１までの間の値をとる領域を、グレー領域という。
【０００４】
従って、ハードキーは、急峻な境目を有する信号（キー信号が０（または１）から１（または０）に変わる境目の傾斜が急峻になっている信号）であり、またソフトキーは、滑らかな境目を有する信号（キー信号が０（または１）から１（または０）に変わる境目の傾斜が滑らかな信号）ということができる。
【０００５】
ここで、図３８に図示してあるα（アルファ値）は、連続したキー信号の値を表すが、ここでは、同時に、画素単位のキー信号の値も表すものとする。実際には、画素単位のキー信号としては、例えば、連続したキー信号を、画素の範囲などでフィルタリングし、その画素の中心におけるフィルタリング結果などが用いられる。なお、画像において、前景と背景との境界部分の画素の画素値は、前景および背景の信号成分どうしを重畳したものとなるが、このことから、αは、各画素について、前景がどれだけ寄与しているかを示す寄与率を表しているということができる。
【０００６】
【発明が解決しようとする課題】
ところで、前景および背景のいずれも静止している場合において、その画像を構成している画素の境目に、前景と背景との境界が位置していることは稀で、通常は、図３９（ａ）に示すように、前景と背景との境界は、有限の大きさを有する画素の内部に存在する。しかしながら、画素は、画像を構成する最小単位であるから、その内部に、上述のような前景と背景との境界が存在しても、その画素は、図３９（ｂ）に示すように、前景または背景のうちのいずれか一方の色（画素値）とされる。このため、前景と背景との境界は、図３９（ｃ）に示すように、画素の境目に沿って引かれ、このような画像全体を見た場合には、その前景と背景との境界（画素の境目）部分に、不自然なちらつき、即ちエイリアスが生じる。
【０００７】
従って、キー信号として、前景と背景との境界線を滑らかに表すものが得られたとしても、そのキー信号を用いて画像合成を行った結果得られる合成画像には、エイリアスが生じる。
【０００８】
そこで、合成画像に生じるエイリアスを防止する方法として、例えば特開昭６０−２３２７８７号公報や特開平４−３４０６７１号公報に開示されているものがある。特開昭６０−２３２７８７号公報に開示されている方法では、ハードキーを用いて、前景と背景との境界部分だけにＬＰＦをかけ、その境界部分をぼかして、見た目に滑らかにするようになされている。この方法においては、ハードキーが用いられるが、前景と背景との境界部分にＬＰＦをかけるので、キー信号に傾斜をつけたもの、即ち、実質的には、ソフトキーを用いて、画像合成が行われているということができる。
【０００９】
また、特開平４−３４０６７１号公報に開示されている方法では、前景と背景との境界上の注目画素を中心とするブロックを設定し、そのブロック内の前景および背景を構成する画素パターンから、キー信号（ソフトキー）を算出し、これを用いて、前景の抜き出し、合成を行うことで、エイリアスを低減するようになされている。
【００１０】
しかしながら、以上の方法で用いられるソフトキーは、その傾斜部分（図３８（ｂ）において、０＜α＜１の部分）、即ち、グレー領域における値が一様なものであるため、例えば前景が動いている場合に生じるモーションブラーに対処することが困難な課題があった。
【００１１】
ここで、モーションブラー（動きボケ）について、簡単に説明する。動画像は、画像（静止画像）が、例えばフレーム単位などで連続して表示されることで実現される。例えば、いま、画像の中を、左から右方向へ動く円形状の物体があったとして、その物体の移動速度に対し、フレーム周期が無限小とみなすことのできるほど短い時間であるとした場合には、その物体は、図４０（ａ）に示すように、各フレームにおいて円形状の物体として表示される。しかしながら、円形状の物体の移動速度に対し、フレーム周期が無限小とみなすことのできるほど短い時間ではない場合、ある時刻ｔ２におけるフレームの画像は、図４０（ｂ）に示すように、その１つ前のフレームの時刻ｔ１から、時刻ｔ２までの物体の動きを反映した画像となる。即ち、時刻ｔ２におけるフレームの画像の中の物体は、円形状のものではなく、その動きの方向に薄く伸びた、輪郭のぼやけたものとなる。このような現象がモーションブラーと呼ばれる。
【００１２】
なお、モーションブラーは、前景または背景のいずれか一方だけが動いている場合の他、両者が独立に動いている場合も生じるが、背景だけが動いている場合および両者が独立に動いている場合は、背景を基準とすれば、いずれも前景だけが動いている場合と同様に考えることができる。また、モーションブラーが生じている場合には、前景と背景との明確な境界は存在しない。
【００１３】
以上のようなモーションブラーを考慮したキー信号を生成する方法としては、例えば特開平５−１５３４９３号公報や特開平５−２３６３４７号公報に開示されているものがある。特開平５−１５３４９３号公報に開示されている方法では、現在のフレームと、その１つ前のフレームとを比較することにより、現在のフレーム（またはその１つ前のフレーム）の前景を構成する画素の画素値と、その画素の、１つ前のフレーム（または現在のフレーム）の画素値との変化量（大きさ）のフレーム全体についての総和を求め、その総和値から、ソフトキーのグレー領域を決定するようになされている。しかしながら、この方法においては、ソフトキーが、上述した画素値の変化量（同一の画素の画素値の差分）に依存して求められるため、前景の動きの方向が考慮されておらず、その動きに対応した、正確なソフトキーが得られるのかどうかが不明であった。
【００１４】
一方、特開平５−２３６３４７号公報に開示されている方法では、まずハードキーを生成し、前景と背景との境界上の各点において、そのハードキーの側面（図３８（ａ）に示したα＝１の部分を底面とする円柱の側面）を楕円錘で削り取ることで、ソフトキーを生成するようになされており、この場合において、楕円錘の底面を構成する楕円の長軸および短軸は、注目している部分の動きベクトルとエッジ強度の大きさとから決定されるようになされている。しかしながら、この方法においては、エッジ強度の方向が正しく考量されておらず、やはり、前景の動きに対応した、正確なソフトキーが得られるかどうかが不明であった。
【００１５】
本発明は、このような状況に鑑みてなされたものであり、モーションブラーを正確に反映し、さらに、エイリアスの影響を低減するキー信号を生成することができるようにするものである。
【００１６】
【課題を解決するための手段】
本発明のキー信号生成装置は、画像を構成する画素の画素値の１次微分値を算出する画像微分手段と、画像微分手段により算出された１次微分値が大きい複数の画素を接続することにより構成される閉曲線を、画像の前景と背景の境界として検出し、その閉曲線を構成する画素のうちの曲率の高い画素を特徴点として検出する曲線検出手段と、閉曲線と特徴点に基づいて、特徴点を含み、閉曲線から所定の距離の範囲内の領域である微小領域を検出し、その微小領域内の前景の画素の画素値である前景画素値と、背景の画素の画素値である背景画素値とを検出する前背景検出手段と、前背景検出手段により検出された前景画素値と背景画素値の色分布の重心の差分を、特徴点における前景と背景の差分として算出する差分算出手段と、画像微分手段により算出された特徴点を含む経路上の画素の画素値の１次微分値と、差分算出手段により算出された差分に基づいて、キー信号の骨組を算出するキー信号骨組算出手段と、骨組み算出手段により算出された骨組を補間することにより、画像を構成する各画素のキー信号を生成するキー信号生成手段とを備えることを特徴とする。
キー信号骨組算出手段は、特徴点を含む経路上の画素の画素値の１次微分値を、差分の絶対値で除算した値を、経路に沿って積分することにより、キー信号の骨組を算出することができる。
【００１７】
本発明の画像合成装置は、第１の画像を構成する画素の画素値の１次微分値を算出する画像微分手段と、画像微分手段により算出された１次微分値が大きい複数の画素を接続することにより構成される閉曲線を、第１の画像の前景と背景の境界として検出し、その閉曲線を構成する画素のうちの曲率の高い画素を特徴点として検出する曲線検出手段と、閉曲線と特徴点に基づいて、特徴点を含み、閉曲線から所定の距離の範囲内の領域である微小領域を検出し、その微小領域内の前景の画素の画素値である前景画素値と、背景の画素の画素値である背景画素値とを検出する前背景検出手段と、前背景検出手段により検出された前景画素値と背景画素値の色分布の重心の差分を、特徴点における前景と背景の差分として算出する差分算出手段と、画像微分手段により算出された特徴点を含む経路上の画素の画素値の１次微分値と、差分算出手段により算出された差分に基づいて、キー信号の骨組を算出するキー信号骨組算出手段と、骨組み算出手段により算出された骨組を補間することにより、第１の画像を構成する各画素のキー信号を生成するキー信号生成手段と、キー信号生成手段により生成されたキー信号を用いて、第１の画像の前景画像と、第２の画像の背景画像とを合成する合成手段とを備えることを特徴とする。
【００１８】
本発明のキー信号生成方法は、画像を構成する画素の画素値の１次微分値を算出し、その算出された１次微分値が大きい複数の画素を接続することにより構成される閉曲線を、画像の前景と背景の境界として検出し、その閉曲線を構成する画素のうちの曲率の高い画素を特徴点として検出し、閉曲線と特徴点に基づいて、特徴点を含み、閉曲線から所定の距離の範囲内の領域である微小領域を検出し、その微小領域内の前景の画素の画素値である前景画素値と、背景の画素の画素値である背景画素値とを検出し、
その検出された前景画素値と背景画素値の色分布の重心の差分を、特徴点における前景と背景の差分として算出し、その算出された特徴点を含む経路上の画素の画素値の１次微分値と、差分に基づいて、キー信号の骨組を算出し、その算出された骨組を補間することにより、画像を構成する各画素のキー信号を生成することを特徴とする。
【００１９】
本発明の画像合成方法は、第１の画像を構成する画素の画素値の１次微分値を算出し、その算出された１次微分値が大きい複数の画素を接続することにより構成される閉曲線を、第１の画像の前景と背景の境界として検出し、その閉曲線を構成する画素のうちの曲率の高い画素を特徴点として検出し、閉曲線と特徴点に基づいて、特徴点を含み、閉曲線から所定の距離の範囲内の領域である微小領域を検出し、その微小領域内の前景の画素の画素値である前景画素値と、背景の画素の画素値である背景画素値とを検出し、その検出された前景画素値と背景画素値の色分布の重心の差分を、特徴点における前景と背景の差分として算出し、その算出された特徴点を含む経路上の画素の画素値の１次微分値と、差分に基づいて、キー信号の骨組を算出し、その算出された骨組を補間することにより、第１の画像を構成する各画素のキー信号を生成し、そのキー信号を用いて、第１の画像の前景画像と、第２の画像の背景画像とを合成することを特徴とする。
【００２０】
本発明のキー信号生成装置およびキー信号生成方法においては、画像を構成する画素の画素値の１次微分値が算出され、その１次微分値が大きい複数の画素を接続することにより構成される閉曲線が、画像の前景と背景の境界として検出され、その閉曲線を構成する画素のうちの曲率の高い画素が特徴点として検出される。また、閉曲線と特徴点に基づいて、特徴点を含み、閉曲線から所定の距離の範囲内の領域である微小領域が検出され、その微小領域内の前景の画素の画素値である前景画素値と、背景の画素の画素値である背景画素値とが検出され、その前景画素値と背景画素値の色分布の重心の差分が、特徴点における前景と背景の差分として算出される。さらに、特徴点を含む経路上の画素の画素値の１次微分値と差分に基づいて、キー信号の骨組が算出され、その骨組を補間することにより、画像を構成する各画素のキー信号が生成される。
【００２１】
本発明の画像合成装置および画像合成方法においては、第１の画像を構成する画素の画素値の１次微分値が算出され、その算出された１次微分値が大きい複数の画素を接続することにより構成される閉曲線が、第１の画像の前景と背景の境界として検出され、その閉曲線を構成する画素のうちの曲率の高い画素が特徴点として検出される。また、閉曲線と特徴点に基づいて、特徴点を含み、閉曲線から所定の距離の範囲内の領域である微小領域が検出され、その微小領域内の前景の画素の画素値である前景画素値と、背景の画素の画素値である背景画素値とが検出され、その検出された前景画素値と背景画素値の色分布の重心の差分が、特徴点における前景と背景の差分として算出される。さらに、その算出された特徴点を含む経路上の画素の画素値の１次微分値と、差分に基づいて、キー信号の骨組が算出され、その算出された骨組を補間することにより、第１の画像を構成する各画素のキー信号が生成される。
【００３２】
【発明の実施の形態】
本発明の理論的根拠（原理）について説明する。なお、説明を簡単にするために、ここでは、画像は１次元の画像であるとする。
【００３３】
いま、１次元の画像Ｃを構成する、位置（座標）ｘにおける画素の画素値をＣ（ｘ）とする。そして、画像Ｃが、前景（前景画像）Ｆおよび背景（背景画像）Ｂで構成されるとし、前景Ｆまたは背景Ｂを構成する、位置ｘの画素の画素値を、それぞれＦ（ｘ）またはＢ（ｘ）とする。さらに、画像Ｃから前景Ｆを抜き出すためのキー信号の位置ｘにおける値（位置ｘにおける前景Ｆの寄与率）を、α（ｘ）とする。但し、α（ｘ）は、０以上１以下の範囲をとり、完全に、前景Ｆまたは背景Ｂを構成する画素の位置では、それぞれ１または０となるものとする。そして、前景Ｆと背景Ｂとが混じり合っている画素の位置では、前景Ｆの画素値の寄与の程度に応じた値となるものとする。
【００３４】
この場合、画像Ｃを構成する画素の画素値Ｃ（ｘ）は、前景Ｆを構成する画素の画素値Ｆ（ｘ）と背景Ｂを構成する画素の画素値Ｂ（ｘ）とが、キー信号α（ｘ）に対応した割合で合成されたものと考えることができ、従って、画素値Ｃ（ｘ）は、次式で表すことができる。
【００３５】
Ｃ（ｘ）＝α（ｘ）Ｆ（ｘ）＋（１−α（ｘ））Ｂ（ｘ）・・・（１）
【００３６】
ここで、前述したエイリアスは、画素が有限の大きさを有するために生じ、また、モーションブラーは、前景Ｆまたは背景Ｂのうちのいずれか一方が動いている場合、およびその両方が独立して動いている場合に生じる。そこで、以下では、［１］前景Ｆおよび背景Ｂが静止していて、画素が無限小とみなせる場合、［２］前景Ｆまたは背景Ｂが動いていて、画素が無限小とみなせる場合、［３］前景Ｆおよび背景Ｂが静止していて、画素が有限の大きさを有する場合、および［４］前景Ｆまたは背景Ｂが動いていて、画素が有限の大きさを有する場合の４つの場合に分けて説明を行う。
【００３７】
［１］前景Ｆおよび背景Ｂが静止していて、画素が無限小とみなせる場合
この場合は、前景Ｆおよび背景Ｂが静止しているので、モーションブラーは生じず、また画素が無限小とみなせるので、エイリアスも生じない。従って、キー信号α（ｘ）は、０または１のいずれかの値をとり、その値が１となる位置ｘは、前景Ｆの存在範囲と一致する。
【００３８】
ここで、式（１）を、ｘで微分すると、式（２）が得られる。なお、以下では、適宜、関数の引数（ｘ）の記載は省略する。
【００３９】
Ｃ’＝（Ｆ−Ｂ）α’＋（Ｆ’−Ｂ’）α＋Ｂ’ ・・・（２）
但し、’は微分を表す。
【００４０】
通常の画像を考えた場合、前景Ｆおよび背景Ｂのテクスチャ（画素値）は一様ではなく、図１に示すように変化している。しかしながら、前景Ｆおよび背景Ｂを、例えば画素単位などで局所的に見た場合には、同図に示すように、そのテクスチャは一様であると考えることができる。従って、局所的には、ＦおよびＢは定数とみなすことができ、その結果、Ｆ’およびＢ’は、いずれも０と考えることができる。このことから、式（２）は、次のように書き直すことができる。
【００４１】
Ｃ’＝（Ｆ−Ｂ）α’ ・・・（３）
【００４２】
式（３）の左辺Ｃ’は、画像Ｃを構成する画素値Ｃ（ｘ）を、ｘで微分したものであるから、画像Ｃを構成する画素間の画素値の変化を表している。式（３）から、画像Ｃの画素間の画素値の変化Ｃ（ｘ）’と、キー信号の微分値α（ｘ）’とは、前景Ｆと背景Ｂとの差分Ｆ（ｘ）−Ｂ（ｘ）を比例定数とする比例関係にあることが分かる。
【００４３】
［２］前景Ｆまたは背景Ｂが動いていて、画素が無限小とみなせる場合
いま、物体が動いている画像を考えた場合、図４０で説明したように、現フレームの画像にはモーションブラーが生じる。即ち、現フレームの画像は、現フレームの１つ前のフレームから現フレームまでの間の物体の動きを反映したものとなる。従って、現フレームまたはその１つ前のフレームの時刻をそれぞれｔ２またはｔ１とし、画像Ｃの、ある位置ｘの画素の、時刻ｔにおける画素値をＣt（ｘ）とした場合、時刻ｔ２における位置ｘの画素の画素値Ｃt2（ｘ）は、図２（ａ）に示すように、時刻ｔ１乃至ｔ２の間に、位置ｘの画素を通過した画像Ｓx（ｔ）の時間積分で表すことができる。即ち、画素値Ｃt2（ｘ）は、次式で表すことができる。
【００４４】
【数１】
しかしながら、時刻ｔ１乃至ｔ２の間に、位置ｘの画素を通過した画像Ｓx（ｔ）は、現フレームの画像またはその１つ前のフレームの画像からは知りようがない。そこで、いま、現フレームの時刻ｔ２において、位置ｘにある画像をＳt2（ｘ）とすると、位置ｘ１乃至ｘ２の範囲にある画像それぞれは、Ｓt2（ｘ１）乃至Ｓt2（ｘ２）となる。この場合において、時刻ｔ１乃至ｔ２の間に、画像Ｓt2（ｘ１）乃至Ｓt2（ｘ２）が、位置ｘにある画素を通過し、これにより、時刻ｔ２における位置ｘの画像の画素値Ｃt2（ｘ）が、画像Ｓt2（ｘ１）乃至Ｓt2（ｘ２）の影響を受けたとすると、図２（ｂ）に示すように、画素値Ｃt2（ｘ）は、時刻ｔ１乃至ｔ２の間に、位置ｘの画素を通過した画像Ｓx（ｔ）の時間積分に等しい、時刻ｔ２において位置ｘ１乃至ｘ２の範囲にある画像Ｓt2（ｘ１）乃至Ｓt2（ｘ２）の空間積分で表すことができる。即ち、画素値Ｃt2（ｘ）は、次式で表すことができる。
【００４６】
【数２】
ところで、時刻ｔ２における静止画像（モーションブラーが生じていない画像）をＳ（ｘ）とし、静止画像に対し、モーションブラーの効果を与えるフィルタをＲ（ｘ）とすると、式（５）の右辺は、図３に示すように、Ｓ（ｘ）とＲ（ｘ）との畳み込み積分に等しい。従って、式（５）は、式（６）のように書き直すことができる。
【００４８】
Ｃt2（ｘ）＝Ｓ（ｘ）＊Ｒ（ｘ） ・・・（６）
但し、＊は、畳み込み積分を表す。
【００４９】
そこで、前景Ｆまたは背景Ｂにモーションブラーの効果を与えるフィルタを、それぞれＲｆ（ｘ）またはＲｂ（ｘ）とする。そして、本実施例においては、キー信号α（ｘ）は、前景Ｆとともに動くので、図４（ａ）に示すように、前景Ｆに対し、フィルタＲｆ（ｘ）によりモーションブラーの効果を与える場合には、図４（ｂ）に示すように、キー信号α（ｘ）にも、同一のフィルタＲｆ（ｘ）によりモーションブラーの効果を与える必要があることを考慮して、前景Ｆ、背景Ｂ、キー信号αに、モーションブラーの効果を与えて、式（１）を書き直すと、次のようになる。
【００５０】
Ｃ＝（α＊Ｒｆ）（Ｆ＊Ｒｆ）＋（１−α＊Ｒｆ）（Ｂ＊Ｒｂ）・・・（７）
【００５１】
そして、式（７）をｘで微分すると、式（８）のようになる。
【００５２】
ここで、例えば図５に示すように、モーションブラーの効果を与えた前景Ｆ、即ち前景ＦをフィルタＲｆでフィルタリングして得られる画像のテクスチャは、局所的に見れば、図１における場合と同様に、やはり一様とみなすことができる。そして、このことは、背景Ｂについても同様のことがいえる。
【００５４】
従って、局所的には、Ｆ＊ＲｆおよびＢ＊Ｒｂは定数とみなすことができ、その結果、（Ｆ＊Ｒｆ）’および（Ｂ＊Ｒｂ）’は、いずれも０と考えることができる。このことから、式（８）は、次のように書き直すことができる。
【００５５】
Ｃ’＝（Ｆ＊Ｒｆ−Ｂ＊Ｒｂ）（α＊Ｒｆ）’ ・・・（９）
【００５６】
式（９）から、画像Ｃの画素間の画素値の変化Ｃ’と、モーションブラーの効果を考慮したキー信号の微分値（α＊Ｒｆ）’とは、同じくモーションブラーの効果を考慮した前景Ｆ＊Ｒｆと背景Ｂ＊Ｒｂとの差分Ｆ＊Ｒｆ−Ｂ＊Ｒｂを比例定数とする比例関係にあることが分かる。
【００５７】
［３］前景Ｆおよび背景Ｂが静止していて、画素が有限の大きさを有する場合画素の大きさが無限小とみなせる場合には、図６（ａ）に示すように、画素値は、位置ｘに対して滑らかに変化するが、画素が有限の大きさを有する場合には、画素値は、図６（ｂ）に示すように、位置ｘに対してステップ状に変化するため、図６（ａ）に示す信号を単にサンプリングしただけでは、前景Ｆと背景Ｂとの境界では、前述したようにエイリアスを生じる。このエイリアスを低減するには、同図（ａ）に示すように、画素値を算出するためにローパスフィルタＧ（ｘ）でフィルタリングした後にサンプリングする方法、即ち画素位置において、ローパスフィルタＧ（ｘ）との畳み込み積分の結果得られる値を、新たな画素値とする方法がある。そこで、このようにローパスフィルタＧ（ｘ）によってエイリアスを低減した画像を考えた場合、その画素値（新たな画素値）Ｃ（ｘ）は、式（１）から、次式で表すことができる。
【００５８】
そして、式（１０）をｘで微分すると、次のようになる。
【００６０】
ここで、前景Ｆおよび背景ＢをローパスフィルタＲでフィルタリングした結果得られる画像のテクスチャは、いずれも局所的に見れば、図１における場合と同様に、やはり一様とみなすことができる。
【００６２】
従って、局所的には、Ｆ＊ＧおよびＢ＊Ｇはいずれも定数とみなすことができ、その結果、（Ｆ＊Ｇ）’および（Ｂ＊Ｇ）’は、いずれも０と考えることができる。このことから、式（１１）は、次のように書き直すことができる。
【００６３】
Ｃ’＝（（Ｆ−Ｂ）α’）＊Ｇ ・・・（１２）
【００６４】
また、図１で説明したように、局所的に見れば、ＦおよびＢはいずれも定数とみなすことができるので、式（１２）は、さらに、次のように書き直すことができる。
【００６５】
Ｃ’＝（Ｆ−Ｂ）（α＊Ｇ）’ ・・・（１３）
【００６６】
式（１３）から、画像Ｃの画素間の画素値の変化Ｃ’と、エイリアスを低減するキー信号の微分値（α＊Ｇ）’とは、前景Ｆと背景Ｂとの差分Ｆ−Ｂを比例定数とする比例関係にあることが分かる。
【００６７】
［４］前景Ｆまたは背景Ｂが動いていて、画素が有限の大きさを有する場合
この場合は、上述した式（１），（７）、および（１０）から、画素値Ｃは、次式で表すことができる。
【００６８】
式（１４）をｘで微分すると、次のようになる。
ここで、前景ＦをフィルタＲｆでフィルタリングし、さらにそれをローパスフィルタＧでフィルタリングして得られる画像のテクスチャは、局所的に見れば、図１における場合と同様に、やはり一様とみなすことができる。そして、このことは、背景Ｂについても同様のことがいえる。
【００７１】
従って、局所的には、Ｆ＊Ｒｆ＊ＧおよびＢ＊Ｒｂ＊Ｇは定数とみなすことができ、その結果、（Ｆ＊Ｒｆ＊Ｇ）’および（Ｂ＊Ｒｂ＊Ｇ）’は、いずれも０と考えることができる。さらに、図１で説明したように、局所的に見れば、ＦおよびＢはいずれも定数とみなすことができる。このことから、式（１５）は、次のように書き直すことができる。
【００７２】
Ｃ’＝（Ｆ＊Ｒｆ−Ｂ＊Ｒｂ）（α＊Ｒｆ＊Ｇ）’ ・・・（１６）
【００７３】
式（１６）から、画像Ｃの画素間の画素値の変化Ｃ’と、モーションブラーの効果を考慮し、かつエイリアスを低減するキー信号の微分値（α＊Ｒｆ＊Ｇ）’とは、モーションブラーの効果を考慮した前景Ｆ＊Ｒｆと背景Ｂ＊Ｒｂとの差分Ｆ＊Ｒｆ−Ｂ＊Ｒｂを比例定数とする比例関係にあることが分かる。
【００７４】
以上の式（３），（９），（１３）、および（１６）から、上述の［１］乃至［４］のいずれの場合も、画像Ｃの画素間の画素値の変化Ｃ’と、キー信号の微分値α’との間には比例関係があり、その比例定数は、画像Ｃを構成する前景と背景との差分Ｆ−Ｂであることが分かる。即ち、画像Ｃにモーションブラーやエイリアスが生じていなくても、Ｃ’とα’との比例関係は成立し、また、画像Ｃにモーションブラーまたはエイリアスが生じている場合には、そのモーションブラーの影響を考慮したキー信号αまたはエイリアスを低減するキー信号αと画素値Ｃとの間についても、Ｃ’とα’との比例関係は成立する。そして、いずれの場合も、比例定数は、画像Ｃを構成する前景と背景との差分Ｆ−Ｂとなる。
【００７５】
従って、この比例関係を成立させるようなキー信号αは、画像Ｃにモーションブラーが生じている場合には、そのモーションブラーの影響を考慮したものとなり、また、画像Ｃにエイリアスが生じている場合には、そのエイリアスを低減するものとなることになる。本発明は、以上の理論的根拠（原理）に基づくものである。
【００７６】
図７は、以上の原理に基づいて、キー信号を生成するキー信号生成装置の一実施例の構成を示している。変化検出部１には、キー信号を生成するための画像Ｃが入力されるようになされている。そして、変化検出部１は、画像Ｃの画素間の画素値の変化Ｃ’（変化情報）を算出（検出）し、特徴点検出部２および積分値計算部４に出力するようになされている。
【００７７】
特徴点検出部２は、変化検出部１からの画素値の変化Ｃ’に基づいて、後述する経路決定用閉曲線および特徴点を検出し、Ｆ−Ｂ検出部３および積分値計算部４に供給するようになされている。
【００７８】
Ｆ−Ｂ検出部３には、変化検出部１から画素値の変化Ｃ’が、特徴点検出部２から経路決定用閉曲線および特徴点が、それぞれ供給される他、変化検出部１に入力される画像と同一の画像Ｃが入力されるようになされている。そして、Ｆ−Ｂ検出部３は、画像Ｃの前景Ｆと背景Ｂとの差分Ｆ−Ｂ（差分情報）を演算（検出）し、積分値計算部４に出力するようになされている。
【００７９】
積分値計算部４は、変化検出部１からの画素値の変化Ｃ’、特徴点検出部２からの経路決定用閉曲線および特徴点、並びにＦ−Ｂ検出部３からの差分Ｆ−Ｂに基づいて、画像Ｃ全体に対応するキー信号αのうちの、後述する骨組み部分を算出し、キー信号生成部５に出力するようになされている。
【００８０】
キー信号生成部５は、積分値計算部４の出力を用いて、画像Ｃから前景Ｆを抜き出し、また、その抜き出した前景Ｆを、他の画像に合成するためのキー信号を生成するようになされている。即ち、積分値計算部４が出力するキー信号は、画像Ｃ全体に対応するキー信号αのうちの骨組み部分だけであり、キー信号生成部５は、キー信号の骨組み部分以外の部分を補間し、これにより、画像Ｃ全体に対応するキー信号αを生成するようになされている。
【００８１】
次に、図８のフローチャートを参照して、その動作について説明する。なお、以下では、画像Ｃは、ｘｙ平面上の画像、即ち２次元の画像であるものとする。
【００８２】
キー信号を生成するための画像Ｃが入力されると、その画像Ｃは、変化検出部１およびＦ−Ｂ検出部３に供給される。変化検出部１では、画像Ｃが入力されると、ステップＳ１において、その画像Ｃの画素間の画素値の変化Ｃ’が算出される。即ち、ステップＳ１では、画像Ｃを構成する各画素について、その隣接画素との、例えば色空間上の距離が算出され、これが画像Ｃの画素間の画素値の変化（この場合は、色変化）Ｃ’として出力される。
【００８３】
即ち、図９は、図７の変化検出部１の構成例を示している。画像Ｃは、ＲＧＢ分解部１−１に供給されるようになされており、ＲＧＢ分解部１−１は、画像Ｃを、例えばＲＧＢ（Red, Green, Blue）空間の各軸方向の成分、つまり、Ｒ，Ｇ，Ｂ成分に分解するようになされている。Ｒ，Ｇ，Ｂ成分は、１次微分値計算部１−２Ｒ，１−２Ｇ，１−２Ｂにそれぞれ供給されるようになされている。
【００８４】
１次微分値計算部１−２Ｒ，１−２Ｇ，１−２Ｂは、Ｒ，Ｇ，Ｂ成分それぞれの１次微分値Ｒ’，Ｇ’，Ｂ’を計算し、これにより、各成分の変化（勾配）（画像Ｃが存在するｘｙ平面に、これに垂直な画素値を表す軸を加えた空間上において、画像Ｃの画素値（各成分）で構成される曲面を考えた場合の、その曲面の勾配（gradient））の方向および大きさを算出するようになされている。
【００８５】
Ｒ，Ｇ，Ｂ成分それぞれの変化の方向と大きさは、ベクトル合成部１−３に供給されるようになされており、ベクトル合成部１−３は、１次微分値計算部１−２Ｒ，１−２Ｇ，１−２ＢからのＲ，Ｇ，Ｂ成分それぞれの変化の方向を合成するとともに、それぞれの大きさを合成し、これにより、画像Ｃの画素間の画素値の変化（色変化）Ｃ’（従って、Ｃ’はベクトルである）を算出するようになされている。
【００８６】
次に、図１０のフローチャートを参照して、その動作について説明する。変化検出部１では、まず最初に、ステップＳ１−１において、ＲＧＢ分解部１−１によって、画像Ｃが、ＲＧＢ空間の各軸方向の成分、即ち、Ｒ，Ｇ，Ｂ成分に分解される。なお、画像Ｃは、ＲＧＢ以外の色空間である、例えば、ＹＵＶ空間におけるＹ，Ｕ，Ｖ成分などに分解するようにしても良い。即ち、用いる色空間は、特に限定されるものではない。また、画像Ｃは、色空間の各軸方向の成分に分解する他、そこから、輝度成分のみを抽出し、この輝度成分だけを対象に、後段の処理を行うようにしても良い。
【００８７】
ステップＳ１−１において得られたＲ，Ｇ，Ｂ成分は、ＲＧＢ分解部１−１から１次微分計算部１−２Ｒ，１−２Ｇ，１−２Ｂそれぞれに出力される。１次微分計算部１−２Ｒ，１−２Ｇ，１−２Ｂは、Ｒ，Ｇ，Ｂ成分を受信すると、ステップＳ１−２において、そのＲ，Ｇ，Ｂ成分の１次微分値Ｒ’，Ｇ’，Ｂ’を計算する。
【００８８】
なお、本実施例では、各成分の１次微分値は、例えば各成分とソーベルオペレータなどとの畳み込みを行うことによって求められるようになされている。即ち、１次微分計算部１−２Ｒ，１−２Ｇ，１−２Ｂでは、Ｒ，Ｇ，Ｂ成分それぞれのｘまたはｙ方向成分と、図１１に示すソーベルオペレータＳＯｘまたはＳＯｙとの畳み込みを行うことにより得られる値ｆｘ，ｆｙが、ｘまたはｙ方向の１次微分値とされる。
【００８９】
以上のようにして求められるＲ，Ｇ，Ｂ成分の１次微分値、即ち、Ｒ，Ｇ，Ｂ成分の変化は、その大きさ（勾配）が、各画素において最大となるものであり、従って、各成分の変化の方向は、エッジ強度が最大となる方向に一致する。つまり、ステップＳ１−２では、図１２に示すように、注目画素（同図において、斜線を付してある部分）に対して３６０°のうちのいずれかの方向のうち、エッジ強度が最大となる方向に一致する方向についてのＲ，Ｇ，Ｂ成分の変化が求められる。
【００９０】
１次微分計算部１−２Ｒ，１−２Ｇ，１−２Ｂそれぞれで求められたＲ，Ｇ，Ｂ成分の１次微分値Ｒ’，Ｇ’，Ｂ’（これらは、上述したように、大きさと方向を有するからベクトルである）は、いずれもベクトル合成部１−３に供給される。ベクトル合成部１−３では、ステップＳ１−３において、１次微分値Ｒ’，Ｇ’，Ｂ’が合成され、これにより、画像Ｃの画素間の画素値の変化（色変化）Ｃ’が算出される。即ち、１次微分値Ｒ’，Ｇ’，Ｂ’を、それぞれ（ｒｘ，ｒｙ），（ｇｘ，ｇｙ），（ｂｘ，ｂｙ）と表すとともに、Ｃ’を（ｃｘ，ｃｙ）と表すとすれば（（ａ，ｂ）のａまたはｂは、それぞれｘまたはｙ成分を表す）、ステップＳ１−３では、画素値の変化Ｃ’のｘ成分ｃｘ、またはｙ成分ｃｙが、式ｒｘ＋ｇｘ＋ｂｘ、またはｒｙ＋ｇｙ＋ｂｙそれぞれによって与えられ、処理を終了する。
【００９１】
変化検出部１において、以上のようにして求められた画素値の変化Ｃ’は、特徴点検出部２および積分値計算部４に供給される。特徴点検出部２は、変化検出部１から画素値の変化Ｃ’を受信すると、ステップＳ２（図８）において、その画素値の変化Ｃ’から、経路決定用閉曲線および特徴点を検出する。
【００９２】
即ち、図１３は、特徴点検出部２の構成例を示している。境界検出部２−１には、変化検出部１からの画素値の変化Ｃ’が供給されるようになされている。そして、境界検出部２−１は、画素値の変化Ｃ’から、画像Ｃを構成する前景（物体）Ｆと背景Ｂとの境界を検出するようになされている。即ち、境界検出部２１は、例えば、画素値の変化Ｃ’が大きい点（画素）を検出し、そのような点を接続することにより構成される、例えば、図１４（ａ）に示すような閉曲線（この閉曲線は、後述する積分経路を決定するために用いられるので、以下、適宜、経路決定用閉曲線という）を、前景Ｆと背景Ｂとの境界（画像Ｃにおける物体の境界）として検出するようになされている。
【００９３】
境界検出部２−１で検出された経路決定用閉曲線は、特徴点決定部２−２に供給されるようになされており、特徴点決定部２−２は、図１４（ｂ）に示すように、境界検出部２−１からの経路決定用閉曲線上の所定の点を、特徴点として決定するようになされている。即ち、特徴点決定部２−２は、例えば、経路決定用閉曲線を構成する点のうち、その曲率が高い点を検出し、その点を、特徴点として決定する。
【００９４】
あるいは、また、特徴点決定部２−２は、例えば、図１４（ｃ）に示すように、経路決定用閉曲線を囲む閉曲線（同図（ｃ）において点線で示す部分）を考え、その閉曲線と、経路決定用閉曲線とで囲まれる背景Ｂの領域を、その画素値の変化Ｃ’が比較的一定な、幾つかの領域（以下、適宜、背景一定領域という）に分割する。さらに、特徴点決定部２−２は、経路決定用閉曲線を、背景一定領域単位に区切り、これにより微小区間に分割する。そして、特徴点決定部２−２は、各微小区間における中点を検出し、その点を、特徴点として決定する。
【００９５】
なお、特徴点の検出方法については、本件出願人が先に出願した、例えば特願平７−１４０９３２号などに、その詳細が開示されている。
【００９６】
次に、図１５のフローチャートを参照して、その動作について説明する。境界検出部２−１は、変化検出部１から画素値の変化Ｃ’を受信すると、ステップＳ２−１において、その画素値の変化Ｃ’が大きい点（画素）を検出し、そのような点を接続することで、経路決定用閉曲線を構成する。この経路決定用閉曲線は、特徴点決定部２−２に供給され、特徴点決定部２−２は、経路決定用閉曲線を受信すると、ステップＳ２−２において、上述したように、その経路決定用閉曲線上の所定の点を、特徴点として決定し、処理を終了する。
【００９７】
なお、境界検出部２−１または特徴点決定部２−２においてそれぞれ得られた経路決定用閉曲線または特徴点は、Ｆ−Ｂ検出部３および積分値計算部４に供給される。
【００９８】
図８に戻り、ステップＳ２において、以上のようにして経路決定用閉曲線および特徴点が検出されると、ステップＳ３に進み、Ｆ−Ｂ検出部３において、画像Ｃを構成する前景Ｆと背景Ｂとの差分Ｆ−Ｂ（前景Ｆと背景Ｂとの画素値の差分）が演算（検出）される。
【００９９】
即ち、図１６は、図７のＦ−Ｂ検出部３の構成例を示している。微小領域検出部３−１には、画像Ｃ（画像値）の他、特徴点検出部２が出力する特徴点および経路決定用閉曲線が供給されるようになされており、微小領域検出部３−１は、例えば、図１７（ａ）に示すように、特徴点を含む微小領域を検出するようになされている。即ち、微小領域検出部３−１は、図１７（ａ）の一部を拡大した図１７（ｂ）に示すように、例えば、特徴点から等距離にある点で、経路決定用閉曲線を微小な線分に分割し、その線分から、前景Ｆまたは背景Ｂ側に所定の距離（例えば、４画素分の距離など）にある範囲を、微小領域（図１７（ｂ）において斜線を付してある部分）として検出する。
【０１００】
そして、微小領域検出部３−１は、各微小領域について、その領域に含まれる前景Ｆを構成する画素（経路決定用閉曲線より前景Ｆ側にある画素）（同図（ｂ）において左下がりの斜線を付してある部分）を抽出し、その画素の画素値（以下、適宜、Ｆ境界画素値という）を色分布形成部３−２Ｆに供給するとともに、背景Ｂを構成する画素（経路決定用閉曲線より背景Ｂ側にある画素）（同図（ｂ）において右下がりの斜線を付してある部分）を抽出し、その画素の画素値（以下、適宜、Ｂ境界画素値という）を色分布形成部３−２Ｂに供給するようになされている。
【０１０１】
色分布形成部３−２Ｆまたは３−２Ｂは、微小領域検出部３−１から供給される各微小領域ごとのＦ境界画素値またはＢ境界画素値の、例えばＲＧＢ空間などの色空間上における色分布を求め、重心検出部３−３Ｆまたは３−３Ｂにそれぞれ供給するようになされている。重心検出部３−３Ｆまたは３−３Ｂは、色分布形成部３−２Ｆまたは３−２ＢからのＦ境界画素値またはＢ境界画素値の色分布の重心を求め、それぞれを、グレー領域における画素の、前景Ｆまたは背景Ｂの画素値として（擬制して）、差分演算部３−４に供給するようになされている。差分演算部３−４は、図１８に示すように、重心検出部３−３Ｆより供給されるＦ境界画素値の色分布の重心から、重心検出部３−３Ｂより供給されるＢ境界画素値の色分布の重心を減算し、これを、微小領域（あるいは、その微小領域に含まれる特徴点）における前景Ｆと背景Ｂとの差分Ｆ−Ｂ（前景Ｆと背景Ｂとの画素値の差分）（従って、これもＣ’と同様、ベクトルである）として出力するようになされている。
【０１０２】
次に、その動作について、図１９のフローチャートを参照して説明する。まず最初に、ステップＳ３−１では、微小領域検出部３−１において、特徴点および経路決定用閉曲線に基づいて、図１７で説明した微小領域が検出され、さらに、その微小領域におけるＦ境界画素値およびＢ境界画素値が抽出され、それぞれが、色分布形成部３−２Ｆまたは３−２Ｂに供給される。
【０１０３】
色分布形成部３−２Ｆまたは３−２Ｂでは、ステップＳ３−２において、ある微小領域におけるＦ境界画素値またはＢ境界画素値のＲＧＢ空間上における色分布が求められ、重心検出部３−３Ｆまたは３−３Ｂにそれぞれ供給され、ステップＳ３−３に進む。ステップＳ３−３では、重心検出部３−３Ｆまたは３−３Ｂそれぞれにおいて、Ｆ境界画素値またはＢ境界画素値の色分布の重心が算出（検出）され、差分演算部３−４に供給される。差分演算部３−４では、ステップＳ３−４において、Ｆ境界画素値の色分布の重心と、Ｂ境界画素値の色分布の重心との差分値が求められ、これが、微小領域に含まれる特徴点における前景Ｆと背景Ｂとの差分Ｆ−Ｂとして出力される。
【０１０４】
以上のようにして、ある微小領域に含まれる特徴点における前景Ｆと背景Ｂとの差分Ｆ−Ｂが得られた後は、ステップＳ３−５に進み、微小領域検出部３−１において検出されたすべての微小領域（特徴点検出部２で検出されたすべての特徴点）について、差分Ｆ−Ｂが求められたかどうかが判定される。ステップＳ３−５において、差分Ｆ−Ｂが、まだ、すべての微小領域について求められていないと判定された場合、ステップＳ３−２に戻り、差分Ｆ−Ｂが求められていない微小領域を対象に、ステップＳ３−２以下の処理が行われる。一方、ステップＳ３−５において、差分Ｆ−Ｂが、すべての微小領域について求められたと判定された場合、処理を終了する。
【０１０５】
なお、以上のようにして得られる前景Ｆと背景Ｂとの差分（ベクトル）Ｆ−Ｂの方向は、エッジ強度が最大となる方向に一致（ほぼ一致）し、従って、Ｆ−Ｂの方向とＣ’の方向とは一致（ほぼ一致）する。
【０１０６】
さらに、図１６の実施例では、画素値の変化Ｃ’から得られた経路決定用閉曲線（前景Ｆと背景Ｂとの境界）から、微小領域を求め、この微小領域から、差分Ｆ−Ｂを求めるようにしたが、Ｆ−Ｂ検出部３には、差分Ｆ−Ｂを、その他、例えば次のようにして求めさせるようにすることも可能である。即ち、例えば、Ｆ−Ｂ検出部３に対しては、画像Ｃのフレームだけではなく、その前後の、動画像を構成するフレームも時系列に入力するようにし、Ｆ−Ｂ検出部３には、いま入力されたフレームを、次のフレームが入力されるまで記憶させるようにする。さらに、Ｆ−Ｂ検出部３には、キー信号を生成するための画像Ｃが入力された場合に、その画像Ｃのフレームと、記憶していた、その１つ前のフレームとを、いわゆるブロックマッチングさせ、その結果および必要ならばそれ以前のブロックマッチングの結果に基づいて、前景Ｆと背景Ｂとの境界を検出させる。そして、その境界から推測される経路決定用閉曲線上の特徴点を決定させ、図１９のステップＳ３−１，Ｓ３−２における場合と同様にして各特徴点を含む微小領域を検出させる。その後、この検出した各微小領域ごとに、画像Ｃを構成する前景Ｆまたは背景Ｂそれぞれの色分布を認識させ、以下、図１９のステップＳ３−３，Ｓ３−４における場合と同様に、前景Ｆまたは背景Ｂそれぞれの色分布の重心を求めさせ、さらに、背景Ｂの色分布の重心の位置に対する背景Ｆの色分布の重心の位置の方向、および両者の色空間上での距離、即ち、前景Ｆと背景Ｂとの差分Ｆ−Ｂを求めさせる。
【０１０７】
この場合、特徴点検出部２からＦ−Ｂ検出部３に対しては、経路決定用閉曲線および特徴点を供給する必要がない。
【０１０８】
なお、上述のようなブロックマッチングを用いて、前景Ｆと背景Ｂとの境界を検出する方法については、例えば特願平７−１６４７９２号などに、その詳細が開示されている。
【０１０９】
また、前景Ｆと背景Ｂとの境界を検出する方法は、上述したような、画素値の変化Ｃ’を用いる方法や、ブロックマッチングを用いる方法に限定されるものではなく、前景Ｆと背景Ｂとの境界の検出は、例えば図２７において後述するように、ユーザにより指示してもらうことによって行うようにすることなども可能である。さらに、前景Ｆと背景Ｂとの境界は、例えば、ユーザにより指示してもらう方法と、画素値の変化Ｃ’を用いる方法とを併用して検出することも可能である。また、前景Ｆと背景Ｂとの境界は、例えば、ユーザにより指示してもらう方法と、ブロックマッチングを用いる方法とを併用して検出するようにすることも可能である。即ち、例えば、最初のフレームについては、前景Ｆと背景Ｂとの境界を、ユーザに指示してもらい、その後のフレームについては、ブロックマッチングにより、前景Ｆと背景Ｂとの境界を検出するようにすることができる。
【０１１０】
さらに、差分Ｆ−Ｂを検出する方法は、上述した方法に限定されるものではなく、その他の方法を用いることも可能である。
【０１１１】
また、図８では、ステップＳ２の処理後、ステップＳ３の処理を行うようにしたが、特徴点検出部２からＦ−Ｂ検出部３に対して、経路決定用閉曲線および特徴点を供給する必要がない場合には、ステップＳ２とＳ３の処理は、その逆の順序で行うようにすることもできるし、同時に行うようにすることもできる。
【０１１２】
図８に戻り、ステップＳ３において、以上のようにして求められた差分Ｆ−Ｂは、Ｆ−Ｂ検出部３から積分値計算部４に供給される。積分値計算部４では、ステップＳ４において、変化検出部１からの画素値の変化Ｃ’が、Ｆ−Ｂ検出部３からの差分Ｆ−Ｂの絶対値｜Ｆ−Ｂ｜により規格化され、ステップＳ５に進み、その規格値Ｃ’／｜Ｆ−Ｂ｜が、例えば、画素値の変化Ｃ’を算出（検出）した方向などに沿って積分されることにより、キー信号αの骨組み部分が算出される。
【０１１３】
即ち、上述したように、画像Ｃの画素間の画素値の変化Ｃ’と、キー信号の微分値α’との間には比例関係があり、その比例定数は、画像Ｃを構成する前景と背景との差分Ｆ−Ｂであること、即ち、式Ｃ’＝（Ｆ−Ｂ）α’が成立することから、キー信号は、次式によって求めることができる。
【０１１４】
【数３】
【０１１５】
従って、ステップＳ４では、式（１７）の右辺を構成するＣ’／｜Ｆ−Ｂ｜、即ちＣ’を｜Ｆ−Ｂ｜で規格化した規格値が求められ、ステップＳ５では、式（１７）の右辺における積分、即ち、例えば、画素値の変化Ｃ’を検出した方向に沿っての、規格値Ｃ’／｜Ｆ−Ｂ｜の積分が行われる。Ｃ’をそのまま積分せず、これを｜Ｆ−Ｂ｜で規格化したものを積分することで、その結果得られる値、即ちαは、０乃至１の範囲の値をとることになる。
【０１１６】
ここで、ステップＳ５で行われる積分について、さらに説明する。いま、図２０に示すように、画像Ｃが存在するｘｙ平面に、それと垂直なｚ軸を設けた空間を考え、ｚ軸方向に画素値をとると、その空間には、画素値でなる平面（曲面）Ｖが形成される。なお、画像Ｃがカラーの画像であれば、画素値には、上述したようにＲＧＢやＹＵＶなどの３成分があるが、ここでは、説明を簡単にするために、画素値が１成分でなるとする。
【０１１７】
この場合、画像Ｃ上のある点ｐを通り、ｘｙ平面と垂直な直線と、平面Ｖとの交点における勾配、即ち、位置ｐにある画素の画素値Ｃ（ｐ）の変化は、その点Ｃ（ｐ）から平面Ｖを見た場合の最大傾斜方向のベクトル（点Ｃ（ｐ）における平面Ｖのgradientを計算することにより得られるベクトル）として表すことができる。
【０１１８】
ここで、最大傾斜方向とは、点Ｃ（ｐ）に無限小の大きさのボールを置いた場合に、そのボールが転がっていく方向である。
【０１１９】
いま、点Ｃ（ｐ）にボールを置いて、そのボールが、点Ｃ（ｐ０）まで落下した（転がった）とした場合に、そのボールが、平面Ｖ上に描いた軌跡（経路）をＵとすると、式（１７）の積分は、この経路（以下、適宜、最大傾斜方向経路という）Ｕに沿っての積分を意味し、また、式（１７）は、この積分を行うことで、位置ｐにある画素に対するキー信号α（ｐ）が求められることを意味している。
【０１２０】
従って、位置ｐ０にある画素に対するキー信号α（ｐ０）が分かれば、式（１７）から、次式にしたがって、位置ｐにある画素に対するキー信号α（ｐ）を求めることができる。
【０１２１】
【数４】
【０１２２】
ステップＳ５では、例えば、式（１８）の右辺の計算が行われることなどによって、キー信号（キー信号の骨組み部分）が求められる。
【０１２３】
なお、式（１８）の右辺の積分は、必ずしも最大傾斜方向経路Ｕに沿って行う必要はない。即ち、点Ｃ（ｐ）から点Ｃ（ｐ０）までの経路として、最大傾斜方向経路Ｕでない経路Ｕ１（図２０）に沿って積分を行うことも可能である。即ち、式（１８）の右辺の積分は、最大傾斜方向経路Ｕ上の各点の勾配を積分することを意味するから、その他の経路Ｕ１に沿って積分していく場合には、その経路Ｕ１上の各点の勾配のうちの、最大傾斜方向経路Ｕの方向の成分を積分（従って、この積分も、結局は、最大傾斜方向経路Ｕに沿っての積分と同一であるということができる）していくことで、最大傾斜方向経路Ｕに沿って積分を行った場合と同一のキー信号を求めることができる。
【０１２４】
但し、最大傾斜方向経路Ｕ以外の経路に沿って積分を行う場合は、最大傾斜方向経路Ｕに沿って積分を行う場合に比較して演算量が増加するので、積分は、最大傾斜方向経路Ｕに、できるだけ沿って行うのが好ましい。
【０１２５】
図２１は、以上のような処理を行う、図７の積分値計算部４の構成例を示している。特徴点検出部２からの経路決定用閉曲線および特徴点は、積分経路決定部４−１に供給されるようになされており、また、変化検出部１からの画素値の変化Ｃ’およびＦ−Ｂ検出部３からの差分Ｆ−Ｂは、規格化実行部４−２に供給されるようになされている。
【０１２６】
積分経路決定部４−１は、特徴点検出部２からの経路決定用閉曲線および特徴点に基づいて、式（１８）の積分を行うための積分経路を決定するようになされている。即ち、積分経路決定部４−１は、図２２（ａ）に示すように、経路決定用閉曲線の法線方向の直線であって、特徴点を通るものを、その特徴点についての積分経路として決定する。以上のようにして求められた特徴点についての積分経路は、規格化実行部４−２および積分実行部４−３に供給されるようになされている。
【０１２７】
なお、このようにして決定された積分経路は、ほぼ、最大傾斜方向経路Ｕに沿ったものとなる。
【０１２８】
規格化実行部４−２は、積分経路決定部４−１から供給される積分経路上にある画素の画素値の変化Ｃ’を、差分Ｆ−Ｂの絶対値｜Ｆ−Ｂ｜で規格化した規格値Ｃ’／｜Ｆ−Ｂ｜（規格化情報）を求め、積分実行部４−３に供給するようになされている。積分実行部４−３は、式（１８）にしたがい、規格値Ｃ’／｜Ｆ−Ｂ｜の積分を、積分経路決定部４−１からの積分経路に沿って行い、これにより、その積分経路上のキー信号を求めるようになされている。この積分経路上のキー信号は、閉曲線生成部４−４に供給されるようになされており、閉曲線生成部４−４は、積分実行部４−３より供給されるキー信号から、後述するｐ１閉曲線およびｐ２閉曲線を生成するようになされている。
【０１２９】
即ち、積分実行部４−３において、図２２（ａ）に示した積分経路に沿って、式（１８）にしたがった積分が行われることにより、その積分経路上のキー信号αが得られるが、そのキー信号は、グレー領域と背景Ｂとの境界で０となり、また、グレー領域と前景Ｆとの境界で１となる。閉曲線生成部４−４では、図２２（ａ）に示すように、各積分経路上のキー信号が０となる点（α＝０となる点）（以下、適宜、点ｐ１という）が求められるとともに、キー信号が１となる点（α＝１となる点）（以下、適宜、点ｐ２という）が求められ、各積分経路上の点ｐ１またはｐ２どうしがそれぞれ接続される。そして、図２２（ｂ）に示すように、点ｐ１どうしを接続して得られる閉曲線がｐ１閉曲線として、また、点ｐ２どうしを接続して得られる閉曲線がｐ２閉曲線として、それぞれ出力される。
【０１３０】
積分実行部４−３で得られたキー信号、並びに閉曲線生成部４−４で得られたｐ１曲線およびｐ２曲線は、キー信号生成部５（図７）に供給されるようになされている。
【０１３１】
次に、その動作について、図２３のフローチャートを参照して説明する。まず最初に、ステップＳ４−１において、積分経路決定部４−１は、特徴点検出部２から受信した特徴点のうちのいずれかを注目特徴点とし、その注目特徴点を通る直線であって、特徴点検出部２からの経路決定用閉曲線の法線方向のものを、その注目特徴点についての積分経路として決定する。この注目特徴点についての積分経路は、規格化実行部４−２および積分実行部４−３に供給される。
【０１３２】
そして、ステップＳ４−２に進み、規格化実行部４−２において、積分経路決定部４−１からの積分経路上にある画素の画素値の変化Ｃ’が、Ｆ−Ｂ検出部３から供給される差分Ｆ−Ｂであって、注目特徴点を含む微小領域（図１７）から求められたものの絶対値｜Ｆ−Ｂ｜で除算され、その結果得られる規格値Ｃ’／｜Ｆ−Ｂ｜が、積分実行部４−３に供給される。積分実行部４−３は、積分経路およびその積分経路上にある画素についての規格値Ｃ’／｜Ｆ−Ｂ｜を受信すると、ステップＳ４−３において、式（１８）にしたがい、規格値Ｃ’／｜Ｆ−Ｂ｜を、積分経路決定部４−１からの積分経路に沿って積分し、これにより、その積分経路上のキー信号αを算出する。このキー信号は、閉曲線生成部４−４に供給される。
【０１３３】
ここで、積分実行部４−３では、例えば、注目特徴点が、α＝０．５となる点とみなされ、この注目特徴点を始点として、式（１８）の積分が行われる。従って、ここでは、式（１８）の積分は、α（ｐ０）を０．５として行われる。
【０１３４】
その後、ステップＳ４−４に進み、積分経路決定部４−１は、特徴点検出部２からの特徴点すべてを、注目特徴点としたかどうかを判定する。ステップＳ４−４において、特徴点検出部２からの特徴点すべてを、まだ、注目特徴点としていないと判定された場合、ステップＳ４−１に戻り、積分経路決定部４−１において、まだ注目特徴点とされていない特徴点が、新たに注目特徴点とされ、以下、上述した処理が繰り返される。
【０１３５】
一方、ステップＳ４−４において、特徴点すべてを、注目特徴点としたと判定された場合、即ち、特徴点検出部２から供給された各特徴点を通る積分経路すべてに沿っての、式（１８）の積分が行われ、これにより、それらの積分経路上のキー信号（以下、適宜、キー信号の骨組み部分という）が求められた場合、ステップＳ４−５に進み、閉曲線生成部４−４において、ｐ１閉曲線およびｐ２閉曲線が生成され、処理を終了する。
【０１３６】
即ち、閉曲線生成部４−４は、積分実行部４−３からの各積分経路上のキー信号から、点ｐ１（α＝０の点）およびｐ２（α＝１の点）を検出し、点ｐ１どうし、または点ｐ２どうしを接続することで、ｐ１閉曲線またはｐ２閉曲線をそれぞれ生成する。
【０１３７】
なお、積分実行部４−３では、積分経路決定部４−１から供給される積分経路に沿っての積分は、例えば、その積分経路のうち、キー信号αが０となる点（点ｐ１）と、１となる点（点ｐ２）との間の線分（以下、適宜、経路線分という）、即ち、グレー領域内にある積分経路を対象に行われるようになされている（これは、グレー領域以外の領域におけるキー信号αは、０または１のうちのいずれかの値をとるから、そのような領域についてのαは、式（１８）にしたがって求める必要がないからである）。従って、積分実行部４−３では、経路線分上におけるキー信号αだけが算出されるようになされており、上述の骨組み部分とは、積分経路決定部４−１から供給される積分経路すべてにおける経路線分を意味する。
【０１３８】
図８に戻り、以上のようにして積分値計算部４において得られたキー信号の骨組み部分、並びにｐ１閉曲線およびｐ２閉曲線は、キー信号生成部５に供給される。
【０１３９】
キー信号生成部５では、ステップＳ６において、キー信号の骨組み部分に対して補間が行われ、これにより、画像Ｃ全体に対応するキー信号が生成され、処理を終了する。
【０１４０】
即ち、図２４は、キー信号生成部５の構成例を示している。グレー領域内補間部５−１には、積分値計算部４からキー信号の骨組み部分が、後述する０／１割当部５−２からｐ１閉曲線およびｐ２閉曲線上のキー信号が、それぞれ供給されるようになされており、グレー領域内補間部５−１は、図２５（ａ）に斜線を付して示す、グレー領域のうちの、骨組み部分、ｐ１閉曲線、およびｐ２閉曲線を除く領域（骨組み部分、ｐ１閉曲線、およびｐ２閉曲線で囲まれる領域）におけるキー信号の補間を行うようになされている。
【０１４１】
即ち、図２５（ａ）は、画像Ｃをｘｙ平面上に配置し、そのｘｙ平面に垂直な軸（α軸）をとったｘｙα空間を示している。いま、このｘｙα空間において、そのα軸方向に、画像Ｃ上の各点におけるキー信号をプロットするものとすると、グレー領域内補間部５−１に供給されるキー信号は、キー信号の骨組み部分（経路線分上のキー信号）、並びにｐ１閉曲線上のキー信号（ｐ１閉曲線は、α＝０の点である点ｐ１が接続されたものであるから、そこにおけるキー信号の値は０）およびｐ２閉曲線上のキー信号（ｐ２閉曲線は、α＝１の点である点ｐ２が接続されたものであるから、そこにおけるキー信号の値は１）であるから、経路線分上に、キー信号の骨組み部分に対応する点がプロットされるとともに、ｐ１閉曲線またはｐ２曲線上に、α＝０またはα＝１の点がそれぞれプロットされ、これにより、ｘｙα空間上に、同図（ａ）に太線で示すような枠（以下、適宜、骨組み枠というが形成される。
【０１４２】
そして、グレー領域内補間部５−１は、骨組み枠の内部を補間する曲面Ｑを生成し、この曲面Ｑが与えるαを、曲面Ｑをｘｙ平面に射影したときに形成される領域（図２５（ａ）において斜線を付してある部分）（以下、適宜、パッチ領域という）内の各点におけるキー信号とするようになされている。
【０１４３】
なお、グレー領域内補間部５−１は、図２５（ｂ）に示すように、ｐ１閉曲線およびｐ２閉曲線、並びに経路線分によって囲まれる領域、即ち、パッチ領域すべてについて、上述したようなキー信号の補間を行うようになされている。
【０１４４】
キー信号の骨組み部分、ｐ１閉曲線上のキー信号（α＝０）、ｐ２閉曲線上のキー信号（α＝１）、および補間により得られたパッチ領域のキー信号は、グレー領域内補間部５−１から合成部５−４に供給されるようになされている。
【０１４５】
０／１割当部５−２には、積分値計算部４からｐ１閉曲線およびｐ２閉曲線が供給されるようになされており、０／１割当部５−２は、ｐ１閉曲線またはｐ２閉曲線上のキー信号αとして、それぞれ０または１を割り当て、グレー領域内補間部５−１に供給するようになされている。グレー領域外補間部５−３には、ｐ１閉曲線およびｐ２閉曲線が供給されるようになされており、グレー領域外補間部５−３は、図２５（ｂ）に示すように、画像Ｃの画枠とｐ１閉曲線とに挟まれる領域（完全に、背景Ｂである領域）（以下、適宜、α０領域という）内の各点におけるキー信号として０を補間するとともに、ｐ２閉曲線に囲まれる領域（完全に、前景Ｆである領域）（以下、適宜、α１領域という）内の各点におけるキー信号として１を補間し、合成部５−４に供給するようになされている。
【０１４６】
合成部５−４は、グレー領域内補間部５−１からのキー信号の骨組み部分、ｐ１閉曲線上のキー信号、ｐ２閉曲線上のキー信号、および補間により得られたパッチ領域のキー信号、並びにグレー領域外補間部５−３からのα０領域のキー信号、およびα１領域のキー信号を合成し（画像Ｃの画枠内の、対応する位置に配置し）、これにより、画像Ｃ全体に対応するキー信号を生成するようになされている。
【０１４７】
次に、図２６のフローチャートを参照して、その動作について説明する。まず最初にステップＳ５−１では、０／１割当部５−２において、ｐ１閉曲線またはｐ２閉曲線に０または１がそれぞれ割り当てられ、これにより、ｐ１閉曲線上のキー信号とｐ２閉曲線上のキー信号とが生成される。このｐ１閉曲線上のキー信号およびｐ２閉曲線上のキー信号は、グレー領域内補間部５−１に供給される。グレー領域内補間部５−１は、０／１割当部５−２からｐ１閉曲線上のキー信号およびｐ２閉曲線上のキー信号を受信すると、ステップＳ５−２において、図２５（ａ）で説明したように、骨組み枠を形成し、さらに、その骨組み枠内を補間する曲面（補間曲面）Ｑを生成する。そして、グレー領域内補間部５−１は、ステップＳ５−３に進み、その曲面Ｑに基づいて、パッチ領域のキー信号を生成し、合成部５−４に出力する。
【０１４８】
その後、ステップＳ５−４において、グレー領域外補間部５−３は、α０領域内の各点におけるキー信号として０を補間するとともに、α１領域内の各点におけるキー信号として１を補間し、合成部５−４に供給する。そして、合成部５−４では、ステップＳ５−５において、グレー領域内補間部５−１からのキー信号の骨組み部分、ｐ１閉曲線上のキー信号、ｐ２閉曲線上のキー信号、および補間により得られたパッチ領域のキー信号、並びにグレー領域外補間部５−３からのα０領域のキー信号、およびα１領域のキー信号が合成され、これにより、画像Ｃ全体に対応するキー信号が生成される。そして、合成部５−４は、このキー信号（連続したキー信号）を、例えば、前述したようにフィルタリングすることなどによって、画素単位のキー信号に変換し、これを、画像Ｃから前景Ｆを抜き出し、また、その抜き出した前景Ｆを他の画像に合成（キーイング）するためのキー信号として出力し、処理を終了する。
【０１４９】
なお、ステップＳ５−４の処理は、ステップＳ５−１乃至Ｓ５−３の処理より先行して行うようにすることもできるし、また、同時に行うようにすることもできる。
【０１５０】
さらに、上述の場合においては、パッチ領域のキー信号を、骨組み枠を補間する曲面Ｑから得るようにしたが、パッチ領域のキー信号は、その他、例えば次のようにして求めるようにすることも可能である。即ち、まず、グレー領域であって、経路線分、ｐ１閉曲線、またはｐ１閉曲線それぞれに隣接する点のキー信号を、既に得られているキー信号の骨組み部分、ｐ１閉曲線上のキー信号、およびｐ２閉曲線上のキー信号に基づいて求め、以下、キー信号を求めた点に隣接する点のキー信号を、既に求められているキー信号に基づいて求めていくようにすることが可能である。
【０１５１】
また、上述の場合では、経路線分上に、キー信号の骨組み部分に対応する点をプロットすとともに、ｐ１閉曲線またはｐ２曲線上に、α＝０またはα＝１の点をそれぞれプロットすることにより形成される骨組み枠を補間する曲面Ｑから、パッチ領域のキー信号を求めるようにしたが、パッチ領域のキー信号は、その他、例えば、さらに、経路決定用閉曲線上に、α＝０．５の点をもプロットすることにより得られる枠を補間する曲面から求めるようにすることも可能である。
【０１５２】
次に、図７の実施例では、経路決定用閉曲線、即ち、前景Ｆと背景Ｂとの境界を、画素値の変化Ｃ’から求めるようにしたが、経路決定用閉曲線は、装置の使用者（ユーザ）からの指示に基づいて求めるようにすることも可能である。
【０１５３】
即ち、図２７は、ユーザからの指示に基づいて、経路決定用閉曲線を算出するキー信号生成装置の構成例を示している。なお、図中、図７における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、このキー信号生成装置は、特徴点検出部２に代えて特徴点検出部１２が設けられ、さらに、操作部１１が新たに設けられている他は、図７のキー信号生成装置と同様に構成されている。
【０１５４】
操作部１１は、例えば、タブレットおよびペンや、マウスなどでなり、図示せぬディスプレイに表示された画像Ｃを見ながら、その前景Ｆと背景Ｂとの境界を指示するときに操作されるようになされており、その操作に対応する操作信号は、特徴点検出部１２に供給されるようになされている。
【０１５５】
特徴点検出部１２は、操作部１１からの操作信号に基づいて、経路決定用閉曲線および特徴点を検出するようになされている。即ち、図２８は、特徴点検出部１２の構成例を示している。なお、図中、図１３における特徴点検出部２における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、特徴点検出部１２は、境界検出部２−１に代えて、細線化部１２−１が設けられている他は、特徴点検出部２と同様に構成されている。
【０１５６】
細線化部１２−１は、操作部１１から供給される操作信号に基づいて、前景Ｆと背景Ｂとの境界に対応する、ユーザにより指示された線（以下、適宜、指示線という）を認識し、その細線化を行うことで、経路決定用閉曲線を検出するようになされている。即ち、指示線は、例えば、画像Ｃが表示されたディスプレイに、その画像Ｃに重ねて表示されるようになされており、従って、図２９（ａ）に示すように、１画素以上の幅を有する線となる。そこで、細線化部１２−１は、このような幅を有する指示線から、幅のない理想的な線としての経路決定用閉曲線を求めるため、例えば図２９（ｂ）に示すように、指示線を構成する画素の中心（同図（ｂ）において、×印で示す部分）からの距離の２乗誤差を最小にする線（曲線）が、最小２乗法により求められ、これが、経路決定用閉曲線とされる。
【０１５７】
この経路決定用閉曲線は、細線化部１２−１から特徴点決定部２−２に供給されるようになされている。
【０１５８】
なお、指示線の細線化の方法は、上述の手法に限定されるものではなく、その他の方法を用いることも可能である。即ち、例えば、指示線を構成する画素を、外側のものから取り除いていくことで、幅が１画素でなる細線を生成し、さらに、その細線を構成する画素の中心を通る線を最も良く近似する線を求め、これを、経路決定用閉曲線とするようにすることなどが可能である。
【０１５９】
以上のように構成されるキー信号生成装置では、ユーザによって操作部１１が操作されることにより、前景Ｆと背景Ｂとの境界（境界を構成する画素）に対応する指示線が指示されると、特徴点検出部１２の細線化部１２−１において、その指示線の細線化が行われることにより、経路決定用閉曲線が求められ、特徴点決定部２−２に供給される。以下、図７における場合と同様の処理が行われ、画像Ｃ全体に対応するキー信号αが求められる。
【０１６０】
従って、この場合、経路決定用閉曲線が、ユーザの指示（指示線）に基づいて求められるので、それを求めるのに、画素値の変化Ｃ’は必要なくなる。即ち、この場合、変化検出部１から特徴点検出部１２に対し、画素値の変化Ｃ’を供給する必要はない。
【０１６１】
次に、図７においては、Ｆ−Ｂ検出部３で、差分Ｆ−Ｂを求め、これにより画素値の変化Ｃ’を規格化した後に、キー信号を求めるようにしたが、キー信号生成装置は、Ｆ−Ｂ検出部３を設けずに構成することが可能である。
【０１６２】
即ち、図３０は、本発明を適用したキー信号生成装置の他の実施例の構成を示している。なお、図中、図７における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、このキー信号生成装置は、Ｆ−Ｂ検出部３が削除され、積分値計算部４に代えて、積分値計算部２１が設けられている他は、図７のキー信号生成装置と同様に構成されている。
【０１６３】
積分値計算部２１は、画素値の変化Ｃ’の量（大きさ）が所定の閾値Ｋ以上となる範囲（以下、適宜、積分範囲という）において、その変化量を、例えば、画素値Ｃ’の変化を検出した方向などに沿って積分し、その積分値に基づいて、キー信号（キー信号の骨組み部分）を算出するようになされている。
【０１６４】
即ち、積分値計算部２１は、まず、例えば最大傾斜方向経路Ｕ（但し、上述したように、経路自体は、最大傾斜方向経路Ｕ以外の経路であっても良い）上の点ｐのうち、グレー領域の境界上の点、即ち、キー信号αが０または１となる点である点ｐ１またはｐ２を求める。具体的には、積分値計算部２１は、例えば、図３１（ａ）に示すように、変化検出部１より供給される画素値の変化Ｃ’の大きさが、所定の閾値Ｋとなる２つの点を求め、それぞれを点ｐ１またはｐ２とする（例えば、背景Ｂ側から前景Ｆ側に、画素値の変化Ｃ’を見ていった場合には、最初に、画素値の変化Ｃ’が閾値Ｋとなる点が、点ｐ１とされ、その後、画素値の変化Ｃ’が閾値Ｋとなる点が、点ｐ２とされる）。
【０１６５】
さらに、積分値計算部２１は、例えば、最大傾斜方向経路Ｕに沿って、点ｐ１乃至ｐ２の範囲（積分範囲）の画素値Ｃ’の変化の積分値（定積分値）Ｄ（定積分情報）を次式にしたがって算出する。
【０１６６】
【数５】
そして、積分値計算部２１は、画素値の変化Ｃ’を定積分値Ｄで規格化することにより、規格値Ｃ’／Ｄを求め、この規格値Ｃ’／Ｄを、例えば、式（２０）にしたがって積分することで、点（位置）ｐの画素に対するキー信号αを求める。
【０１６８】
【数６】
定積分値Ｄは、図７の実施例における場合の差分Ｆ−Ｂの絶対値｜Ｆ−Ｂ｜に相当し、従って、この定積分値Ｄにより、画素値の変化Ｃ’の規格化し、式（２０）による積分を行うようにすることで、図３１（ｂ）に示すように、０乃至１の範囲の値をとるキー信号αを、容易に得ることができる。なお、この場合、点（位置）ｐ１乃至ｐ２の範囲（同図（ｂ）において「有効な幅」と記載してある部分）におけるキー信号αが得られるが、その他の範囲、即ち、図中、点ｐ１より左側の範囲または点ｐ２より右側の範囲におけるキー信号αの値は、それぞれ０または１とされる（この０および１の補間は、上述したように、キー信号生成部５において行われる）。
【０１７０】
従って、このキー信号生成装置には、Ｆ−Ｂ検出部３を設ける必要がないので、図７の場合に比較して、装置を小型に構成することができる。
【０１７１】
次に、図３２を参照して、図３０のキー信号生成装置の動作について説明する。まず最初に、ステップＳ２１では、変化検出部１において、図８のステップＳ１における場合と同様にして、画像（入力画像）Ｃの画素間の画素値の変化Ｃ’が算出され、特徴点検出部２および積分値計算部２１に供給される。
【０１７２】
特徴点検出部２は、変化検出部１より画素値の変化Ｃ’を受信すると、ステップＳ２２において、図８のステップＳ２における場合と同様にして、経路決定用閉曲線および特徴点を検出し、積分値計算部２１に出力する。
【０１７３】
積分値計算部２１は、変化検出部１より画素値の変化Ｃ’を、特徴点検出部２より経路決定用閉曲線および特徴点を、それぞれ受信すると、ステップＳ２３において、例えば、図７の積分値計算部４における場合と同様に積分経路を決定し、さらに、その積分経路上において、図３１（ａ）で説明したように、画素値の変化Ｃ’の大きさが、所定の閾値Ｋとなる点ｐ１およびｐ２を求める。そして、積分値計算部２１は、式（１９）にしたがって、点ｐ１乃至ｐ２の間にある、積分経路上の点の画素値Ｃ’の変化量の積分値Ｄを算出し、ステップＳ２４に進む。ステップＳ２４では、積分値計算部２１は、その積分値Ｄで、画素値の変化Ｃ’を規格化し、規格値Ｃ’／Ｄを算出する。その後、積分値計算部２１は、ステップＳ２５において、積分経路（経路線分）を構成する点ｐに対するキー信号、即ち、キー信号の骨組み部分を、式（２０）にしたがって求め、キー信号生成部５に出力する。さらに、積分値計算部２１は、図７の積分値計算部４と同様に、ｐ１閉曲線およびｐ２閉曲線を生成し、キー信号生成部５に出力する。
【０１７４】
キー信号生成部５では、ステップＳ２６において、図８のステップＳ６における場合と同様の処理が行われ、これにより、画像Ｃ全体に対応するキー信号αが生成されて、処理を終了する。
【０１７５】
次に、図３３は、図３０の積分値計算部２１の構成例を示している。
【０１７６】
特徴点検出部２からの経路決定用閉曲線および特徴点は、積分経路決定部２１−１に、変化検出部１からの画素値の変化Ｃ’は、積分経路決定部２１、定積分値算出部２１−２、および規格化実行部２１−３に供給されるようになされている。なお、積分経路決定部２１−１には、さらに、図示せぬ回路より所定の閾値Ｋも供給されるようになされている。
【０１７７】
積分経路決定部２１−１は、特徴点および経路決定用閉曲線に基づいて、図２１の積分経路決定部４−１における場合と同様にして、各特徴点を通る積分経路を決定し、定積分値算出部２１−２、規格化実行部２１−３、および積分実行部２１−４に供給するようになされている。さらに、積分経路決定部２１−１は、各特徴点を通る積分経路上の点ｐのうち、画素値の変化Ｃ’の大きさが、所定の閾値Ｋとなる点、即ち、点ｐ１およびｐ２を求め、定積分値算出部２１−２、積分実行部２１−４、および閉曲線生成部２１−５に供給するようにもなされている。
【０１７８】
定積分値算出部２１−２は、式（１９）にしたがった演算を行うようになされている。即ち、定積分値算出部２１−２は、積分経路決定部２１−１から供給される各特徴点を通る積分経路に沿って、同じく積分経路決定部２１−１から供給される点ｐ１からｐ２までの、画素値の変化Ｃ’の定積分を行い、その結果得られる、各積分経路ごとの積分値（定積分値）Ｄを、規格化実行部２１−３に供給するようになされている。
【０１７９】
規格化実行部２１−３は、積分経路決定部２１−１からの各積分経路上の画素値の変化Ｃ’を、定積分値算出部２１−１から供給される、各積分経路について定積分値Ｄで規格化し、その結果得られる規格値Ｃ’／Ｄを、積分実行部２１−４に供給するようになされている。
【０１８０】
積分実行部２１−４は、式（２０）にしたがった演算を行うようになされている。即ち、積分実行部２１−４は、積分経路決定部３２からの各積分経路に沿っての、規格化実行部２１−３から供給される規格値Ｃ’／Ｄの積分を行うようになされており、その結果得られる各積分経路（経路線分）上の積分値としてのキー信号の骨組み部分を出力するようになされている。なお、積分実行部２１−４において、各積分経路に沿って積分は、式（２０）によれば、積分経路決定部２１−１から供給される各積分経路上の点ｐ１を始点として行われるようになされているが、この積分は、点ｐ２を始点として行うことも可能である。
【０１８１】
閉曲線生成部２１−５は、積分経路決定部２１−１より、すべての積分経路上の点ｐ１およびｐ２を受信すると、その点ｐ１どうし、またはｐ２どうしを接続することにより、それぞれｐ１閉曲線、またはｐ２閉曲線を生成するようになされている。
【０１８２】
次に、図３４のフローチャートを参照して、その動作について説明する。積分値計算部２１では、ステップＳ２１−１において、積分経路決定部２１−１により、図２３のステップＳ４−１における場合と同様の処理が行われ、注目特徴点を通る積分経路が決定され、定積分値算出部２１−２、規格化実行部２１−３、および積分実行部２１−４に供給される。さらに、積分経路決定部２１−１は、ステップＳ２１−２において、注目特徴点を通る積分経路上の点のうち、変化検出部１より供給される画素値の変化Ｃ’の大きさが、所定の閾値Ｋとなる点ｐ１およびｐ２を検出し、定積分値算出部２１−２、積分実行部２１−４、および閉曲線生成部２１−５に供給する。
【０１８３】
定積分値算出部２１−２は、積分経路決定部２１−１より注目特徴点についての積分経路およびその積分経路上の点ｐ１およびｐ２を受信すると、ステップＳ２１−３において、式（１９）にしたがい、その積分経路に沿った、点ｐ１からｐ２までの、画素値の変化Ｃ’の積分を行い、その結果得られる定積分値Ｄを、規格化実行部２１−３に出力する。規格化実行部２１−３では、ステップＳ２１−４において、注目特徴点についての積分経路上の画素の画素値の変化Ｃ’が、定積分値算出部２１−２からの定積分値Ｄで規格化され、その結果得られる規格値Ｃ’／Ｄが、積分実行部２１−４に供給される。
【０１８４】
積分実行部２１−４では、ステップＳ２１−５において、式（２０）にしたがい、規格化実行部２１−３からの規格値Ｃ’／Ｄが、例えば、積分経路決定部２１−１からの点ｐ１を始点として、同じく積分経路決定部４−１からの積分経路に沿って積分され、これにより、その積分経路上のキー信号、即ち、キー信号の骨組み部分が算出される。
【０１８５】
その後、ステップＳ２１−６に進み、積分経路決定部２１−１は、特徴点検出部２からの特徴点すべてを、注目特徴点としたかどうかを判定する。ステップＳ２１−６において、特徴点検出部２からの特徴点すべてを、まだ、注目特徴点としていないと判定された場合、ステップＳ２１−１に戻り、積分経路決定部２１−１において、まだ注目特徴点とされていない特徴点が、新たに注目特徴点とされ、以下、上述した処理が繰り返される。
【０１８６】
一方、ステップＳ２１−６において、特徴点すべてを、注目特徴点としたと判定された場合、即ち、特徴点検出部２から供給された各特徴点を通る積分経路すべてに沿っての、式（２０）の積分が行われ、これにより、それらの積分経路上のキー信号（キー信号の骨組み部分）が求められた場合、ステップＳ２１−７に進み、閉曲線生成部２１−５において、ｐ１閉曲線およびｐ２閉曲線が生成され、処理を終了する。
【０１８７】
即ち、閉曲線生成部２１−５は、積分経路決定部２１−１より供給されたすべての積分経路上の点ｐ１どうし、またはｐ２どうしを接続することにより、それぞれｐ１閉曲線、またはｐ２閉曲線を生成する。
【０１８８】
なお、積分実行部２１−４における積分は、図２１における積分実行部４−３における場合と同様に、積分経路のうちの経路線分のみを対象に行われるようになされている。
【０１８９】
次に、図３５は、本発明を適用した画像合成装置の一実施例の構成を示している。
【０１９０】
画像提供装置６１乃至６３は、例えばビデオテーププレーヤ、あるいはハードディスク装置などのディスクプレーヤなどで、所定の画像を再生して出力するようになされている。なお、ここでは、画像提供装置６１が再生する、前景または背景をそれぞれＦまたはＢとする画像Ｔ１（第１の画像）が、キー信号生成装置６４およびミキサ６５に供給されるようになされており、この画像Ｔ１が、キー信号を生成する対象とされている。また、画像提供装置６２が再生する画像Ｔ２（第２の画像）は、ミキサ６５に供給されるようになされており、この画像Ｔ２に対し、画像Ｔ１の前景Ｆが合成されるようになされている。さらに、画像提供装置６３からは、画像提供装置６１が再生する画像Ｔ１の背景Ｂだけを撮影した画像Ｔ３が再生されるようになされている。即ち、例えば、画像Ｔ１が、ある風景の中を、人物が歩いている状態のものだとすると、その人物（前景Ｆ）を排除した状態で、その風景（背景Ｂ）を撮影した画像Ｔ３が、画像提供装置６３からは再生されるようになされている。この画像提供装置６３が再生する画像Ｔ３は、ミキサ６５に供給されるようになされている。
【０１９１】
キー信号生成装置６４は、図７、図２７、または図３０のキー信号生成装置と同様に構成されており、上述したようにしてキー信号αを生成し、ミキサ６５に出力するようになされている。ミキサ６５は、キー信号生成装置６４からのキー信号αを用いて、そこに入力される画像Ｔ１とＴ２とを合成するようになされている。即ち、ミキサ６５は、画像Ｔ１から前景Ｆを抜き出し、その前景Ｆを、画像Ｔ２に合成（はめ込む）するようになされている。
【０１９２】
次に、その動作について説明する。画像提供装置６１乃至６３では、画像Ｔ１乃至Ｔ３がそれぞれ再生され、ミキサ６５に供給される。さらに、画像提供装置６１が再生する画像Ｔ１は、キー信号生成装置６４にも供給される。キー信号生成装置６４では、上述したようにしてキー信号αが生成され、ミキサ６５に出力される。ミキサ６５では、キー信号αを用いて、そこに入力される画像Ｔ１から前景Ｆが抜き出され、さらにその前景Ｆが、画像Ｔ２に合成され、これにより、画像Ｔ２に前景Ｆを合成した画像（合成画像）Ｔ４が生成される。
【０１９３】
即ち、いま、画像Ｔ１またはＴ２を構成する各位値ｐの画素の画素値を、それぞれＰ（ｐ）またはＱ（ｐ）と表すとするとともに、画像Ｔ１の前景または背景を構成する各位置ｐの画素の画素値それぞれＦ（ｐ）またはＢ（ｐ）とし、合成画像Ｔ４を構成する各位置ｐの画素の画素値をＲ（ｐ）とすると、次式が成立する。
Ｐ（ｐ）＝αＦ（ｐ）＋（１−α）Ｂ（ｐ） ・・・（２１）
Ｒ（ｐ）＝αＦ（ｐ）＋（１−α）Ｑ（ｐ） ・・・（２２）
【０１９４】
ここで、式（２２）の右辺のαＦ（ｐ）を、式（２１）により除去すると、式（２２）は、次のようになる。
Ｒ（ｐ）＝Ｐ（ｐ）−（１−α）Ｂ（ｐ）＋（１−α）Ｑ（ｐ）・・・（２３）
【０１９５】
ミキサ６５では、式（２３）にしたがって、合成画像Ｔ４が生成される。即ち、画素値Ｐ（ｐ），Ｑ（ｐ），Ｂ（ｐ）は、画像提供装置６１乃至６３それぞれからミキサ６５に供給され、キー信号α（ｐ）も、キー信号生成装置６４からミキサ６５に供給される。ミキサ６５では、これらの各画素値およびキー信号を用いて、式（２３）の演算が行われ、これにより、画素値Ｒ（ｐ）でなる画像Ｔ４、即ち、画像Ｔ２に前景Ｆを合成した画像Ｔ４が生成される。
【０１９６】
この画像Ｔ４は、例えば、図示せぬ記録装置（例えば、ビデオテープレコーダ、あるいはハードディスク装置などの書き込み可能なディスクレコーダなど）に供給されて記録される。
【０１９７】
キー信号生成装置６４からは、上述したように、正確なキー信号、即ちモーションブラーの影響を考慮し、かつエイリアスを低減するキー信号が出力されるので、これを用いて画像の合成を行った場合には、正確な合成画像（見た目に違和感のない画像）を得ることができる。
【０１９８】
なお、図３５の実施例では、画像提供装置６３によって背景Ｂが提供されるから、キー信号生成装置６４が、Ｆ−Ｂ検出部３を有する図７または図２７に示したようなキー信号生成装置で構成される場合には、同図において点線で示すように、背景Ｂを、キー信号生成装置６４に供給するようにし、キー信号生成装置６４には、この背景Ｂから、差分Ｆ−Ｂを求めさせるようにすることが可能である。
【０１９９】
ところで、画素値Ｑ（ｐ）でなる画像Ｔ２は、画像提供装置６２から得られ、キー信号αは、キー信号生成装置６４から得られるから、前景Ｆの画素値Ｆ（ｐ）がわかれば（画素値Ｆ（ｐ）を推定することができれば）、式（２２）によっても、画像Ｔ２に前景Ｆを合成した画像Ｔ４を生成することができる。
【０２００】
そこで、図３６は、式（２２）にしたがって、画像Ｔ４を生成する画像合成装置の一実施例の構成を示している。なお、図中、図３５における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、この画像合成装置は、画像提供装置６３またはミキサ６５に代えて、情報生成装置７１またはミキサ７２がそれぞれ設けられている他は、図３５の画像合成装置と同様に構成されている。
【０２０１】
情報生成装置７１には、画像提供装置６１が出力する画像Ｔ１が供給されるようになされている。情報生成装置７１は、画像Ｔ１から、その前景Ｆの画素値Ｆ（ｐ）を推定し（生成し）、ミキサ７２に供給するようになされている。ミキサ７２は、画像情報提供装置６１または６２がそれぞれ出力する画像Ｔ１またはＴ２（画素値Ｐ（ｐ）またはＱ（ｐ））、キー信号生成装置６４が出力するキー信号α（ｐ）、情報生成装置７１が出力する前景Ｆ（画素値Ｆ（ｐ））を用い、式（２２）にしたがった演算を行うことにより、画像Ｔ２に前景Ｆを合成した画像Ｔ４を生成するようになされている。
【０２０２】
以上のように構成される画像合成装置では、画像提供装置６１または６２において、画像Ｔ１またはＴ２がそれぞれ再生され、ミキサ７２に供給される。さらに、画像提供装置６１が再生する画像Ｔ１は、情報生成装置７１およびキー信号生成装置６４にも供給される。キー信号生成装置６４では、上述したようにしてキー信号αが生成され、ミキサ７２に出力される。
【０２０３】
一方、情報生成装置７１では、画像Ｔ１から、その前景Ｆの画素値Ｆ（ｐ）が求められる。
【０２０４】
即ち、図３７は、情報生成装置７１の構成例を示している。この情報生成装置７１は、変化検出部７１−１、境界検出部７１−２、境界分割部７１−３、色分布形成部７１−４、重心検出部７１−５から構成されている。変化検出部７１−１は、図７（図２７または図３０）の変化検出部１と同様に構成されおり、境界検出部７１−２は、図１３の境界検出部２−１と同様に構成されている。また、微小領域検出部７１−３、色分布形成部７１−４、または重心検出部７１−５は、図１６の微小領域検出部３−１、色分布形成部３−２Ｆ、または重心検出部３−３Ｆとそれぞれ同様に構成されている。但し、微小領域検出部７１−３は、各微小領域についての前景Ｆを構成する画素のみを抽出し、その画素の画素値、即ち、Ｆ境界画素値のみを色分布形成部７１−４に供給するようになされている。
【０２０５】
従って、情報生成装置７１では、変化検出部７１−１において、画像Ｔ１の画素値Ｐの変化Ｐ’が求められ、境界検出部７１−２において、その変化Ｐ’に基づいて、経路決定用閉曲線および特徴点が求められる。さらに、微小領域検出部７１−３において、各特徴点を含む微小領域が検出され、その各微小領域について、Ｆ境界画素値が抽出される。そして、色分布形成部７１−４において、各微小領域におけるＦ境界画素値の、色空間上における色分布が求められ、さらに、重心検出部７１−５において、その色分布の重心が求められ、それが、グレー領域における、各特徴点周辺にある画素の、前景Ｆの画素値Ｆ（ｐ）として出力される。
【０２０６】
なお、情報生成装置７１においては、前景Ｆのうちの、グレー領域以外の部分（完全に、前景Ｆの部分）については、その前景Ｆの画素値Ｆ（ｐ）が、そのまま出力される。
【０２０７】
図３６に戻り、ミキサ７２では、画像情報提供装置６１または６２がそれぞれ出力する画素値Ｐ（ｐ）またはＱ（ｐ）、キー信号生成装置６４が出力するキー信号α（ｐ）、情報生成装置７１が出力する画素値Ｆ（ｐ）を用い、式（２２）にしたがって、画像Ｔ２に前景Ｆを合成した画像Ｔ４の画素値Ｒ（ｐ）が求められる。
【０２０８】
従って、この場合も、正確な合成画像を得ることができる。
【０２０９】
ここで、情報生成装置７１には、前景Ｆを生成させるのではなく、背景Ｂを生成させるようにすることも可能である。この場合、ミキサ７２には、情報生成装置７１によって生成される背景Ｂを用い、式（２３）にしたがって、合成画像Ｔ４の画素値Ｒ（ｐ）を求めさせるようにすることが可能である。
【０２１０】
なお、ミキサ６５（および７２）における画像の合成方法は、上述した方法に限定されるものではなく、他の合成方法を用いることも可能である。
【０２１１】
また、本実施例では、積分値計算部４（および２１）において積分を行うようにしたが、この積分に代えて、積分と等価な演算、即ち、積分を行う経路にサンプル点を設定し、各サンプル点におけるサンプル値を加算するようにすることも可能である。
【０２１２】
さらに、本実施例では、グレー領域におけるキー信号のうち、その骨組み部分以外については、補間により求めるようにしたが、キー信号の骨組み部分以外も、補間ではなく、例えば、式（１８）や（２０）による積分を行うことで求めるようにすることが可能である。
【０２１３】
【発明の効果】
本発明のキー信号生成装置およびキー信号生成方法によれば、正確なキー信号を得ることが可能となる。
【０２１４】
本発明の画像合成装置および画像合成方法によれば、正確な合成画像を得ることが可能となる。
【図面の簡単な説明】
【図１】画像の局所的なテクスチャが一様であると考えられることを示す図である。
【図２】モーションブラーが生じている画像の算出方法を説明するための図である。
【図３】モーションブラーの効果を与えるフィルタ処理を示す図である。
【図４】モーションブラーの効果を考慮した前景Ｆとキー信号αを示す図である。
【図５】モーションブラーの効果を与えた前景Ｆの局所的なテクスチャが一様であると考えられることを示す図である。
【図６】画素が有限の大きさを有する場合にエイリアスが生じることを示す図である。
【図７】本発明を適用したキー信号生成装置の第１実施例の構成を示すブロック図である。
【図８】図７のキー信号生成装置の動作を説明するためのフローチャートである。
【図９】図７の変化検出部１の構成例を示すブロック図である。
【図１０】図９の変化検出部１の動作を説明するためのフローチャートである。
【図１１】ソーベルオペレータを示す図である。
【図１２】図１０のステップＳ１−２の処理を説明するための図である。
【図１３】図７の特徴点検出部２の構成例を示すブロック図である。
【図１４】図１３の特徴点検出部２の処理を説明するための図である。
【図１５】図１３の特徴点検出部２の動作を説明するためのフローチャートである。
【図１６】図７のＦ−Ｂ検出部３の構成例を示すブロック図である。
【図１７】図１６の微小領域検出部３−１の処理を説明するための図である。
【図１８】図１６の差分演算部３−４の処理を説明するための図である。
【図１９】図１６のＦ−Ｂ検出部３の動作を説明するためのフローチャートである。
【図２０】図８のステップＳ５の処理を説明するための図である。
【図２１】図７の積分値計算部４の構成例を示すブロック図である。
【図２２】図２１の積分値計算部４の処理を説明するための図である。
【図２３】図２１の積分値計算部４の動作を説明するためのフローチャートである。
【図２４】図７のキー信号生成部５の構成例を示すブロック図である。
【図２５】図２４のキー信号生成部５の処理を説明するための図である。
【図２６】図２４のキー信号生成部５の動作を説明するためのフローチャートである。
【図２７】本発明を適用したキー信号生成装置の第２実施例の構成を示すブロック図である。
【図２８】図２７の特徴点検出部１２の構成例を示すブロック図である。
【図２９】図２８の細線化部１２−１の処理を説明するための図である。
【図３０】本発明を適用したキー信号生成装置の第３実施例の構成を示すブロック図である。
【図３１】図３０の積分値計算部２１の処理を説明するための図である。
【図３２】図３０のキー信号生成装置の動作を説明するためのフローチャートである。
【図３３】図３０の積分値計算部２１の構成例を示すブロック図である。
【図３４】図３３の積分値計算部２１の動作を説明するためのフローチャートである。
【図３５】本発明を適用した画像合成装置の第１実施例の構成を示す図である。
【図３６】本発明を適用した画像合成装置の第２実施例の構成を示す図である。
【図３７】図３６の情報生成装置７１の構成例を示すブロック図である。
【図３８】ハードキーおよびソフトキーを説明するための図である。
【図３９】エイリアスを説明するための図である。
【図４０】モーションブラーを説明するための図である。
【符号の説明】
１ 変化検出部， １−１ ＲＧＢ分解部， １−２Ｒ，１−２Ｇ，１−２Ｂ１次微分値計算部， １−３ ベクトル合成部， ２ 境界検出部， ２−２特徴点決定部， ３ Ｆ−Ｂ検出部， ３−１ 微小領域検出部， ３−２Ｆ，３−２Ｂ 色分布形成部， ３−３Ｆ，３−３Ｂ 重心検出部， ３−４ 差分演算部， ４ 積分値計算部， ４−１ 積分経路決定部， ４−２ 規格化実行部， ４−３ 積分実行部， ４−４ 閉曲線生成部， ５ キー信号生成部， ５−１ グレー領域内補間部， ５−２ ０／１割当部， ５−３ グレー領域外補間部， ５−４ 合成部， １１ 操作部， １２ 特徴点検出部，１２−１ 細線化部， ２１ 積分値計算部， ２１−１ 積分経路決定部，２１−２ 定積分値算出部， ２１−３ 規格化実行部， ２１−４ 積分実行部， ２１−５ 閉曲線生成部， ６１乃至６３ 情報提供装置， ６４ キー信号生成装置， ６５ ミキサ， ７１ 情報生成装置， ７２ ミキサ， ７１−１ 変化検出部， ７１−２ 境界検出部， ７１−３ 微小領域検出部， ７１−４ 色分布形成部， ７１−５ 重心検出部
Claims (5)
- 画像からキー信号を生成するキー信号生成装置において、
前記画像を構成する画素の画素値の１次微分値を算出する画像微分手段と、
前記画像微分手段により算出された１次微分値が大きい複数の画素を接続することにより構成される閉曲線を、前記画像の前景と背景の境界として検出し、その閉曲線を構成する画素のうちの曲率の高い画素を特徴点として検出する曲線検出手段と、
前記閉曲線と前記特徴点に基づいて、前記特徴点を含み、前記閉曲線から所定の距離の範囲内の領域である微小領域を検出し、その微小領域内の前景の画素の画素値である前景画素値と、背景の画素の画素値である背景画素値とを検出する前背景検出手段と、
前記前背景検出手段により検出された前景画素値と背景画素値の色分布の重心の差分を、前記特徴点における前景と背景の差分として算出する差分算出手段と、
前記画像微分手段により算出された前記特徴点を含む経路上の画素の画素値の１次微分値と、前記差分算出手段により算出された差分に基づいて、前記キー信号の骨組を算出するキー信号骨組算出手段と、
前記骨組み算出手段により算出された骨組を補間することにより、前記画像を構成する各画素の前記キー信号を生成するキー信号生成手段と
を備えることを特徴とするキー信号生成装置。 - 前記キー信号骨組算出手段は、前記特徴点を含む経路上の画素の画素値の１次微分値を、前記差分の絶対値で除算した値を、前記経路に沿って積分することにより、前記キー信号の骨組を算出する
ことを特徴とする請求項１に記載のキー信号生成装置。 - 少なくとも前景画像および背景画像からなる第１の画像と、少なくとも背景画像からなる第２の画像とを受信し、前記第１の画像の前景画像と、前記第２の画像の背景画像とを合成する画像合成装置において、
前記第１の画像を構成する画素の画素値の１次微分値を算出する画像微分手段と、
前記画像微分手段により算出された１次微分値が大きい複数の画素を接続することにより構成される閉曲線を、前記第１の画像の前景と背景の境界として検出し、その閉曲線を構成する画素のうちの曲率の高い画素を特徴点として検出する曲線検出手段と、
前記閉曲線と前記特徴点に基づいて、前記特徴点を含み、前記閉曲線から所定の距離の範囲内の領域である微小領域を検出し、その微小領域内の前景の画素の画素値である前景画素値と、背景の画素の画素値である背景画素値とを検出する前背景検出手段と、
前記前背景検出手段により検出された前景画素値と背景画素値の色分布の重心の差分を、前記特徴点における前景と背景の差分として算出する差分算出手段と、
前記画像微分手段により算出された前記特徴点を含む経路上の画素の画素値の１次微分値と、前記差分算出手段により算出された差分に基づいて、前記キー信号の骨組を算出するキー信号骨組算出手段と、
前記骨組み算出手段により算出された骨組を補間することにより、前記第１の画像を構成する各画素の前記キー信号を生成するキー信号生成手段と、
前記キー信号生成手段により生成されたキー信号を用いて、前記第１の画像の前景画像と、前記第２の画像の背景画像とを合成する合成手段と
を備えることを特徴とする画像合成装置。 - 画像からキー信号を生成するキー信号生成方法において、
前記画像を構成する画素の画素値の１次微分値を算出し、
その算出された１次微分値が大きい複数の画素を接続することにより構成される閉曲線を、前記画像の前景と背景の境界として検出し、その閉曲線を構成する画素のうちの曲率の高い画素を特徴点として検出し、
前記閉曲線と前記特徴点に基づいて、前記特徴点を含み、前記閉曲線から所定の距離の範囲内の領域である微小領域を検出し、その微小領域内の前景の画素の画素値である前景画素値と、背景の画素の画素値である背景画素値とを検出し、
その検出された前景画素値と背景画素値の色分布の重心の差分を、前記特徴点における 前景と背景の差分として算出し、
その算出された前記特徴点を含む経路上の画素の画素値の１次微分値と、前記差分に基づいて、前記キー信号の骨組を算出し、
その算出された骨組を補間することにより、前記画像を構成する各画素の前記キー信号を生成する
ことを特徴とするキー信号生成方法。 - 少なくとも前景画像および背景画像からなる第１の画像と、少なくとも背景画像からなる第２の画像とを受信し、前記第１の画像の前景画像と、前記第２の画像の背景画像とを合成する画像合成方法において、
前記第１の画像を構成する画素の画素値の１次微分値を算出し、
その算出された１次微分値が大きい複数の画素を接続することにより構成される閉曲線を、前記第１の画像の前景と背景の境界として検出し、その閉曲線を構成する画素のうちの曲率の高い画素を特徴点として検出し、
前記閉曲線と前記特徴点に基づいて、前記特徴点を含み、前記閉曲線から所定の距離の範囲内の領域である微小領域を検出し、その微小領域内の前景の画素の画素値である前景画素値と、背景の画素の画素値である背景画素値とを検出し、
その検出された前景画素値と背景画素値の色分布の重心の差分を、前記特徴点における前景と背景の差分として算出し、
その算出された前記特徴点を含む経路上の画素の画素値の１次微分値と、前記差分に基づいて、前記キー信号の骨組を算出し、
その算出された骨組を補間することにより、前記第１の画像を構成する各画素の前記キー信号を生成し、
そのキー信号を用いて、前記第１の画像の前景画像と、前記第２の画像の背景画像とを合成する
ことを特徴とする画像合成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP09787896A JP3804836B2 (ja) | 1995-05-12 | 1996-04-19 | キー信号生成装置および画像合成装置、並びにキー信号生成方法および画像合成方法 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7-113482 | 1995-05-12 | ||
| JP11348295 | 1995-05-12 | ||
| JP09787896A JP3804836B2 (ja) | 1995-05-12 | 1996-04-19 | キー信号生成装置および画像合成装置、並びにキー信号生成方法および画像合成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0937153A JPH0937153A (ja) | 1997-02-07 |
| JP3804836B2 true JP3804836B2 (ja) | 2006-08-02 |
Family
ID=26439018
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP09787896A Expired - Fee Related JP3804836B2 (ja) | 1995-05-12 | 1996-04-19 | キー信号生成装置および画像合成装置、並びにキー信号生成方法および画像合成方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3804836B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1049047B1 (en) * | 1999-04-26 | 2006-09-20 | Adobe Systems, Inc. | Identifying intrinsic pixel colors in a region of uncertain pixels |
| US6721446B1 (en) | 1999-04-26 | 2004-04-13 | Adobe Systems Incorporated | Identifying intrinsic pixel colors in a region of uncertain pixels |
| JP4491965B2 (ja) * | 1999-12-28 | 2010-06-30 | ソニー株式会社 | 信号処理装置および方法、並びに記録媒体 |
| JP4479098B2 (ja) * | 2000-12-21 | 2010-06-09 | ソニー株式会社 | 信号処理装置および方法、並びに記録媒体 |
| JP4650655B2 (ja) * | 2001-06-27 | 2011-03-16 | ソニー株式会社 | 通信装置および方法、通信システム、記録媒体、並びにプログラム |
| JP4596227B2 (ja) | 2001-06-27 | 2010-12-08 | ソニー株式会社 | 通信装置および方法、通信システム、記録媒体、並びにプログラム |
-
1996
- 1996-04-19 JP JP09787896A patent/JP3804836B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0937153A (ja) | 1997-02-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100423379B1 (ko) | 키신호생성장치및화상합성장치와,키신호생성방법및화상합성방법 | |
| JP6563609B2 (ja) | 中間ビューからの効率的なキャンバスビューの生成 | |
| JP5487610B2 (ja) | 画像処理装置および方法、並びにプログラム | |
| JP5983737B2 (ja) | 画像処理装置、画像処理装置の制御方法およびプログラム | |
| JP3481430B2 (ja) | 移動体追跡装置 | |
| EP1154379A2 (en) | Object region data describing method and object region data creating apparatus | |
| CN110062176B (zh) | 生成视频的方法、装置、电子设备和计算机可读存储介质 | |
| CN105264567A (zh) | 用于图像稳定化的图像融合方法 | |
| WO2017163384A1 (ja) | データ処理装置、データ処理方法及びデータ処理プログラム | |
| CN110941996A (zh) | 一种基于生成对抗网络的目标及轨迹增强现实方法和系统 | |
| JP6610535B2 (ja) | 画像処理装置および画像処理方法 | |
| JP3983624B2 (ja) | 画像合成装置、画像合成方法、画像合成プログラム、および画像合成プログラムを記録した記録媒体 | |
| JP3804836B2 (ja) | キー信号生成装置および画像合成装置、並びにキー信号生成方法および画像合成方法 | |
| US20040022448A1 (en) | Image processor | |
| US6392659B1 (en) | Image connecting method, image connecting apparatus, and storage medium storing an image connecting program | |
| JP2005031800A (ja) | 熱画像表示装置 | |
| JP3983623B2 (ja) | 画像合成装置、画像合成方法、画像合成プログラム、および画像合成プログラムを記録した記録媒体 | |
| JP2011150594A (ja) | 画像処理装置および方法、並びにプログラム | |
| JPH10108003A (ja) | 画像合成装置および画像合成方法 | |
| JPH10198824A (ja) | 映像生成処理装置及びその装置で用いられる構造化データを作成する構造化データ作成装置 | |
| JP2900709B2 (ja) | 動画像フィルタ | |
| CN110166710A (zh) | 图像合成方法、装置、设备和介质 | |
| JP3713689B2 (ja) | キー信号生成装置およびキー信号生成方法、並びに画像合成装置 | |
| JP3480591B2 (ja) | 物体追尾装置 | |
| JPH11225310A (ja) | 映像静止画表示方法及び装置並びに映像静止画表示プログラム格納記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050805 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050815 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051011 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060421 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060504 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100519 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |