JPH04220885A - 背景除去方法及びその実施装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、撮像装置により入力さ
れた画像から、背景領域を除去することにより、クロマ
キーと同等の特殊効果、即ち、画面はめ込みをクロマキ
ーの様に特殊な背景を使用することなしに行なうための
、背景除去方法及びその実施装置に関するものである。

【０００２】

【従来の技術】従来、この種の背景除去方法及びその実
施装置においては、前景画像と背景画像との差分信号の
２値化を行なう場合、差分信号の大きさ、即ち、絶対値
を１つの閾値により２値化することにより、前景画像中
より背景領域と前景領域を識別するためのキー信号を生
成していた（上野他，“動領域の…”，昭和６２年信学
部門別全大２１９，上野他“背景メモリを用いた動領域
抽出”，昭和６３年信学秋季全大Ｄ−６９参照）。

【０００３】当該従来の背景除去方法及び装置において
は、背景画像除去は以下の様な手順で行なわれる。

【０００４】（１）背景画像をあらかじめ背景画像記憶
装置に格納する。

【０００５】（２）撮像装置から前景画像を入力する。

【０００６】（３）該前景画像と背景画像記憶装置に格
納されている背景画像の点毎の差分信号を、差分装置に
より生成する。

【０００７】（４）差分装置の絶対値を１つの閾値によ
り、閾値よりも大きな点と閾値よりも小さな点に、２値
化装置により２値化する。該２値化された信号は、背景
領域と前景領域を識別するキー信号と呼ばれる。

【０００８】（５）キー信号が、前景領域を表わしてい
る点においては撮像装置から入力された前景画像を出力
し、キー信号が、背景領域を表わしている点においては
、あらかじめ設定されている特定色の画像信号を出力す
るマスク処理を、マスク処理装置により行なう。

【０００９】出力された画像信号は、撮像装置により入
力された前景画像の、背景領域をあらかじめ設定された
特定色により置き換えた画像であり、クロマキー合成に
よる画像はめ込みの様な特殊処理を行なうために用いら
れる。

【００１０】

【発明が解決しようとする課題】しかしながら、従来の
背景除去方法及びその実施装置においては、差分信号の
絶対値に基づいて、１つの閾値により２値化されるため
、以下のような問題点を有している。

【００１１】（１）撮像装置には、オートアイリス，オ
ートホワイトバランス等本来撮像された画像の品質を良
好にするための機構が具備されていることがほとんどで
ある。

【００１２】（２）このため、背景画像の撮像時と、前
景画像の撮像時では撮像条件が変化してしまい、差分信
号のレベル分布の中心が０からずれてしまう。

【００１３】（３）この様に片寄って分布している差分
信号を、従来手法のように絶対値を１つの閾値により２
値化することにより、キー信号を生成すると、ノイズが
多く発生するか、もしくは前景領域が背景領域であると
誤って識別され、前景領域に抜けが生じてしまう。

【００１４】本発明は、前記問題点を解決するためにな
されたものであり、本発明の目的は、前景領域が背景領
域であるというような誤った判定はなされず、背景領域
のみが除去され、前景領域のみが抽出される技術を提供
することにある。

【００１５】

【課題を解決するための手段】前記目的を達成するため
に、本発明においては、背景除去方法において、記憶装
置に格納された背景画像と、撮像装置から入力された前
景画像の差分信号を２つの閾値を用いて２値化し、これ
により前景画像の背景領域と前景領域を区別し、これに
基づいて背景を除去することを最も主要な特徴とする。

【００１６】また、前記背景除去方法を実施する装置と
して、背景画像を格納する記憶手段と、撮像装置から入
力された前景画像と背景画像との差分を計算する差分抽
出手段と、差分信号を２値化する２値化手段と、該２値
化信号と前景画像信号から、背景画像信号の除去された
信号を生成するマスク手段を有する背景除去手段を備え
たことを特徴とする。

【００１７】また、前記前景画像と背景画像との差分信
号を２値化する２値化手段は、２つの閾値を用いて差分
信号を２値化することを特徴とする。

【００１８】つまり、本発明は、差分信号の２値化を、
絶対値を１つの閾値を用いて２値化するのではなく、差
分信号その物を、２つの閾値を用い２つの閾値に挾まれ
る差分信号を有している画素と、２つの閾値に挾まれな
い差分信号を有している画素に分類する。

【００１９】２つの閾値は、差分信号をノイズ成分と、
信号成分に分離するように設定される。ノイズ成分は背
景領域に、信号成分は前景領域に対応している。これは
、背景領域では差分信号はほとんど０であり、ノイズ成
分が優勢であるのに対し、前景領域では差分信号がノイ
ズ成分よりも優勢であることによる。

【００２０】

【作用】図１は、本発明の原理を説明するための差分信
号のヒストグラムと２つの閾値を示す図であり、１１は
差分信号レベル、１２は差分信号の頻度、１３は従来手
法の前景画像と背景画像との差分信号を２値化する際に
用いられる閾値ＴＡ、１４，１５は本発明の前景画像と
背景画像との差分信号を２値化する際に用いられる閾値
ＴＤ，ＴＧである。

【００２１】前述の手段によれば、図１に示すように、
差分信号の中心は、背景撮像時と前景撮像時での撮像条
件の違いにより、片寄りをもち、０とはならない。２つ
の閾値ＴＤ，ＴＧに挾まれた領域は、背景領域と見なさ
れ、それ以外の領域は前景領域と見なされる。

【００２２】従来技術においては、差分信号の絶対値を
１つの閾値を用いることにより２値化していた。これは
、差分信号そのものに絶対値の等しい正負２つの閾値（
＋ＴＡ，−ＴＡ）で２値化することにほかならない。こ
のため、図１に示すように片寄りのある差分信号の場合
、本来前景領域として抽出しなければならない領域（図
１の差分信号の左の山）を誤って背景領域として除去さ
れてしまわないように閾値ＴＡを小さく設定した場合に
は、本来は背景として除去されるべき部分が前景として
抽出されることになる。

【００２３】これに対し、本発明では２つの互いの関係
のない閾値ＴＤとＴＧを用いて２値化を行なう。

【００２４】図１に示されるように、閾値ＴＤ，ＴＧを
差分信号のピーク付近の山のみを含むように設定すれば
、従来技術で生じるような誤った判定はなされず、背景
領域のみが除去され、前景領域のみが抽出される。

【００２５】次に、これら２つの閾値ＴＤとＴＧの設定
方法を述べる。

【００２６】差分信号は、背景領域で発生するノイズ成
分と信号成分からなるものと考え、差分信号を背景領域
と前景領域に分類する２つの閾値ＴＤとＴＧは以下の様
に設定する。

【００２７】（１）差分信号のヒストグラムを生成する
。

【００２８】（２）差分信号のピークを最大点探索によ
り求める。この最大点は、ノイズ成分の平均値に対応し
ている。

【００２９】（３）差分信号のピーク付近を、吊り鐘上
の関数で近似する。該近似された関数は、ノイズ成分を
表わしている。

【００３０】（４）差分信号からピーク付近を取り除い
た部分を、定数関数で近似する。該近似された関数は、
信号成分を表わしている。

【００３１】（５）（３）で求められた近似関数と、（
４）で求められた近似関数の交差する点が、２つの閾値
である。

【００３２】差分信号のピークを求め、それに基づき２
つの閾値ＴＤとＴＧを設定するので、撮像条件が背景画
像撮像時と前景画像撮像時とで変化し、その結果差分信
号のヒストグラムに片寄りが生じても、背景除去の性能
に影響が現われることなく、良好に背景を除去すること
が可能になる。

【００３３】即ち、本発明によれば、差分信号のヒスト
グラムの片寄りに応じて２つの閾値ＴＤとＴＧを設定し
、背景領域と前景領域の識別を行なうので、この様な差
分信号のヒストグラムの片寄りに影響されることなく、
良好に前景画像から背景領域を除去することが可能とな
る。

【００３４】もちろん、本発明は、ここで述べたオート
アイリス，オートホワイトバランスによる影響のみでは
なく、不安定な撮像装置を使用したことによる入力条件
の変動に対しても適用することができる。

【００３５】

【実施例】以下、本発明の一実施例を図面を用いて具体
的に説明する。

【００３６】図２は、本発明の背景除去方法の一実施例
を説明するための概略機能構成を示すブロック図である
。

【００３７】図２において、２１は撮像装置、２２は背
景画像記憶装置、２３は撮像装置２１で撮像された前景
画像と背景画像記憶装置２２に記憶されている背景画像
の差分を求める差分処理、２４は該差分信号のヒストグ
ラムを作成するヒストグラム作成処理、２５はヒストグ
ラムから閾値ＴＤ，ＴＧを求める閾値計算処理、２６は
差分処理２３の出力と、閾値計算処理２５で計算された
閾値からキー信号を求める２値化処理、２７は該キー信
号からノイズを低減するためのフィルタ、２８は撮像装
置２１で撮像された前景画像と、フィルタ処理２７でノ
イズ除去されたキー信号から背景除去された出力信号を
生成するマスク処理である。

【００３８】本実施例の背景除去装置は、図２に示すよ
うに、まず、人物などの入っていない背景画像を、撮像
装置２１で撮像し、背景画像を記憶する背景画像記憶装
置２２に転送する。背景画像記憶装置２２は、背景画像
を以後保持する。

【００３９】次に、実際の運用では、人物などが背景の
前面に位置している前景画像が撮像装置２１により撮像
される。前景画像と、背景画像記憶装置２２に記憶され
ている背景画像の差分信号が、差分処理２３で求められ
る。差分信号はヒストグラム作成処理２４に入力され、
差分信号のヒストグラムが作成される。ヒストグラム作
成処理２５で作成されたヒストグラムから、２つの閾値
が閾値計算処理２５によって計算される。計算された２
つの閾値と、差分処理２３の出力である差分信号から、
２値化処理２６によりキー信号が求められる。閾値計算
処理２５と２値化処理２６の詳細については、後ほど詳
しく説明する。

【００４０】２値化処理２６で求められたキー信号に含
まれているノイズを低減するために、フィルタ処理２７
により、多数決フィルタリングなどのノイズ低減処理を
行なう。フィルタ処理２７の出力のキー信号と、撮像装
置２１の出力の前景画像から、マスク処理２８により、
前景画像から背景領域が除去され、前景領域のみからな
る画像が出力される。

【００４１】閾値計算処理２５の詳細について述べる。 閾値の計算は、差分信号のノイズ成分はホワイトノイズ
であり、そのヒストグラムのピークは最大値を与えると
いう仮定に基づいている。そのため、まず、差分信号の
ヒストグラムのピークを最大点探索により求める。ノイ
ズがホワイトノイズであるので、そのヒストグラムはガ
ウス関数となる。ガウス関数のパラメータは、ヒストグ
ラムにおいてノイズが優勢な領域で最小２乗法を適用す
ることにより求められる。本実施例ではノイズが優勢な
領域として、ノイズピークの半値幅の内側を用いている
。差分信号のうち、ノイズ成分ではなく前景画像と背景
画像との差異のために生じた差分信号は、ヒストグラム
上ではノイズに比べ、頻度が非常に小さく、広範囲の差
分レベルにわたって分布している。この成分にはノイズ
のように特定の関数による近似は成り立たないため、本
実施例では定数関数により近似している。この定数関数
のパラメータ推定は、ヒストグラムのノイズ成分の影響
のない領域で、最小の２乗法を適用することにより求め
られる。本実施例ではこの様な領域として、ピーク中心
から半値幅の４倍離れた点の外側を用いている。ガウス
関数と定数関数の交点は２つ存在しており、それらのう
ち大きな方を閾値ＴＤとし、小さな方を閾値ＴＧとする
。閾値ＴＤ，ＴＧの間ではガウス関数の方が大きな値を
持つ、即ち、ノイズ成分に対応しており、この領域に対
応する画素は背景領域と識別される。一方、閾値ＴＤ，
ＴＧの外では定数関数の方が大きな値を持ち、それゆえ
前景領域として識別される。即ち、これら２つの値ＴＤ
，ＴＧが閾値である。

【００４２】次に２値化処理２６の詳細について述べる
。

【００４３】２値化処理２６では、入力された差分信号
と、閾値ＴＤ，ＴＧを比較する。これらの閾値ＴＤ，Ｔ
Ｇに挾まれる差分信号を持つ点は背景領域と識別され、
これらの２つの閾値の外側に位置している点は前景領域
と識別される。即ち、 　　　　点（ｘ，ｙ）＝背景領域・・・ＴＧ≦ｆ（ｘ，
ｙ）＜ＴＤ　　　　　　　　　　　　　　　　＝前景領
域・・・ｆ（ｘ，ｙ）＜ＴＧ，ＴＤ≦ｆ（ｘ，ｙ）と識
別される。ここで、（ｘ，ｙ）は前景画像あるいは背景
画像における差分信号の値を表わす。

【００４４】図３図は、本発明の背景除去装置の一実施
例の概略構成を示すブロック図である。

【００４５】図３において、３１は撮像装置であり、背
景画像，前景画像の撮像を行なう。３２は画像入力装置
であり、撮像装置３１で入力されたアナログ信号をディ
ジタル信号に変換する。３３はＤＭＡ（Ｄｉｒｅｃｔ　
　Ｍｅｍｏｒｙ　　Ａｃｃｅｓｓ）コントローラであり
、画像入力装置３２に入力された画像を背景画像記憶装
置３４、計算装置３５に高速に転送する。３４は背景画
像記憶装置であり、差分処理２３のための背景画像を記
憶する。３５は電子計算装置（コンピュータ）であり、
差分処理２３、ヒストグラム作成処理２４、閾値計算処
理２５、２値化処理２６、フィルタ処理２７、マスク処
理２８を行なう。３６は画像出力装置であり、電子計算
装置３５で計算された結果をディジタル信号からアナロ
グ信号に変換する。３７は画像表示機器であり、最終的
な背景領域の除去された画像を表示する。３８はバスで
あり、各構成要素を接続する。３９は制御装置であり、
各構成要素の動作の制御を行なう。

【００４６】本実施例の背景除去装置の動作を図３図を
用いて説明する。

【００４７】まず、背景画像の入力を行なう。この場合
、撮像対象となるのは、人物などの入っていない背景画
像である。背景画像は、撮像装置３１により撮像され、
次に画像入力装置３２によりディジタル信号に変換され
る。ディジタル信号に変換された背景画像は、ＤＭＡコ
ントローラ３３により背景画像記憶装置３４に転送され
る。背景画像記憶装置３４では、背景画像を記憶し、差
分処理２３にそなえる。

【００４８】次に、運用時の動作について説明する。

【００４９】運用時には、前景画像が撮像装置３１によ
り撮像される。撮像された前景画像は画像入力装置３２
によりディジタル信号に変換される。ディジタル信号に
変換された前景画像はＤＭＡコントローラ３３により、
電子計算装置３５に転送される。

【００５０】電子計算装置３５は、背景画像記憶装置３
４に直接アクセスすることが可能であるので、電子計算
装置３５に転送された前景画像と、背景画像記憶装置３
４に格納されている背景画像に対し、図２に示すように
、差分処理２３、ヒストグラム作成処理２４、閾値計算
処理２５、２値化処理２６、フィルタ処理２７、マスク
処理２８を行なう。

【００５１】電子計算装置３５で求められた処理結果は
、ＤＭＡコントローラ３３により、出力装置３６に転送
される。画像出力装置３６では、電子計算装置３５で求
められたディジタル信号をアナログ信号に変換する。 画像出力装置３６でアナログ信号に変換された処理結果
は、画像表示機器３７で表示される。

【００５２】ここで、画像入力装置３２から背景画像記
憶装置３４へ、画像入力装置３２から電子計算装置３５
へ、背景画像記憶装置３４から電子計算装置３５へ、電
子計算装置３５から画像出力装置３６へのデータ転送は
、バス３８を介して行なわれる。また、画像入力装置３
２から背景画像記憶装置３４へ、画像入力装置３２から
電子計算装置３５へ、背景画像記憶装置３４から電子計
算装置３５へ、電子計算装置３５から画像出力装置３６
へのデータ転送の契機の制御は、制御装置３９が行なう
。

【００５３】以上の説明からわかるように、前記実施例
によれば、差分信号のヒストグラムの片寄りに応じて２
つの閾値ＴＤとＴＧを設定し、背景領域と前景領域の識
別を行なうので、差分信号のヒストグラムの片寄りに影
響されることなく、良好に前景画像から背景領域を除去
することができる。

【００５４】なお、本発明は、前述したオートアイリス
，オートホワイトバランスによる影響のみではなく、不
安定な撮像装置を使用したことによる入力条件の変動に
対しても適用することができることは勿論である。

【００５５】以上、本発明を実施例を用いて具体的に説
明したが、本発明は、前記実施例に限定されることなく
、その要旨を逸脱しない範囲において種々変更し得るこ
とはいうまでもない。

【００５６】

【発明の効果】以上、説明したように、本発明によれば
、差分信号のヒストグラムの片寄りに応じて２つの閾値
ＴＤとＴＧを設定し、背景領域と前景領域の識別を行な
うので、差分信号のヒストグラムの片寄りに影響される
ことなく、良好に前景画像から背景領域を除去すること
ができる。

【図面の簡単な説明】

【図１】本発明の原理を説明すめための差分信号のヒス
トグラムと２つの閾値示す図である。

【図２】本発明の背景除去方法の一実施例を説明するた
めの概略機能構成を示すブロック図である。

【図３】本発明の背景除去装置の一実施例の概略構成を
示すブロック図である。

【符号の説明】

１１　　差分信号レベル １２　　差分信号の頻度 １３　　従来手法での閾値 １４，１５　　本発明で用いられる閾値２１　　撮像装
置 ２２　　背景画像記憶装置 ２３　　差分処理 ２４　　ヒストグラム作成処理 ２５　　閾値計算処理 ２６　　２値化処理 ２７　　フィルタ処理 ２８　　マスク処理 ３１　　撮像装置 ３２　　画像入力装置 ３３　　ＤＭＡコントローラ ３４　　背景画像記憶装置 ３５　　電子計算装置 ３６　　画像出力装置 ３７　　画像表示機器 ３８　　バス ３９　　制御装置

Claims (2)

【特許請求の範囲】
1. 【請求項１】　　記憶装置に格納された背景画像と、撮
   像装置から入力された前景画像の差分信号を２つの閾値
   を用いて２値化し、これにより前景画像の背景領域と前
   景領域を区別し、これに基づいて背景を除去することを
   特徴とする背景除去方法。
2. 【請求項２】　　背景画像を格納する記憶手段と、撮像
   装置から入力された前景画像と背景画像との差分を計算
   する差分抽出手段と、差分信号を２値化する２値化手段
   と、該２値化信号と前景画像信号から、背景画像信号の
   除去された信号を生成するマスク手段を有する背景除去
   手段を備えたことを特徴とする背景除去装置。