JPS63178677A - 被写体像抜き取り装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 「産業上の利用分野」 この発明は動画像映像信号から目的とする被写体像だけ
を取り出す被写体像抜き取り装置に関するものである。

「従来の技術」 動画像映像信号の中から目的とする被写体像だけを抜き
出す装置としてはクロマキー装置がよく知られており、
放送局等における番組作製等に広く利用されている。し
かしながら、この装置に入力する映像信号は均一色の背
景である必要があり、利用できる映像はスタジオ等にお
いて青等の均一な背景のもとで撮像されたものに限られ
ていた。

このため、この装置が使用できる範囲は非常に狭く、適
当な場所で撮像した映像信号の中から目的とする被写体
像を抜き出すことが出来ないという問題があった。この
解決法として背景像用のメモリを設け、このメモリより
取り出される映像信号と入力信号との差分をとり被写体
像を抜き出す方法を先に提案した。

第２図はこの提案した技術を説明する図である。

まず、入力しようとする映像信号と同一の静止した背景
だけの映像信号を入力端子１１から入力し、背景ロード
スイッチ１２を押下して背景映像信号を背景メモリ１３
に記憶させる。その後、その背景と共に被写体像を撮映
し、これに伴って入力端子１１から入力される映像信号
に同期して背景メモリ１３に記憶した背景像映像信号が
読みだされ、その読みだし出力は背景差分演算回路１４
に入力される。背景差分演算回路１４は背景メモリ１３
より入力される背景像の映像信号と入力される映像信号
との画素毎の差分を演算し、その各画素の差分値を２値
化回路１５に入力する。２値化回路１５は背景差分演算
回路１４より入力される差分値を一定のしきい値ｔで２
値化した信号を作る。

以上の動作により、入力映像信号と背景メモリ１；３よ
り読み出される背景の映像信号との間に差分が生じた画
素部分だけに有意レベル（“１”）のある２値化信号か
えられる。この２値化信号中の背景に類似したレベルと
なる被写体内部の画素部分が無効レベル゛０”となる。

抜き取り信号作製回路１６は前記被写体内部の画素部分
の無効レベル”ＯＮとなっている部分を有意レベル”１
”となるように補正した映像抜き取り信号を作製し、こ
れを映像ケ°−ト回路１７に供給する。映像ケ９−ト回
路１７は入力端子１１からの映像信号中の前記映像抜き
取υ信号が有意レベル”１”である部分の入力映像信号
だけを通過させ他の部分は黒レベルとした映像信号を出
力する。以上の動作により目的とする被写体像だけの映
像信号を抜き取ることができる。入力映像信号から映像
抜き取り信号を作製するまでの時間遅れに合せるため映
像ダート回路１７に供給する入力映像信号を遅延回路１
８を通す。

しかしながら、この第２図に示した技術による映像抜き
取り装置は、あらかじめ背景の映像信号を背景メモリ１
３に記憶させる必要があり、場面変更（ンーンチェンジ
）等により背景が変化した場合はもちろんのこと、背景
の一部が多少変化しただけでも改めて背景の映像信号を
入力しなおす必要があった。このため、常に被写体像の
抜き取りの様子を監視している必要が有るなど、取り扱
い方が非常にめんどうであるという欠点がある。

この発明の目的は前述の映像抜き取り装置の取り扱い上
の不便さを取り除いた操作性の良い被写体映像抜き取り
装置を提供することにある。

「問題点を解決するだめの手段」 この発明によれば背景メモリに背景の映像信号が背景入
力手段により入力され、その背景メモリはその記憶して
いる背景映像信号を入力映像信号と同期して読み出され
、その読み出された背景映像信号と入力映像信号とのレ
ベルの差分値が背景差分演算手段により画素毎に演算さ
れ、その演算された差分値は第１の２値化手段によシ予
め定められているしきい値により２値化され、その２値
化された差分値は抜き取り信号作製手段により補正され
て映像抜き取り信号が作られ、その映像抜き取り信号に
より入力映像信号から被写体像が映像ダート手段で抜き
取られる。前記背景入力手段では入力映像信号がフレー
ムメモリで１フレーム期間遅延され、その遅延された映
像信号と入力映像信号とのフレーム間差分がフレーム差
分演算手段で演算されてフレーム間差分信号が得られ、
そのフレーム間差分信号は第２の２値化手段によシ予め
設定されているしきい値により２値化され、その２値化
された差分信号をもとに背景識別手段により入力映像信
号の各フレームの背景画素部分が識別され、その識別さ
れた背景画素部分は入力映像信号とし、その他の部分は
背景メモリより読み出さした映像信号とした映像信号を
作製して背景映像信号として背景メモリに入力される。

このようにこの発明は入力されている映像信号の背景像
を自動的に抽出して記憶するものであるから、背景に変
化が生じる毎に背景像の入力をしなおす必要が無い。

「実施例」 第１図はこの発明の実施例を示す。

この実施例における背景差分演算回路１４で背景メモリ
１３から読み出される背景像の映像信号と入力映像信号
との差分を演算する動作以下は第２図で説明したものと
同じであシ、対応する部分に同一番号を付けである。

フレームメモリ２１は入力端子１１から入力された映像
信号を１フレーム遅延させるためのものであシ、入力映
像信号と同一の同期位相で読み出される。したがってフ
レーム差分演算回路２２にはその時点で入力されている
入力映像信号とその入力映像信号に対し１フレーム遅延
した映像信号とが入力される。差分演算回路２２はその
入力される両映像信号の差分を画素毎に演算したフレー
ム差分信号を出力する。２値化回路２３はそのフレーム
差分信号を一定のしきい値で２値化し、しきい値以上を
”１”、以下を″０”とした２値化信号を出力する。し
たがりて、その２値化信号の０”の部分は入力映像信号
の前フレームとの差が無い画素を示し、“１″は差の有
った画素を示す信号となり、背景が静止している場合に
は、′０”の部分が背景となる。

静止画素ノ臂タンメモリ２４は入力映像信号の画素対応
に数ビットの情報が記憶できるレジスタを有し、２値化
回路２３よシ出力される２値化信号の映像と同期して入
出力の可能なメモリであり、たとえば、前述のフレーム
メモリ２１と同様なもので容易に実現出来る。この静止
画ノＲタンメモリ２４は２値化回路２３の出力２値化信
号中の各画素に対応する２値化の値の”０”と“１′と
の頻度を計数し、一定の条件が成立したときにその画素
を背景の画素と判定するために使用する。

以下静止画素ノ’？タンメモリ２４の画素当シのメモリ
容量を４ビツトとした場合の動作の一例を示す。この場
合たとえば、電源の投入時等におけるリセット時に静止
画素パタンメモリ２４の各画素に対応するレジスタはす
べて”　ｏｏｏｏ”（以下”０”と標記し”１１１１”
の状態を”Ｆ″と標記し、このレジスタの状態を“０”
〜”Ｆ”の１６進数で示す。）にセットするものとする
。この静止画素ｉ４タンメモリ２４の内容は２値化回路
２３より出力される前記２値化信号と同期して読み出さ
れ、減算器２６および加算器２７に入力される。

減算器２５および加算器２６はそれぞれ入力値に対し、
１を減算または加算し、”ｏ”より１を減じた場合の？
ロー（桁下げ）情報あるいは”Ｆ”に１を加えた場合の
キャリー（桁上げ）情報と共に切り換え器２７および２
８にそれぞれ出力する。

切り換え器２７および２８は制御入力が１”の時に”Ｏ
Ｎ”となるものを使用する。この切り換え器２７および
２８の制御入力としてはそれぞれ２値化回路２３より出
力される前記２値化信号をインバータ２９で反転させた
信号とその２値化信号そのものとがそれぞれ加えられて
いる。

したがって、切り換え器２７は前記２値化信号が”０″
の時（入力映像信号のフレーム間の各画素の差分値が一
定値以下の時）に“ＯＮ”となり、６１”の時（入力映
像信号のフレーム間の各画素の差分値が一定値以上の時
）に切り換え器２８がＯＮ”となる。この切り換え器２
７および２８の動作によりオーバフロー制御回路３１に
は、静止画素パタンメモリ２４の各画素毎の出力値に対
し、前記２値化信号が”０”の時には１減じた値が、“
１”の時には１加えた値がボロー情報およびキャリー情
報と共に入力される。オーバフロー制御回路３１は入力
されるそのゴロ−情報とキャリー情報を監視し１．ｆｏ
＝情報が有効な場合には出力を”０”に、キャリー情報
が有効な場合には“Ｆ”を、その他の場合には入力値を
そのまま出力し、再び静止画素パタンメモリ２４に入力
すると共に、ボロー情報が有効な場合はそのボロー情報
に対応する画素の期間を示す（たとえば、ボロー情報が
有効な画素期間を”１″、他の期間は“０”とするなど
）背景メモリ書き込み制御信号を出力する。

以上の説明で明らかなように、静止画素パタンメモリ２
４の内容は入力される映像信号のフレーム間差分が連続
して一定値以下である画素に対応するレジスタの部分が
′０”となっており、その画素が静止した背景像の画素
であることを示し、前記背景メモリ書き込み制御信号は
“１′（有効）になる。また、動きが有りフレーム間の
差分値が一定値をこえている部分は”０”以外の値を示
し、背景メモリ書き込み制御信号は”０”（無効）にな
っている。動いている物体が無くなり背景に転じた部分
はすみやかに（前述の例では１６フレーム以内）０”と
なり背景であることを示す。ここに示した動作は一例で
あり、たとえば、静止画素パタンメモリ２４の各画素対
応のレジスタの初期設定値を“１”とし、キャリーおよ
びボロー情報を特に使用せず、オーバフロー制御回路３
１において入力値が”０”の場合には出力を１”に、Ｉ
Ｉ　ＦＴｌの場合には出力を′Ｅ”に、その他の場合に
は入力値をそのまま出力し静止画素パタンメモリ２４に
再入力すると共に、背景メモリ書き込み制御信号を入力
値が”Ｏ″の期間は“１”に、他の期間は“０′になる
様にしても同様の結果が得られる。また、初期設定値が
“０＃の場合、静止している画素が直ちに”Ｏ″となる
ため最も効果的であるが、前記の例では、静止している
部分は１６フレーム以内に０″となるため”０″以外の
値に設定しても殆ど差は無く、静止画素ノソターンの初
期設定をしなくても実用上問題の無いことはもちろんで
ある。この部分は各時点で静止した画素を抽出出来るも
ので有れば、いかなる方法によっても良い。極端な例と
しては、以下に説明する背景メモリ１３への背景映像信
号の入力精度はかなり悪くなるが、第１図における減算
器２５、加算器２６、切り換え器２７．２８、インバー
タ２９、静止画素ハターンメモリ２４、オーバフロー制
御回路３１を取り除き、２値化回路２３の出力をそのま
ま背景画素を示す背景メモリ書き込み制御信号とするこ
とも可能である。

背景メモリ１３は静止画素ｉ４タンメモリ２４（正確に
は、オーバフロー制御回路３１の出力）から読み出され
る映像信号に位相同期して動作する。また、切り換え器
３２はオーバフロー制御回路３１より出力される背景メ
モリ切り換え制御信号が背景画素を示している期間（１
”の期間）は入力端子１１側に、他の期間（“０″の期
間）は背景メモリ１３の出力側に切り換える切シ換え器
である。したがって、背景メモリ１３には前記背景メモ
リ書き込み制御信号が１′の部分の画素が入力映像信号
に置き換えられた映像信号が入力される。したがって、
背景メモリ１３は常時背景部分が最新情報で更新されて
行き、動きのある部分は書き換えが行われないので、常
に、入力信号から抽出可能な最新の背景情報が記憶され
る。

なお、遅延回路３３は入力映像信号の入力時点からその
入力映像信号に対応する前記背景メモリ書き込み制御信
号がオーバフロー制御回路３１より出力されるまでの処
理時間を補正し両信号のタイミングを調整するための遅
延回路である。遅延回路３４も同様にタイミングを合せ
るだめのものである。

背景差分演算回路１４．２値化回路１５、抜き取り信号
作製回路１６、映像ｆｆ−）回路１７および遅延回路１
８の動作は第２図と同様である。唯−異なる点は、背景
メモリ１３よシ出力される背景像の映像信号が第１図の
例では完全な背景像とならず、背景像となっていない部
分が残ることである。しかし、抜き取ろうとする被写体
（動物体）の動きにつれて背景が写された部分は背景像
となるため、背景像とならない部分は抜き取ろうとする
その被写体の部分より狭い領域になり背景差分演算回路
１４の出力に差分がでるので動作上支障は無い。逆に、
電源投入時等におけるリセット時に背景メモリ１３を黒
レベル等に設定することにより背景像となっていない画
素部分の背景差分演算回路１４の差分出力を太きくし、
抜き取り信号作製の精度を向上させることが出来る。こ
の効果を利用して、背景メモリ１３のリセット時のレベ
ルとして黒レベルと白レベルの選択が可能なようにして
おき、抜き取ろうとする被写体像の明るさに応じて何れ
かを選択できるようにすることも可能である。また、オ
ーバフロー制御回路において背景画素と判定された画素
の数（前述の例では１フレーム当シのポロー情報が１１
”となっている画素の数）を映像信号のフレーム毎に計
数し、その数が一定の値以下になった場合に、アラーム
を出力（ブザー鳴動、ランプ表示等）することによシ画
面全体の動きが大きく被写体像の抜き取りが出来ていな
いおそれの有ることを知らせることも可能である。

また、以上の説明で明らかな様に、入力信号に対する背
景画素の識別に要する処理時間を大きくする要因は無い
ので、入力信号に対する遅延は非常に小さい。

「発明の効果」 以上説明したように、この発明によれば、入力映像信号
のフレーム間差分信号をもとに、入力映像信号中の背景
映像信号の画素を識別し、背景メモリの内容を常に最新
の背景映像信号としたうえで、背景映像信号と入力映像
信号との間の差信号を基に、被写体像内の画素であるか
どうかを判定し、その結果を基に入力映像信号の中から
被写体像を抜き取るので、背景像が連続して変化してい
ない限り特別な操作無しに非常に精度良くかつ高速度で
入力映像信号中の目的とする被写体像を抜き取ることが
できるという利点がある。

【図面の簡単な説明】

第１図はこの発明の実施例を示すブロック図、第２図は
先に提案した被写体像抜き取り装置を示すブロック図で
ある。

Claims (2)

【特許請求の範囲】
1. （１）入力映像信号と同期して記憶している背景映像信
   号を読み出すことが出来る背景メモリと、その背景メモ
   リに背景の映像信号を入力する背景入力手段と、 前記背景メモリから読み出される背景映像信号と入力映
   像信号とのレベルの差分値を画素毎に演算する背景差分
   演算手段と、 その手段より得られた差分値をあらかじめ定められてい
   るしきい値により２値化する第１の２値化手段と、 その２値化した差分値を補正し、映像抜き取り信号を作
   製する抜き取り信号作製手段と、 その映像抜き取り信号により、前記入力映像信号から被
   写体像を抜き取る映像ゲート手段とを有し、 前記背景入力手段が前記入力映像信号を１フレーム期間
   遅延させるフレームメモリと、 その１フレーム期間遅延された映像信号と前記入力映像
   信号とのフレーム間差分を演算しフレーム間差分信号を
   出力するフレーム差分演算手段と、そのフレーム間差分
   信号をあらかじめ設定されているしきい値により２値化
   する第２の２値化手段と、 その２値化された差分信号をもとに、前記入力映像信号
   の各フレームの背景画素部分を識別する背景識別手段と
   、 その識別された背景画素部分は前記入力映像信号とし、
   それ以外の期間は前記背景メモリより読み出した映像信
   号とした映像信号を作製して前記背景映像信号として前
   記背景メモリに入力する手段とからなり、 前記背景メモリの内容が常時その背景メモリに入力され
   ている映像信号の情報に書き換えられる被写体像抜き取
   り装置。
2. （２）前記背景識別手段は入力映像信号の画素毎に入力
   された数値を記憶する静止画素パタンメモリと、前記第
   ２の２値化手段よりの２値化差分信号が前記しきい値以
   上の差分のあることを示している画素に対しては前記静
   止画素パタンメモリの対応する画素の記憶数値に１を加
   え、その２値化差分信号が一定値以下の場合には対応す
   る画素の記憶数値に１を減じる手段とを有し、前記静止
   画素パタンメモリの出力値があらかじめ定められている
   値以下になっている画素部分を背景画素部分として識別
   することを特徴とする特許請求の範囲第１項記載の被写
   体像抜き取り装置。