JPH0937259A - 画像信号処理装置および方法 - Google Patents

Abstract

(57)【要約】 【課題】 背景、動き物体および影を精度良く分離する
ことを可能とする。 【解決手段】 現画像と１フレーム遅延が施された画像
との差分値をしきい値ｔｈ１と比較し、その結果、第０
フラグ（flag０）が生成され、そのflag０に応じて動き
領域判定回路８では、第１フラグ（flag１）が判定され
る。現画像と背景メモリ３７との差分値をしきい値ｔｈ
２と比較し、その結果、第２フラグ（flag２）が生成さ
れる。flag１とflag２の論理積を第３フラグ（flag３）
とし、そのflag３から孤立点を除いた第４フラグ（flag
４）は、しきい値ｔｈ１、ｔｈ２、ｔｈ３、ｔｈ４を用
いて動き領域を判定し、第５フラグ（flag５）が生成さ
れる。さらに、flag５は、しきい値ｔｈ５と比較した
後、第６フラグ（flag６）が生成され、そのflag６の孤
立点を除いた第７フラグ（flag７）に応じて、背景、動
き物体および影が分離される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、画像信号から動
き物体を抽出するための画像信号処理装置および方法に
関する。

【０００２】

【従来の技術】画像信号を圧縮するための１つの方法と
して、画像を背景部分（すなわち、静止画）と動き物体
とに分離して、背景部分については、静止画であること
を利用して、その伝送を省略する（間引く）ことによっ
て、大幅に伝送データ量を削減することが可能である。
このように、更新が可能な背景メモリおよび入力画像の
フレーム差分情報を用いて、動き物体と背景を分離する
手法が従来より提案されている。

【０００３】

【発明が解決しようとする課題】しかしながら、従来の
手法では、例えば照明の角度によっては動き物体の影が
生じることがあり、その影の部分も含めて動き物体領域
と判定されることがあった。影を含めて動き物体として
扱われることは、上述のような符号化の圧縮を低下させ
る問題を生じる。

【０００４】従って、この発明の目的は、背景画像と動
き物体を分離する場合に、動き物体の影の部分を新たな
判定によって区別し、動き物体のみを抽出する画像信号
処理装置および方法を提案することにある。

【０００５】

【課題を解決するための手段】請求項１に記載の発明
は、連続して入力される動画像から背景画像と動き物体
を分離する画像信号処理装置において、入力画像に対し
て１フレーム遅延を行うフレームメモリ手段と、入力画
像と１フレーム遅延された画像とから画素毎に差分を計
算する手段と、差分値を絶対値化した後、しきい値と比
較することによって２値化した第１のフラグを設定し、
動き物体の輪郭を判断する手段と、動き物体の輪郭を上
下左右から走査することで動き物体領域の第１の候補を
判定する手段と最初の入力画像によって初期設定された
更新可能な背景メモリ手段と、背景メモリ手段からの画
像と入力画像との差分を計算する手段と、差分値を絶対
値化した後、しきい値と比較することによって２値化し
た第２のフラグを設定し、動き物体領域の第２の候補を
判定する手段と、動き物体領域の第１の候補と第２の候
補の論理積の結果を第３の候補とする手段と、動き物体
領域の第３の候補の内部において、入力画像と背景メモ
リからの画像の比率を計算する手段と、比率の局所ブロ
ック内平均値および標準偏差を計算する手段と、平均値
および標準偏差を所定のしきい値で比較することで、背
景の領域の判定を行う手段と、背景の領域を動き物体領
域の第３の候補から削除し、最終的な動き物体領域を判
断することを特徴とする画像信号処理装置である。

【０００６】また、請求項４に記載の発明は、連続して
入力される動画像から背景画像と動き物体を分離する画
像信号処理方法において、入力画像に対して１フレーム
遅延を行うステップと、入力画像と１フレーム遅延され
た画像とから画素毎に差分を計算するステップと、差分
値を絶対値化した後、しきい値と比較することによって
２値化した第１のフラグを設定し、動き物体の輪郭を判
断するステップと、動き物体の輪郭を上下左右から走査
することで動き物体領域の第１の候補を判定するステッ
プと最初の入力画像によって初期設定された更新可能な
背景メモリステップと、背景メモリ手段からの画像と入
力画像との差分を計算するステップと、差分値を絶対値
化した後、しきい値と比較することによって２値化した
第２のフラグを設定し、動き物体領域の第２の候補を判
定するステップと、動き物体領域の第１の候補と第２の
候補の論理積の結果を第３の候補とするステップと、動
き物体領域の第３の候補の内部において、入力画像と背
景メモリからの画像の比率を計算するステップと、比率
の局所ブロック内平均値および標準偏差を計算するステ
ップと、平均値および標準偏差を所定のしきい値で比較
することで、背景の領域の判定を行うステップと、背景
の領域を動き物体領域の第３の候補から削除し、最終的
な動き物体領域を判断することを特徴とする画像信号処
理方法である。

【０００７】このように、背景と動き物体とを分離後、
背景はほどんど変化がないため、時間方向で見たとき超
高圧圧縮を実現することが可能となる。

【０００８】

【発明の実施の形態】以下、この発明の一実施例につい
て図面を参照して説明する。図１は、この発明の画像信
号処理装置の一実施例のブロック図を示す。１で示す入
力端子にディジタル化された画像が入力され、そのディ
ジタル画像は、フレームメモリ２、減算器３、１０、除
算器１８および遅延回路２９へ供給される。フレームメ
モリ２へ供給されたディジタル画像は、１フレーム遅延
の後、減算器３において、現フレームとの画素毎の差分
が計算され、その差分値は、絶対値（ＡＢＳ）化回路４
へ供給される。

【０００９】絶対値化回路４において、絶対値化された
差分値が、比較回路６へ供給され、比較回路６におい
て、端子５から供給されるしきい値ｔｈ１と比較され、
２値化される。この比較回路６では、しきい値ｔｈ１よ
り差分値が大きい場合、第０フラグ（flag０）は `１'
とし、しきい値ｔｈ１より差分値が小さい場合、第０フ
ラグ（flag０）は `０' として、計数制御回路７および
動き領域判定回路８へ供給される。この第０フラグ（fl
ag０）が `１' である領域は、動き物体の輪郭と判断さ
れる。例えば、画像の中で比較的大きな物体が動いてい
るものとして、後述する動き領域判定回路８では、この
輪郭から物体の内部領域を判断するための処理が行わ
れ、第１フラグ（flag１）が第１の動き物体領域候補
（flag１＝ `１' ）として、ＡＮＤゲート１５へ供給さ
れる。

【００１０】そして、入力されたディジタル画像は、減
算器１０において、更新可能な背景メモリ回路３７から
供給された信号との差分が計算され、その差分値は絶対
値（ＡＢＳ）化回路１１へ供給される。その差分値は、
比較回路１３および遅延回路２３へ供給され、比較回路
１３では、端子１２から供給されるしきい値ｔｈ２との
比較が行われ、その結果２値化された第２フラグ（flag
２）が遅延回路１４を介して、ＡＮＤゲート１５へ供給
される。すなわち、比較回路１３において、しきい値ｔ
ｈ２より絶対値化された差分値が大きい場合、第２フラ
グ（flag２）を`１' とし、しきい値ｔｈ２より小さい
場合、第２フラグ（flag２）を `０' として、第２フラ
グ（flag２）は、遅延回路１４へ供給される。遅延回路
１４では、上述した動き領域判定回路８にかかる時間だ
け遅延され、第２の動き物体領域候補（flag２＝ `１'
）として、ＡＮＤゲート１５へ供給される。

【００１１】第１の動き物体領域候補（flag１＝ `１'
）および第２の動き物体領域候補（flag２＝ `１' ）
が供給されたＡＮＤゲート１５では、それらの論理積を
とり、第３の動き物体領域候補（flag３＝ `１' ）が生
成され、縮小／拡大回路１６へ供給される。一方、第０
フラグ（flag０）に関して、後で使用する連続回数メモ
リ９の制御を行う。この連続回数メモリ９は、画素位置
毎に対応して、第０フラグ（flag０）が `１' である場
合、０にリセットし、第０フラグ（flag０）が `０' で
ある場合、カウントアップするように制御される。これ
は、フレーム差の小さい現象が時間方向でどれだけ連続
するかをカウントするものであり、これによって動かな
い背景の確率的な判断材料を得ることと、仮に動き物体
が停止した場合に、背景にその情報が更新されていくよ
うにするための判断材料とするものである。

【００１２】次に、縮小／拡大回路１６では、図２に示
すように第３の動き物体領域候補（flag３＝ `１' ）の
領域を上下左右方向に数画素程度の縮小／拡大を行う。
図２Ａは、縮小／拡大回路１６へ供給されたディジタル
画像を示し、そのディジタル画像に対して、縮小処理を
行うことで図２Ｂに示すように孤立点の除去が行われ
る。孤立点の除去が行われたディジタル画像は、元の大
きさへ戻すために図２Ｃに示すように拡大処理を行う。
この結果を第４フラグ（flag４）として、遅延回路１７
および入力／背景比率判定回路２０へ供給される。

【００１３】入力されたディジタル画像が供給された除
算器１８は、背景メモリ３７からの信号と除算される。
すなわち、第４フラグ（flag４）が `１' である領域内
において、例えば動き領域候補であっても、それが実際
は背景であった場合、ある程度の広がりの入力と背景と
の輝度値の比率は、ほとんど１に近い値を示すはずであ
る。また、比率が１からある程度離れた領域は物体の背
景に落とした影の領域であり、それ以外は動き物体と判
断できる。

【００１４】除算器１８からの比率は、遅延回路１９に
おいて、所定の遅延がなされた後、その除算された結果
は、入力／背景比率判定回路２０へ供給される。入力／
背景比率判定回路２０では、端子２１からしきい値ｔｈ
１、ｔｈ２、ｔｈ３およびｔｈ４が供給され、第５フラ
グ（flag５）が作成される。この入力／背景比率判定回
路２０の詳細な説明は、後述する。第５フラグ（flag
５）は、背景と判定したときは `０' となり、動き物体
と判定したときは `１' となり、さらに影と判定したと
きは `２' となるようにコード化される。この第５フラ
グ（flag５）は、遅延回路２２および動き領域判定回路
２４へ供給される。

【００１５】絶対値化回路１１から供給される背景メモ
リ３７からの信号と、入力されたディジタル画像との差
分の絶対値が遅延回路２３において、所定の遅延が施さ
れた後、動き領域判定回路２４へ供給され、さらに端子
２５からしきい値ｔｈ５が動き領域判定回路２４へ供給
される。このしきい値ｔｈ５は、上述したしきい値ｔｈ
２より大きく（ｔｈ５＞ｔｈ２）、すなわちしきい値ｔ
ｈ２よりきびしく動き物体領域か否かが判断される。そ
して、動き物体領域と判断されたとき、第６フラグ（fl
ag６）を `１' として、縮小／拡大回路２６へ供給され
る。

【００１６】この縮小／拡大回路２６は、上述の縮小／
拡大回路１６と同様に孤立点を除去するために、第６フ
ラグ（flag６＝ `１' ）の領域を上下左右方向で数画素
程度の縮小および拡大を行い、第７フラグ（flag７）を
`１' とし、動き物体領域が作成される。その第７フラ
グ（flag７）は、影判定回路２７、動き物体判定回路２
８および背景更新制御回路３６へ供給される。

【００１７】影判定回路２７では、入力されたディジタ
ル画像が遅延回路２９を介して供給され、そのディジタ
ル画像は、第４フラグ（flag４）、第５フラグ（flag
５）および第７フラグ（flag７）に基づいて、影の領域
が判定される。入力されたディジタル画像が遅延回路３
０を介して影メモリ３１へ供給され、そのディジタル画
像は、影判定回路２７から供給される信号に応じて、影
と判定された領域のみ記憶される。また、既に記憶され
ている場合、新たに影と判定された領域が影メモリ３１
へ更新され、記憶される。記憶された影の領域は、出力
端子３２から伝送される。

【００１８】さらに、動き物体判定回路２８では、入力
されたディジタル画像が遅延回路２９を介して供給さ
れ、そのディジタル画像は、第７フラグ（flag７）に基
づいて、動き物体の領域が判定される。入力されたディ
ジタル画像が遅延回路３０を介して動き物体メモリ３３
へ供給され、そのディジタル画像は、動き物体判定回路
２８から供給される信号に応じて、動き物体と判定され
た領域のみ記憶される。また、既に記憶されている場
合、新たに動き物体と判定された領域が動き物体メモリ
３３へ更新され、記憶される。記憶された動き物体の領
域は、出力端子３４から伝送される。

【００１９】また、背景更新制御回路３６では、入力さ
れたディジタル画像が遅延回路２９を介して供給され、
そのディジタル画像は、第７フラグ（flag７）および遅
延回路３５を介して連続回数メモリ９からの信号に基づ
いて、背景の領域が判定される。判定された背景は、背
景メモリを別途定める比率（ｒおよび１−ｒ）で加重平
均して、背景メモリの更新を行い、出力端子３８からそ
の背景は、伝送される。

【００２０】ここで、上述した動き領域判定回路８の詳
細なブロック図を図３に示す。この動き領域判定回路８
では、第０フラグ（flag０）が `１' で示される動き輪
郭であると判断される動き領域に対して、さらに上下左
右から走査することで動き物体領域の第１の候補が判定
され、第１フラグ（flag１）として、後段へ伝送され
る。

【００２１】４１で示す入力端子を介して、比較回路６
から供給される第０フラグ（flag０）がフラグフレーム
メモリ４２へ供給される。そのフラグフレームメモリ４
２は、アドレス制御回路４３からの信号により制御され
る。左０／１検出回路４４では、左から右の走査に対し
て第０フラグが `０' から `１' へ変化するところを判
断し、第１内部候補回路４５において、その変化点より
右側を第１の内部候補とする。その第１の内部候補は、
ＡＮＤゲート５２へ供給される。

【００２２】次に、右０／１検出回路４６では、右から
左の走査に対して第０フラグが `０' から `１' へ変化
するところを判断し、第２内部候補回路４７において、
その変化点より左側を第２の内部候補とする。その第２
の内部候補は、ＡＮＤゲート５２へ供給される。同様
に、上０／１検出回路４６では、上から下の走査に対し
て第０フラグが `０' から `１' へ変化するところを判
断し、第３内部候補回路４９において、その変化点より
下側を第３の内部候補とし、その第３の内部候補は、Ａ
ＮＤゲート５３へ供給され、下０／１検出回路４７で
は、下から上の走査に対して第０フラグが `０' から `
１' へ変化するところを判断し、その変換点より上側を
第４の内部候補とし、その第４の内部候補は、ＡＮＤゲ
ート５３へ供給される。

【００２３】ＡＮＤゲート５２では、第１の内部候補と
第２の内部候補との論理積が求められ、ＡＮＤゲート５
３では、第３の内部候補と第４の内部候補との論理積が
求められる。そして、ＡＮＤゲート５２および５３の出
力は、ＯＲゲート５４へ供給され、その論理和により第
１の動き物体領域候補（第１フラグ（flag１）＝ `１'
）が出力端子５５から伝送される。この第１の動き物
体領域候補には、複雑な形状をした物体であれば、その
全体を包含するような閉領域を形成することとなり、こ
の領域内には、背景の部分も一部含まれる場合がある。

【００２４】次に、上述した入力／背景比率判定回路２
０の詳細なブロック図を図４に示す。６１で示す入力端
子から除算器１８からの比率がブロック化回路６３へ供
給され、入力端子６２から縮小／拡大回路１６からの第
４フラグ（flag４）がブロック化回路６３へ供給され
る。そのブロック化回路６３では、入力画像と背景メモ
リの比率を第４フラグ（flag４）とともにブロック化が
行われ、平均値回路６４および遅延回路６５へ供給され
る。平均値回路６４では、第４フラグが `１' に等しい
領域内で比率の局所ブロック内の平均値が計算され、そ
の時間だけ遅延回路６５では、遅延される。

【００２５】平均値回路６４の出力は、遅延回路６６お
よび標準偏差回路６７へ供給され、遅延回路６５の出力
は、標準偏差回路６７へ供給される。標準偏差回路６７
では、平均値回路６４と同様に第４フラグが `１' に等
しい領域内で比率の局所ブロック内の標準偏差が計算さ
れ、その時間だけ遅延回路６６では、遅延される。計算
された標準偏差は、比較回路６９および７１へ供給さ
れ、端子６８および７０から供給されるしきい値ｔｈ３
およびｔｈ４と比較される。また、計算された平均値
は、比較回路７３および７５へ供給され、端子７２およ
び７４から供給されるしきい値ｔｈ１およびｔｈ２と比
較される。

【００２６】すなわち、図５に示すように入力画像と背
景メモリの値の比率を各画素毎にもとめ、注目画素を中
心とした微小ブロック内でその比率の平均値および標準
偏差が求められる。その後、しきい値ｔｈ１、ｔｈ２、
ｔｈ３およびｈｔ４と比較することで物体、背景、影を
分離する。ここでは、図５に示すように一例として、平
均値に対するしきい値は、ｔｈ１＞ｔｈ２の関係とな
り、標準偏差に対するしきい値はｔｈ３＜ｔｈ４の関係
となる。よって、コード化回路７６では、比較回路６
９、７１、７３および７５で比較された結果が供給さ
れ、下記のように判定される。

【００２７】（ｔｈ１＜平均値＜ｔｈ２）ａｎｄ（標準
偏差＜ｔｈ３）の場合、第５フラグ（flag５）は `０'
とし、背景と判定され、出力端子７７から後段へ伝送さ
れる。（平均値＜ｔｈ１）ａｎｄ（ｔｈ３＜標準偏差＜
ｔｈ４）の場合、第５フラグ（flag５）は `１' とし、
影と判定され、出力端子７７から後段へ伝送される。背
景および影と判定されない領域を物体と判定し、第５フ
ラグ（flag５）は `２' として出力端子７７から後段へ
伝送される。

【００２８】ここで、上述した背景更新制御回路３５お
よび背景メモリ３６の詳細なブロック図を図６に示す。
この図６のブロック図では、動き物体領域および影の領
域の外を背景領域として入力画像と背景メモリを別途定
める比率（ｒおよび１−ｒ）で加重平均した後、背景メ
モリの更新を行うものである。

【００２９】連続回数メモリ９からの連続回数フラグが
入力端子８１からｒ設定回路８５へ供給され、さらに端
子８４からしきい値ｔｈ６およびｔｈ７がｒ設定回路８
５へ供給される。ｒ設定回路８５では、図７に示すよう
に連続回数フラグがしきい値ｔｈ６より小さい場合、入
力画像の比率ｒを０とするため、背景メモリの比率（１
−ｒ）は１となる。しきい値ｔｈ６より大きく、しきい
値ｔｈ７より小さい場合、連続回数フラグの回数に応じ
て入力画像の比率ｒを上げるようにし（すなわち、背景
メモリの比率（１−ｒ）は下がる）、入力画像の比率ｒ
は、１を越えないように制御する。また、連続回数フラ
グがしきい値ｔｈ７より大きい場合、入力画像の比率ｒ
を１とするため、背景メモリの比率（１−ｒ）は０とな
る。

【００３０】ｒ設定回路８５から背景メモリの比率（１
−ｒ）が乗算器８７へ供給され、背景メモリ３７から記
憶されている背景が乗算器８７へ供給される。その乗算
器８７の演算結果は、加算器８９へ供給される。ｒ設定
回路８５から入力画像の比率ｒが乗算器８８へ供給さ
れ、入力端子８３を介して入力画像が乗算器８８へ供給
される。その乗算器８５の演算結果は、加算器８９へ供
給される。加算器８９では、乗算器８７から背景が供給
され、乗算器８８から入力画像が供給され、それぞれ加
算され背景メモリ３７へ記憶される。この背景メモリ３
７は、端子８２から供給される第７フラグ（flag７）に
応じてＲ／Ｗ制御回路８６により、読み出しおよび書き
込みが制御される。

【００３１】ここで、この発明の影の部分の分離方法に
ついて図８を使用して簡単に説明する。まず、図８Ａに
示すような影と物体がり、図８Ｂに示すように第４フラ
グ（flag４）が `１' である領域が物体、影および背景
の一部を含んだ比較的大きな領域となる。そして、図８
Ｃに示すように、この領域（flag４＝ `１' ）内で入力
画像／背景メモリの比率判定を行った結果、背景の領域
（flag５＝ `０' ）、物体の領域（flag５＝ `１' ）、
影の領域（flag５＝ `２' ）に分離されるが、この判定
に若干の誤差があるため、図８Ｃに示すように本来の物
体の領域内にも微小な背景の部分や微小な影の部分が誤
判定の部分として生じる。

【００３２】上述のように物体の領域の確定には、第５
フラグ（flag５）が `１' である領域と背景メモリとの
差の絶対値をしきい値（ｔｈ５）で比較した結果、限定
した第６フラグ（flag６＝ `１' ）を生成し、その第６
フラグが `１' の領域、すなわち物体の領域を拡大／縮
小することで、第７フラグ（flag７＝ `１' ）が生成さ
れる。また、以上のことから影の領域は下記の論理で求
めることができる。 （flag４＝ `１' ）and （flag７≠ `１' ）and （flag
５≠ `０' ）

【００３３】ここで、この発明の画像信号処理方法の一
実施例を実現するためのフローチャートを図９に示す。
まず、ステップ９１の｜フレーム差｜では、供給された
入力画像と１フレーム遅延された画像との差分の絶対値
が求められ、求められたフレーム差分の絶対値がしきい
値ｔｈ１と比較される。その結果、しきい値ｔｈ１より
大きいと第０フラグ（flag０）は、 `１' として、しき
い値ｔｈ１より小さいと第０フラグ（flag０）は、 `
０' として２値化され、ステップ９２および９５へ制御
が移る。ステップ９２の動き領域判定では、第０フラグ
（flag０）が `１' である領域は、動き物体の輪郭と判
断され、第１の動き物体領域候補（flag１＝ `１' ）と
して、ステップ９４へ制御が移る。

【００３４】ステップ９３の｜入力−背景｜では、入力
画像と背景メモリとの差分の絶対値が算出され、その差
分の絶対値は、しきい値ｔｈ２と比較される。このしき
い値ｔｈ２より大きいとき第２フラグ（flag２）が `
１' とし、しきい値ｔｈ２より小さいとき第２フラグ
（flag２）が `０' として２値化され、ステップ９４へ
制御が移る。このステップ９３において、第２フラグ
（flag２）が `１' である領域は、第２の動き物体領域
候補（flag２＝ `１' ）として、ステップ９４へ制御が
移る。ステップ９４の論理積では、ステップ９２からの
第１フラグ（flag１）とステップ９３からの第２フラグ
（flag２）との論理積をとり、第３の動き物体領域候補
（flag３＝ `１' ）が生成され、ステップ９７へ制御が
移る。

【００３５】ステップ９５の連続回数計数では、第０フ
ラグ（flag０）の `０' である場合、カウントするよう
に制御され、第０フラグが `１' となった場合、そのカ
ウント値を０にリセットするように制御されている。こ
れによって、移動のない背景の確率的な判断材料を得る
ことと、仮に動き物体が停止した場合に、背景にその情
報が更新されていくようにするための判断材料となる連
続回数フラグが生成される。そして、ステップ９５から
ステップ９６へ制御が移る。

【００３６】ステップ９７の縮小／拡大では、図２に示
すように第３の動き物体領域候補（flag３＝ `１' ）の
領域を上下左右方向に数画素程度の縮小／拡大を行う。
上述したように縮小することで、孤立点の除去が行わ
れ、拡大し元の大きさへ戻す。この結果を第４フラグ
（flag４）として、ステップ９８および９９へ制御が移
る。ステップ９９の入力／背景では、入力画像と背景メ
モリの比率が算出され、算出されたその比率は、局所ブ
ロック内平均値および標準偏差が算出され、それぞれを
上述のようにしきい値ｔｈ１、ｔｈ２、ｔｈ３およびｔ
ｈ４と比較することによって、第５フラグ（flag５）が
生成され、ステップ１００へ制御が移る。この第５フラ
グは、上述したように背景のとき `０' を示し、動き物
体のとき `１' を示し、影のとき `２' を示すようにコ
ード化される。

【００３７】ステップ１００の｜入力−背景｜では、入
力画像と背景メモリとの差分の絶対値がしきい値ｔｈ５
と比較され、動き物体領域が判断されると、第６フラグ
（flag６）が `１' となる。ステップ１０１の縮小／拡
大では、上述のステップ９７（縮小／拡大）と同様に第
６フラグが `１' となる領域の上下左右方向に数画素程
度の縮小を行い孤立点の除去を行った後、元の大きさに
拡大する。ステップ９８の影の判定では、上述したよう
に（（flag４＝ `１' ）and （flag７≠１）and （flag
５≠０））が成り立つときに影の領域と判断し、影の領
域と判断された領域は、伝送される。

【００３８】ステップ１０２のflag７＝０では、第７フ
ラグ（flag７）が０か否か、すなわち動き物体領域か否
かが判断される。上述と同様にflag７＝１の場合、その
領域は、動き物体として伝送され、flag７＝０の場合、
ステップ９６へ制御が移る。ステップ９６の背景更新で
は、ステップ９５（連続回数計数）からの背景の連続回
数フラグが得られ、図７に示すように入力画像と背景メ
モリとの比率が定まり、新たな背景に更新され、その背
景が伝送される。

【００３９】

【発明の効果】この発明に依れば、背景と動き物体およ
びその影の部分の分離を精度良く行うことができるた
め、その後の処理のバリエーションを広げることが可能
となる。

【００４０】さらに、この発明に依れば、背景と動き物
体とを分離後、背景はほどんど変化がないため、時間方
向で見たとき超高圧圧縮がはかれることから、ＭＤ（Mi
ni Disk ）のような低ビットレートの記録媒体において
も、高画質、長時間の記録を行うことが可能となる。

【図面の簡単な説明】

【図１】この発明の画像信号処理装置の一実施例を示す
ブロック図である。

【図２】この発明に係る縮小／拡大処理の説明に使用す
る略線図である。

【図３】この発明に係る動き領域判定回路の一例の詳細
なブロック図である。

【図４】この発明に係る入力／背景比率判定の一例の詳
細なブロック図である。

【図５】この発明に係る平均値と標準偏差を示した一例
のグラフである。

【図６】この発明に係る背景更新制御と背景メモリの一
例の詳細なブロックである。

【図７】この発明に係る入力画像と背景メモリからの画
像との比率の一例を示すグラフである。

【図８】この発明の物体と影を抜き取る説明に用いる略
線図である。

【図９】この発明の画像信号処理方法の一例を示すフロ
ーチャートである。

【符号の説明】

２ フレームメモリ ３、１０ 減算器 ４、１１ 絶対値化回路 ６、１３ 比較回路 ７ 計数制御回路 ８、２４ 動き領域判定回路 ９ 連続回数メモリ １４、１７、１９、２２、２３、２９、３０、３５ 遅
延回路 １５ ＡＮＤゲート １６、２６ 縮小／拡大回路 １８ 除算器 ２０ 入力／背景比率判定回路 ２７ 影判定回路 ２８ 動き物体判定回路 ３１ 影メモリ ３３ 動き物体メモリ ３６ 背景更新制御回路 ３７ 背景メモリ

Claims (6)

【特許請求の範囲】
1. 【請求項１】 連続して入力される動画像から背景画像
   と動き物体を分離する画像信号処理装置において、 入力画像に対して１フレーム遅延を行うフレームメモリ
   手段と、 上記入力画像と１フレーム遅延された上記画像とから画
   素毎に差分を計算する手段と、 上記差分値を絶対値化した後、しきい値と比較すること
   によって２値化した第１のフラグを設定し、動き物体の
   輪郭を判断する手段と、 上記動き物体の輪郭を上下左右から走査することで動き
   物体領域の第１の候補を判定する手段と最初の入力画像
   によって初期設定された更新可能な背景メモリ手段と、 上記背景メモリ手段からの画像と上記入力画像との差分
   を計算する手段と、 上記差分値を絶対値化した後、しきい値と比較すること
   によって２値化した第２のフラグを設定し、動き物体領
   域の第２の候補を判定する手段と、 動き物体領域の上記第１の候補と上記第２の候補の論理
   積の結果を第３の候補とする手段と、 動き物体領域の上記第３の候補の内部において、上記入
   力画像と上記背景メモリからの画像の比率を計算する手
   段と、 上記比率の局所ブロック内平均値および標準偏差を計算
   する手段と、 上記平均値および上記標準偏差を所定のしきい値で比較
   することで、背景の領域の判定を行う手段と、 上記背景の領域を動き物体領域の上記第３の候補から削
   除し、最終的な動き物体領域を判断することを特徴とす
   る画像信号処理装置。
2. 【請求項２】 請求項１に記載の画像信号処理装置にお
   いて、 上記最終的な動き物体領域の外を背景領域とし、上記入
   力画像と背景メモリからの画像を別途定める比率（ｒお
   よび１−ｒ）で加重平均して、背景メモリの更新を行う
   ことを特徴とする画像信号処理装置。
3. 【請求項３】 請求項２に記載の画像信号処理装置にお
   いて、 上記背景メモリの更新の比率は、フレームの画素数分の
   大きさの連続回数フラグメモリ手段とを持ち、 上記連続回数フラグ手段は、ある画素位置に対応して、
   上記第１のフラグが１である場合に０にリセットし、上
   記第１のフラグが０である場合にカウントアップするよ
   うにして、上記連続回数フラグを更新するとともに、上
   記連続回数フラグが所定のしきい値以下の場合には、上
   記入力画像の比率を０とし、かつ上記背景メモリの比率
   を１とし、上記連続回数フラグが所定のしきい値をこえ
   る場合は、上記連続回数フラグに応じて上記入力画像の
   比率を上げ、かつ上記背景メモリの比率を下げるように
   し、かつ上記入力画像の比率は１をこえないようにする
   ことを特徴とする画像信号処理装置。
4. 【請求項４】 連続して入力される動画像から背景画像
   と動き物体を分離する画像信号処理方法において、 入力画像に対して１フレーム遅延を行うステップと、 上記入力画像と１フレーム遅延された上記画像とから画
   素毎に差分を計算するステップと、 上記差分値を絶対値化した後、しきい値と比較すること
   によって２値化した第１のフラグを設定し、動き物体の
   輪郭を判断するステップと、 上記動き物体の輪郭を上下左右から走査することで動き
   物体領域の第１の候補を判定するステップと最初の入力
   画像によって初期設定された更新可能な背景メモリステ
   ップと、 上記背景メモリ手段からの画像と上記入力画像との差分
   を計算するステップと、 上記差分値を絶対値化した後、しきい値と比較すること
   によって２値化した第２のフラグを設定し、動き物体領
   域の第２の候補を判定するステップと、 動き物体領域の上記第１の候補と上記第２の候補の論理
   積の結果を第３の候補とするステップと、 動き物体領域の上記第３の候補の内部において、上記入
   力画像と上記背景メモリからの画像の比率を計算するス
   テップと、 上記比率の局所ブロック内平均値および標準偏差を計算
   するステップと、 上記平均値および上記標準偏差を所定のしきい値で比較
   することで、背景の領域の判定を行うステップと、 上記背景の領域を動き物体領域の上記第３の候補から削
   除し、最終的な動き物体領域を判断することを特徴とす
   る画像信号処理方法。
5. 【請求項５】 請求項４に記載の画像信号処理方法にお
   いて、 上記最終的な動き物体領域の外を背景領域とし、上記入
   力画像と背景メモリからの画像を別途定める比率（ｒお
   よび１−ｒ）で加重平均して、背景メモリの更新を行う
   ことを特徴とする画像信号処理方法。
6. 【請求項６】 請求項５に記載の画像信号処理方法にお
   いて、 上記背景メモリの更新の比率は、フレームの画素数分の
   大きさの連続回数フラグメモリとを持ち、 上記連続回数フラグは、ある画素位置に対応して、上記
   第１のフラグが１である場合に０にリセットし、上記第
   １のフラグが０である場合にカウントアップするように
   して、上記連続回数フラグを更新するとともに、上記連
   続回数フラグが所定のしきい値以下の場合には、上記入
   力画像の比率を０とし、かつ上記背景メモリの比率を１
   とし、上記連続回数フラグが所定のしきい値をこえる場
   合は、上記連続回数フラグに応じて上記入力画像の比率
   を上げ、かつ上記背景メモリの比率を下げるようにし、
   かつ上記入力画像の比率は１をこえないようにすること
   を特徴とする画像信号処理方法。