JP3852120B2

JP3852120B2 - Image signal processing apparatus and method

Info

Publication number: JP3852120B2
Application number: JP20777795A
Authority: JP
Inventors: 秀雄中屋; 哲二郎近藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1995-07-21
Filing date: 1995-07-21
Publication date: 2006-11-29
Anticipated expiration: 2015-07-21
Also published as: JPH0937259A

Description

【０００１】
【発明の属する技術分野】
この発明は、画像信号から動き物体を抽出するための画像信号処理装置および方法に関する。
【０００２】
【従来の技術】
画像信号を圧縮するための１つの方法として、画像を背景部分（すなわち、静止画）と動き物体とに分離して、背景部分については、静止画であることを利用して、その伝送を省略する（間引く）ことによって、大幅に伝送データ量を削減することが可能である。このように、更新が可能な背景メモリおよび入力画像のフレーム差分情報を用いて、動き物体と背景部分を分離する手法が従来より提案されている。
【０００３】
【発明が解決しようとする課題】
しかしながら、従来の手法では、例えば照明の角度によっては動き物体の影が生じることがあり、その影の部分も含めて動き物体領域と判定されることがあった。影を含めて動き物体として扱われることは、上述のような符号化の圧縮を低下させる問題を生じる。
【０００４】
従って、この発明の目的は、背景部分と動き物体を分離する場合に、動き物体の影の部分を新たな判定によって区別し、動き物体のみを抽出する画像信号処理装置および方法を提案することにある。
【０００５】
【課題を解決するための手段】
請求項１に記載の発明は、連続して入力される動画像である入力画像から背景部分と動き物体とに分離する画像信号処理装置であって、入力画像に対して遅延を行うフレームメモリと、入力画像とフレームメモリにて遅延された画像とから画素毎に差分値を計算する第１の差分手段と、第１の差分手段から得られる差分値を絶対値化した後、第１のしきい値と比較することによって２値化した第１のフラグを設定し、設定された第１のフラグが第１のフラグ値から第２のフラグ値へ変化するところ、または第２のフラグ値から第１のフラグ値へ変化するところを上下左右から判断し、動き物体領域の第１の候補を判定する第１の判定手段と、背景部分を静止画として格納する更新可能な背景メモリと、入力画像の各画素毎に背景メモリに格納されている静止画の対応する画素の画素値との差分値を計算する第２の差分手段と、第２の差分手段から得られる差分値を絶対値化した後、第２のしきい値と比較し、絶対値化された差分値が第２のしきい値より大きいとき、第２のフラグに第３のフラグ値を設定し、設定された第２のフラグを動き物体領域の第２の候補と判定する第２の判定手段と、第１の候補と第２の候補との論理積から第３の候補を得る論理積手段と、第３の候補を縮小した後、拡大する縮小／拡大手段と、第３の候補の内部において、入力画像の各画素と背景メモリに格納されている静止画の各画素との輝度値の比率を計算する比率計算手段と、第３の候補と比率とをブロック化し、ブロック化された第３の候補と比率毎に比率の平均値及び標準偏差を計算する値計算手段と、平均値を第１および第２のしきい値と比較し、標準偏差を第３および第４のしきい値と比較し、平均値が第２のしきい値より大きく、且つ標準偏差が第４のしきい値より大きい場合にブロック化された第３の候補を動き物体と判定し、平均値が第１のしきい値より大きく、第１のしきい値より大きい第２のしきい値より小さく、且つ標準偏差が第３のしきい値より小さい場合にブロック化された第３の候補を背景部分と判定し、平均値が第１のしきい値より小さく、且つ標準偏差が第３のしきい値より大きく、第３のしきい値より大きい第４のしきい値より小さい場合にブロック化された第３の候補を動き物体の影部分と判定する第３の判定手段とを有し、２値化された第１のフラグから連続して動きがないと判定された回数を計数し、回数に応じた比率で、入力画像と背景メモリに格納されている静止画とを加重平均して背景メモリに格納される静止画を更新するようにしたことを特徴とする画像信号処理装置である。
【０００６】
また、請求項３に記載の発明は、連続して入力される動画像である入力画像から背景部分と動き物体とに分離する画像信号処理方法であって、入力画像に対して遅延を行うフレームメモリと、入力画像とフレームメモリにて遅延された画像とから画素毎に差分値を計算する第１の差分ステップと、第１の差分ステップから得られる差分値を絶対値化した後、第１のしきい値と比較することによって２値化した第１のフラグを設定し、設定された第１のフラグが第１のフラグ値から第２のフラグ値へ変化するところ、または第２のフラグ値から第１のフラグ値へ変化するところを上下左右から判断し、動き物体領域の第１の候補を判定する第１の判定ステップと、背景部分を静止画として格納する更新可能な背景メモリと、入力画像の各画素毎に背景メモリに格納されている静止画の対応する画素の画素値との差分値を計算する第２の差分ステップと、第２の差分ステップから得られる差分値を絶対値化した後、第２のしきい値と比較し、絶対値化された差分値が第２のしきい値より大きいとき、第２のフラグに第３のフラグ値を設定し、設定された第２のフラグを動き物体領域の第２の候補と判定する第２の判定ステップと、第１の候補と第２の候補との論理積から第３の候補を得る論理積ステップと、第３の候補を縮小した後、拡大する縮小／拡大ステップと、第３の候補の内部において、入力画像の各画素と背景メモリに格納されている静止画の各画素との輝度値の比率を計算する比率計算ステップと、第３の候補と比率とをブロック化し、ブロック化された第３の候補と比率毎に比率の平均値及び標準偏差を計算する値計算ステップと、平均値を第１および第２のしきい値と比較し、標準偏差を第３および第４のしきい値と比較し、平均値が第２のしきい値より大きく、且つ標準偏差が第４のしきい値より大きい場合にブロック化された第３の候補を動き物体と判定し、平均値が第１のしきい値より大きく、第１のしきい値より大きい第２のしきい値より小さく、且つ標準偏差が第３のしきい値より小さい場合にブロック化された第３の候補を背景部分と判定し、平均値が第１のしきい値より小さく、且つ標準偏差が第３のしきい値より大きく、第３のしきい値より大きい第４のしきい値より小さい場合にブロック化された第３の候補を動き物体の影部分と判定する第３の判定ステップとを有し、２値化された第１のフラグから連続して動きがないと判定された回数を計数し、回数に応じた比率で、入力画像と背景メモリに格納されている静止画とを加重平均して背景メモリに格納される静止画を更新するようにしたことを特徴とする画像信号処理方法である。
【０００７】
このように、背景部分と動き物体とを分離後、背景部分はほどんど変化がないため、時間方向で見たとき超高圧縮を実現することが可能となる。
【０００８】
【発明の実施の形態】
以下、この発明の一実施例について図面を参照して説明する。図１は、この発明の画像信号処理装置の一実施例のブロック図を示す。１で示す入力端子にディジタル化された画像が入力され、そのディジタル画像は、フレームメモリ２、減算器３、１０、除算器１８および遅延回路２９へ供給される。フレームメモリ２へ供給されたディジタル画像は、１フレーム遅延の後、減算器３において、現フレームとの画素毎の差分が計算され、その差分値は、絶対値（ＡＢＳ）化回路４へ供給される。
【０００９】
絶対値化回路４において、絶対値化された差分値が、比較回路６へ供給され、比較回路６において、端子５から供給されるしきい値ｔｈ１と比較され、２値化される。この比較回路６では、しきい値ｔｈ１より差分値が大きい場合、第０フラグ（flag０）は `１' とし、しきい値ｔｈ１より差分値が小さい場合、第０フラグ（flag０）は `０' として、計数制御回路７および動き領域判定回路８へ供給される。この第０フラグ（flag０）が `１' である領域は、動き物体の輪郭と判断される。例えば、画像の中で比較的大きな物体が動いているものとして、後述する動き領域判定回路８では、この輪郭から動き物体の内部領域を判断するための処理が行われ、第１フラグ（flag１）が第１の動き物体領域候補（flag１＝ `１' ）として、ＡＮＤゲート１５へ供給される。
【００１０】
そして、入力されたディジタル画像は、減算器１０において、更新可能な背景メモリ回路３７から供給された信号との差分が計算され、その差分値は絶対値（ＡＢＳ）化回路１１へ供給される。その差分値は、比較回路１３および遅延回路２３へ供給され、比較回路１３では、端子１２から供給されるしきい値ｔｈ２との比較が行われ、その結果２値化された第２フラグ（flag２）が遅延回路１４を介して、ＡＮＤゲート１５へ供給される。すなわち、比較回路１３において、しきい値ｔｈ２より絶対値化された差分値が大きい場合、第２フラグ（flag２）を `１' とし、しきい値ｔｈ２より小さい場合、第２フラグ（flag２）を `０' として、第２フラグ（flag２）は、遅延回路１４へ供給される。遅延回路１４では、上述した動き領域判定回路８にかかる時間だけ遅延され、第２の動き物体領域候補（flag２＝ `１' ）として、ＡＮＤゲート１５へ供給される。
【００１１】
第１の動き物体領域候補（flag１＝ `１' ）および第２の動き物体領域候補（flag２＝ `１' ）が供給されたＡＮＤゲート１５では、それらの論理積をとり、第３の動き物体領域候補（flag３＝ `１' ）が生成され、縮小／拡大回路１６へ供給される。一方、第０フラグ（flag０）に関して、後で使用する連続回数メモリ９の制御を行う。この連続回数メモリ９は、画素位置毎に対応して、第０フラグ（flag０）が `１' である場合、０にリセットし、第０フラグ（flag０）が `０' である場合、カウントアップするように制御される。これは、フレーム差の小さい現象が時間方向でどれだけ連続するかをカウントするものであり、これによって動かない背景部分の確率的な判断材料を得ることと、仮に動き物体が停止した場合に、背景部分にその情報が更新されていくようにするための判断材料とするものである。
【００１２】
次に、縮小／拡大回路１６では、図２に示すように第３の動き物体領域候補（flag３＝ `１' ）の領域を上下左右方向に数画素程度の縮小／拡大を行う。図２Ａは、縮小／拡大回路１６へ供給されたディジタル画像を示し、そのディジタル画像に対して、縮小処理を行うことで図２Ｂに示すように孤立点の除去が行われる。孤立点の除去が行われたディジタル画像は、元の大きさへ戻すために図２Ｃに示すように拡大処理を行う。この結果を第４フラグ（flag４）として、遅延回路１７および入力／背景比率判定回路２０へ供給される。
【００１３】
入力されたディジタル画像が供給された除算器１８は、背景メモリ３７からの信号と除算される。すなわち、第４フラグ（flag４）が `１' である領域内において、例えば動き物体領域候補であっても、それが実際は背景部分であった場合、ある程度の広がりの入力画像と背景部分との輝度値の比率は、ほとんど１に近い値を示すはずである。また、比率が１からある程度離れた領域は背景部分に落とした動き物体の影の領域であり、それ以外は動き物体と判断できる。
【００１４】
除算器１８からの比率は、遅延回路１９において、所定の遅延がなされた後、その除算された結果は、入力／背景比率判定回路２０へ供給される。入力／背景比率判定回路２０では、端子２１からしきい値ｔｈ１、ｔｈ２、ｔｈ３およびｔｈ４が供給され、第５フラグ（flag５）が作成される。この入力／背景比率判定回路２０の詳細な説明は、後述する。第５フラグ（flag５）は、背景部分と判定したときは `０' となり、動き物体と判定したときは `１' となり、さらに影と判定したときは `２' となるようにコード化される。この第５フラグ（flag５）は、遅延回路２２および動き領域判定回路２４へ供給される。
【００１５】
背景メモリ３７からの信号と、入力されたディジタル画像との差分の絶対値が絶対値化回路１１から供給される遅延回路２３では、所定の遅延が施された後、動き領域判定回路２４へ供給され、さらに端子２５からしきい値ｔｈ５が動き領域判定回路２４へ供給される。このしきい値ｔｈ５は、上述したしきい値ｔｈ２より大きく（ｔｈ５＞ｔｈ２）、すなわちしきい値ｔｈ２よりきびしく動き物体領域か否かが判断される。そして、動き物体領域と判断されたとき、第６フラグ（flag６）を `１' として、縮小／拡大回路２６へ供給される。
【００１６】
この縮小／拡大回路２６は、上述の縮小／拡大回路１６と同様に孤立点を除去するために、第６フラグ（flag６＝ `１' ）の領域を上下左右方向で数画素程度の縮小および拡大を行い、第７フラグ（flag７）を `１' とし、動き物体領域が作成される。その第７フラグ（flag７）は、影判定回路２７、動き物体判定回路２８および背景更新制御回路３６へ供給される。
【００１７】
影判定回路２７では、入力されたディジタル画像が遅延回路２９を介して供給され、そのディジタル画像は、第４フラグ（flag４）、第５フラグ（flag５）および第７フラグ（flag７）に基づいて、影の領域が判定される。入力されたディジタル画像が遅延回路３０を介して影メモリ３１へ供給され、そのディジタル画像は、影判定回路２７から供給される信号に応じて、影と判定された領域のみ記憶される。また、既に記憶されている場合、新たに影と判定された領域が影メモリ３１へ更新され、記憶される。記憶された影の領域は、出力端子３２から伝送される。
【００１８】
さらに、動き物体判定回路２８では、入力されたディジタル画像が遅延回路２９を介して供給され、そのディジタル画像は、第７フラグ（flag７）に基づいて、動き物体の領域が判定される。入力されたディジタル画像が遅延回路３０を介して動き物体メモリ３３へ供給され、そのディジタル画像は、動き物体判定回路２８から供給される信号に応じて、動き物体と判定された領域のみ記憶される。また、既に記憶されている場合、新たに動き物体と判定された領域が動き物体メモリ３３へ更新され、記憶される。記憶された動き物体の領域は、出力端子３４から伝送される。
【００１９】
また、背景更新制御回路３６では、入力されたディジタル画像が遅延回路２９を介して供給され、そのディジタル画像は、第７フラグ（flag７）および遅延回路３５を介して連続回数メモリ９からの信号に基づいて、背景部分の領域が判定される。判定された背景部分は、背景メモリを別途定める比率（ｒおよび１−ｒ）で加重平均して、背景メモリの更新を行い、出力端子３８からその背景部分は、伝送される。
【００２０】
ここで、上述した動き領域判定回路８の詳細なブロック図を図３に示す。この動き領域判定回路８では、第０フラグ（flag０）が `１' で示される動き輪郭であると判断される動き物体領域に対して、さらに上下左右から走査することで動き物体領域の第１の候補が判定され、第１フラグ（flag１）として、後段へ伝送される。
【００２１】
４１で示す入力端子を介して、比較回路６から供給される第０フラグ（flag０）がフラグフレームメモリ４２へ供給される。そのフラグフレームメモリ４２は、アドレス制御回路４３からの信号により制御される。左０／１検出回路４４では、左から右の走査に対して第０フラグが `０' から `１' へ変化するところを判断し、第１内部候補回路４５において、その変化点より右側を第１の内部候補とする。その第１の内部候補は、ＡＮＤゲート５２へ供給される。
【００２２】
次に、右０／１検出回路４６では、右から左の走査に対して第０フラグが `０' から `１' へ変化するところを判断し、第２内部候補回路４７において、その変化点より左側を第２の内部候補とする。その第２の内部候補は、ＡＮＤゲート５２へ供給される。同様に、上０／１検出回路４８では、上から下の走査に対して第０フラグが `０' から `１' へ変化するところを判断し、第３内部候補回路４９において、その変化点より下側を第３の内部候補とし、その第３の内部候補は、ＡＮＤゲート５３へ供給され、下０／１検出回路５０では、下から上の走査に対して第０フラグが `０' から `１' へ変化するところを判断し、第４内部候補回路５１において、その変換点より上側を第４の内部候補とし、その第４の内部候補は、ＡＮＤゲート５３へ供給される。
【００２３】
ＡＮＤゲート５２では、第１の内部候補と第２の内部候補との論理積が求められ、ＡＮＤゲート５３では、第３の内部候補と第４の内部候補との論理積が求められる。そして、ＡＮＤゲート５２および５３の出力は、ＯＲゲート５４へ供給され、その論理和により第１の動き物体領域候補（第１フラグ（flag１）＝ `１' ）が出力端子５５から伝送される。この第１の動き物体領域候補には、複雑な形状をした物体であれば、その全体を包含するような閉領域を形成することとなり、この領域内には、背景の部分も一部含まれる場合がある。
【００２４】
次に、上述した入力／背景比率判定回路２０の詳細なブロック図を図４に示す。６１で示す入力端子から除算器１８からの比率がブロック化回路６３へ供給され、入力端子６２から縮小／拡大回路１６からの第４フラグ（flag４）がブロック化回路６３へ供給される。そのブロック化回路６３では、入力画像と背景メモリの比率を第４フラグ（flag４）とともにブロック化が行われ、平均値回路６４および遅延回路６５へ供給される。平均値回路６４では、第４フラグが `１' に等しい領域内で比率の局所ブロック内の平均値が計算され、その時間だけ遅延回路６５では、遅延される。
【００２５】
平均値回路６４の出力は、遅延回路６６および標準偏差回路６７へ供給され、遅延回路６５の出力は、標準偏差回路６７へ供給される。標準偏差回路６７では、平均値回路６４と同様に第４フラグが `１' に等しい領域内で比率の局所ブロック内の標準偏差が計算され、その時間だけ遅延回路６６では、遅延される。計算された標準偏差は、比較回路６９および７１へ供給され、端子６８および７０から供給されるしきい値ｔｈ３およびｔｈ４と比較される。また、計算された平均値は、比較回路７３および７５へ供給され、端子７２および７４から供給されるしきい値ｔｈ１およびｔｈ２と比較される。
【００２６】
すなわち、図５に示すように入力画像と背景メモリの値の比率を各画素毎にもとめ、注目画素を中心とした微小ブロック内でその比率の平均値および標準偏差が求められる。その後、しきい値ｔｈ１、ｔｈ２、ｔｈ３およびｔｈ４と比較することで動き物体、背景部分、影の部分を分離する。ここでは、図５に示すように一例として、平均値に対するしきい値は、ｔｈ１＜ｔｈ２の関係となり、標準偏差に対するしきい値はｔｈ３＜ｔｈ４の関係となる。よって、コード化回路７６では、比較回路６９、７１、７３および７５で比較された結果が供給され、下記のように判定される。
【００２７】
（ｔｈ１＜平均値＜ｔｈ２）ａｎｄ（標準偏差＜ｔｈ３）の場合、第５フラグ（flag５）は `０' とし、背景部分と判定され、出力端子７７から後段へ伝送される。（平均値＜ｔｈ１）ａｎｄ（ｔｈ３＜標準偏差＜ｔｈ４）の場合、第５フラグ（flag５）は `１' とし、影と判定され、出力端子７７から後段へ伝送される。背景部分および影と判定されない領域を動き物体と判定し、第５フラグ（flag５）は `２' として出力端子７７から後段へ伝送される。
【００２８】
ここで、上述した背景更新制御回路３６および背景メモリ３７の詳細なブロック図を図６に示す。この図６のブロック図では、動き物体領域および影の領域の外を背景部分の領域として入力画像と背景メモリを別途定める比率（ｒおよび１−ｒ）で加重平均した後、背景メモリの更新を行うものである。
【００２９】
連続回数メモリ９からの連続回数フラグが入力端子８１からｒ設定回路８５へ供給され、さらに端子８４からしきい値ｔｈ６およびｔｈ７がｒ設定回路８５へ供給される。ｒ設定回路８５では、図７に示すように連続回数フラグがしきい値ｔｈ６より小さい場合、入力画像の比率ｒを０とするため、背景メモリの比率（１−ｒ）は１となる。しきい値ｔｈ６より大きく、しきい値ｔｈ７より小さい場合、連続回数フラグの回数に応じて入力画像の比率ｒを上げるようにし（すなわち、背景メモリの比率（１−ｒ）は下がる）、入力画像の比率ｒは、１を越えないように制御する。また、連続回数フラグがしきい値ｔｈ７より大きい場合、入力画像の比率ｒを１とするため、背景メモリの比率（１−ｒ）は０となる。
【００３０】
ｒ設定回路８５から背景メモリの比率（１−ｒ）が乗算器８７へ供給され、背景メモリ３７から記憶されている背景部分が乗算器８７へ供給される。その乗算器８７の演算結果は、加算器８９へ供給される。ｒ設定回路８５から入力画像の比率ｒが乗算器８８へ供給され、入力端子８３を介して入力画像が乗算器８８へ供給される。その乗算器８８の演算結果は、加算器８９へ供給される。加算器８９では、乗算器８７から背景部分が供給され、乗算器８８から入力画像が供給され、それぞれ加算され背景メモリ３７へ記憶される。この背景メモリ３７は、端子８２から供給される第７フラグ（flag７）に応じてＲ／Ｗ制御回路８６により、読み出しおよび書き込みが制御される。
【００３１】
ここで、この発明の影の部分の分離方法について図８を使用して簡単に説明する。まず、図８Ａに示すような影と動き物体があり、図８Ｂに示すように第４フラグ（flag４）が `１' である領域が動き物体、影および背景部分の一部を含んだ比較的大きな領域となる。そして、図８Ｃに示すように、この領域（flag４＝ `１' ）内で入力画像／背景メモリの比率判定を行った結果、背景部分の領域（flag５＝ `０' ）、動き物体の領域（flag５＝ `１' ）、影の領域（flag５＝ `２' ）に分離されるが、この判定に若干の誤差があるため、図８Ｃに示すように本来の動き物体の領域内にも微小な背景部分や微小な影の部分が誤判定の部分として生じる。
【００３２】
上述のように動き物体の領域の確定には、第５フラグ（flag５）が `１' である領域と背景メモリとの差の絶対値をしきい値（ｔｈ５）で比較した結果、限定した第６フラグ（flag６＝ `１' ）を生成し、その第６フラグが `１' の領域、すなわち動き物体の領域を拡大／縮小することで、第７フラグ（flag７＝ `１' ）が生成される。また、以上のことから影の領域は下記の論理で求めることができる。
（flag４＝ `１' ）and （flag７≠ `１' ）and （flag５≠ `０' ）
【００３３】
ここで、この発明の画像信号処理方法の一実施例を実現するためのフローチャートを図９に示す。まず、ステップ９１の｜フレーム差｜では、供給された入力画像と１フレーム遅延された画像との差分の絶対値が求められ、求められたフレーム差分の絶対値がしきい値ｔｈ１と比較される。その結果、しきい値ｔｈ１より大きいと第０フラグ（flag０）は、 `１' として、しきい値ｔｈ１より小さいと第０フラグ（flag０）は、 `０' として２値化され、ステップ９２および９５へ制御が移る。ステップ９２の動き領域判定では、第０フラグ（flag０）が `１' である領域は、動き物体の輪郭と判断され、第１の動き物体領域候補（flag１＝ `１' ）として、ステップ９４へ制御が移る。
【００３４】
ステップ９３の｜入力−背景｜では、入力画像と背景メモリとの差分の絶対値が算出され、その差分の絶対値は、しきい値ｔｈ２と比較される。このしきい値ｔｈ２より大きいとき第２フラグ（flag２）が `１' とし、しきい値ｔｈ２より小さいとき第２フラグ（flag２）が `０' として２値化され、ステップ９４へ制御が移る。このステップ９３において、第２フラグ（flag２）が `１' である領域は、第２の動き物体領域候補（flag２＝ `１' ）として、ステップ９４へ制御が移る。ステップ９４の論理積では、ステップ９２からの第１フラグ（flag１）とステップ９３からの第２フラグ（flag２）との論理積をとり、第３の動き物体領域候補（flag３＝ `１' ）が生成され、ステップ９７へ制御が移る。
【００３５】
ステップ９５の連続回数計数では、第０フラグ（flag０）の `０' である場合、カウントするように制御され、第０フラグが `１' となった場合、そのカウント値を０にリセットするように制御されている。これによって、移動のない背景部分の確率的な判断材料を得ることと、仮に動き物体が停止した場合に、背景部分にその情報が更新されていくようにするための判断材料となる連続回数フラグが生成される。そして、ステップ９５からステップ９６へ制御が移る。
【００３６】
ステップ９７の縮小／拡大では、図２に示すように第３の動き物体領域候補（flag３＝ `１' ）の領域を上下左右方向に数画素程度の縮小／拡大を行う。上述したように縮小することで、孤立点の除去が行われ、拡大し元の大きさへ戻す。この結果を第４フラグ（flag４）として、ステップ９８および９９へ制御が移る。ステップ９９の入力／背景では、入力画像と背景メモリの比率が算出され、算出されたその比率は、局所ブロック内平均値および標準偏差が算出され、それぞれを上述のようにしきい値ｔｈ１、ｔｈ２、ｔｈ３およびｔｈ４と比較することによって、第５フラグ（flag５）が生成され、ステップ１００へ制御が移る。この第５フラグは、上述したように背景部分のとき `０' を示し、動き物体のとき `１' を示し、影のとき `２' を示すようにコード化される。
【００３７】
ステップ１００の｜入力−背景｜では、入力画像と背景メモリとの差分の絶対値がしきい値ｔｈ５と比較され、動き物体領域が判断されると、第６フラグ（flag６）が `１' となる。ステップ１０１の縮小／拡大では、上述のステップ９７（縮小／拡大）と同様に第６フラグが `１' となる領域の上下左右方向に数画素程度の縮小を行い孤立点の除去を行った後、元の大きさに拡大する。ステップ９８の影の判定では、上述したように（（flag４＝ `１' ）and （flag７≠１）and （flag５≠０））が成り立つときに影の領域と判断し、影の領域と判断された領域は、伝送される。
【００３８】
ステップ１０２のflag７＝０では、第７フラグ（flag７）が０か否か、すなわち動き物体領域か否かが判断される。上述と同様にflag７＝１の場合、その領域は、動き物体として伝送され、flag７＝０の場合、ステップ９６へ制御が移る。ステップ９６の背景更新では、ステップ９５（連続回数計数）からの背景部分の連続回数フラグが得られ、図７に示すように入力画像と背景メモリとの比率が定まり、新たな背景部分に更新され、その背景部分が伝送される。
【００３９】
【発明の効果】
この発明に依れば、背景部分と動き物体およびその影の部分の分離を精度良く行うことができるため、その後の処理のバリエーションを広げることが可能となる。
【００４０】
さらに、この発明に依れば、背景部分と動き物体とを分離後、背景部分はほどんど変化がないため、時間方向で見たとき超高圧縮がはかれることから、ＭＤ（Mini Disk ）のような低ビットレートの記録媒体においても、高画質、長時間の記録を行うことが可能となる。
【図面の簡単な説明】
【図１】この発明の画像信号処理装置の一実施例を示すブロック図である。
【図２】この発明に係る縮小／拡大処理の説明に使用する略線図である。
【図３】この発明に係る動き領域判定回路の一例の詳細なブロック図である。
【図４】この発明に係る入力／背景比率判定の一例の詳細なブロック図である。
【図５】この発明に係る平均値と標準偏差を示した一例のグラフである。
【図６】この発明に係る背景更新制御と背景メモリの一例の詳細なブロックである。
【図７】この発明に係る入力画像と背景メモリからの画像との比率の一例を示すグラフである。
【図８】この発明の物体と影を抜き取る説明に用いる略線図である。
【図９】この発明の画像信号処理方法の一例を示すフローチャートである。
【符号の説明】
２フレームメモリ
３、１０減算器
４、１１絶対値化回路
６、１３比較回路
７計数制御回路
８、２４動き領域判定回路
９連続回数メモリ
１４、１７、１９、２２、２３、２９、３０、３５遅延回路
１５ＡＮＤゲート
１６、２６縮小／拡大回路
１８除算器
２０入力／背景比率判定回路
２７影判定回路
２８動き物体判定回路
３１影メモリ
３３動き物体メモリ
３６背景更新制御回路
３７背景メモリ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image signal processing apparatus and method for extracting a moving object from an image signal.
[0002]
[Prior art]
As one method for compressing the image signal, the image is separated into a background portion (that is, a still image) and a moving object, and the background portion is a still image, and transmission thereof is omitted. By carrying out (thinning out), it is possible to greatly reduce the amount of transmission data. In this way, using the background memory that can be updated and the frame difference information of the input image, the moving object and the background portion Conventionally, a method for separating the two has been proposed.
[0003]
[Problems to be solved by the invention]
However, in the conventional method, a shadow of a moving object may be generated depending on, for example, the angle of illumination, and it may be determined as a moving object region including the shadow portion. Handling as a moving object including a shadow causes a problem of reducing the compression of the encoding as described above.
[0004]
Therefore, the object of the present invention is to portion When the moving object is separated, the image signal processing apparatus and method for distinguishing the shadow part of the moving object by new determination and extracting only the moving object are proposed.
[0005]
[Means for Solving the Problems]
The invention according to claim 1 is an image signal processing device for separating a background portion and a moving object from an input image, which is a continuously input moving image, and a frame memory for delaying the input image; A first difference means for calculating a difference value for each pixel from the input image and an image delayed by the frame memory; and a difference value obtained from the first difference means is converted into an absolute value, and then the first value is calculated. Set the first flag binarized by comparing with the threshold, Judging where the set first flag changes from the first flag value to the second flag value or where the second flag value changes from the first flag value from the top, bottom, left and right, First determination means for determining a first candidate for a moving object region, an updatable background memory for storing a background portion as a still image, and a still image stored in the background memory for each pixel of the input image A second difference means for calculating a difference value from the pixel value of the corresponding pixel, and a difference value obtained from the second difference means is converted to an absolute value and then compared with a second threshold value. When the absolute difference value is larger than the second threshold value, Second flag The third flag value Set Set the second flag Second candidate for moving object region When Second determining means for determining; AND means for obtaining a third candidate from the logical product of the first candidate and the second candidate; A reduction / enlargement means for enlarging after reducing the third candidate; Inside the third candidate, each pixel of the input image and each pixel of the still image stored in the background memory Luminance value A ratio calculation means for calculating the ratio; Third candidate and ratio Block , Blocked Third candidate and ratio Value calculation means for calculating the average value and standard deviation of each ratio, and the average value To the first and second thresholds, Standard deviation 3rd and 4th Threshold When Compare and When the average value is larger than the second threshold value and the standard deviation is larger than the fourth threshold value, the blocked third candidate is determined as a moving object, and the average value is the first threshold value. If the third candidate is larger than the second threshold value and smaller than the second threshold value and the standard deviation is smaller than the third threshold value, the blocked third candidate is determined as the background portion, and the average Third candidate blocked if value is less than first threshold and standard deviation is greater than third threshold and less than fourth threshold greater than third threshold As a shadow part of a moving object And a third determination means that Counts the number of times it has been determined that there is no motion continuously from the binarized first flag, and weights and averages the input image and the still image stored in the background memory at a ratio according to the number of times Update still images stored in background memory The image signal processing apparatus is characterized in that it is configured as described above.
[0006]
Claims 3 The image signal processing method for separating a background portion and a moving object from an input image that is a continuously input moving image, a frame memory that delays the input image, and an input image And a first difference step for calculating a difference value for each pixel from the image delayed in the frame memory, and the difference value obtained from the first difference step is converted into an absolute value, and then the first threshold value Set the first flag binarized by comparing, Judging where the set first flag changes from the first flag value to the second flag value or where the second flag value changes from the first flag value from the top, bottom, left and right, A first determination step for determining a first candidate for a moving object region; an updatable background memory for storing a background portion as a still image; and a still image stored in the background memory for each pixel of an input image A second difference step for calculating a difference value with a pixel value of a corresponding pixel, and a difference value obtained from the second difference step is converted into an absolute value and then compared with a second threshold value. When the absolute difference value is larger than the second threshold value, Second flag The third flag value Set Set the second flag Second candidate for moving object region When A second determination step for determining; a logical product step for obtaining a third candidate from the logical product of the first candidate and the second candidate; A reduction / enlargement step to enlarge after reducing the third candidate; Inside the third candidate, each pixel of the input image and each pixel of the still image stored in the background memory Luminance value A ratio calculation step for calculating a ratio; Third candidate and ratio Block , Blocked Third candidate and ratio A value calculation step for calculating the average value and standard deviation of each ratio, and the average value To the first and second thresholds, Standard deviation 3rd and 4th Threshold When Compare and When the average value is larger than the second threshold value and the standard deviation is larger than the fourth threshold value, the blocked third candidate is determined as a moving object, and the average value is the first threshold value. If the third candidate is larger than the second threshold value and smaller than the second threshold value and the standard deviation is smaller than the third threshold value, the blocked third candidate is determined as the background portion, and the average Third candidate blocked if value is less than first threshold and standard deviation is greater than third threshold and less than fourth threshold greater than third threshold As a shadow part of a moving object And a third determination step to Counts the number of times it has been determined that there is no motion continuously from the binarized first flag, and weights and averages the input image and the still image stored in the background memory at a ratio according to the number of times Update still images stored in background memory This is an image signal processing method characterized by the above.
[0007]
Thus, the background portion And moving object isolated after background portion Because there is almost no change, it is extremely high when viewed in the time direction Pressure Reduction can be realized.
[0008]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 shows a block diagram of an embodiment of an image signal processing apparatus of the present invention. A digitized image is input to an input terminal indicated by 1, and the digital image is supplied to the frame memory 2, subtractors 3 and 10, divider 18 and delay circuit 29. After the digital image supplied to the frame memory 2 is delayed by one frame, the subtracter 3 calculates a difference for each pixel from the current frame, and the difference value is supplied to the absolute value (ABS) circuit 4. The
[0009]
In the absolute value circuit 4, the absolute difference value is supplied to the comparison circuit 6, where it is compared with the threshold value th <b> 1 supplied from the terminal 5 and binarized. In the comparison circuit 6, when the difference value is larger than the threshold value th1, the 0th flag (flag0) is set to “1”, and when the difference value is smaller than the threshold value th1, the 0th flag (flag0) is set to “0”. Is supplied to the count control circuit 7 and the motion region determination circuit 8. The region where the 0th flag (flag0) is `1 'is determined as the contour of the moving object. For example, it is assumed that a relatively large object is moving in the image. Movement Processing for determining the internal area of the object is performed, and the first flag (flag1) is supplied to the AND gate 15 as the first moving object area candidate (flag1 = `1 ').
[0010]
The subtractor 10 calculates the difference between the input digital image and the signal supplied from the updatable background memory circuit 37, and the difference value is supplied to the absolute value (ABS) conversion circuit 11. The difference value is supplied to the comparison circuit 13 and the delay circuit 23. The comparison circuit 13 compares the difference value with the threshold value th2 supplied from the terminal 12, and as a result, the second flag (flag2) binarized. ) Is supplied to the AND gate 15 via the delay circuit 14. That is, in the comparison circuit 13, when the difference value converted to the absolute value is larger than the threshold value th2, the second flag (flag2) is set to `1 '. When the difference value is smaller than the threshold value th2, the second flag (flag2) is set. As “0”, the second flag (flag 2) is supplied to the delay circuit 14. The delay circuit 14 is delayed by the time required for the moving region determination circuit 8 described above, and is supplied to the AND gate 15 as the second moving object region candidate (flag2 = `1 ').
[0011]
In the AND gate 15 to which the first moving object region candidate (flag1 = `1 ') and the second moving object area candidate (flag2 =` 1') are supplied, a logical product of them is obtained and the third moving object is obtained. A region candidate (flag3 = `1 ') is generated and supplied to the reduction / enlargement circuit 16. On the other hand, regarding the 0th flag (flag0), the continuous number of times memory 9 used later is controlled. The continuous memory 9 resets to 0 when the 0th flag (flag0) is `1 ', and counts up when the 0th flag (flag0) is` 0', corresponding to each pixel position. To be controlled. This is a count of how long a phenomenon with a small frame difference continues in the time direction. portion If a moving object stops, the background portion This information is used as a judgment material for updating the information.
[0012]
Next, as shown in FIG. 2, the reduction / enlargement circuit 16 reduces / enlarges the third moving object region candidate (flag3 = `1 ') area by several pixels in the vertical and horizontal directions. FIG. 2A shows a digital image supplied to the reduction / enlargement circuit 16, and by performing reduction processing on the digital image, isolated points are removed as shown in FIG. 2B. The digital image from which the isolated points have been removed is subjected to enlargement processing as shown in FIG. 2C in order to return to the original size. This result is supplied to the delay circuit 17 and the input / background ratio determination circuit 20 as a fourth flag (flag4).
[0013]
The divider 18 supplied with the input digital image is divided by the signal from the background memory 37. That is, in the region where the fourth flag (flag4) is `1 ', for example, movement object Even if it is an area candidate, it is actually a background portion If it was, input of some extent image And background portion The ratio of the luminance values should be close to 1. Also, the area where the ratio is some distance from 1 is the background portion Dropped in Of moving objects It is a shadow area, and other areas can be determined as moving objects.
[0014]
The ratio from the divider 18 is subjected to a predetermined delay in the delay circuit 19, and the divided result is supplied to the input / background ratio determination circuit 20. In the input / background ratio determination circuit 20, threshold values th1, th2, th3, and th4 are supplied from the terminal 21, and a fifth flag (flag5) is created. A detailed description of the input / background ratio determination circuit 20 will be described later. The fifth flag (flag5) is the background portion It is coded to be `0 'when it is determined to be,` 1' when it is determined as a moving object, and `2 'when it is determined as a shadow. The fifth flag (flag 5) is supplied to the delay circuit 22 and the motion region determination circuit 24.
[0015]
background The absolute value of the difference between the signal from the memory 37 and the input digital image is Supplied from the absolute value circuit 11 Delay circuit 23 Then After a predetermined delay, the signal is supplied to the motion region determination circuit 24, and the threshold value th5 is further supplied from the terminal 25 to the motion region determination circuit 24. This threshold value th5 is larger than the above-described threshold value th2 (th5> th2), that is, it is determined whether or not the object region moves more severely than the threshold value th2. When it is determined that the object region is a moving object region, the sixth flag (flag 6) is set to “1” and supplied to the reduction / enlargement circuit 26.
[0016]
The reduction / enlargement circuit 26 reduces and enlarges the area of the sixth flag (flag6 = `1 ') by about several pixels in the vertical and horizontal directions in order to remove isolated points as in the reduction / enlargement circuit 16 described above. And the seventh flag (flag7) is set to `1 ', and a moving object region is created. The seventh flag (flag 7) is supplied to the shadow determination circuit 27, the moving object determination circuit 28, and the background update control circuit 36.
[0017]
In the shadow determination circuit 27, the input digital image is supplied via the delay circuit 29, and the digital image is based on the fourth flag (flag4), the fifth flag (flag5), and the seventh flag (flag7). A shadow region is determined. The input digital image is supplied to the shadow memory 31 via the delay circuit 30, and only the area determined to be a shadow is stored in the digital image according to the signal supplied from the shadow determination circuit 27. If already stored, the area newly determined to be a shadow is updated and stored in the shadow memory 31. The stored shadow area is transmitted from the output terminal 32.
[0018]
Further, in the moving object determination circuit 28, the input digital image is supplied via the delay circuit 29, and the area of the moving object is determined in the digital image based on the seventh flag (flag7). The input digital image is supplied to the moving object memory 33 via the delay circuit 30, and the digital image is stored only in the area determined as the moving object in accordance with the signal supplied from the moving object determination circuit 28. . If already stored, the area newly determined as a moving object is updated and stored in the moving object memory 33. The stored moving object area is transmitted from the output terminal 34.
[0019]
In the background update control circuit 36, the input digital image is supplied via the delay circuit 29, and the digital image is converted into a signal from the continuous count memory 9 via the seventh flag (flag 7) and the delay circuit 35. Background portion Are determined. Determined background portion Performs a weighted average of the background memory at a separately determined ratio (r and 1-r), updates the background memory, and outputs the background from the output terminal 38. portion Is transmitted.
[0020]
Here, a detailed block diagram of the above-described motion region determination circuit 8 is shown in FIG. In this motion region determination circuit 8, the motion determined that the 0th flag (flag0) is a motion contour indicated by `1 '. object The first candidate of the moving object region is determined by further scanning the region from the top, bottom, left, and right, and transmitted to the subsequent stage as the first flag (flag1).
[0021]
A 0th flag (flag0) supplied from the comparison circuit 6 is supplied to the flag frame memory 42 via an input terminal 41. The flag frame memory 42 is controlled by a signal from the address control circuit 43. The left 0/1 detection circuit 44 determines that the 0th flag changes from `0 'to` 1' with respect to the left-to-right scanning, and the first internal candidate circuit 45 selects the right side from the change point. The first internal candidate. The first internal candidate is supplied to the AND gate 52.
[0022]
Next, the right 0/1 detection circuit 46 determines that the 0th flag changes from `0 'to` 1' with respect to right-to-left scanning, and the second internal candidate circuit 47 determines the change point. The left side is the second internal candidate. The second internal candidate is supplied to the AND gate 52. Similarly, upper 0/1 detection circuit 48 Then, it is determined that the 0th flag changes from `0 'to` 1' with respect to the scan from the top to the bottom, and the third internal candidate circuit 49 sets the lower side from the change point as the third internal candidate. The third internal candidate is supplied to the AND gate 53, and the lower 0/1 detection circuit 50 Now, determine where the 0th flag changes from `0 'to` 1' for the scan from bottom to top, In the fourth internal candidate circuit 51, The fourth internal candidate above the conversion point is set as the fourth internal candidate, and the fourth internal candidate is supplied to the AND gate 53.
[0023]
The AND gate 52 obtains the logical product of the first internal candidate and the second internal candidate, and the AND gate 53 obtains the logical product of the third internal candidate and the fourth internal candidate. The outputs of the AND gates 52 and 53 are supplied to the OR gate 54, and a first moving object region candidate (first flag (flag1) = `1 ') is transmitted from the output terminal 55 by the logical sum. In this first moving object region candidate, if the object has a complicated shape, a closed region that encompasses the entire object is formed, and a part of the background is also included in this region. There is a case.
[0024]
Next, a detailed block diagram of the above-described input / background ratio determination circuit 20 is shown in FIG. The ratio from the divider 18 is supplied from the input terminal indicated by 61 to the blocking circuit 63, and the fourth flag (flag 4) from the reduction / enlargement circuit 16 is supplied from the input terminal 62 to the blocking circuit 63. In the blocking circuit 63, the ratio between the input image and the background memory is blocked together with the fourth flag (flag 4) and supplied to the average value circuit 64 and the delay circuit 65. In the average value circuit 64, the average value in the local block of the ratio is calculated in the region where the fourth flag is equal to “1”, and the delay circuit 65 is delayed by that time.
[0025]
The output of the average value circuit 64 is supplied to the delay circuit 66 and the standard deviation circuit 67, and the output of the delay circuit 65 is supplied to the standard deviation circuit 67. In the standard deviation circuit 67, the standard deviation in the local block of the ratio is calculated in the region where the fourth flag is equal to “1” in the same manner as the average value circuit 64, and the delay circuit 66 is delayed by that time. The calculated standard deviation is supplied to comparison circuits 69 and 71 and compared with threshold values th3 and th4 supplied from terminals 68 and 70. The calculated average value is supplied to comparison circuits 73 and 75 and compared with threshold values th1 and th2 supplied from terminals 72 and 74.
[0026]
That is, as shown in FIG. 5, the ratio between the values of the input image and the background memory is determined for each pixel, and the average value and the standard deviation of the ratio are obtained in a minute block centered on the target pixel. Thereafter, thresholds th1, th2, th3 and th The moving object, the background part, and the shadow part are separated by comparing with 4. Here, as shown in FIG. 5, as an example, the threshold for the average value is th1. < The relationship is th2, and the threshold for the standard deviation is th3 <th4. Therefore, the coding circuit 76 is supplied with the result of comparison by the comparison circuits 69, 71, 73 and 75, and is determined as follows.
[0027]
If (th1 <average value <th2) and (standard deviation <th3), the fifth flag (flag5) is set to `0 'and the background portion And is transmitted from the output terminal 77 to the subsequent stage. In the case of (average value <th1) and (th3 <standard deviation <th4), the fifth flag (flag5) is set to “1”, is determined to be a shadow, and is transmitted from the output terminal 77 to the subsequent stage. background portion And areas that are not judged as shadows Movement The fifth flag (flag 5) is transmitted as “2” from the output terminal 77 to the subsequent stage.
[0028]
Here, the background update control circuit described above 36 And background memory 37 FIG. 6 shows a detailed block diagram. In the block diagram of FIG. 6, the background outside the moving object area and the shadow area Partial The background memory is updated after the weighted average of the input image and the background memory as a region at a separately determined ratio (r and 1-r).
[0029]
The continuous number flag from the continuous number memory 9 is supplied from the input terminal 81 to the r setting circuit 85, and the threshold values th 6 and th 7 are supplied from the terminal 84 to the r setting circuit 85. In the r setting circuit 85, when the continuous count flag is smaller than the threshold th6 as shown in FIG. 7, the ratio r of the background memory (1-r) is 1 because the ratio r of the input image is 0. When the threshold value is greater than the threshold value th6 and smaller than the threshold value th7, the ratio r of the input image is increased in accordance with the number of consecutive count flags (that is, the ratio (1-r) of the background memory is decreased). The ratio r is controlled so as not to exceed 1. When the continuous number flag is greater than the threshold th7, the ratio r of the input image is set to 1, and the background memory ratio (1-r) is 0.
[0030]
The background memory ratio (1-r) supplied from the r setting circuit 85 to the multiplier 87 is stored in the background memory 37. portion Is supplied to the multiplier 87. The calculation result of the multiplier 87 is supplied to the adder 89. The ratio r of the input image is supplied from the r setting circuit 85 to the multiplier 88, and the input image is supplied to the multiplier 88 via the input terminal 83. That multiplier 88 The calculation result is supplied to the adder 89. In the adder 89, the background from the multiplier 87 portion , And an input image is supplied from the multiplier 88, added and stored in the background memory 37. Reading and writing of the background memory 37 are controlled by the R / W control circuit 86 in accordance with the seventh flag (flag 7) supplied from the terminal 82.
[0031]
Here, the method for separating the shadow portion of the present invention will be briefly described with reference to FIG. First, the shadow as shown in FIG. Movement Object Ah As shown in FIG. 8B, the region where the fourth flag (flag4) is `1 ' Movement Object, shadow and background portion This is a relatively large area including a part of the area. Then, as shown in FIG. 8C, as a result of determining the ratio of the input image / background memory in this area (flag4 = `1 '), the background portion Area (flag5 = `0 '), Movement Although it is separated into an object area (flag5 = `1 ') and a shadow area (flag5 =` 2'), there is a slight error in this determination. Movement A minute background in the area of the object portion Or a minute shadow part occurs as a misjudgment part.
[0032]
As mentioned above Movement For the determination of the object region, the absolute value of the difference between the region where the fifth flag (flag5) is `1 'and the background memory is compared with the threshold value (th5). As a result, the limited sixth flag (flag6 = `1 ') and its sixth flag is` 1' Movement A seventh flag (flag7 = `1 ') is generated by enlarging / reducing the area of the object. From the above, the shadow area can be obtained by the following logic.
(Flag4 = `1 ') and (flag7 ≠` 1') and (flag5 ≠ `0 ')
[0033]
FIG. 9 is a flowchart for realizing an embodiment of the image signal processing method of the present invention. First, in | frame difference | of step 91, the absolute value of the difference between the supplied input image and the image delayed by one frame is obtained, and the obtained absolute value of the frame difference is compared with the threshold value th1. . As a result, when it is larger than the threshold th1, the 0th flag (flag0) is binarized as `1 ', and when it is smaller than the threshold th1, the 0th flag (flag0) is binarized as` 0'. Control passes to 95. In the moving region determination in step 92, the region in which the 0th flag (flag0) is `1 'is determined as the contour of the moving object, and the process proceeds to step 94 as the first moving object region candidate (flag1 =` 1'). Control is transferred.
[0034]
In step 93 | input-background |, the absolute value of the difference between the input image and the background memory is calculated, and the absolute value of the difference is compared with the threshold value th2. When the threshold value is greater than the threshold value th2, the second flag (flag2) is set to `1 ', and when the threshold value is less than the threshold value th2, the second flag (flag2) is set to` 0', and control is passed to step 94. In step 93, the area whose second flag (flag 2) is “1” is set as the second moving object area candidate (flag 2 = “1”), and the control is shifted to step 94. In the logical product of step 94, the logical product of the first flag (flag1) from step 92 and the second flag (flag2) from step 93 is taken, and the third moving object region candidate (flag3 = `1 ') is obtained. And control is passed to step 97.
[0035]
In the continuous count of step 95, control is performed so that counting is performed when the 0th flag (flag0) is `0 ', and when the 0th flag becomes` 1', the count value is reset to 0. Is controlled. This is a background without moving portion If a moving object stops, the background portion A continuous number flag is generated as a judgment material for updating the information. Control then passes from step 95 to step 96.
[0036]
In the reduction / enlargement of step 97, as shown in FIG. 2, the third moving object region candidate (flag3 = `1 ') area is reduced / enlarged by several pixels in the vertical and horizontal directions. By reducing as described above, the isolated points are removed, enlarged and restored to the original size. With this result as the fourth flag (flag4), control is transferred to steps 98 and 99. In the input / background of step 99, the ratio between the input image and the background memory is calculated, and the calculated average ratio and standard deviation in the local block are calculated, and the threshold values th1, th2, By comparing with th3 and th4, a fifth flag (flag5) is generated, and control is transferred to step 100. This fifth flag is portion It is coded to indicate `0 'when it is,` 1' when it is a moving object, and `2 'when it is a shadow.
[0037]
In | input-background | in step 100, the absolute value of the difference between the input image and the background memory is compared with the threshold value th5, and when the moving object region is determined, the sixth flag (flag6) is set to “1”. Become. In the reduction / enlargement of step 101, after the isolated point is removed by reducing about several pixels in the vertical and horizontal directions of the area where the sixth flag is “1” as in the above-described step 97 (reduction / enlargement). , Enlarge to the original size. In the shadow determination in step 98, as described above, when ((flag4 = `1 ') and (flag7 ≠ 1) and (flag5 ≠ 0)) holds, it is determined as a shadow region, and is determined as a shadow region. Areas are transmitted.
[0038]
At flag7 = 0 in step 102, it is determined whether the seventh flag (flag7) is 0, that is, whether it is a moving object region. Similarly to the above, when flag7 = 1, the area is transmitted as a moving object, and when flag7 = 0, control is passed to step 96. In the background update in step 96, the background from step 95 (continuous count) portion As shown in FIG. 7, the ratio between the input image and the background memory is determined, and a new background is obtained. portion Updated its background portion Is transmitted.
[0039]
【The invention's effect】
According to this invention, the background portion Therefore, it is possible to separate the moving object and the shadowed portion thereof with high accuracy, so that it is possible to widen the variations of subsequent processing.
[0040]
Furthermore, according to the present invention, the background portion And moving object isolated after background portion Because there is almost no change, it is extremely high when viewed in the time direction Pressure Since the reduction is applied, even with a low bit rate recording medium such as MD (Mini Disk), it is possible to perform high-quality recording for a long time.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an embodiment of an image signal processing apparatus of the present invention.
FIG. 2 is a schematic diagram used for explaining reduction / enlargement processing according to the present invention;
FIG. 3 is a detailed block diagram of an example of a motion region determination circuit according to the present invention.
FIG. 4 is a detailed block diagram of an example of input / background ratio determination according to the present invention.
FIG. 5 is an example graph showing an average value and a standard deviation according to the present invention.
FIG. 6 is a detailed block diagram of an example of background update control and background memory according to the present invention.
FIG. 7 is a graph showing an example of a ratio between an input image and an image from a background memory according to the present invention.
FIG. 8 is a schematic diagram used for explaining an object and shadow according to the present invention.
FIG. 9 is a flowchart showing an example of an image signal processing method according to the present invention.
[Explanation of symbols]
2 frame memory
3, 10 subtractor
4,11 Absolute value circuit
6, 13 Comparison circuit
7 Count control circuit
8, 24 Motion region determination circuit
9 Continuous memory
14, 17, 19, 22, 23, 29, 30, 35 Delay circuit
15 AND gate
16, 26 Reduction / enlargement circuit
18 Divider
20 input / background ratio judgment circuit
27 Shadow determination circuit
28 Moving object determination circuit
31 Shadow memory
33 Moving object memory
36 Background update control circuit
37 Background memory

Claims

An image signal processing apparatus for separating a background portion and a moving object from an input image that is a continuously input moving image,
A frame memory that delays the input image;
First difference means for calculating a difference value for each pixel from the input image and the image delayed in the frame memory;
After the difference value obtained from the first difference means is converted into an absolute value, a first flag binarized is set by comparing with a first threshold value, and the set first flag is It is determined from the top, bottom, left and right where the first flag value changes to the second flag value or where the second flag value changes to the first flag value, and the first candidate for the moving object region is determined. First determination means;
An updatable background memory that stores the background portion as a still image;
Second difference means for calculating a difference value between a pixel value of a corresponding pixel of the still image stored in the background memory for each pixel of the input image;
The difference value obtained from the second difference means is converted into an absolute value, and then compared with a second threshold value. When the absolute value of the difference value is larger than the second threshold value, set the third flag value of the flag, the second determination unit determines that the second candidate object region motion a second flag which is the set,
Logical product means for obtaining a third candidate from the logical product of the first candidate and the second candidate;
Reduction / enlargement means for enlarging after reducing the third candidate;
In the third candidate, ratio calculation means for calculating a ratio of luminance values of each pixel of the input image and each pixel of the still image stored in the background memory;
It was blocked and the third candidate and the ratio, the value calculating means for calculating a mean value and standard deviation of the blocked the third candidate and the ratio for each of the ratios,
The average value is compared with the first and second threshold, the standard deviation as compared to the third and fourth threshold, the average value is greater than the second threshold value, and When the standard deviation is greater than the fourth threshold, the third candidate blocked is determined as the moving object, the average value is greater than the first threshold, and the first The third candidate blocked is determined to be the background portion when the standard deviation is smaller than the third threshold and smaller than the second threshold greater than a threshold, and the average Block if the value is less than the first threshold and the standard deviation is greater than the third threshold and less than the fourth threshold greater than the third threshold the third candidate is determined that the shaded area of the moving object And a third determination means,
Count the number of times it has been determined that there is no motion continuously from the binarized first flag, and the still image stored in the background memory and the input image at a ratio according to the number of times. A still image stored in the background memory is weighted averaged to update a still image.

The number of times is compared with an eighth threshold value, and when the number of times is larger than the eighth threshold value, a weighted average is performed by increasing the ratio according to the number of times for the pixel of the input image, The image signal processing apparatus according to claim 1 , wherein the still image stored in the background memory is updated.

An image signal processing method for separating a background portion and a moving object from an input image that is a continuously input moving image,
A frame memory that delays the input image;
A first difference step for calculating a difference value for each pixel from the input image and the image delayed in the frame memory;
After the difference value obtained from the first difference step is converted into an absolute value, a first flag that is binarized by comparing with a first threshold value is set, and the set first flag is It is determined from the top, bottom, left and right where the first flag value changes to the second flag value or where the second flag value changes to the first flag value, and the first candidate for the moving object region is determined. A first determination step;
An updatable background memory that stores the background portion as a still image;
A second difference step for calculating a difference value for each pixel of the input image with a pixel value of a corresponding pixel of the still image stored in the background memory;
After the difference value obtained from the second difference step is converted into an absolute value, it is compared with a second threshold value. When the difference value converted into the absolute value is larger than the second threshold value, set the third flag value of the flag, and a second determination step of determining that the second candidate object region motion a second flag which is the set,
A logical product step of obtaining a third candidate from the logical product of the first candidate and the second candidate;
A reduction / enlargement step of enlarging after reducing the third candidate;
A ratio calculating step for calculating a ratio of luminance values between the pixels of the input image and the pixels of the still image stored in the background memory inside the third candidate;
It was blocked and the third candidate and the ratio, the value calculating step of calculating the mean and standard deviation of the blocked the third candidate and the ratio for each of the ratios,
The average value is compared with the first and second threshold, the standard deviation as compared to the third and fourth threshold, the average value is greater than the second threshold value, and When the standard deviation is greater than the fourth threshold, the third candidate blocked is determined as the moving object, the average value is greater than the first threshold, and the first The third candidate blocked is determined to be the background portion when the standard deviation is smaller than the third threshold and smaller than the second threshold greater than a threshold, and the average Block if the value is less than the first threshold and the standard deviation is greater than the third threshold and less than the fourth threshold greater than the third threshold the third candidate is determined that the shaded area of the moving object And a third determination step,
Count the number of times it has been determined that there is no motion continuously from the binarized first flag, and the still image stored in the background memory and the input image at a ratio according to the number of times. A still image stored in the background memory is weighted averaged to update a still image signal processing method.