JP3852120B2 - Image signal processing apparatus and method - Google Patents
Image signal processing apparatus and method Download PDFInfo
- Publication number
- JP3852120B2 JP3852120B2 JP20777795A JP20777795A JP3852120B2 JP 3852120 B2 JP3852120 B2 JP 3852120B2 JP 20777795 A JP20777795 A JP 20777795A JP 20777795 A JP20777795 A JP 20777795A JP 3852120 B2 JP3852120 B2 JP 3852120B2
- Authority
- JP
- Japan
- Prior art keywords
- value
- threshold
- flag
- candidate
- difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【0001】
【発明の属する技術分野】
この発明は、画像信号から動き物体を抽出するための画像信号処理装置および方法に関する。
【0002】
【従来の技術】
画像信号を圧縮するための1つの方法として、画像を背景部分(すなわち、静止画)と動き物体とに分離して、背景部分については、静止画であることを利用して、その伝送を省略する(間引く)ことによって、大幅に伝送データ量を削減することが可能である。このように、更新が可能な背景メモリおよび入力画像のフレーム差分情報を用いて、動き物体と背景部分を分離する手法が従来より提案されている。
【0003】
【発明が解決しようとする課題】
しかしながら、従来の手法では、例えば照明の角度によっては動き物体の影が生じることがあり、その影の部分も含めて動き物体領域と判定されることがあった。影を含めて動き物体として扱われることは、上述のような符号化の圧縮を低下させる問題を生じる。
【0004】
従って、この発明の目的は、背景部分と動き物体を分離する場合に、動き物体の影の部分を新たな判定によって区別し、動き物体のみを抽出する画像信号処理装置および方法を提案することにある。
【0005】
【課題を解決するための手段】
請求項1に記載の発明は、連続して入力される動画像である入力画像から背景部分と動き物体とに分離する画像信号処理装置であって、入力画像に対して遅延を行うフレームメモリと、入力画像とフレームメモリにて遅延された画像とから画素毎に差分値を計算する第1の差分手段と、第1の差分手段から得られる差分値を絶対値化した後、第1のしきい値と比較することによって2値化した第1のフラグを設定し、設定された第1のフラグが第1のフラグ値から第2のフラグ値へ変化するところ、または第2のフラグ値から第1のフラグ値へ変化するところを上下左右から判断し、動き物体領域の第1の候補を判定する第1の判定手段と、背景部分を静止画として格納する更新可能な背景メモリと、入力画像の各画素毎に背景メモリに格納されている静止画の対応する画素の画素値との差分値を計算する第2の差分手段と、第2の差分手段から得られる差分値を絶対値化した後、第2のしきい値と比較し、絶対値化された差分値が第2のしきい値より大きいとき、第2のフラグに第3のフラグ値を設定し、設定された第2のフラグを動き物体領域の第2の候補と判定する第2の判定手段と、第1の候補と第2の候補との論理積から第3の候補を得る論理積手段と、第3の候補を縮小した後、拡大する縮小/拡大手段と、第3の候補の内部において、入力画像の各画素と背景メモリに格納されている静止画の各画素との輝度値の比率を計算する比率計算手段と、第3の候補と比率とをブロック化し、ブロック化された第3の候補と比率毎に比率の平均値及び標準偏差を計算する値計算手段と、平均値を第1および第2のしきい値と比較し、標準偏差を第3および第4のしきい値と比較し、平均値が第2のしきい値より大きく、且つ標準偏差が第4のしきい値より大きい場合にブロック化された第3の候補を動き物体と判定し、平均値が第1のしきい値より大きく、第1のしきい値より大きい第2のしきい値より小さく、且つ標準偏差が第3のしきい値より小さい場合にブロック化された第3の候補を背景部分と判定し、平均値が第1のしきい値より小さく、且つ標準偏差が第3のしきい値より大きく、第3のしきい値より大きい第4のしきい値より小さい場合にブロック化された第3の候補を動き物体の影部分と判定する第3の判定手段とを有し、2値化された第1のフラグから連続して動きがないと判定された回数を計数し、回数に応じた比率で、入力画像と背景メモリに格納されている静止画とを加重平均して背景メモリに格納される静止画を更新するようにしたことを特徴とする画像信号処理装置である。
【0006】
また、請求項3に記載の発明は、連続して入力される動画像である入力画像から背景部分と動き物体とに分離する画像信号処理方法であって、入力画像に対して遅延を行うフレームメモリと、入力画像とフレームメモリにて遅延された画像とから画素毎に差分値を計算する第1の差分ステップと、第1の差分ステップから得られる差分値を絶対値化した後、第1のしきい値と比較することによって2値化した第1のフラグを設定し、設定された第1のフラグが第1のフラグ値から第2のフラグ値へ変化するところ、または第2のフラグ値から第1のフラグ値へ変化するところを上下左右から判断し、動き物体領域の第1の候補を判定する第1の判定ステップと、背景部分を静止画として格納する更新可能な背景メモリと、入力画像の各画素毎に背景メモリに格納されている静止画の対応する画素の画素値との差分値を計算する第2の差分ステップと、第2の差分ステップから得られる差分値を絶対値化した後、第2のしきい値と比較し、絶対値化された差分値が第2のしきい値より大きいとき、第2のフラグに第3のフラグ値を設定し、設定された第2のフラグを動き物体領域の第2の候補と判定する第2の判定ステップと、第1の候補と第2の候補との論理積から第3の候補を得る論理積ステップと、第3の候補を縮小した後、拡大する縮小/拡大ステップと、第3の候補の内部において、入力画像の各画素と背景メモリに格納されている静止画の各画素との輝度値の比率を計算する比率計算ステップと、第3の候補と比率とをブロック化し、ブロック化された第3の候補と比率毎に比率の平均値及び標準偏差を計算する値計算ステップと、平均値を第1および第2のしきい値と比較し、標準偏差を第3および第4のしきい値と比較し、平均値が第2のしきい値より大きく、且つ標準偏差が第4のしきい値より大きい場合にブロック化された第3の候補を動き物体と判定し、平均値が第1のしきい値より大きく、第1のしきい値より大きい第2のしきい値より小さく、且つ標準偏差が第3のしきい値より小さい場合にブロック化された第3の候補を背景部分と判定し、平均値が第1のしきい値より小さく、且つ標準偏差が第3のしきい値より大きく、第3のしきい値より大きい第4のしきい値より小さい場合にブロック化された第3の候補を動き物体の影部分と判定する第3の判定ステップとを有し、2値化された第1のフラグから連続して動きがないと判定された回数を計数し、回数に応じた比率で、入力画像と背景メモリに格納されている静止画とを加重平均して背景メモリに格納される静止画を更新するようにしたことを特徴とする画像信号処理方法である。
【0007】
このように、背景部分と動き物体とを分離後、背景部分はほどんど変化がないため、時間方向で見たとき超高圧縮を実現することが可能となる。
【0008】
【発明の実施の形態】
以下、この発明の一実施例について図面を参照して説明する。図1は、この発明の画像信号処理装置の一実施例のブロック図を示す。1で示す入力端子にディジタル化された画像が入力され、そのディジタル画像は、フレームメモリ2、減算器3、10、除算器18および遅延回路29へ供給される。フレームメモリ2へ供給されたディジタル画像は、1フレーム遅延の後、減算器3において、現フレームとの画素毎の差分が計算され、その差分値は、絶対値(ABS)化回路4へ供給される。
【0009】
絶対値化回路4において、絶対値化された差分値が、比較回路6へ供給され、比較回路6において、端子5から供給されるしきい値th1と比較され、2値化される。この比較回路6では、しきい値th1より差分値が大きい場合、第0フラグ(flag0)は `1' とし、しきい値th1より差分値が小さい場合、第0フラグ(flag0)は `0' として、計数制御回路7および動き領域判定回路8へ供給される。この第0フラグ(flag0)が `1' である領域は、動き物体の輪郭と判断される。例えば、画像の中で比較的大きな物体が動いているものとして、後述する動き領域判定回路8では、この輪郭から動き物体の内部領域を判断するための処理が行われ、第1フラグ(flag1)が第1の動き物体領域候補(flag1= `1' )として、ANDゲート15へ供給される。
【0010】
そして、入力されたディジタル画像は、減算器10において、更新可能な背景メモリ回路37から供給された信号との差分が計算され、その差分値は絶対値(ABS)化回路11へ供給される。その差分値は、比較回路13および遅延回路23へ供給され、比較回路13では、端子12から供給されるしきい値th2との比較が行われ、その結果2値化された第2フラグ(flag2)が遅延回路14を介して、ANDゲート15へ供給される。すなわち、比較回路13において、しきい値th2より絶対値化された差分値が大きい場合、第2フラグ(flag2)を `1' とし、しきい値th2より小さい場合、第2フラグ(flag2)を `0' として、第2フラグ(flag2)は、遅延回路14へ供給される。遅延回路14では、上述した動き領域判定回路8にかかる時間だけ遅延され、第2の動き物体領域候補(flag2= `1' )として、ANDゲート15へ供給される。
【0011】
第1の動き物体領域候補(flag1= `1' )および第2の動き物体領域候補(flag2= `1' )が供給されたANDゲート15では、それらの論理積をとり、第3の動き物体領域候補(flag3= `1' )が生成され、縮小/拡大回路16へ供給される。一方、第0フラグ(flag0)に関して、後で使用する連続回数メモリ9の制御を行う。この連続回数メモリ9は、画素位置毎に対応して、第0フラグ(flag0)が `1' である場合、0にリセットし、第0フラグ(flag0)が `0' である場合、カウントアップするように制御される。これは、フレーム差の小さい現象が時間方向でどれだけ連続するかをカウントするものであり、これによって動かない背景部分の確率的な判断材料を得ることと、仮に動き物体が停止した場合に、背景部分にその情報が更新されていくようにするための判断材料とするものである。
【0012】
次に、縮小/拡大回路16では、図2に示すように第3の動き物体領域候補(flag3= `1' )の領域を上下左右方向に数画素程度の縮小/拡大を行う。図2Aは、縮小/拡大回路16へ供給されたディジタル画像を示し、そのディジタル画像に対して、縮小処理を行うことで図2Bに示すように孤立点の除去が行われる。孤立点の除去が行われたディジタル画像は、元の大きさへ戻すために図2Cに示すように拡大処理を行う。この結果を第4フラグ(flag4)として、遅延回路17および入力/背景比率判定回路20へ供給される。
【0013】
入力されたディジタル画像が供給された除算器18は、背景メモリ37からの信号と除算される。すなわち、第4フラグ(flag4)が `1' である領域内において、例えば動き物体領域候補であっても、それが実際は背景部分であった場合、ある程度の広がりの入力画像と背景部分との輝度値の比率は、ほとんど1に近い値を示すはずである。また、比率が1からある程度離れた領域は背景部分に落とした動き物体の影の領域であり、それ以外は動き物体と判断できる。
【0014】
除算器18からの比率は、遅延回路19において、所定の遅延がなされた後、その除算された結果は、入力/背景比率判定回路20へ供給される。入力/背景比率判定回路20では、端子21からしきい値th1、th2、th3およびth4が供給され、第5フラグ(flag5)が作成される。この入力/背景比率判定回路20の詳細な説明は、後述する。第5フラグ(flag5)は、背景部分と判定したときは `0' となり、動き物体と判定したときは `1' となり、さらに影と判定したときは `2' となるようにコード化される。この第5フラグ(flag5)は、遅延回路22および動き領域判定回路24へ供給される。
【0015】
背景メモリ37からの信号と、入力されたディジタル画像との差分の絶対値が絶対値化回路11から供給される遅延回路23では、所定の遅延が施された後、動き領域判定回路24へ供給され、さらに端子25からしきい値th5が動き領域判定回路24へ供給される。このしきい値th5は、上述したしきい値th2より大きく(th5>th2)、すなわちしきい値th2よりきびしく動き物体領域か否かが判断される。そして、動き物体領域と判断されたとき、第6フラグ(flag6)を `1' として、縮小/拡大回路26へ供給される。
【0016】
この縮小/拡大回路26は、上述の縮小/拡大回路16と同様に孤立点を除去するために、第6フラグ(flag6= `1' )の領域を上下左右方向で数画素程度の縮小および拡大を行い、第7フラグ(flag7)を `1' とし、動き物体領域が作成される。その第7フラグ(flag7)は、影判定回路27、動き物体判定回路28および背景更新制御回路36へ供給される。
【0017】
影判定回路27では、入力されたディジタル画像が遅延回路29を介して供給され、そのディジタル画像は、第4フラグ(flag4)、第5フラグ(flag5)および第7フラグ(flag7)に基づいて、影の領域が判定される。入力されたディジタル画像が遅延回路30を介して影メモリ31へ供給され、そのディジタル画像は、影判定回路27から供給される信号に応じて、影と判定された領域のみ記憶される。また、既に記憶されている場合、新たに影と判定された領域が影メモリ31へ更新され、記憶される。記憶された影の領域は、出力端子32から伝送される。
【0018】
さらに、動き物体判定回路28では、入力されたディジタル画像が遅延回路29を介して供給され、そのディジタル画像は、第7フラグ(flag7)に基づいて、動き物体の領域が判定される。入力されたディジタル画像が遅延回路30を介して動き物体メモリ33へ供給され、そのディジタル画像は、動き物体判定回路28から供給される信号に応じて、動き物体と判定された領域のみ記憶される。また、既に記憶されている場合、新たに動き物体と判定された領域が動き物体メモリ33へ更新され、記憶される。記憶された動き物体の領域は、出力端子34から伝送される。
【0019】
また、背景更新制御回路36では、入力されたディジタル画像が遅延回路29を介して供給され、そのディジタル画像は、第7フラグ(flag7)および遅延回路35を介して連続回数メモリ9からの信号に基づいて、背景部分の領域が判定される。判定された背景部分は、背景メモリを別途定める比率(rおよび1−r)で加重平均して、背景メモリの更新を行い、出力端子38からその背景部分は、伝送される。
【0020】
ここで、上述した動き領域判定回路8の詳細なブロック図を図3に示す。この動き領域判定回路8では、第0フラグ(flag0)が `1' で示される動き輪郭であると判断される動き物体領域に対して、さらに上下左右から走査することで動き物体領域の第1の候補が判定され、第1フラグ(flag1)として、後段へ伝送される。
【0021】
41で示す入力端子を介して、比較回路6から供給される第0フラグ(flag0)がフラグフレームメモリ42へ供給される。そのフラグフレームメモリ42は、アドレス制御回路43からの信号により制御される。左0/1検出回路44では、左から右の走査に対して第0フラグが `0' から `1' へ変化するところを判断し、第1内部候補回路45において、その変化点より右側を第1の内部候補とする。その第1の内部候補は、ANDゲート52へ供給される。
【0022】
次に、右0/1検出回路46では、右から左の走査に対して第0フラグが `0' から `1' へ変化するところを判断し、第2内部候補回路47において、その変化点より左側を第2の内部候補とする。その第2の内部候補は、ANDゲート52へ供給される。同様に、上0/1検出回路48では、上から下の走査に対して第0フラグが `0' から `1' へ変化するところを判断し、第3内部候補回路49において、その変化点より下側を第3の内部候補とし、その第3の内部候補は、ANDゲート53へ供給され、下0/1検出回路50では、下から上の走査に対して第0フラグが `0' から `1' へ変化するところを判断し、第4内部候補回路51において、その変換点より上側を第4の内部候補とし、その第4の内部候補は、ANDゲート53へ供給される。
【0023】
ANDゲート52では、第1の内部候補と第2の内部候補との論理積が求められ、ANDゲート53では、第3の内部候補と第4の内部候補との論理積が求められる。そして、ANDゲート52および53の出力は、ORゲート54へ供給され、その論理和により第1の動き物体領域候補(第1フラグ(flag1)= `1' )が出力端子55から伝送される。この第1の動き物体領域候補には、複雑な形状をした物体であれば、その全体を包含するような閉領域を形成することとなり、この領域内には、背景の部分も一部含まれる場合がある。
【0024】
次に、上述した入力/背景比率判定回路20の詳細なブロック図を図4に示す。61で示す入力端子から除算器18からの比率がブロック化回路63へ供給され、入力端子62から縮小/拡大回路16からの第4フラグ(flag4)がブロック化回路63へ供給される。そのブロック化回路63では、入力画像と背景メモリの比率を第4フラグ(flag4)とともにブロック化が行われ、平均値回路64および遅延回路65へ供給される。平均値回路64では、第4フラグが `1' に等しい領域内で比率の局所ブロック内の平均値が計算され、その時間だけ遅延回路65では、遅延される。
【0025】
平均値回路64の出力は、遅延回路66および標準偏差回路67へ供給され、遅延回路65の出力は、標準偏差回路67へ供給される。標準偏差回路67では、平均値回路64と同様に第4フラグが `1' に等しい領域内で比率の局所ブロック内の標準偏差が計算され、その時間だけ遅延回路66では、遅延される。計算された標準偏差は、比較回路69および71へ供給され、端子68および70から供給されるしきい値th3およびth4と比較される。また、計算された平均値は、比較回路73および75へ供給され、端子72および74から供給されるしきい値th1およびth2と比較される。
【0026】
すなわち、図5に示すように入力画像と背景メモリの値の比率を各画素毎にもとめ、注目画素を中心とした微小ブロック内でその比率の平均値および標準偏差が求められる。その後、しきい値th1、th2、th3およびth4と比較することで動き物体、背景部分、影の部分を分離する。ここでは、図5に示すように一例として、平均値に対するしきい値は、th1<th2の関係となり、標準偏差に対するしきい値はth3<th4の関係となる。よって、コード化回路76では、比較回路69、71、73および75で比較された結果が供給され、下記のように判定される。
【0027】
(th1<平均値<th2)and(標準偏差<th3)の場合、第5フラグ(flag5)は `0' とし、背景部分と判定され、出力端子77から後段へ伝送される。(平均値<th1)and(th3<標準偏差<th4)の場合、第5フラグ(flag5)は `1' とし、影と判定され、出力端子77から後段へ伝送される。背景部分および影と判定されない領域を動き物体と判定し、第5フラグ(flag5)は `2' として出力端子77から後段へ伝送される。
【0028】
ここで、上述した背景更新制御回路36および背景メモリ37の詳細なブロック図を図6に示す。この図6のブロック図では、動き物体領域および影の領域の外を背景部分の領域として入力画像と背景メモリを別途定める比率(rおよび1−r)で加重平均した後、背景メモリの更新を行うものである。
【0029】
連続回数メモリ9からの連続回数フラグが入力端子81からr設定回路85へ供給され、さらに端子84からしきい値th6およびth7がr設定回路85へ供給される。r設定回路85では、図7に示すように連続回数フラグがしきい値th6より小さい場合、入力画像の比率rを0とするため、背景メモリの比率(1−r)は1となる。しきい値th6より大きく、しきい値th7より小さい場合、連続回数フラグの回数に応じて入力画像の比率rを上げるようにし(すなわち、背景メモリの比率(1−r)は下がる)、入力画像の比率rは、1を越えないように制御する。また、連続回数フラグがしきい値th7より大きい場合、入力画像の比率rを1とするため、背景メモリの比率(1−r)は0となる。
【0030】
r設定回路85から背景メモリの比率(1−r)が乗算器87へ供給され、背景メモリ37から記憶されている背景部分が乗算器87へ供給される。その乗算器87の演算結果は、加算器89へ供給される。r設定回路85から入力画像の比率rが乗算器88へ供給され、入力端子83を介して入力画像が乗算器88へ供給される。その乗算器88の演算結果は、加算器89へ供給される。加算器89では、乗算器87から背景部分が供給され、乗算器88から入力画像が供給され、それぞれ加算され背景メモリ37へ記憶される。この背景メモリ37は、端子82から供給される第7フラグ(flag7)に応じてR/W制御回路86により、読み出しおよび書き込みが制御される。
【0031】
ここで、この発明の影の部分の分離方法について図8を使用して簡単に説明する。まず、図8Aに示すような影と動き物体があり、図8Bに示すように第4フラグ(flag4)が `1' である領域が動き物体、影および背景部分の一部を含んだ比較的大きな領域となる。そして、図8Cに示すように、この領域(flag4= `1' )内で入力画像/背景メモリの比率判定を行った結果、背景部分の領域(flag5= `0' )、動き物体の領域(flag5= `1' )、影の領域(flag5= `2' )に分離されるが、この判定に若干の誤差があるため、図8Cに示すように本来の動き物体の領域内にも微小な背景部分や微小な影の部分が誤判定の部分として生じる。
【0032】
上述のように動き物体の領域の確定には、第5フラグ(flag5)が `1' である領域と背景メモリとの差の絶対値をしきい値(th5)で比較した結果、限定した第6フラグ(flag6= `1' )を生成し、その第6フラグが `1' の領域、すなわち動き物体の領域を拡大/縮小することで、第7フラグ(flag7= `1' )が生成される。また、以上のことから影の領域は下記の論理で求めることができる。
(flag4= `1' )and (flag7≠ `1' )and (flag5≠ `0' )
【0033】
ここで、この発明の画像信号処理方法の一実施例を実現するためのフローチャートを図9に示す。まず、ステップ91の|フレーム差|では、供給された入力画像と1フレーム遅延された画像との差分の絶対値が求められ、求められたフレーム差分の絶対値がしきい値th1と比較される。その結果、しきい値th1より大きいと第0フラグ(flag0)は、 `1' として、しきい値th1より小さいと第0フラグ(flag0)は、 `0' として2値化され、ステップ92および95へ制御が移る。ステップ92の動き領域判定では、第0フラグ(flag0)が `1' である領域は、動き物体の輪郭と判断され、第1の動き物体領域候補(flag1= `1' )として、ステップ94へ制御が移る。
【0034】
ステップ93の|入力−背景|では、入力画像と背景メモリとの差分の絶対値が算出され、その差分の絶対値は、しきい値th2と比較される。このしきい値th2より大きいとき第2フラグ(flag2)が `1' とし、しきい値th2より小さいとき第2フラグ(flag2)が `0' として2値化され、ステップ94へ制御が移る。このステップ93において、第2フラグ(flag2)が `1' である領域は、第2の動き物体領域候補(flag2= `1' )として、ステップ94へ制御が移る。ステップ94の論理積では、ステップ92からの第1フラグ(flag1)とステップ93からの第2フラグ(flag2)との論理積をとり、第3の動き物体領域候補(flag3= `1' )が生成され、ステップ97へ制御が移る。
【0035】
ステップ95の連続回数計数では、第0フラグ(flag0)の `0' である場合、カウントするように制御され、第0フラグが `1' となった場合、そのカウント値を0にリセットするように制御されている。これによって、移動のない背景部分の確率的な判断材料を得ることと、仮に動き物体が停止した場合に、背景部分にその情報が更新されていくようにするための判断材料となる連続回数フラグが生成される。そして、ステップ95からステップ96へ制御が移る。
【0036】
ステップ97の縮小/拡大では、図2に示すように第3の動き物体領域候補(flag3= `1' )の領域を上下左右方向に数画素程度の縮小/拡大を行う。上述したように縮小することで、孤立点の除去が行われ、拡大し元の大きさへ戻す。この結果を第4フラグ(flag4)として、ステップ98および99へ制御が移る。ステップ99の入力/背景では、入力画像と背景メモリの比率が算出され、算出されたその比率は、局所ブロック内平均値および標準偏差が算出され、それぞれを上述のようにしきい値th1、th2、th3およびth4と比較することによって、第5フラグ(flag5)が生成され、ステップ100へ制御が移る。この第5フラグは、上述したように背景部分のとき `0' を示し、動き物体のとき `1' を示し、影のとき `2' を示すようにコード化される。
【0037】
ステップ100の|入力−背景|では、入力画像と背景メモリとの差分の絶対値がしきい値th5と比較され、動き物体領域が判断されると、第6フラグ(flag6)が `1' となる。ステップ101の縮小/拡大では、上述のステップ97(縮小/拡大)と同様に第6フラグが `1' となる領域の上下左右方向に数画素程度の縮小を行い孤立点の除去を行った後、元の大きさに拡大する。ステップ98の影の判定では、上述したように((flag4= `1' )and (flag7≠1)and (flag5≠0))が成り立つときに影の領域と判断し、影の領域と判断された領域は、伝送される。
【0038】
ステップ102のflag7=0では、第7フラグ(flag7)が0か否か、すなわち動き物体領域か否かが判断される。上述と同様にflag7=1の場合、その領域は、動き物体として伝送され、flag7=0の場合、ステップ96へ制御が移る。ステップ96の背景更新では、ステップ95(連続回数計数)からの背景部分の連続回数フラグが得られ、図7に示すように入力画像と背景メモリとの比率が定まり、新たな背景部分に更新され、その背景部分が伝送される。
【0039】
【発明の効果】
この発明に依れば、背景部分と動き物体およびその影の部分の分離を精度良く行うことができるため、その後の処理のバリエーションを広げることが可能となる。
【0040】
さらに、この発明に依れば、背景部分と動き物体とを分離後、背景部分はほどんど変化がないため、時間方向で見たとき超高圧縮がはかれることから、MD(Mini Disk )のような低ビットレートの記録媒体においても、高画質、長時間の記録を行うことが可能となる。
【図面の簡単な説明】
【図1】この発明の画像信号処理装置の一実施例を示すブロック図である。
【図2】この発明に係る縮小/拡大処理の説明に使用する略線図である。
【図3】この発明に係る動き領域判定回路の一例の詳細なブロック図である。
【図4】この発明に係る入力/背景比率判定の一例の詳細なブロック図である。
【図5】この発明に係る平均値と標準偏差を示した一例のグラフである。
【図6】この発明に係る背景更新制御と背景メモリの一例の詳細なブロックである。
【図7】この発明に係る入力画像と背景メモリからの画像との比率の一例を示すグラフである。
【図8】この発明の物体と影を抜き取る説明に用いる略線図である。
【図9】この発明の画像信号処理方法の一例を示すフローチャートである。
【符号の説明】
2 フレームメモリ
3、10 減算器
4、11 絶対値化回路
6、13 比較回路
7 計数制御回路
8、24 動き領域判定回路
9 連続回数メモリ
14、17、19、22、23、29、30、35 遅延回路
15 ANDゲート
16、26 縮小/拡大回路
18 除算器
20 入力/背景比率判定回路
27 影判定回路
28 動き物体判定回路
31 影メモリ
33 動き物体メモリ
36 背景更新制御回路
37 背景メモリ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image signal processing apparatus and method for extracting a moving object from an image signal.
[0002]
[Prior art]
As one method for compressing the image signal, the image is separated into a background portion (that is, a still image) and a moving object, and the background portion is a still image, and transmission thereof is omitted. By carrying out (thinning out), it is possible to greatly reduce the amount of transmission data. In this way, using the background memory that can be updated and the frame difference information of the input image, the moving object and the background portion Conventionally, a method for separating the two has been proposed.
[0003]
[Problems to be solved by the invention]
However, in the conventional method, a shadow of a moving object may be generated depending on, for example, the angle of illumination, and it may be determined as a moving object region including the shadow portion. Handling as a moving object including a shadow causes a problem of reducing the compression of the encoding as described above.
[0004]
Therefore, the object of the present invention is to portion When the moving object is separated, the image signal processing apparatus and method for distinguishing the shadow part of the moving object by new determination and extracting only the moving object are proposed.
[0005]
[Means for Solving the Problems]
The invention according to
[0006]
[0007]
Thus, the background portion And moving object isolated after background portion Because there is almost no change, it is extremely high when viewed in the time direction Pressure Reduction can be realized.
[0008]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 shows a block diagram of an embodiment of an image signal processing apparatus of the present invention. A digitized image is input to an input terminal indicated by 1, and the digital image is supplied to the
[0009]
In the absolute value circuit 4, the absolute difference value is supplied to the comparison circuit 6, where it is compared with the threshold value th <b> 1 supplied from the terminal 5 and binarized. In the comparison circuit 6, when the difference value is larger than the threshold value th1, the 0th flag (flag0) is set to “1”, and when the difference value is smaller than the threshold value th1, the 0th flag (flag0) is set to “0”. Is supplied to the count control circuit 7 and the motion region determination circuit 8. The region where the 0th flag (flag0) is `1 'is determined as the contour of the moving object. For example, it is assumed that a relatively large object is moving in the image. Movement Processing for determining the internal area of the object is performed, and the first flag (flag1) is supplied to the AND gate 15 as the first moving object area candidate (flag1 = `1 ').
[0010]
The
[0011]
In the AND gate 15 to which the first moving object region candidate (flag1 = `1 ') and the second moving object area candidate (flag2 =` 1') are supplied, a logical product of them is obtained and the third moving object is obtained. A region candidate (flag3 = `1 ') is generated and supplied to the reduction /
[0012]
Next, as shown in FIG. 2, the reduction /
[0013]
The divider 18 supplied with the input digital image is divided by the signal from the
[0014]
The ratio from the divider 18 is subjected to a predetermined delay in the delay circuit 19, and the divided result is supplied to the input / background
[0015]
background The absolute value of the difference between the signal from the
[0016]
The reduction / enlargement circuit 26 reduces and enlarges the area of the sixth flag (flag6 = `1 ') by about several pixels in the vertical and horizontal directions in order to remove isolated points as in the reduction /
[0017]
In the shadow determination circuit 27, the input digital image is supplied via the
[0018]
Further, in the moving
[0019]
In the background
[0020]
Here, a detailed block diagram of the above-described motion region determination circuit 8 is shown in FIG. In this motion region determination circuit 8, the motion determined that the 0th flag (flag0) is a motion contour indicated by `1 '. object The first candidate of the moving object region is determined by further scanning the region from the top, bottom, left, and right, and transmitted to the subsequent stage as the first flag (flag1).
[0021]
A 0th flag (flag0) supplied from the comparison circuit 6 is supplied to the
[0022]
Next, the right 0/1
[0023]
The AND
[0024]
Next, a detailed block diagram of the above-described input / background
[0025]
The output of the average value circuit 64 is supplied to the delay circuit 66 and the standard deviation circuit 67, and the output of the delay circuit 65 is supplied to the standard deviation circuit 67. In the standard deviation circuit 67, the standard deviation in the local block of the ratio is calculated in the region where the fourth flag is equal to “1” in the same manner as the average value circuit 64, and the delay circuit 66 is delayed by that time. The calculated standard deviation is supplied to
[0026]
That is, as shown in FIG. 5, the ratio between the values of the input image and the background memory is determined for each pixel, and the average value and the standard deviation of the ratio are obtained in a minute block centered on the target pixel. Thereafter, thresholds th1, th2, th3 and th The moving object, the background part, and the shadow part are separated by comparing with 4. Here, as shown in FIG. 5, as an example, the threshold for the average value is th1. < The relationship is th2, and the threshold for the standard deviation is th3 <th4. Therefore, the
[0027]
If (th1 <average value <th2) and (standard deviation <th3), the fifth flag (flag5) is set to `0 'and the background portion And is transmitted from the
[0028]
Here, the background update control circuit described above 36 And
[0029]
The continuous number flag from the continuous number memory 9 is supplied from the input terminal 81 to the
[0030]
The background memory ratio (1-r) supplied from the
[0031]
Here, the method for separating the shadow portion of the present invention will be briefly described with reference to FIG. First, the shadow as shown in FIG. Movement Object Ah As shown in FIG. 8B, the region where the fourth flag (flag4) is `1 ' Movement Object, shadow and background portion This is a relatively large area including a part of the area. Then, as shown in FIG. 8C, as a result of determining the ratio of the input image / background memory in this area (flag4 = `1 '), the background portion Area (flag5 = `0 '), Movement Although it is separated into an object area (flag5 = `1 ') and a shadow area (flag5 =` 2'), there is a slight error in this determination. Movement A minute background in the area of the object portion Or a minute shadow part occurs as a misjudgment part.
[0032]
As mentioned above Movement For the determination of the object region, the absolute value of the difference between the region where the fifth flag (flag5) is `1 'and the background memory is compared with the threshold value (th5). As a result, the limited sixth flag (flag6 = `1 ') and its sixth flag is` 1' Movement A seventh flag (flag7 = `1 ') is generated by enlarging / reducing the area of the object. From the above, the shadow area can be obtained by the following logic.
(Flag4 = `1 ') and (flag7 ≠` 1') and (flag5 ≠ `0 ')
[0033]
FIG. 9 is a flowchart for realizing an embodiment of the image signal processing method of the present invention. First, in | frame difference | of step 91, the absolute value of the difference between the supplied input image and the image delayed by one frame is obtained, and the obtained absolute value of the frame difference is compared with the threshold value th1. . As a result, when it is larger than the threshold th1, the 0th flag (flag0) is binarized as `1 ', and when it is smaller than the threshold th1, the 0th flag (flag0) is binarized as` 0'. Control passes to 95. In the moving region determination in
[0034]
In
[0035]
In the continuous count of
[0036]
In the reduction / enlargement of
[0037]
In | input-background | in step 100, the absolute value of the difference between the input image and the background memory is compared with the threshold value th5, and when the moving object region is determined, the sixth flag (flag6) is set to “1”. Become. In the reduction / enlargement of
[0038]
At flag7 = 0 in
[0039]
【The invention's effect】
According to this invention, the background portion Therefore, it is possible to separate the moving object and the shadowed portion thereof with high accuracy, so that it is possible to widen the variations of subsequent processing.
[0040]
Furthermore, according to the present invention, the background portion And moving object isolated after background portion Because there is almost no change, it is extremely high when viewed in the time direction Pressure Since the reduction is applied, even with a low bit rate recording medium such as MD (Mini Disk), it is possible to perform high-quality recording for a long time.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an embodiment of an image signal processing apparatus of the present invention.
FIG. 2 is a schematic diagram used for explaining reduction / enlargement processing according to the present invention;
FIG. 3 is a detailed block diagram of an example of a motion region determination circuit according to the present invention.
FIG. 4 is a detailed block diagram of an example of input / background ratio determination according to the present invention.
FIG. 5 is an example graph showing an average value and a standard deviation according to the present invention.
FIG. 6 is a detailed block diagram of an example of background update control and background memory according to the present invention.
FIG. 7 is a graph showing an example of a ratio between an input image and an image from a background memory according to the present invention.
FIG. 8 is a schematic diagram used for explaining an object and shadow according to the present invention.
FIG. 9 is a flowchart showing an example of an image signal processing method according to the present invention.
[Explanation of symbols]
2 frame memory
3, 10 subtractor
4,11 Absolute value circuit
6, 13 Comparison circuit
7 Count control circuit
8, 24 Motion region determination circuit
9 Continuous memory
14, 17, 19, 22, 23, 29, 30, 35 Delay circuit
15 AND gate
16, 26 Reduction / enlargement circuit
18 Divider
20 input / background ratio judgment circuit
27 Shadow determination circuit
28 Moving object determination circuit
31 Shadow memory
33 Moving object memory
36 Background update control circuit
37 Background memory
Claims (3)
上記入力画像に対して遅延を行うフレームメモリと、
上記入力画像と上記フレームメモリにて遅延された画像とから画素毎に差分値を計算する第1の差分手段と、
上記第1の差分手段から得られる差分値を絶対値化した後、第1のしきい値と比較することによって2値化した第1のフラグを設定し、上記設定された第1のフラグが第1のフラグ値から第2のフラグ値へ変化するところ、または第2のフラグ値から第1のフラグ値へ変化するところを上下左右から判断し、動き物体領域の第1の候補を判定する第1の判定手段と、
上記背景部分を静止画として格納する更新可能な背景メモリと、
上記入力画像の各画素毎に上記背景メモリに格納されている上記静止画の対応する画素の画素値との差分値を計算する第2の差分手段と、
上記第2の差分手段から得られる差分値を絶対値化した後、第2のしきい値と比較し、上記絶対値化された差分値が上記第2のしきい値より大きいとき、第2のフラグに第3のフラグ値を設定し、上記設定された第2のフラグを動き物体領域の第2の候補と判定する第2の判定手段と、
上記第1の候補と上記第2の候補との論理積から第3の候補を得る論理積手段と、
上記第3の候補を縮小した後、拡大する縮小/拡大手段と、
上記第3の候補の内部において、上記入力画像の各画素と上記背景メモリに格納されている上記静止画の各画素との輝度値の比率を計算する比率計算手段と、
上記第3の候補と上記比率とをブロック化し、ブロック化された上記第3の候補と上記比率毎に上記比率の平均値及び標準偏差を計算する値計算手段と、
上記平均値を上記第1および第2のしきい値と比較し、上記標準偏差を第3および第4のしきい値と比較し、上記平均値が上記第2のしきい値より大きく、且つ上記標準偏差が上記第4のしきい値より大きい場合に上記ブロック化された第3の候補を上記動き物体と判定し、上記平均値が上記第1のしきい値より大きく、上記第1のしきい値より大きい上記第2のしきい値より小さく、且つ上記標準偏差が上記第3のしきい値より小さい場合に上記ブロック化された第3の候補を上記背景部分と判定し、上記平均値が上記第1のしきい値より小さく、且つ上記標準偏差が上記第3のしきい値より大きく、上記第3のしきい値より大きい上記第4のしきい値より小さい場合に上記ブロック化された第3の候補を上記動き物体の影部分と判定する第3の判定手段とを有し、
上記2値化された第1のフラグから連続して動きがないと判定された回数を計数し、上記回数に応じた比率で、上記入力画像と上記背景メモリに格納されている上記静止画とを加重平均して上記背景メモリに格納される静止画を更新するようにしたことを特徴とする画像信号処理装置。An image signal processing apparatus for separating a background portion and a moving object from an input image that is a continuously input moving image,
A frame memory that delays the input image;
First difference means for calculating a difference value for each pixel from the input image and the image delayed in the frame memory;
After the difference value obtained from the first difference means is converted into an absolute value, a first flag binarized is set by comparing with a first threshold value, and the set first flag is It is determined from the top, bottom, left and right where the first flag value changes to the second flag value or where the second flag value changes to the first flag value, and the first candidate for the moving object region is determined. First determination means;
An updatable background memory that stores the background portion as a still image;
Second difference means for calculating a difference value between a pixel value of a corresponding pixel of the still image stored in the background memory for each pixel of the input image;
The difference value obtained from the second difference means is converted into an absolute value, and then compared with a second threshold value. When the absolute value of the difference value is larger than the second threshold value, set the third flag value of the flag, the second determination unit determines that the second candidate object region motion a second flag which is the set,
Logical product means for obtaining a third candidate from the logical product of the first candidate and the second candidate;
Reduction / enlargement means for enlarging after reducing the third candidate;
In the third candidate, ratio calculation means for calculating a ratio of luminance values of each pixel of the input image and each pixel of the still image stored in the background memory;
It was blocked and the third candidate and the ratio, the value calculating means for calculating a mean value and standard deviation of the blocked the third candidate and the ratio for each of the ratios,
The average value is compared with the first and second threshold, the standard deviation as compared to the third and fourth threshold, the average value is greater than the second threshold value, and When the standard deviation is greater than the fourth threshold, the third candidate blocked is determined as the moving object, the average value is greater than the first threshold, and the first The third candidate blocked is determined to be the background portion when the standard deviation is smaller than the third threshold and smaller than the second threshold greater than a threshold, and the average Block if the value is less than the first threshold and the standard deviation is greater than the third threshold and less than the fourth threshold greater than the third threshold the third candidate is determined that the shaded area of the moving object And a third determination means,
Count the number of times it has been determined that there is no motion continuously from the binarized first flag, and the still image stored in the background memory and the input image at a ratio according to the number of times. A still image stored in the background memory is weighted averaged to update a still image.
上記入力画像に対して遅延を行うフレームメモリと、
上記入力画像と上記フレームメモリにて遅延された画像とから画素毎に差分値を計算する第1の差分ステップと、
上記第1の差分ステップから得られる差分値を絶対値化した後、第1のしきい値と比較することによって2値化した第1のフラグを設定し、上記設定された第1のフラグが第1のフラグ値から第2のフラグ値へ変化するところ、または第2のフラグ値から第1のフラグ値へ変化するところを上下左右から判断し、動き物体領域の第1の候補を判定する第1の判定ステップと、
上記背景部分を静止画として格納する更新可能な背景メモリと、
上記入力画像の各画素毎に上記背景メモリに格納されている上記静止画の対応する画素の画素値との差分値を計算する第2の差分ステップと、
上記第2の差分ステップから得られる差分値を絶対値化した後、第2のしきい値と比較し、上記絶対値化された差分値が上記第2のしきい値より大きいとき、第2のフラグに第3のフラグ値を設定し、上記設定された第2のフラグを動き物体領域の第2の候補と判定する第2の判定ステップと、
上記第1の候補と上記第2の候補との論理積から第3の候補を得る論理積ステップと、
上記第3の候補を縮小した後、拡大する縮小/拡大ステップと、
上記第3の候補の内部において、上記入力画像の各画素と上記背景メモリに格納されている上記静止画の各画素との輝度値の比率を計算する比率計算ステップと、
上記第3の候補と上記比率とをブロック化し、ブロック化された上記第3の候補と上記比率毎に上記比率の平均値及び標準偏差を計算する値計算ステップと、
上記平均値を上記第1および第2のしきい値と比較し、上記標準偏差を第3および第4のしきい値と比較し、上記平均値が上記第2のしきい値より大きく、且つ上記標準偏差が上記第4のしきい値より大きい場合に上記ブロック化された第3の候補を上記動き物体と判定し、上記平均値が上記第1のしきい値より大きく、上記第1のしきい値より大きい上記第2のしきい値より小さく、且つ上記標準偏差が上記第3のしきい値より小さい場合に上記ブロック化された第3の候補を上記背景部分と判定し、上記平均値が上記第1のしきい値より小さく、且つ上記標準偏差が上記第3のしきい値より大きく、上記第3のしきい値より大きい上記第4のしきい値より小さい場合に上記ブロック化された第3の候補を上記動き物体の影部分と判定する第3の判定ステップとを有し、
上記2値化された第1のフラグから連続して動きがないと判定された回数を計数し、上記回数に応じた比率で、上記入力画像と上記背景メモリに格納されている上記静止画とを加重平均して上記背景メモリに格納される静止画を更新するようにしたことを特徴とする画像信号処理方法。An image signal processing method for separating a background portion and a moving object from an input image that is a continuously input moving image,
A frame memory that delays the input image;
A first difference step for calculating a difference value for each pixel from the input image and the image delayed in the frame memory;
After the difference value obtained from the first difference step is converted into an absolute value, a first flag that is binarized by comparing with a first threshold value is set, and the set first flag is It is determined from the top, bottom, left and right where the first flag value changes to the second flag value or where the second flag value changes to the first flag value, and the first candidate for the moving object region is determined. A first determination step;
An updatable background memory that stores the background portion as a still image;
A second difference step for calculating a difference value for each pixel of the input image with a pixel value of a corresponding pixel of the still image stored in the background memory;
After the difference value obtained from the second difference step is converted into an absolute value, it is compared with a second threshold value. When the difference value converted into the absolute value is larger than the second threshold value, set the third flag value of the flag, and a second determination step of determining that the second candidate object region motion a second flag which is the set,
A logical product step of obtaining a third candidate from the logical product of the first candidate and the second candidate;
A reduction / enlargement step of enlarging after reducing the third candidate;
A ratio calculating step for calculating a ratio of luminance values between the pixels of the input image and the pixels of the still image stored in the background memory inside the third candidate;
It was blocked and the third candidate and the ratio, the value calculating step of calculating the mean and standard deviation of the blocked the third candidate and the ratio for each of the ratios,
The average value is compared with the first and second threshold, the standard deviation as compared to the third and fourth threshold, the average value is greater than the second threshold value, and When the standard deviation is greater than the fourth threshold, the third candidate blocked is determined as the moving object, the average value is greater than the first threshold, and the first The third candidate blocked is determined to be the background portion when the standard deviation is smaller than the third threshold and smaller than the second threshold greater than a threshold, and the average Block if the value is less than the first threshold and the standard deviation is greater than the third threshold and less than the fourth threshold greater than the third threshold the third candidate is determined that the shaded area of the moving object And a third determination step,
Count the number of times it has been determined that there is no motion continuously from the binarized first flag, and the still image stored in the background memory and the input image at a ratio according to the number of times. A still image stored in the background memory is weighted averaged to update a still image signal processing method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP20777795A JP3852120B2 (en) | 1995-07-21 | 1995-07-21 | Image signal processing apparatus and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP20777795A JP3852120B2 (en) | 1995-07-21 | 1995-07-21 | Image signal processing apparatus and method |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0937259A JPH0937259A (en) | 1997-02-07 |
JP3852120B2 true JP3852120B2 (en) | 2006-11-29 |
Family
ID=16545350
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP20777795A Expired - Lifetime JP3852120B2 (en) | 1995-07-21 | 1995-07-21 | Image signal processing apparatus and method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3852120B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4496595B2 (en) | 1999-03-29 | 2010-07-07 | ソニー株式会社 | Image processing apparatus, image processing method, and recording medium |
JP4697500B2 (en) | 1999-08-09 | 2011-06-08 | ソニー株式会社 | TRANSMISSION DEVICE, TRANSMISSION METHOD, RECEPTION DEVICE, RECEPTION METHOD, AND RECORDING MEDIUM |
JP4224748B2 (en) | 1999-09-13 | 2009-02-18 | ソニー株式会社 | Image encoding apparatus, image encoding method, image decoding apparatus, image decoding method, recording medium, and image processing apparatus |
US6668070B2 (en) | 2000-03-29 | 2003-12-23 | Sony Corporation | Image processing device, image processing method, and storage medium |
CN102484715B (en) * | 2009-08-21 | 2014-09-10 | 日本电气株式会社 | Moving picture encoding device |
-
1995
- 1995-07-21 JP JP20777795A patent/JP3852120B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JPH0937259A (en) | 1997-02-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5387947A (en) | Motion vector detecting method of a video signal | |
US6987866B2 (en) | Multi-modal motion estimation for video sequences | |
US4691230A (en) | Motion vector detection system of a moving object on a screen | |
US4896364A (en) | Method of detecting boundary structures in a video signal | |
US20030194151A1 (en) | Method for temporal interpolation of an image sequence using object-based image analysis | |
US6141460A (en) | Method for detecting edges in an image signal | |
JP2008527525A (en) | Method and electronic device for detecting graphical objects | |
JP2004266381A (en) | Image processor, image processing method, learning device and method, recording medium, and program | |
JP2002523985A (en) | Problem area localization in image signals | |
JPH08241414A (en) | Moving object detection and trace device and threshold decision device | |
US7868946B2 (en) | Adaptive motion compensated interpolating method and apparatus | |
KR20050089886A (en) | Background motion vector detection | |
US20050180506A1 (en) | Unit for and method of estimating a current motion vector | |
CN107886067A (en) | A kind of pedestrian detection method of the multiple features fusion based on HIKSVM graders | |
US7382899B2 (en) | System and method for segmenting | |
JP4213035B2 (en) | Occlusion detector and method for detecting an occlusion region | |
KR20050085355A (en) | Method and apparatus for removing false edges from a segmented image | |
JP2001076161A (en) | Method and device for image processing and storage medium | |
JP3852120B2 (en) | Image signal processing apparatus and method | |
JP4419062B2 (en) | Image processing apparatus and method, recording medium, and program | |
US6968074B1 (en) | Image processing device, image processing method, and storage medium | |
JP2001061152A (en) | Motion detection method and motion detector | |
US6668070B2 (en) | Image processing device, image processing method, and storage medium | |
US7957593B2 (en) | Method and apparatus for processing image, recording medium, and computer program | |
JP3175914B2 (en) | Image encoding method and image encoding device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040928 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041125 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050927 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051122 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060815 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060828 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090915 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100915 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110915 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110915 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120915 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120915 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130915 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |