JP3898505B2 - Image signal processing device - Google Patents

Image signal processing device Download PDF

Info

Publication number
JP3898505B2
JP3898505B2 JP2001392427A JP2001392427A JP3898505B2 JP 3898505 B2 JP3898505 B2 JP 3898505B2 JP 2001392427 A JP2001392427 A JP 2001392427A JP 2001392427 A JP2001392427 A JP 2001392427A JP 3898505 B2 JP3898505 B2 JP 3898505B2
Authority
JP
Japan
Prior art keywords
appearance
appearance rule
moving image
still image
rule
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001392427A
Other languages
Japanese (ja)
Other versions
JP2003198935A (en
Inventor
崇史 楠原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2001392427A priority Critical patent/JP3898505B2/en
Publication of JP2003198935A publication Critical patent/JP2003198935A/en
Application granted granted Critical
Publication of JP3898505B2 publication Critical patent/JP3898505B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Picture Signal Circuits (AREA)
  • Television Systems (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

【0001】
【産業上の利用分野】
本発明は、画像信号処理装置に関し、特に静止画像・動画像フィールドの出現規則を正確に検出することができる画像信号処理装置に関する。
【0002】
【従来の技術】
従来の画像信号処理装置において、静止画像フィールドと動画像フィールドの出現パターンを検出することにより、画像処理のシーケンスを決定する場合がある。例えば、映画などのフィルムイメージは、毎秒24コマの映像信号であって、これを60フレーム/秒から成るDVDソフトに変換する場合には、インターレス変換(3−2プルダウン)することが行われている。なお、この3−2プルダウンの他、2−2プルダウンや2−3プルダウン処理などもある。
【0003】
従来の静止画像と動画像の検出方法としては、所定のフィールドにおいて注目画素に対する動きベクトル量を求め、その画素が動画像であるか、静止画像であるかを判別するものであった。そして、1フィールド内で統計処理が行われ、動画像となる画素が任意の閾値(統計処理用閾値)より大きい場合は、そのフィールドは動画像フィールドと判定する方法がよく採用されている。
【0004】
所定のフィールドにおける注目画素が動画像か静止画像かを判定する動きベクトルの閾値と、統計処理によって静止画像フィールドか動画像フィールドかを判定する閾値は、予めその値を設定するのが一般的であった。
【0005】
しかしながら、同じ画像ソースであってもA/Dコンバータの違いや、ビデオ信号デコーダの違いなどによってその閾値が異なってくるため、静止画像か動画像かの判定で違いが生じてしまい、正確な静止画像フィールドと動画像フィールドの出現規則を検出することは困難であった。
【0006】
図5は、従来の静止画像フィールドと動画像フィールドの出現規則の検出手順を説明するフローチャートである。
【0007】
図5に示すように、所定のフィールドで処理が開始されると(ステップS101)、フレーム間差分により注目画素の動きベクトルMVが検出される(ステップS102)。
【0008】
次いで、ステップS103では、この動きベクトルMVに対して閾値TH_V0を設定し、MV>TH_V0であればその画素は動画像と判定され、ステップS104で動画像のカウンタ値TCをインクリメントし、ステップS105で1フィールドが終了するまで上記ステップS102〜ステップS104までの処理が繰り返される。また、ステップS103において、MV≦TH_V0であれば静止画像と判定され、そのままステップS105に進む。
【0009】
このように、1フィールドにおいて動画像と判定された画素の統計処理が行われ、そのカウンタ値TCが算出される。
【0010】
そして、このカウンタ値TCと任意の閾値TH_TとがステップS106にて比較され、TH_T<TCならば、そのフィールドは動画像フィールドと判定され(ステップS107)、TH_T≧TCならば、そのフィールドは静止画像フィールドと判定される(ステップS108)。
【0011】
このように、複数のフィールドに対しても静止画像フィールドか動画像フィールドかの判別が行われ、静止画像フィールドと動画像フィールドの出現規則が予め設定された出現規則と同じであるかが判定され(ステップS109)、出現規則が決定される(ステップS110)。
【0012】
【発明が解決しようとする課題】
しかしながら、このような従来の静止画像・動画像フィールドの出現規則を判定する画像信号処理装置にあっては、静止画像か動画像かを判定するための動きベクトル閾値、および、静止画像・動画像フィールドを判定するための統計処理に使用される統計処理用閾値が固定されていたため、A/Dコンバータの違いやビデオ信号デコーダの違いなどによって閾値が異なってくる状況下では、静止画像フィールドと動画像フィールドとの判定結果の正確性に欠け、静止画像・動画像フィールドの出現規則の判定に誤りが生じてしまうという課題があった。
【0013】
この発明は上記に鑑みてなされたもので、所定のフィールドにおける注目画素が動画像と判定されるための動きベクトル閾値と、静止画像・動画像フィールドを判定するための統計処理閾値とを正確に算出して、静止画像フィールドと動画像フィールドの出現規則判定を正しく行うことができる画像信号処理装置を得ることを目的とする。
【0014】
【課題を解決するための手段】
上記目的を達成するため、この発明にかかる画像信号処理装置は、所定フィールド内の注目画素の動きベクトル量を検出する動きベクトル検出手段と、統計処理を行って静止画像か動画像かを判定するための閾値を生成する統計処理閾値生成手段と、静止画像・動画像フィールドの出現規則を判定する出現規則判定手段と、を備え、前記統計処理閾値生成手段は、統計処理に使用する複数の統計処理閾値を設定することが可能であって、前記出現規則判定手段は、設定された複数の統計処理閾値に対して発生する出現規則を判定できるようにしたことを特徴とする。
【0015】
この発明によれば、動きベクトル検出手段により所定フィールド内の注目画素の動きベクトル量を検出し、統計処理閾値生成手段により統計処理を行って静止画像か動画像かを判定するための閾値を生成し、出現規則判定手段により静止画像・動画像フィールドの出現規則を判定し、統計処理閾値生成手段により統計処理に使用する複数の統計処理閾値を設定し、複数の統計処理閾値に対して発生する出現規則を出現規則判定手段により判定できるようにしたため、複数の統計処理閾値の中から条件に応じた閾値を用いて出現規則判定を正しく行うことができる。
【0016】
つぎの発明にかかる画像信号処理装置は、上記の発明において、前記出現規則判定手段の検出候補となる静止画像・動画像フィールドの出現規則を複数用意する出現規則保存手段と、前記静止画像・動画像フィールドの出現規則として設定された複数の出現パターンに優先順位をつける出現パターン優先順位付加手段と、を備えていることを特徴とする。
【0017】
この発明によれば、出現規則保存手段により静止画像・動画像フィールドの出現規則が複数用意され、出現パターン優先順位付加手段により出現規則として設定された複数の出現パターンに優先順位を付けたため、検索時間が短縮され、プログラム負荷の軽減を図ることができる。
【0018】
つぎの発明にかかる画像信号処理装置は、上記の発明において、前記出現規則判定手段により静止画像・動画像フィールドの出現規則を判定するための適合率を設定する適合率設定手段と、所定時間内に発生した静止画像・動画像フィールドの出現規則と、定義された出現規則との適合割合が任意に設定した適合率よりも高い場合に、静止画像・動画像フィールドの出現規則性があると判定する出現規則性判定手段と、前記複数の統計処理閾値に対して静止画像・動画像フィールドの出現規則の適合率を算出し、最も正確な出現規則と統計処理閾値とを選択する出現規則・統計処理閾値選択手段と、を備えていることを特徴とする。
【0019】
この発明によれば、適合率設定手段により静止画像・動画像フィールドの出現規則を判定するための適合率が設定され、所定時間内に発生した静止画像・動画像フィールドの出現規則と定義された出現規則との適合割合が任意に設定した適合率よりも高い場合は、出現規則性判定手段により静止画像・動画像フィールドの出現規則性があると判定され、複数の統計処理閾値に対して静止画像・動画像フィールドの出現規則の適合率が算出されて、出現規則・統計処理閾値選択手段によって正確な出現規則と統計処理閾値とが選択されるため、静止画像・動画像フィールドの出現規則判定を正確に行うことができる。
【0020】
つぎの発明にかかる画像信号処理装置は、上記の発明において、前記統計処理閾値の変化範囲を設定する閾値範囲設定手段と、前記閾値範囲設定手段により設定した変化範囲内で統計処理閾値を変化させて静止画像・動画像フィールドの出現規則の適合率を上げ、より正確な統計処理閾値を生成する統計処理閾値生成手段と、を備えていることを特徴とする。
【0021】
この発明によれば、閾値範囲設定手段により統計処理閾値の変化範囲が設定され、閾値範囲設定手段により設定された変化範囲内で統計処理閾値を変化させて静止画像・動画像フィールドの出現規則の適合率を上げ、統計処理閾値生成手段によって正確な統計処理閾値を生成するようにしたため、静止画像・動画像フィールドの出現規則判定を正確に行うことができる。
【0022】
つぎの発明にかかる画像信号処理装置は、上記の発明において、所定のフィールド内の注目画素が静止画像か動画像かを判定する動きベクトルの閾値の変更範囲を定義する動きベクトル閾値範囲定義手段と、動きベクトルの閾値を定義した範囲内で変更し、静止画像・動画像フィールドの出現規則の適合率を上げて、より正確な動きベクトル閾値を生成する動きベクトル閾値生成手段と、を備えていることを特徴とする。
【0023】
この発明によれば、動きベクトル閾値範囲定義手段により所定のフィールド内の注目画素が静止画像か動画像かを判定する動きベクトル閾値の変更範囲を定義し、その定義された動きベクトル閾値の範囲内で変更され、静止画像・動画像フィールドの出現規則の適合率を上げて、動きベクトル閾値生成手段により正確な動きベクトル閾値が生成されるため、静止画像・動画像フィールドの出現規則判定を正確に行うことができる。
【0024】
つぎの発明にかかる画像信号処理装置は、上記の発明において、静止画像・動画像フィールドの出現規則性の存在の有無を検出する際の検出待機時間を定める検出待機時間設定手段を備えていることを特徴とする。
【0025】
この発明によれば、検出待機時間設定手段によって静止画像・動画像フィールドの出現規則性の存在の有無を検出する際の検出待機時間を定めるようにしたため、検索に要するプログラムの実行負荷を低減させることができる。
【0026】
つぎの発明にかかる画像信号処理装置は、上記の発明において、静止画像・動画像フィールドの出現規則を判定する際に、出現規則適合率に対するオフセット値を定義し、算出された静止画像・動画像フィールド出現規則の適合率が定められた出現規則適合率に対してオフセット値以上に低い場合は、出現規則検出エラーと判定する出現規則検出エラー判定手段と、前記出現規則検出エラー判定手段により検出エラー回数をカウントし、連続して定義した回数の数だけ規則性の不一致が発生した場合は、静止画像・動画像フィールドの出現規則が無くなったと判定する出現規則無効判定手段と、を備えていることを特徴とする。
【0027】
この発明によれば、静止画像・動画像フィールドの出現規則を判定する際に、出現規則検出エラー判定手段により出現規則適合率に対するオフセット値を定義し、算出された静止画像・動画像フィールド出現規則の適合率が定められた出現規則適合率に対してオフセット値以上に低い場合は、出現規則検出エラーと判定され、出現規則無効判定手段により検出エラー回数をカウントし、連続して定義した回数の数だけ規則性の不一致が発生した場合は、静止画像・動画像フィールドの出現規則が無くなったと判定するため、出現規則が決定された後であっても出現の規則性が失われたことを判別することができる。
【0028】
つぎの発明にかかる画像信号処理装置は、上記の発明において、静止画像・動画像フィールドの出現規則性が無くなったと判定された場合に、規則性が失われる前の静止画像・動画像フィールドの出現規則を保存しておく出現規則保存手段と、当該出現規則に対する検索優先度を最も上げ、再度出現規則検出時にはその出現規則に対する検索を最優先させる検索優先度制御手段と、統計処理用の閾値を保存しておく統計処理閾値保存手段と、再度の出現規則検出時にはその値を統計処理用閾値と決定する統計処理用閾値決定手段と、注目画素に対して静止画像か動画像かを判定する動きベクトルの閾値を保存する動きベクトル閾値保存手段と、再度出現規則検出時にはその閾値を動きベクトルの閾値とする動きベクトル閾値決定手段と、を備えていることを特徴とする。
【0029】
この発明によれば、静止画像・動画像フィールドの出現規則性が無くなったと判定されると、出現規則保存手段により規則性が失われる前の静止画像・動画像フィールドの出現規則を保存し、検索優先度制御手段により当該出現規則に対する検索優先度を最も上げ、再度出現規則検出時に出現規則に対する検索を最優先させ、統計処理閾値保存手段に統計処理用閾値を保存し、再度の出現規則検出時には統計処理用閾値決定手段により統計処理用閾値と決定される。動きベクトル閾値保存手段は、注目画素に対して静止画像か動画像かを判定する動きベクトルの閾値を保存し、再度出現規則検出時には動きベクトル閾値決定手段によりその閾値を動きベクトルの閾値とする。このため、出現規則の検索時間が短縮され、プログラム負荷の軽減を図ることができる。
【0030】
【発明の実施の形態】
以下に添付図面を参照して、この発明にかかる画像信号処理装置の好適な実施の形態を詳細に説明する。
【0031】
図1は、本実施の形態に係る画像信号処理装置1の概略構成を説明するブロック図である。図1に示す画像信号処理装置1は、動きベクトル検出部2、暫定統計処理閾値生成部3、出現規則判定部4、最終統計処理閾値生成部5、最終動きベクトル閾値生成部6、最終適合率生成部7、出現規則エラー判定部8、および、メモリ9などで構成されている。
【0032】
動きベクトル検出部2は、所定のフィールドにおける注目画素の動きベクトル量を算出するもので、その動きベクトル量は、フレーム間差分を用いて算出している。
【0033】
暫定統計処理閾値生成部3は、注目画素が静止画像か動画像かを判定する閾値(TH_V0)を初期値として暫定的に定義し、その値より動きベクトル量が大きければ動画フィールド用の統計処理カウンタ(TC)をカウントアップし、1フィールドの画素すべての動きベクトル量と閾値(TH_V0)との比較、および、統計処理が終わった時点で統計処理カウンタの値をあらかじめ定義したN個の統計処理用閾値(TH_T(N))と比較する。ここで統計処理カウンタの値が統計処理用閾値よりも大きい場合は、動画像フィールドと判定され、それよりも小さい場合は静止画像フィールドと判定される。統計処理用閾値(TH_T(N))と統計処理カウンタ(TC)との比較処理は、複数の閾値に対して並列に行っても良く、また、順次統計処理用閾値(TH_T(N))を切り替えて行ってもよい。
【0034】
出現規則判定部4は、静止画像・動画像フィールドの出現規則を判定するもので、その有無の判定は、出現規則決定適合率(MPS)を設定しておき、算出した静止画像・動画像フィールドの出現規則の適合率(MP_A)が適合率(MPS)より高い場合に、静止画像・動画像フィールドの出現規則が存在すると認定する。
【0035】
最終統計処理閾値生成部5は、メモリ9に格納された統計処理用閾値(TH_T_A)を微小に変化させることにより、統計処理用閾値の値の精度をあげることもできる。例えば、閾値変化範囲と閾値数(J)を設定し、メモリ9に保存した統計処理用閾値(TH_T_A)に対して、定義した閾値変化範囲内で閾値(TH_CT(J))を定義する。そして、統計処理用閾値(TH_CT(J))を定めることにより発生した静止画像・動画像フィールドの出現規則の出現適合率を算出し、適合率の最も高い統計処理用閾値を最終閾値(TH_TL)としてメモリ9に格納する。
【0036】
最終動きベクトル閾値生成部6は、所定のフィールドにおける注目画素が動画像と判定する動きベクトルの閾値を変化させることによって、動きベクトルの閾値の精度をあげることができる。例えば、動きベクトルの閾値変化範囲と閾値数(S)を設定し、変化範囲内で任意数の動きベクトル閾値(TH_V(S))を定義する。この任意数の動きベクトル閾値(TH_V(S))を定義することによって、発生した静止画像・動画像フィールドの出現規則の適合率を算出し、出現規則適合率が最も高い動きベクトル閾値を(TH_VL)としてメモリ9に格納し、さらに、その時の出現規則性適合率(MPL)もメモリ9に格納するようにする。
【0037】
最終適合率生成部7は、メモリ9に定義された出現規則(PAT(K))に対する、メモリに定義された出現規則(PAT(K))との適合率を算出し、最も高い適合率(MP_A)がメモリ9に保存される。
【0038】
出現規則エラー判定部8は、静止画像・動画像フィールドの出現規則が決定された後に、出現規則性が失われたと判定するには、適合率のオフセット値(α)を設定し、出現規則の適合率があらかじめ設定されている適合率(CMP)とαの差分(MPS−α)より低くなった場合は、エラー・カウンター(ETC)をカウント・アップし、定義したエラー・カウンターの最大値(SECT)と等しくなった場合は、動画・静止画フィールドの出現規則が無くなったと判断する。エラー・カウンターのカウント・アップ方法については、必ずしも連続するフィールドでなくても良い。
【0039】
メモリ9には、出現規則候補をK個(Kは、2以上の整数とする)定義し、さらに、静止画像・動画像フィールドの出現規則と検索優先順位もメモリ9に格納される。その格納方法としては、ファイル形式など種々の格納方法が可能である。また、検索優先順位とは、検索する出現規則の優先順位を予め定めておくものである。このメモリ9に定義された出現規則(PAT(K))に対する適合率が算出され、最も高い適合率(MP_A)がメモリ9に保存される。その際、統計処理用閾値(TH_MT)および出現規則(PAT_A)も同様にメモリ9に保存される。また、統計処理用閾値(MP_B)もメモリ9に保存され、さらに、静止画像・動画像フィールドの出現規則(PATL)と、出現規則適合率(MP_B)とを組み合わせたマップを作成して、メモリ9に保存することができる。
【0040】
次に、動作について説明する。図2および図3は、本実施の形態にかかる画像信号処理装置により静止画像・動画像フィールドの出現規則判定を行う動作を説明するフローチャートである。
【0041】
まず、図2において、所定のフィールドにおける処理が開始され(ステップS1)、注目画素の動きベクトル量(MV)が算出される(ステップS2)。この動きベクトル量は、ここではフレーム間差分を用いて算出している。
【0042】
ステップS3では、注目画素が動画像であるか否かを判定する閾値(TH_V0)を初期値として定義し、その値より動きベクトル量(MV)が大きければ動画フィールド用の統計処理カウンタ(TC)をカウント・アップして(ステップS4)ステップS5に進む。また、ステップS3で閾値(TH_V0)とベクトル量(MV)とが等しいか、ベクトル量(MV)の方が小さければそのままステップS5に進む。
【0043】
ステップS5において、1フィールドにおける画素すべての動きベクトル(MV)と閾値(TH_V0)との比較、および統計処理が終わった時点で、統計処理カウンタの値をあらかじめ定義したN個の統計処理用閾値(TH_T(N))と比較し(ステップS6)、統計処理カウンタの値(TC)が統計処理用閾値(TH_T(N))よりも大きい場合は(ステップS7)、動画像フィールドと判定され(ステップS8)、それよりも小さい場合は静止画像フィールドと判定される(ステップS9)。この統計処理の閾値(TH_T(N))と統計処理用カウンタ値(TC)の比較処理は、複数の閾値に対して並列に行っても良く、また、順次統計処理用閾値(TH_T(N))を切り替えて行ってもよい。
【0044】
続いて、静止画像・動画像フィールドの出現規則を検出する。出現規則候補は、メモリ9にK個定義され、さらに、静止画像・動画像フィールドの出現規則と検索優先順位もメモリ9に格納されている(ステップS10)。メモリ9に定義された出現規則(PAT(K))を読み込み(ステップS11)、メモリ9に定義した出現規則(PAT(K))との適合率(MP(N)(K))を算出し(ステップS12)、予めユーザが設定した適合率(MP_A)よりも大きい適合率(MP(N)(K))を最も高い適合率(MP_A)としてメモリ9に保存される(ステップS14)。
【0045】
さらにその際には、統計処理用閾値(TH_T_A)(ステップS15)や出現規則(PAT_A)(ステップS16)も同様にメモリ9に保存される。そして、ステップS17でKがディクリメントされ、K=0になるまでステップS10〜ステップS16までの処理が繰り返される。
【0046】
また、ステップS10において、K=0になるとステップS18でNがディクリメントされてステップS6に戻り、N=0になるまで、ステップS7〜ステップS9までの処理が繰り返される。
【0047】
N=0になると、図3のステップS19に進み、出現規則決定適合率(MPS)を設定し、算出された静止画像・動画像フィールドの出現規則の適合率(MP_A)が設定した適合率(MPS)より高い場合に、静止画像・動画像フィールド出現規則が存在すると認定される。そして、統計処理用閾値(MP_B)をメモリに保存し、さらに静止画像・動画像フィールドの出現規則(PATL)や静止画像・動画像フィールドの出現規則適合率(MP_B)を組み合わせたマップを作成してメモリ9に保存し(ステップS21〜ステップS23)、ステップS24で、出現規則ありと判定される(ステップS24)。
【0048】
また、メモリ9に格納された統計処理用閾値(TH_T_A)を微小に変化させることによって、統計処理用閾値の値の精度をあげることができる。まず、閾値変化範囲と閾値数(J)を設定し(ステップS25)、メモリ9に保存した統計処理用閾値(TH_T_A)に対して、定義した閾値変化範囲内で統計処理用閾値(TH_CT(J))を定義する(ステップS26)。そして、統計処理用閾値(TH_CT(J))を定めることによって発生した静止画像・動画像フィールドの出現規則の出現適合率(CMP(J))を算出する(ステップS27)。
【0049】
ステップS28では、静止画像・動画像フィールドの出現規則適合率(MP_B)が静止画像・動画像フィールドの出現規則の出現適合率(CMP(J))と等しいか大きい場合は、ステップS25に戻ってステップS26、27が繰り返され、静止画像・動画像フィールドの出現規則適合率(MP_B)よりも静止画像・動画像フィールドの出現規則の出現適合率(CMP(J))の方が大きい場合は、これを置き換え(ステップS29)、適合率の最も高い統計処理用閾値を最終閾値(TH_TL)としてメモリ9に格納する(ステップS30)。
【0050】
ステップS31では、閾値数(J)がディクリメントされ、ステップS25でJ=0と判断されると、ステップS32に進む。ここでは、所定のフィールドにおける注目画素が動画像と判定する動きベクトルの閾値を変化させることによって、動きベクトルの閾値の精度をあげる。まず、動きベクトルの閾値変化範囲と閾値数(S)とを設定し(ステップS32)、変化範囲内で任意数の動きベクトル閾値(TH_V(S))を定義する(ステップS33)。そして、任意の動きベクトルの閾値(TH_V(S))を定義することによって発生した静止画像・動画像フィールドの出現規則の適合率(CMP(S))を算出する(ステップS34)。
【0051】
ステップS35では、静止画像・動画像フィールドの出現規則適合率(MP_B)が静止画像・動画像フィールドの出現規則の適合率(CMP(S))と等しいか大きい場合は、ステップS32に戻ってステップS33、34が繰り返され、静止画像・動画像フィールドの出現規則適合率(MP_B)よりも静止画像・動画像フィールドの出現規則の適合率(CMP(S))の方が大きい場合は、これを置き換え(ステップS36)、出現規則適合率が最も高い動きベクトル閾値を(TH_VL)としてメモリ9に格納する。さらに、その時の出現規則性適合率(MPL)もメモリ9に格納される。
【0052】
ステップS38では、閾値数(S)がディクリメントされ、ステップS32でS=0と判断されると、処理が終了する。
【0053】
最終的に静止画像・動画像フィールドの出現規則判定としてメモリ9に保存されるのは、静止画像・動画像フィールドの出現規則(PATL)、統計処理用閾値(TH_TL)、および、所定のフィールドにおける注目画素が動画像か否かを判定するための動きベクトル(TH_VL)などである。
【0054】
このように、静止画像・動画像フィールドの出現規則の検索時間の設定方法には、常にフィールド出現規則を監視する方法と、待機時間をフィールド数または時間で設定する方法とがある。検索に待機時間を設けるならば、検索に要するプログラムの実行負荷を低減させることができる。
【0055】
また、待機フィールド数を設定することによって検索待機時間を設定する場合は、1フィールド毎にフィールド・カウンタをカウント・アップして、フィールド・カウンタが待機フィールド数になった時点で、メモリに格納された動画・静止画フィールド出現規則が変化していないかを確認する。静止画像・動画像フィールドの出現規則が変化していない場合は、フィールド・カウンタをこの時リセットする。検索待機時間を設定する場合は、CPUのタイマー制御などを使用する。
【0056】
また、図4は、静止画像・動画像フィールドの出現規則の決定後に出現規則性が失われた場合の処理に関するフローチャートである。
【0057】
図4に示すように、静止画像・動画像フィールドの出現規則の決定後に、出現の規則性が失われたと判定する処理は、まず、適合率(CMP)を算出し(ステップS41)、その適合率のオフセット値(α)を設定し、出現規則の適合率があらかじめ設定されている適合率(CMP)がαとの差分(MPS−α)より低くなった場合は(ステップS42)、エラー・カウンター(ETC)をカウント・アップし(ステップS43)、定義したエラー・カウンターの最大値(SECT)と等しくなった場合は(ステップS45)、静止画像・動画像フィールドの出現規則が無くなったと判定される(ステップS46)。なお、上記したエラー・カウンターのカウント・アップの方法は、必ずしも連続するフィールドでなくても構わない。
【0058】
静止画像・動画像フィールドの出現規則が無いと判断され、出現規則がなくなる直前の出現規則(PATL)を出現規則候補メモリに格納し、出現規則に対する検索優先順位を最優先とすることができる(ステップS50)。
【0059】
そのとき、統計処理用閾値(TH_TL)と(ステップS47)、注目画素が動画フィールドのものと判断するための動きベクトル閾値(TH_TL)と(ステップS48)、出現規則の適合率(MPL)とは(ステップS49)、それぞれメモリに保存される。
【0060】
再度、静止画像・動画像フィールドの出現規則を検索する場合は、出現規則の候補が格納してあるメモリ9から検索優先順位に従って読み出される。ここで、検索優先順位が最も高いのは、静止画像・動画像フィールドの出現規則が無いと判断される直前の出現規則(PATL)である。
【0061】
さらに、保存されている統計処理用閾値(TH_TL)をメモリ9に読み出して統計処理閾値として設定し、保存されている動きベクトル閾値(TH_VL)をメモリ9から読み出して動きベクトル閾値として設定し、静止画像・動画像フィールドの出現規則検出が行われる。
【0062】
静止画像・動画像フィールドの出現規則を再度検索する場合は、出現規則候補メモリから読み出した出現規則に対する検出した静止画像・動画像フィールドの出現規則の適合率を求め、その値が出現規則決定適合率(MPS)よりも高い場合は、静止画像・動画像フィールドの出現規則が存在すると判定し、それ以降の検出処理を行わないようにする。ただし、出現規則候補メモリに存在する出現規則を全て検索し、出現適合率を求め、出現規則を決定する手段を採用するようにしても勿論良い。
【0063】
メモリ9から読み出された、統計処理用閾値(TH_TL)および動きベクトル閾値(TH_VL)を使用した静止画像・動画像フィールドの出現規則の適合率が、出現規則決定適合率(MPS)に満たなかった場合は、それらの値をメモリ9からクリアし、再度図2および図3のフローチャートに戻って、出現規則の検出を行うようにする。
【0064】
以上説明したように、本実施の形態の画像信号処理装置よれば、静止画像・動画像フィールドの出現規則を判定する際に、静止画フィールドと動画フィールドとを判定するための統計処理用閾値、あるいは、所定のフィールドにおける注目画素が動画像であるか静止画像であるかを判別するための動きベクトル閾値を複数設定したり、その値を任意に変化させることができるため、A/Dコンバーターやビデオデコーダーの違いによる影響を最小限とし、閾値の不正確さによる静止画像フィールド、動画像フィールドの出現規則の誤判定を防止することができる。
【0065】
また、本実施の形態の画像信号処理装置によれば、静止画像・動画像フィールドの出現規則を判定する際に、出現規則の検索優先順位を設定したり、検索待機時間を設定することができるため、検索時間が短縮され、プログラム負荷の軽減を図ることができる。
【0066】
【発明の効果】
以上説明したように、この発明によれば、動きベクトル検出手段により所定フィールド内の注目画素の動きベクトル量を検出し、統計処理閾値生成手段により統計処理を行って静止画像か動画像かを判定するための閾値を生成し、出現規則判定手段により静止画像・動画像フィールドの出現規則を判定し、統計処理閾値生成手段により統計処理に使用する複数の統計処理閾値を設定し、複数の統計処理閾値に対して発生する出現規則を出現規則判定手段により判定できるようにしたので、複数の統計処理閾値の中から条件に応じた閾値を用いて出現規則判定を正しく行うことができる。
【0067】
つぎの発明によれば、出現規則保存手段により静止画像・動画像フィールドの出現規則が複数用意され、出現パターン優先順位付加手段により出現規則として設定された複数の出現パターンに優先順位を付けたので、検索時間が短縮され、プログラム負荷の軽減を図ることができる。
【0068】
つぎの発明によれば、適合率設定手段により静止画像・動画像フィールドの出現規則を判定するための適合率が設定され、所定時間内に発生した静止画像・動画像フィールドの出現規則と定義された出現規則との適合割合が任意に設定した適合率よりも高い場合は、出現規則性判定手段により静止画像・動画像フィールドの出現規則性があると判定され、複数の統計処理閾値に対して静止画像・動画像フィールドの出現規則の適合率が算出されて、出現規則・統計処理閾値選択手段によって正確な出現規則と統計処理閾値とが選択されるので、静止画像・動画像フィールドの出現規則判定を正確に行うことができる。
【0069】
つぎの発明によれば、閾値範囲設定手段により統計処理閾値の変化範囲が設定され、閾値範囲設定手段により設定された変化範囲内で統計処理閾値を変化させて静止画像・動画像フィールドの出現規則の適合率を上げ、統計処理閾値生成手段によって正確な統計処理閾値を生成するようにしたので、静止画像・動画像フィールドの出現規則判定を正確に行うことができる。
【0070】
つぎの発明によれば、動きベクトル閾値範囲定義手段により所定のフィールド内の注目画素が静止画像か動画像かを判定する動きベクトル閾値の変更範囲を定義し、その定義された動きベクトル閾値の範囲内で変更され、静止画像・動画像フィールドの出現規則の適合率を上げて、動きベクトル閾値生成手段により正確な動きベクトル閾値が生成されるので、静止画像・動画像フィールドの出現規則判定を正確に行うことができる。
【0071】
つぎの発明によれば、検出待機時間設定手段によって静止画像・動画像フィールドの出現規則性の存在の有無を検出する際の検出待機時間を定めるようにしたので、検索に要するプログラムの実行負荷を低減させることができる。
【0072】
つぎの発明によれば、静止画像・動画像フィールドの出現規則を判定する際に、出現規則検出エラー判定手段により出現規則適合率に対するオフセット値を定義し、算出された静止画像・動画像フィールド出現規則の適合率が定められた出現規則適合率に対してオフセット値以上に低い場合は、出現規則検出エラーと判定され、出現規則無効判定手段により検出エラー回数をカウントし、連続して定義した回数の数だけ規則性の不一致が発生した場合は、静止画像・動画像フィールドの出現規則が無くなったと判定するので、出現規則が決定された後であっても出現の規則性が失われたことを判別することができる。
【0073】
つぎの発明によれば、静止画像・動画像フィールドの出現規則性が無くなったと判定されると、出現規則保存手段により規則性が失われる前の静止画像・動画像フィールドの出現規則を保存し、検索優先度制御手段により当該出現規則に対する検索優先度を最も上げ、再度出現規則検出時に出現規則に対する検索を最優先させ、統計処理閾値保存手段に統計処理用閾値を保存し、再度の出現規則検出時には統計処理用閾値決定手段により統計処理用閾値と決定される。動きベクトル閾値保存手段は、注目画素に対して静止画像か動画像かを判定する動きベクトルの閾値を保存し、再度出現規則検出時には動きベクトル閾値決定手段によりその閾値を動きベクトルの閾値とするので、出現規則の検索時間が短縮され、プログラム負荷の軽減を図ることができる。
【図面の簡単な説明】
【図1】 本実施の形態に係る画像信号処理装置の概略構成を説明するブロック図である。
【図2】 本実施の形態にかかる画像信号処理装置により静止画像・動画像フィールドの出現規則判定を行う動作を説明するフローチャートである。
【図3】 本実施の形態にかかる画像信号処理装置により静止画像・動画像フィールドの出現規則判定を行う動作を説明するフローチャートである。
【図4】 静止画像・動画像フィールドの出現規則の決定後に出現規則性が失われた場合の処理に関するフローチャートである。
【図5】 従来の静止画像フィールドと動画像フィールドの出現規則の検出手順を説明するフローチャートである。
【符号の説明】
1 画像信号処理装置、2 動きベクトル検出部、3 暫定統計処理閾値生成部、4 出現規則判定部、5 最終統計処理閾値生成部、6 最終動きベクトル閾値生成部、7 最終適合率生成部、8 出現規則エラー判定部、9 メモリ。
[0001]
[Industrial application fields]
The present invention relates to an image signal processing apparatus, and more particularly to an image signal processing apparatus that can accurately detect the appearance rule of a still image / moving image field.
[0002]
[Prior art]
In a conventional image signal processing apparatus, an image processing sequence may be determined by detecting appearance patterns of a still image field and a moving image field. For example, a film image such as a movie is a video signal of 24 frames per second, and when it is converted into DVD software consisting of 60 frames / second, interlace conversion (3-2 pull-down) is performed. ing. In addition to this 3-2 pull-down, there are 2-2 pull-down and 2-3 pull-down processing.
[0003]
As a conventional still image and moving image detection method, a motion vector amount for a target pixel is obtained in a predetermined field, and it is determined whether the pixel is a moving image or a still image. When statistical processing is performed within one field and a pixel that is a moving image is larger than an arbitrary threshold (statistic processing threshold), a method of determining that field as a moving image field is often employed.
[0004]
In general, a threshold value for a motion vector for determining whether a target pixel in a predetermined field is a moving image or a still image and a threshold value for determining whether the target pixel is a still image field or a moving image field by statistical processing are set in advance. there were.
[0005]
However, even if the image source is the same, the threshold value varies depending on the difference in the A / D converter, the difference in the video signal decoder, and the like. It is difficult to detect the appearance rule of the image field and the moving image field.
[0006]
FIG. 5 is a flowchart for explaining a conventional procedure for detecting appearance rules of a still image field and a moving image field.
[0007]
As shown in FIG. 5, when processing is started in a predetermined field (step S101), the motion vector MV of the pixel of interest is detected based on the interframe difference (step S102).
[0008]
Next, in step S103, a threshold value TH_V0 is set for the motion vector MV. If MV> TH_V0, the pixel is determined to be a moving image, the moving image counter value TC is incremented in step S104, and in step S105. The processes from step S102 to step S104 are repeated until one field is completed. In step S103, if MV ≦ TH_V0, the image is determined to be a still image, and the process directly proceeds to step S105.
[0009]
In this way, the statistical processing of the pixels determined as moving images in one field is performed, and the counter value TC is calculated.
[0010]
The counter value TC is compared with an arbitrary threshold value TH_T in step S106. If TH_T <TC, the field is determined to be a moving image field (step S107). If TH_T ≧ TC, the field is stationary. The image field is determined (step S108).
[0011]
In this way, a plurality of fields are also determined as still image fields or moving image fields, and it is determined whether the appearance rules of the still image field and the moving image field are the same as the preset appearance rules. (Step S109) An appearance rule is determined (Step S110).
[0012]
[Problems to be solved by the invention]
However, in such a conventional image signal processing apparatus that determines the appearance rule of a still image / moving image field, a motion vector threshold for determining whether the image is a still image or a moving image, and a still image / moving image Since the threshold for statistical processing used for the statistical processing for determining the field is fixed, a still image field and a moving image are used in a situation where the threshold varies depending on differences in A / D converters and video signal decoders. There is a problem that the determination result of the image field is inaccurate and an error occurs in the determination of the appearance rule of the still image / moving image field.
[0013]
The present invention has been made in view of the above, and accurately calculates a motion vector threshold for determining a target pixel in a predetermined field as a moving image and a statistical processing threshold for determining a still image / moving image field. It is an object of the present invention to obtain an image signal processing apparatus that can calculate and correctly determine the appearance rule of a still image field and a moving image field.
[0014]
[Means for Solving the Problems]
In order to achieve the above object, an image signal processing apparatus according to the present invention determines a motion vector detecting means for detecting a motion vector amount of a pixel of interest in a predetermined field and statistical processing to determine whether it is a still image or a moving image. Statistical processing threshold value generating means for generating a threshold value, and appearance rule determining means for determining an appearance rule of a still image / moving image field, wherein the statistical processing threshold value generating means includes a plurality of statistics used for statistical processing. A processing threshold can be set, and the appearance rule determining means can determine an appearance rule that occurs for a plurality of set statistical processing thresholds.
[0015]
According to this invention, the motion vector detecting means detects the motion vector amount of the pixel of interest in the predetermined field, and the statistical processing threshold value generating means performs statistical processing to generate a threshold value for determining whether the image is a still image or a moving image. Then, the appearance rule determining means determines the appearance rule of the still image / moving image field, the statistical processing threshold value generating means sets a plurality of statistical processing threshold values used for the statistical processing, and occurs for the plurality of statistical processing threshold values. Since the appearance rule can be determined by the appearance rule determination means, it is possible to correctly determine the appearance rule using a threshold value corresponding to a condition from among a plurality of statistical processing threshold values.
[0016]
The image signal processing apparatus according to the next invention is the above-described invention, wherein the appearance rule storage means for preparing a plurality of appearance rules of still image / moving image fields as detection candidates of the appearance rule determination means, and the still image / moving picture Appearance pattern priority order adding means for assigning priorities to a plurality of appearance patterns set as appearance rules of an image field.
[0017]
According to the present invention, a plurality of appearance rules for the still image / moving image field are prepared by the appearance rule storage means, and the plurality of appearance patterns set as appearance rules by the appearance pattern priority adding means are prioritized. Time can be shortened and the program load can be reduced.
[0018]
An image signal processing apparatus according to a next invention is the above-described invention, wherein the appearance rule determining means sets a precision ratio for determining the appearance rule of the still image / moving image field by the appearance rule determining means, and within a predetermined time. If the matching ratio between the appearance rule of the still image / moving image field that occurred and the defined appearance rule is higher than the arbitrarily set matching ratio, it is determined that the appearance regularity of the still image / moving image field exists. Appearance regularity determining means for calculating the appearance rule / statistical processing threshold of the still image / moving image field with respect to the plurality of statistical processing thresholds and selecting the most accurate appearance rule and statistical processing threshold And a processing threshold value selection means.
[0019]
According to the present invention, the matching rate for determining the appearance rule of the still image / moving image field is set by the matching rate setting means, and is defined as the appearance rule of the still image / moving image field generated within a predetermined time. When the matching ratio with the appearance rule is higher than the arbitrarily set matching ratio, it is determined by the appearance regularity determining means that there is an appearance regularity of the still image / moving image field, and it is stationary for a plurality of statistical processing thresholds. Applicability rate of appearance rule of image / moving image field is calculated, and the appearance rule / statistical processing threshold selection means selects the correct appearance rule and statistical processing threshold, so the appearance rule determination of still image / moving image field is determined. Can be done accurately.
[0020]
In the image signal processing apparatus according to the next invention, in the above invention, a threshold range setting means for setting a change range of the statistical processing threshold, and a statistical processing threshold is changed within a change range set by the threshold range setting means. And statistical processing threshold value generation means for increasing the matching rate of the appearance rule of the still image / moving image field and generating a more accurate statistical processing threshold value.
[0021]
According to the present invention, the change range of the statistical processing threshold is set by the threshold range setting means, and the statistical processing threshold is changed within the change range set by the threshold range setting means to determine the appearance rule of the still image / moving image field. Since the precision is increased and the statistical processing threshold value is generated by the statistical processing threshold value generation means, it is possible to accurately determine the appearance rule of the still image / moving image field.
[0022]
The image signal processing apparatus according to the next invention is the motion vector threshold range defining means for defining a motion vector threshold range changing range for determining whether a pixel of interest in a predetermined field is a still image or a moving image. And a motion vector threshold value generating means for generating a more accurate motion vector threshold value by changing the threshold value of the motion vector within a defined range and increasing the matching rate of the appearance rule of the still image / moving image field. It is characterized by that.
[0023]
According to this invention, the motion vector threshold range defining means defines the motion vector threshold change range for determining whether the pixel of interest in the predetermined field is a still image or a moving image, and is within the defined motion vector threshold range. The motion vector threshold value generation means generates an accurate motion vector threshold value by increasing the matching rate of the appearance rule of the still image / moving image field. It can be carried out.
[0024]
The image signal processing apparatus according to the next invention is provided with detection waiting time setting means for determining a detection waiting time when detecting the presence or absence of appearance regularity of a still image / moving image field in the above invention. It is characterized by.
[0025]
According to the present invention, the detection standby time for detecting the presence / absence of the appearance regularity of the still image / moving image field is determined by the detection standby time setting means, thereby reducing the execution load of the program required for the search. be able to.
[0026]
In the image signal processing apparatus according to the next invention, in the above invention, when determining the appearance rule of the still image / moving image field, an offset value for the appearance rule conformity rate is defined, and the calculated still image / moving image is determined. When the field appearance rule conformance rate is lower than the set appearance rule conformance rate, the detection error is detected by the appearance rule detection error determining means for determining an appearance rule detection error and the appearance rule detection error determining means. Appearance rule invalidity determination means for determining that there is no longer the appearance rule of the still image / moving image field when the regularity mismatch occurs by the number of times defined continuously. It is characterized by.
[0027]
According to the present invention, when determining the appearance rule of the still image / moving image field, the offset value for the appearance rule matching rate is defined by the appearance rule detection error determining means, and the calculated still image / moving image field appearance rule is determined. If the matching rate is lower than the offset value, it is judged as an appearance rule detection error, and the number of detection errors is counted by the appearance rule invalidity judging means. If there are as many regularity discrepancies as there are, it is determined that the appearance rule for the still image / moving image field has disappeared, so it is determined that the regularity of appearance has been lost even after the appearance rule is determined. can do.
[0028]
In the image signal processing apparatus according to the next invention, in the above invention, when it is determined that the regularity of appearance of the still image / moving image field is lost, the appearance of the still image / moving image field before the regularity is lost Appearance rule storage means for storing rules, search priority control means for raising the search priority for the appearance rule to the highest level, and for detecting the appearance rule again when detecting the appearance rule again, and a threshold for statistical processing Statistical processing threshold value storage means for storing, statistical processing threshold value determination means for determining the value as a statistical processing threshold value when an appearance rule is detected again, and movement for determining whether a pixel of interest is a still image or a moving image Motion vector threshold storage means for storing a vector threshold; and motion vector threshold determination means for using the threshold as a motion vector threshold when an appearance rule is detected again. And wherein the are.
[0029]
According to the present invention, when it is determined that the appearance regularity of the still image / moving image field has been lost, the appearance rule of the still image / moving image field before the regularity is lost is saved by the appearance rule storing means, and the search is performed. The priority control means raises the search priority for the appearance rule to the highest level, the search for the appearance rule is given the highest priority when the appearance rule is detected again, the statistical processing threshold is stored in the statistical processing threshold storage means, and when the appearance rule is detected again The statistical processing threshold value is determined by the statistical processing threshold value determining means. The motion vector threshold storage unit stores a motion vector threshold for determining whether the pixel of interest is a still image or a moving image, and when the appearance rule is detected again, the motion vector threshold determination unit sets the threshold as the motion vector threshold. For this reason, the search time for appearance rules can be shortened, and the program load can be reduced.
[0030]
DETAILED DESCRIPTION OF THE INVENTION
Exemplary embodiments of an image signal processing apparatus according to the present invention will be explained below in detail with reference to the accompanying drawings.
[0031]
FIG. 1 is a block diagram illustrating a schematic configuration of an image signal processing apparatus 1 according to the present embodiment. The image signal processing apparatus 1 shown in FIG. 1 includes a motion vector detection unit 2, a provisional statistical processing threshold generation unit 3, an appearance rule determination unit 4, a final statistical processing threshold generation unit 5, a final motion vector threshold generation unit 6, and a final precision. A generation unit 7, an appearance rule error determination unit 8, a memory 9, and the like are included.
[0032]
The motion vector detection unit 2 calculates the motion vector amount of the target pixel in a predetermined field, and the motion vector amount is calculated using the inter-frame difference.
[0033]
The provisional statistical processing threshold generation unit 3 tentatively defines a threshold (TH_V0) for determining whether the pixel of interest is a still image or a moving image as an initial value, and if the motion vector amount is larger than the value, statistical processing for a moving image field The counter (TC) is counted up, the motion vector amount of all pixels in one field is compared with the threshold (TH_V0), and the statistical processing counter value is defined in advance when the statistical processing is completed. Compared with the threshold value for use (TH_T (N)). Here, when the value of the statistical processing counter is larger than the threshold for statistical processing, it is determined as a moving image field, and when it is smaller than that, it is determined as a still image field. The comparison processing between the statistical processing threshold value (TH_T (N)) and the statistical processing counter (TC) may be performed in parallel for a plurality of threshold values, and the statistical processing threshold value (TH_T (N)) is sequentially set. You may switch.
[0034]
The appearance rule determination unit 4 determines the appearance rule of a still image / moving image field. The presence / absence determination is performed by setting the appearance rule determination conformity (MPS) and calculating the calculated still image / moving image field. When the matching rate (MP_A) of the appearance rule of is higher than the matching rate (MPS), it is determined that the appearance rule of the still image / moving image field exists.
[0035]
The final statistical processing threshold value generation unit 5 can increase the accuracy of the statistical processing threshold value by minutely changing the statistical processing threshold value (TH_T_A) stored in the memory 9. For example, the threshold change range and the threshold number (J) are set, and the threshold (TH_CT (J)) is defined within the defined threshold change range for the statistical processing threshold (TH_T_A) stored in the memory 9. Then, the appearance matching rate of the appearance rule of the still image / moving image field generated by determining the statistical processing threshold value (TH_CT (J)) is calculated, and the statistical processing threshold value with the highest matching rate is set as the final threshold value (TH_TL). Is stored in the memory 9 as follows.
[0036]
The final motion vector threshold value generation unit 6 can increase the accuracy of the threshold value of the motion vector by changing the threshold value of the motion vector in which the target pixel in the predetermined field is determined to be a moving image. For example, a motion vector threshold change range and a threshold number (S) are set, and an arbitrary number of motion vector thresholds (TH_V (S)) are defined within the change range. By defining this arbitrary number of motion vector threshold values (TH_V (S)), the matching rate of the appearance rule of the generated still image / moving image field is calculated, and the motion vector threshold value having the highest appearance rule matching rate is calculated as (TH_VL). ) And the appearance regularity matching rate (MPL) at that time is also stored in the memory 9.
[0037]
The final precision ratio generation unit 7 calculates the precision ratio between the appearance rule (PAT (K)) defined in the memory 9 and the appearance rule (PAT (K)) defined in the memory 9, and the highest precision ratio ( MP_A) is stored in the memory 9.
[0038]
In order to determine that the appearance regularity is lost after the appearance rule of the still image / moving image field is determined, the appearance rule error determination unit 8 sets an offset value (α) of the relevance ratio and determines the appearance rule If the precision is lower than the preset precision (CMP) and the difference between α (MPS-α), the error counter (ETC) is counted up and the maximum value of the defined error counter ( If it is equal to SECT), it is determined that the appearance rule of the moving image / still image field has been lost. The error counter count-up method is not necessarily a continuous field.
[0039]
The memory 9 defines K appearance rule candidates (K is an integer of 2 or more), and further, the appearance rule and search priority of still image / moving image fields are also stored in the memory 9. As the storage method, various storage methods such as a file format are possible. In addition, the search priority order is a predetermined priority order of appearance rules to be searched. The matching rate for the appearance rule (PAT (K)) defined in the memory 9 is calculated, and the highest matching rate (MP_A) is stored in the memory 9. At this time, the threshold value for statistical processing (TH_MT) and the appearance rule (PAT_A) are similarly stored in the memory 9. Further, the threshold value for statistical processing (MP_B) is also stored in the memory 9, and furthermore, a map is created by combining the appearance rule (PATL) of the still image / moving image field and the appearance rule conformity rate (MP_B). 9 can be stored.
[0040]
Next, the operation will be described. 2 and 3 are flowcharts for explaining the operation of determining the appearance rule of a still image / moving image field by the image signal processing apparatus according to the present embodiment.
[0041]
First, in FIG. 2, processing in a predetermined field is started (step S1), and the motion vector amount (MV) of the target pixel is calculated (step S2). This amount of motion vector is calculated here using an inter-frame difference.
[0042]
In step S3, a threshold value (TH_V0) for determining whether or not the pixel of interest is a moving image is defined as an initial value, and if the motion vector amount (MV) is larger than that value, a moving image field statistical processing counter (TC) Is counted up (step S4), and the process proceeds to step S5. If the threshold value (TH_V0) is equal to the vector amount (MV) in step S3 or the vector amount (MV) is smaller, the process proceeds to step S5.
[0043]
In step S5, when the comparison between the motion vector (MV) of all the pixels in one field and the threshold value (TH_V0) and the statistical processing are completed, N statistical processing threshold values (in which statistical processing counter values are defined in advance) ( (TH_T (N)) (step S6). If the statistical processing counter value (TC) is larger than the statistical processing threshold (TH_T (N)) (step S7), it is determined as a moving image field (step S7). If it is smaller than that, it is determined as a still image field (step S9). The comparison processing of the statistical processing threshold value (TH_T (N)) and the statistical processing counter value (TC) may be performed in parallel with respect to a plurality of threshold values, and the statistical processing threshold value (TH_T (N)) is sequentially performed. ) May be switched.
[0044]
Subsequently, the appearance rule of the still image / moving image field is detected. K appearance rule candidates are defined in the memory 9, and further, the appearance rule and search priority of the still image / moving image field are also stored in the memory 9 (step S <b> 10). The appearance rule (PAT (K)) defined in the memory 9 is read (step S11), and the matching rate (MP (N) (K)) with the appearance rule (PAT (K)) defined in the memory 9 is calculated. (Step S12), a precision (MP (N) (K)) larger than the precision (MP_A) preset by the user is stored in the memory 9 as the highest precision (MP_A) (Step S14).
[0045]
Further, at that time, the threshold value for statistical processing (TH_T_A) (step S15) and the appearance rule (PAT_A) (step S16) are similarly stored in the memory 9. Then, K is decremented in step S17, and the processes from step S10 to step S16 are repeated until K = 0.
[0046]
In step S10, when K = 0, N is decremented in step S18, the process returns to step S6, and the processes from step S7 to step S9 are repeated until N = 0.
[0047]
When N = 0, the process proceeds to step S19 in FIG. 3 to set the appearance rule determination conformity (MPS), and the adaptation ratio (MP_A) of the calculated appearance rule (MP_A) of the still image / moving image field is set. If it is higher than (MPS), it is determined that a still image / moving image field appearance rule exists. Then, the threshold value for statistical processing (MP_B) is stored in the memory, and a map that combines the appearance rule (PATL) of the still image / moving image field and the appearance rule matching rate (MP_B) of the still image / moving image field is created. Are stored in the memory 9 (steps S21 to S23), and it is determined in step S24 that there is an appearance rule (step S24).
[0048]
Further, the statistical processing threshold value (TH_T_A) stored in the memory 9 can be minutely changed to increase the accuracy of the statistical processing threshold value. First, the threshold change range and the threshold number (J) are set (step S25), and the statistical processing threshold (TH_CT (J) within the defined threshold changing range is compared with the statistical processing threshold (TH_T_A) stored in the memory 9. )) Is defined (step S26). Then, the appearance matching rate (CMP (J)) of the appearance rule of the still image / moving image field generated by determining the statistical processing threshold (TH_CT (J)) is calculated (step S27).
[0049]
In step S28, when the appearance rule matching rate (MP_B) of the still image / moving image field is equal to or greater than the appearance matching rate (CMP (J)) of the appearance rule of the still image / moving image field, the process returns to step S25. When steps S26 and S27 are repeated and the appearance rule matching rate (CMP (J)) of the appearance rule of the still image / moving image field is larger than the appearance rule matching rate (MP_B) of the still image / moving image field, This is replaced (step S29), and the statistical processing threshold with the highest relevance rate is stored in the memory 9 as the final threshold (TH_TL) (step S30).
[0050]
In step S31, the threshold number (J) is decremented. If it is determined in step S25 that J = 0, the process proceeds to step S32. Here, the accuracy of the motion vector threshold is increased by changing the threshold of the motion vector that determines that the pixel of interest in the predetermined field is a moving image. First, a motion vector threshold change range and a threshold number (S) are set (step S32), and an arbitrary number of motion vector thresholds (TH_V (S)) are defined within the change range (step S33). Then, the matching rate (CMP (S)) of the appearance rule of the still image / moving image field generated by defining the threshold value (TH_V (S)) of an arbitrary motion vector is calculated (step S34).
[0051]
In step S35, when the appearance rule matching rate (MP_B) of the still image / moving image field is equal to or larger than the matching rate (CMP (S)) of the appearance rule of the still image / moving image field, the process returns to step S32 and step is performed. If S33 and S34 are repeated and the matching rate (CMP (S)) of the appearance rule of the still image / moving image field is larger than the appearance rule matching rate (MP_B) of the still image / moving image field, Replacement (step S36), the motion vector threshold value with the highest appearance rule matching rate is stored in the memory 9 as (TH_VL). Furthermore, the appearance regularity matching rate (MPL) at that time is also stored in the memory 9.
[0052]
In step S38, the threshold number (S) is decremented. If it is determined in step S32 that S = 0, the process ends.
[0053]
Finally, the still image / moving image field appearance rule determination is stored in the memory 9 in the still image / moving image field appearance rule (PATL), the statistical processing threshold (TH_TL), and the predetermined field. For example, a motion vector (TH_VL) for determining whether or not the target pixel is a moving image.
[0054]
As described above, there are two methods for setting the appearance time for the appearance rule of the still image / moving image field: a method for constantly monitoring the field appearance rule and a method for setting the waiting time by the number of fields or time. If a standby time is provided for the search, the program execution load required for the search can be reduced.
[0055]
When the search waiting time is set by setting the number of waiting fields, the field counter is counted up for each field and stored in the memory when the field counter reaches the number of waiting fields. Confirm that the video / still image field appearance rules have not changed. If the appearance rule of the still image / moving image field has not changed, the field counter is reset at this time. When setting the search waiting time, CPU timer control or the like is used.
[0056]
FIG. 4 is a flowchart relating to the processing when the appearance regularity is lost after the appearance rule of the still image / moving image field is determined.
[0057]
As shown in FIG. 4, after determining the appearance rule of the still image / moving image field, the process of determining that the regularity of appearance is lost first calculates the precision (CMP) (step S41), When the rate offset value (α) is set and the matching rate of the appearance rule is lower than the preset matching rate (CMP) with respect to α (MPS−α) (step S42), an error When the counter (ETC) is counted up (step S43) and becomes equal to the defined maximum value of the error counter (SECT) (step S45), it is determined that the appearance rule of the still image / moving image field has been lost. (Step S46). Note that the error counter count-up method described above does not necessarily have to be a continuous field.
[0058]
It is determined that there is no appearance rule for the still image / moving image field, the appearance rule (PATL) immediately before the appearance rule disappears is stored in the appearance rule candidate memory, and the search priority for the appearance rule can be given the highest priority ( Step S50).
[0059]
At this time, the statistical processing threshold (TH_TL) (step S47), the motion vector threshold (TH_TL) for determining that the pixel of interest is in the moving image field (step S48), and the appearance rule precision (MPL) (Step S49), each stored in the memory.
[0060]
When the appearance rule of the still image / moving image field is searched again, it is read according to the search priority from the memory 9 in which the candidates for the appearance rule are stored. Here, the highest search priority is the appearance rule (PATL) immediately before it is determined that there is no still image / moving image field appearance rule.
[0061]
Further, the stored statistical processing threshold value (TH_TL) is read out to the memory 9 and set as the statistical processing threshold value, and the stored motion vector threshold value (TH_VL) is read out from the memory 9 and set as the motion vector threshold value. The appearance rule of the image / moving image field is detected.
[0062]
When searching for the appearance rule of the still image / moving image field again, obtain the matching rate of the appearance rule of the detected still image / moving image field with respect to the appearance rule read from the appearance rule candidate memory, and the value is the appearance rule determination conformity If it is higher than the rate (MPS), it is determined that there is a still image / moving image field appearance rule, and the subsequent detection processing is not performed. However, it is of course possible to employ a means for searching all appearance rules existing in the appearance rule candidate memory, obtaining the appearance matching rate, and determining the appearance rule.
[0063]
The adaptation rate of the appearance rule of the still image / moving image field using the statistical processing threshold (TH_TL) and the motion vector threshold (TH_VL) read from the memory 9 is less than the appearance rule determination adaptation rate (MPS). In the case where it is found, these values are cleared from the memory 9, and the process returns to the flowcharts of FIGS. 2 and 3 to detect the appearance rule.
[0064]
As described above, according to the image signal processing device of the present embodiment, when determining the appearance rule of the still image / moving image field, the statistical processing threshold for determining the still image field and the moving image field, Alternatively, since a plurality of motion vector thresholds for determining whether the pixel of interest in a predetermined field is a moving image or a still image can be set or the value can be arbitrarily changed, an A / D converter, It is possible to minimize the influence due to the difference in the video decoder and to prevent erroneous determination of the appearance rule of the still image field and the moving image field due to the inaccuracy of the threshold.
[0065]
Further, according to the image signal processing apparatus of the present embodiment, when determining the appearance rule of a still image / moving image field, it is possible to set the search priority of the appearance rule and set the search standby time. Therefore, the search time is shortened and the program load can be reduced.
[0066]
【The invention's effect】
As described above, according to the present invention, the motion vector detection unit detects the motion vector amount of the pixel of interest in the predetermined field, and the statistical processing threshold generation unit performs statistical processing to determine whether the image is a still image or a moving image. To generate a threshold value, to determine the appearance rule of the still image / moving image field by the appearance rule determination means, and to set a plurality of statistical processing threshold values used for statistical processing by the statistical processing threshold value generation means, Since the appearance rule generated with respect to the threshold value can be determined by the appearance rule determination means, the appearance rule determination can be performed correctly using a threshold value corresponding to the condition from among a plurality of statistical processing threshold values.
[0067]
According to the next invention, a plurality of appearance rules of the still image / moving image field are prepared by the appearance rule storing means, and the plurality of appearance patterns set as the appearance rules by the appearance pattern priority adding means are prioritized. The search time can be shortened and the program load can be reduced.
[0068]
According to the next invention, the matching rate for determining the appearance rule of the still image / moving image field is set by the matching rate setting means, which is defined as the appearance rule of the still image / moving image field generated within a predetermined time. If the matching ratio with the appearance rule is higher than the arbitrarily set matching ratio, it is determined by the appearance regularity determining means that there is an appearance regularity of the still image / moving image field, and a plurality of statistical processing threshold values are determined. The matching rate of the appearance rule of the still image / moving image field is calculated, and the appearance rule and the statistical processing threshold are selected by the appearance rule / statistical processing threshold selection means. Judgment can be made accurately.
[0069]
According to the next invention, the change range of the statistical processing threshold is set by the threshold range setting means, and the appearance rule of the still image / moving image field is changed by changing the statistical processing threshold within the change range set by the threshold range setting means. And the statistical processing threshold value generating means generates an accurate statistical processing threshold value, so that the appearance rule determination of the still image / moving image field can be performed accurately.
[0070]
According to the next invention, the motion vector threshold range defining means defines the motion vector threshold change range for determining whether the pixel of interest in the predetermined field is a still image or a moving image, and the defined motion vector threshold range The motion vector threshold value generation means generates an accurate motion vector threshold value by increasing the matching rate of the appearance rule of the still image / moving image field. Can be done.
[0071]
According to the next invention, the detection standby time for detecting the presence / absence of the appearance regularity of the still image / moving image field is determined by the detection standby time setting means, so the execution load of the program required for the search is reduced. Can be reduced.
[0072]
According to the next invention, when determining the appearance rule of the still image / moving image field, an offset value for the appearance rule matching rate is defined by the appearance rule detection error determining means, and the calculated still image / moving image field appearance is defined. If the rule conformance rate is lower than the specified appearance rule conformance rate, it is determined as an appearance rule detection error, the number of detection errors is counted by the appearance rule invalidity determination means, and the number of times defined continuously. If there is a discrepancy in the number of regular images, it is determined that there are no more appearance rules for the still image / moving image field, so that the appearance regularity is lost even after the appearance rules are determined. Can be determined.
[0073]
According to the next invention, when it is determined that the appearance regularity of the still image / moving image field is lost, the appearance rule of the still image / moving image field before the regularity is lost by the appearance rule storing means is stored, The search priority for the appearance rule is raised by the search priority control means, the search for the appearance rule is given the highest priority when the appearance rule is detected again, the statistical processing threshold is stored in the statistical processing threshold storage means, and the appearance rule is detected again. Sometimes it is determined as the statistical processing threshold by the statistical processing threshold determining means. The motion vector threshold storage unit stores a motion vector threshold for determining whether the target pixel is a still image or a moving image, and when the appearance rule is detected again, the motion vector threshold determination unit sets the threshold as the motion vector threshold. The search time for appearance rules can be shortened, and the program load can be reduced.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a schematic configuration of an image signal processing apparatus according to an embodiment.
FIG. 2 is a flowchart for explaining an operation of performing appearance rule determination of a still image / moving image field by the image signal processing apparatus according to the present embodiment;
FIG. 3 is a flowchart for explaining an operation of determining the appearance rule of a still image / moving image field by the image signal processing apparatus according to the present embodiment;
FIG. 4 is a flowchart relating to processing when appearance regularity is lost after the appearance rule of a still image / moving image field is determined.
FIG. 5 is a flowchart for explaining a conventional procedure for detecting appearance rules of a still image field and a moving image field.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Image signal processing apparatus, 2 Motion vector detection part, 3 Temporary statistical process threshold value generation part, 4 Appearance rule determination part, 5 Final statistical process threshold value generation part, 6 Final motion vector threshold value generation part, 7 Final adaptation rate generation part, 8 Appearance rule error determination unit, 9 memory.

Claims (8)

所定フィールド内の注目画素の動きベクトル量を検出する動きベクトル検出手段と、
統計処理を行って静止画像か動画像かを判定するための閾値を生成する統計処理閾値生成手段と、
静止画像・動画像フィールドの出現規則を判定する出現規則判定手段と、
を備え、
前記統計処理閾値生成手段は、統計処理に使用する複数の統計処理閾値を設定することが可能であって、
前記出現規則判定手段は、設定された複数の統計処理閾値に対して発生する出現規則を判定できるようにしたことを特徴とする画像信号処理装置。
Motion vector detecting means for detecting a motion vector amount of a pixel of interest in a predetermined field;
Statistical processing threshold value generating means for generating a threshold value for performing statistical processing to determine whether the image is a still image or a moving image;
Appearance rule determination means for determining the appearance rule of a still image / moving image field;
With
The statistical processing threshold value generating means can set a plurality of statistical processing threshold values used for statistical processing,
The image signal processing apparatus characterized in that the appearance rule determining means can determine an appearance rule generated for a plurality of set statistical processing thresholds.
前記出現規則判定手段の検出候補となる静止画像・動画像フィールドの出現規則を複数用意する出現規則保存手段と、
前記静止画像・動画像フィールドの出現規則として設定された複数の出現パターンに優先順位をつける出現パターン優先順位付加手段と、
を備えていることを特徴とする請求項1に記載の画像信号処理装置。
Appearance rule storage means for preparing a plurality of appearance rules for still image / moving image fields as detection candidates of the appearance rule determination means;
Appearance pattern priority adding means for giving priority to a plurality of appearance patterns set as appearance rules of the still image / moving image field;
The image signal processing apparatus according to claim 1, further comprising:
前記出現規則判定手段により静止画像・動画像フィールドの出現規則を判定するための適合率を設定する適合率設定手段と、
所定時間内に発生した静止画像・動画像フィールドの出現規則と、定義された出現規則との適合割合が任意に設定した適合率よりも高い場合に、静止画像・動画像フィールドの出現規則性があると判定する出現規則性判定手段と、
前記複数の統計処理閾値に対して静止画像・動画像フィールドの出現規則の適合率を算出し、最も正確な出現規則と統計処理閾値とを選択する出現規則・統計処理閾値選択手段と、
を備えていることを特徴とする請求項1または2に記載の画像信号処理装置。
Relevance ratio setting means for setting a relevance ratio for determining the appearance rule of a still image / moving image field by the appearance rule determination means;
The appearance regularity of the still image / moving image field is higher when the matching ratio between the appearance rule of the still image / moving image field generated within the predetermined time and the defined appearance rule is higher than the arbitrarily set matching rate. An appearance regularity determining means for determining that there is,
Appearance rule / statistical processing threshold selection means for calculating the matching rate of the appearance rule of the still image / moving image field with respect to the plurality of statistical processing thresholds and selecting the most accurate appearance rule and statistical processing threshold;
The image signal processing apparatus according to claim 1, further comprising:
前記統計処理閾値の変化範囲を設定する閾値範囲設定手段と、
前記閾値範囲設定手段により設定した変化範囲内で統計処理閾値を変化させて静止画像・動画像フィールドの出現規則の適合率を上げ、より正確な統計処理閾値を生成する統計処理閾値生成手段と、
を備えていることを特徴とする請求項1〜3のいずれか一つに記載の画像信号処理装置。
Threshold range setting means for setting a change range of the statistical processing threshold;
Statistical processing threshold value generating means for changing the statistical processing threshold value within the change range set by the threshold value range setting means to increase the matching rate of the appearance rule of the still image / moving image field, and generating a more accurate statistical processing threshold value;
The image signal processing apparatus according to claim 1, further comprising:
所定のフィールド内の注目画素が静止画像か動画像かを判定する動きベクトルの閾値の変更範囲を定義する動きベクトル閾値範囲定義手段と、
動きベクトルの閾値を定義した範囲内で変更し、静止画像・動画像フィールドの出現規則の適合率を上げて、より正確な動きベクトル閾値を生成する動きベクトル閾値生成手段と、
を備えていることを特徴とする請求項1〜4のいずれか一つに記載の画像信号処理装置。
Motion vector threshold value range defining means for defining a change range of a motion vector threshold value for determining whether a target pixel in a predetermined field is a still image or a moving image;
A motion vector threshold value generating means for generating a more accurate motion vector threshold value by changing the threshold value of the motion vector within a defined range and increasing the matching rate of the appearance rule of the still image / moving image field;
The image signal processing apparatus according to claim 1, further comprising:
静止画像・動画像フィールドの出現規則性の存在の有無を検出する際の検出待機時間を定める検出待機時間設定手段を備えていることを特徴とする請求項1〜5のいずれか一つに記載の画像信号処理装置。6. A detection standby time setting means for determining a detection standby time when detecting the presence / absence of appearance regularity of a still image / moving image field is provided. Image signal processing apparatus. 静止画像・動画像フィールドの出現規則を判定する際に、出現規則適合率に対するオフセット値を定義し、算出された静止画像・動画像フィールド出現規則の適合率が定められた出現規則適合率に対してオフセット値以上に低い場合は、出現規則検出エラーと判定する出現規則検出エラー判定手段と、前記出現規則検出エラー判定手段により検出エラー回数をカウントし、連続して定義した回数の数だけ規則性の不一致が発生した場合は、静止画像・動画像フィールドの出現規則が無くなったと判定する出現規則無効判定手段と、
を備えていることを特徴とする請求項1〜6のいずれか一つに記載の画像信号処理装置。
When determining the appearance rule of a still image / moving image field, an offset value for the appearance rule conformance rate is defined, and the calculated conformance rate of the still image / moving image field appearance rule is determined against the defined appearance rule conformance rate. If it is lower than the offset value, the appearance rule detection error determination means for determining an appearance rule detection error and the number of detection errors by the appearance rule detection error determination means are counted, and the regularity is the number of times defined continuously. If there is a mismatch, the appearance rule invalidity determining means for determining that the appearance rule of the still image / moving image field has disappeared,
The image signal processing apparatus according to claim 1, further comprising:
静止画像・動画像フィールドの出現規則性が無くなったと判定された場合に、規則性が失われる前の静止画像・動画像フィールドの出現規則を保存しておく出現規則保存手段と、
当該出現規則に対する検索優先度を最も上げ、再度出現規則検出時にはその出現規則に対する検索を最優先させる検索優先度制御手段と、
統計処理用の閾値を保存しておく統計処理閾値保存手段と、
再度の出現規則検出時にはその値を統計処理用閾値と決定する統計処理用閾値決定手段と、
注目画素に対して静止画像か動画像かを判定する動きベクトルの閾値を保存する動きベクトル閾値保存手段と、
再度出現規則検出時にはその閾値を動きベクトルの閾値とする動きベクトル閾値決定手段と、
を備えていることを特徴とする請求項7に記載の画像信号処理装置。
Appearance rule storage means for storing the appearance rule of the still image / moving image field before the regularity is lost when it is determined that the appearance regularity of the still image / moving image field is lost,
Search priority control means for raising the search priority for the appearance rule to the highest level, and for detecting the appearance rule again when the appearance rule is detected again,
Statistical processing threshold storage means for storing a threshold for statistical processing;
A threshold value determination means for statistical processing that determines the value as a threshold value for statistical processing when an appearance rule is detected again;
Motion vector threshold storage means for storing a threshold of a motion vector for determining whether the pixel of interest is a still image or a moving image;
A motion vector threshold value determining unit that uses the threshold value as a motion vector threshold value when an appearance rule is detected again;
The image signal processing apparatus according to claim 7, further comprising:
JP2001392427A 2001-12-25 2001-12-25 Image signal processing device Expired - Fee Related JP3898505B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001392427A JP3898505B2 (en) 2001-12-25 2001-12-25 Image signal processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001392427A JP3898505B2 (en) 2001-12-25 2001-12-25 Image signal processing device

Publications (2)

Publication Number Publication Date
JP2003198935A JP2003198935A (en) 2003-07-11
JP3898505B2 true JP3898505B2 (en) 2007-03-28

Family

ID=27599756

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001392427A Expired - Fee Related JP3898505B2 (en) 2001-12-25 2001-12-25 Image signal processing device

Country Status (1)

Country Link
JP (1) JP3898505B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8699778B2 (en) 2009-07-29 2014-04-15 Panasonic Corporation Image coding method, image coding apparatus, program, and integrated circuit

Also Published As

Publication number Publication date
JP2003198935A (en) 2003-07-11

Similar Documents

Publication Publication Date Title
US7389042B2 (en) Auto focus method for digital camera
RU2323541C2 (en) Method and device for conducting high quality fast search for predicted movement
KR100492127B1 (en) Apparatus and method of adaptive motion estimation
US9852511B2 (en) Systems and methods for tracking and detecting a target object
US7136581B2 (en) Image taking apparatus and program product
JP5483953B2 (en) Focus adjustment device, focus adjustment method and program
US8059157B2 (en) Method and system for digital image stabilization
US7570837B2 (en) Shading correction apparatus and image sensing
KR101415872B1 (en) Method and apparatus for auto focusing of image capturing
US7602980B2 (en) Image processing apparatus and method
KR100364789B1 (en) Method for estimating motion and apparatus for the same
US20100232509A1 (en) Method and apparatus to improve the convergence speed of a recursive motion estimator
JP3898505B2 (en) Image signal processing device
US5739872A (en) High-speed motion estimating apparatus for high-definition television and method therefor
JP2009152895A (en) Code amount control method, device, code amount control program, and camera system
US20190387233A1 (en) Image signal detection device
WO2007079089A2 (en) Method and system for automatically focusing an image being captured by an image capturing system
US20140126639A1 (en) Motion Estimation Method
JP2002152750A (en) Motion vector detection method and device
JP4608136B2 (en) Motion vector and parallax vector detection device
JP7353924B2 (en) Image processing device, imaging device, image processing method, and program
JP3747534B2 (en) Motion detection apparatus and method
JP2971513B2 (en) Image motion vector detection device and shake correction device
JP4714647B2 (en) Cut point detection device and cut point detection program
JP4053925B2 (en) VIDEO ENCODING METHOD, VIDEO ENCODING DEVICE, VIDEO ENCODING PROGRAM, AND VIDEO ENCODING PROGRAM RECORDING MEDIUM

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061221

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees