JP4239411B2 - 動き判定装置および動き判定方法 - Google Patents
動き判定装置および動き判定方法 Download PDFInfo
- Publication number
- JP4239411B2 JP4239411B2 JP2000575302A JP2000575302A JP4239411B2 JP 4239411 B2 JP4239411 B2 JP 4239411B2 JP 2000575302 A JP2000575302 A JP 2000575302A JP 2000575302 A JP2000575302 A JP 2000575302A JP 4239411 B2 JP4239411 B2 JP 4239411B2
- Authority
- JP
- Japan
- Prior art keywords
- frg
- motion
- inter
- field
- determination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/0137—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes dependent on presence/absence of motion, e.g. of motion zones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Systems (AREA)
Description
【技術分野】
【０００１】
この発明は、例えばインターレス走査される画像の動きを、精度良く判定するようにした動き判定装置および動き判定方法に関する。
【背景技術】
【０００２】
一例として、インターレス走査される画像（以下、適宜、インターレス画像という）を、ノンインターレス走査（プログレッシブ走査）される画像（プログレッシブ画像）へ変換する処理を行う場合、処理の対象となるインターレス画像における動きの有無等に対応して、その処理に用いるフィルタのタップ係数その他の係数を変化させることによって、インターレス画像に対してより適した処理を施すことができる。変換処理としては、ある規格のインターレス画像を、他の規格のインターレス画像へ変換する処理、標準解像度のインターレス画像を、高解像度の画像へ変換する処理、インターレス画像の動き検出に用いるディジタルフィルタのタップ係数を制御する処理等がある。これらの変換処理においては、本来の変換処理の前処理として、処理の対象となるインターレス画像に対して動きの判定が行われることがある。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、動き判定を行う従来の動き判定装置では、例えばインターレス画像を構成するあるフィールドに注目した場合に、その注目フィールドの一部のみがその前後のフィールドと大きく異なるときには（例えば処理対象のインターレス画像がジェット機等が高速で通りすぎていく様子を表示するものなどであるとき）、その一部は、動きがあるにもかかわらず、静止しているものと誤判定されることがあった。
【０００４】
このように動きがあるにもかかわらず、静止していると誤って判定された場合には、静止している画像に対して適した処理（例えば前フレームの同一位置のデータで補間するフレーム間処理）が動きのある画像に対して施されることになる。その処理結果は、滑らかに動いている動画像にはならない。また、処理が途中で破綻するおそれもあった。
【０００５】
一方、静止しているにもかかわらず、動きがあると誤って判定された場合には、動きのある画像に対して適した処理（例えばフィールド内の処理）が静止した画像に対して施されることになる。その処理結果の画像は、静止した画像全体がぼやけたものとなる。
【０００６】
したがって、画像の動き判定は、その後の処理により得られる画像に大きく影響するため、精度良く（誤りがないように）行う必要がある。
【０００７】
また、インターレス画像の処理に限らず、プログレッシブ画像の処理においても、動き判定が正しく行われる必要がある。例えば画像信号が時間方向に相関を有するのに対して、ノイズが相関を有しないことを利用して、巡回形のノイズ低減装置が知られている。プログレッシブ画像に関しても、この種のノイズ低減装置によってノイズを低減できる。ノイズ低減装置では、動きの有無が判定され、動きがあるときには、巡回処理を停止し、フレームメモリの内容を書き換える必要がある。このようなノイズ低減装置においても、動き判定が正しく行われないと、上述したのと同様の問題が発生する。
【０００８】
したがって、この発明は、このような状況に鑑みてなされたものであり、従来より精度良く動きの判定を行うことができるようにするものである。
【課題を解決するための手段】
【０００９】
この発明は、上述した課題を解決するものであり、インタ−レス方式の入力画像信号中に含まれる物体の動きを判定する動き判定装置において、
入力画像信号の部分画像毎に、時間的に連続するフィールド t-1 、 t 、 t+1 のそれぞれの空間勾配ＳＧ (t) 、ＳＧ (t-1) 、ＳＧ (t+1) を検出する空間変化検出手段と、
入力画像信号の部分画像毎にフレーム間差分ＦｒＧを検出する時間変化検出手段と、
部分画像毎に上空間勾配ＳＧ (t)とフレーム間差分ＦｒＧの変化との比ｇｆｒ (t) （＝ＦｒＧ／ＳＧ (t) ）を検出する比検出手段と、
フィールド t-1 およびｔ間の、上向きのフィールド間差分 FiGu(t-1) と、フィールド t-1 およびｔ間の、下向きのフィールド間差分 FiGd(t-1) と、フィールドｔおよび t+1 間の、上向きのフィールド間差分 FiGu(t) と、フィールドｔおよび t+1 間の、下向きのフィールド間差分 FiGd(t) とをそれぞれ求めるフィールド間差分検出手段と、
第１の判定部、第２の判定部および第３の判定部からなる動き判定手段とを備え、
第１の判定部は、下記の条件Ｃ１、Ｃ２およびＣ３を全て満たすときは、動きと判定し、それ以外では、静止と判定し、
Ｃ１：ＳＧ (t) ≧ th １
Ｃ２： min ｛｜ SG(t) − SG(t-1) ｜，｜ SG(t) − SG(t+1) ｜｝≧ th ２
Ｃ３：ｇｆｒ (t) ＝ＦｒＧ／ＳＧ (t) ≧ th ３
th １、 th ２および th ３は、閾値である。
第２の判定部は、下記の条件Ｃ１、Ｃ４およびＣ５を全て満たすときは、動きと判定し、それ以外では、静止と判定し、
Ｃ１：ＳＧ (t) ≧ th １
Ｃ４： max ｛ FiGu(t-1) ， FiGu(t),FiGd(t-1) ， FiGd(t) ｝≧ th ４
Ｃ５：ｇｆｒ (t) ＝ＦｒＧ／ＳＧ (t) ≧ th ５
第３の判定部は、下記の条件Ｃ６を満たすときは、動きと判定し、それ以外では、静止と判定する動き判定装置である。
Ｃ６：ｇｆｒ (t) ＝ＦｒＧ／ＳＧ (t) ≧ th ６
閾値 th ３、 th ５および th ６は、空間変化量ＳＧ (t) とフレーム間差分ＦｒＧが大きくなるに従って閾値が増加するようになされ、閾値 th ６は、閾値 th ３および th ５より大きな値である。
この発明は、インタ−レス方式の入力画像信号中に含まれる物体の動きを判定する動き判定方法において、
入力画像信号の部分画像毎に、時間的に連続するフィールド t-1 、 t 、 t+1 のそれぞれの空間勾配ＳＧ (t) 、ＳＧ (t-1) 、ＳＧ (t+1) を検出する空間変化検出ステップと、
入力画像信号の部分画像毎にフレーム間差分ＦｒＧを検出する時間変化検出ステップと、
部分画像毎に上空間勾配ＳＧ (t)とフレーム間差分ＦｒＧの変化との比ｇｆｒ (t) （＝ＦｒＧ／ＳＧ (t) ）を検出する比検出ステップと、
フィールド t-1 およびｔ間の、上向きのフィールド間差分 FiGu(t-1) と、フィールド t-1 およびｔ間の、下向きのフィールド間差分 FiGd(t-1) と、フィールドｔおよび t+1 間の、上向きのフィールド間差分 FiGu(t) と、フィールドｔおよび t+1 間の、下向きのフィールド間差分 FiGd(t) とをそれぞれ求めるフィールド間差分検出ステップと、
第１の判定ステップ、第２の判定ステップおよび第３の判定ステップからなる動き判定ステップとを備え、
第１の判定ステップは、下記の条件Ｃ１、Ｃ２およびＣ３を全て満たすときは、動きと判定し、それ以外では、静止と判定し、
Ｃ１：ＳＧ (t) ≧ th １
Ｃ２： min ｛｜ SG(t) − SG(t-1) ｜，｜ SG(t) − SG(t+1) ｜｝≧ th ２
Ｃ３：ｇｆｒ (t) ＝ＦｒＧ／ＳＧ (t) ≧ th ３
th １、 th ２および th ３は、閾値である。
第２の判定ステップは、下記の条件Ｃ１、Ｃ４およびＣ５を全て満たすときは、動きと判定し、それ以外では、静止と判定し、
Ｃ１：ＳＧ (t) ≧ th １
Ｃ４： max ｛ FiGu(t-1) ， FiGu(t),FiGd(t-1) ， FiGd(t) ｝≧ th ４
Ｃ５：ｇｆｒ (t) ＝ＦｒＧ／ＳＧ (t) ≧ th ５
第３の判定ステップは、下記の条件Ｃ６を満たすときは、動きと判定し、それ以外では、静止と判定する動き判定方法である。
Ｃ６：ｇｆｒ (t) ＝ＦｒＧ／ＳＧ (t) ≧ th ６
閾値 th ３、 th ５および th ６は、空間変化量ＳＧ (t) とフレーム間差分ＦｒＧが大きくなるに従って閾値が増加するようになされ、閾値 th ６は、閾値 th ３および th ５より大きな値である。
【発明の効果】
【００１０】
この発明は、フィールド間の空間変化量に基づく第１条件判定と、フィールド間差分に基づく第２条件判定と、フレーム間差分と空間変化量の比に基づく第３条件判定との何れかが満たされると、注目画素に動きがあると判定するので、高精度に動き判定を行うことができる。したがって、動き判定に基づいて、動きのある画像と、動きが無いまたは動きが僅かである画像に対してそれぞれ適切な処理を施すことができる。
【発明を実施するための最良の形態】
【００１１】
第１図は、この発明が適用された動き判定装置の一実施例の構成例を示す。この一実施例においては、インターレス画像における動きの有無が判定されるようになされている。
すなわち、インターレス画像を構成する各フィールドの時系列がフィールドメモリ１に供給されるようになされている。フィールドメモリ１は、そこに供給されたフィールド画像を、順次記憶するようになされている。ここで、フィールドメモリ１は、少なくとも３フィールドの画像を記憶することができる記憶容量を有している。
【００１２】
フィールドメモリ１に対してタップ構築部２が接続される。タップ構築部２は、フィールドメモリ１から所定の画素（画素値）を読み出し、処理の対象とするタップを構成する。すなわち、タップ構築部２は、時刻ｔにおけるフィールド（以下、適宜、第ｔフィールドという）に注目した場合に、その第ｔフィールドの画像内の注目画素を想定する。ここで、注目画素は、第ｔフィールドの画像を構成する実際の画素であっても良いし、第ｔフィールド上に想定された仮想的な画素であっても良い。
なお、この発明は、フレームが連続するプログレッシブ方式の信号を処理する場合にも適用できる。
【００１３】
タップ構築回路２では、第２図に示す５０個の画素が動き判定に使用するタップとして選択され、選択されたタップが出力される。第２図は、t-1 ，ｔ，t+1 と時間的に連続する３フィールドの空間的に同一部分の画像を示している。第２図中のドットが所定周波数でサンプリングされることによって得られる画素を示す。例えば１画素は、８ビットの輝度値である。
【００１４】
時間t-1 のフィールドでは、時間的に連続する３ラインのそれぞれから対応する位置の５個のタップが選択される。同様に、時間t+1 のフィールドでは、時間的に連続する３ラインのそれぞれから対応する位置の５個のタップが選択される。これらのフィールドのタップの空間的な位置が同一である。また、現在（時間ｔ）のフィールドでは、時間的に連続する４ラインのそれぞれから対応する位置の５個のタップが選択される。インターレス方式であるために、これらの４ラインは、t-1 およびt+1 のフィールドのタップとは、空間的に１ラインずれている。そして、第２図において、×で示す位置が注目画素であり、この注目画素に関しての動き判定がなされる。
【００１５】
タップ構築部２に対して空間変化算出部３および時間変化算出部４が接続される。空間変化算出部３は、第t-1 ，ｔ，t+1 フィールドのタップのそれぞれについて空間方向の変化量ＳＧ(t) ，ＳＧ(t-1) ，ＳＧ(t+1) を算出する。これらの空間方向の変化量が時間変化対空間変化算出部５および第１条件判定部６に供給される。
【００１６】
各フィールドの空間方向の変化量は、それぞれの画素と隣接画素との差分の絶対値を求め、差分の絶対値を合計した値である。タップを構成する各画素の値を第２図に示すように定めると、下記のようにして、空間方向の変化量ＳＧ(t) ，ＳＧ(t-1) ，ＳＧ(t+1) が算出される。
【００１７】
ＳＧ(t) ＝〔｜ｂ00−ｂ01｜＋｜ｂ01−ｂ02｜＋｜ｂ02−ｂ03｜＋｜ｂ03−ｂ04｜＋｜ｂ10−ｂ11｜＋｜ｂ11−ｂ12｜＋｜ｂ12−ｂ13｜＋｜ｂ13−ｂ14｜＋｜ｂ20−ｂ21｜＋｜ｂ21−ｂ22｜＋｜ｂ22−ｂ23｜＋｜ｂ23−ｂ24｜＋｜ｂ30−ｂ31｜＋｜ｂ31−ｂ32｜＋｜ｂ32−ｂ33｜＋｜ｂ33−ｂ34｜＋｜ｂ00−ｂ10｜＋｜ｂ01−ｂ11｜＋｜ｂ02−ｂ12｜＋｜ｂ03−ｂ13｜＋｜ｂ04−ｂ14｜＋｜ｂ10−ｂ20｜＋｜ｂ11−ｂ21｜＋｜ｂ12−ｂ22｜＋｜ｂ13−ｂ23｜＋｜ｂ14−ｂ24｜＋｜ｂ20−ｂ30｜＋｜ｂ21−ｂ31｜＋｜ｂ22−ｂ32｜＋｜ｂ23−ｂ33｜＋｜ｂ24−ｂ34｜〕／３１
ＳＧ(t-1) ＝〔｜ａ00−ａ01｜＋｜ａ01−ａ02｜＋｜ａ02−ａ03｜＋｜ａ 03 −ａ 04 ｜＋｜ａ10−ａ11｜＋｜ａ11−ａ12｜＋｜ａ12−ａ13｜＋｜ａ 13 −ａ 14 ｜＋｜ａ20−ａ21｜＋｜ａ21−ａ22｜＋｜ａ22−ａ23｜＋｜ａ 23 −ａ 24 ｜＋｜ａ00−ａ10｜＋｜ａ01−ａ11｜＋｜ａ02−ａ12｜＋｜ａ03−ａ13｜＋｜ａ 04 −ａ 14 ｜＋｜ａ10−ａ20｜＋｜ａ11−ａ21｜＋｜ａ12−ａ22｜＋｜ａ13−ａ23｜＋｜ａ 14 −ａ 24 ｜〕／２２
ＳＧ(t+1) ＝〔｜ｃ00−ｃ01｜＋｜ｃ01−ｃ02｜＋｜ｃ02−ｃ03｜＋｜ｃ 03 −ｃ 04 ｜＋｜ｃ10−ｃ11｜＋｜ｃ11−ｃ12｜＋｜ｃ12−ｃ13｜＋｜ｃ 13 −ｃ 14 ｜＋｜ｃ20−ｃ21｜＋｜ｃ21−ｃ22｜＋｜ｃ22−ｃ23｜＋｜ｃ 23 −ｃ 24 ｜＋｜ｃ00−ｃ10｜＋｜ｃ01−ｃ11｜＋｜ｃ02−ｃ12｜＋｜ｃ03−ｃ13｜＋｜ｃ 04 −ｃ 14 ｜＋｜ｃ10−ｃ20｜＋｜ｃ11−ｃ21｜＋｜ｃ12−ｃ22｜＋｜ｃ13−ｃ23｜＋｜ｃ 14 −ｃ 24 ｜〕／２２
【００１８】
時間変化算出部４は、第１の時間変化としてのフレーム間差分ＦｒＧと、第２の時間変化としてのフィールド間差分ＦｉＧｕ(t-1) ，ＦｉＧｕ(t) ，ＦｉＧｄ(t-1) ，ＦｉＧｄ(t) とを算出する。フレーム間差分ＦｒＧ(t) は、第t-1 フィールドの１５個のタップの画素値のそれぞれと、１フレーム後の第t+1 フィールドの空間的に同一位置の１５個のタップの画素値との差分を求め、求まった１５個のフレーム間差分を絶対値に変換し、さらに、フレーム間差分の絶対値を平均化した値である。すなわち、
ＦｒＧ(t) ＝〔｜ａ00−ｃ00｜＋｜ａ01−ｃ01｜＋｜ａ02−ｃ02｜＋｜ａ03−ｃ03｜＋｜ａ04−ｃ04｜＋｜ａ10−ｃ10｜＋｜ａ11−ｃ11｜＋｜ａ12−ｃ12｜＋｜ａ13−ｃ13｜＋｜ａ14−ｃ14｜＋｜ａ20−ｃ20｜＋｜ａ21−ｃ21｜＋｜ａ22−ｃ22｜＋｜ａ23−ｃ23｜＋｜ａ24−ｃ24｜〕／１５
【００１９】
一般的には、フレーム間差分ＦｒＧ(t) が大きいほど、フレーム間の動きが大きいものと判定される。
【００２０】
第３図は、フィールド間差分を説明する図である。連続するフィールド間では、インターレス方式では、垂直方向のライン位置がずれている。従って、フィールド間差分としては、自分のラインより上側に位置する他のフィールドのラインとの差分（ｕの文字を付ける）と、自分のラインより下側に位置する他のフィールドのラインとの差分（ｄの文字を付ける）との２種類ある。
【００２１】
第３図から分かるように、ＦｉＧｕ(t-1) は、第t-1 フィールドおよび第ｔフィールド間の、上向きのフィールド間差分を表し、ＦｉＧｄ(t-1) は、第t-1 フィールドおよび第ｔフィールド間の、下向きのフィールド間差分を表す。同様に、ＦｉＧｕ(t) は、第ｔフィールドおよび第t+1 フィールド間の、上向きのフィールド間差分を表し、ＦｉＧｄ(t)
は、第ｔフィールドおよび第t+1 フィールド間の、下向きのフィールド間差分を表す。フレーム間差分ＦｒＧ(t) と同様に、５×３および５×４（第２図参照）の各ブロックの各画素の差分値の絶対値和の平均値がフィールド間差分として検出される。
【００２２】
検出されたフレーム間差分ＦｒＧ(t) が時間変化対空間変化算出部５に供給される。時間変化対空間変化算出部５は、割り算器で構成され、空間変化量算出部３から供給される第ｔフィールドのタップの空間方向の変化量ＳＧ(t) に対する時間変化算出部４から供給される第ｔフィールドのフレーム間差分ＦｒＧ(t) の比（以下、適宜、時間変化対空間変化という）ｇｆｒ(t) （＝ＦｒＧ(t) ／ＳＧ(t) ）を求める。
【００２３】
この時間変化対空間変化ｇｆｒ(t) が第１条件判定部６、第２条件判定部７および第３条件判定部８に供給される。第１条件判定部６は、空間変化量のフィールド間の変化に基づいて動き判定を行い、第２条件判定部７は、フィールド間差分に基づいて動き判定を行い、第３条件判定部８は、勾配法と同様の手法で動き判定を行うものである。これらの条件判定部６，７，８は、動きと判定すると"1" （論理的１）を出力し、静止と判定すると "0"（論理的０）を出力する。条件判定部６，７，８の出力がＯＲゲート９に出力する。ＯＲゲート９の出力が動き判定結果である。したがって、条件判定部６，７，８の何れか１つでも動きと判定すれば、動きと判定し、"1" の判定結果が出力され、それ以外は静止と判定し、 "0"の判定結果が出力される。
【００２４】
第１条件判定部６は、次の３個の条件が満たされるときに、動きと判断し、それ以外は、静止と判定する。
条件Ｃ１：現在フィールド（第ｔフィールド）の空間変化量ＳＧ(t) が閾値th１以上であること
条件Ｃ２：現在フィールドの空間変化量ＳＧ(t) と、過去または未来のフィールドの空間変化量の変化が閾値th２以上であること
条件Ｃ３：フレーム間差分ＦｒＧと現在のフィールドの空間変化量ＳＧ(t) の比が閾値th３以上であること
【００２５】
第１条件判定部６は、以上の条件を全て満たすときは、動きと判定し、"1" をＯＲゲート９に出力し、それ以外では、静止と判定し、 "0"をＯＲゲート９に出力する。式で表すと下記のものとなる。
Ｃ１：ＳＧ(t) ≧th１
Ｃ２： min｛｜SG(t) −SG(t-1) ｜，｜SG(t) −SG(t+1) ｜｝≧th２
Ｃ３：ｇｆｒ(t) ＝ＦｒＧ／ＳＧ(t) ≧th３
【００２６】
第２条件判定部７は、下記の条件を用いる。
条件Ｃ１：現在フィールド（第ｔフィールド）の空間変化量ＳＧ(t) が閾値th１以上であること
条件Ｃ４：各方向のフィールド間差分の最大値が閾値th４以上であること
条件Ｃ５：フレーム間差分ＦｒＧと現在のフィールドの空間変化量ＳＧ(t) の比が閾値th５以上であること
【００２７】
第２条件判定部７は、以上の条件を全て満たすときは、動きと判定し、"1" をＯＲゲート９に出力し、それ以外では、静止と判定し、 "0"をＯＲゲート９に出力する。式で表すと下記のものとなる。
Ｃ１：ＳＧ(t) ≧th１
Ｃ４： max｛FiGu(t-1) ，FiGu(t),FiGd(t-1) ，FiGd(t) ｝≧th４
Ｃ５：ｇｆｒ(t) ＝ＦｒＧ／ＳＧ(t) ≧th５
【００２８】
第３条件判定部８は、下記の条件を用いる。
条件Ｃ６：フレーム間差分ＦｒＧと空間変化量ＳＧ(t) との比が閾値th６以上であること
第３条件判定部８は、以上の条件を全て満たすときは、動きと判定し、"1" をＯＲゲート９に出力し、それ以外では、静止と判定し、 "0"をＯＲゲート９に出力する。式で表すと下記のものとなる。
Ｃ６：ｇｆｒ(t) ＝ＦｒＧ／ＳＧ(t) ≧th６
閾値th６は、閾値th３およびth５より大きな値である。
【００２９】
ここで、第３条件は、フレーム間差分ＦｒＧを空間変化量ＳＧ(t)で正規化した値を使
用するものである。比ｇｆｒ(t) に対しての閾値は、th３，th５，th６が存在する。横軸を空間変化量ＳＧ(t) とし、縦軸をフレーム間差分ＦｒＧとする第４図に概念的に示すように、空間変化量ＳＧ(t) とフレーム間差分ＦｒＧが大きくなるに従って閾値が増加するようになされている。そして、閾値th６がth３およびth５より大きいものとされている。その結果、閾値th３およびth５より小さい領域１と、閾値th３およびth５と閾値th６とで挟まれた領域２と、閾値th６以上の領域３が形成される。
【００３０】
比ｇｆｒ(t) と閾値th６とを使用する第３条件のみでは、領域１および領域２が共に静止と判断され、th６以上の領域３が動きと判定される。しかしながら、この一実施例では、閾値th３およびth５を使用して領域２を動きと判定するようにしている。この領域２は、本来動きであるにもかかわらず、若し、閾値th６のみを使用した判定では、静止と誤って判定されてしまう範囲である。このようにして、動き判定の精度を向上できる。
【００３１】
ＯＲゲート９は、第１条件判定部６、第２条件判定部７、第３条件判定部８の判定結果の論理和を出力する。すなわち、注目フィールド（第ｔフィールド）の注目画素の動きがあると判定する場合には、"1" を出力し、静止であると判定する場合には、 "0"を出力する。
【００３２】
次に、第５図のフローチャートを参照して第１図の動き判定装置による動き判定処理について説明する。また、以下に示す動き判定処理は、第１図のハードウエア構成に制約されず、コンピュータのソフトウェア処理によっても実現することができるものである。
【００３３】
ステップＳ１では、注目画素についてタップを構築する。タップ構築部２が第２図に示すような第t-1 ，ｔ，t+1 フィールドから注目画素の近傍の所定の画素を抽出する。これらのタップが空間変化算出部３および時間変化算出部４に供給される。
【００３４】
ステップＳ２では、空間変化算出部３が空間方向の変化量ＳＧ(t)，ＳＧ(t-1) ，ＳＧ(t+1) を算出する。空間方向の変化量ＳＧ(t) ，ＳＧ(t-1) ，ＳＧ(t+1) が第１条件判定
部６に供給され、また、ＳＧ(t) が時間変化対空間変化算出部５に供給され、比が算出される。
ステップＳ２では、時間変化算出部４において、第１の時間方向の変化量であるフレーム間差分ＦｒＧが算出される。また、第２の時間方向の変化量であるフィールド間差分ＦｉＧｕ(t-1) ，ＦｉＧｄ(t-1) ，ＦｉＧｕ(t) ，ＦｉＧｄ(t) が算出される。
【００３５】
ステップＳ３では、時間変化対空間変化算出部５において、時間変化に対する空間変化の比ｇｆｒ(t) （＝ＦｒＧ／ＳＧ(t) ）が算出される。この比ｇｆｒ(t) が第１条件判定部６、第２条件判定部７および第３条件判定部８に供給される。
【００３６】
そして、ステップＳ４において、第１条件判定部６、第２条件判定部７および第３条件判定部８により、第１条件乃至第３条件のうちの何れかを満たすかどうかが決定される。第１条件乃至第３条件のうちの何れかが満たされるならば、動きが有りと判定され、ＯＲゲート９の出力が"1" となる（ステップＳ５）。一方、第１条件乃至第３条件の全てが満たされないときは、動き無しと判定され、ＯＲゲート９の出力が "0"となる（ステップＳ６）。このようにして動き判定が終了する。
【００３７】
なお、一実施例における絶対値和を求める処理に代えて、二乗和を求めるようにしても良い。
また、一実施例では、注目フィールドとその１フィールド前と１フィールド後のフィールドを用いているが、注目フィールドの２フィールド前と２フィールド後のフィールドを用いても良い。
さらに、一実施例では、第２図に示したように、長方形のブロック内に含まれる画像をタップとして抽出したが、その他の形状、例えば円形や十字形のブロック内に含まれる画素をタップとして抽出しても良い。
【図面の簡単な説明】
【００３８】
【図１】この発明による動き判定装置の一実施例の構成例を示すブロック図である。
【図２】タップ構築部の処理を説明するための図である。
【図３】時間変化算出部の処理を説明するための図である。
【図４】一実施例の動き判定を説明するための略線図である。
【図５】第１図の動き判定装置の処理を説明するためのフローチャートである。
【符号の説明】
【００３９】
２・・・タップ構築部
３・・・空間変化算出部
４・・・時間変化算出部
５・・・時間変化対空間変化算出部
６・・・第１条件判定部
７・・・第２条件判定部
８・・・第３条件判定部
【０００１】
この発明は、例えばインターレス走査される画像の動きを、精度良く判定するようにした動き判定装置および動き判定方法に関する。
【背景技術】
【０００２】
一例として、インターレス走査される画像（以下、適宜、インターレス画像という）を、ノンインターレス走査（プログレッシブ走査）される画像（プログレッシブ画像）へ変換する処理を行う場合、処理の対象となるインターレス画像における動きの有無等に対応して、その処理に用いるフィルタのタップ係数その他の係数を変化させることによって、インターレス画像に対してより適した処理を施すことができる。変換処理としては、ある規格のインターレス画像を、他の規格のインターレス画像へ変換する処理、標準解像度のインターレス画像を、高解像度の画像へ変換する処理、インターレス画像の動き検出に用いるディジタルフィルタのタップ係数を制御する処理等がある。これらの変換処理においては、本来の変換処理の前処理として、処理の対象となるインターレス画像に対して動きの判定が行われることがある。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、動き判定を行う従来の動き判定装置では、例えばインターレス画像を構成するあるフィールドに注目した場合に、その注目フィールドの一部のみがその前後のフィールドと大きく異なるときには（例えば処理対象のインターレス画像がジェット機等が高速で通りすぎていく様子を表示するものなどであるとき）、その一部は、動きがあるにもかかわらず、静止しているものと誤判定されることがあった。
【０００４】
このように動きがあるにもかかわらず、静止していると誤って判定された場合には、静止している画像に対して適した処理（例えば前フレームの同一位置のデータで補間するフレーム間処理）が動きのある画像に対して施されることになる。その処理結果は、滑らかに動いている動画像にはならない。また、処理が途中で破綻するおそれもあった。
【０００５】
一方、静止しているにもかかわらず、動きがあると誤って判定された場合には、動きのある画像に対して適した処理（例えばフィールド内の処理）が静止した画像に対して施されることになる。その処理結果の画像は、静止した画像全体がぼやけたものとなる。
【０００６】
したがって、画像の動き判定は、その後の処理により得られる画像に大きく影響するため、精度良く（誤りがないように）行う必要がある。
【０００７】
また、インターレス画像の処理に限らず、プログレッシブ画像の処理においても、動き判定が正しく行われる必要がある。例えば画像信号が時間方向に相関を有するのに対して、ノイズが相関を有しないことを利用して、巡回形のノイズ低減装置が知られている。プログレッシブ画像に関しても、この種のノイズ低減装置によってノイズを低減できる。ノイズ低減装置では、動きの有無が判定され、動きがあるときには、巡回処理を停止し、フレームメモリの内容を書き換える必要がある。このようなノイズ低減装置においても、動き判定が正しく行われないと、上述したのと同様の問題が発生する。
【０００８】
したがって、この発明は、このような状況に鑑みてなされたものであり、従来より精度良く動きの判定を行うことができるようにするものである。
【課題を解決するための手段】
【０００９】
この発明は、上述した課題を解決するものであり、インタ−レス方式の入力画像信号中に含まれる物体の動きを判定する動き判定装置において、
入力画像信号の部分画像毎に、時間的に連続するフィールド t-1 、 t 、 t+1 のそれぞれの空間勾配ＳＧ (t) 、ＳＧ (t-1) 、ＳＧ (t+1) を検出する空間変化検出手段と、
入力画像信号の部分画像毎にフレーム間差分ＦｒＧを検出する時間変化検出手段と、
部分画像毎に上空間勾配ＳＧ (t)とフレーム間差分ＦｒＧの変化との比ｇｆｒ (t) （＝ＦｒＧ／ＳＧ (t) ）を検出する比検出手段と、
フィールド t-1 およびｔ間の、上向きのフィールド間差分 FiGu(t-1) と、フィールド t-1 およびｔ間の、下向きのフィールド間差分 FiGd(t-1) と、フィールドｔおよび t+1 間の、上向きのフィールド間差分 FiGu(t) と、フィールドｔおよび t+1 間の、下向きのフィールド間差分 FiGd(t) とをそれぞれ求めるフィールド間差分検出手段と、
第１の判定部、第２の判定部および第３の判定部からなる動き判定手段とを備え、
第１の判定部は、下記の条件Ｃ１、Ｃ２およびＣ３を全て満たすときは、動きと判定し、それ以外では、静止と判定し、
Ｃ１：ＳＧ (t) ≧ th １
Ｃ２： min ｛｜ SG(t) − SG(t-1) ｜，｜ SG(t) − SG(t+1) ｜｝≧ th ２
Ｃ３：ｇｆｒ (t) ＝ＦｒＧ／ＳＧ (t) ≧ th ３
th １、 th ２および th ３は、閾値である。
第２の判定部は、下記の条件Ｃ１、Ｃ４およびＣ５を全て満たすときは、動きと判定し、それ以外では、静止と判定し、
Ｃ１：ＳＧ (t) ≧ th １
Ｃ４： max ｛ FiGu(t-1) ， FiGu(t),FiGd(t-1) ， FiGd(t) ｝≧ th ４
Ｃ５：ｇｆｒ (t) ＝ＦｒＧ／ＳＧ (t) ≧ th ５
第３の判定部は、下記の条件Ｃ６を満たすときは、動きと判定し、それ以外では、静止と判定する動き判定装置である。
Ｃ６：ｇｆｒ (t) ＝ＦｒＧ／ＳＧ (t) ≧ th ６
閾値 th ３、 th ５および th ６は、空間変化量ＳＧ (t) とフレーム間差分ＦｒＧが大きくなるに従って閾値が増加するようになされ、閾値 th ６は、閾値 th ３および th ５より大きな値である。
この発明は、インタ−レス方式の入力画像信号中に含まれる物体の動きを判定する動き判定方法において、
入力画像信号の部分画像毎に、時間的に連続するフィールド t-1 、 t 、 t+1 のそれぞれの空間勾配ＳＧ (t) 、ＳＧ (t-1) 、ＳＧ (t+1) を検出する空間変化検出ステップと、
入力画像信号の部分画像毎にフレーム間差分ＦｒＧを検出する時間変化検出ステップと、
部分画像毎に上空間勾配ＳＧ (t)とフレーム間差分ＦｒＧの変化との比ｇｆｒ (t) （＝ＦｒＧ／ＳＧ (t) ）を検出する比検出ステップと、
フィールド t-1 およびｔ間の、上向きのフィールド間差分 FiGu(t-1) と、フィールド t-1 およびｔ間の、下向きのフィールド間差分 FiGd(t-1) と、フィールドｔおよび t+1 間の、上向きのフィールド間差分 FiGu(t) と、フィールドｔおよび t+1 間の、下向きのフィールド間差分 FiGd(t) とをそれぞれ求めるフィールド間差分検出ステップと、
第１の判定ステップ、第２の判定ステップおよび第３の判定ステップからなる動き判定ステップとを備え、
第１の判定ステップは、下記の条件Ｃ１、Ｃ２およびＣ３を全て満たすときは、動きと判定し、それ以外では、静止と判定し、
Ｃ１：ＳＧ (t) ≧ th １
Ｃ２： min ｛｜ SG(t) − SG(t-1) ｜，｜ SG(t) − SG(t+1) ｜｝≧ th ２
Ｃ３：ｇｆｒ (t) ＝ＦｒＧ／ＳＧ (t) ≧ th ３
th １、 th ２および th ３は、閾値である。
第２の判定ステップは、下記の条件Ｃ１、Ｃ４およびＣ５を全て満たすときは、動きと判定し、それ以外では、静止と判定し、
Ｃ１：ＳＧ (t) ≧ th １
Ｃ４： max ｛ FiGu(t-1) ， FiGu(t),FiGd(t-1) ， FiGd(t) ｝≧ th ４
Ｃ５：ｇｆｒ (t) ＝ＦｒＧ／ＳＧ (t) ≧ th ５
第３の判定ステップは、下記の条件Ｃ６を満たすときは、動きと判定し、それ以外では、静止と判定する動き判定方法である。
Ｃ６：ｇｆｒ (t) ＝ＦｒＧ／ＳＧ (t) ≧ th ６
閾値 th ３、 th ５および th ６は、空間変化量ＳＧ (t) とフレーム間差分ＦｒＧが大きくなるに従って閾値が増加するようになされ、閾値 th ６は、閾値 th ３および th ５より大きな値である。
【発明の効果】
【００１０】
この発明は、フィールド間の空間変化量に基づく第１条件判定と、フィールド間差分に基づく第２条件判定と、フレーム間差分と空間変化量の比に基づく第３条件判定との何れかが満たされると、注目画素に動きがあると判定するので、高精度に動き判定を行うことができる。したがって、動き判定に基づいて、動きのある画像と、動きが無いまたは動きが僅かである画像に対してそれぞれ適切な処理を施すことができる。
【発明を実施するための最良の形態】
【００１１】
第１図は、この発明が適用された動き判定装置の一実施例の構成例を示す。この一実施例においては、インターレス画像における動きの有無が判定されるようになされている。
すなわち、インターレス画像を構成する各フィールドの時系列がフィールドメモリ１に供給されるようになされている。フィールドメモリ１は、そこに供給されたフィールド画像を、順次記憶するようになされている。ここで、フィールドメモリ１は、少なくとも３フィールドの画像を記憶することができる記憶容量を有している。
【００１２】
フィールドメモリ１に対してタップ構築部２が接続される。タップ構築部２は、フィールドメモリ１から所定の画素（画素値）を読み出し、処理の対象とするタップを構成する。すなわち、タップ構築部２は、時刻ｔにおけるフィールド（以下、適宜、第ｔフィールドという）に注目した場合に、その第ｔフィールドの画像内の注目画素を想定する。ここで、注目画素は、第ｔフィールドの画像を構成する実際の画素であっても良いし、第ｔフィールド上に想定された仮想的な画素であっても良い。
なお、この発明は、フレームが連続するプログレッシブ方式の信号を処理する場合にも適用できる。
【００１３】
タップ構築回路２では、第２図に示す５０個の画素が動き判定に使用するタップとして選択され、選択されたタップが出力される。第２図は、t-1 ，ｔ，t+1 と時間的に連続する３フィールドの空間的に同一部分の画像を示している。第２図中のドットが所定周波数でサンプリングされることによって得られる画素を示す。例えば１画素は、８ビットの輝度値である。
【００１４】
時間t-1 のフィールドでは、時間的に連続する３ラインのそれぞれから対応する位置の５個のタップが選択される。同様に、時間t+1 のフィールドでは、時間的に連続する３ラインのそれぞれから対応する位置の５個のタップが選択される。これらのフィールドのタップの空間的な位置が同一である。また、現在（時間ｔ）のフィールドでは、時間的に連続する４ラインのそれぞれから対応する位置の５個のタップが選択される。インターレス方式であるために、これらの４ラインは、t-1 およびt+1 のフィールドのタップとは、空間的に１ラインずれている。そして、第２図において、×で示す位置が注目画素であり、この注目画素に関しての動き判定がなされる。
【００１５】
タップ構築部２に対して空間変化算出部３および時間変化算出部４が接続される。空間変化算出部３は、第t-1 ，ｔ，t+1 フィールドのタップのそれぞれについて空間方向の変化量ＳＧ(t) ，ＳＧ(t-1) ，ＳＧ(t+1) を算出する。これらの空間方向の変化量が時間変化対空間変化算出部５および第１条件判定部６に供給される。
【００１６】
各フィールドの空間方向の変化量は、それぞれの画素と隣接画素との差分の絶対値を求め、差分の絶対値を合計した値である。タップを構成する各画素の値を第２図に示すように定めると、下記のようにして、空間方向の変化量ＳＧ(t) ，ＳＧ(t-1) ，ＳＧ(t+1) が算出される。
【００１７】
ＳＧ(t) ＝〔｜ｂ00−ｂ01｜＋｜ｂ01−ｂ02｜＋｜ｂ02−ｂ03｜＋｜ｂ03−ｂ04｜＋｜ｂ10−ｂ11｜＋｜ｂ11−ｂ12｜＋｜ｂ12−ｂ13｜＋｜ｂ13−ｂ14｜＋｜ｂ20−ｂ21｜＋｜ｂ21−ｂ22｜＋｜ｂ22−ｂ23｜＋｜ｂ23−ｂ24｜＋｜ｂ30−ｂ31｜＋｜ｂ31−ｂ32｜＋｜ｂ32−ｂ33｜＋｜ｂ33−ｂ34｜＋｜ｂ00−ｂ10｜＋｜ｂ01−ｂ11｜＋｜ｂ02−ｂ12｜＋｜ｂ03−ｂ13｜＋｜ｂ04−ｂ14｜＋｜ｂ10−ｂ20｜＋｜ｂ11−ｂ21｜＋｜ｂ12−ｂ22｜＋｜ｂ13−ｂ23｜＋｜ｂ14−ｂ24｜＋｜ｂ20−ｂ30｜＋｜ｂ21−ｂ31｜＋｜ｂ22−ｂ32｜＋｜ｂ23−ｂ33｜＋｜ｂ24−ｂ34｜〕／３１
ＳＧ(t-1) ＝〔｜ａ00−ａ01｜＋｜ａ01−ａ02｜＋｜ａ02−ａ03｜＋｜ａ 03 −ａ 04 ｜＋｜ａ10−ａ11｜＋｜ａ11−ａ12｜＋｜ａ12−ａ13｜＋｜ａ 13 −ａ 14 ｜＋｜ａ20−ａ21｜＋｜ａ21−ａ22｜＋｜ａ22−ａ23｜＋｜ａ 23 −ａ 24 ｜＋｜ａ00−ａ10｜＋｜ａ01−ａ11｜＋｜ａ02−ａ12｜＋｜ａ03−ａ13｜＋｜ａ 04 −ａ 14 ｜＋｜ａ10−ａ20｜＋｜ａ11−ａ21｜＋｜ａ12−ａ22｜＋｜ａ13−ａ23｜＋｜ａ 14 −ａ 24 ｜〕／２２
ＳＧ(t+1) ＝〔｜ｃ00−ｃ01｜＋｜ｃ01−ｃ02｜＋｜ｃ02−ｃ03｜＋｜ｃ 03 −ｃ 04 ｜＋｜ｃ10−ｃ11｜＋｜ｃ11−ｃ12｜＋｜ｃ12−ｃ13｜＋｜ｃ 13 −ｃ 14 ｜＋｜ｃ20−ｃ21｜＋｜ｃ21−ｃ22｜＋｜ｃ22−ｃ23｜＋｜ｃ 23 −ｃ 24 ｜＋｜ｃ00−ｃ10｜＋｜ｃ01−ｃ11｜＋｜ｃ02−ｃ12｜＋｜ｃ03−ｃ13｜＋｜ｃ 04 −ｃ 14 ｜＋｜ｃ10−ｃ20｜＋｜ｃ11−ｃ21｜＋｜ｃ12−ｃ22｜＋｜ｃ13−ｃ23｜＋｜ｃ 14 −ｃ 24 ｜〕／２２
【００１８】
時間変化算出部４は、第１の時間変化としてのフレーム間差分ＦｒＧと、第２の時間変化としてのフィールド間差分ＦｉＧｕ(t-1) ，ＦｉＧｕ(t) ，ＦｉＧｄ(t-1) ，ＦｉＧｄ(t) とを算出する。フレーム間差分ＦｒＧ(t) は、第t-1 フィールドの１５個のタップの画素値のそれぞれと、１フレーム後の第t+1 フィールドの空間的に同一位置の１５個のタップの画素値との差分を求め、求まった１５個のフレーム間差分を絶対値に変換し、さらに、フレーム間差分の絶対値を平均化した値である。すなわち、
ＦｒＧ(t) ＝〔｜ａ00−ｃ00｜＋｜ａ01−ｃ01｜＋｜ａ02−ｃ02｜＋｜ａ03−ｃ03｜＋｜ａ04−ｃ04｜＋｜ａ10−ｃ10｜＋｜ａ11−ｃ11｜＋｜ａ12−ｃ12｜＋｜ａ13−ｃ13｜＋｜ａ14−ｃ14｜＋｜ａ20−ｃ20｜＋｜ａ21−ｃ21｜＋｜ａ22−ｃ22｜＋｜ａ23−ｃ23｜＋｜ａ24−ｃ24｜〕／１５
【００１９】
一般的には、フレーム間差分ＦｒＧ(t) が大きいほど、フレーム間の動きが大きいものと判定される。
【００２０】
第３図は、フィールド間差分を説明する図である。連続するフィールド間では、インターレス方式では、垂直方向のライン位置がずれている。従って、フィールド間差分としては、自分のラインより上側に位置する他のフィールドのラインとの差分（ｕの文字を付ける）と、自分のラインより下側に位置する他のフィールドのラインとの差分（ｄの文字を付ける）との２種類ある。
【００２１】
第３図から分かるように、ＦｉＧｕ(t-1) は、第t-1 フィールドおよび第ｔフィールド間の、上向きのフィールド間差分を表し、ＦｉＧｄ(t-1) は、第t-1 フィールドおよび第ｔフィールド間の、下向きのフィールド間差分を表す。同様に、ＦｉＧｕ(t) は、第ｔフィールドおよび第t+1 フィールド間の、上向きのフィールド間差分を表し、ＦｉＧｄ(t)
は、第ｔフィールドおよび第t+1 フィールド間の、下向きのフィールド間差分を表す。フレーム間差分ＦｒＧ(t) と同様に、５×３および５×４（第２図参照）の各ブロックの各画素の差分値の絶対値和の平均値がフィールド間差分として検出される。
【００２２】
検出されたフレーム間差分ＦｒＧ(t) が時間変化対空間変化算出部５に供給される。時間変化対空間変化算出部５は、割り算器で構成され、空間変化量算出部３から供給される第ｔフィールドのタップの空間方向の変化量ＳＧ(t) に対する時間変化算出部４から供給される第ｔフィールドのフレーム間差分ＦｒＧ(t) の比（以下、適宜、時間変化対空間変化という）ｇｆｒ(t) （＝ＦｒＧ(t) ／ＳＧ(t) ）を求める。
【００２３】
この時間変化対空間変化ｇｆｒ(t) が第１条件判定部６、第２条件判定部７および第３条件判定部８に供給される。第１条件判定部６は、空間変化量のフィールド間の変化に基づいて動き判定を行い、第２条件判定部７は、フィールド間差分に基づいて動き判定を行い、第３条件判定部８は、勾配法と同様の手法で動き判定を行うものである。これらの条件判定部６，７，８は、動きと判定すると"1" （論理的１）を出力し、静止と判定すると "0"（論理的０）を出力する。条件判定部６，７，８の出力がＯＲゲート９に出力する。ＯＲゲート９の出力が動き判定結果である。したがって、条件判定部６，７，８の何れか１つでも動きと判定すれば、動きと判定し、"1" の判定結果が出力され、それ以外は静止と判定し、 "0"の判定結果が出力される。
【００２４】
第１条件判定部６は、次の３個の条件が満たされるときに、動きと判断し、それ以外は、静止と判定する。
条件Ｃ１：現在フィールド（第ｔフィールド）の空間変化量ＳＧ(t) が閾値th１以上であること
条件Ｃ２：現在フィールドの空間変化量ＳＧ(t) と、過去または未来のフィールドの空間変化量の変化が閾値th２以上であること
条件Ｃ３：フレーム間差分ＦｒＧと現在のフィールドの空間変化量ＳＧ(t) の比が閾値th３以上であること
【００２５】
第１条件判定部６は、以上の条件を全て満たすときは、動きと判定し、"1" をＯＲゲート９に出力し、それ以外では、静止と判定し、 "0"をＯＲゲート９に出力する。式で表すと下記のものとなる。
Ｃ１：ＳＧ(t) ≧th１
Ｃ２： min｛｜SG(t) −SG(t-1) ｜，｜SG(t) −SG(t+1) ｜｝≧th２
Ｃ３：ｇｆｒ(t) ＝ＦｒＧ／ＳＧ(t) ≧th３
【００２６】
第２条件判定部７は、下記の条件を用いる。
条件Ｃ１：現在フィールド（第ｔフィールド）の空間変化量ＳＧ(t) が閾値th１以上であること
条件Ｃ４：各方向のフィールド間差分の最大値が閾値th４以上であること
条件Ｃ５：フレーム間差分ＦｒＧと現在のフィールドの空間変化量ＳＧ(t) の比が閾値th５以上であること
【００２７】
第２条件判定部７は、以上の条件を全て満たすときは、動きと判定し、"1" をＯＲゲート９に出力し、それ以外では、静止と判定し、 "0"をＯＲゲート９に出力する。式で表すと下記のものとなる。
Ｃ１：ＳＧ(t) ≧th１
Ｃ４： max｛FiGu(t-1) ，FiGu(t),FiGd(t-1) ，FiGd(t) ｝≧th４
Ｃ５：ｇｆｒ(t) ＝ＦｒＧ／ＳＧ(t) ≧th５
【００２８】
第３条件判定部８は、下記の条件を用いる。
条件Ｃ６：フレーム間差分ＦｒＧと空間変化量ＳＧ(t) との比が閾値th６以上であること
第３条件判定部８は、以上の条件を全て満たすときは、動きと判定し、"1" をＯＲゲート９に出力し、それ以外では、静止と判定し、 "0"をＯＲゲート９に出力する。式で表すと下記のものとなる。
Ｃ６：ｇｆｒ(t) ＝ＦｒＧ／ＳＧ(t) ≧th６
閾値th６は、閾値th３およびth５より大きな値である。
【００２９】
ここで、第３条件は、フレーム間差分ＦｒＧを空間変化量ＳＧ(t)で正規化した値を使
用するものである。比ｇｆｒ(t) に対しての閾値は、th３，th５，th６が存在する。横軸を空間変化量ＳＧ(t) とし、縦軸をフレーム間差分ＦｒＧとする第４図に概念的に示すように、空間変化量ＳＧ(t) とフレーム間差分ＦｒＧが大きくなるに従って閾値が増加するようになされている。そして、閾値th６がth３およびth５より大きいものとされている。その結果、閾値th３およびth５より小さい領域１と、閾値th３およびth５と閾値th６とで挟まれた領域２と、閾値th６以上の領域３が形成される。
【００３０】
比ｇｆｒ(t) と閾値th６とを使用する第３条件のみでは、領域１および領域２が共に静止と判断され、th６以上の領域３が動きと判定される。しかしながら、この一実施例では、閾値th３およびth５を使用して領域２を動きと判定するようにしている。この領域２は、本来動きであるにもかかわらず、若し、閾値th６のみを使用した判定では、静止と誤って判定されてしまう範囲である。このようにして、動き判定の精度を向上できる。
【００３１】
ＯＲゲート９は、第１条件判定部６、第２条件判定部７、第３条件判定部８の判定結果の論理和を出力する。すなわち、注目フィールド（第ｔフィールド）の注目画素の動きがあると判定する場合には、"1" を出力し、静止であると判定する場合には、 "0"を出力する。
【００３２】
次に、第５図のフローチャートを参照して第１図の動き判定装置による動き判定処理について説明する。また、以下に示す動き判定処理は、第１図のハードウエア構成に制約されず、コンピュータのソフトウェア処理によっても実現することができるものである。
【００３３】
ステップＳ１では、注目画素についてタップを構築する。タップ構築部２が第２図に示すような第t-1 ，ｔ，t+1 フィールドから注目画素の近傍の所定の画素を抽出する。これらのタップが空間変化算出部３および時間変化算出部４に供給される。
【００３４】
ステップＳ２では、空間変化算出部３が空間方向の変化量ＳＧ(t)，ＳＧ(t-1) ，ＳＧ(t+1) を算出する。空間方向の変化量ＳＧ(t) ，ＳＧ(t-1) ，ＳＧ(t+1) が第１条件判定
部６に供給され、また、ＳＧ(t) が時間変化対空間変化算出部５に供給され、比が算出される。
ステップＳ２では、時間変化算出部４において、第１の時間方向の変化量であるフレーム間差分ＦｒＧが算出される。また、第２の時間方向の変化量であるフィールド間差分ＦｉＧｕ(t-1) ，ＦｉＧｄ(t-1) ，ＦｉＧｕ(t) ，ＦｉＧｄ(t) が算出される。
【００３５】
ステップＳ３では、時間変化対空間変化算出部５において、時間変化に対する空間変化の比ｇｆｒ(t) （＝ＦｒＧ／ＳＧ(t) ）が算出される。この比ｇｆｒ(t) が第１条件判定部６、第２条件判定部７および第３条件判定部８に供給される。
【００３６】
そして、ステップＳ４において、第１条件判定部６、第２条件判定部７および第３条件判定部８により、第１条件乃至第３条件のうちの何れかを満たすかどうかが決定される。第１条件乃至第３条件のうちの何れかが満たされるならば、動きが有りと判定され、ＯＲゲート９の出力が"1" となる（ステップＳ５）。一方、第１条件乃至第３条件の全てが満たされないときは、動き無しと判定され、ＯＲゲート９の出力が "0"となる（ステップＳ６）。このようにして動き判定が終了する。
【００３７】
なお、一実施例における絶対値和を求める処理に代えて、二乗和を求めるようにしても良い。
また、一実施例では、注目フィールドとその１フィールド前と１フィールド後のフィールドを用いているが、注目フィールドの２フィールド前と２フィールド後のフィールドを用いても良い。
さらに、一実施例では、第２図に示したように、長方形のブロック内に含まれる画像をタップとして抽出したが、その他の形状、例えば円形や十字形のブロック内に含まれる画素をタップとして抽出しても良い。
【図面の簡単な説明】
【００３８】
【図１】この発明による動き判定装置の一実施例の構成例を示すブロック図である。
【図２】タップ構築部の処理を説明するための図である。
【図３】時間変化算出部の処理を説明するための図である。
【図４】一実施例の動き判定を説明するための略線図である。
【図５】第１図の動き判定装置の処理を説明するためのフローチャートである。
【符号の説明】
【００３９】
２・・・タップ構築部
３・・・空間変化算出部
４・・・時間変化算出部
５・・・時間変化対空間変化算出部
６・・・第１条件判定部
７・・・第２条件判定部
８・・・第３条件判定部
Claims (2)
- インタ−レス方式の入力画像信号中に含まれる物体の動きを判定する動き判定装置において、
上記入力画像信号の部分画像毎に、時間的に連続するフィールド t-1 、 t 、 t+1 のそれぞれの空間勾配ＳＧ (t) 、ＳＧ (t-1) 、ＳＧ (t+1) を検出する空間変化検出手段と、
上記入力画像信号の上記部分画像毎にフレーム間差分ＦｒＧを検出する時間変化検出手段と、
上記部分画像毎に上空間勾配ＳＧ (t)と上記フレーム間差分ＦｒＧの変化との比ｇｆｒ (t) （＝ＦｒＧ／ＳＧ (t) ）を検出する比検出手段と、
フィールド t-1 およびｔ間の、上向きのフィールド間差分 FiGu(t-1) と、フィールド t-1 およびｔ間の、下向きのフィールド間差分 FiGd(t-1) と、フィールドｔおよび t+1 間の、上向きのフィールド間差分 FiGu(t) と、フィールドｔおよび t+1 間の、下向きのフィール
ド間差分 FiGd(t) とをそれぞれ求めるフィールド間差分検出手段と、
第１の判定部、第２の判定部および第３の判定部からなる動き判定手段とを備え、
上記第１の判定部は、下記の条件Ｃ１、Ｃ２およびＣ３を全て満たすときは、動きと判定し、それ以外では、静止と判定し、
Ｃ１：ＳＧ (t) ≧ th １
Ｃ２： min ｛｜ SG(t) − SG(t-1) ｜，｜ SG(t) − SG(t+1) ｜｝≧ th ２
Ｃ３：ｇｆｒ (t) ＝ＦｒＧ／ＳＧ (t) ≧ th ３
th １、 th ２および th ３は、閾値である。
上記第２の判定部は、下記の条件Ｃ１、Ｃ４およびＣ５を全て満たすときは、動きと判定し、それ以外では、静止と判定し、
Ｃ１：ＳＧ (t) ≧ th １
Ｃ４： max ｛ FiGu(t-1) ， FiGu(t),FiGd(t-1) ， FiGd(t) ｝≧ th ４
Ｃ５：ｇｆｒ (t) ＝ＦｒＧ／ＳＧ (t) ≧ th ５
上記第３の判定部は、下記の条件Ｃ６を満たすときは、動きと判定し、それ以外では、静止と判定する動き判定装置。
Ｃ６：ｇｆｒ (t) ＝ＦｒＧ／ＳＧ (t) ≧ th ６
上記閾値 th ３、 th ５および th ６は、上記空間変化量ＳＧ (t) と上記フレーム間差分ＦｒＧが大きくなるに従って閾値が増加するようになされ、閾値 th ６は、上記閾値 th ３および th ５より大きな値である。 - インタ−レス方式の入力画像信号中に含まれる物体の動きを判定する動き判定方法において、
上記入力画像信号の部分画像毎に、時間的に連続するフィールド t-1 、 t 、 t+1 のそれぞれの空間勾配ＳＧ (t) 、ＳＧ (t-1) 、ＳＧ (t+1) を検出する空間変化検出ステップと、
上記入力画像信号の上記部分画像毎にフレーム間差分ＦｒＧを検出する時間変化検出ステップと、
上記部分画像毎に上空間勾配ＳＧ (t)と上記フレーム間差分ＦｒＧの変化との比ｇｆｒ (t) （＝ＦｒＧ／ＳＧ (t) ）を検出する比検出ステップと、
フィールド t-1 およびｔ間の、上向きのフィールド間差分 FiGu(t-1) と、フィールド t-1 およびｔ間の、下向きのフィールド間差分 FiGd(t-1) と、フィールドｔおよび t+1 間の、上向きのフィールド間差分 FiGu(t) と、フィールドｔおよび t+1 間の、下向きのフィールド間差分 FiGd(t) とをそれぞれ求めるフィールド間差分検出ステップと、
第１の判定ステップ、第２の判定ステップおよび第３の判定ステップからなる動き判定ステップとを備え、
上記第１の判定ステップは、下記の条件Ｃ１、Ｃ２およびＣ３を全て満たすときは、動 きと判定し、それ以外では、静止と判定し、
Ｃ１：ＳＧ (t) ≧ th １
Ｃ２： min ｛｜ SG(t) − SG(t-1) ｜，｜ SG(t) − SG(t+1) ｜｝≧ th ２
Ｃ３：ｇｆｒ (t) ＝ＦｒＧ／ＳＧ (t) ≧ th ３
th １、 th ２および th ３は、閾値である。
上記第２の判定ステップは、下記の条件Ｃ１、Ｃ４およびＣ５を全て満たすときは、動きと判定し、それ以外では、静止と判定し、
Ｃ１：ＳＧ (t) ≧ th １
Ｃ４： max ｛ FiGu(t-1) ， FiGu(t),FiGd(t-1) ， FiGd(t) ｝≧ th ４
Ｃ５：ｇｆｒ (t) ＝ＦｒＧ／ＳＧ (t) ≧ th ５
上記第３の判定ステップは、下記の条件Ｃ６を満たすときは、動きと判定し、それ以外では、静止と判定する動き判定方法。
Ｃ６：ｇｆｒ (t) ＝ＦｒＧ／ＳＧ (t) ≧ th ６
上記閾値 th ３、 th ５および th ６は、上記空間変化量ＳＧ (t) と上記フレーム間差分ＦｒＧが大きくなるに従って閾値が増加するようになされ、閾値 th ６は、上記閾値 th ３および th ５より大きな値である。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28108598 | 1998-10-02 | ||
| PCT/JP1999/005449 WO2000021292A1 (fr) | 1998-10-02 | 1999-10-04 | Dispositif et procede de decision de mouvement |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP4239411B2 true JP4239411B2 (ja) | 2009-03-18 |
Family
ID=17634133
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000575302A Expired - Fee Related JP4239411B2 (ja) | 1998-10-02 | 1999-10-04 | 動き判定装置および動き判定方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6418233B1 (ja) |
| JP (1) | JP4239411B2 (ja) |
| WO (1) | WO2000021292A1 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7116372B2 (en) * | 2000-10-20 | 2006-10-03 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for deinterlacing |
| US7095445B2 (en) * | 2000-12-20 | 2006-08-22 | Samsung Electronics Co., Ltd. | Method of detecting motion in an interlaced video sequence based on logical operation on linearly scaled motion information and motion detection apparatus |
| JPWO2003088648A1 (ja) * | 2002-04-17 | 2005-08-25 | 松下電器産業株式会社 | 動き検出装置、画像処理システム、動き検出方法、プログラム、および記録媒体 |
| DE10318620A1 (de) * | 2003-04-24 | 2004-11-25 | Micronas Gmbh | Verfahren und Vorrichtung zur Ermittlung eines Abstandes zwischen einer ersten und zweiten Signalfolge |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3707147A (en) * | 1970-08-13 | 1972-12-26 | Ernest E Sellers | Means and method for pictorial presentation of physiological signals which vary with time and position |
| US3963332A (en) * | 1972-05-08 | 1976-06-15 | Sheldon Stewart L | 3 Dimension projector |
| US4570074A (en) * | 1982-09-29 | 1986-02-11 | Q-Val Incorporated | Flying spot scanner system |
| US4666273A (en) * | 1983-10-05 | 1987-05-19 | Nippon Kogaku K. K. | Automatic magnification correcting system in a projection optical apparatus |
| JPS60194684A (ja) * | 1984-03-16 | 1985-10-03 | Nec Home Electronics Ltd | テレビジヨン信号変換装置のフリツカ抑圧回路 |
| US5027201A (en) * | 1989-12-21 | 1991-06-25 | Rca Licensing Corporation | Motion detection apparatus as for an interlace to non-interlace scan converter |
| JP2596166B2 (ja) * | 1990-04-09 | 1997-04-02 | 日本ビクター株式会社 | 動き適応型走査線補間装置 |
| JPH0435485A (ja) * | 1990-05-31 | 1992-02-06 | Kokusai Denshin Denwa Co Ltd <Kdd> | 動き適応インターレース・ノーインターレース変換方式 |
| JP3291080B2 (ja) | 1993-07-26 | 2002-06-10 | 古河電気工業株式会社 | 光ファイバケーブル |
| US5914610A (en) * | 1994-02-03 | 1999-06-22 | Massachusetts Institute Of Technology | Apparatus and method for characterizing movement of a mass within a defined space |
| KR0176568B1 (ko) * | 1996-01-27 | 1999-05-01 | 김광호 | 모션과 공간적인 상관도를 이용한 비월순차 변환장치 및 그 방법 |
| JP3283783B2 (ja) | 1996-11-26 | 2002-05-20 | 東北電力株式会社 | 磁束制御形可変変圧器 |
| US6239842B1 (en) * | 1998-12-18 | 2001-05-29 | Oplus Technologies Ltd. | Method of de-interlacing video signals using a mixed mode spatial and temporal approximation technique |
-
1999
- 1999-10-04 JP JP2000575302A patent/JP4239411B2/ja not_active Expired - Fee Related
- 1999-10-04 WO PCT/JP1999/005449 patent/WO2000021292A1/ja active Application Filing
-
2000
- 2000-05-31 US US09/583,255 patent/US6418233B1/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| WO2000021292A1 (fr) | 2000-04-13 |
| US6418233B1 (en) | 2002-07-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4162621B2 (ja) | フレームレート変換時のフレーム補間方法およびその装置 | |
| US6104755A (en) | Motion detection using field-difference measurements | |
| US6396543B1 (en) | Deinterlacing apparatus of digital image data | |
| KR100450808B1 (ko) | 정지 판정 장치 및 그것을 구비한 주사선 보간 장치 | |
| WO2009034489A2 (en) | Method and apparatus for motion estimation in video image data | |
| JP2004064788A (ja) | デインタレーシング装置及び方法 | |
| JP5081898B2 (ja) | 補間画像生成方法及びシステム | |
| JP3960258B2 (ja) | 信号処理装置および信号処理方法 | |
| KR20060047638A (ko) | 필름 모드 판정 방법, 움직임 보상 화상 처리 방법, 필름모드 검출기 및 움직임 보상기 | |
| KR20050089886A (ko) | 배경 움직임 벡터 검출 | |
| EP1557037A1 (en) | Image processing unit with fall-back | |
| JP4213035B2 (ja) | オクルージョン領域を検出するオクルージョン検出器および方法 | |
| JP3293561B2 (ja) | 画像表示装置及び画像表示方法 | |
| CN102447870A (zh) | 静止物体检测方法和运动补偿装置 | |
| JP4239411B2 (ja) | 動き判定装置および動き判定方法 | |
| JP3994720B2 (ja) | 映像信号処理装置 | |
| US8379146B2 (en) | Deinterlacing method and apparatus for digital motion picture | |
| CN111294545B (zh) | 图像数据插值方法及装置、存储介质、终端 | |
| JPH08163573A (ja) | 動きベクトル検出装置、およびこの装置を用いた順次走査変換装置 | |
| US20060164559A1 (en) | Method and system for detecting motion between video field of same and opposite parity from an interlaced video source | |
| Park et al. | Covariance-based adaptive deinterlacing method using edge map | |
| JP5448983B2 (ja) | 解像度変換装置及び方法、走査線補間装置及び方法、並びに映像表示装置及び方法 | |
| JP5039017B2 (ja) | ノイズレベル検出装置 | |
| KR100698266B1 (ko) | 3차원 디인터레이싱 장치 및 그 방법 | |
| KR100351160B1 (ko) | 영상 움직임 보상 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060314 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060314 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080902 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081104 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081202 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081215 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120109 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120109 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130109 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |