WO2000021292A1

WO2000021292A1 - Dispositif et procede de decision de mouvement

Info

Publication number: WO2000021292A1
Application number: PCT/JP1999/005449
Authority: WO
Inventors: Tetsujiro Kondo; Masashi Uchida; Nobuyuki Asakura; Takuo Morimura; Kazutaka Ando
Original assignee: Sony Corporation
Priority date: 1998-10-02
Filing date: 1999-10-04
Publication date: 2000-04-13
Also published as: US6418233B1; JP4239411B2

Description

明細書

動き判定装置および動き判定方法

技術分野

この発明は、例えばインターレス走査される画像の動きを、精度良く判定するようにした動き判定装置および動き判定方法に関する。背景技術

一例として、インターレス走査される画像（以下、適宜、インターレス画像という）を、ノンインターレス走査（プ口グレッシブ走査）される画像（プログレッシブ画像）へ変換する処理を行う場合、処理の対象となるィンターレス画像のにおける動きの有無等に対応して、その処理に用いるフィル夕のタツプ係数その他の係数を変化させることによって、ィンターレス画像に対してより適した処理を施すこと力できる。変換処理としては、ある規格のインターレス画像を、他の規格のィンターレスがへ変換する処理、標準解像度のィンターレス画像を、高解像度の画像へ変換する処理、インタ一レス画像の動き検出に用いるディジタルフィルタのタツプ係数を制御する処理等がある。これらの変換処理においては、本来の変換処理の前処理として、処理の対象となるィンターレス画像に対して動きの判定が行われることがある。

しかしながら、動き判定を行う従来の動き判定装置では、例えばィン夕ーレス画像を構成するあるフィールドに注目した場合に、その注目フィ一ルドの一部のみがその前後のフィールドと大きく異なるときには（例えば処理対象のインターレス画像がジエツト機等が高速で通りすぎていく様子を表示するものなどであるとき）、その一部は、動きがあるにもかかわらず、静止しているものと誤判定されることがあつた。このように動きがあるにもかかわらず、静止していると誤って判定された場合には、静止している画像に対して適した処理（例えば前フレームの同一位置のデータで補間するフレーム間処理）が動きのある画像に対して施されることになる。その処理結果は、滑らかに動いている動画像にはならない。また、処理が途中で破綻するおそれもあつた。

一方、静止しているにもかかわらず、動きがあると誤って判定された場合には、動きのある画像に対して適した処理（例えばフィールド内の処理）が静止した画像に対して施されることになる。その処理結果の画像は、静止した画像全体がぼやけたものとなる。

したがって、画像の動き判定は、その後の処理により得られる画像に大きく影響するため、精度良く（誤りがないように）行う必要がある。

また、インタ一レス画像の処理に限らず、プログレッシブ画像の処理においても、動き判定が正しく行われる必要がある。例えば画像信号が時間方向に相関を有するのに対して、ノィズが相関を有しないことを利用して、巡回形のノイズ低減装置が知られている。プログレッシブ画像に関しても、この種のノイズ低減装置によってノイズを低減できる。ノイズ低減装置では、動きの有無が判定され、動きがあるときには、巡回処理を停止し、フレームメモリの内容を書き換える必要がある。このようなノイズ低減装置においても、動き判定が正しく行われないと、上述したのと同様の問題が発生する。

したがって、この発明は、このような状況に鑑みてなされたものであり、従来より精度良く動きの判定を行うことができるようにするものである。

発明の開示この発明は、上述した課題を解決するものであり、請求の範囲 1の発明は、入力画像信号中に含まれる物体の動きを判定する動き判定装置において、

入力画像信号の空間方向の変化を検出する空間変化検出手段と、入力画像信号の時間方向の変化を検出する時間変化検出手段と、空間方向の変化と時間方向の変化との比を検出する比検出手段と、空間方向の変化、時間方向の変化、および、比に基づいて、入力画像信号に含まれる物体の動きを判定する動き判定手段とを備えることを特徴とする動き判定装置である。

好ましくは、空間変化検出手段は、目的とするフィールドの入力画像信号と、少なくともその前後のフィールドの入力画像信号とを用いて、目的とするフィールドの入力画像信号の空間方向の変化を検出する。プログレッシブ方式の場合には、フィールドがフレームに相当する。

請求の範囲 1 1の発明は、入力画像信号中に含まれる物体の動きを判定する動き判定方法において、

入力画像信号の空間方向の変化を検出するステツプと、

入力画像信号の時間方向の変化を検出するステツプと、

空間方向の変化と時間方向の変化との比を検出するステツプと、空間方向の変化、時間方向の変化、および、比に基づいて、入力画像信号に含まれる物体の動きを判定するステップとからなることを特徴とする動き判定方法である。

図面の簡単な説明

第 1図は、この発明による動き判定装置の一実施例の構成例を示すブロック図である。

第 2図は、夕ップ構築部の処理を説明するための図である。第 3図は、時間変化算出部の処理を説明するための図である。

第 4図は、一実施例の動き判定を説明するための略線図である。第 5図は、第 1図の動き判定装置の処理を説明するためのフローチャ一トである。

発明を実施するための最良の形態

第 1図は、この発明が適用された動き判定装置の一実施例の構成例を示す。この一実施例においては、イン夕一レス画像における動きの有無が判定されるようになされている。

すなわち、ィン夕一レス画像を構成する各フィールドの時系列がフィールドメモリ 1 に供給されるようになされている。フィールドメモリ 1 は、そこに供給されたフィールド画像を、順次記憶するようになされている。ここで、フィ一ルドメモリ 1は、少なくとも 3フィールドの画像を記憶することができる記憶容量を有している。

フィールドメモリ 1 に対してタツプ構築部 2が接続される。タップ構築部 2は、フィールドメモリ 1から所定の画素（画素値）を読み出し、処理の対象とするタップを構成する。すなわち、タップ構築部 2 は、時刻 tにおけるフィールド（以下、適宜、第 t フィールドという ) に注目した場合に、その第 t フィールドの画像内の注目画素を想定する。ここで、注目画素は、第 tフィールドの画像を構成する実際の画素であっても良いし、第 t フィールド上に想定された仮想的な画素であっても良い。

なお、この発明は、フレームが連続するプログレッシブ方式の信号を処理する場合にも適用できる。

タップ構築回路 2では、第 2図に示す 5 0個の画素が動き判定に使用するタップとして選択され、選択されたタップが出力される。第 2 図は、 t- 1 , t， t + 1 と時間的に連続する 3 フィールドの空間的に同一部分の画像を示している。第 2図中のドッ卜が所定周波数でサンプリングされることが得られる画素を示す。例えば 1画素は、 8 ビットの輝度値である。

時間 t-1 のフィールドでは、時間的に連続する 3ラインのそれぞれから対応する位置の 5個のタップが選択される。同様に、時間 t +1 のフィールドでは、時間的に連続する 3ラィンのそれぞれから対応する位置の 5個の夕ップが選択される。これらのフィールドのタツプの空間的な位置が同一である。また、現在（時間 t ) のフィールドでは、時間的に連続する 4 ラインのそれぞれから対応する位置の 5個の夕ップが選択される。インターレス方式であるために、これらの 4 ラインは、 t- 1 および t + 1 のフィールドのタップとは、空間的に 1 ラインずれている。そして、第 2図において、 Xで示す位置が注目画素であり、この注目画素に関しての動き判定がなされる。

夕ップ構築部 1に対して空間変化算出部 3および時間変化算出部 4 が接続される。空間変化算出部 3は、第 t- 1 , t , t + 1 フィールドのタップのそれぞれについて空間方向の変化量 S G (t) ， S G (t-1) , S G (t + 1) を算出する。これらの空間方向の変化量が時間変化対空間変化算出部 5および第 1条件判定部 6に供給される。

各フィールドの空間方向の変化量は、それぞれの画素と隣接画素との差分の絶対値を求め、差分の絶対値を合計した値である。タップを構成する各画素の値を第 2図に示すように定めると、下記のようにして、空間方向の変化量 S G (t) ， S G (t- 1) , S G (t + 1) が算出される。

S G (t) = [ I bOO- bOl I + I b01- b02 I + I b02- b03 I + I b03- b04 l + I b lO- b ll l + I b ll- b l2 l

+ I b 12- b 13 I + I b 13- b 14 I + I b20- b21 I + 1 b 21- b 22 1 + 1 b 22- b23 1 +

a 02- a03 1

c 02- c 031

+ 1 c 13- c 231 〕 / 1 7

時間変化算出 4は、第 1の時間変化としてのフレーム間差分 F r

Gと、第 2の時間変化としてのフィルド間差分 F i G u (t-1) , F i G u (t) ， F i G d (t-1) ， F i G d (t) とを算出する。フレーム間差分 F r G (t) は、第 t- 1 フィールドの 1 5個の夕ップの画素値のそれぞれと、 1フレーム後の第 t +1 フィールドの空間的に同一位置の 1 5個のタツプの画素値との差分を求め、求まった 1 5個のフレーム間差分を絶対値に変換し、さらフレーム間差分の絶対値を平均化した値である。すなわち、

F r G (t) = 〔 I a 00- c 00 I + aOl- c 01 I + a 02- c 02 + I a 03- c 03 I + I a 04— c 04 + I a 10- c 10

+ I a 11- c 11 I + I a 12- c 12 + I a 13- c 13

+ I a 14- c 14 I + I a 20— c 20 + I a21- c 21

+ I a 22- c 22 I + I a23- c 23 + I a24- c 24 〕 / 1 5

一般的には、フレーム間差分 F r G (t) が大きいほど、フレーム間の動きが大きいものと判定される。

第 3図は、フィールド間差分を説明する図である。連続するフィ一ルド間では、インターレス方式では、垂直方向のライン位置がずれている。従って、フィールド間差分としては、自分のラインより上側に位置する他のフィールドのラインとの差分（ uの文字を付ける）と、自分のラインより下側に位置する他のフィ一ルドのラインとの差分（ dの文字を付ける）との 2種類ある。

第 3図から分かるように、 F i G u (t- 1) は、第 t- 1 フィ一ルドぉよび第 t フィールド間の、上向きのフィ一ルド間差分を表し、 F i G d (t-1) は、第 t- 1 フィールドおよび第 t フィールド間の、下向きのフィールド間差分を表す。同様に、 F i G u (t) は、第 tフィ一ルドおよび第 t + 1 フィールド間の、上向きのフィールド間差分を表し、 F i G d (t) は、第 t フィールドおよび第 t + 1 フィールド間の、下向きのフィールド間差分を表す。フレーム間差分 F r G (t) と同様に、 5 X 3および 5 X 4 (第 2図参照）の各ブロックの各画素の差分値の絶対値和の平均値がフィールド間差分として検出される。検出されたフレーム間差分 F r G (t) が時間変化対空間変化算出部 5に供給される。時間変化対空間変化算出部 5は、割り算器で構成され、空間変化量算出部 3から供給される第 t フィールドのタップの空間方向の変化量 S G (t) に対する時間変化算出部 4から供給される第 t フィールドのフレーム間差分 F r G (t) の比（以下、適宜、時間変化対空間変化という） g f r (t) (= F r G (t) / S G (t) ) を求める。

この時間変化対空間変化 g f r (t) が第 1条件判定部 6、第 2条件判定部 7および第 3条件判定部 8に供給される。第 1条件判定部 6は、空間変化量のフィールド間の変化に基づいて動き判定を行い、第 2 条件判定部 7は、フィールド間差分に基づいて動き判定を行い、第 3 条件判定部 8は、勾配法と同様の手法で動き判定を行うものである。これらの条件判定部 6 , 7， 8は、動きと判定すると "1" (論理的 1 ) を出力し、静止と判定すると "0" (論理的 0 ) を出力する。条件判定部 6 , 7 , 8の出力が 0 Rゲート 9に出力する。 O Rゲート 9の出力が動き判定結果である。したがって、条件判定部 6， 7， 8の何れか 1つでも動きと判定すれば、動きと判定し、 "1" の判定結果が出力され、それ以外は静止と判定し、 "0"の判定結果が出力される。

第 1条件判定部 6は、次の 3個の条件が満たされるときに、動きと判断し、それ以外は、静止と判定する。

条件 C 1 ：現在フィールド（第 tフィールド）の空間変化量 S G (t ) が閾値 th 1以上であること

条件 C 2 ：現在フィ一ルドの空間変化量 S G (t) と、過去または未来のフィールドの空間変化量の変化が閾値 th 2以上であること

条件 C 3 ：フレーム間差分 F r Gと現在のフィールドの空間変化量 S G (t) の比が閾値 th 3以上であること第 1条件判定部 6は、以上の条件を全て満たすときは、動きと判定し、 "1" を O Rゲー卜 9に出力し、それ以外では、静止と判定し、 " 0 "を 0 Rゲート 9に出力する。式で表すと下記のものとなる。

C 1 ： S G (t) ≥th 1

C 2 ： min { I SG(t) 一 SG(t- 1) I ， I SG(t) 一 SG(t + l) I } ≥th 2

C 3 : g f r (t) = F r G/ S G (t) ≥th 3

第 2条件判定部 7は、下記の条件を用いる。

条件 C 1 ：現在フィールド（第 t フィールド）の空間変化量 S G (t ) が閾値 th 1以上であること

条件 C 4 ：各方向のフィールド間差分の最大値が閾値 th 4以上であること

条件 C 5 ：フレーム間差分 F r Gと現在のフィールドの空間変化量 S G (t) の比が閾値 th 5以上であること

第 2条件判定部 7は、以上の条件を全て満たすときは、動きと判定し、 "1" を O Rゲ一ト 9に出力し、それ以外では、静止と判定し、 " 0"を〇 Rゲート 9に出力する。式で表すと下記のものとなる。

C 1 ： S G (t) ≥th 1

C 4 ： max (FiGu(t-l) , FiGu (t) , FiGd (t-1) , FiGd(t) } ≥th4 C 5 ： g f r (t) = F r G/ S G (t) ≥th 5

第 3条件判定部 8は、下記の条件を用いる。

条件 C 6 ：フレーム間差分 F r Gと空間変化量 S G (t) との比が閾値 th 6以上であること

第 3条件判定部 8は、以上の条件を全て満たすときは、動きと判定し、 "Γ を O Rゲ一ト 9に出力し、それ以外では、静止と判定し、 " 0"を◦ Rゲート 9に出力する。式で表すと下記のものとなる。 C 6 : g f r (t) = F r G / S G (t) ≥th 6

閾値 th 6は、閾値 th3および th 5 より大きな値である。

ここで、第 3条件は、フレーム間差分 F r Gを空間変化量 S G (t) で正規化した値を使用するものである。比 g f r (t) に対しての閾値は、 th 3， th 5 , th6が存在する。横軸を空間変化量 S G (t) とし、縦軸をフレーム間差分 F r Gとする第 4図に概念的に示すように、空間変化量 S G (t) とフレーム間差分 F r Gが大きくなるに従って閾値が増加するようになされている。そして、閾値 th 6力 th 3および th 5 より大きいものとされている。その結果、閾値 th 3および th 5 より小さい領域 1 と、閾値 th 3および th 5 と閾値 th 6 とで挟まれた領域 2 と、閾値 th 6以上の領域 3が形成される。

比 g f r (t) と閾値 th6 とを使用する第 3条件のみでは、領域 1および領域 2が共に静止と判断され、 th6以上の領域 3が動きと判定される。しかしながら、この一実施例では、閾値 th 3および th 5 を使用して領域 2 を動きと判定するようにしている。この領域 2は、本来動きであるにもかかわらず、若し、閾値 th6のみを使用した判定では、静止と誤って判定されてしまう範囲である。このようにして、動き判定の精度を向上できる。

〇 Rゲート 9は、第 1条件判定部 6、第 2条件判定部 7、第 3条件判定部 8の判定結果の論理和を出力する。すなわち、注目フィールド (第 tフィールド）の注目画素の動きがあると判定する場合には、 "1 " を出力し、静止であると判定する場合には、 "0"を出力する。

次に、第 5図のフローチャートを参照して第 1図の動き判定装置による動き判定処理について説明する。また、以下に示す動き判定処理は、第 1図のハードウェア構成に制約されず、コンピュータのソフトウェア処理によっても実現することができるものである。ステップ S 1 では、注目画素についてタップを構築する。タツプ構築部 2が第 2図に示すような第 t-1 , t , t +1 フィールドから注目画素の近傍の所定の画素を抽出する。これらのタツプが空間変化算出部 3および時間変化算出部 4に供給される。

ステップ S 2では、空間変化算出部 3が空間方向の変化量 S G (t) , S G (t-1) , S G (t + 1) を算出する。空間方向の変化量 S G (t) ， S G (t-1) , S G (t + 1) が第 1条件判定部 6に供給され、また、 S G (t) が時間変化対空間変化算出部 5に供給され、比が算出される。ステップ S 2では、時間変化算出部 4 において、第 1 の時間方向の変化量であるフレーム間差分 F r Gが算出される。また、第 2の時間方向の変化量であるフィールド間差分 F i G u (t-1) ， F i G d (t-1 ) ， F i G u (t) ， F i G d (t) が算出される。

ステップ S 3では、時間変化対空間変化算出部 5において、時間変化に対する空間変化の比 g f r (t) ( = F r G/ S G (t) ) が算出される。この比 g f r (t) が第 1条件判定部 6、第 2条件判定部 7および第 3条件判定部 8に供給される。

そして、ステップ S 4において、第 1条件判定部 6、第 2条件判定部 7および第 3条件判定部 8により、第 1条件乃至第 3条件のうちの何れかを満たすかどうかが決定される。第 1条件乃至第 3条件のうちの何れかが満たされるならば、動きが有りと判定され、 O Rゲート 9 の出力が " となる（ステップ S 5 ) 。一方、第 1条件乃至第 3条件の全てが満たされないときは、動き無しと判定され、 0 Rゲート 9の出力が "0 "となる（ステップ S 6 ) 。このようにして動き判定が終了する。

なお、一実施例における絶対値和を求める処理に代えて、二乗和を求めるようにしても良い。また、一実施例では、注目フィ一ルドとその 1 フィ一ルド前と 1 フィールド後のフィールドを用いているが、注目フィールドの 2フィールド前と 2 フィールド後のフィールドを用いても良い。

さらに、一実施例では、第 2図に示したように、長方形のブロック内に含まれる画像をタップとして抽出したが、その他の形状、例えば円形や十字形のプロック内に含まれる画素をタップとして抽出しても良い。

この発明は、フィールド間の空間変化量に基づく第 1条件判定と、フィールド間差分に基づく第 2条件判定と、フレーム間差分と空間変化量の比に基づく第 3条件判定との何れかが満たされると、注目画素に動きがあると判定するので、高精度に動き判定を行うことができる。したがって、動き判定に基づいて、動きのある画像と、動きが無いまたは動きが僅かである画像に対してそれぞれ適切な処理を施すことができる。

Claims

請求の範囲

1 . 入力画像信号中に含まれる物体の動きを判定する動き判定装置において、

上記入力画像信号の空間方向の変化を検出する空間変化検出手段と、

上記入力画像信号の時間方向の変化を検出する時間変化検出手段と上記空間方向の変化と上記時間方向の変化との比を検出する比検出手段と、

上記空間方向の変化、上記時間方向の変化、および、上記比に基づいて、上記入力画像信号に含まれる物体の動きを判定する動き判定手段とを備えることを特徴とする動き判定装置。

2 . 請求の範囲 1 において、

上記空間変化検出手段、上記時間変化検出手段、上記比検出手段および上記動き判定手段は、上記入力画像信号の部分画像毎に検出処理を行なうことを特徴とする動き判定装置。

3 . 請求の範囲 1において、

目的とするフィールドの入力画像信号の上記空間方向の変化と、少なくともその前後のフィールドの上記入力画像信号の空間方向の変化との差分を示す空間変化フィールド間差分を検出する空間変化フィ一ルド間差分検出手段をさらに備え、

上記動き判定手段は、上記比と上記空間変化フィールド間差分とに基づいて、上記入力画像に含まれる物体の動きを判定することを特徴とする動き判定装置。

4 . 請求の範囲 3において、

上記動き判定手段は、上記空間変化フィールド間差分が第 1の閾値 ( t h 2 ) 以上であり、且つ、上記比が第 Iの閾値（ t h 3 ) 以上であることを第 1の条件として、上記入力画像に動きがあると判定することを特徴とする動き判定装置。

5 . 請求の範囲 4 において、

上記動き判定手段は、上記第 1の条件に関わらず、上記比が上記第 2の閾値より大きい第 3の閾値（ t h 6 ) 以上であることを第 2の条件として、上記入力画像に動きがあると判定することを特徴とする動き判定装置。

6 . 請求の範囲 1 において、

上記時間変化検出手段が上記時間方向の変化を検出する時間間隔より短い時間間隔の複数のフィールドの入力画像信号に基づいて、時間方向の変化を検出する第 2の時間変化検出部をさらに備え、

上記動き判定手段は、上記比と上記第 2の時間変化検出部の検出結果とに基づいて、上記入力画像に含まれる物体の動きを判定することを特徴とする動き判定装置。

7 . 請求の範囲 6において、

上記動き判定手段は、上記第 2の時間変化検出部の検出結果が第 1 の閾値（ t h 4 ) 以上であり、且つ、上記比が第 1の閾値（ t h 5 ) 以上であることを第 1の条件として、上記入力画像に動きがあると判定することを特徴とする動き判定装置。

8 . 請求の範囲 7において、

9 . 請求の範囲 1 において、上記空間変化検出手段は、目的とするフィールドの入力画像信号と、少なくともその前後のフィールドの入力画像信号とを用いて、上記目的とするフィールドの入力画像信号の上記空間方向の変化を検出することを特徴とする動き判定装置。

1 0 . 請求の範囲 9において、

上記入力画像信号はィンターレス信号であることを特徴とする動き判定装置。

1 1 . 入力画像信号中に含まれる物体の動きを判定する動き判定方法において、

上記入力画像信号の空間方向の変化を検出するステツプと、上記入力画像信号の時間方向の変化を検出するステツプと、上記空間方向の変化と上記時間方向の変化との比を検出するステツプと、

上記空間方向の変化、上記時間方向の変化、および、上記比に基づいて、上記入力画像信号に含まれる物体の動きを判定するステップとからなることを特徴とする動き判定方法。

1 2 . 請求の範囲 1 1において、

空間変化検出処理、時間変化検出処理、比検出処理および動き判定処理は、上記入力画像信号の部分画像毎に検出処理を行なうことを特徴とする動き判定方法。

1 3 . 請求の範囲 1 1 において、

目的とするフィールドの入力画像信号の上記空間方向の変化と、少なくともその前後のフィールドの上記入力画像信号の空間方向の変化との差分を示す空間変化フィールド間差分を検出するステツプをさらに有し、

上記比と上記空間変化フィールド間差分とに基づいて、上記入力画像に含まれる物体の動きを判定することを特徴とする動き判定方法。

1 . 請求の範囲 1 3において、

上記空間変化フィールド間差分が第 1 の閾値（ t h 2 ) 以上であり、且つ、上記比が第 1の閾値（ t h 3 ) 以上であることを第 1の条件として、上記入力画像に動きがあると判定することを特徴とする動き判定方法。

1 5 . 請求の範囲 1 4において、

上記第 1の条件に関わらず、上記比が上記第 2の閾値より大きい第 3の閾値（ t h 6 ) 以上であることを第 2の条件として、上記入力画像に動きがあると判定することを特徴とする動き判定方法。

1 6 . 請求の範囲 1 1において、

上記時間方向の変化を検出する時間間隔より短い時間間隔の複数のフィールドの入力画像信号に基づいて、第 2の時間方向の変化を検出するステップをさらに備え、

上記比と上記第 2の時間方向の変化の検出結果とに基づいて、上記入力画像に含まれる物体の動きを判定することを特徴とする動き判定方法。

1 7 . 請求の範囲 1 6において、

上記第 2の時間方向の変化の検出結果が第 1の閾値（ t h 4 ) 以上であり、且つ、上記比が第 1の閾値（ t h 5 ) 以上であることを第 1 の条件として、上記入力画像に動きがあると判定することを特徴とする動き判定方法。

1 8 . 請求の範囲 1 7において、

上記第 1の条件に関わらず、上記比が上記第 2の閾値より大きい第 3の閾値（ t h 6 ) 以上であることを第 1の条件として、上記入力画像に動きがあると判定することを特徴とする動き判定方法。

1 9 . 請求の範囲 1 1において、

目的とするフィールドの入力画像信号と、少なくともその前後のフィールドの入力画像信号とを用いて、上記目的とするフィールドの入力画像信号の上記空間方向の変化を検出することを特徴とする動き判定方法。

2 0 . 請求の範囲 1 9において、

上記入力画像信号はィンタ一レス信号であることを特徴とする動き判定方法。