JP2845473B2 - 動画像の運動、非運動領域検出装置 - Google Patents
動画像の運動、非運動領域検出装置Info
- Publication number
- JP2845473B2 JP2845473B2 JP1033046A JP3304689A JP2845473B2 JP 2845473 B2 JP2845473 B2 JP 2845473B2 JP 1033046 A JP1033046 A JP 1033046A JP 3304689 A JP3304689 A JP 3304689A JP 2845473 B2 JP2845473 B2 JP 2845473B2
- Authority
- JP
- Japan
- Prior art keywords
- memory
- register
- motion
- data
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Processing Of Color Television Signals (AREA)
- Complex Calculations (AREA)
- Image Processing (AREA)
Description
【発明の詳細な説明】 産業上の利用分野 本発明は、たとえばテレビ画像中のシーンの切り換え
検出や動画像テータの高効率圧縮方式の実現等、広い範
囲に適用できる動画像の運動，非運動領域検出装置に関
するものである。
検出や動画像テータの高効率圧縮方式の実現等、広い範
囲に適用できる動画像の運動，非運動領域検出装置に関
するものである。
従来の技術 従来、動画像の中から動きを持った物体の検出を行お
うとする場合は、物体の明るさをベースにする方法が知
られている。その方法とは、動いている画像の中の各点
のスピードや動く方向を、明るさの空間的、時間的勾配
から計算する方法であり、出力は画像全体についての速
度、すなわち移動ベクトル場を生成し、そのベクトル場
から逆に移動物体の検出を行うものである。
うとする場合は、物体の明るさをベースにする方法が知
られている。その方法とは、動いている画像の中の各点
のスピードや動く方向を、明るさの空間的、時間的勾配
から計算する方法であり、出力は画像全体についての速
度、すなわち移動ベクトル場を生成し、そのベクトル場
から逆に移動物体の検出を行うものである。
ここで、画像の動きにつれて変化する明るさについて
の方程式を導く。時刻ｔにおける点（x,y）の明るさを
Ｉ（x,y,t）と記述する。微視的に見ると画像の運動と
は局所、局所で、濃淡パターンＩ（x,y,t）が速度場に
乗って並信している状態である。局所速度と同一の速度
場で移動する座標系からこれを眺めると、パターンには
何らの変化も生じないので、そのラグランジュ微分は０
である。
の方程式を導く。時刻ｔにおける点（x,y）の明るさを
Ｉ（x,y,t）と記述する。微視的に見ると画像の運動と
は局所、局所で、濃淡パターンＩ（x,y,t）が速度場に
乗って並信している状態である。局所速度と同一の速度
場で移動する座標系からこれを眺めると、パターンには
何らの変化も生じないので、そのラグランジュ微分は０
である。
上記第（１）式は、画像全体の局所、局所で成り立つ
ものである。しかし上記第（１）式は各々の点で２個の
未知数U,Vをもつ一つの方程式であるので、原理的には
このままでは解けない。
ものである。しかし上記第（１）式は各々の点で２個の
未知数U,Vをもつ一つの方程式であるので、原理的には
このままでは解けない。
これを解くために、ホーン（Horn）とシャンク（Schu
nk）は「デターミング オプティカル フロー」（アー
ティフィシャル インテリジェンス1981年17巻185〜203
頁〔Determining Optical Flow」（Artificial Intelli
gence,Vol.17,1981.pp185〜203）〕において、次のよう
な拘束条件を導入している。
nk）は「デターミング オプティカル フロー」（アー
ティフィシャル インテリジェンス1981年17巻185〜203
頁〔Determining Optical Flow」（Artificial Intelli
gence,Vol.17,1981.pp185〜203）〕において、次のよう
な拘束条件を導入している。
すなわち、一般に滑らかな動きをしているときには、
孤立した不連続点を除いて、対象物は滑らであり、動画
像の近傍の点は同様の速度を持つ。よって、速度場もこ
の事実を反映する。そこで、速度場にある拘束条件を加
え、対象物が喚らかな動きをしている限り、速度は滑ら
かに変化するというものである。滑らかさの尺度として
速度場の勾配の２乗を選んでいる。
孤立した不連続点を除いて、対象物は滑らであり、動画
像の近傍の点は同様の速度を持つ。よって、速度場もこ
の事実を反映する。そこで、速度場にある拘束条件を加
え、対象物が喚らかな動きをしている限り、速度は滑ら
かに変化するというものである。滑らかさの尺度として
速度場の勾配の２乗を選んでいる。
上記第（１）式に第（２）式の拘束条件を入れて、変
分関数として定式化している。最終的な速度場（U,V）
は次式を最小にするものとして与えられる。
分関数として定式化している。最終的な速度場（U,V）
は次式を最小にするものとして与えられる。
ここで重み係数λは、S/Nに逆比例する。第（３）式
の第１項は、最終的な解が測定データに可能な限り、近
くなる事実を示している。一方、第２項は解を平滑化す
るための条件項である。最小の度合いはλが支配してい
る。正確なデータを使うと、第１項を乱すことは、「高
く」つき、λは小さくなる。逆に、信頼できないデータ
（S/Nが低いデータ）の場合は、第２項の平滑化項を大
きく強調するために、λは大きくなる。
の第１項は、最終的な解が測定データに可能な限り、近
くなる事実を示している。一方、第２項は解を平滑化す
るための条件項である。最小の度合いはλが支配してい
る。正確なデータを使うと、第１項を乱すことは、「高
く」つき、λは小さくなる。逆に、信頼できないデータ
（S/Nが低いデータ）の場合は、第２項の平滑化項を大
きく強調するために、λは大きくなる。
エネルギーＥ（U,V）は未知数U,Vについての２次関数
である。変分の通常の計算法により関連するオイラーラ
グンジェ（Euler−Lagrange）の微分方程式は、U,Vに対
する線形方程式となる。
である。変分の通常の計算法により関連するオイラーラ
グンジェ（Euler−Lagrange）の微分方程式は、U,Vに対
する線形方程式となる。
各点に対し、２つの線形方程式が存在することにな
る。
る。
これを解くことは、次のようにして行なわれる。即
ち、上記（４）式の方程式は次の差分方程式に変換でき
る。
ち、上記（４）式の方程式は次の差分方程式に変換でき
る。
ここではラプラシアン（▽２）〔Laplacian
（▽２）〕を直交格子点上の５点近似で置き換えたもの
を使っている。
（▽２）〕を直交格子点上の５点近似で置き換えたもの
を使っている。
以下、第６図を用いて第（５）式の具体的装置構成に
ついて述べる。
ついて述べる。
601,602は画像メモリであり、画像メモリ601には時刻
ｔの動画像の濃度パターンが、画像メモリ602には時刻
ｔ＋△ｔにおける動画像の濃度パターンがそれぞれ格納
される。
ｔの動画像の濃度パターンが、画像メモリ602には時刻
ｔ＋△ｔにおける動画像の濃度パターンがそれぞれ格納
される。
603は画像メモリ601、画像メモリ602から各点におけ
る濃度パターンを取り出し、 を計算する勾配計算ユニットである。この計算メカニズ
ムはロベルト（Robert）勾配など適当な微分演算子を用
いることで画像から計算する事ができる。その結果が、
Ixメモリ604、Iyメモリ605、ltメモリ606に格納され
る。なお、それぞれのメモリの大きさは、第（５）式で
用いられる格子点の数の大きさである。
る濃度パターンを取り出し、 を計算する勾配計算ユニットである。この計算メカニズ
ムはロベルト（Robert）勾配など適当な微分演算子を用
いることで画像から計算する事ができる。その結果が、
Ixメモリ604、Iyメモリ605、ltメモリ606に格納され
る。なお、それぞれのメモリの大きさは、第（５）式で
用いられる格子点の数の大きさである。
差分方程式解法ユニット607は第（５）式を解くため
のユニットであり、その入力としてIxメモリ604、Iyメ
モリ605、Itメモリ606から格子点i,jに対応する値Ixi
j、Iyij、Itijを入力とし、適当な境界条件を用いて、U
ij、Vijを出力するものである。
のユニットであり、その入力としてIxメモリ604、Iyメ
モリ605、Itメモリ606から格子点i,jに対応する値Ixi
j、Iyij、Itijを入力とし、適当な境界条件を用いて、U
ij、Vijを出力するものである。
上記第（５）式を高速に解くための方法としては、抵
抗ネットワークを用いるものが、「ニューラルネットの
応用、画像中の動きを抵抗ネットワークで検出する」
（日経エレクトロニクス1988.8.8.（No.453）pp171〜18
5）に述べられている。
抗ネットワークを用いるものが、「ニューラルネットの
応用、画像中の動きを抵抗ネットワークで検出する」
（日経エレクトロニクス1988.8.8.（No.453）pp171〜18
5）に述べられている。
これを応用して、一連の動画像のシーンの切り換わり
に代表される予期せぬ物体の出現などを判別しようとす
るための回路ブロック図を第７図に示す。
に代表される予期せぬ物体の出現などを判別しようとす
るための回路ブロック図を第７図に示す。
Ｕメモリ701、Ｖメモリ702は、第４図の出力Uij、Vij
が格納されるメモリである。またＵメモリ703、Ｖメモ
リ704には次の動画像フレームから計算されたUij、Vij
が格納されるメモリである。
が格納されるメモリである。またＵメモリ703、Ｖメモ
リ704には次の動画像フレームから計算されたUij、Vij
が格納されるメモリである。
上記第７図の構成では動画像の速度場の変化を連結す
る速度場画像から判別し、その変化が大きいと動画像の
フレームの切り換わりであると判定しようというもので
ある。そのために、速度のＵ成分であるUijを連結する
Ｕメモリ701、Ｕメモリ702から取り出し、その差分△Uj
iをＵ−比較器705で計算する。同様に速度のＶ成分をＶ
比較器706で計算して△Vijを求める。
る速度場画像から判別し、その変化が大きいと動画像の
フレームの切り換わりであると判定しようというもので
ある。そのために、速度のＵ成分であるUijを連結する
Ｕメモリ701、Ｕメモリ702から取り出し、その差分△Uj
iをＵ−比較器705で計算する。同様に速度のＶ成分をＶ
比較器706で計算して△Vijを求める。
そして、判別器707では△Uij、△Vijから次式に求づ
いてフレームの切り換わりを判別する。
いてフレームの切り換わりを判別する。
Ｐ＞０ならフレームの切り換わりがあった。
Ｐ＜０ならフレームの切り換わりがなかった。
（但し、Ｔはしきい値であり、前もって与えておく） このように従来法では、一度速度場を求め、その速度
場の変化が大きいときに、動画像の画面の切り換わりが
あったと見なす。
場の変化が大きいときに、動画像の画面の切り換わりが
あったと見なす。
発明が解決しようとする課題 以上の従来の技術では同画像のシーンの切り換わりを
求めるためにまず速度場を求めていた。しかし、シーン
の切り換わり等では、物体が急に出現したり、消滅した
りするので、そもそも速度場が求められないという問題
がある。
求めるためにまず速度場を求めていた。しかし、シーン
の切り換わり等では、物体が急に出現したり、消滅した
りするので、そもそも速度場が求められないという問題
がある。
つまり、第（１）式が成り立たないわけであり、これ
は物体の各点、各点が局所的に並進していないために生
ずるものである。
は物体の各点、各点が局所的に並進していないために生
ずるものである。
従って、従来方法では、信頼性の低い速度場で物体の
出現／消滅を取り扱っていたわけであり、当然得られる
結果も信頼性の低いものとなる。
出現／消滅を取り扱っていたわけであり、当然得られる
結果も信頼性の低いものとなる。
本発明は上記従来技術の問題点を取り除き、物体の出
現、消滅を効率良く判別するとともに、シーンの切り換
わりも効率良く検出できる同画像の運動，非運動領域検
出装置を提供するものである。
現、消滅を効率良く判別するとともに、シーンの切り換
わりも効率良く検出できる同画像の運動，非運動領域検
出装置を提供するものである。
課題を解決するための手段 本発明は、時間的に連続する２つの動画像データか
ら、ｘ成分,y成分，時間成分に関する各画素の微分結果
を格納する３つの記憶手段と、前記３つの記憶手段のす
べての２つの組み合わせた計６通りについて、記憶手段
中の各画素の近傍画素値を読み出し読み出された画素値
により積和量を計算する第１の演算手段と、その６つの
積和結果から、ｘ成分ｙ成分，時間成分のベクトルの共
分散行列式と等価な値を計算する第２の演算手段と、そ
の演算結果と、前記記憶手段に格納された画素データ値
から空間微分エネルギーの２乗と時間微分エネルギーの
積を計算する第３の演算手段と、第３の演算手段の出力
に誤差エネルギーを表す定数項を加算した結果との間で
比を取りその値の大小により、運動、非運動領域の判定
を行う判定手段とを設けることにより、上記目的を達成
するものである。
ら、ｘ成分,y成分，時間成分に関する各画素の微分結果
を格納する３つの記憶手段と、前記３つの記憶手段のす
べての２つの組み合わせた計６通りについて、記憶手段
中の各画素の近傍画素値を読み出し読み出された画素値
により積和量を計算する第１の演算手段と、その６つの
積和結果から、ｘ成分ｙ成分，時間成分のベクトルの共
分散行列式と等価な値を計算する第２の演算手段と、そ
の演算結果と、前記記憶手段に格納された画素データ値
から空間微分エネルギーの２乗と時間微分エネルギーの
積を計算する第３の演算手段と、第３の演算手段の出力
に誤差エネルギーを表す定数項を加算した結果との間で
比を取りその値の大小により、運動、非運動領域の判定
を行う判定手段とを設けることにより、上記目的を達成
するものである。
作 用 本発明は上記構成により、動画像の各シーン同志の差
異が運動によるものが、非運動によるもの（出現，消
滅）かを区別することにより、物体の出現，消滅を効率
良く判別することができ、またシーンの切り換わりも効
率良く検出できるようにしたものである。
異が運動によるものが、非運動によるもの（出現，消
滅）かを区別することにより、物体の出現，消滅を効率
良く判別することができ、またシーンの切り換わりも効
率良く検出できるようにしたものである。
実施例 以下、本発明のアルゴリズムのアウトラインを記す。
本発明では第１の演算手段により、まず各画像の格子
での濃度勾配パターンIxij、Iyij、Itijを計算する。次
に、その値を基にしてi,jの近傍領域Γの値を用いて を計算する。次に、第２の演算手段により、 を計算し、そして第３の演算手段により出現特徴量とし
て 運動特徴量とし （但し、σs 4＝σt 2＝0.52×（Γの画素数）） を計算する。そして、判断手段により、動画中の各点の
振りが出現／消滅タイプのものか、運動タイプのものか
をQij,Pijの値で判定する。
での濃度勾配パターンIxij、Iyij、Itijを計算する。次
に、その値を基にしてi,jの近傍領域Γの値を用いて を計算する。次に、第２の演算手段により、 を計算し、そして第３の演算手段により出現特徴量とし
て 運動特徴量とし （但し、σs 4＝σt 2＝0.52×（Γの画素数）） を計算する。そして、判断手段により、動画中の各点の
振りが出現／消滅タイプのものか、運動タイプのものか
をQij,Pijの値で判定する。
以下、上記アルゴリズムの理論的根拠について説明す
る。
る。
任意の動画像の各点（x,y,t）の近傍をΓとおくと、
第（７）式に対応する積分が第１の演算手段により計算
される。
第（７）式に対応する積分が第１の演算手段により計算
される。
（但し、Ix＝∂I/∂x,Iy≡∂I/∂y,It≡∂I/∂ｔとす
る） このときII＝ｔ（Ix,Iy,It）（ｔは転置の意味）とお
くと、第２の演算手段により、 となる。
る） このときII＝ｔ（Ix,Iy,It）（ｔは転置の意味）とお
くと、第２の演算手段により、 となる。
このときdet〔Ｓ〕０である。
これは以下のように示される。
任意のｘ＝ｔ（x1,x2,x3）に対し txSx＝∬Γ tx II tII x dxdy ＝∬Γ ｔ（tII x）（tII x）dxdy ＝∬Γta a dxdy０ （但し、ａ＝tIIxとおく。） つまり、２式型式txSxが正定値であるから、当然Ｓの
行列式det〔Ｓ〕も正定値となる（つまり、行列Ｓの固
有値がすべて正定値） さらに、より強く等号が成り立つときの条件は第
（４）式が成立するときに限ることが証明された。すな
わち、 det〔Ｓ〕＝０＜＝＞UXx＋VIy＋WIt＝０ …（12） 〔必要性の証明〕 det〔Ｓ〕＝０よりＳの行ベクトルは、線形独立では
あり得ない。よって、（U,V,W）≠（0,0,0）をＳの各行
に乗じて和をとることにより U Sxx＋V Sxy＋w Sxt＝０ U Sxy＋V Syy＋w Syt＝０ U Sxt＋V Syt＋w Stt＝０ すなわち ∬ΓIx（U Ix＋V Iy＋W It）dxdy＝０ （13−ａ） ∬ΓIy（U Ix＋V Iy＋W It）dxdy＝０ （13−ｂ） ∬ΓIt（U Ix＋V Iy＋W It）dxdy＝０ （13−ｃ） 第（13−ａ）式にＵを、第（13−ｂ）にＶを、第（13
−ｃ）式にＷを乗じて、和を取ると ∬Γ（U Ix＋V Iy＋W It）2dxdy＝０ よって、U Ix＋V Iy＋W It＝０ 〔十分性の証明〕 U Ix＋V Iy＋W It＝０がΓ内で成立するから ∬ΓIx（U Ix＋V Iy＋W It）dxdy＝０ ∬ΓIy（U Ix＋V Iy＋W It）dxdy＝０ ∬ΓIt（U Ix＋V Iy＋W It）dxdy＝０ これは U Sxx＋V Sxy＋W Sxt＝０ U Sxy＋V Syy＋W Syt＝０ U Sxt＋V Syt＋W Stt＝０ と同じである。すなわち、行列Ｓの行ベクトルが一次従
属であることを示す。よってdet〔Ｓ〕＝０となる。
行列式det〔Ｓ〕も正定値となる（つまり、行列Ｓの固
有値がすべて正定値） さらに、より強く等号が成り立つときの条件は第
（４）式が成立するときに限ることが証明された。すな
わち、 det〔Ｓ〕＝０＜＝＞UXx＋VIy＋WIt＝０ …（12） 〔必要性の証明〕 det〔Ｓ〕＝０よりＳの行ベクトルは、線形独立では
あり得ない。よって、（U,V,W）≠（0,0,0）をＳの各行
に乗じて和をとることにより U Sxx＋V Sxy＋w Sxt＝０ U Sxy＋V Syy＋w Syt＝０ U Sxt＋V Syt＋w Stt＝０ すなわち ∬ΓIx（U Ix＋V Iy＋W It）dxdy＝０ （13−ａ） ∬ΓIy（U Ix＋V Iy＋W It）dxdy＝０ （13−ｂ） ∬ΓIt（U Ix＋V Iy＋W It）dxdy＝０ （13−ｃ） 第（13−ａ）式にＵを、第（13−ｂ）にＶを、第（13
−ｃ）式にＷを乗じて、和を取ると ∬Γ（U Ix＋V Iy＋W It）2dxdy＝０ よって、U Ix＋V Iy＋W It＝０ 〔十分性の証明〕 U Ix＋V Iy＋W It＝０がΓ内で成立するから ∬ΓIx（U Ix＋V Iy＋W It）dxdy＝０ ∬ΓIy（U Ix＋V Iy＋W It）dxdy＝０ ∬ΓIt（U Ix＋V Iy＋W It）dxdy＝０ これは U Sxx＋V Sxy＋W Sxt＝０ U Sxy＋V Syy＋W Syt＝０ U Sxt＋V Syt＋W Stt＝０ と同じである。すなわち、行列Ｓの行ベクトルが一次従
属であることを示す。よってdet〔Ｓ〕＝０となる。
言いかえると、動画像内の各点が運動であるから非運
動であるかはdet〔Ｓ〕＝０であるか否かで判断する事
ができる。つまり、動画像の各点、各点でdet〔Ｓ〕を
計算し、それが０に近ければ近いほど、その点は運動し
ていると見なせ、大きい正の値であれば、ある程、その
点は非運動であると見なせるわけである。つまりシーン
の切り換わり等はdet〔Ｓ〕の値が各点で十分大きい事
で検出可能である。
動であるかはdet〔Ｓ〕＝０であるか否かで判断する事
ができる。つまり、動画像の各点、各点でdet〔Ｓ〕を
計算し、それが０に近ければ近いほど、その点は運動し
ていると見なせ、大きい正の値であれば、ある程、その
点は非運動であると見なせるわけである。つまりシーン
の切り換わり等はdet〔Ｓ〕の値が各点で十分大きい事
で検出可能である。
ところが特徴量det〔Ｓ〕の値は、画像濃淡の振幅や
時間軸のスケールに依存する性質を持つ。本来運動であ
るか否かはこのようなパラメータのスケールとは無関係
な性質である。ところがこのままでは、det〔Ｓ〕が０
に近いことを他パラメータとの相対的比較によってしか
判断できないことになってしまう。そこで、det〔Ｓ〕
を無次元化および規格化することを考える。
時間軸のスケールに依存する性質を持つ。本来運動であ
るか否かはこのようなパラメータのスケールとは無関係
な性質である。ところがこのままでは、det〔Ｓ〕が０
に近いことを他パラメータとの相対的比較によってしか
判断できないことになってしまう。そこで、det〔Ｓ〕
を無次元化および規格化することを考える。
まず最初に行列Ｓの各要素の次元をそろえなくてはな
らない。これは時間単位と距離単位との間に局所的な一
意な関係を与えることである。いまΓ内での局所時間ス
ケールを、｛Sxx＋Syy｝/2とSttが等しくなるように選
ぶとする。
らない。これは時間単位と距離単位との間に局所的な一
意な関係を与えることである。いまΓ内での局所時間ス
ケールを、｛Sxx＋Syy｝/2とSttが等しくなるように選
ぶとする。
ν２｛Sxx＋Syy｝＝2Stt …（14） νの次元は〔νT-1〕となる。
を考えると、各要素の次元はすべてSttの次元となる。
det（Σ）＝ν4det〔Ｓ〕 であり、 trace（Σ）＝ν２（Sxx＋Syy）＋Stt＝3Stt である。
ここでΣの固有値をλ1,λ2,λ３とおくとＳは正定値
行列であるので、λ1,λ2,λ３はすべて正あるいは零以
上の値であり、 det〔Σ〕＝λ１λ２λ３ trace〔Σ〕＝λ１＋λ２＋λ３ となる。
行列であるので、λ1,λ2,λ３はすべて正あるいは零以
上の値であり、 det〔Σ〕＝λ１λ２λ３ trace〔Σ〕＝λ１＋λ２＋λ３ となる。
算術平均と、幾何平均との関係が から、det〔Σ〕とtrace〔Σ〕/3の３乗の比 は〔0,1〕の間を取る無次元量である。
Ｕは理想的な状態で、各点が運動的であるか、非運動
的であるかを示す量である。よって雑音レベル程度の微
小で無盲味な変動にも有意な変動のように反応する。
的であるかを示す量である。よって雑音レベル程度の微
小で無盲味な変動にも有意な変動のように反応する。
そこで、雑音項σs 4,σt 2を導入した次式を出現特徴
量とする。
量とする。
σs 4・σt 2の与え方としては、量子化誤差のエネルギ
ーは高々0.52であるので、σs 4＝σt 2＝0.52×（Γ画素
数）とすればよい。
ーは高々0.52であるので、σs 4＝σt 2＝0.52×（Γ画素
数）とすればよい。
一方、出現によらないものは、運動であると見なせる
ので、 は、運動を特徴づけするものである。
ので、 は、運動を特徴づけするものである。
は、すへての変動を特徴づけするものである。
特徴量P,Qにより、動画の各点、各点は、その変動
が、運動であるものか、出現によるものかを、決定する
ことが可能である。
が、運動であるものか、出現によるものかを、決定する
ことが可能である。
以下、図面を参照しながら本発明の具体的実施例につ
いて説明する。
いて説明する。
第１図は本発明の一実施例における動画像の運動，非
運動領域検出装置のブロック結線図である。第１図にお
いて、画像メモリ101、画像メモリ102、勾配演算ユニッ
ト103、Ixメモリ104、Iyメモリ105、Itメモリ106は、そ
れぞれ第６図におけら画像メモリ601、画像メモリ602、
勾配演算ユニット603、Ixメモリ604、Iyメモリ605、It
メモリ606と同一のものである。
運動領域検出装置のブロック結線図である。第１図にお
いて、画像メモリ101、画像メモリ102、勾配演算ユニッ
ト103、Ixメモリ104、Iyメモリ105、Itメモリ106は、そ
れぞれ第６図におけら画像メモリ601、画像メモリ602、
勾配演算ユニット603、Ixメモリ604、Iyメモリ605、It
メモリ606と同一のものである。
第１図において、第６図と異なる点は、このIxメモリ
104、Iyメモリ105、Itメモリ106からのデータ読み出し
以降にある。
104、Iyメモリ105、Itメモリ106からのデータ読み出し
以降にある。
すなわち、アドレス発生回路107は、Ixメモリ104、Iy
メモリ105、Itメモリ106の内容を読みだし、各Sxx,Sxy,
Sxt,Syy,Syt,Sttの積和回路ユニット110〜115にデータ
を供給する。データ書き込みタイミングはライト信号11
9で与えられる。この回路を動作させるには、窓サイズ
指定信号109を介して、近傍画素をいくつに設定するか
を指定し、RUN信号108をアクティブにすることで行なわ
れる。（なお、詳細は第２図で述べる。） 各Sxx,Sxy,Sxt,Syy,Syt,Sttの積和回路ユニット110〜
115は、Ixメモリ104、Iyメモリ105、Itメモリ106から読
み出されたデータを受け取り、前記第（７）式に従った
積和を取り、出力を行列式計算ユニット116へ送出す
る。Ixメモリ104からのデータ供給により、Sxx積和ユニ
ット110の入力データが一杯になった時には、フル信号1
18を、アドレス発生回路107へ通知し、アドレス発生回
路107が発生するライト信号119を抑制することが行なわ
れる。（尚、積和のサイズをいくつにするかは、窓サイ
ズ指定信号を109を通して行なわれる。詳細は第３図を
用いて後で述べる。） 次に、行列式計算ユニット116は、各Sxx,SxySxt,Syy,
Syt,Sttの積和回路ユニット110〜115のデータを入力と
し、前記第（８）式の値を計算する。なお、入力データ
が受け付けられなくなると、FULL信号を積和ユニットに
返し、次のライト動作の抑制がなされる。そして結果は
det〔Ｓ〕,Sxx,Syyとして出力される。なお、Q,P発生器
117への書き込みタイミングはWT信号120で与えられる。
（なお、詳細は第４図９を用いて後で述べる。） Q,P発生器117は、行列計算式ユニット116からデータ
を受け取り、前記第（17），（18）式に基づく計算を行
う。出力データは、出現特徴量Qijと運動特徴量Pijと、
そのデータをメモリ等に書き込むためのライト信号WTで
ある。（なお、詳細は第５図を用いて後で述べる。） 第２図は第１図に示したアドレス発生回路107の詳細
なブロック結線図である。アドレス発生回路107は回積
和回路ユニット110〜115へ供給するデータをIxメモリ10
4、Iyメモリ105、Itメモリ106から読み出すためのメモ
リアドレス発生制御信号と各積和回路ユニット110〜115
の入力fifo〔ファースト イン ファースト アウト
（First in First out）〕キューへのライト信号を発生
する。
メモリ105、Itメモリ106の内容を読みだし、各Sxx,Sxy,
Sxt,Syy,Syt,Sttの積和回路ユニット110〜115にデータ
を供給する。データ書き込みタイミングはライト信号11
9で与えられる。この回路を動作させるには、窓サイズ
指定信号109を介して、近傍画素をいくつに設定するか
を指定し、RUN信号108をアクティブにすることで行なわ
れる。（なお、詳細は第２図で述べる。） 各Sxx,Sxy,Sxt,Syy,Syt,Sttの積和回路ユニット110〜
115は、Ixメモリ104、Iyメモリ105、Itメモリ106から読
み出されたデータを受け取り、前記第（７）式に従った
積和を取り、出力を行列式計算ユニット116へ送出す
る。Ixメモリ104からのデータ供給により、Sxx積和ユニ
ット110の入力データが一杯になった時には、フル信号1
18を、アドレス発生回路107へ通知し、アドレス発生回
路107が発生するライト信号119を抑制することが行なわ
れる。（尚、積和のサイズをいくつにするかは、窓サイ
ズ指定信号を109を通して行なわれる。詳細は第３図を
用いて後で述べる。） 次に、行列式計算ユニット116は、各Sxx,SxySxt,Syy,
Syt,Sttの積和回路ユニット110〜115のデータを入力と
し、前記第（８）式の値を計算する。なお、入力データ
が受け付けられなくなると、FULL信号を積和ユニットに
返し、次のライト動作の抑制がなされる。そして結果は
det〔Ｓ〕,Sxx,Syyとして出力される。なお、Q,P発生器
117への書き込みタイミングはWT信号120で与えられる。
（なお、詳細は第４図９を用いて後で述べる。） Q,P発生器117は、行列計算式ユニット116からデータ
を受け取り、前記第（17），（18）式に基づく計算を行
う。出力データは、出現特徴量Qijと運動特徴量Pijと、
そのデータをメモリ等に書き込むためのライト信号WTで
ある。（なお、詳細は第５図を用いて後で述べる。） 第２図は第１図に示したアドレス発生回路107の詳細
なブロック結線図である。アドレス発生回路107は回積
和回路ユニット110〜115へ供給するデータをIxメモリ10
4、Iyメモリ105、Itメモリ106から読み出すためのメモ
リアドレス発生制御信号と各積和回路ユニット110〜115
の入力fifo〔ファースト イン ファースト アウト
（First in First out）〕キューへのライト信号を発生
する。
窓サイズ（レジスタ）201は、積和を取る近傍を何画
素をするかを措定するものである。ここに例えば、値＝
３を格納すると、注目画素の格子点（i,j）のまわりの
３×３の近傍画素をメモリから読み出すようなアドレス
がアドレス発生回路107により発生される。
素をするかを措定するものである。ここに例えば、値＝
３を格納すると、注目画素の格子点（i,j）のまわりの
３×３の近傍画素をメモリから読み出すようなアドレス
がアドレス発生回路107により発生される。
RUN信号213は制御回路202を動作状態にするものであ
る。RUN信号213がアクティブ状態になると、制御回路20
2は初期状態になり、その後Ixメモリ104、Iy105、Itメ
モリ106内の注目画素に対し、窓指定レジスタ201に指定
された近傍範囲の画素を１つずつ各積和回路ユニット11
0〜115に転送する動作を繰り返す。
る。RUN信号213がアクティブ状態になると、制御回路20
2は初期状態になり、その後Ixメモリ104、Iy105、Itメ
モリ106内の注目画素に対し、窓指定レジスタ201に指定
された近傍範囲の画素を１つずつ各積和回路ユニット11
0〜115に転送する動作を繰り返す。
制御回路202の動作を以下さらに説明する。制御回路2
02は初期状態になると、セレクタ203とセレクタ204を介
して、XRレジスタ205、YRレジスタ206に、“0"が送出さ
れる。この各レジスタ205,206内に注目画素の格子（i,
j）の成分、ｊ成分をそれぞれ保持する。
02は初期状態になると、セレクタ203とセレクタ204を介
して、XRレジスタ205、YRレジスタ206に、“0"が送出さ
れる。この各レジスタ205,206内に注目画素の格子（i,
j）の成分、ｊ成分をそれぞれ保持する。
XRレジスタ205の内容がｉ、YRレジスタ206の内容がｊ
であったとすると、制御回路202は次の手順で各種構成
要素を制御する。
であったとすると、制御回路202は次の手順で各種構成
要素を制御する。
つまり制御回路202は窓サイズ201の内容を２で割り、
その商を負の数にして、xCNST、yCNSTへ出力する。xCNS
Tの内容は、加算器207により、XRレジスタ205の内容と
加算される。yCNSTの内容も同様に加算器208により、YR
レジスタ206の内容と加算される。これがアドレスレジ
スタ209に格納され、読み出すメモリ画素のアドレスに
なる。その後、制御回路202は、メモリリード信号210を
アクティブにし、アドレスレジスタ209で指定された画
素を第１図に示されるIxメモリ（104）、Iyメモリ（10
5）、Itメモリ（106）から読み出しfifoライト信号211
をアクティブにすることにより、各積和ユニット110〜1
15へ今読み出した１画素を送出する。
その商を負の数にして、xCNST、yCNSTへ出力する。xCNS
Tの内容は、加算器207により、XRレジスタ205の内容と
加算される。yCNSTの内容も同様に加算器208により、YR
レジスタ206の内容と加算される。これがアドレスレジ
スタ209に格納され、読み出すメモリ画素のアドレスに
なる。その後、制御回路202は、メモリリード信号210を
アクティブにし、アドレスレジスタ209で指定された画
素を第１図に示されるIxメモリ（104）、Iyメモリ（10
5）、Itメモリ（106）から読み出しfifoライト信号211
をアクティブにすることにより、各積和ユニット110〜1
15へ今読み出した１画素を送出する。
このとき、fifoフル信号212がアクティブであれば、
各積和ユニット110〜115の入力バッファ用のfifoが一杯
であり、データが受け付けられない状態であるので、制
御回路202は、このfifoフル信号212がネガティブ状態に
なるまで、fifoライト信号211をアクティブにしないよ
うな制御を行う。
各積和ユニット110〜115の入力バッファ用のfifoが一杯
であり、データが受け付けられない状態であるので、制
御回路202は、このfifoフル信号212がネガティブ状態に
なるまで、fifoライト信号211をアクティブにしないよ
うな制御を行う。
この手順で一画素が各積和ユニット110〜115へ送られ
る。次の近傍画素の読み出しをするために、制御回路20
2は、xCNSTの値を以前のxCNSTの値を＋１した内容と
し、XRレジスタ205との間で加算を行う。yCNSTは以前の
値とし、YRレジスタ206との間で加算がなされる。従っ
てアドレスレジスタ209の次のメモリ画素アドレスは、
ｉ成分のみが＋１されたものとなる。この値をアドレス
とし、各メモリ104〜106のリードを行う。このようにｉ
成分を１ずつ加算して、各メモリ104〜106をアクセスす
る。このときｉ成分が窓の右端のアドレスと一致した時
には、ｉ成分を窓の左端の値にi,j成分を＋１した値が
加算器207,208により生成される。
る。次の近傍画素の読み出しをするために、制御回路20
2は、xCNSTの値を以前のxCNSTの値を＋１した内容と
し、XRレジスタ205との間で加算を行う。yCNSTは以前の
値とし、YRレジスタ206との間で加算がなされる。従っ
てアドレスレジスタ209の次のメモリ画素アドレスは、
ｉ成分のみが＋１されたものとなる。この値をアドレス
とし、各メモリ104〜106のリードを行う。このようにｉ
成分を１ずつ加算して、各メモリ104〜106をアクセスす
る。このときｉ成分が窓の右端のアドレスと一致した時
には、ｉ成分を窓の左端の値にi,j成分を＋１した値が
加算器207,208により生成される。
たとえば、窓サイズ201の値が３であり、XRレジスタ2
05の内容がｉ、YRレジスタ206の内容がｊである注目画
素の近傍格子アドレスとしてアドレスレジスタ209に
は、それぞれ（ｉ−1,j−１），（i,J−１），（ｉ＋l,
j−１）（ｉ−1,j），（i,j）（ｉ＋1,j），（ｉ−1,j
＋１）（i,j＋１）（ｉ＋1,j＋１）が順に格納される。
05の内容がｉ、YRレジスタ206の内容がｊである注目画
素の近傍格子アドレスとしてアドレスレジスタ209に
は、それぞれ（ｉ−1,j−１），（i,J−１），（ｉ＋l,
j−１）（ｉ−1,j），（i,j）（ｉ＋1,j），（ｉ−1,j
＋１）（i,j＋１）（ｉ＋1,j＋１）が順に格納される。
注目画素の近傍画素のアクセスが終了すると、XRレジ
スタ205の値を＋１するために、xCNSTの値を＋１とし、
加算が加算器207で行なわれセレクタ204を介してXRレジ
スタ205に、次の注目画素のアドレスの成分が格納され
る。このとき、次注目画素のｉ成分は、スキャンライン
の端でな限り、現在の値と同一とする。つまりYRレジス
タ206の内容は更新しない。これで注目画素アドレスは
（i,j）から（ｉ＋1,j）になる。
スタ205の値を＋１するために、xCNSTの値を＋１とし、
加算が加算器207で行なわれセレクタ204を介してXRレジ
スタ205に、次の注目画素のアドレスの成分が格納され
る。このとき、次注目画素のｉ成分は、スキャンライン
の端でな限り、現在の値と同一とする。つまりYRレジス
タ206の内容は更新しない。これで注目画素アドレスは
（i,j）から（ｉ＋1,j）になる。
ｊ成分がスキャンラインの端と一致した場合は制御回
路202はXRレジスタ205の値を０とし、YRレジスタ206の
内容を＋１する。これは、セレクタ204で０をXRレジス
タ205に入力し、YRレジスタ206とYR STの値を１にし、
加算を加算器208で行い、セレクタ203でYRレジスタ206
に加算結果を入力する事で行われる。これで注目画素ア
ドレスは（0,j＋１）になる。
路202はXRレジスタ205の値を０とし、YRレジスタ206の
内容を＋１する。これは、セレクタ204で０をXRレジス
タ205に入力し、YRレジスタ206とYR STの値を１にし、
加算を加算器208で行い、セレクタ203でYRレジスタ206
に加算結果を入力する事で行われる。これで注目画素ア
ドレスは（0,j＋１）になる。
すべてのスキャンラインに対する処理が終了する、つ
まり全メモリの内容が読み出されると制御回路202は待
ち状態になる。
まり全メモリの内容が読み出されると制御回路202は待
ち状態になる。
第３図は、第１図に示した積和ユニット110〜115の１
つを示す詳細ブロック図である。第３図の構成におい
て、fifoメモリ301,fifoメモリ302には、第１図のIxメ
モリ104、Iyメモリ105、Itメモリ106から読み出された
画素値が格納される。各fifoメモリ301,302への格納タ
イミングはそれぞれ、QWRiTE1,QWRiTE2で与えられる。
それぞれのfifoメモリ301,302の容量を越えてデータが
送られるのを防ぐために、fifoメモリ301,302に空スロ
ットがない場合は、QFULL1,QFULL2がアクティブにな
り、以後のデータは送られてこない。
つを示す詳細ブロック図である。第３図の構成におい
て、fifoメモリ301,fifoメモリ302には、第１図のIxメ
モリ104、Iyメモリ105、Itメモリ106から読み出された
画素値が格納される。各fifoメモリ301,302への格納タ
イミングはそれぞれ、QWRiTE1,QWRiTE2で与えられる。
それぞれのfifoメモリ301,302の容量を越えてデータが
送られるのを防ぐために、fifoメモリ301,302に空スロ
ットがない場合は、QFULL1,QFULL2がアクティブにな
り、以後のデータは送られてこない。
窓サイズ指定で与えられた値の２乗を掛け算器304で
行い、その結果は窓画素数保持のＮレジスタ309に格納
される。制御回路305はその値を利用してfifoメモリ30
1,302から何個データを取り出し、積和演算を施せばよ
いかを決定する。
行い、その結果は窓画素数保持のＮレジスタ309に格納
される。制御回路305はその値を利用してfifoメモリ30
1,302から何個データを取り出し、積和演算を施せばよ
いかを決定する。
制御回路305は、RUN信号がアクティブになると、fifo
メモリ301,302にデータがある限り、すなわち、QEMP信
号がアクティブでない限り、以下の動作を繰り返す。
メモリ301,302にデータがある限り、すなわち、QEMP信
号がアクティブでない限り、以下の動作を繰り返す。
先ず、CLEAR信号により、セクタ307を介して０をＲレ
ジスタ308に格納する。また、Ｎレジスタ309の内容も、
カウンタ310へコピーする。この時、QREAD信号をアクテ
ィブにする事も行い、fifoメモリ301,fifoメモリ302か
らデータを読み出す。それぞれのデータは掛け算器303
で積が取られ、その結果はＲレジスタ308の内容と、演
算器306で加算され、セレクタ307を介してＲレジスタ30
8に格納される。
ジスタ308に格納する。また、Ｎレジスタ309の内容も、
カウンタ310へコピーする。この時、QREAD信号をアクテ
ィブにする事も行い、fifoメモリ301,fifoメモリ302か
らデータを読み出す。それぞれのデータは掛け算器303
で積が取られ、その結果はＲレジスタ308の内容と、演
算器306で加算され、セレクタ307を介してＲレジスタ30
8に格納される。
次にカウンタ310の内容を１減算する。カウンタ310の
内容が０でない限り、制御回路305はQREADにアクティブ
にし、次データをfifoメモリ301,fifoメモリ302から読
み出してそのデータ間で積を取り、Ｒレジスタ308との
間で和を計算する。結果はＲレジスタ308に再び格納さ
れる。
内容が０でない限り、制御回路305はQREADにアクティブ
にし、次データをfifoメモリ301,fifoメモリ302から読
み出してそのデータ間で積を取り、Ｒレジスタ308との
間で和を計算する。結果はＲレジスタ308に再び格納さ
れる。
もし、カウンタ310の内容が０であるば、Ｒレジスタ3
08の内容をOUT PUTデータとし、WRiTE信号をアクティブ
にし、第１図にした次段の行列式計算ユニット116に積
和データを送る。但し、行列式計算ユニット116の入力
受け付け準備ができていない時、すなわちQFULL信号が
アクティブである間は、OUTPUT DATAを送る動作はQFULL
信号がインアクティブになるまで延長される。
08の内容をOUT PUTデータとし、WRiTE信号をアクティブ
にし、第１図にした次段の行列式計算ユニット116に積
和データを送る。但し、行列式計算ユニット116の入力
受け付け準備ができていない時、すなわちQFULL信号が
アクティブである間は、OUTPUT DATAを送る動作はQFULL
信号がインアクティブになるまで延長される。
この動作が終了すると、積和データ１つが行列式計算
ユニット116へ転送された事になる。従って制御回路305
は、次の積和データの生成のために、窓画素数保持のＮ
レジスタ309の内容をカウンタ310へコピーし、QREAD信
号をアクティブにし、積和演算動作を再度開始する。
ユニット116へ転送された事になる。従って制御回路305
は、次の積和データの生成のために、窓画素数保持のＮ
レジスタ309の内容をカウンタ310へコピーし、QREAD信
号をアクティブにし、積和演算動作を再度開始する。
上記に述べた動作により、第１図のSxx積和ユニット1
10が出力するデータＤの値は、Ｎを近傍窓の一辺のサイ
ズとしてIxxメモリ104の（i,j）要素をIxijで表すと となる。つまり、第（７−ａ）式の値が計算される。
10が出力するデータＤの値は、Ｎを近傍窓の一辺のサイ
ズとしてIxxメモリ104の（i,j）要素をIxijで表すと となる。つまり、第（７−ａ）式の値が計算される。
第４図は、第１図に示した行列式計算ユニットすなわ
ち第３図で示される積和ユニットの出力を受けて行列式
を計算するユニットの詳細の構成を示すブロック結線図
である。
ち第３図で示される積和ユニットの出力を受けて行列式
を計算するユニットの詳細の構成を示すブロック結線図
である。
入力データはSxx,Sxt,Syy,Sxy,Stt,Styの６つであ
り、各データはそれぞれ入力fifoメモリ401,402,403,40
4,405,406に格納される。格納タイミングは、それぞれW
txx,Wtxt,Wtyy,Wtxy,Wttt,Wtytで与えられる。また各入
力fifoメモリ401〜406に空ス８ロットがない場合には、
それぞれFULLxx,FULLxt,FULLyy,FULLxy,FULLtt,FULLty
がアクティブになり、各積和ユニット110〜115からデー
タが送られてくるのを防ぐ役割をする。
り、各データはそれぞれ入力fifoメモリ401,402,403,40
4,405,406に格納される。格納タイミングは、それぞれW
txx,Wtxt,Wtyy,Wtxy,Wttt,Wtytで与えられる。また各入
力fifoメモリ401〜406に空ス８ロットがない場合には、
それぞれFULLxx,FULLxt,FULLyy,FULLxy,FULLtt,FULLty
がアクティブになり、各積和ユニット110〜115からデー
タが送られてくるのを防ぐ役割をする。
まず、制御回路407は、行列式 det〔Ｓ〕＝SxxSyyStt＋SxySytSxt＋SxtSxySy ＝SxxSyt2＋SyySxt2−SttSxy2 の値を計算するために各バードウェア信号を作り出す。
以下その動作を述べる。
以下その動作を述べる。
RUN信号がアクティブになると、制御回路407は以下の
動作を繰り返す。すなわち、CLEAR信号がアクティブに
なり、セレクタ418を介して“0"がレジスタ417に入力さ
れる。レジスタ417への書き込みはCLK信号で行なわれ
る。次に、fifoメモリ401〜406の中味が空でない、つま
りQEMPがアクティブでない限り、RD信号をアクティブに
して、fifoメモリ401〜406の内容を読み出す。読み出さ
れた内容は簡単のために、fifoメモリ401〜406に対する
入力と同じ名前を用いる。つまり、fifoメモリ401の出
力はSxx,fifoメモリ402の出力はSxt,fifoメモリ403の出
力はSyy,fifoメモリ404の出力はSxy,fifoメモリ405の出
力はStt,fifoメモリ406の出力はSytとする。制御回路40
7の出力信号S2,S1,S0はセレクタ408,409,410の切り換え
信号である。セレクタ408,409,410は、最初はそれぞれS
xx,Syy,Sttを選ぶようになっており、掛け算器411,412
により、Sxx・Syy・Sttが計算される。この値とレジス
タ417の値、この場合は“0"との間で、加算器413により
加算が行なわれ、その結果がセレクタ418を介してレジ
スタ417に格納される。従ってレジスタ417の内容はSxx
・Syy・Sttとなる。次に、S2,S1,S0によりセレクタ408,
409,410,では、Sxt,Sxy,Sytが選ばれ、掛け算器411,412
によりSxt,Sxy,Sytが掛算される。これと、レジスタ417
との間で加算が施され、レジスタ417にはSxx・Syy・Stt
＋Sxt・Sxy・Sytが格納される。以下簡単に説明を行う
とセレクタ408ではSxt,セレクタ409ではSxy,セレクタ41
0ではSytが選ばれ、それぞれ掛け合わされて、レジスタ
417との間で加算が施され、レジスタ417の内容はSxx・S
yy・Stt＋Sxy・Syt・Sxt＋Sxt・Sxy・Sytとなる。次
に、セレクタ408ではSxxを、セレクタ409ではSytを、セ
レクタ410ではSytを選び、、各々が掛け合わされて、今
度は演算器413は減算コードで動作し、レジスタ417の内
容から掛け算結果が演算され、レジスタ417に格納され
る。従ってレジスタ417の内よは、Sxx・Syy・Stt・Sxy
・Syt・Sxt＋Sxt・Sxy・Syt−Sxx・Syt2となる。次に、
セレグタ408、セレクタ409、セレクタ410で、Sxt,Syy,S
xtを選び、それらを掛け合わせ、演算器413でレジスタ4
17から減算を行う。従ってレジスタ417の内容は、Sxx・
Syy・Stt＋Sxy・Syt・Sxt＋Sxt・Sxy・Syt−Sxx・Syt2
−Syy・Sxt2となる。最後にセレクタ408、セレクタ40
9、セレクタ410で、Sxy,Sxy,Sttを選び、それらを掛け
合わせ、演算器413でレジスタ417の内容との間で減算を
行う。これでレジスタ417には行列式の値である SxxSyyStt＋SxySytSxt＋SxtSxySyt −SxxSyt2−SyySxt2−SttSxy2 が格納される。
動作を繰り返す。すなわち、CLEAR信号がアクティブに
なり、セレクタ418を介して“0"がレジスタ417に入力さ
れる。レジスタ417への書き込みはCLK信号で行なわれ
る。次に、fifoメモリ401〜406の中味が空でない、つま
りQEMPがアクティブでない限り、RD信号をアクティブに
して、fifoメモリ401〜406の内容を読み出す。読み出さ
れた内容は簡単のために、fifoメモリ401〜406に対する
入力と同じ名前を用いる。つまり、fifoメモリ401の出
力はSxx,fifoメモリ402の出力はSxt,fifoメモリ403の出
力はSyy,fifoメモリ404の出力はSxy,fifoメモリ405の出
力はStt,fifoメモリ406の出力はSytとする。制御回路40
7の出力信号S2,S1,S0はセレクタ408,409,410の切り換え
信号である。セレクタ408,409,410は、最初はそれぞれS
xx,Syy,Sttを選ぶようになっており、掛け算器411,412
により、Sxx・Syy・Sttが計算される。この値とレジス
タ417の値、この場合は“0"との間で、加算器413により
加算が行なわれ、その結果がセレクタ418を介してレジ
スタ417に格納される。従ってレジスタ417の内容はSxx
・Syy・Sttとなる。次に、S2,S1,S0によりセレクタ408,
409,410,では、Sxt,Sxy,Sytが選ばれ、掛け算器411,412
によりSxt,Sxy,Sytが掛算される。これと、レジスタ417
との間で加算が施され、レジスタ417にはSxx・Syy・Stt
＋Sxt・Sxy・Sytが格納される。以下簡単に説明を行う
とセレクタ408ではSxt,セレクタ409ではSxy,セレクタ41
0ではSytが選ばれ、それぞれ掛け合わされて、レジスタ
417との間で加算が施され、レジスタ417の内容はSxx・S
yy・Stt＋Sxy・Syt・Sxt＋Sxt・Sxy・Sytとなる。次
に、セレクタ408ではSxxを、セレクタ409ではSytを、セ
レクタ410ではSytを選び、、各々が掛け合わされて、今
度は演算器413は減算コードで動作し、レジスタ417の内
容から掛け算結果が演算され、レジスタ417に格納され
る。従ってレジスタ417の内よは、Sxx・Syy・Stt・Sxy
・Syt・Sxt＋Sxt・Sxy・Syt−Sxx・Syt2となる。次に、
セレグタ408、セレクタ409、セレクタ410で、Sxt,Syy,S
xtを選び、それらを掛け合わせ、演算器413でレジスタ4
17から減算を行う。従ってレジスタ417の内容は、Sxx・
Syy・Stt＋Sxy・Syt・Sxt＋Sxt・Sxy・Syt−Sxx・Syt2
−Syy・Sxt2となる。最後にセレクタ408、セレクタ40
9、セレクタ410で、Sxy,Sxy,Sttを選び、それらを掛け
合わせ、演算器413でレジスタ417の内容との間で減算を
行う。これでレジスタ417には行列式の値である SxxSyyStt＋SxySytSxt＋SxtSxySyt −SxxSyt2−SyySxt2−SttSxy2 が格納される。
このとき、レジスタ414には、Sxxが、レジスタ415に
のSyyが、レジスタ416にはSttが格されている。
のSyyが、レジスタ416にはSttが格されている。
制御回路407は、このときFULL信号がアクティブでな
ければ、Wt信号をアクティブにし、SXX,SYY,STT及びdet
〔Ｓ〕を第１図に示したQ,P発生器117に送る。
ければ、Wt信号をアクティブにし、SXX,SYY,STT及びdet
〔Ｓ〕を第１図に示したQ,P発生器117に送る。
これで制御回路407はデータを１つ出力する仕事が終
了したので、再度、fifoメモリ401,402,403,404,405,40
6からデータを読み出し、SXX,SYY,STT,det〔Ｓ〕を生成
する作業を繰り返す。
了したので、再度、fifoメモリ401,402,403,404,405,40
6からデータを読み出し、SXX,SYY,STT,det〔Ｓ〕を生成
する作業を繰り返す。
第５図は第１図に示したQ,P発生器117の詳細ブロック
結線図である。
結線図である。
第４図の行列式演算ユニット116からの出力データdet
〔Ｓ〕,SXX,SYY,及びSTTはWT信号によりそれぞれfifoメ
モリ501,fifoメモリ502,fifoメモリ503、fifoメモリ504
に格納される。このとき、各fifoメモリ501〜504に空き
スロットがなに場合には、FULL信号をアクティブにする
ことで行列式演算ユニット116からデータが送られてく
るのを防ぐ。
〔Ｓ〕,SXX,SYY,及びSTTはWT信号によりそれぞれfifoメ
モリ501,fifoメモリ502,fifoメモリ503、fifoメモリ504
に格納される。このとき、各fifoメモリ501〜504に空き
スロットがなに場合には、FULL信号をアクティブにする
ことで行列式演算ユニット116からデータが送られてく
るのを防ぐ。
制御回路505は、RUN信号がアクティブになると、det
〔Ｓ〕,SXX,SYY,STTから出力データQij,Pij及び他のメ
モリ等に結果を格納するWT信号の発生を行うための各種
構成要素の制御信号の生成を行う。以下にその動作を述
べる。
〔Ｓ〕,SXX,SYY,STTから出力データQij,Pij及び他のメ
モリ等に結果を格納するWT信号の発生を行うための各種
構成要素の制御信号の生成を行う。以下にその動作を述
べる。
制御回路505は、QEMPがアクティブでない、つまりfif
oメモリ501,502,503,504にデータが格納されている時に
は、RD信号をアクティブにし、それぞれのfifoメモリ50
1〜504の内容を読み出す。以後簡単のため、fifoメモリ
501から読み出されたデータをded〔Ｓ〕,fifoメモリ502
からのデータは、Sxx,fifoメモリ503からのデータはSy
y,fifoメモリ504からのデータはSttとする。
oメモリ501,502,503,504にデータが格納されている時に
は、RD信号をアクティブにし、それぞれのfifoメモリ50
1〜504の内容を読み出す。以後簡単のため、fifoメモリ
501から読み出されたデータをded〔Ｓ〕,fifoメモリ502
からのデータは、Sxx,fifoメモリ503からのデータはSy
y,fifoメモリ504からのデータはSttとする。
det〔Ｓ〕はシフタ506により２ビット左シフトされ、
その出力は4det〔Ｓ〕となる。
その出力は4det〔Ｓ〕となる。
加算器508はSxxとSyyを加算し、その結果が乗算器509
に送出され、その出力は（Sxx＋Syy）２となる。
に送出され、その出力は（Sxx＋Syy）２となる。
乗算器510は上記結果とSttを掛け合わす事を行う。そ
のため、結果は（Sxx＋Syy）2Sttとなる。
のため、結果は（Sxx＋Syy）2Sttとなる。
また加算器511は上記計算した値と、Ｒの間で加算を
行うものである。このＲの値は第（17），（18）式で示
される。σs 4σt 2に対応するものであり、次の値を設定
する。
行うものである。このＲの値は第（17），（18）式で示
される。σs 4σt 2に対応するものであり、次の値を設定
する。
｛0.52×（窓に含まれる画素数｝２ 従って、加算器511の出力は （Sxx＋Syy）2Stt＋σs 4σt 2 となる。なお、ここでＲの値はσs 4σt 2と等しい。
そして減算器507はシフタ506の出力結果4det〔Ｓ〕
と、乗算器510の出力結果（Sxx＋Syy）2Sttとの間の差
を取り、出力結果は（Sxx＋Syy）2Stt−4det〔Ｓ〕とな
る。
と、乗算器510の出力結果（Sxx＋Syy）2Sttとの間の差
を取り、出力結果は（Sxx＋Syy）2Stt−4det〔Ｓ〕とな
る。
さらに、割り算器512はシフタ506の出力結果4det
〔Ｓ〕と、加算器511の出力結果（Sxx＋Syy）2Stt＋σs
4σt 2の間で除算を行ない、出力結果は となる。
〔Ｓ〕と、加算器511の出力結果（Sxx＋Syy）2Stt＋σs
4σt 2の間で除算を行ない、出力結果は となる。
この値は出現特徴量に一致する。
一方、割り算器513は減算器507の出力結果 （Sxx＋Syy）2Stt−4det〔Ｓ〕 と、加算器511の出力結果 （Sxx＋Syy）2Stt＋σs 4σt 2 との間で除算を行ない、出力結果は となる。この値は運動特徴量に一致する。
以上のように、割り算器512,513の出力により、出現
特徴量、及び運動特徴量を求めることができ、同画像デ
ータの各点、各点に対し、その点の特徴が、運動的なも
のか、非運動的なものかを検出し、画画像に含まれる物
体の動きのみならず、予期せぬ物体の出現や異状物体の
検出が行なえる。
特徴量、及び運動特徴量を求めることができ、同画像デ
ータの各点、各点に対し、その点の特徴が、運動的なも
のか、非運動的なものかを検出し、画画像に含まれる物
体の動きのみならず、予期せぬ物体の出現や異状物体の
検出が行なえる。
発明の効果 以上のように本発明は、まず画像の中の領域が運動的
なものかそれとも非運動的なもの（出現／消滅）かを分
類することを速度場の計算に先立って行うものであり、
従って本発明はいままで従来法では正確に取り扱えなか
った、画像中の予期せぬ運動や異状物体の検出を実現で
き、人間の視覚特性にマッチしたTV画像の高効率圧縮方
式の実現等に応用でき、その効果は大きい。
なものかそれとも非運動的なもの（出現／消滅）かを分
類することを速度場の計算に先立って行うものであり、
従って本発明はいままで従来法では正確に取り扱えなか
った、画像中の予期せぬ運動や異状物体の検出を実現で
き、人間の視覚特性にマッチしたTV画像の高効率圧縮方
式の実現等に応用でき、その効果は大きい。
第１図は本発明の一実施例における動画像の運動，非運
動領域検出装置の全体ブロック結線図、第２図は第１図
のアドレス発生回路の詳細ブロック結線図、第３図は第
１図の積和ユニット回路の詳細ブロック結線図、第４図
は第１図行列式計算ユニットの詳細ブロック結線図、第
５図は第１図のQ,P発生器の詳細ブロック結線図、第６
図は従来の速度場検出回路のブロック結線図、第７図は
従来の動画像のデータ切り換わり判定回路のブロック結
線図である。 101,102……画像メモリ、103……勾配演算ユニット、10
4〜106……格納メモリ、107……アドレス発生回路、110
〜115……積和ユニット、116……行列式計算ユニット、
117……Q,P発生器。
動領域検出装置の全体ブロック結線図、第２図は第１図
のアドレス発生回路の詳細ブロック結線図、第３図は第
１図の積和ユニット回路の詳細ブロック結線図、第４図
は第１図行列式計算ユニットの詳細ブロック結線図、第
５図は第１図のQ,P発生器の詳細ブロック結線図、第６
図は従来の速度場検出回路のブロック結線図、第７図は
従来の動画像のデータ切り換わり判定回路のブロック結
線図である。 101,102……画像メモリ、103……勾配演算ユニット、10
4〜106……格納メモリ、107……アドレス発生回路、110
〜115……積和ユニット、116……行列式計算ユニット、
117……Q,P発生器。
Claims (1)
- 【請求項１】時間的に連続する２つの動画像データか
ら、ｘ成分、ｙ成分、時間成分における各画素の微分結
果を格納する３つの記憶手段と、前記３つの記憶手段の
すべての２つの組み合わせた６通りについて、記憶手段
中の各画素の近傍画素値を読み出し読み出された画素値
により積和量を計算する第１の演算手段と、その６つの
積和結果から、ｘ成分、ｙ成分、時間成分のベクトルの
共分散行列式と等価な値を計算する第２の演算手段と、
その演算結果と、前記記憶手段に格納された画素データ
値から空間微分エネルギーの２乗と時間微分エネルギー
の積を計算する第３の演算手段と、前記第３の演算手段
の出力に誤差エネルギーを表す定数項を加算した結果と
の間で比を取りその値の大小により、運動、非運動領域
の判定を行う判定手段とを具備した動画像の運動、非運
動領域検出装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1033046A JP2845473B2 (ja) | 1989-02-13 | 1989-02-13 | 動画像の運動、非運動領域検出装置 |
| US07/476,906 US5216501A (en) | 1989-02-13 | 1990-02-08 | Apparatus for detecting moving and unmoving regions in a moving image using a calculator |
| EP90102744A EP0383245B1 (en) | 1989-02-13 | 1990-02-12 | Apparatus for detecting moving and unmoving regions |
| DE69026633T DE69026633T2 (de) | 1989-02-13 | 1990-02-12 | Vorrichtung zur Feststellung von sich bewegenden und sich nicht bewegenden Regionen |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1033046A JP2845473B2 (ja) | 1989-02-13 | 1989-02-13 | 動画像の運動、非運動領域検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH02212982A JPH02212982A (ja) | 1990-08-24 |
| JP2845473B2 true JP2845473B2 (ja) | 1999-01-13 |
Family
ID=12375841
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP1033046A Expired - Lifetime JP2845473B2 (ja) | 1989-02-13 | 1989-02-13 | 動画像の運動、非運動領域検出装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US5216501A (ja) |
| EP (1) | EP0383245B1 (ja) |
| JP (1) | JP2845473B2 (ja) |
| DE (1) | DE69026633T2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6965644B2 (en) * | 1992-02-19 | 2005-11-15 | 8×8, Inc. | Programmable architecture and methods for motion estimation |
| JP2789967B2 (ja) * | 1992-11-02 | 1998-08-27 | 松下電器産業株式会社 | 動きベクトル検出装置 |
| FR2719397B1 (fr) * | 1994-04-27 | 1996-07-19 | Sgs Thomson Microelectronics | Dispositif d'alimentation en pixels d'une série d'opérateurs d'un circuit de compression d'images mobiles. |
| JP2000511366A (ja) * | 1995-10-25 | 2000-08-29 | サーノフ コーポレイション | ４分割ツリーベースの可変ブロックサイズ動き推定装置および方法 |
| FR2779549B1 (fr) * | 1998-06-08 | 2000-09-01 | Thomson Csf | Procede de separation des composantes dynamique et statique d'une suite d'images |
| CN100345172C (zh) * | 2002-04-24 | 2007-10-24 | 松下电器产业株式会社 | 图像显示装置 |
| EP2043045B1 (de) * | 2007-09-20 | 2011-09-07 | Delphi Technologies, Inc. | Verfahren zur Objektverfolgung |
| CN102077268A (zh) * | 2008-09-08 | 2011-05-25 | 内德·M·阿多特 | 数字视频滤波器和图像处理 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR930006866B1 (ko) * | 1984-09-07 | 1993-07-24 | 쏘니 가부시기가이샤 | 텔레비젼신호의 움직임검출회로 |
| US4719584A (en) * | 1985-04-01 | 1988-01-12 | Hughes Aircraft Company | Dual mode video tracker |
| FR2624682B2 (fr) * | 1987-03-23 | 1990-03-30 | Thomson Csf | Procede et dispositif d'estimation de mouvement dans une sequence d'images animees |
| FR2623040B1 (fr) * | 1987-11-09 | 1990-02-09 | France Etat | Procede et dispositif de traitement de signaux d'image a balayage de trame entrelace |
| US4979036A (en) * | 1988-05-31 | 1990-12-18 | U.S. Philips Corporation | Television motion detection arrangement |
| US4980762A (en) * | 1989-10-13 | 1990-12-25 | Massachusetts Institute Of Technology | Method and apparatus for image processing to obtain three dimensional motion and depth |
-
1989
- 1989-02-13 JP JP1033046A patent/JP2845473B2/ja not_active Expired - Lifetime
-
1990
- 1990-02-08 US US07/476,906 patent/US5216501A/en not_active Expired - Lifetime
- 1990-02-12 DE DE69026633T patent/DE69026633T2/de not_active Expired - Lifetime
- 1990-02-12 EP EP90102744A patent/EP0383245B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| EP0383245A3 (en) | 1992-09-02 |
| DE69026633D1 (de) | 1996-05-30 |
| US5216501A (en) | 1993-06-01 |
| EP0383245A2 (en) | 1990-08-22 |
| DE69026633T2 (de) | 1996-09-19 |
| EP0383245B1 (en) | 1996-04-24 |
| JPH02212982A (ja) | 1990-08-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hart | High-speed PIV analysis using compressed image correlation | |
| Liu et al. | Accuracy vs efficiency trade-offs in optical flow algorithms | |
| US8335257B2 (en) | Vector selection decision for pixel interpolation | |
| CN109685797B (zh) | 骨骼点检测方法、装置、处理设备及存储介质 | |
| JP2845473B2 (ja) | 動画像の運動、非運動領域検出装置 | |
| KR20160123871A (ko) | 영상 광류를 추정하는 방법 및 이를 위한 장치 | |
| CN107784281A (zh) | 人脸检测方法、装置、设备及计算机可读介质 | |
| Nguyen et al. | Multiple human tracking in drone image | |
| CN113807330B (zh) | 面向资源受限场景的三维视线估计方法及装置 | |
| JP2527182B2 (ja) | 画像処理装置 | |
| JPH0220988A (ja) | 動画像符号化装置における動ベクトル検出方式 | |
| Ihm et al. | Low-cost depth camera pose tracking for mobile platforms | |
| JPS61140271A (ja) | 画像拡大縮小回路 | |
| JP2940247B2 (ja) | 動物体輪郭検出装置 | |
| JPH08195956A (ja) | 動き量検出方法及び動き量検出装置 | |
| JPH08265778A (ja) | 動き量検出方法及び動き量検出装置 | |
| JP2752007B2 (ja) | 動きベクトル検出装置 | |
| Qin et al. | Object tracking using distribution fields with correlation coefficients | |
| WO2023152971A1 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| JP4139342B2 (ja) | 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JPH07222170A (ja) | 動き量検出方法及び動き量検出装置 | |
| Puga | Velocity estimation for Autonomous Underwater Vehicles using vision-based systems | |
| JPH07222157A (ja) | 動き量検出方法及び動き量検出装置 | |
| JPH0728406B2 (ja) | 動きベクトル検出装置 | |
| KR20240049106A (ko) | 동적 3차원 공간에 대한 2차원 장면의 복원 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091030 Year of fee payment: 11 |
|
| EXPY | Cancellation because of completion of term | ||
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091030 Year of fee payment: 11 |