JP2973223B2 - 動画像の動き検出方式 - Google Patents
動画像の動き検出方式Info
- Publication number
- JP2973223B2 JP2973223B2 JP23221990A JP23221990A JP2973223B2 JP 2973223 B2 JP2973223 B2 JP 2973223B2 JP 23221990 A JP23221990 A JP 23221990A JP 23221990 A JP23221990 A JP 23221990A JP 2973223 B2 JP2973223 B2 JP 2973223B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- area
- motion
- corner
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Color Television Systems (AREA)
- Processing Of Color Television Signals (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Description
【発明の詳細な説明】 （産業上の利用分野） 本発明は、動画像信号の動き補償フレーム間予測符号
化や、画像中の移動物体の動き認識などに用いられる動
画像の動き検出方式に関する。
化や、画像中の移動物体の動き認識などに用いられる動
画像の動き検出方式に関する。
（従来の技術） 従来、動画像の動き検出方式としてはブロックマッチ
ング方式が用いられている。この検出方式では、供給さ
れた画像を決められた大きさの小ブロックに分割し、各
小ブロック毎にフレーム間ブロックマッチングを行い、
前フレーム上で最も相関の強い位置を検出して該当小ブ
ロックのフレーム間動きベクトルを出力する。
ング方式が用いられている。この検出方式では、供給さ
れた画像を決められた大きさの小ブロックに分割し、各
小ブロック毎にフレーム間ブロックマッチングを行い、
前フレーム上で最も相関の強い位置を検出して該当小ブ
ロックのフレーム間動きベクトルを出力する。
また、他の動き検出方式として勾配法が用いられるこ
ともある。この検出方式では画像平面上での輝度変化が
連続的であるという仮定のもとに、動き検出位置での輝
度勾配とフレーム間輝度変化量から画素毎あるいは小ブ
ロック毎のフレーム間動きベクトルを計算により求め
る。
ともある。この検出方式では画像平面上での輝度変化が
連続的であるという仮定のもとに、動き検出位置での輝
度勾配とフレーム間輝度変化量から画素毎あるいは小ブ
ロック毎のフレーム間動きベクトルを計算により求め
る。
（発明が解決しようとする課題） ところで、画像平面上で統一的に動いている独立領域
があると仮定し、これを動き検出の対象と考えると、小
ブロック毎のブロックマッチングによる動き検出方式で
は、動きの異なる複数の領域にまたがったブロックで動
きベクトルの誤検出が多くなる。また、ブロックマッチ
ング方式では画像平面上での動きが平行移動であること
を前提としているから、画像の拡大・縮小・回転運動に
対しても誤検出が多くなる。
があると仮定し、これを動き検出の対象と考えると、小
ブロック毎のブロックマッチングによる動き検出方式で
は、動きの異なる複数の領域にまたがったブロックで動
きベクトルの誤検出が多くなる。また、ブロックマッチ
ング方式では画像平面上での動きが平行移動であること
を前提としているから、画像の拡大・縮小・回転運動に
対しても誤検出が多くなる。
一方、勾配法では画像平面上での輝度が連続的に変化
することを前提としているから、輝度が急峻に変化する
領域境界部分では動き検出の誤り率が高くなる。また、
同様に領域内部で輝度変化が少ない部分でも誤検出率が
高くなる。すなわちブロックマッチング法や勾配法で
は、ある統一的な動きベクトルを発生すべき領域内で異
なる動きベクトルを検出することがある。
することを前提としているから、輝度が急峻に変化する
領域境界部分では動き検出の誤り率が高くなる。また、
同様に領域内部で輝度変化が少ない部分でも誤検出率が
高くなる。すなわちブロックマッチング法や勾配法で
は、ある統一的な動きベクトルを発生すべき領域内で異
なる動きベクトルを検出することがある。
本発明の目的は、画像平面上での独立した領域毎の動
きをより精度よく検出すると共に、画像の拡大・縮小・
回転運動に対しても精度の高い動き検出を行うことがで
きる動画像の動き検出方式を提供することにある。
きをより精度よく検出すると共に、画像の拡大・縮小・
回転運動に対しても精度の高い動き検出を行うことがで
きる動画像の動き検出方式を提供することにある。
（課題を解決するための手段） 本発明に係る動画像の動き検出方式は、動画像の分割
領域毎にフレーム間動き検出を行う動き検出方式であっ
て、画像を複数の領域に分割し、領域分割情報を出力す
る領域分割手段と、該領域分割情報に基づきそれぞれの
領域を抽出した領域抽出画像を生成する領域抽出手段
と、該領域抽出画像に基づき該抽出領域の特徴点である
領域輪郭線のコーナーを検出するコーナー検出手段と、
該抽出領域毎に検出されたコーナーのフレーム間対応位
置からコーナーの動きを検出し、該コーナーの動きを該
当領域の動きベクトルとして出力する動きベクトル検出
手段とを備えることを特徴とする。
領域毎にフレーム間動き検出を行う動き検出方式であっ
て、画像を複数の領域に分割し、領域分割情報を出力す
る領域分割手段と、該領域分割情報に基づきそれぞれの
領域を抽出した領域抽出画像を生成する領域抽出手段
と、該領域抽出画像に基づき該抽出領域の特徴点である
領域輪郭線のコーナーを検出するコーナー検出手段と、
該抽出領域毎に検出されたコーナーのフレーム間対応位
置からコーナーの動きを検出し、該コーナーの動きを該
当領域の動きベクトルとして出力する動きベクトル検出
手段とを備えることを特徴とする。
本発明に係る他の動画像の動き検出方式は、動画像の
分割領域毎にフレーム間動き検出を行う動き検出方式で
あって、画像を複数の領域に分割し、領域分割情報を出
力する領域分割手段と、該領域分割情報に基づきそれぞ
れの領域を抽出した領域抽出画像を生成する領域抽出手
段と、該領域抽出画像に基づき該抽出領域の特徴点であ
る領域輪郭線のコーナーを検出するコーナー検出手段
と、該検出されたコーナーとこれに連なるエッジ点列と
からパタン化画像を生成するパタン化手段と、該パタン
化画像から前記コーナーの近傍領域をテンプレートとし
て切り出し、該テンプレートを用いた重み付けフレーム
間マッチングを行うことによって前記コーナーのフレー
ム間の動きを検出し、該コーナーの動きを該当抽出領域
の動きベクトルとして出力する動きベクトル検出手段と
を備えることを特徴とする。
分割領域毎にフレーム間動き検出を行う動き検出方式で
あって、画像を複数の領域に分割し、領域分割情報を出
力する領域分割手段と、該領域分割情報に基づきそれぞ
れの領域を抽出した領域抽出画像を生成する領域抽出手
段と、該領域抽出画像に基づき該抽出領域の特徴点であ
る領域輪郭線のコーナーを検出するコーナー検出手段
と、該検出されたコーナーとこれに連なるエッジ点列と
からパタン化画像を生成するパタン化手段と、該パタン
化画像から前記コーナーの近傍領域をテンプレートとし
て切り出し、該テンプレートを用いた重み付けフレーム
間マッチングを行うことによって前記コーナーのフレー
ム間の動きを検出し、該コーナーの動きを該当抽出領域
の動きベクトルとして出力する動きベクトル検出手段と
を備えることを特徴とする。
（作用） 本発明に係る動画像の動き検出方式は、その基本的な
作用として、まず入力画像を複数の独立した領域に分割
し、分割された各領域毎に動きを持つことを前提として
動き検出を行う。そこでこの動き検出方式の原理を第６
図を用いて説明する。一般に入力画像は複数の領域から
構成され、第６図（ａ）のように領域分割することがで
きる。このような領域分割は入力画像の限定信号レベル
画像への多値化や、信号レベル変動の急峻な部分を検出
するエッヂ検出等によって実現される。次に、分割した
各領域の動き検出を行うが、ここでは領域Ａが他の領域
とは独立した動きを示していると仮定してこの領域Ａに
注目する。いま第６図（ａ）のように複数の領域が混在
する画像上でブロックマッチングにより動き検出をおこ
なったとすると、領域Ａの境界部で周囲の領域B,D等と
またがった小ブロックでは、これら動きの異なる周囲の
領域の影響で誤検出率が大きくなる。そこで領域分割結
果をもとに動き検出の対象とする領域Ａを抽出して、第
６図（ｂ）のような領域抽出画像を生成する。この領域
抽出画像は領域Ａのみを残した画像で、その他の部分は
全て０などの一定値で置き換えたものである。領域Ａの
動き検出はこの領域抽出画像上でおこなう。こうするこ
とで周囲の領域の信号は全て切り捨てられているから、
領域Ａの境界部の動き検出において、周囲の領域の影響
を受けることなくより正確な動き検出を行うことができ
る。
作用として、まず入力画像を複数の独立した領域に分割
し、分割された各領域毎に動きを持つことを前提として
動き検出を行う。そこでこの動き検出方式の原理を第６
図を用いて説明する。一般に入力画像は複数の領域から
構成され、第６図（ａ）のように領域分割することがで
きる。このような領域分割は入力画像の限定信号レベル
画像への多値化や、信号レベル変動の急峻な部分を検出
するエッヂ検出等によって実現される。次に、分割した
各領域の動き検出を行うが、ここでは領域Ａが他の領域
とは独立した動きを示していると仮定してこの領域Ａに
注目する。いま第６図（ａ）のように複数の領域が混在
する画像上でブロックマッチングにより動き検出をおこ
なったとすると、領域Ａの境界部で周囲の領域B,D等と
またがった小ブロックでは、これら動きの異なる周囲の
領域の影響で誤検出率が大きくなる。そこで領域分割結
果をもとに動き検出の対象とする領域Ａを抽出して、第
６図（ｂ）のような領域抽出画像を生成する。この領域
抽出画像は領域Ａのみを残した画像で、その他の部分は
全て０などの一定値で置き換えたものである。領域Ａの
動き検出はこの領域抽出画像上でおこなう。こうするこ
とで周囲の領域の信号は全て切り捨てられているから、
領域Ａの境界部の動き検出において、周囲の領域の影響
を受けることなくより正確な動き検出を行うことができ
る。
本発明に係る動画像の動き検出方式では、抽出領域の
特徴点として複数のコーナーを検出し、これらコーナー
のフレーム間対応位置から該当抽出領域の動きを求め
る。そこでこの動き検出方式の原理を第７図を用いて説
明する。いま、第７図（ａ）に示すように、入力画像か
ら領域Ａが抽出されているものとする。領域Ａは複数の
連続した滑らかなエッヂ点列の連結で閉じられており、
個々のエッヂ点列の連結部をコーナーと呼ぶ。なおコー
ナーは、第７図（ｂ）に示すように、エッヂ点列の追跡
により検出される。すなわち連続したエッヂ点列を追跡
した場合に、直線あるいは緩やかな曲線から外れる点が
コーナーとして検出される。次に、第７図（ａ）に示す
ように検出された複数のコーナーを領域Ａの特徴点と定
義して、各コーナーの前フレーム上での対応位置を求め
ることでコーナー毎の動きが検出される。コーナーの動
き検出方法としては、現フレームでのコーナー位置を
（xc,yc）としたときに、前フレーム上での探査領域（x
c±sx,yc±sy）内に存在するコーナーをフレーム間対応
するコーナーとすることができる。ここでsx,syは動き
検出領域幅を定めるためにあらかじめ与えられた値であ
る。以上のようにしてコーナー毎に検出した動きベクト
ルから該当領域全体の動きを定義する。例えば領域Ａの
フレーム間での動きが平行移動であれば、領域Ａに属す
る複数のコーナーの動きベクトルは全て同一の値を示
す。従って、領域Ａ内の全ての画素の動きは唯一の動き
ベクトルで与えられる。また領域Ａが回転している場合
には、各コーナーの動きベクトルは異なる値をもち領域
Ａの回転を表現する。このとき領域Ａ内部の動きはこれ
ら複数のコーナーの動きベクトルから内挿計算により近
似的に求めることが可能である。以上に説明したよう
に、領域の特徴点であるコーナーの動き検出を行い、こ
の結果をもとに領域全体の動きを求めるから、領域内部
の状態によらない動き検出を行うことができる。また、
動き検出のための計算はコーナーに対してのみ実行され
るから、動き検出のための計算量を削減することができ
る。
特徴点として複数のコーナーを検出し、これらコーナー
のフレーム間対応位置から該当抽出領域の動きを求め
る。そこでこの動き検出方式の原理を第７図を用いて説
明する。いま、第７図（ａ）に示すように、入力画像か
ら領域Ａが抽出されているものとする。領域Ａは複数の
連続した滑らかなエッヂ点列の連結で閉じられており、
個々のエッヂ点列の連結部をコーナーと呼ぶ。なおコー
ナーは、第７図（ｂ）に示すように、エッヂ点列の追跡
により検出される。すなわち連続したエッヂ点列を追跡
した場合に、直線あるいは緩やかな曲線から外れる点が
コーナーとして検出される。次に、第７図（ａ）に示す
ように検出された複数のコーナーを領域Ａの特徴点と定
義して、各コーナーの前フレーム上での対応位置を求め
ることでコーナー毎の動きが検出される。コーナーの動
き検出方法としては、現フレームでのコーナー位置を
（xc,yc）としたときに、前フレーム上での探査領域（x
c±sx,yc±sy）内に存在するコーナーをフレーム間対応
するコーナーとすることができる。ここでsx,syは動き
検出領域幅を定めるためにあらかじめ与えられた値であ
る。以上のようにしてコーナー毎に検出した動きベクト
ルから該当領域全体の動きを定義する。例えば領域Ａの
フレーム間での動きが平行移動であれば、領域Ａに属す
る複数のコーナーの動きベクトルは全て同一の値を示
す。従って、領域Ａ内の全ての画素の動きは唯一の動き
ベクトルで与えられる。また領域Ａが回転している場合
には、各コーナーの動きベクトルは異なる値をもち領域
Ａの回転を表現する。このとき領域Ａ内部の動きはこれ
ら複数のコーナーの動きベクトルから内挿計算により近
似的に求めることが可能である。以上に説明したよう
に、領域の特徴点であるコーナーの動き検出を行い、こ
の結果をもとに領域全体の動きを求めるから、領域内部
の状態によらない動き検出を行うことができる。また、
動き検出のための計算はコーナーに対してのみ実行され
るから、動き検出のための計算量を削減することができ
る。
本発明に係る他の動画像の動き検出方式の原理を第９
図を用いて説明する。いまエッヂ・コーナー検出により
複数のコーナーとこれに連なるエッヂ点列が検出され、
この結果に基づきパタン化画像が生成されてるものとす
る。第９図は現フレームで検出された特定のコーナーを
中心としてパタン化画像からＮ×Ｎ画素のブロック［pi
j］を切り出したものである。ここでブロック内の各画
素はc,e,n,mいずれかの値をとる。ｃはコーナーを示す
値であり、ｅはコーナーに連なるエッヂ点列を示す値で
ある。また、ｎは領域の外側をｍは領域内部をそれぞれ
示す値である。コーナーの動き検出はこの切り出しブロ
ック［pij］をテンプレートとしたフレーム間マッチン
グにより行われる。すなわち前フレームで検出されたコ
ーナー近傍からＮ×Ｎ画素のブロック信号［qij］が読
み出され、［pij］と［qij］とのマッチングが評価され
る。評価値としては（１）式に示すブロック間差分値D
pqを用いることができる。
図を用いて説明する。いまエッヂ・コーナー検出により
複数のコーナーとこれに連なるエッヂ点列が検出され、
この結果に基づきパタン化画像が生成されてるものとす
る。第９図は現フレームで検出された特定のコーナーを
中心としてパタン化画像からＮ×Ｎ画素のブロック［pi
j］を切り出したものである。ここでブロック内の各画
素はc,e,n,mいずれかの値をとる。ｃはコーナーを示す
値であり、ｅはコーナーに連なるエッヂ点列を示す値で
ある。また、ｎは領域の外側をｍは領域内部をそれぞれ
示す値である。コーナーの動き検出はこの切り出しブロ
ック［pij］をテンプレートとしたフレーム間マッチン
グにより行われる。すなわち前フレームで検出されたコ
ーナー近傍からＮ×Ｎ画素のブロック信号［qij］が読
み出され、［pij］と［qij］とのマッチングが評価され
る。評価値としては（１）式に示すブロック間差分値D
pqを用いることができる。
Dpqの計算はブロック［qij］の切り出し位置や、対象
とする前フレーム上でのコーナーを様々に変えて行い、
Dpqが最少となるブロック［qij］の中心が該当コーナー
の前フレーム上での位置と決定される。なお、（１）式
を用いたマッチング評価法においては、ブロック内画素
値c,e,n,mの与え方により異なる効果を期待することが
できる。
とする前フレーム上でのコーナーを様々に変えて行い、
Dpqが最少となるブロック［qij］の中心が該当コーナー
の前フレーム上での位置と決定される。なお、（１）式
を用いたマッチング評価法においては、ブロック内画素
値c,e,n,mの与え方により異なる効果を期待することが
できる。
まず、第１の例としてｃ≠０かつｅ＝ｍ＝ｎ≠ｃとす
れば、コーナー点の対応のみで動き検出を行う方法とな
る。従ってこの場合には縮小・回転運動を伴うフレーム
間の動き検出を行うことができる。
れば、コーナー点の対応のみで動き検出を行う方法とな
る。従ってこの場合には縮小・回転運動を伴うフレーム
間の動き検出を行うことができる。
次に、第２の例としてｃ≠0,e≠0,c≠ｅかつｍ＝ｎ≠
ｃとすれば、コーナー点の位置とコーナー近傍のエッヂ
の形とを考慮した動き検出となる。ところで、フレーム
間の動き拡大・縮小あるいは角度の小さい回転運動の場
合にもコーナー近傍でのエッヂの形は不変である。従っ
て、以上の様な動きに対しても動き検出を行うことがで
きる。さらに、ｍ≠ｎとすれば、領域の内側／外側を示
す情報も考慮した動き検出となる。以上に説明したよう
に、テンプレート・マッチングを用いることで領域を特
徴付けるコーナーのフレーム間動きベクトルを求めるこ
とができる。
ｃとすれば、コーナー点の位置とコーナー近傍のエッヂ
の形とを考慮した動き検出となる。ところで、フレーム
間の動き拡大・縮小あるいは角度の小さい回転運動の場
合にもコーナー近傍でのエッヂの形は不変である。従っ
て、以上の様な動きに対しても動き検出を行うことがで
きる。さらに、ｍ≠ｎとすれば、領域の内側／外側を示
す情報も考慮した動き検出となる。以上に説明したよう
に、テンプレート・マッチングを用いることで領域を特
徴付けるコーナーのフレーム間動きベクトルを求めるこ
とができる。
本発明に係る動画像の動き検出方式に関連する作用の
一例として、カラー入力画像を色度信号により領域分割
することで、分割領域毎の動き検出の精度を高めること
ができる。いま入力画像が３次元的な凹凸のある物体を
撮影した画像である場合に、この物体の輝度分布は照明
の方向や物体そのものの動きに伴い大きく変化し易い。
従って、輝度レベルの変化を利用した領域分割法では分
割誤りが多くなる。しかし、物体の本来の色が一様であ
ると仮定できる場合には、２次元画像上での色度の変化
は輝度の変化に較べて小さい。そこで、色度変化の少な
い領域を一つの連続した領域として分割することによっ
て、より精度の高い領域分割を期待することができる。
このような領域分割の具体的な方法としては色度の急激
に変化するエッヂ部をそのまま領域の境界とする方法
や、原画像から検出した複数の代表色のみで画像全体を
表現する限定色表現の方法を用いてもよい。
一例として、カラー入力画像を色度信号により領域分割
することで、分割領域毎の動き検出の精度を高めること
ができる。いま入力画像が３次元的な凹凸のある物体を
撮影した画像である場合に、この物体の輝度分布は照明
の方向や物体そのものの動きに伴い大きく変化し易い。
従って、輝度レベルの変化を利用した領域分割法では分
割誤りが多くなる。しかし、物体の本来の色が一様であ
ると仮定できる場合には、２次元画像上での色度の変化
は輝度の変化に較べて小さい。そこで、色度変化の少な
い領域を一つの連続した領域として分割することによっ
て、より精度の高い領域分割を期待することができる。
このような領域分割の具体的な方法としては色度の急激
に変化するエッヂ部をそのまま領域の境界とする方法
や、原画像から検出した複数の代表色のみで画像全体を
表現する限定色表現の方法を用いてもよい。
本発明に係る動画像の動き検出方式に関連する作用の
他の例として、まず入力画像から複数の代表色を検出す
る。カラー入力画像の各画素の値はRGB3成分に分離・粗
量子化され、各画素のRGB3成分の組合せ値Ｐが決定され
る。
他の例として、まず入力画像から複数の代表色を検出す
る。カラー入力画像の各画素の値はRGB3成分に分離・粗
量子化され、各画素のRGB3成分の組合せ値Ｐが決定され
る。
次に、画像全体で各画素値Ｐのヒストグラムが作成さ
れ、発生頻度の高い値が代表色として複数選択される。
画素値Ｐの採り方としては、RGBの他に、輝度値Ｙと２
つの色差値C1,C2との３成分の組合せを用いてもよい
し、他の色度表現方法を用いてもよい。
れ、発生頻度の高い値が代表色として複数選択される。
画素値Ｐの採り方としては、RGBの他に、輝度値Ｙと２
つの色差値C1,C2との３成分の組合せを用いてもよい
し、他の色度表現方法を用いてもよい。
次に、検出された各々の代表色に対して入力画像から
２値化画像が各々生成されるが、この原理を第10図を用
いて説明する。第10図では説明の簡略化のために１次元
画素値のヒストグラムを示す。いまこのヒストグラム上
で発生頻度の高い値P1,P2,P3が代表色として選択された
とする。このとき、各代表色にもとづいてヒストグラム
はしきい値T1,T2で領域R1,R2,R3に分割される。このし
きい値T1,T2は代表色値P1,P2,P3各々の中央の値として
設定されている。また、領域分割・代表色選択の別の方
法として次のような方法を用いてもよい。この方法で
は、ヒストグラムを適当に定めたしきい値T1,T2で領域R
1,R2,R3に分割し、各領域内画素値の分散を計算する。
この操作は様々なしきい値について行われ、各領域の分
割の総和が最少となる領域分割が求められる。次に、各
領域に属する画素値の平均値から代表色P1,P2,P3が決定
される。
２値化画像が各々生成されるが、この原理を第10図を用
いて説明する。第10図では説明の簡略化のために１次元
画素値のヒストグラムを示す。いまこのヒストグラム上
で発生頻度の高い値P1,P2,P3が代表色として選択された
とする。このとき、各代表色にもとづいてヒストグラム
はしきい値T1,T2で領域R1,R2,R3に分割される。このし
きい値T1,T2は代表色値P1,P2,P3各々の中央の値として
設定されている。また、領域分割・代表色選択の別の方
法として次のような方法を用いてもよい。この方法で
は、ヒストグラムを適当に定めたしきい値T1,T2で領域R
1,R2,R3に分割し、各領域内画素値の分散を計算する。
この操作は様々なしきい値について行われ、各領域の分
割の総和が最少となる領域分割が求められる。次に、各
領域に属する画素値の平均値から代表色P1,P2,P3が決定
される。
なお、第10図では１次元ヒストグラムを用いて説明し
たが、RGBなどの３成分を持つ画素値のヒストグラムに
おいても同様な方法で代表色の選択を実現することがで
きる。以上に説明した方法で分割されたヒストグラム各
領域R1,R2,R3の画素値は、それぞれの領域の代表色P1,P
2,P3に置き換えられる。こうすることで入力画像は複数
の代表色のみで現された限定色画像となる。２値化画像
はこの限定色画像から各々の代表色部分のみ抽出するこ
とで生成される。動き検出は、生成された２値化画像毎
に、２値化により抽出された領域の特徴点をテンプレー
トとしたテンプレートマッチングなどによって行われ
る。以上に説明したように、本発明の方式を用いれば、
カラー画像中の異なる代表色で表現される領域の動きを
領域毎に分離して検出することができる。従って、カラ
ー画像中に特定代表色で表現される独立した動きを持つ
被写体が存在する場合、この被写体の動きを周囲の被写
体や背景の影響を排除して検出することができる。
たが、RGBなどの３成分を持つ画素値のヒストグラムに
おいても同様な方法で代表色の選択を実現することがで
きる。以上に説明した方法で分割されたヒストグラム各
領域R1,R2,R3の画素値は、それぞれの領域の代表色P1,P
2,P3に置き換えられる。こうすることで入力画像は複数
の代表色のみで現された限定色画像となる。２値化画像
はこの限定色画像から各々の代表色部分のみ抽出するこ
とで生成される。動き検出は、生成された２値化画像毎
に、２値化により抽出された領域の特徴点をテンプレー
トとしたテンプレートマッチングなどによって行われ
る。以上に説明したように、本発明の方式を用いれば、
カラー画像中の異なる代表色で表現される領域の動きを
領域毎に分離して検出することができる。従って、カラ
ー画像中に特定代表色で表現される独立した動きを持つ
被写体が存在する場合、この被写体の動きを周囲の被写
体や背景の影響を排除して検出することができる。
（実施例） 第１図は本発明に係る動画像の動き検出方式の基本的
な概念を説明するための図である。まず、領域分割回路
11に入力画像101が供給される。領域分割回路11は、入
力画像101を複数の領域に分割して領域分割情報102を領
域抽出回路12に供給する。次に、領域抽出回路12は、領
域分割情報102をもとに入力画像101から領域抽出画像10
3をを生成し、該領域抽出画像103を動きベクトル検出回
路13および前フレーム情報メモリ14に供給する。動きベ
クトル検出回路13は、現フレームでの領域抽出画像103
と前フレーム情報メモリ14から供給された前フレームで
の領域抽出画像104とから該当する抽出領域の動きベク
トル105を検出し、該動きベクトル105を出力する。
な概念を説明するための図である。まず、領域分割回路
11に入力画像101が供給される。領域分割回路11は、入
力画像101を複数の領域に分割して領域分割情報102を領
域抽出回路12に供給する。次に、領域抽出回路12は、領
域分割情報102をもとに入力画像101から領域抽出画像10
3をを生成し、該領域抽出画像103を動きベクトル検出回
路13および前フレーム情報メモリ14に供給する。動きベ
クトル検出回路13は、現フレームでの領域抽出画像103
と前フレーム情報メモリ14から供給された前フレームで
の領域抽出画像104とから該当する抽出領域の動きベク
トル105を検出し、該動きベクトル105を出力する。
第２図は本発明に係る動画像の動き検出方式の一実施
例を示すブロック図である。まず、領域分割回路21に入
力画像101が供給される。領域分割回路21は、入力画像1
01を複数の領域に分割して領域分割情報102を領域抽出
回路22に供給する。次に、領域抽出回路22は、領域分割
情報102をもとに入力画像101から領域抽出画像103を生
成し、該領域抽出画像103をコーナー検出回路23に供給
する。コーナー検出回路23は、領域抽出画像103から抽
出領域毎にコーナー情報201を検出し、該コーナー情報2
01を動きベクトル検出回路24および前フレーム情報メモ
リ24に供給する。動きベクトル検出回路24は現フレーム
でのコーナー情報201と前フレーム情報メモリ25から供
給された前フレームでのコーナー情報202とからコーナ
ー毎の動きを検出し、該コーナーの動きを該当する抽出
領域の動きベクトル105として出力する。
例を示すブロック図である。まず、領域分割回路21に入
力画像101が供給される。領域分割回路21は、入力画像1
01を複数の領域に分割して領域分割情報102を領域抽出
回路22に供給する。次に、領域抽出回路22は、領域分割
情報102をもとに入力画像101から領域抽出画像103を生
成し、該領域抽出画像103をコーナー検出回路23に供給
する。コーナー検出回路23は、領域抽出画像103から抽
出領域毎にコーナー情報201を検出し、該コーナー情報2
01を動きベクトル検出回路24および前フレーム情報メモ
リ24に供給する。動きベクトル検出回路24は現フレーム
でのコーナー情報201と前フレーム情報メモリ25から供
給された前フレームでのコーナー情報202とからコーナ
ー毎の動きを検出し、該コーナーの動きを該当する抽出
領域の動きベクトル105として出力する。
第８図は第２図の動き検出方式の動きベクトル検出回
路の一実施例を示すブロック図である。まず、コーナー
情報201はコーナー情報分離回路81でコーナーの位置情
報801とコーナーの属する領域番号802と前記領域内での
コーナー番号803とに分解される。これら分解された情
報801,802,803は前フレーム情報メモリ82に供給され記
憶される。同時に、前フレーム情報メモリ82は領域番号
802とコーナー番号803とで指定された前フレームでの該
当コーナーの位置情報804を差分器83に供給する。差分
器83は該当コーナーの現フレームでの位置情報801と前
フレームでの位置情報804との差分を求め、該差分を該
当する抽出領域の動きベクトル105として出力する。
路の一実施例を示すブロック図である。まず、コーナー
情報201はコーナー情報分離回路81でコーナーの位置情
報801とコーナーの属する領域番号802と前記領域内での
コーナー番号803とに分解される。これら分解された情
報801,802,803は前フレーム情報メモリ82に供給され記
憶される。同時に、前フレーム情報メモリ82は領域番号
802とコーナー番号803とで指定された前フレームでの該
当コーナーの位置情報804を差分器83に供給する。差分
器83は該当コーナーの現フレームでの位置情報801と前
フレームでの位置情報804との差分を求め、該差分を該
当する抽出領域の動きベクトル105として出力する。
第３図は本発明に係る他の動画像の動き検出方式の一
実施例を示すブロック図である。まず、領域分割回路31
に入力画像101が供給される。領域分割回路31は、入力
画像101を複数の領域に分割して領域分割情報102を領域
抽出回路32に供給する。次に、領域抽出回路32は領域分
割情報102をもとに入力画像101から領域抽出画像103を
生成し、該領域抽出画像103をコーナー検出回路33に供
給する。コーナー検出回路33は領域抽出画像103から抽
出領域毎にコーナー情報201を検出し、該コーナー情報2
01をパタン化回路34に供給する。パタン化回路34はコー
ナー情報201から抽出領域のエッヂ・コーナーと領域の
内側・外側とを示すパタンで構成されるパタン化画像30
1を生成し、パタン化画像301を動きベクトル検出回路35
および前フレーム情報メモリ36に供給する。動きベクト
ル検出回路35は現フレームでのパタン化画像301から動
き検出対象とするコーナー近傍領域を切り出し、該切り
出されたコーナー近傍領域を該当コーナーのテンプレー
トとする。このテンプレートと前フレーム情報メモリ36
から供給される前フレームでのパタン化画像302とのテ
ンプレートマッチングが動きベクトル検出回路35で行わ
れ、コーナーの動きが検出される。検出結果は該当する
抽出領域の動きベクトル105として出力される。
実施例を示すブロック図である。まず、領域分割回路31
に入力画像101が供給される。領域分割回路31は、入力
画像101を複数の領域に分割して領域分割情報102を領域
抽出回路32に供給する。次に、領域抽出回路32は領域分
割情報102をもとに入力画像101から領域抽出画像103を
生成し、該領域抽出画像103をコーナー検出回路33に供
給する。コーナー検出回路33は領域抽出画像103から抽
出領域毎にコーナー情報201を検出し、該コーナー情報2
01をパタン化回路34に供給する。パタン化回路34はコー
ナー情報201から抽出領域のエッヂ・コーナーと領域の
内側・外側とを示すパタンで構成されるパタン化画像30
1を生成し、パタン化画像301を動きベクトル検出回路35
および前フレーム情報メモリ36に供給する。動きベクト
ル検出回路35は現フレームでのパタン化画像301から動
き検出対象とするコーナー近傍領域を切り出し、該切り
出されたコーナー近傍領域を該当コーナーのテンプレー
トとする。このテンプレートと前フレーム情報メモリ36
から供給される前フレームでのパタン化画像302とのテ
ンプレートマッチングが動きベクトル検出回路35で行わ
れ、コーナーの動きが検出される。検出結果は該当する
抽出領域の動きベクトル105として出力される。
第４図は本発明に係る動画像の動き検出方式において
カラー入力信号を信号分離して領域分割する場合の基本
的な構成を説明するための図である。まずカラー入力画
像101が信号分離回路41に供給され、入力画像中の色度
信号401を領域分割回路42に供給する。領域分割回路42
は色度信号401を利用して画像の領域分割を行う。すな
わち色度変化の小さい連続した画像部分は同一領域に属
すると判断することによって入力画像は複数の領域に分
割され、領域分割情報102は領域抽出回路43に供給され
る。領域抽出回路43は、領域分割情報102をもとに入力
画像101から領域抽出画像103を生成し、該領域抽出画像
103を動きベクトル検出回路44および前フレーム情報メ
モリ45に供給する。動きベクトル検出回路44は現フレー
ムでの領域抽出画像103と前フレーム情報メモリ45から
供給された前フレームでの領域抽出画像104とから該当
する抽出領域の動きベクトル105を検出し、該動きベク
トル105を出力する。
カラー入力信号を信号分離して領域分割する場合の基本
的な構成を説明するための図である。まずカラー入力画
像101が信号分離回路41に供給され、入力画像中の色度
信号401を領域分割回路42に供給する。領域分割回路42
は色度信号401を利用して画像の領域分割を行う。すな
わち色度変化の小さい連続した画像部分は同一領域に属
すると判断することによって入力画像は複数の領域に分
割され、領域分割情報102は領域抽出回路43に供給され
る。領域抽出回路43は、領域分割情報102をもとに入力
画像101から領域抽出画像103を生成し、該領域抽出画像
103を動きベクトル検出回路44および前フレーム情報メ
モリ45に供給する。動きベクトル検出回路44は現フレー
ムでの領域抽出画像103と前フレーム情報メモリ45から
供給された前フレームでの領域抽出画像104とから該当
する抽出領域の動きベクトル105を検出し、該動きベク
トル105を出力する。
第５図は本発明に係る動画像の動き検出方式において
代表色表現により領域分割した上で動き検出を行う場合
の基本的な構成を説明するための図である。まず、カラ
ー入力画像101は信号分離回路51でS1,S2,S3の３つの信
号に分解され、S1,S2,S3の各信号は代表色検出回路52に
供給される。ここで、S1,S2,S3の３つの信号として（R,
G,B）や（Y,I,Q）あるいは（Y,R−Y,B−Ｙ）等の成分を
用いることができる。次に、代表色検出回路52は供給さ
れたS1,S2,S3信号から入力画像101を代表する複数の代
表色を検出し、該代表色を代表色情報501として２値化
回路53に供給する。２値化回路53はカラー入力画像101
から２値化画像502を生成する。２値化画素502は、代表
色検出回路52から供給された各々の代表色毎に生成さ
れ、各２値化画像502は動きベクトル検出回路54および
前フレーム情報メモリ55に供給される。動きベクトル検
出回路54は、現フレームでの２値化画像50と前フレーム
情報メモリ55から供給された前フレームでの２値化画像
503とから該当する抽出領域の動きベクトル105を検出
し、該動きベクトル105を出力する。
代表色表現により領域分割した上で動き検出を行う場合
の基本的な構成を説明するための図である。まず、カラ
ー入力画像101は信号分離回路51でS1,S2,S3の３つの信
号に分解され、S1,S2,S3の各信号は代表色検出回路52に
供給される。ここで、S1,S2,S3の３つの信号として（R,
G,B）や（Y,I,Q）あるいは（Y,R−Y,B−Ｙ）等の成分を
用いることができる。次に、代表色検出回路52は供給さ
れたS1,S2,S3信号から入力画像101を代表する複数の代
表色を検出し、該代表色を代表色情報501として２値化
回路53に供給する。２値化回路53はカラー入力画像101
から２値化画像502を生成する。２値化画素502は、代表
色検出回路52から供給された各々の代表色毎に生成さ
れ、各２値化画像502は動きベクトル検出回路54および
前フレーム情報メモリ55に供給される。動きベクトル検
出回路54は、現フレームでの２値化画像50と前フレーム
情報メモリ55から供給された前フレームでの２値化画像
503とから該当する抽出領域の動きベクトル105を検出
し、該動きベクトル105を出力する。
（発明の効果） 以上に説明したように、本発明によれば、動き検出対
象とする領域のみを抽出した画像上で動き検出を行うか
ら、周囲の他の領域の影響を排除した動き検出を行うこ
とができる。また、領域毎に特徴点として複数のコーナ
ーを検出しかつこれらコーナーのフレーム間対応を求め
ることによって該当領域の動きが検出されるから、動き
検出のための計算量を削減することができる。さらに、
コーナーの形状は画像の拡大・縮小や角度の小さい回転
に対しても不変であるから、これらの動きに対してもよ
り精度の高い動き検出を行うことができる。
象とする領域のみを抽出した画像上で動き検出を行うか
ら、周囲の他の領域の影響を排除した動き検出を行うこ
とができる。また、領域毎に特徴点として複数のコーナ
ーを検出しかつこれらコーナーのフレーム間対応を求め
ることによって該当領域の動きが検出されるから、動き
検出のための計算量を削減することができる。さらに、
コーナーの形状は画像の拡大・縮小や角度の小さい回転
に対しても不変であるから、これらの動きに対してもよ
り精度の高い動き検出を行うことができる。
カラー画像の動き検出においては、色度信号をもとに
領域分割を行うから、より正確な領域分割が実現され、
周囲の他の領域の影響を排除した動き検出を行うことが
できる。
領域分割を行うから、より正確な領域分割が実現され、
周囲の他の領域の影響を排除した動き検出を行うことが
できる。
第１図は本発明に係る動画像の動き検出方式の基本的な
概念を説明するための図、第２図は本発明に係る動画像
の動き検出方式の一実施例を示すブロック図、第３図は
本発明に係る他の動画像の動き検出方式の一実施例を示
すブロック図、第４図は本発明に係る動画像の動き検出
方式においてカラー入力信号を信号分離して領域分割す
る場合の基本的な構成を説明するための図、第５図は本
発明に係る動画像の動き検出方式において代表色表現に
より領域分割した上で動き検出を行う場合の基本的な構
成を説明するための図、第６図（ａ），（ｂ）は本発明
に係る第１の動画像の動き検出方式を説明するための
図、第７図は本発明に係る第２の動画像の動き検出方式
を説明するための図、第８図は本発明に係る第２の動画
像の動き検出方式におけるコーナーの動き検出の一実施
例を示すブロック図、第９図は本発明に係る第３の動画
像の動き検出方式を説明するための図、第10図は本発明
に係る第５の動画像の動き検出方式における２値化画像
生成方法を説明するための図である。 11,21,31,42……領域分割回路、12,22,32,43……領域抽
出回路、13,24,35,44,54……動きベクトル検出回路、1
4,25,36,45,55,82……前フレーム情報メモリ、23,33…
…コーナー検出回路、34……パタン化回路、41,51……
信号分離回路、52……代表色検出回路、53……２値化回
路、81……コーナー情報分離回路、83……差分器、101
……入力画像、102……領域分割情報、103,104……領域
抽出画像、105……動きベクトル、201……コーナー情
報、301,302……パタン化画像、401……色度信号、501
……代表色情報、502,503……２値化画像、801,804……
コーナーの位置情報、802……領域番号、803……コーナ
ー番号。
概念を説明するための図、第２図は本発明に係る動画像
の動き検出方式の一実施例を示すブロック図、第３図は
本発明に係る他の動画像の動き検出方式の一実施例を示
すブロック図、第４図は本発明に係る動画像の動き検出
方式においてカラー入力信号を信号分離して領域分割す
る場合の基本的な構成を説明するための図、第５図は本
発明に係る動画像の動き検出方式において代表色表現に
より領域分割した上で動き検出を行う場合の基本的な構
成を説明するための図、第６図（ａ），（ｂ）は本発明
に係る第１の動画像の動き検出方式を説明するための
図、第７図は本発明に係る第２の動画像の動き検出方式
を説明するための図、第８図は本発明に係る第２の動画
像の動き検出方式におけるコーナーの動き検出の一実施
例を示すブロック図、第９図は本発明に係る第３の動画
像の動き検出方式を説明するための図、第10図は本発明
に係る第５の動画像の動き検出方式における２値化画像
生成方法を説明するための図である。 11,21,31,42……領域分割回路、12,22,32,43……領域抽
出回路、13,24,35,44,54……動きベクトル検出回路、1
4,25,36,45,55,82……前フレーム情報メモリ、23,33…
…コーナー検出回路、34……パタン化回路、41,51……
信号分離回路、52……代表色検出回路、53……２値化回
路、81……コーナー情報分離回路、83……差分器、101
……入力画像、102……領域分割情報、103,104……領域
抽出画像、105……動きベクトル、201……コーナー情
報、301,302……パタン化画像、401……色度信号、501
……代表色情報、502,503……２値化画像、801,804……
コーナーの位置情報、802……領域番号、803……コーナ
ー番号。
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭61−223893（ＪＰ，Ａ) 特開 昭63−104593（ＪＰ，Ａ) Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎ ｇ：Ｉｍａｇｅ Ｃｏｍｍｕｎｉｃａｔ ｉｏｎ，Ｖｏｌ．１，Ｎｏ．２，ｐ. 117−138 電子情報通信学会技術研究報告ＩＥ87 −２，ｐ．９−15 (58)調査した分野(Int.Cl.6，ＤＢ名) H04N 7/24 - 7/68 H04N 11/00 - 11/24 H04N 9/44 - 9/78 G06T 7/20
Claims (2)
- 【請求項１】動画像のフレーム間の動きを検出する方式
において、画像を複数の領域に分割し、領域分割情報を
出力する領域分割手段と、該領域分割情報に基づきそれ
ぞれの領域を抽出した領域抽出画像を生成する領域抽出
手段と、該領域抽出画像に基づき該抽出領域の領域輪郭
線のコーナーを特徴点として検出するコーナー検出手段
と、該抽出領域毎に検出されたコーナーのフレーム間対
応位置からのコーナーの動きを検出し、該コーナーの動
きを該当領域の動きベクトルとして出力する動きベクト
ル検出手段とを備えることを特徴とする動画像の動き検
出方式。 - 【請求項２】動画像のフレーム間の動きを検出する方式
において、画像を複数の領域に分割し、領域分割情報を
出力する領域分割手段と、該領域分割情報に基づきそれ
ぞれの領域を抽出した領域抽出画像を生成する領域抽出
手段と、該領域抽出画像に基づき該抽出領域の領域輪郭
線のコーナーを特徴点として検出するコーナー検出手段
と、該検出されたコーナーとこれに連なるエッジ点列と
からパタン化画像を生成するパタン化手段と、該パタン
化画像から前記コーナーの近傍領域をテンプレートとし
て切り出し、該テンプレートを用いた重み付けフレーム
間マッチングを行うことによって前記コーナーのフレー
ム間の動きを検出し、該コーナーの動きを該当抽出領域
の動きベクトルとして出力する動きベクトル検出手段と
を備えることを特徴とする動画像の動き検出方式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23221990A JP2973223B2 (ja) | 1990-08-31 | 1990-08-31 | 動画像の動き検出方式 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23221990A JP2973223B2 (ja) | 1990-08-31 | 1990-08-31 | 動画像の動き検出方式 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH04117089A JPH04117089A (ja) | 1992-04-17 |
| JP2973223B2 true JP2973223B2 (ja) | 1999-11-08 |
Family
ID=16935852
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP23221990A Expired - Lifetime JP2973223B2 (ja) | 1990-08-31 | 1990-08-31 | 動画像の動き検出方式 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2973223B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101227524B1 (ko) * | 2011-08-10 | 2013-01-31 | 엘지전자 주식회사 | 영상 처리방법 및 영상 처리장치 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3600383B2 (ja) * | 1996-09-30 | 2004-12-15 | 三菱重工業株式会社 | 移動体追跡装置 |
| JP4701851B2 (ja) * | 2005-06-15 | 2011-06-15 | セイコーエプソン株式会社 | 画像表示装置とその制御方法 |
| JP4791919B2 (ja) * | 2006-09-14 | 2011-10-12 | ダイハツ工業株式会社 | 画像処理装置 |
| JP5661359B2 (ja) * | 2010-07-16 | 2015-01-28 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
-
1990
- 1990-08-31 JP JP23221990A patent/JP2973223B2/ja not_active Expired - Lifetime
Non-Patent Citations (2)
| Title |
|---|
| Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ：Ｉｍａｇｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ，Ｖｏｌ．１，Ｎｏ．２，ｐ．１１７−１３８ |
| 電子情報通信学会技術研究報告ＩＥ８７−２，ｐ．９−１５ |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101227524B1 (ko) * | 2011-08-10 | 2013-01-31 | 엘지전자 주식회사 | 영상 처리방법 및 영상 처리장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH04117089A (ja) | 1992-04-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2915894B2 (ja) | ターゲット追跡方法及び装置 | |
| Brox et al. | Large displacement optical flow | |
| Scharcanski et al. | Edge detection of color images using directional operators | |
| US5202928A (en) | Surface generation method from boundaries of stereo images | |
| US5907626A (en) | Method for object tracking and mosaicing in an image sequence using a two-dimensional mesh | |
| Tsai et al. | Dense disparity estimation with a divide-and-conquer disparity space image technique | |
| Mittal et al. | Human body pose estimation using silhouette shape analysis | |
| US20060050788A1 (en) | Method and device for computer-aided motion estimation | |
| EP0978098A2 (en) | Motion estimation and segmentation | |
| KR102226845B1 (ko) | 지역적 이진화를 이용한 오브젝트 인식 시스템 및 그 방법 | |
| Ke et al. | A robust subspace approach to layer extraction | |
| Toklu et al. | Simultaneous alpha map generation and 2-D mesh tracking for multimedia applications | |
| Muddamsetty et al. | A performance evaluation of fusion techniques for spatio-temporal saliency detection in dynamic scenes | |
| JP2973223B2 (ja) | 動画像の動き検出方式 | |
| Bedenas et al. | Segmenting traffic scenes from grey level and motion information | |
| Sazbon et al. | Finding the focus of expansion and estimating range using optical flow images and a matched filter | |
| Sengar et al. | Moving object tracking using Laplacian-DCT based perceptual hash | |
| CN113269790A (zh) | 视频裁剪方法、装置、电子设备、服务器及存储介质 | |
| Chen et al. | Range image segmentation for modeling and object detection in urban scenes | |
| JP4756436B2 (ja) | パターン認識装置とそのパターン認識方法、及びパターン認識プログラム | |
| Alatan et al. | A rule-based method for object segmentation in video sequences | |
| KR101749029B1 (ko) | 영상에서의 신체 부위 검출 방법 및 그 장치 | |
| Herrmann et al. | A video segmentation algorithm for hierarchical object representations and its implementation | |
| Chandrakar et al. | Study and comparison of various image edge detection techniques | |
| Zhang et al. | Motion based image segmentation for video coding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080903 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080903 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090903 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090903 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100903 Year of fee payment: 11 |
|
| EXPY | Cancellation because of completion of term |