JP2919115B2 - 動き検出器 - Google Patents
動き検出器Info
- Publication number
- JP2919115B2 JP2919115B2 JP12542991A JP12542991A JP2919115B2 JP 2919115 B2 JP2919115 B2 JP 2919115B2 JP 12542991 A JP12542991 A JP 12542991A JP 12542991 A JP12542991 A JP 12542991A JP 2919115 B2 JP2919115 B2 JP 2919115B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- signal
- motion
- subject image
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
【発明の詳細な説明】
【０００１】
【産業上の利用分野】この発明は、動画像信号から３次
元構造を有する被写体画像の動き情報を高精度に検出す
る動き検出器に関するものである。
元構造を有する被写体画像の動き情報を高精度に検出す
る動き検出器に関するものである。
【０００２】
【従来の技術】図７は例えば、「特開平２−５５４８６
号」に掲載された従来の動きベクトル検出装置を示すも
のである。５１は１フィールドの画像を記憶する画像記
憶手段であり、６０は画像信号の入力、７１は矩形ブロ
ックの出力、６１及び６２は７１に出力する矩形ブロッ
クの基準座標のＸ成分及びＹ成分である。５２は５１と
同様の画像記憶手段であり、７２は矩形ブロックの出
力、５９及び７０は７２に出力する矩形ブロックの基準
座標のＸ成分及びＹ成分である。５３は誤差演算手段で
あり、画像記憶手段５１及び５２から出力される矩形ブ
ロック間の誤差を求め、この値を７３に出力する。５５
は制御手段であり、６６及び６７から相対ベクトルのＸ
成分及びＹ成分をそれぞれ出力する。５６及び５７は相
対ベクトルのＸ成分及びＹ成分をラッチするレジスタで
ある。５８及び５９は加算器であり、画像記憶手段５１
に入力する基準座標６１、６２から相対ベクトル６６、
６７を引き、６９、７０に出力する。６３及び６４は動
きベクトルのＸ成分及びＹ成分出力、６５はフィールド
メモリ、６８はレジスタ５６及び５７に相対ベクトルを
ラッチするためのストローブ信号である。以上のように
構成された動きベクトル検出装置について、以下その動
作について説明する。まず、連続する２つのフレームＦ
１、Ｆ２間で動きベクトルの検出を行うには、それぞれ
のフレームの同じフィールド、例えばＦ１の第１フィー
ルドと、Ｆ２の第１フィールドを用いる。これらの関係
を図８に示す。画像記憶手段５１、フィールドメモリ６
５、画像記憶手段５２はそれぞれ１フィールド分の信号
を記憶する。今、画像記憶手段５２にＦ１の第１フィー
ルドが記憶されている時、フィールドメモリ６５にはＦ
１の第２フィールドが、画像記憶手段５１にはＦ２の第
１フィールドがそれぞれ記憶されている。Ｆ１、Ｆ２間
の動きベクトルを検出するためには、画像記憶手段５１
に記憶されたＦ２の第１フィールドに矩形ブロックＢ２
を設定し、このブロックＢ２との誤差が最も小さい矩形
ブロックＢ１を画像記憶手段５２に記憶されたＦ１の第
１フィールドから捜すことである。フィール内における
ブロックの位置は、図９のようにブロック左下の画素の
座標（基準座標）で表す。ブロックＢ２の基準座標とブ
ロックＢ１の基準座標の差を相対ベクトルＶ０とすれ
ば、ブロックＢ１とブロックＢ２の誤差が最小になる相
対ベクトルＶ０が、２つのブロック間の動きベクトルと
なる。
号」に掲載された従来の動きベクトル検出装置を示すも
のである。５１は１フィールドの画像を記憶する画像記
憶手段であり、６０は画像信号の入力、７１は矩形ブロ
ックの出力、６１及び６２は７１に出力する矩形ブロッ
クの基準座標のＸ成分及びＹ成分である。５２は５１と
同様の画像記憶手段であり、７２は矩形ブロックの出
力、５９及び７０は７２に出力する矩形ブロックの基準
座標のＸ成分及びＹ成分である。５３は誤差演算手段で
あり、画像記憶手段５１及び５２から出力される矩形ブ
ロック間の誤差を求め、この値を７３に出力する。５５
は制御手段であり、６６及び６７から相対ベクトルのＸ
成分及びＹ成分をそれぞれ出力する。５６及び５７は相
対ベクトルのＸ成分及びＹ成分をラッチするレジスタで
ある。５８及び５９は加算器であり、画像記憶手段５１
に入力する基準座標６１、６２から相対ベクトル６６、
６７を引き、６９、７０に出力する。６３及び６４は動
きベクトルのＸ成分及びＹ成分出力、６５はフィールド
メモリ、６８はレジスタ５６及び５７に相対ベクトルを
ラッチするためのストローブ信号である。以上のように
構成された動きベクトル検出装置について、以下その動
作について説明する。まず、連続する２つのフレームＦ
１、Ｆ２間で動きベクトルの検出を行うには、それぞれ
のフレームの同じフィールド、例えばＦ１の第１フィー
ルドと、Ｆ２の第１フィールドを用いる。これらの関係
を図８に示す。画像記憶手段５１、フィールドメモリ６
５、画像記憶手段５２はそれぞれ１フィールド分の信号
を記憶する。今、画像記憶手段５２にＦ１の第１フィー
ルドが記憶されている時、フィールドメモリ６５にはＦ
１の第２フィールドが、画像記憶手段５１にはＦ２の第
１フィールドがそれぞれ記憶されている。Ｆ１、Ｆ２間
の動きベクトルを検出するためには、画像記憶手段５１
に記憶されたＦ２の第１フィールドに矩形ブロックＢ２
を設定し、このブロックＢ２との誤差が最も小さい矩形
ブロックＢ１を画像記憶手段５２に記憶されたＦ１の第
１フィールドから捜すことである。フィール内における
ブロックの位置は、図９のようにブロック左下の画素の
座標（基準座標）で表す。ブロックＢ２の基準座標とブ
ロックＢ１の基準座標の差を相対ベクトルＶ０とすれ
ば、ブロックＢ１とブロックＢ２の誤差が最小になる相
対ベクトルＶ０が、２つのブロック間の動きベクトルと
なる。
【０００３】従来の、動き検出のための動きベクトル検
出装置は以上のように構成され、被写体画像の輝度情報
を用いたブロック単位の最適動きベクトル検出に止まっ
ていたため、被写体が３次元的な構造を有するに関わら
ず、２次元的な動きの検出にのみ有効である。
出装置は以上のように構成され、被写体画像の輝度情報
を用いたブロック単位の最適動きベクトル検出に止まっ
ていたため、被写体が３次元的な構造を有するに関わら
ず、２次元的な動きの検出にのみ有効である。
【０００４】
【発明が解決しようとする課題】上記のように、従来の
動き検出器では、被写体画像、例えば人物がうなずいた
り、首を横に振った場合には、首の回転運動の動きを３
次元的に高精度に検出することができないという問題点
があった。
動き検出器では、被写体画像、例えば人物がうなずいた
り、首を横に振った場合には、首の回転運動の動きを３
次元的に高精度に検出することができないという問題点
があった。
【０００５】この発明は、かかる問題点を解決するため
になされたものであり、被写体画像に３次元的な複雑な
動きが連続して発生した場合でも、常に高精度に被写体
画像の動きを検出することを目的としている。
になされたものであり、被写体画像に３次元的な複雑な
動きが連続して発生した場合でも、常に高精度に被写体
画像の動きを検出することを目的としている。
【０００６】
【課題を解決するための手段】この第１の発明に係る動
き検出器は、デジタル信号化された現フレームの画像信
号と１フレーム前の画像信号をそれぞれ振り分けるスイ
ッチと、振り分けられた１フレーム前の画像信号より被
写体画像中の複数個の特徴点の座標を抽出する第１の特
徴点抽出部と、上記現フレームの画像信号より前記１フ
レーム前の画像信号による被写体画像中における複数個
の特徴点と同様の被写体画像中の複数個の特徴点の座標
を抽出する第２の特徴点抽出部と、抽出された各特徴点
の座標より特徴点の動きベクトルを検出する動きベクト
ル検出部と、上記検出された動きベクトルを入力信号と
して入力する入力層、被写体画像の動き情報を学習し、
この学習に従って上記動きベクトルより被写体画像の３
次元運動情報を導き出す中間層、該３次元運転情報を出
力する出力層からなる３次元動き情報検出部とを設けた
ものである。
き検出器は、デジタル信号化された現フレームの画像信
号と１フレーム前の画像信号をそれぞれ振り分けるスイ
ッチと、振り分けられた１フレーム前の画像信号より被
写体画像中の複数個の特徴点の座標を抽出する第１の特
徴点抽出部と、上記現フレームの画像信号より前記１フ
レーム前の画像信号による被写体画像中における複数個
の特徴点と同様の被写体画像中の複数個の特徴点の座標
を抽出する第２の特徴点抽出部と、抽出された各特徴点
の座標より特徴点の動きベクトルを検出する動きベクト
ル検出部と、上記検出された動きベクトルを入力信号と
して入力する入力層、被写体画像の動き情報を学習し、
この学習に従って上記動きベクトルより被写体画像の３
次元運動情報を導き出す中間層、該３次元運転情報を出
力する出力層からなる３次元動き情報検出部とを設けた
ものである。
【０００７】また、この第２の発明に係る動き検出器
は、現フレームの画像信号および１フレーム前の画像信
号による被写体画像の特徴点の個数を増やすことによ
り、被写体画像の動きに伴い、被写体画像の有する３次
元構造情報を抽出するものである。
は、現フレームの画像信号および１フレーム前の画像信
号による被写体画像の特徴点の個数を増やすことによ
り、被写体画像の動きに伴い、被写体画像の有する３次
元構造情報を抽出するものである。
【０００８】また、この第３の発明に係る動き検出器
は、３次元動き情報検出部を入力、中間、出力の各層か
ら構成し、上記３次元動き情報検出部における動き情報
の学習課程において、上記各層の入力、中間、出力の各
層のユニット数を変化させて行き、教師信号と出力信号
との誤差が許容範囲内にある中で、ユニット間の信号線
数の総和が最小となるように各層におけるユニット数を
定めるものである。
は、３次元動き情報検出部を入力、中間、出力の各層か
ら構成し、上記３次元動き情報検出部における動き情報
の学習課程において、上記各層の入力、中間、出力の各
層のユニット数を変化させて行き、教師信号と出力信号
との誤差が許容範囲内にある中で、ユニット間の信号線
数の総和が最小となるように各層におけるユニット数を
定めるものである。
【０００９】
【作用】この第１の発明に係る動き検出器は、現フレー
ムの画像借号、１フレーム以上前の面像信号をそれぞれ
第１の特徴点抽出部、第２の特徴点抽出部に入力し、こ
れら特徴点抽出部にて各画像信号における被写体画像の
複数個の特徴点座標を抽して動きベクトル検出部にてベ
クトルを算出し、この検出した動きベクトルを入力とし
て、動き情報について学習済みの３次元動き情報検出部
において被写体画像の３次元運動情報を検出するもので
ある。また、この他の発明によれば、各特徴点抽出部に
おいて抽出する特徴点の個数を増加することでより詳細
な動きベクトルを検出することになる。更に、他の発明
によれば、入力、中間、出力の各層におけるユニット数
を変化させ、教師信号と出力信号との誤差が許容範囲内
にあるものの中で、ユニット間の信号線数の総和が最小
となるものを各層のユニットとなる。
ムの画像借号、１フレーム以上前の面像信号をそれぞれ
第１の特徴点抽出部、第２の特徴点抽出部に入力し、こ
れら特徴点抽出部にて各画像信号における被写体画像の
複数個の特徴点座標を抽して動きベクトル検出部にてベ
クトルを算出し、この検出した動きベクトルを入力とし
て、動き情報について学習済みの３次元動き情報検出部
において被写体画像の３次元運動情報を検出するもので
ある。また、この他の発明によれば、各特徴点抽出部に
おいて抽出する特徴点の個数を増加することでより詳細
な動きベクトルを検出することになる。更に、他の発明
によれば、入力、中間、出力の各層におけるユニット数
を変化させ、教師信号と出力信号との誤差が許容範囲内
にあるものの中で、ユニット間の信号線数の総和が最小
となるものを各層のユニットとなる。
【００１０】
実施例１． 図１はこの第１の発明の一実施例を示すブロック図であ
る。１は画像入力部、２はスイッチ（ＳＷ）、３は特徴
点抽出部、４は動きベクトル検出部、５は３次元情報動
き検出部、６はフレームメモリ（Ｆ．Ｍ．）である。ま
た、１００はカメラ等からの画像入力、１０１はデジタ
ル化された画像信号、１０２は初期フレームの画像信
号、１０３はフレームメモリに蓄えておいた初期フレー
ムの画像信号、１０５は現フレームの抽出された特徴点
の座標情報、１０７は初期フレームの抽出された特徴点
の座標情報、１０６は検出された特徴点の動きベクトル
情報、１０８は検出された被写体画像の３次元的運動情
報である。
る。１は画像入力部、２はスイッチ（ＳＷ）、３は特徴
点抽出部、４は動きベクトル検出部、５は３次元情報動
き検出部、６はフレームメモリ（Ｆ．Ｍ．）である。ま
た、１００はカメラ等からの画像入力、１０１はデジタ
ル化された画像信号、１０２は初期フレームの画像信
号、１０３はフレームメモリに蓄えておいた初期フレー
ムの画像信号、１０５は現フレームの抽出された特徴点
の座標情報、１０７は初期フレームの抽出された特徴点
の座標情報、１０６は検出された特徴点の動きベクトル
情報、１０８は検出された被写体画像の３次元的運動情
報である。
【００１１】前記のように構成された動き検出器におけ
る詳細な説明を以下、図１を用いて説明してゆく。ま
ず、カメラ等からの入カ画像１００を画像入力部１にお
いてデジタル信号化して、デジタル入力画像信号１０１
を得る。次に、面像入力の現フレーム番号をｎで表す
と、ｎ＝０の時、即ち初期フレームの場合、スイッチ２
がＯＮとなり、画像信号１０１がそのまま、画像信号１
０２となりフレームメモリ６の入力となる。実際の動き
検出は、ｎ＞１の場台について求めるため、フレームメ
モリ６からの出力１０３は、１フレーム以上前の面像信
号となるが、信号の内容は常に初期フレームの画像信号
のままである。また、ｎ＞０の場合にはスイッチ２は常
にＯＦＦのままで、画像信号１０２は無信号となる。
る詳細な説明を以下、図１を用いて説明してゆく。ま
ず、カメラ等からの入カ画像１００を画像入力部１にお
いてデジタル信号化して、デジタル入力画像信号１０１
を得る。次に、面像入力の現フレーム番号をｎで表す
と、ｎ＝０の時、即ち初期フレームの場合、スイッチ２
がＯＮとなり、画像信号１０１がそのまま、画像信号１
０２となりフレームメモリ６の入力となる。実際の動き
検出は、ｎ＞１の場台について求めるため、フレームメ
モリ６からの出力１０３は、１フレーム以上前の面像信
号となるが、信号の内容は常に初期フレームの画像信号
のままである。また、ｎ＞０の場合にはスイッチ２は常
にＯＦＦのままで、画像信号１０２は無信号となる。
【００１２】一方、現フレームの画像信号１０１は、被
写体画像が例えば人物の顔画像であった場合、特徴点抽
出部３において図２の点Ａ、点Ｂ、点Ｃ、点Ｄ、点Ｅの
５点の位置座標が抽出され、特徴点座標情報１０５とな
って出力される。同様にして、ｎ＝０、即ち初期フレー
ムの画像信号１０３中の特徴点座標情報１０７が出力さ
れ、これら特徴点座標情報１０５（現フレーム、ｎ＞
０）及び１０７（ｎ＝０）が動きベクトル検出部４の両
入力となる。ここで特徴点の抽出法としては、従来、画
像処理の分野で行われている、エッジオペレータによる
手法、Ｌａｐｌａｃｉａｎ ｏｆ Ｇａｕｓｓｉａｎと
ゼロ交差法等の手法があり、これらにより、抽出がある
程度自動に行える。図２はまた、異る２フレーム間の各
特徴点の移動する様子を図示したものであり、初期フレ
ームにおける被写体画像１０が、ｎフレームにおいて被
写体画像１１に移動したことを表している。今、点Ａの
ｎフレーム目におけるｘ、ｙ座標をＸｎ（Ａ）、Ｙｎ
（Ａ）とすれば、動きベクトルｄｘｎ（Ａ）、ｄｙｎ
（Ａ）は ｄｘｎ（Ａ）＝Ｘｎ（Ａ）−Ｘｏ（Ａ） ｄｙｎ（Ａ）＝Ｙｎ（Ａ）−Ｙｏ（Ａ） で表される。他の４点に関しても全く同様にして動きベ
クトルを求めることができる。以上の処理が、動きベク
トル検出部で行われ、５個の特徴点の動きベクトル情報
１０６が出力される。
写体画像が例えば人物の顔画像であった場合、特徴点抽
出部３において図２の点Ａ、点Ｂ、点Ｃ、点Ｄ、点Ｅの
５点の位置座標が抽出され、特徴点座標情報１０５とな
って出力される。同様にして、ｎ＝０、即ち初期フレー
ムの画像信号１０３中の特徴点座標情報１０７が出力さ
れ、これら特徴点座標情報１０５（現フレーム、ｎ＞
０）及び１０７（ｎ＝０）が動きベクトル検出部４の両
入力となる。ここで特徴点の抽出法としては、従来、画
像処理の分野で行われている、エッジオペレータによる
手法、Ｌａｐｌａｃｉａｎ ｏｆ Ｇａｕｓｓｉａｎと
ゼロ交差法等の手法があり、これらにより、抽出がある
程度自動に行える。図２はまた、異る２フレーム間の各
特徴点の移動する様子を図示したものであり、初期フレ
ームにおける被写体画像１０が、ｎフレームにおいて被
写体画像１１に移動したことを表している。今、点Ａの
ｎフレーム目におけるｘ、ｙ座標をＸｎ（Ａ）、Ｙｎ
（Ａ）とすれば、動きベクトルｄｘｎ（Ａ）、ｄｙｎ
（Ａ）は ｄｘｎ（Ａ）＝Ｘｎ（Ａ）−Ｘｏ（Ａ） ｄｙｎ（Ａ）＝Ｙｎ（Ａ）−Ｙｏ（Ａ） で表される。他の４点に関しても全く同様にして動きベ
クトルを求めることができる。以上の処理が、動きベク
トル検出部で行われ、５個の特徴点の動きベクトル情報
１０６が出力される。
【００１３】次に、上記動きベクトル情報１０６は、３
次元動き情報検出部５の入力となる。３次元動き情報検
出部５では、例えば図３に示した通り、入力層、中間
層、出力層の３層構造からなる回路が組まれており（こ
の場合は中間層が１層）、上記の手法により検出した各
点の動きベクトル情報が入力されると、出力として３次
元運動情報、即ち、ＸＹＺ各軸回りの回転各θｘ、θ
ｙ、θｚ及び平行移動距離Ｔｘ、Ｔｙ、Ｔｚが得られ
る。
次元動き情報検出部５の入力となる。３次元動き情報検
出部５では、例えば図３に示した通り、入力層、中間
層、出力層の３層構造からなる回路が組まれており（こ
の場合は中間層が１層）、上記の手法により検出した各
点の動きベクトル情報が入力されると、出力として３次
元運動情報、即ち、ＸＹＺ各軸回りの回転各θｘ、θ
ｙ、θｚ及び平行移動距離Ｔｘ、Ｔｙ、Ｔｚが得られ
る。
【００１４】ここで、３次元動き情報検出部５に於ける
回路で、入力層のｉ番目のユニットから中間層のｊ番目
のユニットに至る重み係数をｗij（０≦ｉ≦１０、０≦
ｊ≦３）、中間層のｊ番目のユニットから出力層のｋ番
目のユニットに至る重み係数をＷjk（０≦ｊ≦３、０≦
ｋ≦６）とする。これらの係数は、学習を行う際、出力
信号と教師信号との平均２乗誤差関数が最小となるよう
に、その値が変えられてゆく。これを一般には、ニュー
ラルネットワークモデルにおける誤差逆伝播理論（バッ
クプロパゲーション）という。
回路で、入力層のｉ番目のユニットから中間層のｊ番目
のユニットに至る重み係数をｗij（０≦ｉ≦１０、０≦
ｊ≦３）、中間層のｊ番目のユニットから出力層のｋ番
目のユニットに至る重み係数をＷjk（０≦ｊ≦３、０≦
ｋ≦６）とする。これらの係数は、学習を行う際、出力
信号と教師信号との平均２乗誤差関数が最小となるよう
に、その値が変えられてゆく。これを一般には、ニュー
ラルネットワークモデルにおける誤差逆伝播理論（バッ
クプロパゲーション）という。
【００１５】今回の、被写体画像の３次元的な動きを検
出するための学習は、以下の通りにして行う。まず、図
４に示すような、コンピュータグラフィックス技術によ
って正確に作成された人物頭部の３次元構造モデルを、
ある点を中心にしてＸＹＺ各軸回りに指定した角度だけ
回転させ、さらに指定した距離だけ平行移動させる。次
に、変換後の該３次元構造モデル画像の５個の特徴点の
座標を抽出し、初期フレームからの動きベクトルを求め
る。以上の操作を、複数通りの回転角、平行移動距離に
対して行い、逐次動きベクトルを求める。これにより複
数フレーム分の回転角、平行移動距離及び動きベクトル
が得られることになる。具体的には、上記３次元構造モ
デル画像のＸＹＺ各軸回りの回転角及び平行移動距離
は、例えば図５のように、角度が０度から３０度まで３
度刻み、距離が１から３０まで１ドット刻み、という具
合に与えることができる。他方、検出した５個の特徴点
の座標は、例えば図６のように、各点のＸＹ座標がシー
ケンシャルに整列した構造となる。（図６の場合は０〜
２８、２９フレームのシーケンスである。）
出するための学習は、以下の通りにして行う。まず、図
４に示すような、コンピュータグラフィックス技術によ
って正確に作成された人物頭部の３次元構造モデルを、
ある点を中心にしてＸＹＺ各軸回りに指定した角度だけ
回転させ、さらに指定した距離だけ平行移動させる。次
に、変換後の該３次元構造モデル画像の５個の特徴点の
座標を抽出し、初期フレームからの動きベクトルを求め
る。以上の操作を、複数通りの回転角、平行移動距離に
対して行い、逐次動きベクトルを求める。これにより複
数フレーム分の回転角、平行移動距離及び動きベクトル
が得られることになる。具体的には、上記３次元構造モ
デル画像のＸＹＺ各軸回りの回転角及び平行移動距離
は、例えば図５のように、角度が０度から３０度まで３
度刻み、距離が１から３０まで１ドット刻み、という具
合に与えることができる。他方、検出した５個の特徴点
の座標は、例えば図６のように、各点のＸＹ座標がシー
ケンシャルに整列した構造となる。（図６の場合は０〜
２８、２９フレームのシーケンスである。）
【００１６】上記の手法により求められた５個の特徴点
の動きベクトルを入力信号に、ＸＹＺ各軸回りの回転
角、平行移動距離を教師信号にして、バックプロパゲー
ション法により学習を行う。学習後の３次元動き情報検
出部５の内部のユニット間の重み係数値は、以後、動き
ベクトルが入力されると、積和計算が行われ、被写体画
像のＸＹＺ各軸回りの回転角、及び平行移動距離の３次
元運動情報が出力されることになる。
の動きベクトルを入力信号に、ＸＹＺ各軸回りの回転
角、平行移動距離を教師信号にして、バックプロパゲー
ション法により学習を行う。学習後の３次元動き情報検
出部５の内部のユニット間の重み係数値は、以後、動き
ベクトルが入力されると、積和計算が行われ、被写体画
像のＸＹＺ各軸回りの回転角、及び平行移動距離の３次
元運動情報が出力されることになる。
【００１７】 実施例２． 上記実施例１では、初期フレームの特徴点座標と、現フ
レームの特徴点座標とから動きベクトルを求めていた
が、初期フレームの代わりに、現フレーム（ｎフレー
ム）の１フレーム以上前のフレーム（ｎ―１フレーム）
を用いることもできる。その場合、動きベクトル検出部
４における動きベクトル算出法は、例えば点Ａの場合
は、 ｄｘｎ（Ａ）＝Ｘｎ（Ａ）―Ｘｎ―ｌ（Ａ） ｄｙｎ（Ａ）＝Ｙｎ（Ａ）―Ｙｎ―ｌ（Ａ） となる。さらには３次元動き情報検出部５の学習課程
も、実施例１の場合とは異なる入力信号に対して行われ
ることになる。
レームの特徴点座標とから動きベクトルを求めていた
が、初期フレームの代わりに、現フレーム（ｎフレー
ム）の１フレーム以上前のフレーム（ｎ―１フレーム）
を用いることもできる。その場合、動きベクトル検出部
４における動きベクトル算出法は、例えば点Ａの場合
は、 ｄｘｎ（Ａ）＝Ｘｎ（Ａ）―Ｘｎ―ｌ（Ａ） ｄｙｎ（Ａ）＝Ｙｎ（Ａ）―Ｙｎ―ｌ（Ａ） となる。さらには３次元動き情報検出部５の学習課程
も、実施例１の場合とは異なる入力信号に対して行われ
ることになる。
【００１８】実施例３．また上記実施例１では、特徴点
は、被写体が人物の場合には比較的抽出が容易な位置に
ある、点Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆを用いたが、被写体に
よっては別の特徴点であってもよい。
は、被写体が人物の場合には比較的抽出が容易な位置に
ある、点Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆを用いたが、被写体に
よっては別の特徴点であってもよい。
【００１９】実施例４．また上記実施例１では、３次元
動き情報検出部５の３層構造は、１０−３−６とした
が、実験の結果、入力を３特徴点のＸＹ座標にし、６−
３−６の構造としても十分であることが明かとなった。
この場合、特徴点抽出部での作業は５点から３点で済む
ために高速化が実現できる。さらに、一般性を持たせる
ために、３次元動き情報検出部５における動き情報の学
習課程において、入力、中間、出力の各層のユニット数
を変化させ、教師信号と出力信号との誤差が許容範囲内
にある中で、ユニット間の信号線数の総和が最小になる
ように、入力、中間、出力の各層におけるユニット数を
決定すればよい。すなわち、入力、中間、出力の各層に
おけるユニット数をそれぞれＩ、ＪＫとすれば、ユニッ
ト間の信号線数の総和Ｌは、Ｌ＝Ｉ×Ｊ＋Ｊ×Ｋとな
る。このＬの値が最小になる各ユニットをもって最終的
な構造とすればよい。
動き情報検出部５の３層構造は、１０−３−６とした
が、実験の結果、入力を３特徴点のＸＹ座標にし、６−
３−６の構造としても十分であることが明かとなった。
この場合、特徴点抽出部での作業は５点から３点で済む
ために高速化が実現できる。さらに、一般性を持たせる
ために、３次元動き情報検出部５における動き情報の学
習課程において、入力、中間、出力の各層のユニット数
を変化させ、教師信号と出力信号との誤差が許容範囲内
にある中で、ユニット間の信号線数の総和が最小になる
ように、入力、中間、出力の各層におけるユニット数を
決定すればよい。すなわち、入力、中間、出力の各層に
おけるユニット数をそれぞれＩ、ＪＫとすれば、ユニッ
ト間の信号線数の総和Ｌは、Ｌ＝Ｉ×Ｊ＋Ｊ×Ｋとな
る。このＬの値が最小になる各ユニットをもって最終的
な構造とすればよい。
【００２０】実施例５．また上記実施例１では、コンピ
ュータ・グラフィックスを用いた３次元構造モデルの回
転、平行移動変換により、回転角、平行移動変換によ
り、回転角、平行移動距離を教師信号として得ていた
が、実際の人物の頭部運動を行い、高精度に抽出した３
次元運動情報を教師信号として用いて、学習を実行させ
てもよい。
ュータ・グラフィックスを用いた３次元構造モデルの回
転、平行移動変換により、回転角、平行移動変換によ
り、回転角、平行移動距離を教師信号として得ていた
が、実際の人物の頭部運動を行い、高精度に抽出した３
次元運動情報を教師信号として用いて、学習を実行させ
てもよい。
【００２１】実施例６．また上記実施例１では、３次元
動き情報検出部の教師信号として、ＸＹＺ各軸回りの回
転角は０度から３０度まで３度刻みに、、平行移動距離
は１から３０まで１度刻みに、それぞれ独立に値を変え
て与えていたが、被写体画像が動くと考えられるすべて
の範囲を予め教師信号のデータとして与え、学習を行う
場合には、教師信号のデータ数が大きくなるが、さらに
高精度な動き検出が実現できる。
動き情報検出部の教師信号として、ＸＹＺ各軸回りの回
転角は０度から３０度まで３度刻みに、、平行移動距離
は１から３０まで１度刻みに、それぞれ独立に値を変え
て与えていたが、被写体画像が動くと考えられるすべて
の範囲を予め教師信号のデータとして与え、学習を行う
場合には、教師信号のデータ数が大きくなるが、さらに
高精度な動き検出が実現できる。
【００２２】実施例７．入力画像中の複数の被写体画像
の動きの範囲と動きのパターンを予め３次元動き情報検
出部において学習させ、学習後、各々の被写体画像の動
きを別個に検出する適応化器を備えてもよい。
の動きの範囲と動きのパターンを予め３次元動き情報検
出部において学習させ、学習後、各々の被写体画像の動
きを別個に検出する適応化器を備えてもよい。
【００２３】実施例８．３次元動き情報検出部を、ニュ
ーロ・チップを用いた高速化回路で構成することも可能
である。
ーロ・チップを用いた高速化回路で構成することも可能
である。
【００２４】
【発明の効果】上記のようにこの発明による動き検出器
によれば、２フレーム分の画像信号を用いて被写体画像
の動きベクトルを検出するために、非常に安定した動き
ベクトル検出が行えるとともに初期フレームと現フレー
ムの２フレームの被写体画像中の特徴点の座標値から、
動きベクトルを検出しているので、入力画像が、駒落と
しされたフレーム間隔の長い場合においても、高精度な
動き検出が可能となる。
によれば、２フレーム分の画像信号を用いて被写体画像
の動きベクトルを検出するために、非常に安定した動き
ベクトル検出が行えるとともに初期フレームと現フレー
ムの２フレームの被写体画像中の特徴点の座標値から、
動きベクトルを検出しているので、入力画像が、駒落と
しされたフレーム間隔の長い場合においても、高精度な
動き検出が可能となる。
【００２５】また、上記により検出した動きベクトルを
入力として、動き情報について学習済みの、動き検出部
において被写体画像の３次元運動情報を検出するため
に、非常に高精度な検出が行える。
入力として、動き情報について学習済みの、動き検出部
において被写体画像の３次元運動情報を検出するため
に、非常に高精度な検出が行える。
【００２６】また、この他の発明によれば、入力画像中
の被写体画像の特徴点の個数を増やすことにより、被写
体画像の動きに伴い、被写体画像の有する３次元構造情
報を抽出することで、より微妙な３次元構造情報を抽出
することができる。
の被写体画像の特徴点の個数を増やすことにより、被写
体画像の動きに伴い、被写体画像の有する３次元構造情
報を抽出することで、より微妙な３次元構造情報を抽出
することができる。
【００２７】更に、またこの他の発明によれば、３次元
動き情報検出部を入力、中間、出力の各層から構成し、
上記３次元動き情報検出部における動き情報の学習課程
において、上記各層の入力、中間、出力の各層のユニッ
ト数を変化させ、教師信号と出力信号との誤差が許容範
囲内にあるものの中で、ユニット間の信号線数の総和が
最小となるものを各層のユニットとして定めることで、
特徴点抽出部での抽出特徴点を削減をすることができ各
処理の高速化が計れる。
動き情報検出部を入力、中間、出力の各層から構成し、
上記３次元動き情報検出部における動き情報の学習課程
において、上記各層の入力、中間、出力の各層のユニッ
ト数を変化させ、教師信号と出力信号との誤差が許容範
囲内にあるものの中で、ユニット間の信号線数の総和が
最小となるものを各層のユニットとして定めることで、
特徴点抽出部での抽出特徴点を削減をすることができ各
処理の高速化が計れる。
【図１】この発明の実施例１を示す動き検出器のブロッ
ク図である。
ク図である。
【図２】被写体画像（人物の肩上画像）の５個の特徴点
及び２フレーム間の動きを表す図である。
及び２フレーム間の動きを表す図である。
【図３】３次元動き情報検出部の構造を表す図である。
【図４】コンピュータグラフィックス技術を用いて作成
した３次元構造モデルの合成画像である。
した３次元構造モデルの合成画像である。
【図５】３次元構造モデル画像のＸＹＺ各軸回りの回転
角、及び平行移動距離で、３次元動き情報検出部の教師
信号である。
角、及び平行移動距離で、３次元動き情報検出部の教師
信号である。
【図６】検出された、５特徴点の座標情報である。（複
数フレーム分）
数フレーム分）
【図７】従来の動きベクトル検出装置のブロック図であ
る。
る。
【図８】動きベクトルを検出するフィールドとブロック
の関係を示す説明図である。
の関係を示す説明図である。
【図９】フィールド内におけるブロックの基準座標を示
す説明図である。
す説明図である。
１ 画像入力部 ２ スイッチ ３ 特徴点抽出部 ４ 動きベクトル検出部 ５ ３次元動き情報検出部 ６ フレームメモリ １０１ デジタル化された画像入力（現フレーム） １０２ デジタル化された画像入力（初期フレーム） １０３ デジタル化された画像入力（初期フレーム）
を１フレーム分遅延させたもの １０５ 現フレームの被写体画像の特徴点座標 １０６ 現フレームの検出された動きベクトル １０７ 初期フレームの被写体画像の特徴点座標 １０８ ３次元運動情報
を１フレーム分遅延させたもの １０５ 現フレームの被写体画像の特徴点座標 １０６ 現フレームの検出された動きベクトル １０７ 初期フレームの被写体画像の特徴点座標 １０８ ３次元運動情報
Claims (3)
- 【請求項１】 デジタル信号化された現フレームの画像
信号と１フレーム前の画像信号をそれぞれ振り分けるス
イッチと、振り分けられた１フレーム前の画像信号より
被写体画像中の複数個の特徴点の座標を抽出する第１の
特徴点抽出部と、上記現フレームの画像信号より前記１
フレーム前の画像信号による被写体画像中における複数
個の特徴点と同様の被写体画像中の複数個の特徴点の座
標を抽出する第２の特徴点抽出部と、抽出された各特徴
点の座標より特徴点の動きベクトルを検出する動きベク
トル検出部と、上記検出された動きベクトルを入力信号
として入力する入力層、被写体画像の動き情報を学習
し、この学習に従って上記動きベクトルより被写体画像
の３次元運動情報を導き出す中間層、該３次元運転情報
を出力する出力層からなる３次元動き情報検出部とを備
えたことを特徴とする動き検出器。 - 【請求項２】 現フレームの画像信号および１フレーム
前の画像信号による被写体画像の特徴点の個数を増やす
ことにより、被写体画像の動きに伴い、被写体画像の有
する３次元構造情報を抽出することを特徴とする請求項
１記載の動き検出器。 - 【請求項３】 ３次元動き情報検出部を入力、中間、出
力の各層から構成し、上記３次元動き情報検出部におけ
る動き情報の学習課程において、上記各層の入力、中
間、出力の各層のユニット数を変化させて行き、教師信
号と出力信号との誤差が許容範囲内にある中で、ユニッ
ト間の信号線数の総和が最小となるように各層における
ユニット数を定めることを特徴とする請求項１記載の動
き検出器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12542991A JP2919115B2 (ja) | 1991-04-26 | 1991-04-26 | 動き検出器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12542991A JP2919115B2 (ja) | 1991-04-26 | 1991-04-26 | 動き検出器 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0567213A JPH0567213A (ja) | 1993-03-19 |
| JP2919115B2 true JP2919115B2 (ja) | 1999-07-12 |
Family
ID=14909881
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP12542991A Expired - Fee Related JP2919115B2 (ja) | 1991-04-26 | 1991-04-26 | 動き検出器 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2919115B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR0181031B1 (ko) * | 1995-03-20 | 1999-05-01 | 배순훈 | 움직임 보상된 인터폴레이션에서의 엣지 보상 장치 |
| KR0178229B1 (ko) * | 1995-08-08 | 1999-05-01 | 배순훈 | 특징점에 근거한 화소단위 움직임 추정을 이용한 영상 처리 장치 |
| KR0178230B1 (ko) * | 1995-08-08 | 1999-05-01 | 배순훈 | 특징점에 의한 움직임 추정을 이용한 영상 처리 장치 |
-
1991
- 1991-04-26 JP JP12542991A patent/JP2919115B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0567213A (ja) | 1993-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Byravan et al. | Se3-nets: Learning rigid body motion using deep neural networks | |
| Gao et al. | Dual-hand detection for human–robot interaction by a parallel network based on hand detection and body pose estimation | |
| US6554431B1 (en) | Method and apparatus for image projection, and apparatus controlling image projection | |
| JP3768174B2 (ja) | ワーク取出し装置 | |
| Dudek et al. | Vision-based robot localization without explicit object models | |
| CN113221647B (zh) | 一种融合点云局部特征的6d位姿估计方法 | |
| CN109086663B (zh) | 基于卷积神经网络的尺度自适应的自然场景文本检测方法 | |
| CN109934183B (zh) | 图像处理方法及装置、检测设备及存储介质 | |
| CN111667535A (zh) | 一种针对遮挡场景下的六自由度位姿估计方法 | |
| CN112085789A (zh) | 位姿估计方法、装置、设备及介质 | |
| CN111199207A (zh) | 基于深度残差神经网络的二维多人体姿态估计方法 | |
| CN114724185A (zh) | 一种轻量型的多人姿态跟踪方法 | |
| EP0604687B1 (en) | Method for deriving character features in a character recognition system | |
| CN115451964A (zh) | 基于多模态混合特征的船舶场景同时建图与定位方法 | |
| CN116385660A (zh) | 室内单视图场景语义重建方法及系统 | |
| JP2919115B2 (ja) | 動き検出器 | |
| KR20230150867A (ko) | 얼굴 표정, 신체 자세 형상 및 의류 퍼포먼스 캡처를 위해 암시적 구별가능 렌더러를 사용하는 멀티뷰 신경 사람 예측 | |
| Herpers et al. | Detection and tracking of faces in real environments | |
| CN114119753A (zh) | 面向机械臂抓取的透明物体6d姿态估计方法 | |
| JP7051751B2 (ja) | 学習装置、学習方法、学習モデル、検出装置及び把持システム | |
| CN114201985A (zh) | 一种人体关键点的检测方法及装置 | |
| Gadhiya et al. | Analysis of deep learning based pose estimation techniques for locating landmarks on human body parts | |
| CN116485953A (zh) | 数据处理方法、装置、设备和可读存储介质 | |
| CN115496859A (zh) | 基于散乱点云交叉注意学习的三维场景运动趋势估计方法 | |
| CN115205750A (zh) | 基于深度学习模型的运动实时计数方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080423 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090423 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100423 Year of fee payment: 11 |
|
| LAPS | Cancellation because of no payment of annual fees |