JPH1051788A - 動画像の動き推定装置および方法ならびに動画像の動き推定制御プログラムを記録した記録媒体 - Google Patents
動画像の動き推定装置および方法ならびに動画像の動き推定制御プログラムを記録した記録媒体Info
- Publication number
- JPH1051788A JPH1051788A JP20570796A JP20570796A JPH1051788A JP H1051788 A JPH1051788 A JP H1051788A JP 20570796 A JP20570796 A JP 20570796A JP 20570796 A JP20570796 A JP 20570796A JP H1051788 A JPH1051788 A JP H1051788A
- Authority
- JP
- Japan
- Prior art keywords
- image block
- image
- block
- size
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Color Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
(57)【要約】
【課題】 動画像の画像ブロック毎の動き量の推定を行
う動き推定装置の精度向上を図ること。 【解決手段】 動画像の時空間輝度勾配ベクトルから画
像の動き量の推定を行う装置であって、処理対象の動画
像信号及び画像ブロックの位置・サイズ情報が入力され
るブロック抽出回路１、固有値演算回路２、判定回路
３、ブロックサイズ指定回路４、動き推定回路５を有す
る。動画像の画像ブロック内の時空間輝度勾配ベクトル
の分布状態を示す固有値を用いて動き推定の良否の判定
を行い、否と判定された推定値に対し、動き量の推定時
に使用した画像ブロックのサイズを増減させ、動き推定
の良否の判定が良となる適正な画像ブロックサイズとな
るまでこの処理を繰り返す。これにより、固有値法を用
いた勾配法の動き量の推定の正確さが向上し、高精度な
動き推定を行うことができる。
う動き推定装置の精度向上を図ること。 【解決手段】 動画像の時空間輝度勾配ベクトルから画
像の動き量の推定を行う装置であって、処理対象の動画
像信号及び画像ブロックの位置・サイズ情報が入力され
るブロック抽出回路１、固有値演算回路２、判定回路
３、ブロックサイズ指定回路４、動き推定回路５を有す
る。動画像の画像ブロック内の時空間輝度勾配ベクトル
の分布状態を示す固有値を用いて動き推定の良否の判定
を行い、否と判定された推定値に対し、動き量の推定時
に使用した画像ブロックのサイズを増減させ、動き推定
の良否の判定が良となる適正な画像ブロックサイズとな
るまでこの処理を繰り返す。これにより、固有値法を用
いた勾配法の動き量の推定の正確さが向上し、高精度な
動き推定を行うことができる。
Description
【０００１】
【発明の属する技術分野】本発明は、動画像の動き推定
装置およびその推定方法に関し、特に動画像上の画像ブ
ロック毎の動き量の推定を行う動き推定装置および推定
方法に関する。
装置およびその推定方法に関し、特に動画像上の画像ブ
ロック毎の動き量の推定を行う動き推定装置および推定
方法に関する。
【０００２】
【従来の技術】動画像処理の分野における領域分割や符
号化等では動画像の正確な動き推定を行うことが重要で
ある。従来、この種の動画像の動き推定装置は、勾配法
を用いたものと、ブロックマッチング法を用いたものと
に大別される。
号化等では動画像の正確な動き推定を行うことが重要で
ある。従来、この種の動画像の動き推定装置は、勾配法
を用いたものと、ブロックマッチング法を用いたものと
に大別される。
【０００３】勾配法は、画像ブロック内が同一の動き量
であるという仮定の下に、画像ブロック内の各画素の時
空間輝度勾配から動き量を推定する手法である（吹抜，
“画像信号による動対象の移動量、速度の測定”，信学
技報，ＩＥ７８−６７，ｐ．３５−４１（１９７
８））。
であるという仮定の下に、画像ブロック内の各画素の時
空間輝度勾配から動き量を推定する手法である（吹抜，
“画像信号による動対象の移動量、速度の測定”，信学
技報，ＩＥ７８−６７，ｐ．３５−４１（１９７
８））。
【０００４】一般に勾配法は、小さな動き量に対しては
良好な推定が可能であるが、動き量が大きくなるに従
い、推定精度が劣化することが指摘されており、この問
題を解決するために画像ブロックの位置を偏位させなが
ら勾配法の計算を繰り返す、反復勾配法が用いられてい
る（和田，山口，“反復勾配法による動画像信号の動き
量検出”，信学論，Ｖｏｌ．Ｊ６８−Ｄ，Ｎｏ．４，ｐ
ｐ．６６３−６７０（１９８５））。しかし、この手法
は一般的な勾配法と同様に、画像ブロックサイズは固定
サイズとして用いられている。
良好な推定が可能であるが、動き量が大きくなるに従
い、推定精度が劣化することが指摘されており、この問
題を解決するために画像ブロックの位置を偏位させなが
ら勾配法の計算を繰り返す、反復勾配法が用いられてい
る（和田，山口，“反復勾配法による動画像信号の動き
量検出”，信学論，Ｖｏｌ．Ｊ６８−Ｄ，Ｎｏ．４，ｐ
ｐ．６６３−６７０（１９８５））。しかし、この手法
は一般的な勾配法と同様に、画像ブロックサイズは固定
サイズとして用いられている。
【０００５】また、栄藤らは動きベクトルは輝度勾配の
共分散により表現でき、輝度勾配の共分散の固有値によ
り動きベクトルの信頼度の評価が可能であることを指摘
している（栄藤，白井，“色、位置、輝度こう配に基づ
く領域分割による２次元動き推定”，信学論，Ｖｏｌ．
Ｊ７６−Ｄ−ＩＩ，Ｎｏ．１１，ｐｐ．２３２４−２３
３２（１９９３））。しかし、この文献では輝度勾配の
共分散の固有値により動きベクトルの信頼度の評価が可
能であるという提案にとどまっており、具体的な信頼度
を用いた手法については言及されていない。
共分散により表現でき、輝度勾配の共分散の固有値によ
り動きベクトルの信頼度の評価が可能であることを指摘
している（栄藤，白井，“色、位置、輝度こう配に基づ
く領域分割による２次元動き推定”，信学論，Ｖｏｌ．
Ｊ７６−Ｄ−ＩＩ，Ｎｏ．１１，ｐｐ．２３２４−２３
３２（１９９３））。しかし、この文献では輝度勾配の
共分散の固有値により動きベクトルの信頼度の評価が可
能であるという提案にとどまっており、具体的な信頼度
を用いた手法については言及されていない。
【０００６】一方、ブロックマッチング法は現フレーム
の画像ブロックに対して前フレームの画像内で誤差が最
小となる画像ブロックの位置を検出する手法である（二
宮，“フレーム間符号化における動き補正”，信学技
報，ＩＥ７８−６，ｐ．１−１０（１９８１））。
の画像ブロックに対して前フレームの画像内で誤差が最
小となる画像ブロックの位置を検出する手法である（二
宮，“フレーム間符号化における動き補正”，信学技
報，ＩＥ７８−６，ｐ．１−１０（１９８１））。
【０００７】ブロックマッチング法の応用としてブロッ
クサイズを階層的に小さくしていくことで動き検出精度
の向上を図った手法がある（富永ら，“階層画素情報を
用いた動画像における動き量検出方式”，信学論，Ｖｏ
ｌ．Ｊ７２−Ｄ−ＩＩ，Ｎｏ．３，ｐｐ．３９５−４０
３（１９８９））。この手法は画像ブロックサイズを可
変にしているが、その可変方法は画像ブロック内の画像
内容とは無関係に行われている。
クサイズを階層的に小さくしていくことで動き検出精度
の向上を図った手法がある（富永ら，“階層画素情報を
用いた動画像における動き量検出方式”，信学論，Ｖｏ
ｌ．Ｊ７２−Ｄ−ＩＩ，Ｎｏ．３，ｐｐ．３９５−４０
３（１９８９））。この手法は画像ブロックサイズを可
変にしているが、その可変方法は画像ブロック内の画像
内容とは無関係に行われている。
【０００８】
【発明が解決しようとする課題】以上述べたように、従
来技術では画像ブロックのサイズが固定であったり、サ
イズを拡大または縮小させる方向が一方向であり、画像
ブロック内の画像内容や性質とは無関係に画像ブロック
を決定して動き量の推定を行っているので、必ずしも正
確な動き量の推定が行えないという解決すべき課題があ
った。
来技術では画像ブロックのサイズが固定であったり、サ
イズを拡大または縮小させる方向が一方向であり、画像
ブロック内の画像内容や性質とは無関係に画像ブロック
を決定して動き量の推定を行っているので、必ずしも正
確な動き量の推定が行えないという解決すべき課題があ
った。
【０００９】本発明の目的は、上記の課題を解決するた
めに、画像ブロック内に特徴的な輝度勾配が存在しなか
ったり、同一種類の輝度勾配しか存在しない場合に、あ
るいは画像ブロック内に複数の動きベクトルが存在して
いる場合に、動き推定に使用される画像ブロックのサイ
ズが画像ブロック内の輝度勾配ベクトル分布の状態に対
応した適正な画像ブロックサイズとなり、正確な動き量
の推定が行える動画像の動き推定装置およびその推定方
法を提供することにある。
めに、画像ブロック内に特徴的な輝度勾配が存在しなか
ったり、同一種類の輝度勾配しか存在しない場合に、あ
るいは画像ブロック内に複数の動きベクトルが存在して
いる場合に、動き推定に使用される画像ブロックのサイ
ズが画像ブロック内の輝度勾配ベクトル分布の状態に対
応した適正な画像ブロックサイズとなり、正確な動き量
の推定が行える動画像の動き推定装置およびその推定方
法を提供することにある。
【００１０】
【課題を解決するための手段】上記目的を達成するた
め、本発明の動画像の動き推定装置は、供給される動画
像から指定された位置及びサイズの画像ブロックを切り
出すブロック抽出手段と、このブロック抽出手段により
切り出された画像ブロック内の時空間輝度勾配ベクトル
の分布状態を示す固有値を算出する固有値演算手段と、
この固有値演算手段で算出された上記固有値に基づき上
記動画像に対する推定動き量の良否の判定を行い、この
判定結果に基づき上記画像ブロックのサイズの増減の指
定を行う判定手段と、上記判定手段の上記指定に応じて
上記画像ブロックのサイズの増減を行い、上記ブロック
抽出手段で切り出す画像ブロックのサイズの決定を行う
ブロックサイズ指定手段と、上記ブロック抽出手段によ
り切り出された上記画像ブロック内の時空間輝度勾配ベ
クトルから上記動画像の動き量を推定する動き推定手段
とを有することを特徴とする。
め、本発明の動画像の動き推定装置は、供給される動画
像から指定された位置及びサイズの画像ブロックを切り
出すブロック抽出手段と、このブロック抽出手段により
切り出された画像ブロック内の時空間輝度勾配ベクトル
の分布状態を示す固有値を算出する固有値演算手段と、
この固有値演算手段で算出された上記固有値に基づき上
記動画像に対する推定動き量の良否の判定を行い、この
判定結果に基づき上記画像ブロックのサイズの増減の指
定を行う判定手段と、上記判定手段の上記指定に応じて
上記画像ブロックのサイズの増減を行い、上記ブロック
抽出手段で切り出す画像ブロックのサイズの決定を行う
ブロックサイズ指定手段と、上記ブロック抽出手段によ
り切り出された上記画像ブロック内の時空間輝度勾配ベ
クトルから上記動画像の動き量を推定する動き推定手段
とを有することを特徴とする。
【００１１】また、本発明の動画像の動き推定方法は、
動画像信号が供給され、供給された動画像の異なる時刻
の画像毎に、指定された画像ブロックの位置及びサイズ
の画像ブロックを抽出する第１ステップと、この第１ス
テップで抽出された上記画像ブロック内の各画素の時空
間輝度勾配ベクトルを計算し、この時空間輝度勾配ベク
トルを用いて上記画像ブロック内の時空間輝度勾配ベク
トルの共分散行列の固有値の計算を行う第２ステップ
と、この第２ステップの計算結果である上記固有値を用
いた判定基準により動き量の推定値の良否の判定を行
い、良と判定した場合はその判定結果を出力し、否と判
定した場合は上記判定基準の値に応じて上記画像ブロッ
クのサイズの増減を指定するブロックサイズ指定情報を
出力する第３ステップと、この第３ステップの出力結果
である上記ブロックサイズ指定情報に従い上記画像ブロ
ックのサイズを増減させる第４ステップと、上記第１ス
テップから上記第４ステップまでを上記第３ステップの
判定が良となるまで繰り返し行う第５ステップと、上記
第３ステップの判定が良と判定されたときに動作して上
記第１ステップで抽出された上記画像ブロック内の時空
間輝度勾配ベクトルからの共分散行列の第３固有値に対
応する固有ベクトルから動き量を推定して、推定したこ
の動き量を出力する第６ステップとを有することを特徴
とする。
動画像信号が供給され、供給された動画像の異なる時刻
の画像毎に、指定された画像ブロックの位置及びサイズ
の画像ブロックを抽出する第１ステップと、この第１ス
テップで抽出された上記画像ブロック内の各画素の時空
間輝度勾配ベクトルを計算し、この時空間輝度勾配ベク
トルを用いて上記画像ブロック内の時空間輝度勾配ベク
トルの共分散行列の固有値の計算を行う第２ステップ
と、この第２ステップの計算結果である上記固有値を用
いた判定基準により動き量の推定値の良否の判定を行
い、良と判定した場合はその判定結果を出力し、否と判
定した場合は上記判定基準の値に応じて上記画像ブロッ
クのサイズの増減を指定するブロックサイズ指定情報を
出力する第３ステップと、この第３ステップの出力結果
である上記ブロックサイズ指定情報に従い上記画像ブロ
ックのサイズを増減させる第４ステップと、上記第１ス
テップから上記第４ステップまでを上記第３ステップの
判定が良となるまで繰り返し行う第５ステップと、上記
第３ステップの判定が良と判定されたときに動作して上
記第１ステップで抽出された上記画像ブロック内の時空
間輝度勾配ベクトルからの共分散行列の第３固有値に対
応する固有ベクトルから動き量を推定して、推定したこ
の動き量を出力する第６ステップとを有することを特徴
とする。
【００１２】本発明では、上記のように、画像ブロック
内の時空間輝度勾配ベクトルの分布状態を示す固有値を
使用した判定基準値を用い、この判定基準値により動画
像に対する推定動き量の良否の判定を行い、否の判定の
場合、すなわち判定基準値が閾値を満たさない場合は、
判定基準値に従って画像ブロックのサイズを拡大または
縮小させ、動き量の推定値が上記の判定基準を満たすま
で画像ブロックのサイズを増減させる構成としているの
で、本発明によれば、画像ブロック内に特徴的な輝度勾
配が存在しなかったり、同一種類の輝度勾配しか存在し
ない場合には、画像ブロックのサイズを大きくすること
により、特徴的な輝度勾配が画像ブロックに含まれ、あ
るいは複数の輝度勾配ベクトルが含まれることになり、
一方、画像ブロック内に複数の動きベクトルが存在して
いる場合には、画像ブロックのサイズを小さくすること
で画像ブロック内の動きベクトルが単一の画像となるの
で、動き推定に使用される画像ブロックのサイズが画像
ブロック内の輝度勾配ベクトル分布の状態に対応した適
正な画像ブロックサイズとなり、正確な動き量の推定が
行える。
内の時空間輝度勾配ベクトルの分布状態を示す固有値を
使用した判定基準値を用い、この判定基準値により動画
像に対する推定動き量の良否の判定を行い、否の判定の
場合、すなわち判定基準値が閾値を満たさない場合は、
判定基準値に従って画像ブロックのサイズを拡大または
縮小させ、動き量の推定値が上記の判定基準を満たすま
で画像ブロックのサイズを増減させる構成としているの
で、本発明によれば、画像ブロック内に特徴的な輝度勾
配が存在しなかったり、同一種類の輝度勾配しか存在し
ない場合には、画像ブロックのサイズを大きくすること
により、特徴的な輝度勾配が画像ブロックに含まれ、あ
るいは複数の輝度勾配ベクトルが含まれることになり、
一方、画像ブロック内に複数の動きベクトルが存在して
いる場合には、画像ブロックのサイズを小さくすること
で画像ブロック内の動きベクトルが単一の画像となるの
で、動き推定に使用される画像ブロックのサイズが画像
ブロック内の輝度勾配ベクトル分布の状態に対応した適
正な画像ブロックサイズとなり、正確な動き量の推定が
行える。
【００１３】
【発明の実施の形態】以下、図面を参照しながら本発明
の実施の形態を詳細に説明する。
の実施の形態を詳細に説明する。
【００１４】図１は本発明を適用した動き推定装置の実
施形態の構成を示すブロック図である。
施形態の構成を示すブロック図である。
【００１５】図１に示す動き推定装置は、処理対象の動
画像信号及び画像ブロックの位置・サイズ情報が入力さ
れるブロック抽出回路１、固有値演算回路２、判定回路
３、ブロックサイズ指定回路４、動き推定回路５により
構成されている。
画像信号及び画像ブロックの位置・サイズ情報が入力さ
れるブロック抽出回路１、固有値演算回路２、判定回路
３、ブロックサイズ指定回路４、動き推定回路５により
構成されている。
【００１６】（ｉ）第１段階として、入力する動画像信
号はブロック抽出回路１に供給され、指定された位置
（ｘ，ｙ）及びサイズＭ×Ｎの画像ブロックがブロック
抽出回路１で抽出される。画像ブロック位置（ｘ，ｙ）
は外部からブロック位置情報により指定される。画像ブ
ロックのサイズＭ，Ｎは、ブロックサイズ指定回路４に
より指定される縦方向及び横方向の画素数である。ブロ
ック抽出回路１は供給された動画像の異なる時刻ｔ，ｔ
＋ｔ1 ，ｔ＋ｔ2 ，…の画像の画像ブロックを抽出す
る。本例では時刻ｔ，ｔ＋ｔ1 の２枚の画像から画像ブ
ロックを抽出するものとして説明する。
号はブロック抽出回路１に供給され、指定された位置
（ｘ，ｙ）及びサイズＭ×Ｎの画像ブロックがブロック
抽出回路１で抽出される。画像ブロック位置（ｘ，ｙ）
は外部からブロック位置情報により指定される。画像ブ
ロックのサイズＭ，Ｎは、ブロックサイズ指定回路４に
より指定される縦方向及び横方向の画素数である。ブロ
ック抽出回路１は供給された動画像の異なる時刻ｔ，ｔ
＋ｔ1 ，ｔ＋ｔ2 ，…の画像の画像ブロックを抽出す
る。本例では時刻ｔ，ｔ＋ｔ1 の２枚の画像から画像ブ
ロックを抽出するものとして説明する。
【００１７】（ii）第２段階として、固有値演算回路２
はブロック抽出回路１により抽出された画像ブロック内
の各画素の時空間輝度勾配ベクトルを算出し、算出した
各画素の時空間輝度勾配ベクトル用いて、画像ブロック
内の時空間輝度勾配ベクトルの共分散行列の固有値の計
算を行う。本例での計算方法を次に示す。
はブロック抽出回路１により抽出された画像ブロック内
の各画素の時空間輝度勾配ベクトルを算出し、算出した
各画素の時空間輝度勾配ベクトル用いて、画像ブロック
内の時空間輝度勾配ベクトルの共分散行列の固有値の計
算を行う。本例での計算方法を次に示す。
【００１８】画像ブロック内の位置（ｘ，ｙ）の画素の
輝度値がａ（ｘ，ｙ，ｔ）であるとき、固有値演算回路
２は、画像ブロック内の各画素に対する時空間輝度勾配
ベクトルｇx,y を
輝度値がａ（ｘ，ｙ，ｔ）であるとき、固有値演算回路
２は、画像ブロック内の各画素に対する時空間輝度勾配
ベクトルｇx,y を
【００１９】
【数１】
【００２０】として計算し、画像ブロック内の時空間輝
度勾配ベクトルの共分散行列を
度勾配ベクトルの共分散行列を
【００２１】
【数２】
【００２２】として計算する。さらに共分散行列Ｇの固
有値を計算し、演算結果の固有値を出力する。本例で
は、固有値演算回路２により計算された固有値を値の大
きい順にλ1 ，λ2 ，λ3 として説明する。
有値を計算し、演算結果の固有値を出力する。本例で
は、固有値演算回路２により計算された固有値を値の大
きい順にλ1 ，λ2 ，λ3 として説明する。
【００２３】(iii) 第３段階として、判定回路３は固有
値演算回路２の計算結果である固有値λ1 ，λ2 ，λ3
を用いた判定基準により、動き量の推定値の良否の判定
を行う。良と判定した場合は動き推定回路５を動作さ
せ、否と判定した場合は判定基準値に応じて画像ブロッ
クサイズの増減を指定し、この指定をブロックサイズ指
定回路４に入力する。本例でのこの判定基準と判定方法
を次に示す。判定基準値として次の３式ｓs ，ｓl ，ｓ
k を用いる。
値演算回路２の計算結果である固有値λ1 ，λ2 ，λ3
を用いた判定基準により、動き量の推定値の良否の判定
を行う。良と判定した場合は動き推定回路５を動作さ
せ、否と判定した場合は判定基準値に応じて画像ブロッ
クサイズの増減を指定し、この指定をブロックサイズ指
定回路４に入力する。本例でのこの判定基準と判定方法
を次に示す。判定基準値として次の３式ｓs ，ｓl ，ｓ
k を用いる。
【００２４】
【数３】
【００２５】図２に判定基準による動き推定の良否の判
別及び、否時の画像ブロックサイズの増減の判定の実例
を示す。図２のｋ1 ，ｋ2 ，ｋ3 はそれぞれ基準値
ｓs ，ｓl ，ｓk に対応した閾値である。閾値は経験に
基づき予め設定しておく。
別及び、否時の画像ブロックサイズの増減の判定の実例
を示す。図２のｋ1 ，ｋ2 ，ｋ3 はそれぞれ基準値
ｓs ，ｓl ，ｓk に対応した閾値である。閾値は経験に
基づき予め設定しておく。
【００２６】まず、ステップ１１において、固有値演算
回路２の計算結果である固有値λ1，λ2 ，λ3 から判
定基準値としてのｓs ，ｓl ，ｓk を上記の３式により
算出する。
回路２の計算結果である固有値λ1，λ2 ，λ3 から判
定基準値としてのｓs ，ｓl ，ｓk を上記の３式により
算出する。
【００２７】次に、ステップ１２に進んで、ｓs と閾値
ｋ1 とを比較し、ｓs ＞ｋ1 であれば、ステップ１３に
進み、そうでなければステップ１６に移行する。
ｋ1 とを比較し、ｓs ＞ｋ1 であれば、ステップ１３に
進み、そうでなければステップ１６に移行する。
【００２８】ステップ１３ではｓk と閾値ｋ3 とを比較
し、ｓk ＜ｋ3 であれば、ステップ１４に進んで、推定
値は否と判断して画像ブロックサイズを拡大する指定を
ブロックサイズ指定回路４に出力する。もしそうでなけ
ば、推定値は否と判断して画像ブロックサイズを縮小す
る指定をブロックサイズ指定回路４に出力する。
し、ｓk ＜ｋ3 であれば、ステップ１４に進んで、推定
値は否と判断して画像ブロックサイズを拡大する指定を
ブロックサイズ指定回路４に出力する。もしそうでなけ
ば、推定値は否と判断して画像ブロックサイズを縮小す
る指定をブロックサイズ指定回路４に出力する。
【００２９】ステップ１６ではｓl と閾値ｋ2 とを比較
し、ｓl ＜ｋ2 であれば、ステップ１７へ進んで、推定
値は良との指示を動き推定回路５へ出力する。一方、そ
うでなければ、ステップ１８へ進んで、推定値は否と判
断して画像ブロックサイズを拡大する指定をブロックサ
イズ指定回路４に出力する。
し、ｓl ＜ｋ2 であれば、ステップ１７へ進んで、推定
値は良との指示を動き推定回路５へ出力する。一方、そ
うでなければ、ステップ１８へ進んで、推定値は否と判
断して画像ブロックサイズを拡大する指定をブロックサ
イズ指定回路４に出力する。
【００３０】（iv）第４段階として、ブロックサイズ指
定回路４は現在の画像ブロックサイズＭ，Ｎを持ち、判
定回路３の出力結果の上記指示に従い、画像ブロックサ
イズを増減させる。本例では画像ブロックサイズの増減
を一辺２画素として説明する。判定回路３の判定結果が
画像ブロックサイズの拡大となる判定結果となった場合
には、画像ブロックサイズをＭ＋２，Ｎ＋２とし、判定
回路３の判定結果が画像ブロックサイズの縮小と判定さ
れた場合には、画像ブロックサイズをＭ−２，Ｎ−２と
して、これらをブロック抽出回路１へのブロックサイズ
指定情報とする。
定回路４は現在の画像ブロックサイズＭ，Ｎを持ち、判
定回路３の出力結果の上記指示に従い、画像ブロックサ
イズを増減させる。本例では画像ブロックサイズの増減
を一辺２画素として説明する。判定回路３の判定結果が
画像ブロックサイズの拡大となる判定結果となった場合
には、画像ブロックサイズをＭ＋２，Ｎ＋２とし、判定
回路３の判定結果が画像ブロックサイズの縮小と判定さ
れた場合には、画像ブロックサイズをＭ−２，Ｎ−２と
して、これらをブロック抽出回路１へのブロックサイズ
指定情報とする。
【００３１】（ｖ） 以上の第１段階から第４段階まで
を第３段階の判定回路３の判定が良となるまで繰り返し
行う。
を第３段階の判定回路３の判定が良となるまで繰り返し
行う。
【００３２】（vi）動き推定回路５は判定回路３で推定
動き量が良と判定されたときに動作し、ブロック抽出回
路１で抽出された画像ブロック内の時空間輝度勾配ベク
トルから動き量を推定して動き量を出力する。この動き
量は画像ブロック内の時空間輝度勾配ベクトルの共分散
行列Ｇの第３固有値λ3 に対応する固有ベクトルから求
めることができる（金子，鹿喰，田中，“固有ベクトル
を用いた勾配法による動き推定の検討”，信学総大，Ｄ
−２２３（１９９６））。
動き量が良と判定されたときに動作し、ブロック抽出回
路１で抽出された画像ブロック内の時空間輝度勾配ベク
トルから動き量を推定して動き量を出力する。この動き
量は画像ブロック内の時空間輝度勾配ベクトルの共分散
行列Ｇの第３固有値λ3 に対応する固有ベクトルから求
めることができる（金子，鹿喰，田中，“固有ベクトル
を用いた勾配法による動き推定の検討”，信学総大，Ｄ
−２２３（１９９６））。
【００３３】すなわち、時刻ｔにおける動画像面上の点
（ｘ，ｙ）の輝度をａ（ｘ，ｙ）、時空間輝度勾配ベク
トルを
（ｘ，ｙ）の輝度をａ（ｘ，ｙ）、時空間輝度勾配ベク
トルを
【００３４】
【数４】
【００３５】移動ベクトルをｍ＝（ｕ，ｖ，１）とする
と、内積を用いて、（１）式の勾配法の基本式が得られ
る。
と、内積を用いて、（１）式の勾配法の基本式が得られ
る。
【００３６】
【数５】 ｇ・ tｍ＝０ （１） ここで、動きベクトル（ｕ，ｖ）を３次元へ拡張したベ
クトルｍを移動ベクトルと呼んでいる。
クトルｍを移動ベクトルと呼んでいる。
【００３７】拘束条件として、「ある画像断片内の全て
の画素（画素数ｎ）が同じ動き量である」ことを用いる
と、画像断片内の全画素に対する誤差
の画素（画素数ｎ）が同じ動き量である」ことを用いる
と、画像断片内の全画素に対する誤差
【００３８】
【数６】
【００３９】を最小にすることで移動ベクトルｍを推定
することができる。さらに、ｍの代わりに正規化した単
位移動ベクトルｍu を用いると、推定する動きベクトル
は（２）式を最小とするｍu から求めることができる。
することができる。さらに、ｍの代わりに正規化した単
位移動ベクトルｍu を用いると、推定する動きベクトル
は（２）式を最小とするｍu から求めることができる。
【００４０】
【数７】
【００４１】ここで、Ｇは画像断片内の輝度勾配ベクト
ルの共分散行列であり、次式（３）で表せる。
ルの共分散行列であり、次式（３）で表せる。
【００４２】
【数８】
【００４３】Ｇの固有値をλ1 ≧λ2 ≧λ3 、対応する
固有ベクトルをｕ1 ，ｕ2 ，ｕ3 とすると、（２）式が
最小となるのは、Ｇの最小固有値λ3 に対する固有ベク
トルｕ3 をｍu としたときであることから、移動ベクト
ルｍはＧの第３固有ベクトルｕ3 から推定できる。
固有ベクトルをｕ1 ，ｕ2 ，ｕ3 とすると、（２）式が
最小となるのは、Ｇの最小固有値λ3 に対する固有ベク
トルｕ3 をｍu としたときであることから、移動ベクト
ルｍはＧの第３固有ベクトルｕ3 から推定できる。
【００４４】本発明は、複数の機器から構成されるシス
テムに適用しても、１つの機器からなる装置に適用して
も良い。また、本発明はシステムあるいは装置にプログ
ラムを供給することによって達成する場合にも適用でき
ることは言うまでもない。この場合、本発明を達成する
ためのソフトウェアによって表されるプログラムを格納
した記録媒体を該システムあるいは装置に読み出すこと
によって、そのシステムあるいは装置が、本発明の効果
を享受することが可能となる。この記録媒体も本発明に
含まれる。
テムに適用しても、１つの機器からなる装置に適用して
も良い。また、本発明はシステムあるいは装置にプログ
ラムを供給することによって達成する場合にも適用でき
ることは言うまでもない。この場合、本発明を達成する
ためのソフトウェアによって表されるプログラムを格納
した記録媒体を該システムあるいは装置に読み出すこと
によって、そのシステムあるいは装置が、本発明の効果
を享受することが可能となる。この記録媒体も本発明に
含まれる。
【００４５】
【発明の効果】以上説明したように、本発明によれば、
画像ブロック内の画像内容の性質に応じて画像ブロック
サイズの増減を行うことで、時空間輝度勾配ベクトル分
布に対応した適正な画像ブロックサイズを用いた動き量
の推定を行うことが可能となり、従来の装置よりも、よ
り正確な動き量の推定を行うことができる効果が得られ
る。
画像ブロック内の画像内容の性質に応じて画像ブロック
サイズの増減を行うことで、時空間輝度勾配ベクトル分
布に対応した適正な画像ブロックサイズを用いた動き量
の推定を行うことが可能となり、従来の装置よりも、よ
り正確な動き量の推定を行うことができる効果が得られ
る。
【図１】本発明を適用した動き推定装置の実施形態の構
成を示すブロック図である。
成を示すブロック図である。
【図２】推定された動き量の良否の判定及び、否と判定
されたときの画像ブロックサイズの増減判定の手順を示
すフローチャートである。
されたときの画像ブロックサイズの増減判定の手順を示
すフローチャートである。
１ ブロック抽出回路 ２ 固有値演算回路 ３ 判定回路 ４ ブロックサイズ指定回路 ５ 動き推定回路
─────────────────────────────────────────────────────
【手続補正書】
【提出日】平成８年８月２０日
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】変更
【補正内容】
【００３４】
【数４】
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００３５
【補正方法】変更
【補正内容】
【００３５】
【外１】
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００３６
【補正方法】変更
【補正内容】
【００３６】
【数５】 ここで、動きベクトル（ｕ，ｖ）を３次元へ拡張したベ
クトルｍを移動ベクトルと呼んでいる。
クトルｍを移動ベクトルと呼んでいる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００３８
【補正方法】変更
【補正内容】
【００３８】
【数６】
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００４０
【補正方法】変更
【補正内容】
【００４０】
【数７】
───────────────────────────────────────────────────── フロントページの続き (72)発明者 田中 豊 東京都世田谷区砧一丁目10番11号 日本放 送協会 放送技術研究所内
Claims (3)
- 【請求項１】 供給される動画像から指定された位置及
びサイズの画像ブロックを切り出すブロック抽出手段
と、 該ブロック抽出手段により切り出された画像ブロック内
の時空間輝度勾配ベクトルの分布状態を示す固有値を算
出する固有値演算手段と、 該固有値演算手段で算出された前記固有値に基づき前記
動画像に対する推定動き量の良否の判定を行い、該判定
結果に基づき前記画像ブロックのサイズの増減の指定を
行う判定手段と、 前記判定手段の前記指定に応じて前記画像ブロックのサ
イズの増減を行い、前記ブロック抽出手段で切り出す画
像ブロックのサイズの決定を行うブロックサイズ指定手
段と、 前記ブロック抽出手段により切り出された前記画像ブロ
ック内の時空間輝度勾配ベクトルから前記動画像の動き
量を推定する動き推定手段とを有することを特徴とする
動画像の動き推定装置。 - 【請求項２】 動画像信号が供給され、供給された動画
像の異なる時刻の画像毎に、指定された画像ブロックの
位置及びサイズの画像ブロックを抽出する第１ステップ
と、 該第１ステップで抽出された前記画像ブロック内の各画
素の時空間輝度勾配ベクトルを計算し、該時空間輝度勾
配ベクトルを用いて前記画像ブロック内の時空間輝度勾
配ベクトルの共分散行列の固有値の計算を行う第２ステ
ップと、 該第２ステップの計算結果である前記固有値を用いた判
定基準により動き量の推定値の良否の判定を行い、良と
判定した場合はその判定結果を出力し、否と判定した場
合は前記判定基準の値に応じて前記画像ブロックのサイ
ズの増減を指定するブロックサイズ指定情報を出力する
第３ステップと、 該第３ステップの出力結果である前記ブロックサイズ指
定情報に従い前記画像ブロックのサイズを増減させる第
４ステップと、 前記第１ステップから前記第４ステップまでを前記第３
ステップの判定が良となるまで繰り返し行う第５ステッ
プと、 前記第３ステップの判定が良と判定されたときに動作し
て前記第１ステップで抽出された前記画像ブロック内の
時空間輝度勾配ベクトルからの共分散行列の第３固有値
に対応する固有ベクトルから動き量を推定して、推定し
た該動き量を出力する第６ステップとを有することを特
徴とする動画像の動き推定方法。 - 【請求項３】 コンピュータによって動画像上の画像ブ
ロック毎の動き量の推定を行うための制御プログラムを
記録した記録媒体であって、該制御プログラムはコンピ
ュータに、 動画像信号が供給されると、供給された動画像の異なる
時刻の画像毎に、指定された画像ブロックの位置および
サイズの画像ブロックを抽出させ、 抽出した前記画像ブロック内の各画素の時空間輝度勾配
ベクトルを計算させ、該時空間輝度勾配ベクトルを用い
て前記画像ブロック内の時空間輝度勾配ベクトルの共分
散行列の固有値の計算を行わせ、 計算結果である前記固有値を用いた判定基準により動き
量の推定値の良否の判定を行わせ、良と判定した場合は
その判定結果を出力させ、否と判定した場合は前記判定
基準の値に応じて前記画像ブロックのサイズの増減を指
定するブロックサイズ指定情報を出力させ、 前記ブロックサイズ指定情報に従い前記画像ブロックの
サイズを増減させ、 これまでの処理を前記判定が良となるまで繰り返し行わ
せ、 前記判定が良と判定されたときに動作させて前記抽出さ
れた画像ブロック内の時空間輝度勾配ベクトルからの共
分散行列の第３固有値に対応する固有ベクトルから動き
量を推定させて、推定した該動き量を出力されることを
特徴とする動画像の動き推定制御プログラムを記録した
記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20570796A JPH1051788A (ja) | 1996-08-05 | 1996-08-05 | 動画像の動き推定装置および方法ならびに動画像の動き推定制御プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20570796A JPH1051788A (ja) | 1996-08-05 | 1996-08-05 | 動画像の動き推定装置および方法ならびに動画像の動き推定制御プログラムを記録した記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH1051788A true JPH1051788A (ja) | 1998-02-20 |
Family
ID=16511375
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP20570796A Pending JPH1051788A (ja) | 1996-08-05 | 1996-08-05 | 動画像の動き推定装置および方法ならびに動画像の動き推定制御プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH1051788A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008092150A (ja) * | 2006-09-29 | 2008-04-17 | Canon Inc | 画像符号化装置、画像符号化方法 |
| JP2009120327A (ja) * | 2007-11-15 | 2009-06-04 | Hitachi Ltd | エスカレータ制御装置 |
| US20110181508A1 (en) * | 2009-06-25 | 2011-07-28 | Pixart Imaging Inc. | Image processing method and image processing module |
| JP2013175886A (ja) * | 2012-02-24 | 2013-09-05 | Toshiba Alpine Automotive Technology Corp | 動きベクトル算出装置及び動きベクトル算出方法 |
| US9123137B2 (en) | 2011-10-27 | 2015-09-01 | Toshiba Alpine Automotive Technology Corporation | Motion vector computing device and motion vector computing method |
-
1996
- 1996-08-05 JP JP20570796A patent/JPH1051788A/ja active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008092150A (ja) * | 2006-09-29 | 2008-04-17 | Canon Inc | 画像符号化装置、画像符号化方法 |
| JP2009120327A (ja) * | 2007-11-15 | 2009-06-04 | Hitachi Ltd | エスカレータ制御装置 |
| US20110181508A1 (en) * | 2009-06-25 | 2011-07-28 | Pixart Imaging Inc. | Image processing method and image processing module |
| US8515203B2 (en) * | 2009-06-25 | 2013-08-20 | Pixart Imaging Inc. | Image processing method and image processing module for a pointing device |
| US9123137B2 (en) | 2011-10-27 | 2015-09-01 | Toshiba Alpine Automotive Technology Corporation | Motion vector computing device and motion vector computing method |
| JP2013175886A (ja) * | 2012-02-24 | 2013-09-05 | Toshiba Alpine Automotive Technology Corp | 動きベクトル算出装置及び動きベクトル算出方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9240052B2 (en) | Correction of blotches in component images | |
| US5572258A (en) | Motion compensation estimating device and method achieving improved motion compensation | |
| US7636454B2 (en) | Method and apparatus for object detection in sequences | |
| KR100814424B1 (ko) | 폐색영역 검출장치 및 검출방법 | |
| EP2306401A1 (en) | Motion estimating method and image processing apparatus | |
| US8437399B2 (en) | Method and associated apparatus for determining motion vectors | |
| US20090167958A1 (en) | System and method of motion vector estimation using content associativity | |
| JPH1051788A (ja) | 動画像の動き推定装置および方法ならびに動画像の動き推定制御プログラムを記録した記録媒体 | |
| US9042680B2 (en) | Temporal video interpolation method with 2-frame occlusion handling | |
| US9167132B2 (en) | System and method of estimating motion of image using block sampling | |
| JP3299671B2 (ja) | 画像の動き検出装置 | |
| CN113298763A (zh) | 一种基于显著性窗口策略的图像质量评估方法 | |
| US8014610B2 (en) | Method of multi-path block matching computing | |
| US11310460B2 (en) | Image processing method | |
| US20090041344A1 (en) | Methods and Systems for Determining a Background Color in a Digital Image | |
| JPH0951443A (ja) | 画像処理装置 | |
| JP2001175873A (ja) | 動画像の動き量推定方法と装置 | |
| JP2980810B2 (ja) | 動きベクトル探索方法と装置 | |
| WO2024001345A1 (zh) | 图像处理方法、电子设备及计算机存储介质 | |
| JPH10111942A (ja) | 動画像領域分割装置 | |
| US11638031B2 (en) | Motion compensation method and module, chip, electronic device and storage media | |
| JP2000311244A (ja) | 画像のマッチング方法 | |
| JP2000076449A (ja) | 動画像の動き量推定方法および装置 | |
| JP3803138B2 (ja) | シーン・チェンジおよび／またはフラッシュ検出装置 | |
| KR960012936B1 (ko) | 국부 최소치를 이용한 움직임 예측 알고리즘에서의 가변적인 후보갯수 선택방법 |