JP5334241B2 - フレーム画像の動きベクトル推定装置及びプログラム - Google Patents

フレーム画像の動きベクトル推定装置及びプログラム Download PDF

Info

Publication number
JP5334241B2
JP5334241B2 JP2008199031A JP2008199031A JP5334241B2 JP 5334241 B2 JP5334241 B2 JP 5334241B2 JP 2008199031 A JP2008199031 A JP 2008199031A JP 2008199031 A JP2008199031 A JP 2008199031A JP 5334241 B2 JP5334241 B2 JP 5334241B2
Authority
JP
Japan
Prior art keywords
region
image
area
frame
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008199031A
Other languages
English (en)
Other versions
JP2010041151A (ja
Inventor
隆之 浜本
可苗 松崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokyo University of Science
Original Assignee
Tokyo University of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokyo University of Science filed Critical Tokyo University of Science
Priority to JP2008199031A priority Critical patent/JP5334241B2/ja
Publication of JP2010041151A publication Critical patent/JP2010041151A/ja
Application granted granted Critical
Publication of JP5334241B2 publication Critical patent/JP5334241B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、フレーム画像の動きベクトル推定装置及びプログラムに係り、特に、２つのフレーム画像間の動きベクトルを推定するフレーム画像の動きベクトル推定装置及びプログラムに関する。
近年、コンピュータビジョンの分野では、ＩＴＳやロボットビジョンにおける３次元形状の復元などの研究が盛んに行われている。また、動画像符号化の分野では、動画像の高画質化による情報量の増大に伴い、符号化効率の向上の必要性が増している。これらに共通する重要な技術として、動き推定が知られている（非特許文献１、２）。
また、ブロックマッチングを用いた動き推定が知られている（非特許文献３）。ブロックマッチングでは、推定対象となる画像をブロックに分割し、比較される画像においてそのブロックと最も類似度が高い領域を探索している。
富永英義、小松尚久、宮下壮史、花村剛、"階層画素情報を用いた動画像における動き量検出方式"、電子情報通信学会論文誌、１９８９年、Ｖｏｌ. Ｊ７２−Ｄ２、Ｎｏ. ３、ｐｐ.３９５−４０３ 田中豊、鄭文涛、金子豊、"階層化手法による固有値勾配法の動き推定精度の検討"、電子情報通信学会ソサイエティ大会講演論文集、１９９６年、情報・システム、ｐ.１８５ 吉田俊之、宮本敦司、酒井善則、"動画像の動きベクトルに対する信頼度関数とその応用"、電子情報通信学会論文誌、１９９７年、Ｖｏｌ.Ｊ８０−Ｄ２、Ｎｏ. ５、ｐｐ.１１９２−１２０１
しかしながら、従来のブロックマッチングでは、計算量が膨大となってしまう、という問題がある。また、一つのブロック内に動領域と静止領域とが含まれる場合、動きベクトルに誤差が生じやすい、という問題がある。
本発明は、上記の問題点を解決するためになされたもので、計算量を抑制すると共に、精度良く動きベクトルを推定することができるフレーム画像の動きベクトル推定装置及びプログラムを提供することを目的とする。
上記の目的を達成するために本発明に係るフレーム画像の動きベクトル推定装置は、撮影によって得られた第１のフレームレートの複数のフレーム画像、及び前記第１のフレーム画像より高速な第２のフレームレートの複数のサブフレーム画像を取得する取得手段と、推定対象となる連続した２つのフレーム画像の一方に対応するサブフレーム画像を基準サブフレーム画像として、前記基準サブフレーム画像の動領域を抽出する抽出手段と、前記基準サブフレーム画像を複数のブロックに分割し、分割された各ブロック内に存在する動領域に対応する領域を前記基準サブフレーム画像に隣接するサブフレーム画像から探索すると共に、前記分割された各ブロック内に存在する動領域に対応する領域を、前記隣接するサブフレーム画像に隣接するサブフレーム画像から前記２つのフレーム画像の他方に対応するサブフレーム画像までに含まれる複数のサブフレーム画像の各々について、前回探索された領域に近い領域から順に探索することにより、前記基準サブフレーム画像の前記ブロックの各々に対応する前記２つのフレーム画像の間の動きベクトルを推定する推定手段と、前記推定手段によって推定された前記ブロックの各々の動きベクトルを反転させる反転手段と、前記推定対象の２つのフレーム画像の一方と、前記反転手段によって反転された前記ブロックの各々の動きベクトルとを用いて、前記推定対象の２つのフレーム画像の他方の動き補償を行う動き補償手段と、前記推定対象の２つのフレーム画像の他方から、前記反転手段によって反転された前記動きベクトルの前記ブロックの各々に対応する領域以外の未推定領域を抽出する未推定領域抽出手段と、前記推定対象の２つのフレーム画像間で画素値の差の絶対値が所定値以上となる領域のうち、前記基準サブフレーム画像の動領域に対応する領域以外の領域を、補正対象領域として特定する補正対象領域特定手段と、前記未推定領域抽出手段によって抽出された前記未推定領域、及び前記補正対象領域特定手段によって特定された前記補正対象領域の各々について、前記推定対象の２つのフレーム画像の一方から、対応する領域を探索することにより、前記２つのフレーム画像の他方から一方までの間における、前記未推定領域及び前記補正対象領域の各々の動きベクトルを推定する第２推定手段とを含み、前記動き補償手段が、前記未推定領域及び前記補正対象領域の各々については、前記第２推定手段によって推定された動きベクトルを用いて、前記２つのフレーム画像の他方の動き補償を行う。
また、本発明に係るフレーム画像の動きベクトル推定装置は、撮影によって得られた第１のフレームレートの複数のフレーム画像、及び前記第１のフレーム画像より高速な第２のフレームレートの複数のサブフレーム画像を取得する取得手段と、推定対象となる連続した２つのフレーム画像の一方に対応するサブフレーム画像を基準サブフレーム画像として、前記基準サブフレーム画像の動領域を抽出する抽出手段と、前記基準サブフレーム画像を複数のブロックに分割し、分割された各ブロック内に存在する動領域に対応する領域を前記基準サブフレーム画像に隣接するサブフレーム画像から探索すると共に、前記分割された各ブロック内に存在する動領域に対応する領域を、前記隣接するサブフレーム画像に隣接するサブフレーム画像から前記２つのフレーム画像の他方に対応するサブフレーム画像までに含まれる複数のサブフレーム画像の各々について、前回探索された領域に近い領域から順に探索することにより、前記基準サブフレーム画像の前記ブロックの各々に対応する前記２つのフレーム画像の間の動きベクトルを推定する推定手段と、前記推定手段によって推定された前記ブロックの各々の動きベクトルを反転させる反転手段と、前記推定対象の２つのフレーム画像の一方と、前記反転手段によって反転された前記ブロックの各々の動きベクトルとを用いて、前記推定対象の２つのフレーム画像の他方の動き補償を行う動き補償手段と、前記推定対象の２つのフレーム画像の他方から、前記反転手段によって反転された前記動きベクトルの前記ブロックの各々に対応する領域以外の未推定領域を抽出する未推定領域抽出手段と、前記推定対象の２つのフレーム画像間で画素値の差の絶対値が所定値以上となる領域のうち、前記基準サブフレーム画像の動領域に対応する領域以外の領域を、補正対象領域として特定する補正対象領域特定手段と、前記未推定領域抽出手段によって抽出された前記未推定領域、及び前記補正対象領域特定手段によって特定された前記補正対象領域のうち、前記推定対象の２つのフレーム画像の一方に存在する動きぼけ領域に対応する第１補正対象領域の各々について、前記推定対象の２つのフレーム画像の一方から、対応する領域を探索することにより、前記２つのフレーム画像の他方から一方までの間における、前記未推定領域及び前記第１補正対象領域の各々の動きベクトルを推定する第２推定手段と、前記補正対象領域特定手段によって特定された補正対象領域のうち、前記推定対象の２つのフレーム画像の他方に存在する動きぼけ領域に対応する第２補正対象領域が、前記動領域に対応する領域となるサブフレーム画像であって、かつ、前記２つのフレーム画像の他方に対応するサブフレーム画像より前に又は後に撮影されたサブフレーム画像を取得する前後サブフレーム画像取得手段と、前記推定対象の２つのフレーム画像の他方に対応するサブフレーム画像から、前記前後サブフレーム画像取得手段によって取得されたサブフレーム画像の前記第２補正対象領域に対応する領域を探索する第３の探索手段と、前記第３の探索手段によって探索された前記領域に対応する前記ブロックを特定するブロック特定手段と、前記ブロック特定手段によって特定された前記ブロックに対応して前記推定手段によって推定された動きベクトルを反転して、前記２つのフレーム画像の他方から一方までの間における前記第２補正対象領域の動きベクトルを推定する第３推定手段と、を含み、前記動き補償手段が、前記未推定領域及び前記第１補正対象領域の各々については、前記第２推定手段によって推定された動きベクトルを用い、前記第２補正対象領域については、前記第３推定手段によって推定された動きベクトルを用いて、前記２つのフレーム画像の他方の動き補償を行う。
さらに、本発明に係るフレーム画像の動きベクトル推定装置は、撮影によって得られた第１のフレームレートの複数のフレーム画像、及び前記第１のフレーム画像より高速な第２のフレームレートの複数のサブフレーム画像を取得する取得手段と、推定対象となる連続した２つのフレーム画像の一方に対応するサブフレーム画像を基準サブフレーム画像として、前記基準サブフレーム画像の動領域を抽出する抽出手段と、前記基準サブフレーム画像を複数のブロックに分割し、分割された各ブロック内に存在する動領域に対応する領域を前記基準サブフレーム画像に隣接するサブフレーム画像から探索すると共に、前記分割された各ブロック内に存在する動領域に対応する領域を、前記隣接するサブフレーム画像に隣接するサブフレーム画像から前記２つのフレーム画像の他方に対応するサブフレーム画像までに含まれる複数のサブフレーム画像の各々について、前回探索された領域に近い領域から順に探索することにより、前記基準サブフレーム画像の前記ブロックの各々に対応する前記２つのフレーム画像の間の動きベクトルを推定する推定手段と、前記推定対象の２つのフレーム画像の他方と、前記推定手段によって推定された前記ブロックの各々の動きベクトルとを用いて、前記推定対象の２つのフレーム画像の一方の動き補償を行う動き補償手段と、前記推定対象の２つのフレーム画像間で画素値の差の絶対値が所定値以上となる領域のうち、前記基準サブフレーム画像の動領域に対応する領域以外の領域を、補正対象領域として特定する補正対象領域特定手段と、前記補正対象領域特定手段によって特定された前記補正対象領域について、前記推定対象の２つのフレーム画像の他方から、対応する領域を探索することにより、前記２つのフレーム画像の一方から他方までの間における、前記補正対象領域の各々の動きベクトルを推定する第２推定手段と、を含み、前記動き補償手段が、前記補正対象領域については、前記第２推定手段によって推定された動きベクトルを用いて、前記２つのフレーム画像の一方の動き補償を行う。
また、本発明に係るプログラムは、コンピュータを、上記フレーム画像の動きベクトル推定装置の各手段として機能させるプログラムである。
本発明によれば、取得手段によって、撮影によって得られた第１のフレームレートの複数のフレーム画像、及び第１のフレーム画像より高速な第２のフレームレートの複数のサブフレーム画像を取得する。抽出手段によって、推定対象となる連続した２つのフレーム画像の一方に対応するサブフレーム画像を基準サブフレーム画像として、基準サブフレーム画像の動領域を抽出する。
そして、推定手段によって、基準サブフレーム画像を複数のブロックに分割し、分割された各ブロック内に存在する動領域に対応する領域を基準サブフレーム画像に隣接するサブフレーム画像から探索すると共に、分割された各ブロック内に存在する動領域に対応する領域を、隣接するサブフレーム画像に隣接するサブフレーム画像から２つのフレーム画像の他方に対応するサブフレーム画像までに含まれる複数のサブフレーム画像の各々について、前回探索された領域に近い領域から順に探索することにより、基準サブフレーム画像のブロックの各々に対応する２つのフレーム画像の間の動きベクトルを推定する。
このように、高速なフレームレートの複数のサブフレーム画像に対して順に、前回探索された領域に近い領域から、動領域に対応する領域を探索して、２つのフレーム画像の間の動きベクトルを推定することにより、計算量を抑制すると共に、精度良く動きベクトルを推定することができる。
本発明に係る抽出手段は、基準サブフレーム画像の画素値と、基準サブフレーム画像に隣接するサブフレーム画像から２つのフレーム画像の他方に対応するサブフレーム画像までに含まれる複数のサブフレーム画像の少なくとも１つのサブフレーム画像の画素値との差の絶対値が所定値以上となる画素からなる領域を、動領域として抽出することができる。
上記の抽出手段は、推定手段における領域の探索に応じて、基準サブフレーム画像の画素値と、基準サブフレーム画像に隣接するサブフレーム画像から推定手段における領域の探索対象となるサブフレーム画像までに含まれる複数のサブフレーム画像の少なくとも１つのサブフレーム画像の画素値との差の絶対値が所定値以上となる画素からなる領域を、動領域として順次抽出することができる。
本発明に係る抽出手段は、推定手段における領域の探索に応じて、基準サブフレーム画像の画素値と、推定手段における領域の探索対象となるサブフレーム画像の画素値との差の絶対値が所定値以上となる画素からなる領域を、動領域として抽出することができる。
上記の推定手段は、複数のサブフレーム画像の各々について、分割された各ブロック内に存在する動領域に対応する領域を、前回探索された領域を含む所定の探索範囲内から順に探索することができる。このように、探索範囲を設定することにより、計算量を抑制することができる。
上記のフレーム画像の動きベクトル推定装置は、推定手段によって推定されたブロックの各々の動きベクトルを反転させる反転手段と、推定対象の２つのフレーム画像の一方と、反転手段によって反転されたブロックの各々の動きベクトルとを用いて、推定対象の２つのフレーム画像の他方の動き補償を行う動き補償手段とを更に含むことができる。これによって、精度良く推定された動きベクトルを用いて、精度良く動き補償を行うことができる。
上記の動き補償を行うフレーム画像の動きベクトル推定装置は、推定対象の２つのフレーム画像の他方から、反転手段によって反転された動きベクトルのブロックの各々に対応する領域以外の未推定領域を抽出する未推定領域抽出手段と、推定対象の２つのフレーム画像間で画素値の差の絶対値が所定値以上となる領域のうち、基準サブフレーム画像の動領域に対応する領域以外の領域を、補正対象領域として特定する補正対象領域特定手段と、未推定領域抽出手段によって抽出された未推定領域、及び補正対象領域特定手段によって特定された補正対象領域の各々について、推定対象の２つのフレーム画像の一方から、対応する領域を探索することにより、２つのフレーム画像の他方から一方までの間における、未推定領域及び補正対象領域の各々の動きベクトルを推定する第２推定手段とを更に含み、動き補償手段は、未推定領域及び補正対象領域の各々については、第２推定手段によって推定された動きベクトルを用いて、２つのフレーム画像の他方の動き補償を行うことができる。これによって、より精度良く動き補償を行うことができる。
上記の動き補償を行うフレーム画像の動きベクトル推定装置は、推定対象の２つのフレーム画像の他方から、反転手段によって反転された動きベクトルのブロックの各々に対応する領域以外の未推定領域を抽出する未推定領域抽出手段と、推定対象の２つのフレーム画像間で画素値の差の絶対値が所定値以上となる領域のうち、基準サブフレーム画像の動領域に対応する領域以外の領域を、補正対象領域として特定する補正対象領域特定手段と、未推定領域抽出手段によって抽出された未推定領域、及び補正対象領域特定手段によって特定された補正対象領域のうち、推定対象の２つのフレーム画像の一方に存在する動きぼけ領域に対応する第１補正対象領域の各々について、推定対象の２つのフレーム画像の一方から、対応する領域を探索することにより、２つのフレーム画像の他方から一方までの間における、未推定領域及び第１補正対象領域の各々の動きベクトルを推定する第２推定手段と、補正対象領域特定手段によって特定された補正対象領域のうち、推定対象の２つのフレーム画像の他方に存在する動きぼけ領域に対応する第２補正対象領域が、動領域に対応する領域となるサブフレーム画像であって、かつ、２つのフレーム画像の他方に対応するサブフレーム画像より前に又は後に撮影されたサブフレーム画像を取得する前後サブフレーム画像取得手段と、推定対象の２つのフレーム画像の他方に対応するサブフレーム画像から、前後サブフレーム画像取得手段によって取得されたサブフレーム画像の第２補正対象領域に対応する領域を探索する第３の探索手段と、第３の探索手段によって探索された領域に対応するブロックを特定するブロック特定手段と、ブロック特定手段によって特定されたブロックに対応して推定手段によって推定された動きベクトルを反転して、２つのフレーム画像の他方から一方までの間における第２補正対象領域の動きベクトルを推定する第３推定手段とを更に含み、動き補償手段は、未推定領域及び第１補正対象領域の各々については、第２推定手段によって推定された動きベクトルを用い、第２補正対象領域については、第３推定手段によって推定された動きベクトルを用いて、２つのフレーム画像の他方の動き補償を行うことができる。これによって、より精度良く動き補償を行うことができる。
本発明に係る動きベクトル推定装置は、推定対象の２つのフレーム画像の他方と、推定手段によって推定されたブロックの各々の動きベクトルとを用いて、推定対象の２つのフレーム画像の一方の動き補償を行う動き補償手段を更に含むことができる。これによって、精度良く推定された動きベクトルを用いて、精度良く動き補償を行うことができる。
上記の２つのフレーム画像の一方の動き補償を行うフレーム画像の動きベクトル推定装置は、推定対象の２つのフレーム画像間で画素値の差の絶対値が所定値以上となる領域のうち、基準サブフレーム画像の動領域に対応する領域以外の領域を、補正対象領域として特定する補正対象領域特定手段と、補正対象領域特定手段によって特定された補正対象領域について、推定対象の２つのフレーム画像の他方から、対応する領域を探索することにより、２つのフレーム画像の一方から他方までの間における、補正対象領域の各々の動きベクトルを推定する第２推定手段とを更に含み、動き補償手段は、補正対象領域については、第２推定手段によって推定された動きベクトルを用いて、２つのフレーム画像の一方の動き補償を行うことができる。これによって、より精度良く動き補償を行うことができる。
上記の２つのフレーム画像の一方の動き補償を行うフレーム画像の動きベクトル推定装置は、推定対象の２つのフレーム画像間で画素値の差の絶対値が所定値以上となる領域のうち、基準サブフレーム画像の動領域に対応する領域以外の領域を、補正対象領域として特定する補正対象領域特定手段と、補正対象領域特定手段によって特定された補正対象領域のうち、推定対象の２つのフレーム画像の一方に存在する動きぼけ領域に対応する第１補正対象領域の各々について、推定対象の２つのフレーム画像の他方から、対応する領域を探索することにより、２つのフレーム画像の一方から他方までの間における、第１補正対象領域の各々の動きベクトルを推定する第２推定手段と、補正対象領域特定手段によって特定された補正対象領域のうち、推定対象の２つのフレーム画像の他方に存在する動きぼけ領域に対応する第２補正対象領域が、動領域に対応する領域となるサブフレーム画像であって、かつ、２つのフレーム画像の他方に対応するサブフレーム画像より前に又は後に撮影されたサブフレーム画像を取得する前後サブフレーム画像取得手段と、推定対象の２つのフレーム画像の他方に対応するサブフレーム画像から、前後サブフレーム画像取得手段によって取得されたサブフレーム画像の第２補正対象領域に対応する領域を探索する第３の探索手段と、第３の探索手段によって探索された領域に対応するブロックを特定するブロック特定手段と、ブロック特定手段によって特定されたブロックに対応して推定手段によって推定された動きベクトルを、２つのフレーム画像の一方から他方までの間における第２補正対象領域の動きベクトルとして推定する第３推定手段とを更に含み、動き補償手段は、第１補正対象領域については、第２推定手段によって推定された動きベクトルを用い、第２補正対象領域については、第３推定手段によって推定された動きベクトルを用いて、２つのフレーム画像の一方の動き補償を行うことができる。これによって、より精度良く動き補償を行うことができる。
上記の取得手段は、ＣＭＯＳイメージセンサを備えた撮影装置の撮影によって得られた複数のフレーム画像、及びＣＭＯＳイメージセンサに対する非破壊読み出しによって得られる複数のサブフレーム画像を取得することができる。
上記の取得手段は、複数のサブフレーム画像を合成することにより、複数のフレーム画像を生成することができる。
上記の２つのフレーム画像の一方を、２つのフレーム画像のうち先に撮影されたフレーム画像とし、２つのフレーム画像の他方を、２つのフレーム画像のうち後に撮影されたフレーム画像とすることができる。
以上説明したように、本発明のフレーム画像の動きベクトル推定装置及びプログラムによれば、高速なフレームレートの複数のサブフレーム画像に対して順に、前回探索された領域に近い領域から、動領域に対応する領域を探索して、２つのフレーム画像の間の動きベクトルを推定することにより、計算量を抑制すると共に、精度良く動きベクトルを推定することができる、という効果が得られる。
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、動画像を圧縮符号化する動画像符号化装置に本発明を適用した場合を例に説明する。
図１に示すように、第１の実施の形態に係る動画像符号化装置１０は、画像を連続して撮影し、動画像として複数のフレーム画像を出力する撮影装置１２と、撮影装置１２から得られる複数のフレーム画像について圧縮符号化を行って出力するコンピュータ１４とを備えている。
撮影装置１２は、所定領域を撮影し、フレーム画像を出力するＣＭＯＳイメージセンサ１６と、所定のフレームレート（通常のフレームレート）で連続撮影するようにＣＭＯＳイメージセンサ１６を制御する撮影制御部１８と、ＣＭＯＳイメージセンサ１６において蓄積された電荷の非破壊読み出しを行って、通常のフレームレートより高速なフレームレート（高速フレームレート）の後述するサブフレーム画像を取得する非破壊読み出し部２０と、フレーム画像を一時的に記憶する画像メモリ（図示省略）とを備えている。
ここで、非破壊読み出し部２０によって取得されるサブフレーム画像について説明する。サブフレーム画像は、通常のフレームレートで取得される画像(フレーム画像)を撮影しながら、ＣＭＯＳイメージセンサ１６の非破壊読み出しを用いて取得することができる画像である。
図２に、あるフォトダイオード（ＰＤ）の蓄積過程の例を示す。サブフレーム画像が、通常のフレーム画像のＭ倍のフレームレートで得られるとする。また、通常のフレーム画像の蓄積時間をＴとする。このとき、ｔ＝ｔ１におけるサブフレーム画像の画素値ΔＬＰＤ(ｔ１)は、ｔ＝ｔ１における画素値ＬＰＤ（ｔ１）と、ｔ＝ｔ１−Ｔ／Ｍ における画素値ＬＰＤ（ｔ１−Ｔ／Ｍ）との差分値で与えられる。
サブフレーム画像は、通常のフレーム画像と比較して、フレーム間の相関が高くなり、また、フレーム画像に対して蓄積時間が１／Ｍ倍なので、動きぼけが少ない画像となる。
コンピュータ１４は、ＣＰＵ、後述する動画像符号化処理ルーチンを実行するためのプログラムを記憶したＲＯＭ、データ等を記憶するＲＡＭ、及びこれらを接続するバスを含んで構成されている。このコンピュータ１４をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、撮影装置１２から連続して出力される通常のフレームレートのフレーム画像を複数取得するフレーム画像取得部２２と、撮影装置１２の非破壊読み出し部２０から出力される、高速フレームレートのサブフレーム画像を複数取得するサブフレーム画像取得部２４と、動きベクトルの推定対象となる２つのフレーム画像のうちの先に撮影されたフレーム画像の撮像時の時間重心に対応するサブフレーム画像を基準サブフレーム画像とし、基準サブフレーム画像の動領域を抽出する動領域抽出部２６と、基準サブフレーム画像を複数のブロックに分割し、各ブロック内の動領域に対応する領域を、基準サブフレーム画像の次に隣接するサブフレーム画像から、推定対象となる２つのフレーム画像のうちの後に撮影されたフレーム画像の撮像時の時間重心に対応するサブフレーム画像までに含まれる複数のサブフレーム画像の各々から、順番に探索することにより、推定対象となる２つのフレーム画像の間の各ブロックの動きベクトルを推定する動きベクトル推定部２８とを備えている。
ここで、図３に示すように、サブフレーム画像取得部２４によって取得されたサブフレーム画像に含まれる、推定対象となる２つのフレーム画像のうち先に撮影されたフレーム画像の撮影時の時間重心に対応するサブフレーム画像を、基準サブフレーム画像とし、基準サブフレーム画像の次に隣接するサブフレーム画像から、推定対象となる２つのフレーム画像のうち後に撮影されたフレーム画像の撮影時の時間重心に対応するサブフレーム画像（最終参照サブフレーム画像）までのサブフレーム画像を、参照サブフレーム画像とする。本実施の形態では、フレーム画像の撮影時の時間重心に対応するサブフレーム画像とは、フレーム画像の撮影時の時間重心（図３のＣ１、Ｃ２参照）と、撮影時の時間重心（図３のＣ２’、Ｃ５’）が揃うサブフレーム画像をいう。
動領域抽出部２６は、基準サブフレーム画像の各画素の輝度値と、参照サブフレーム画像の各々の各画素の輝度値とを比較して、各画素の動きの有無を判定し、動きがあると判定された画素からなる領域を、基準サブフレーム画像の動領域として抽出する。
ここで、各画素の動きの有無は、基準サブフレーム画像と参照サブフレーム画像との間で輝度値の差分の絶対値を算出し、その値を動き閾値ｔｈ＿ｍと比較することで判定する。第ｋサブフレーム画像と第ｋ＋ｎ（ｎ＝１，２，…，Ｍ）サブフレーム画像における画素（ｘ，ｙ）の輝度値を、それぞれ、ｌｋ（ｘ，ｙ）、ｌｋ＋ｎ（ｘ，ｙ）とすると、サブフレーム画像間の画素（ｘ，ｙ）の輝度値の差分絶対値ｄｎ（ｘ，ｙ）は、以下の（１）式によって算出される。
上記（１）式で算出されたｄｎ（ｘ，ｙ）が閾値ｔｈ＿ｍより大きければ、画素（ｘ、ｙ）について、動き有りと判定される。
動きベクトル推定部２８は、基準サブフレーム画像を複数のブロックに分割し、動領域抽出部２６によって抽出された動領域を用いて、基準サブフレーム画像における各ブロックを、図４に示すように、動領域と静止領域とに分ける。
また、図５に示すように、求める動きベクトルをＶＭとし、基準サブフレーム画像をＢとし、第ｋ（１≦ｋ≦Ｍ）参照サブフレーム画像をＦｋとし、基準サブフレーム画像Ｂと参照サブフレーム画像Ｆｋとの間の動きベクトルをＶｋとして、動きベクトル推定部２８は、以下に説明するように、動きベクトルＶＭを求める。
まず、基準サブフレーム画像Ｂと、次に隣接する参照サブフレーム画像Ｆ１との間で、図６に示すように、各ブロックの動領域に対応する領域を探索して、各ブロックの動きベクトルの初期値Ｖ１を求める。
そして、直前に求まる動きベクトルの初期値Ｖ１を用いて、次に隣接する参照サブフレーム画像Ｆ２から、各ブロックの動領域に対応する領域を探索して、動きベクトルＶ２を求める。動きベクトルＶ２は、以下の（２）式にように表わすことができる。
ここで、ΔＶ２は、隣接する参照サブフレーム画像Ｆ１、Ｆ２間の動きベクトル（差分動きベクトル）である。
そして、参照サブフレーム画像をずらしながら順番に、参照サブフレーム画像Ｆｋ（２＜ｋ≦Ｍ）から、各ブロックの動領域に対応する領域を繰り返し探索することにより、以下の（３）式で表される動きベクトルＶｋを求める。
上記（３）式に示すように、この探索においても、直前に求まる動きベクトルＶｋ−１を用いる。
そして、上記の探索をｋ＝Ｍまで順次行うことによって、ＶＭを求めることができる。
なお、各ブロックの動領域に対応する領域の探索に用いられる評価式は、以下の（４）式で表される。
ここで、（ｉ，ｊ）は画素の座標であり、Ｎはブロックサイズであり、ｌｂ（ｉ，ｊ），ｌｋ（ｉ，ｊ）はそれぞれ基準サブフレーム画像、参照サブフレーム画像の輝度値である。また、Δｖｘ （ｋ）， Δｖｙ （ｋ）は、差分動きベクトルの水平成分、垂直成分であり、pは差分動きベクトルのサーチレンジであり、ｖｘ （ｋ−１），ｖｙ （ｋ−１）は、直前に求められた動きベクトルの水平成分、垂直成分である。また、ｆｌａｇ＿ｍ(ｉ , ｊ)は、動き検出により、各画素に割り当てられた動きフラグであり、動きありと判定された画素に対してはｆｌａｇ＿ｍ(ｉ , ｊ)＝１が割り当てられ、動き無しと判定された画素に対してはｆｌａｇ＿ｍ(ｉ , ｊ)＝０が割り当てられている。
上記（４）式に示すように、直前に求められる動きベクトルΔＶｋ−１によって表わされる、動領域に対応する領域を含む所定の探索範囲内から、ブロック内の動領域に対応する領域が探索される。
また、コンピュータ１４は、推定された動きベクトルを反転させる反転部３０と、推定対象となる２つのフレーム画像のうち後に撮影されたフレーム画像（以下、基準フレーム画像とも称する。）において、動きベクトルが推定されていない未推定領域としてのギャップ領域を抽出するギャップ領域抽出部３２と、基準フレーム画像において、推定された動きベクトルを補正すべき補正対象領域を特定する補正対象領域特定部３４と、ギャップ領域と補正対象領域とについて、基準フレーム画像から、推定対象となる２つのフレーム画像のうち先に撮影されたフレーム画像（以下、参照フレーム画像とも称する。）までの間の動きベクトルを推定して、ギャップ領域と補正対象領域とに割り当てられる動きベクトルとして補正する動きベクトル補正部３８と、反転された動きベクトル及び補正された動きベクトルを用いて、基準フレーム画像の動き補償を行う動き補償部４０と、動き補償された基準フレーム画像を用いて、基準フレーム画像を圧縮符号化する符号化部４２とを備えている。
動画像の圧縮符号化を行う場合に、圧縮率を向上させるために、符号化対象のフレーム画像に対して動き補償を行う必要がある。本実施の形態では、基準フレーム画像に対して圧縮符号化が行われるため、参照フレーム画像と、基準フレーム画像から参照フレーム画像までの間の動きベクトルとを用いて、基準フレーム画像の動き補償が行われる。
上記で説明した動きベクトル推定部２８によって推定される動きベクトルは、図７に示すように、参照フレーム画像Ｆ１から基準フレーム画像Ｆ２までの間の動きベクトルであるため、反転部３０によって、推定された動きベクトル（例えば、ｖ２５）を反転して、基準フレーム画像から参照フレーム画像までの間の動きベクトル（例えば、Ｖ２１＝ｖ５２＝−ｖ２５）を得る。
このとき、反転された動きベクトル用いて、基準フレーム画像の動き補償を行うと、予測誤差を増大させる場合がある。
例えば、ブロックマッチングでは、基準サブフレーム画像をブロックに分割した後、参照サブフレーム画像内でマッチングをとり、動きベクトルを求める。故に、参照サブフレーム画像においてブロックが重なる可能性がある。また、反転部３０によって動きベクトルを反転させるため、図８に示すように基準フレーム画像内に、動きベクトルの割りあたらない領域（ギャップ領域）が生じうる。
そこで、ギャップ領域抽出部３２によって、反転された動きベクトルが割り当てられていない領域を抽出することによって、動きベクトルが推定されていないギャップ領域を抽出する。
また、フレーム画像には、図９に示すように、サブフレーム画像には生じない動きぼけの領域Ｅｂ１、Ｅｆ２が存在する。この領域Ｅｂ１、Ｅｆ２には動領域が含まれるため、動きベクトルが割り当てられる必要がある。しかし、動領域を抽出する際に参照されるサブフレーム画像は、推定対象の２つのフレーム画像の時間重心に対応するサブフレーム画像の間に含まれるサブフレーム画像ｆ２〜ｆ５であるため、基準フレーム画像Ｆ２の時間重心に対応するサブフレーム画像ｆ５より後に撮影されたサブフレーム画像ｆ６や、先に撮影された参照サブフレーム画像ｆ４、参照フレーム画像Ｆ１の時間重心に対応するサブフレーム画像ｆ２より先に撮影されたサブフレーム画像ｆ１、後に撮影された参照サブフレーム画像ｆ３では、動領域に対応する領域が、静止領域と判断される（０ベクトルが割り当てられる）ことがある。この動領域に対応する領域であって、かつ、静止領域と判断される領域が、補正対象領域となる。
図１０に示すように、基準フレーム画像Ｆ２の撮影時の時間重心に対応するサブフレーム画像ｆ５より後に撮影されたサブフレーム画像ｆ６において動領域に対応する領域であって、動領域Ｍｓとして抽出されない領域は、動きぼけとなる領域Ｅｆ２であり、この領域が補正対象領域Ｅｆ２となる。参照フレーム画像Ｆ１においてこの領域Ｅｆ２に対応する領域Ｅｆ１は静止領域であるため、領域Ｅｆ１に対して推定された動きベクトルを反転すると、この補正対象領域Ｅｆ２には、０ベクトルが割り当てられる。従って、動き補償を行うと、補正対象領域Ｅｆ２は、参照フレーム画像Ｆ１における、領域Ｅｆ２と同じ位置の領域Ｅｆ１の画素値で誤って補償されてしまう。
また、図１１に示すように、参照フレーム画像Ｆ１の時間重心に対応するサブフレーム画像ｆ２より先に撮影されたサブフレーム画像ｆ１において動領域に対応する領域であって、動領域Ｍｓとして抽出されない領域は、動きぼけとなる領域Ｅｂ１であり、基準フレーム画像Ｆ２における同じ領域が補正対象領域Ｅｂ２となる。推定された動きベクトルを反転すると、この補正対象領域Ｅｂ２には、０ベクトルが割り当てられる。従って、動き補償を行うと、補正対象領域Ｅｂ２について、参照フレーム画像Ｆ１における、領域Ｅｂ２と同じ位置の動きぼけ領域Ｅｂ１の画素値で誤って補償されてしまう。
そこで、補正対象領域特定部３４によって、基準フレーム画像において、基準フレーム画像内の動きぼけ領域と、参照フレーム画像内の動きぼけ領域と同じ領域との中から、補正対象領域を特定する。補正対象領域は、以下のように特定される。
まず、基準フレーム画像と参照フレーム画像との間において、各画素の輝度値の比較を行い、輝度値の差が閾値ｔｈ＿ｍ＿ｓ以上となる動領域を抽出する。そして、フレーム画像間で動領域として抽出された領域のうち、サブフレーム画像間で動領域として抽出されなかった領域を抽出し、補正対象領域とする。上記図１０、１１に示すように、基準フレーム画像及び参照フレーム画像の各々に存在する動きぼけ領域と同じ領域のうち、サブフレーム画像間の動き領域とならない領域が、補正対象領域として特定される。
動きベクトル補正部３８では、図１２に示すように、基準フレーム画像におけるギャップ領域と補正対象領域との各々について、参照フレーム画像から対応する領域を探索し、基準フレーム画像から参照フレーム画像までの間における動きベクトルを再度推定し、基準フレーム画像におけるギャップ領域と補正対象領域との各々に割り当てられる動きベクトルを、推定された動きベクトルに補正する。
動き補償部４０は、ギャップ領域と補正対象領域とについては、動きベクトル補正部３８で補正された動きベクトルを用い、それ以外の領域では、反転部３０によって反転された動きベクトルを用いて、参照フレーム画像に基づいて、基準フレーム画像に対する動き補償を行う。
符号化部４２では、動き補償が行われた結果と、基準フレーム画像との差分に基づいて、基準フレーム画像の圧縮符号化を行って出力する。
次に、第１の実施の形態に係る動画像符号化装置１０の作用について説明する。
撮影装置１２によって、連続撮影が開始されると、コンピュータ１４において、図１３に示す動画像符号化処理ルーチンが実行される。
まず、ステップ１００において、撮影装置１２から、ＣＭＯＳイメージセンサ１６の非破壊読み出しによって、高速フレームレートの複数のサブフレーム画像を連続して取得する。そして、ステップ１０２において、撮影装置１２から、通常フレームレートの複数のフレーム画像を連続して取得する。
次のステップ１０４では、上記ステップ１０２で取得された複数のフレーム画像のうち、符号化対象のフレーム画像を基準フレーム画像として設定し、一つ前のフレーム画像を参照フレーム画像として設定する。なお、基準フレーム画像と参照フレーム画像とが、動きベクトルの推定対象の２つのフレーム画像となる。
そして、ステップ１０６において、上記ステップ１００において取得された複数のサブフレーム画像のうち、参照フレーム画像の撮影時の時間重心に対応するサブフレーム画像を基準サブフレーム画像として設定し、基準サブフレーム画像の次に隣接するサブフレーム画像から、基準フレーム画像の撮影時の時間重心に対応するサブフレーム画像までの間に含まれる複数のサブフレーム画像を参照サブフレーム画像として設定する。
ステップ１０８では、参照フレーム画像から基準フレーム画像までの間における動きベクトルを推定する。上記ステップ１０８は、図１４に示すフレーム画像間の動きベクトル推定処理ルーチンによって、以下のように実現される。
ステップ１３０において、基準サブフレーム画像を複数のブロックに分割し、ステップ１３２において、参照サブフレーム画像を識別するための変数ｋを初期値の１に設定すると共に、動領域Ｍｓをリセットする。
そして、ステップ１３４において、図１５に示すように、基準サブフレーム画像と、参照サブフレーム画像Ｆｋとの各画素の輝度値を比較して、輝度値の差の絶対値が閾値以上となる領域Ｍｓｋを、動領域として抽出し、直前までに求められた動領域Ｍｓ’に加算して、動領域Ｍｓを求める。
次のステップ１３６では、上記ステップ１３４で求められた動領域Ｍｓに基づいて、基準サブフレーム画像の各ブロック内の動領域を特定する。
そして、ステップ１３８において、変数ｋが１であるか否かを判定し、注目している参照サブフレーム画像が、基準サブフレーム画像の次に隣接する参照サブフレーム画像である場合には、ステップ１４０へ移行する。ステップ１４０では、基準サブフレーム画像の各ブロック内の動領域について、参照サブフレーム画像Ｆｋにおいて対応する領域を探索して、ブロックマッチングを行い、各ブロックの動きベクトルＶ１を推定する。なお、動領域が存在しないブロックについては、対応する領域の探索を行なうことなく、動きベクトルとして、０ベクトルが推定される。
そして、ステップ１４２において、変数ｋをインクリメントして、ステップ１３４へ戻る。
上記ステップ１３８において、変数ｋが２以上である場合には、ステップ１４４において、基準サブフレーム画像の各ブロック内の動領域について、直前に推定された動きベクトルＶｋ−１を用いて、上記（４）式で表される評価式に従って参照サブフレーム画像Ｆｋにおいて対応する領域を探索して、ブロックマッチングを行い、各ブロックの差分動きベクトルΔＶｋを推定する。また、直前に推定された動きベクトルＶｋ−１を用いて、動きベクトルＶｋを推定する。
そして、ステップ１４６では、ｋが、参照サブフレーム画像数Ｍであるか否かを判定し、ｋがＭに達していない場合には、ステップ１４８において、ｋをインクリメントして、ステップ１３４へ戻る。
上記ステップ１４６において、全ての参照サブフレーム画像との間でブロックマッチングが行われ、ｋが、Ｍに達したと判定された場合には、ステップ１５０において、上記ステップ１４４で各ブロックに対して推定されたＶＭを、参照フレーム画像から基準フレーム画像までの間における各ブロックの動きベクトルの推定値として出力して、フレーム画像間の動きベクトル推定処理ルーチンを終了する。
また、上記図１３の動画像符号化処理ルーチンのステップ１１０において、上記ステップ１０８で推定された各ブロックの動きベクトルを反転して、基準フレーム画像から参照フレーム画像までの間における各ブロックの動きベクトルを得る。
そして、ステップ１１２において、上記ステップ１１０で得られた、基準フレーム画像から参照フレーム画像までの間における動きベクトルを補正する。上記ステップ１１２は、図１６に示す動きベクトル補正処理ルーチンにより、以下のように実現される。
ステップ１６０において、上記ステップ１１０で得られた基準フレーム画像から参照フレーム画像までの間における各ブロックの動きベクトルに基づいて、動きベクトルが推定されていないギャップ領域を、基準フレーム画像から抽出する。
そして、ステップ１６２において、図１７に示すように、基準フレーム画像と参照フレーム画像との各画素について、輝度値の差の絶対値を算出し、輝度値の差の絶対値が閾値以上となる画素からなる領域を、フレーム画像間の動領域として抽出する。次のステップ１６４において、図１８に示すように、上記ステップ１６２で抽出された動領域のうち、上記ステップ１３４で動領域Ｍｓとして抽出されなかった領域を、補正対象領域として特定する。
ステップ１６６において、上記ステップ１６０で抽出されたギャップ領域、及び上記ステップ１６４で特定された補正対象領域の各々に対応する領域を、参照フレーム画像から探索して、ギャップ領域及び補正対象領域の各々について、基準フレーム画像から参照フレーム画像までの間における動きベクトルを推定する。また、推定された動きベクトルを用いて、基準フレーム画像から参照フレーム画像までの間におけるギャップ領域及び補正対象領域の各々の動きベクトルを補正して、動きベクトル補正処理ルーチンを終了する。
また、上記図１３に示す動画像符号化処理ルーチンのステップ１１４において、上記ステップ１１０で得られた動きベクトルと、ステップ１１２で補正された動きベクトルとを用いて、参照フレーム画像に基づいて、基準フレーム画像に対する動き補償を行う。そして、ステップ１１６において、上記ステップ１１４で動き補償が行われた基準フレーム画像と、基準フレーム画像との差分を用いて、基準フレーム画像を圧縮符号化して、動画像符号化処理ルーチンを終了する。
上記の動画像符号化処理ルーチンを、通常フレームレートで連続して得られる複数のフレーム画像ついて順次行うことにより、動画像の圧縮符号化が行われる。
以上説明したように、第１の実施の形態に係る動画像符号化装置によれば、高速なフレームレートの複数のサブフレーム画像に対して順に、各ブロックについて、ブロック内の動領域に対応する領域を、直前に探索された領域の近傍の探索範囲から繰り返し探索して、２つのフレーム画像の間の動きベクトルを推定することにより、計算量を抑制すると共に、精度良く動きベクトルを推定することができる。
また、ギャップ領域や、動きぼけ領域に対応する補正対象領域について、再度推定された動きベクトルを用いることにより、精度良く動き補償を行うことができる。
また、ＣＭＯＳイメージセンサの高速非破壊読み出しにより得られる、高フレームレートのサブフレーム画像を用いて、計算量を抑制して動き推定を行うことができる。
次に第２の実施の形態について説明する。なお、第２の実施の形態に係る動画像符号化装置の構成は、第１の実施の形態と同様であるため、同一符号を付して説明を省略する。
第２の実施の形態では、サブフレーム画像間の差分動きベクトルから既に推定されている動きベクトルを用いて、補正対象領域の動きベクトルを補正している点が、第１の実施の形態と異なっている。
第２の実施の形態では、動きベクトル補正部３８によって、基準フレーム画像におけるギャップ領域と、補正対象領域のうち、参照フレーム画像内に存在する動きぼけ領域と共通する領域となる第１補正対象領域（上記図１８の領域Ｅｂ参照）との各々について、上記の第１の実施の形態と同様に、参照フレーム画像から対応する領域を探索し、基準フレーム画像から参照フレーム画像までの間における動きベクトルを推定する。この推定された動きベクトルを用いて、基準フレーム画像におけるギャップ領域と、参照フレーム画像内の動きぼけ領域と共通する領域となる第１補正対象領域Ｅｂとの各々に割り当てられる動きベクトルを補正する。
次に、補正対象領域のうち、基準フレーム画像内の動きぼけ領域と共通する領域となる第２補正対象領域（上記図１８の領域Ｅｆ参照）についての動きベクトルを推定する原理について説明する。
まず、図１９に示すように、基準フレーム画像における動きぼけ領域となる第２補正対象領域Ｅｆに対応する（最も予測誤差が小さくなると予想される）、参照フレーム画像Ｆ１における領域を、領域Ｅｆ’とすると、第２補正対象領域Ｅｆ→領域Ｅｆ’の動きベクトルＶＥを、第２補正対象領域Ｅｆのフレーム画像間の動きベクトルとして割り当てればよい。
ここで、第２補正対象領域Ｅｆと同じ領域が、動領域に対応する領域となるサブフレーム画像は、基準サブフレーム画像Ｆ２の撮影時の時間重心に対応するサブフレーム画像ｆ５の後に撮影されたサブフレーム画像ｆ６であり、サブフレーム画像ｆ６における、第２補正対象領域Ｅｆと同じ領域は、領域ｅｆである。
また、参照フレーム画像Ｆ１における領域Ｅｆ’と同じ領域が、動領域に対応する領域となるサブフレーム画像は、参照サブフレーム画像Ｆ１の時間重心に対応するサブフレーム画像ｆ２の後に撮影されたサブフレーム画像ｆ３であり、サブフレーム画像ｆ３において、領域Ｅｆ’と同じ領域は、領域ｅｆ’である。
従って、フレーム画像間の動きベクトルＶＥとして、領域ｅｆ→領域ｅｆ’の動きベクトルｖｅを用いればよい。ここで、サブフレーム画像ｆ３の撮影時からサブフレーム画像ｆ６の撮影時までの間の時間と、サブフレーム画像ｆ２の撮影時からサブフレーム画像ｆ５の撮影時までの間の時間とが等しく、動領域が表わす物体は等速直線運動をしていると仮定すると、サブフレーム画像ｆ６からサブフレーム画像ｆ３までの間における動きベクトルｖ６３と、サブフレーム画像ｆ５からサブフレーム画像ｆ２までの間における動きベクトルｖ５２とは等しい。 また、サブフレーム画像ｆ５において、領域ｅｆに対応する領域は領域ｏｆである。
そこで、以下の（５）式に示すように、サブフレーム画像ｆ５からサブフレーム画像ｆ２までの間における領域ｏｆの動きベクトルｖｏを、第２補正対象領域Ｅｆに割り当てることができる。
ベクトルＶＥ ＝ベクトルｖｅ＝ベクトルｖｏ ・・・（５）
以上説明したように、動きベクトル補正部３８では、基準フレーム画像内の動きぼけ領域と共通する領域となる第２補正対象領域が、動領域に対応する領域となるサブフレーム画像を取得し、取得されたサブフレーム画像における、第２補正対象領域の動きぼけ領域に対応する領域を、参照サブフレーム画像から探索する。そして、動きベクトル補正部３８は、探索された領域に対応するブロックを特定し、特定されたブロックに対応して推定されている動きベクトルを反転して、第２補正対象領域に割り当てる。
次に、第２の実施の形態における動きベクトル補正処理ルーチンについて、図２０を用いて説明する。なお、第１の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。
まず、ステップ１６０において、動きベクトルが推定されていないギャップ領域を、基準フレーム画像から抽出し、ステップ１６２において、フレーム画像間の動領域を抽出する。
次のステップ２００では、上記ステップ１６２で抽出された動領域のうち、上記ステップ１３４で動領域Ｍｓとして抽出されなかった領域であって、かつ、参照フレーム画像内に存在する動きぼけ領域と共通する領域を、第１補正対象領域として特定し、動領域Ｍｓとして抽出されなかった領域であって、かつ、基準フレーム画像内に存在する動きぼけ領域を、第２補正対象領域として特定する。
例えば、上記ステップ２００は、図２１に示すように実現される。まず、参照フレーム画像Ｆ１と基準サブフレーム画像ｆ２との間の動き検出により得られる画像Ｆ１、ｆ２ 間の動領域を、参照フレーム画像内の動きぼけ領域として特定する（図２１のｉ参照）。また、基準フレーム画像Ｆ２と最終参照サブフレーム画像ｆ５との間の動き検出により得られる画像Ｆ２、ｆ５間の動領域を、参照フレーム画像内の動きぼけ領域として特定する（図２１のｉｉ参照）。また、上記ステップ１６２で得られるフレーム画像間の動領域と、サブフレーム画像間の動領域とに基づいて、上記第１の実施の形態と同様に、補正対象領域を特定する。
そして、補正対象領域と、参照フレーム画像内の動きぼけ領域との共通領域を、第１補正対象領域として特定し（図２１のｉｉｉ参照）、補正対象領域と、基準フレーム画像内の動きぼけ領域との共通領域を、第２補正対象領域として特定する（図２１のｉｖ参照）。
そして、ステップ２０２では、基準フレーム画像における、上記ステップ１６０で抽出されたギャップ領域、及び上記ステップ２００で特定された第１補正対象領域の各々に対応する領域を、参照フレーム画像から探索して、ギャップ領域、及び第１補正対象領域の各々について、基準フレーム画像から参照フレーム画像までの間における動きベクトルを推定し、推定された動きベクトルを用いて、基準フレーム画像から参照フレーム画像までの間における動きベクトルを補正する。
次のステップ２０４では、第２補正対象領域と同じ領域が、動領域に対応する領域となるサブフレーム画像を、上記ステップ１００で取得された複数のサブフレーム画像であって、かつ、基準サブフレーム画像の撮影時の時間重心より後に撮影されたサブフレーム画像から取得する。そして、ステップ２０６において、上記ステップ２０４で取得されたサブフレーム画像における第２補正対象領域と同じ領域について、対応する領域を、基準フレーム画像の撮影時の時間重心に対応する参照サブフレーム画像から探索する。
そして、ステップ２０８において、基準サブフレーム画像を分割した複数のブロックから、上記ステップ２０６で探索された領域に対応するブロックを特定する。次のステップ２１０において、上記ステップ２０８で特定されたブロックに対応して上記ステップ１０８で推定された動きベクトルを反転して、第２補正対象領域に割り当てて、基準フレーム画像から参照フレーム画像までの間における動きベクトルを補正する。また、第１の実施の形態と同様に、上記ステップ１６０で抽出されたギャップ領域、及び上記ステップ２００で特定された第１補正対象領域の各々に対応する領域を、参照フレーム画像から探索して、ギャップ領域及び第１補正対象領域の各々について、基準フレーム画像から参照フレーム画像までの間における動きベクトルを推定する。また、推定された動きベクトルを用いて、基準フレーム画像から参照フレーム画像までの間におけるギャップ領域及び第１補正対象領域の各々の動きベクトルを補正する。
なお、第２の実施の形態に係る動画像符号化装置の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。
次に、本実施の形態のサブフレーム画像間の差分動きベクトル推定を用いた動き推定方法による推定結果について説明する。
図２２（Ａ）〜（Ｃ）に示すような画像列を、高速カメラを用いて１０００ｆｐｓで撮影して、動き推定を行った。図２２（Ａ）に示す画像列は、絨毯に対し撮影装置を矢印の方向に移動させながら撮影したものである。図２２（Ｂ）に示す画像列は、矢印の方向に等速直線運動するミニカーを撮影したものである。図２２（Ｃ）に示す画像列は、左下の長方形部分を除く部分が矢印の方向に動くものである。これらの画像をサブフレーム画像とみなし、連続した１７枚を用いて合成し、６０ｆｐｓのフレーム画像を模擬した。１０００ｆｐｓのサブフレーム画像を用いて動き推定が行われる、本実施の形態の手法に対し、６０ｆｐｓのフレーム画像で行われる動き推定を従来手法として推定結果を比較した。
まず、図２２（Ａ）に示す画像列に対し、本実施の形態の手法による動き推定を行った。この動き推定では、探索範囲を限定することによる、計算量削減と推定精度との改善について検証するため、動領域を抽出するための閾値ｔｈ＿ｍを０とした。また、ブロックサイズを８×８とした。
推定結果を図２３に示す。従来手法による動き推定結果では、図２３（Ａ）より、動きベクトルの方向および大きさがばらついた。一方、本実施の形態の手法の場合、図２３（Ｂ）より、従来手法と比較して、方向および大きさがほぼ一定の動きベクトルが推定された。
さらに、以下の表１より、図２２（Ａ）に示す画像列に対する、本実施の形態の手法による水平方向、垂直方向の動きベクトルの標準偏差合計値は、従来手法に対し約１／３倍となった。また、図２２（Ａ）に示す画像列に対する動き推定の所要時間は、従来手法に対し、本実施の形態の手法では約１／８倍となった。
また、図２２（Ｂ）、（Ｃ）に示す画像列に対し、従来手法によって推定された動きベクトルを用いて動き補償を行うと共に、第１、２の実施の形態の動きベクトルの補正手法を用いて、動き補償を行い、動き補償画像、そのＰＳＮＲ、及び動き推定の所要時間を比較した。なお、ブロックサイズは１６×１６とした。
従来手法により推定された動きベクトルを用いて動き補償を行った場合、画像列によらず、境界ブロックで、ブロック状の誤りを生じた。一方、第１、２の実施の形態の補正手法を用いた場合では、従来手法を用いた場合に生じた境界ブロックにおける、ブロック状の誤りはみられなかった。
また、以下の表２に、基準フレーム画像と補償画像との間で求めたＰＳＮＲと、動き推定の所要時間の平均を示す。
上記の表２より、図２２（Ｂ）に示す画像列（表２の画像列２参照）では、従来手法に比べて、ＰＳＮＲが第１の実施の形態の補正手法により約２ｄＢ改善し、第２の実施の形態の補正手法により約０．５ｄＢ改善した。図２２（Ｃ）に示す画像列（表２の画像列３参照）では、ＰＳＮＲが第１の実施の形態の補正手法により約３ｄＢ改善し、第２の実施の形態の補正手法により約１ｄＢ改善した。また、画像列２に対する動き推定の所要時間については、従来手法に比べて、第１の実施の形態の補正手法によって１／１５となり、第２の実施の形態の補正手法によって１／３０となった。画像列３に対する動き推定の所要時間については、従来手法に比べて、第１の実施の形態の補正手法によって２／３となり、第２の実施の形態の補正手法によって１／２となった。
さらに、どの画像列においても、第２の実施の形態の補正手法を用いることで、補正のためのマッチングの所要時間を約１／２に削減できることが確認された。
以上より、ＰＳＮＲが最も改善されるのは、第１の実施の形態の補正手法であり、また計算量が最も削減されるのは、第２の実施の形態の補正手法であることがわかった。
以上説明したように、本実施の形態の手法によれば、従来手法に比べ計算量を削減でき、特徴量の少ない画像に対する推定誤りを改善することができる。また、本実施の形態の手法によれば、従来手法に比べて動き補償の精度を改善することができ、また、計算量を削減することができる。
次に第３の実施の形態について説明する。なお、第３の実施の形態に係る動画像符号化装置の構成は、第１の実施の形態と同様の構成となるため、同一符号を付して説明を省略する。
第３の実施の形態では、差分動きベクトルを推定するために領域を探索する毎に、動き領域を更新している点が第１の実施の形態と異なっている。
第３の実施の形態に係る動画像符号化装置では、動領域抽出部２６によって、図２４（Ａ）、（Ｂ）に示すように、基準サブフレーム画像と探索対象の参照サブフレーム画像とを比較して、輝度値の差の絶対値が閾値以上となる画素からなる領域を動領域として抽出することにより、動領域を順次更新する。
また、補正対象領域特定部３４によって、基準フレーム画像において補正対象領域を特定すると共に、参照フレーム画像及び基準フレーム画像内の各々に存在する動きぼけ領域を抽出して、第１補正対象領域及び第２補正対象領域を特定する。第１補正対象領域及び第２補正対象領域は、以下のように特定される。
まず、基準フレーム画像と参照フレーム画像との間において、各画素の輝度値の比較を行い、輝度値の差が閾値ｔｈ＿ｍ＿ｓ以上となる動領域を抽出する。そして、フレーム画像間で動領域として抽出された領域のうち、サブフレーム画像間で最後に動領域として抽出されなかった領域（基準サブフレーム画像と最終参照サブフレーム画像との間で動領域として抽出されなかった領域）を抽出し、補正対象領域とする。
そして、図２５に示すように、参照フレーム画像Ｆ１と基準サブフレーム画像ｆ２との間の動き検出により得られる画像Ｆ１、ｆ２ 間の動領域を、参照フレーム画像内の動きぼけ領域として特定する（図２５のｉ参照）。また、基準フレーム画像Ｆ２と最終参照サブフレーム画像ｆ５との間の動き検出により得られる画像Ｆ２、ｆ５ 間の動領域を、参照フレーム画像内の動きぼけ領域として特定する（図２５のｉｉ参照）。
そして、補正対象領域と、参照フレーム画像内の動きぼけ領域との共通領域を、第１補正対象領域として特定し（図２５のｉｉｉ参照）、補正対象領域と、基準フレーム画像内の動きぼけ領域との共通領域を、第２補正対象領域として特定する（図２５のｉｖ参照）。
図２６に示すように、参照フレーム画像Ｆ１の時間重心に対応するサブフレーム画像ｆ２の前後に撮影されたサブフレーム画像ｆ１、ｆ３において動領域に対応する領域であって、基準サブフレーム画像ｆ２と最終参照サブフレーム画像ｆ５との間で動領域として抽出されない領域は、動きぼけ領域であり、第１補正対象領域Ｅｂ２となる。推定された動きベクトルを反転すると、この第１補正対象領域Ｅｂ２には、０ベクトルが割り当てられる。従って、動き補償を行うと、第１補正対象領域Ｅｂ２について、参照フレーム画像Ｆ１における、領域Ｅｂ２と同じ位置の動きぼけ領域Ｅｂ１の画素値で誤って補償されてしまう。
また、図２７に示すように、基準フレーム画像Ｆ２の撮影時の時間重心に対応するサブフレーム画像ｆ５の前後に撮影されたサブフレーム画像ｆ４、ｆ６において動領域に対応する領域であって、基準サブフレーム画像ｆ２と最終参照サブフレーム画像ｆ５との間で動領域として抽出されない領域は、動きぼけ領域であり、第２補正対象領域Ｅｆ２となる。参照フレーム画像Ｆ１においてこの領域Ｅｆ２に対応する領域Ｅｆ１は静止領域であるため、領域Ｅｆ１に対して推定された動きベクトルを反転すると、この動きぼけ領域Ｅｆ２には、０ベクトルが割り当てられる。従って、動き補償を行うと、動きぼけ領域Ｅｆ２は、参照フレーム画像Ｆ１における、領域Ｅｆ２と同じ位置の領域Ｅｆ１の画素値で誤って補償されてしまう。
そこで、動きベクトル補正部３８では、上記第１の実施の形態と同様に、基準フレーム画像における、ギャップ領域と第１補正対象領域と第２補正対象領域との各々について、参照フレーム画像から対応する領域を探索し、基準フレーム画像から参照フレーム画像までの間における動きベクトルを再度推定し、基準フレーム画像におけるギャップ領域と第１補正対象領域と第２補正対象領域との各々に割り当てられる動きベクトルを、推定された動きベクトルに補正する。
なお、第３の実施の形態に係る動画像符号化装置の他の構成及び作用については同様であるため説明を省略する。
次に第４の実施の形態について説明する。なお、第４の実施の形態に係る動画像符号化装置の構成は、第３の実施の形態と同様であるため、同一符号を付して説明を省略する。
第４の実施の形態では、サブフレーム画像間の差分動きベクトルから既に推定されている動きベクトルを用いて、第２補正対象領域の動きベクトルを補正している点が、第３の実施の形態と異なっている。
第４の実施の形態では、上記第３の実施の形態と同様に、動領域抽出部２６によって、基準サブフレーム画像と探索対象の参照サブフレーム画像とを比較して、輝度値の差の絶対値が閾値以上となる画素からなる領域を動領域として抽出することにより、動領域を順次更新する。
また、補正対象領域特定部３４は、基準フレーム画像と参照フレーム画像との間において輝度値の差が閾値以上となる動領域を抽出し、フレーム画像間で動領域として抽出された領域のうち、サブフレーム画像間で最後に動領域として抽出されなかった領域（基準サブフレーム画像と最終参照サブフレーム画像との間で動領域として抽出されなかった領域）を抽出し、補正対象領域とする。また、補正対象領域特定部３４は、第３の実施の形態と同様に、補正対象領域から、第１補正対象領域及び第２補正対象領域を特定する。
また、動きベクトル補正部３８によって、基準フレーム画像におけるギャップ領域と第１補正対象領域との各々について、上記の第３の実施の形態と同様に、参照フレーム画像から対応する領域を探索し、基準フレーム画像から参照フレーム画像までの間における動きベクトルを推定して、ギャップ領域と第１補正対象領域との各々に割り当てられる動きベクトルを補正する。
次に、補正対象領域のうち、基準フレーム画像の動きぼけ領域と同じ領域となる２箇所の第２補正対象領域（図２８の領域Ｅｆ１、Ｅｆ２参照）についての動きベクトルを推定する原理について説明する。
まず、図２８に示すように、基準フレーム画像における一方の第２補正対象領域Ｅｆ１に対応する（最も予測誤差が小さくなると予想される）、参照フレーム画像Ｆ１における領域を、領域Ｅｆ１’とすると、第２補正対象領域Ｅｆ１→領域Ｅｆ１’の動きベクトルＶＥ１を、第２補正対象領域Ｅｆ１のフレーム画像間の動きベクトルとして割り当てればよい。
ここで、第２補正対象領域Ｅｆ１と同じ領域が、動領域に対応する領域となるサブフレーム画像は、基準サブフレーム画像Ｆ２の撮影時の時間重心に対応するサブフレーム画像ｆ５の後に撮影されたサブフレーム画像ｆ６であり、サブフレーム画像ｆ６における、第２補正対象領域Ｅｆ１と同じ領域は、領域ｅｆ１である。
また、参照フレーム画像Ｆ１における領域Ｅｆ１’と同じ領域が、動領域に対応する領域となるサブフレーム画像は、参照サブフレーム画像Ｆ１の時間重心に対応するサブフレーム画像ｆ２の後に撮影されたサブフレーム画像ｆ３であり、サブフレーム画像ｆ３において、領域Ｅｆ’と同じ領域は、領域ｅｆ１’である。
従って、フレーム画像間の動きベクトルＶＥ１として、領域ｅｆ１→領域ｅｆ１’の動きベクトルｖｅ１を用いればよい。ここで、サブフレーム画像ｆ３の撮影時からサブフレーム画像ｆ６の撮影時までの間の時間と、サブフレーム画像ｆ２の撮影時からサブフレーム画像ｆ５の撮影時までの間の時間とが等しく、動領域が表わす物体は等速直線運動をしていると仮定すると、サブフレーム画像ｆ６からサブフレーム画像ｆ３までの間における動きベクトルｖ６３と、サブフレーム画像ｆ５からサブフレーム画像ｆ２までの間における動きベクトルｖ５２とは等しい。 また、サブフレーム画像ｆ５において、領域ｅｆ１に対応する領域は領域ｏｆ１である。
そこで、以下の（６）式に示すように、サブフレーム画像ｆ５からサブフレーム画像ｆ２までの間における領域ｏｆ１の動きベクトルｖｏ１を、一方の第２補正対象領域Ｅｆ１に割り当てることができる。
ベクトルＶＥ１ ＝ベクトルｖｅ１＝ベクトルｖｏ１ ・・・（６）
また、基準フレーム画像における他方の第２補正対象領域Ｅｆ２に対応する、参照フレーム画像Ｆ１における領域を、領域Ｅｆ２’とすると、一方の第２補正対象領域Ｅｆ１と同様に、第２補正対象領域Ｅｆ２→領域Ｅｆ２’の動きベクトルＶＥ２を、第２補正対象領域Ｅｆ２のフレーム画像間の動きベクトルとして割り当てればよい。すなわち、フレーム画像間の動きベクトルＶＥ２として、領域ｅｆ２→領域ｅｆ２’の動きベクトルｖｅ２を用いればよく、サブフレーム画像ｆ５において、領域ｅｆ２に対応する領域は領域ｏｆ２であるから、以下の（７）式に示すように、サブフレーム画像ｆ５からサブフレーム画像ｆ２までの間における領域ｏｆ２の動きベクトルｖｏ２を、他方の第２補正対象領域Ｅｆ２に割り当てることができる。
ベクトルＶＥ２ ＝ベクトルｖｅ２＝ベクトルｖｏ２ ・・・（７）
以上説明したように、動きベクトル補正部３８では、基準フレーム画像内の動きぼけ領域と共通する領域となる第２補正対象領域が、動領域に対応する領域となるサブフレーム画像を取得し、取得されたサブフレーム画像における、第２補正対象領域に対応する領域を、参照サブフレーム画像から探索する。そして、動きベクトル補正部３８は、探索された領域に対応するブロックを特定し、特定されたブロックに対応して推定されている動きベクトルを反転して、第２補正対象領域に割り当てる。
なお、第４の実施の形態に係る動画像符号化装置の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。
次に第５の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。
第５の実施の形態では、先に撮影されたフレーム画像に対して動き補償を行っている点が、第１の実施の形態と主に異なっている。
図２９に示すように、第５の実施の形態に係る動画像符号化装置５１０のコンピュータ５１４は、フレーム画像取得部２２と、サブフレーム画像取得部２４と、動領域抽出部２６と、動きベクトル推定部２８と、推定対象となる２つのフレーム画像のうち先に撮影されたフレーム画像を基準フレーム画像とし、基準フレーム画像において、推定された動きベクトルを補正すべき補正対象領域を特定する補正対象領域特定部５３４と、補正対象領域とについて、基準フレーム画像から、推定対象となる２つのフレーム画像のうち後に撮影されたフレーム画像（参照フレーム画像）までの間の動きベクトルを推定して、補正対象領域とに割り当てられる動きベクトルとして補正する動きベクトル補正部５３８と、推定された動きベクトル及び補正された動きベクトルを用いて、基準フレーム画像の動き補償を行う動き補償部５４０と、動き補償された基準フレーム画像を用いて、基準フレーム画像を圧縮符号化する符号化部５４２とを備えている。
動きベクトル推定部２８では、図３０に示すように、先に撮影された基準フレーム画像の撮影時の時間重心に対応するサブフレーム画像を基準サブフレーム画像とし、参照フレーム画像の撮影時の時間重心に対応するサブフレーム画像を最終参照フレーム画像として、上記の第１の実施の形態と同様に、基準フレーム画像から参照フレーム画像までの間の各ブロックの動きベクトルを推定する。
補正対象領域特定部５３４では、フレーム画像間で動領域として抽出された領域のうち、サブフレーム画像間で動領域として抽出されなかった領域を抽出し、基準フレーム画像における補正対象領域を特定する。
動きベクトル補正部５３８では、基準フレーム画像における補正対象領域について、参照フレーム画像から対応する領域を探索し、基準フレーム画像から参照フレーム画像までの間における動きベクトルを再度推定し、基準フレーム画像における補正対象領域に割り当てられる動きベクトルを、推定された動きベクトルに補正する。
動き補償部５４０は、補正対象領域については、動きベクトル補正部５３８で補正された動きベクトルを用い、それ以外の領域では、動きベクトル推定部２８によって推定された動きベクトルを用いて、参照フレーム画像に基づいて、基準フレーム画像に対する動き補償を行う。
符号化部５４２では、動き補償が行われた結果と、基準フレーム画像との差分に基づいて、基準フレーム画像の圧縮符号化を行って出力する。
なお、上記の実施の形態では、補正対象領域について再度動き推定を行って動きベクトルを補正する場合を例に説明したが、これに限定されるものではなく、上記の第２の実施の形態と同様に、補正対象領域として、第１補正対象領域及び第２補正対象領域の各々を特定し、第１補正対象領域については、再度動き推定を行い、第２補正対象領域については、サブフレーム画像間で推定された動きベクトルを用いて補正するようにしてもよい。例えば、第２補正対象領域が、動領域に対応する領域となるサブフレーム画像を取得し、参照フレーム画像の時間重心に対応する最終参照サブフレーム画像から、取得されたサブフレーム画像の第２補正対象領域に対応する領域を探索する。そして、探索された領域に対応するブロックを特定し、特定されたブロックに対応して既に推定されている動きベクトルを、第２補正対象領域の動きベクトルとして用いればよい。
次に第６の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。
第６の実施の形態では、撮影装置から取得された通常フレームレートの撮影画像をサブフレーム画像とし、通常フレームレートの撮影画像を合成して、低速フレームレートのフレーム画像を生成している点が、第１の実施の形態と主に異なっている。
図３１に示すように、第６の実施の形態に係る動画像符号化装置６１０の撮影装置６１２は、ＣＭＯＳイメージセンサ１６と、撮影制御部１８と、画像メモリ（図示省略）とを備えている。
また、動画像符号化装置６１０のコンピュータ６１４は、撮影装置６１２から連続して出力される通常のフレームレートの撮影画像をサブフレーム画像として複数取得するサブフレーム画像取得部６２４と、サブフレーム画像取得部６２４によって取得された複数の撮影画像のうち、複数枚ずつ合成して、低速フレームレートのフレーム画像を複数生成するフレーム画像生成部６２２と、動領域抽出部２６と、動きベクトル推定部２８と、反転部３０と、ギャップ領域抽出部３２と、補正対象領域特定部３４と、動きベクトル補正部３８と、動き補償部４０と、符号化部４２とを備えている。
なお、動画像符号化装置６１０の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。
上記の実施の形態では、ＣＭＯＳイメージセンサを備えた撮影装置を用いた場合を例に説明したが、これに限定されるものではなく、ＣＭＯＳイメージセンサ以外のイメージセンサ備えた撮影装置を用いて構成してもよい。例えば、ＣＣＤイメージセンサを備えた撮影装置を用いて構成してもよい。
なお、上記の第６の実施の形態では、後に撮影されたフレーム画像を基準フレーム画像とし、基準フレーム画像の動き補償を行う場合を例に説明したが、これに限定されるものではなく、上記の第５の実施の形態と同様に、先に撮影されたフレーム画像を基準フレーム画像として、基準フレーム画像の動き補償を行うようにしてもよい。
また、上記の第１の実施の形態、第２の実施の形態、第５の実施の形態、第６の実施の形態では、基準サブフレーム画像に隣接するサブフレーム画像から、探索対象の参照サブフレーム画像までに含まれるサブフレーム画像の少なくとも１つに対して、輝度値の差の絶対値が閾値以上となる画素からなる領域を動領域として順次抽出して、マッチングを行う場合を例に説明したが、これに限定されるものではなく、はじめに、全ての参照サブフレーム画像の少なくとも１つに対して、輝度値の差の絶対値が閾値以上となる画素からなる領域を、動領域として抽出し、各ブロック内のこの動領域について、繰り返しマッチングを行うようにしてもよい。
また、上記の第１の実施の形態〜第６の実施の形態において、画素の輝度値の差の絶対値が閾値以上となる画素からなる領域を動領域として抽出する場合を例に説明したが、この閾値を０として、画像の全画素を動領域として抽出するようにしてもよい。
また、ＳＳＤ（２乗誤差和）を用いた評価式に基づいて探索を行なう場合を例に説明したが、これに限定されるものではなく、例えば、ＳＡＤ（絶対差分和）を用いた評価式など、他の評価手法によって領域探索を行なうようにしても良い。
また、後に撮影されたフレーム画像を基準フレーム画像とし、あるいは、先に撮影されたフレーム画像を基準フレーム画像として、基準フレーム画像の動き補償を行う場合を例に説明したが、これに限定されるものではなく、基準フレーム画像として、後に撮影されたフレーム画像及び先に撮影されたフレーム画像の何れかを選択可能にして、選択されたフレーム画像に対して動き補償を行うようにしてもよい。
また、推定された動きベクトルを用いて動き補償を行い、圧縮符号化を行う動画像符号化装置について説明したが、これに限定されるものではなく、例えば、推定された動きベクトルに基づいて、フレーム補間を行う装置に本発明を適用するようにしてもよい。
また、本発明を実現するプログラムを、記録媒体に格納して提供するようにしてもよい。
本発明の第１の実施の形態に係る動画像符号化装置を示すブロック図である。 ＣＭＯＳイメージセンサにおいて蓄積される電荷の時系列変化を示す図である。 フレーム画像の撮影時の時間重心と、サブフレーム画像の撮影時の時間重心とを示すイメージ図である。 ブロック内の動領域と静止領域とを示すイメージ図である。 サブフレーム画像間から求められる動きベクトル及び差分動きベクトルを示すイメージ図である。 ブロック内の動領域に対応する領域を探索する様子を示すイメージ図である。 サブフレーム画像間から推定された動きベクトルを反転する様子を示すイメージ図である。 基準フレーム画像におけるギャップ領域を説明するための図である。 動きぼけ領域を説明するための図である。 基準フレーム画像内の動きぼけ領域である補正対象領域において、誤った動き補償が行われる様子を示すイメージ図である。 参照フレーム画像内の動きぼけ領域と同じ領域である補正対象領域において、誤った動き補償が行われる様子を示すイメージ図である。 ギャップ領域及び補正対象領域について、再度動きベクトルを推定する様子を示すイメージ図である。 本発明の第１の実施の形態に係る動画像符号化装置のコンピュータにおける動画像符号化処理ルーチンの内容を示すフローチャートである。 本発明の第１の実施の形態に係る動画像符号化装置のコンピュータにおけるフレーム画像間の動きベクトル推定処理ルーチンの内容を示すフローチャートである。 動き領域が抽出される様子を示すイメージ図である。 本発明の第１の実施の形態に係る動画像符号化装置のコンピュータにおける動きベクトル補正処理ルーチンの内容を示すフローチャートである。 フレーム画像間の動き領域を抽出する様子を示すイメージ図である。 補正対象領域を特定する様子を示すイメージ図である。 基準フレーム画像内の動きぼけ領域である第２補正対象領域について、動きベクトルを推定する様子を示すイメージ図である。 本発明の第２の実施の形態に係る動画像符号化装置のコンピュータにおける動きベクトル補正処理ルーチンの内容を示すフローチャートである。 第１補正対象領域及び第２補正対象領域を特定する様子を示すイメージ図である。 （Ａ）移動させながら絨毯を撮影した画像列を示すイメージ図、（Ｂ）等速直線運動するミニカーを撮影した画像列を示すイメージ図、及び（Ｃ）左下の長方形部分を除く部分が矢印の方向に動く画像列を示すイメージ図である。 （Ａ）従来手法による動きベクトルの推定結果を示す図、及び（Ｂ）本実施の形態の手法による動きベクトルの推定結果を示す図である。 動領域を抽出する様子を示すイメージ図である。 第１補正対象領域及び第２補正対象領域を特定する様子を示すイメージ図である。 参照フレーム画像内の動きぼけ領域である第１補正対象領域において、誤った動き補償が行われる様子を示すイメージ図である。 基準フレーム画像内の動きぼけ領域と同じ領域である第２補正対象領域において、誤った動き補償が行われる様子を示すイメージ図である。 第２補正対象領域について、動きベクトルを推定する様子を示すイメージ図である。 本発明の第５の実施の形態に係る動画像符号化装置を示すブロック図である。 サブフレーム画像間から推定された動きベクトルを、フレーム画像間の動きベクトルとして用いる様子を示すイメージ図である。 本発明の第６の実施の形態に係る動画像符号化装置を示すブロック図である。
符号の説明
１０、５１０、６１０ 動画像符号化装置
１２、６１２ 撮影装置
１４、５１４、６１４ コンピュータ
１６ ＣＭＯＳイメージセンサ
２０ 非破壊読み出し部
２２ フレーム画像取得部
２４、６２４ サブフレーム画像取得部
２６ 動領域抽出部
２８ 動きベクトル推定部
３０ 反転部
３２ ギャップ領域抽出部
３４、５３４ 補正対象領域特定部
３８、５３８ 動きベクトル補正部
４０、５４０ 動き補償部
４２、５４２ 符号化部
６２２ フレーム画像生成部

Claims (9)

  1. 撮影によって得られた第１のフレームレートの複数のフレーム画像、及び前記第１のフレーム画像より高速な第２のフレームレートの複数のサブフレーム画像を取得する取得手段と、
    推定対象となる連続した２つのフレーム画像の一方に対応するサブフレーム画像を基準サブフレーム画像として、前記基準サブフレーム画像の動領域を抽出する抽出手段と、
    前記基準サブフレーム画像を複数のブロックに分割し、分割された各ブロック内に存在する動領域に対応する領域を前記基準サブフレーム画像に隣接するサブフレーム画像から探索すると共に、前記分割された各ブロック内に存在する動領域に対応する領域を、前記隣接するサブフレーム画像に隣接するサブフレーム画像から前記２つのフレーム画像の他方に対応するサブフレーム画像までに含まれる複数のサブフレーム画像の各々について、前回探索された領域に近い領域から順に探索することにより、前記基準サブフレーム画像の前記ブロックの各々に対応する前記２つのフレーム画像の間の動きベクトルを推定する推定手段と、
    前記推定手段によって推定された前記ブロックの各々の動きベクトルを反転させる反転手段と、
    前記推定対象の２つのフレーム画像の一方と、前記反転手段によって反転された前記ブロックの各々の動きベクトルとを用いて、前記推定対象の２つのフレーム画像の他方の動き補償を行う動き補償手段と、
    前記推定対象の２つのフレーム画像の他方から、前記反転手段によって反転された前記動きベクトルの前記ブロックの各々に対応する領域以外の未推定領域を抽出する未推定領域抽出手段と、
    前記推定対象の２つのフレーム画像間で画素値の差の絶対値が所定値以上となる領域のうち、前記基準サブフレーム画像の動領域に対応する領域以外の領域を、補正対象領域として特定する補正対象領域特定手段と、
    前記未推定領域抽出手段によって抽出された前記未推定領域、及び前記補正対象領域特定手段によって特定された前記補正対象領域の各々について、前記推定対象の２つのフレーム画像の一方から、対応する領域を探索することにより、前記２つのフレーム画像の他方から一方までの間における、前記未推定領域及び前記補正対象領域の各々の動きベクトルを推定する第２推定手段と
    を含み、
    前記動き補償手段が、前記未推定領域及び前記補正対象領域の各々については、前記第２推定手段によって推定された動きベクトルを用いて、前記２つのフレーム画像の他方の動き補償を行うフレーム画像の動きベクトル推定装置。
  2. 撮影によって得られた第１のフレームレートの複数のフレーム画像、及び前記第１のフレーム画像より高速な第２のフレームレートの複数のサブフレーム画像を取得する取得手段と、
    推定対象となる連続した２つのフレーム画像の一方に対応するサブフレーム画像を基準サブフレーム画像として、前記基準サブフレーム画像の動領域を抽出する抽出手段と、
    前記基準サブフレーム画像を複数のブロックに分割し、分割された各ブロック内に存在する動領域に対応する領域を前記基準サブフレーム画像に隣接するサブフレーム画像から探索すると共に、前記分割された各ブロック内に存在する動領域に対応する領域を、前記隣接するサブフレーム画像に隣接するサブフレーム画像から前記２つのフレーム画像の他方に対応するサブフレーム画像までに含まれる複数のサブフレーム画像の各々について、前回探索された領域に近い領域から順に探索することにより、前記基準サブフレーム画像の前記ブロックの各々に対応する前記２つのフレーム画像の間の動きベクトルを推定する推定手段と、
    前記推定手段によって推定された前記ブロックの各々の動きベクトルを反転させる反転手段と、
    前記推定対象の２つのフレーム画像の一方と、前記反転手段によって反転された前記ブロックの各々の動きベクトルとを用いて、前記推定対象の２つのフレーム画像の他方の動き補償を行う動き補償手段と、
    前記推定対象の２つのフレーム画像の他方から、前記反転手段によって反転された前記動きベクトルの前記ブロックの各々に対応する領域以外の未推定領域を抽出する未推定領域抽出手段と、
    前記推定対象の２つのフレーム画像間で画素値の差の絶対値が所定値以上となる領域のうち、前記基準サブフレーム画像の動領域に対応する領域以外の領域を、補正対象領域として特定する補正対象領域特定手段と、
    前記未推定領域抽出手段によって抽出された前記未推定領域、及び前記補正対象領域特定手段によって特定された前記補正対象領域のうち、前記推定対象の２つのフレーム画像の一方に存在する動きぼけ領域に対応する第１補正対象領域の各々について、前記推定対象の２つのフレーム画像の一方から、対応する領域を探索することにより、前記２つのフレーム画像の他方から一方までの間における、前記未推定領域及び前記第１補正対象領域の各々の動きベクトルを推定する第２推定手段と、
    前記補正対象領域特定手段によって特定された補正対象領域のうち、前記推定対象の２つのフレーム画像の他方に存在する動きぼけ領域に対応する第２補正対象領域が、前記動領域に対応する領域となるサブフレーム画像であって、かつ、前記２つのフレーム画像の他方に対応するサブフレーム画像より前に又は後に撮影されたサブフレーム画像を取得する前後サブフレーム画像取得手段と、
    前記推定対象の２つのフレーム画像の他方に対応するサブフレーム画像から、前記前後サブフレーム画像取得手段によって取得されたサブフレーム画像の前記第２補正対象領域に対応する領域を探索する第３の探索手段と、
    前記第３の探索手段によって探索された前記領域に対応する前記ブロックを特定するブロック特定手段と、
    前記ブロック特定手段によって特定された前記ブロックに対応して前記推定手段によって推定された動きベクトルを反転して、前記２つのフレーム画像の他方から一方までの間における前記第２補正対象領域の動きベクトルを推定する第３推定手段と、
    を含み、
    前記動き補償手段が、前記未推定領域及び前記第１補正対象領域の各々については、前記第２推定手段によって推定された動きベクトルを用い、前記第２補正対象領域については、前記第３推定手段によって推定された動きベクトルを用いて、前記２つのフレーム画像の他方の動き補償を行うフレーム画像の動きベクトル推定装置。
  3. 撮影によって得られた第１のフレームレートの複数のフレーム画像、及び前記第１のフレーム画像より高速な第２のフレームレートの複数のサブフレーム画像を取得する取得手段と、
    推定対象となる連続した２つのフレーム画像の一方に対応するサブフレーム画像を基準サブフレーム画像として、前記基準サブフレーム画像の動領域を抽出する抽出手段と、
    前記基準サブフレーム画像を複数のブロックに分割し、分割された各ブロック内に存在する動領域に対応する領域を前記基準サブフレーム画像に隣接するサブフレーム画像から探索すると共に、前記分割された各ブロック内に存在する動領域に対応する領域を、前記隣接するサブフレーム画像に隣接するサブフレーム画像から前記２つのフレーム画像の他方に対応するサブフレーム画像までに含まれる複数のサブフレーム画像の各々について、前回探索された領域に近い領域から順に探索することにより、前記基準サブフレーム画像の前記ブロックの各々に対応する前記２つのフレーム画像の間の動きベクトルを推定する推定手段と、
    前記推定対象の２つのフレーム画像の他方と、前記推定手段によって推定された前記ブロックの各々の動きベクトルとを用いて、前記推定対象の２つのフレーム画像の一方の動き補償を行う動き補償手段と、
    前記推定対象の２つのフレーム画像間で画素値の差の絶対値が所定値以上となる領域のうち、前記基準サブフレーム画像の動領域に対応する領域以外の領域を、補正対象領域として特定する補正対象領域特定手段と、
    前記補正対象領域特定手段によって特定された前記補正対象領域について、前記推定対象の２つのフレーム画像の他方から、対応する領域を探索することにより、前記２つのフレーム画像の一方から他方までの間における、前記補正対象領域の各々の動きベクトルを推定する第２推定手段と、
    を含み、
    前記動き補償手段が、前記補正対象領域については、前記第２推定手段によって推定された動きベクトルを用いて、前記２つのフレーム画像の一方の動き補償を行うフレーム画像の動きベクトル推定装置。
  4. 撮影によって得られた第１のフレームレートの複数のフレーム画像、及び前記第１のフレーム画像より高速な第２のフレームレートの複数のサブフレーム画像を取得する取得手段と、
    推定対象となる連続した２つのフレーム画像の一方に対応するサブフレーム画像を基準サブフレーム画像として、前記基準サブフレーム画像の動領域を抽出する抽出手段と、
    前記基準サブフレーム画像を複数のブロックに分割し、分割された各ブロック内に存在する動領域に対応する領域を前記基準サブフレーム画像に隣接するサブフレーム画像から探索すると共に、前記分割された各ブロック内に存在する動領域に対応する領域を、前記隣接するサブフレーム画像に隣接するサブフレーム画像から前記２つのフレーム画像の他方に対応するサブフレーム画像までに含まれる複数のサブフレーム画像の各々について、前回探索された領域に近い領域から順に探索することにより、前記基準サブフレーム画像の前記ブロックの各々に対応する前記２つのフレーム画像の間の動きベクトルを推定する推定手段と、
    前記推定対象の２つのフレーム画像の他方と、前記推定手段によって推定された前記ブロックの各々の動きベクトルとを用いて、前記推定対象の２つのフレーム画像の一方の動き補償を行う動き補償手段と、
    前記推定対象の２つのフレーム画像間で画素値の差の絶対値が所定値以上となる領域のうち、前記基準サブフレーム画像の動領域に対応する領域以外の領域を、補正対象領域として特定する補正対象領域特定手段と、
    前記補正対象領域特定手段によって特定された前記補正対象領域のうち、前記推定対象の２つのフレーム画像の一方に存在する動きぼけ領域に対応する第１補正対象領域の各々について、前記推定対象の２つのフレーム画像の他方から、対応する領域を探索することにより、前記２つのフレーム画像の一方から他方までの間における、前記第１補正対象領域の各々の動きベクトルを推定する第２推定手段と、
    前記補正対象領域特定手段によって特定された補正対象領域のうち、前記推定対象の２つのフレーム画像の他方に存在する動きぼけ領域に対応する第２補正対象領域が、前記動領域に対応する領域となるサブフレーム画像であって、かつ、前記２つのフレーム画像の他方に対応するサブフレーム画像より前に又は後に撮影されたサブフレーム画像を取得する前後サブフレーム画像取得手段と、
    前記推定対象の２つのフレーム画像の他方に対応するサブフレーム画像から、前記前後サブフレーム画像取得手段によって取得されたサブフレーム画像の前記第２補正対象領域に対応する領域を探索する第３の探索手段と、
    前記第３の探索手段によって探索された前記領域に対応する前記ブロックを特定するブロック特定手段と、
    前記ブロック特定手段によって特定された前記ブロックに対応して前記推定手段によって推定された動きベクトルを、前記２つのフレーム画像の一方から他方までの間における前記第２補正対象領域の動きベクトルとして推定する第３推定手段と、
    を含み、
    前記動き補償手段が、前記第１補正対象領域については、前記第２推定手段によって推定された動きベクトルを用い、前記第２補正対象領域については、前記第３推定手段によって推定された動きベクトルを用いて、前記２つのフレーム画像の一方の動き補償を行うフレーム画像の動きベクトル推定装置。
  5. 前記抽出手段は、前記基準サブフレーム画像の画素値と、前記基準サブフレーム画像に隣接するサブフレーム画像から前記２つのフレーム画像の他方に対応するサブフレーム画像までに含まれる複数のサブフレーム画像の少なくとも１つのサブフレーム画像の画素値との差の絶対値が所定値以上となる画素からなる領域を、前記動領域として抽出する請求項１〜４の何れか１項記載のフレーム画像の動きベクトル推定装置。
  6. 前記抽出手段は、前記推定手段における領域の探索に応じて、前記基準サブフレーム画像の画素値と、前記推定手段における領域の探索対象となるサブフレーム画像の画素値との差の絶対値が所定値以上となる画素からなる領域を、前記動領域として抽出する請求項１〜４の何れか１項記載のフレーム画像の動きベクトル推定装置。
  7. 前記推定手段は、前記複数のサブフレーム画像の各々について、前記分割された各ブロック内に存在する動領域に対応する領域を、前回探索された領域を含む所定の探索範囲内から順に探索する請求項１〜請求項６の何れか１項記載のフレーム画像の動きベクトル推定装置。
  8. 前記２つのフレーム画像の一方を、前記２つのフレーム画像のうち先に撮影されたフレーム画像とし、前記２つのフレーム画像の他方を、前記２つのフレーム画像のうち後に撮影されたフレーム画像とした請求項１〜請求項７の何れか１項記載のフレーム画像の動きベクトル推定装置。
  9. コンピュータを、
    請求項１〜８の何れか１項記載のフレーム画像の動きベクトル推定装置の各手段として機能させるためのプログラム。
JP2008199031A 2008-07-31 2008-07-31 フレーム画像の動きベクトル推定装置及びプログラム Expired - Fee Related JP5334241B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008199031A JP5334241B2 (ja) 2008-07-31 2008-07-31 フレーム画像の動きベクトル推定装置及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008199031A JP5334241B2 (ja) 2008-07-31 2008-07-31 フレーム画像の動きベクトル推定装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2010041151A JP2010041151A (ja) 2010-02-18
JP5334241B2 true JP5334241B2 (ja) 2013-11-06

Family

ID=42013262

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008199031A Expired - Fee Related JP5334241B2 (ja) 2008-07-31 2008-07-31 フレーム画像の動きベクトル推定装置及びプログラム

Country Status (1)

Country Link
JP (1) JP5334241B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104301736B (zh) * 2014-10-13 2017-08-01 上海交通大学 一种减少存储带宽需求的超高清帧率上变换系统
JP6898374B2 (ja) * 2019-03-25 2021-07-07 ファナック株式会社 ロボット装置の動作を調整する動作調整装置およびロボット装置の動作を調整する動作調整方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3200196B2 (ja) * 1992-10-15 2001-08-20 株式会社リコー 動きベクトル検出方法

Also Published As

Publication number Publication date
JP2010041151A (ja) 2010-02-18

Similar Documents

Publication Publication Date Title
JP5284048B2 (ja) 画像処理装置、撮像装置及び画像処理方法
JP5153940B2 (ja) 動き補償を用いた画像の奥行き抽出のためのシステムおよび方法
CN110322542B (zh) 重建真实世界3d场景的视图
CN104284059B (zh) 用于稳定图像的设备和方法
US9202263B2 (en) System and method for spatio video image enhancement
EP2291825B1 (en) System and method for depth extraction of images with forward and backward depth prediction
US9055217B2 (en) Image compositing apparatus, image compositing method and program recording device
KR101811718B1 (ko) 영상 처리 방법 및 장치
WO2010024479A1 (en) Apparatus and method for converting 2d image signals into 3d image signals
US9674441B2 (en) Image processing apparatus, image processing method, and storage medium
JP6173218B2 (ja) 背景ピクセル拡張及び背景優先パッチマッチングを用いるマルチビューレンダリング装置及び方法
JPWO2014069103A1 (ja) 画像処理装置
KR101870700B1 (ko) 3차원 복원을 위한 핸드헬드 비디오로부터 고속 키 프레임 추출 방법
JP5334241B2 (ja) フレーム画像の動きベクトル推定装置及びプログラム
JP2004356747A (ja) 画像のマッチング方法および装置
JP6178646B2 (ja) 撮像装置及び像振れ補正処理方法
CN102822868B (zh) 一种用于重新生成视频流的数字图像的背景的方法
JP2019067169A (ja) 移動ベクトル算出方法、装置、プログラム、及びノイズ除去処理を含む移動ベクトル算出方法
CN106454066B (zh) 图像处理设备及其控制方法
KR101458099B1 (ko) 흔들림 영상 안정화 방법 및 이를 적용한 영상 처리 장치
US20160093062A1 (en) Method and apparatus for estimating absolute motion values in image sequences
JP2006215655A (ja) 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体
KR101534776B1 (ko) 깊이 정보를 이용한 템플릿 매칭 기반 고속 얼굴 추적 방법
JP2006215657A (ja) 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体
JP2019097004A (ja) 画像生成装置、画像生成方法及び画像生成プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110722

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130319

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130516

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130716

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130726

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees