JP4240674B2 - 動き検出装置および動き検出方法、並びに記録媒体 - Google Patents
動き検出装置および動き検出方法、並びに記録媒体 Download PDFInfo
- Publication number
- JP4240674B2 JP4240674B2 JP25847299A JP25847299A JP4240674B2 JP 4240674 B2 JP4240674 B2 JP 4240674B2 JP 25847299 A JP25847299 A JP 25847299A JP 25847299 A JP25847299 A JP 25847299A JP 4240674 B2 JP4240674 B2 JP 4240674B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- screen
- image
- interest
- gravity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
- Studio Circuits (AREA)
- Studio Devices (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、動き検出装置および動き検出方法、並びに記録媒体に関し、特に、例えば、ビデオカメラ等の撮像装置で撮像された画像から、そのビデオカメラの動き（以下、適宜、カメラ動きという）を、簡易に検出することができるようにする動き検出装置および動き検出方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
カメラ動きを検出する方法としては、例えば、いわゆるマクロブロックの動きベクトルを検出するのと同様に、フレーム全体を１つのブロックとみなして、ブロックマッチングを行う方法が考えられる。
【０００３】
【発明が解決しようとする課題】
しかしながら、フレーム全体を対象にブロックマッチングを行う場合には、カメラ動きを検出しようとしているフレームの空間的な位置をずらしながら、その１フレーム前の画像の画素との絶対値差分の、１フレームについての総和等を求める必要があるため、演算量が大であり、面倒である。
【０００４】
本発明は、このような状況に鑑みてなされたものであり、カメラ動きを、簡易に求めることができるようにするものである。
【０００５】
【課題を解決するための手段】
本発明の一側面の動き検出装置は、撮像装置によって撮像された画像から、前記撮像装置の撮像方向の動きを検出する動き検出装置であって、前記撮像装置が出力する各画面の画像が、上書きの形で書き込まれる蓄積画像記憶手段と、前記蓄積画像記憶手段に記憶された画像である蓄積画像の中の、注目画面の前の画面の画像を包含する範囲を、前記注目画面についての前記動きを検出するのに用いる検出範囲として設定する検出範囲設定手段と、前記注目画面の画像の各画素を、その画素の画素値を表す値、又は、その周辺にある画素の画素値のパターンを表す値によって分類し、各分類に属する画素の位置の重心の重心を、前記注目画面の重心として算出するとともに、前記検出範囲の画像の各画素を、その画素の画素値を表す値、又は、その周辺の画素の画素値のパターンを表す値によって分類し、各分類に属する画素の位置の重心の重心を、前記検出範囲の重心として算出する重心算出手段と、前記検出範囲の重心と、前記注目画面の重心に基づいて、前記前の画面の所定の点から前記検出範囲の重心までのベクトルと、前記注目画面の所定の点から前記注目画面の重心までのベクトルとの差分だけ、前記前の画面の画像を撮像したときの前記撮像装置の撮像方向の動きを表す、前記前の画面の動きベクトルを補正することにより、前記注目画面の動きベクトルを求める動きベクトル算出手段と、前記注目画面の動きベクトルによって、前記蓄積画像記憶手段の書き込みアドレスを制御し、前記注目画面の画像を、前記蓄積画像記憶手段に書き込む書き込み手段とを含み、前記書き込みアドレスの制御により、前記蓄積画像記憶手段には、前記注目画面の動きベクトルによって示される点に、前記注目画面の所定の点が位置するように、前記注目画面の画像が書き込まれる動き検出装置である。
【０００９】
本発明の一側面の動き検出方法は、撮像装置によって撮像された画像から、前記撮像装置の撮像方向の動きを検出する動き検出方法であって、前記撮像装置が出力する各画面の画像が、上書きの形で書き込まれる蓄積画像記憶手段に記憶された画像である蓄積画像の中の、注目画面の前の画面の画像を包含する範囲を、前記注目画面についての前記動きを検出するのに用いる検出範囲として設定する検出範囲設定ステップと、前記注目画面の画像の各画素を、その画素の画素値を表す値、又は、その周辺にある画素の画素値のパターンを表す値によって分類し、各分類に属する画素の位置の重心の重心を、前記注目画面の重心として算出するとともに、前記検出範囲の画像の各画素を、その画素の画素値を表す値、又は、その周辺の画素の画素値のパターンを表す値によって分類し、各分類に属する画素の位置の重心の重心を、前記検出範囲の重心として算出する重心算出ステップと、前記検出範囲の重心と、前記注目画面の重心に基づいて、前記前の画面の所定の点から前記検出範囲の重心までのベクトルと、前記注目画面の所定の点から前記注目画面の重心までのベクトルとの差分だけ、前記前の画面の画像を撮像したときの前記撮像装置の撮像方向の動きを表す、前記前の画面の動きベクトルを補正することにより、前記注目画面の動きベクトルを求める動きベクトル算出ステップと、前記注目画面の動きベクトルによって、前記蓄積画像記憶手段の書き込みアドレスを制御し、前記注目画面の画像を、前記蓄積画像記憶手段に書き込む書き込みステップとを含み、前記書き込みアドレスの制御により、前記蓄積画像記憶手段には、前記注目画面の動きベクトルによって示される点に、前記注目画面の所定の点が位置するように、前記注目画面の画像が書き込まれる動き検出方法である。
【００１０】
本発明の一側面の記録媒体は、撮像装置によって撮像された画像から、前記撮像装置の撮像方向の動きを検出する動き検出装置として、コンピュータを機能させるプログラムが記録された記録媒体であって、前記撮像装置が出力する各画面の画像が、上書きの形で書き込まれる蓄積画像記憶手段に記憶された画像である蓄積画像の中の、注目画面の前の画面の画像を包含する範囲を、前記注目画面についての前記動きを検出するのに用いる検出範囲として設定する検出範囲設定手段と、前記注目画面の画像の各画素を、その画素の画素値を表す値、又は、その周辺にある画素の画素値のパターンを表す値によって分類し、各分類に属する画素の位置の重心の重心を、前記注目画面の重心として算出するとともに、前記検出範囲の画像の各画素を、その画素の画素値を表す値、又は、その周辺の画素の画素値のパターンを表す値によって分類し、各分類に属する画素の位置の重心の重心を、前記検出範囲の重心として算出する重心算出手段と、前記検出範囲の重心と、前記注目画面の重心に基づいて、前記前の画面の所定の点から前記検出範囲の重心までのベクトルと、前記注目画面の所定の点から前記注目画面の重心までのベクトルとの差分だけ、前記前の画面の画像を撮像したときの前記撮像装置の撮像方向の動きを表す、前記前の画面の動きベクトルを補正することにより、前記注目画面の動きベクトルを求める動きベクトル算出手段と、前記注目画面の動きベクトルによって、前記蓄積画像記憶手段の書き込みアドレスを制御し、前記注目画面の画像を、前記蓄積画像記憶手段に書き込む書き込み手段として、コンピュータを機能させるためのプログラムであり、前記書き込みアドレスの制御により、前記蓄積画像記憶手段には、前記注目画面の動きベクトルによって示される点に、前記注目画面の所定の点が位置するように、前記注目画面の画像が書き込まれるプログラムが記録された記録媒体である。
【００１１】
本発明の一側面においては、前記撮像装置が出力する各画面の画像が、上書きの形で書き込まれる蓄積画像記憶手段に記憶された画像である蓄積画像の中の、注目画面の前の画面の画像を包含する範囲が、前記注目画面についての前記動きを検出するのに用いる検出範囲として設定される。さらに、前記注目画面の画像の各画素が、その画素の画素値を表す値、又は、その周辺にある画素の画素値のパターンを表す値によって分類され、各分類に属する画素の位置の重心の重心が、前記注目画面の重心として算出されるとともに、前記検出範囲の画像の各画素が、その画素の画素値を表す値、又は、その周辺の画素の画素値のパターンを表す値によって分類され、各分類に属する画素の位置の重心の重心が、前記検出範囲の重心として算出される。また、前記検出範囲の重心と、前記注目画面の重心に基づいて、前記前の画面の所定の点から前記検出範囲の重心までのベクトルと、前記注目画面の所定の点から前記注目画面の重心までのベクトルとの差分だけ、前記前の画面の画像を撮像したときの前記撮像装置の撮像方向の動きを表す、前記前の画面の動きベクトルを補正することにより、前記注目画面の動きベクトルが求められる。そして、前記注目画面の動きベクトルによって、前記蓄積画像記憶手段の書き込みアドレスが制御され、前記注目画面の画像が、前記蓄積画像記憶手段に書き込まれる。前記書き込みアドレスの制御により、前記蓄積画像記憶手段には、前記注目画面の動きベクトルによって示される点に、前記注目画面の所定の点が位置するように、前記注目画面の画像が書き込まれる。
【００１２】
【発明の実施の形態】
図１は、本発明を適用した画像伝送装置の一実施の形態の構成例を示している。
【００１３】
エンコーダ１には、ビデオカメラ等で撮影された、符号化の対象となる画像（ここでは、動画像とする）としてのディジタル画像データが供給されるようになっており、そこでは、その画像が符号化され、その結果得られる符号化データが出力される。この符号化データは、例えば、衛星回線や、地上波、ＣＡＴＶ(Cable Television)網、インターネット、ＩＳＤＮ(Integrated Service Digital Network)等の伝送媒体３を介して伝送され、あるいは、光ディスクや、光磁気ディスク、磁気ディスク、磁気テープ、相変化ディスク等の記録媒体４に記録される。
【００１４】
デコーダ２には、伝送媒体３を介して伝送されてくる符号化データ、あるいは記録媒体４から再生される符号化データが供給されるようになっており、デコーダ２では、そこに供給される符号化データが復号され、その結果得られる復号画像が、例えば、図示せぬモニタ等に供給されて表示される。
【００１５】
以上のような画像伝送装置は、例えば、離れた位置において画像の送受信を行う装置や、画像の記録再生を行う装置等に適用することができる。
【００１６】
次に、図２は、図１のエンコーダ１の構成例を示している。
【００１７】
蓄積部１１は、例えば、半導体メモリや磁気ディスク等で構成され、エンコーダ１に供給される画像データを一時記憶する。ここで、蓄積部１１には、例えば、あるシーンチェンジから次のシーンチェンジまで等の一連の画像のフレーム単位で、画像データが入力されて記憶されるようになっている。なお、ここでは、例えば、図３に示すように、第１フレーム乃至第ＮフレームでなるＮフレームの画像データが、一連の画像として、蓄積部１１に記憶されるものとする。
【００１８】
蓄積部１１に、一連の画像としてのＮフレームの画像が記憶されると、カメラ動き検出部１２は、そのＮフレームの画像を蓄積部１１から読み出し、各フレームにおけるカメラ動きの方向と大きさを表すカメラ動きベクトルを検出する。
【００１９】
即ち、カメラ動き検出部１２は、例えば、図４（Ａ）に示すように、第１フレームの左上の点を原点とするとともに、その左から右方向、または上から下方向を、それぞれｘ軸またはｙ軸とする座標系（以下、適宜、基準座標系という）において、第１フレームのカメラ動きベクトルｖ1を０（＝（０，０））に設定する。そして、カメラ動き検出部１２は、第２フレーム乃至第Ｎフレームについて、各フレームの背景の位置合わせを行ったときに、第ｎフレームの左上の点が位置する基準座表系の座標（ｘ，ｙ）を、その第ｎフレームのカメラ動きベクトルｖnとして求める。
【００２０】
具体的には、カメラ動き検出部１２は、第１フレームのカメラ動きベクトルｖ1を０に設定した後、図４（Ｂ）に示すように、基準座標系において、第１フレームと背景どうしが一致するような第２フレームの位置を求め、その位置における第２フレームの左上の点の座標を、そのカメラ動きベクトルｖ2として求める。さらに、カメラ動き検出部１２は、図４（Ｃ）に示すように、基準座標系において、背景の位置合わせを行った第１フレームおよび第２フレームと背景どうしが一致するような第３フレームの位置を求め、その位置における第３フレームの左上の点の座標を、そのカメラ動きベクトルｖ3として求める。
【００２１】
以下、同様にして、カメラ動き検出部１２は、第４フレーム乃至第Ｎフレームのカメラ動きベクトルｖ4乃至ｖNも求めていく。
【００２２】
なお、ここでは、説明を簡単にするために、カメラ動きとしては、水平および垂直方向の動きのみを考え、回転は考えないものとする。但し、本発明は、カメラ動きに回転がある場合でも適用可能である。
【００２３】
以上のようにして、カメラ動き検出部１２で検出された、一連の画像としての第１フレーム乃至第Ｎフレームのカメラ動きベクトルｖ1乃至ｖNは、カメラ動きベクトル記憶部１３に供給されて記憶される。
【００２４】
カメラ動きベクトル記憶部１３において、カメラ動きベクトルｖ1乃至ｖNが記憶されると、背景抽出部１４は、カメラ動きベクトル記憶部１３から、カメラ動きベクトルｖ1乃至ｖNを読み出すとともに、蓄積部１１から第１フレーム乃至第Ｎフレームの画像データを読み出し、カメラ動きベクトルｖ1乃至ｖNに基づいて、第１フレーム乃至第Ｎフレームの背景の位置合わせを行うことで、その第１フレーム乃至第Ｎフレーム全体に亘る背景（この背景は、例えば、一連の画像が、ビデオカメラをパンニングまたはチルティングして撮影されたものであれば、横長または縦長の画像となる）（以下、適宜、全体背景という）を抽出する。背景抽出部１４で抽出された全体背景は、背景メモリ１５に供給されて記憶される。
【００２５】
背景メモリ１５において、全体背景が記憶されると、前景符号化部１６は、その全体背景のうち、蓄積部１１に記憶された各フレームの背景を、カメラ動きベクトル記憶部１３に記憶された各フレームのカメラ動きベクトルに基づいて検出し、その検出された各フレームの背景を、各フレームの画像から減算することで、各フレームの前景を抽出する。さらに、前景符号化部１６は、各フレームの前景を符号化し、その符号化結果を、ＭＵＸ（マルチプレクサ）１７に出力する。
【００２６】
ＭＵＸ１７は、前景符号化部１６から、前景の符号化結果を受信すると、その前景の符号化結果に、カメラ動きベクトル記憶部１３に記憶されたカメラ動きベクトルと、背景メモリ１５に記憶された全体背景とを多重化し、その多重化結果を、符号化データとして出力する。
【００２７】
エンコーダ１では、以上のように、画像データが、一連の画像単位で符号化される。
【００２８】
次に、図５は、図２のカメラ動き検出部１２の構成例を示している。
【００２９】
重心算出部２１には、蓄積部１１（図２）に記憶された一連の画像が、フレーム単位で供給されるようになっており、重心算出部２１は、各フレームについて、後述するような重心を求めるようになっている。さらに、重心算出部２１は、蓄積画像メモリ２４に記憶された、後述する蓄積画像に対して、注目している注目フレームのカメラ動きベクトルを検出するのに用いる範囲（以下、適宜、動き検出範囲という）を設定し、その動き検出範囲の重心も求めるようになっている。重心算出部２１で求められる注目フレームおよび動き検出範囲の重心は、ベクトル検出部２２に供給されるようになっている。
【００３０】
ベクトル検出部２２は、重心算出部２１から供給される注目フレームおよび動き検出範囲の重心に基づいて、注目フレームのカメラ動きベクトルを検出し、カメラ動きベクトル記憶部１３（図２）に供給するとともに、書き込み制御部２３に供給するようになっている。
【００３１】
書き込み制御部２３は、ベクトル検出部２２からのカメラ動きベクトルに基づいて、蓄積画像メモリ２４が注目フレームの画像データを記憶するアドレスを制御するようになっている。蓄積画像メモリ２４は、蓄積部１１（図２）から、注目フレームの画像データを読み出し、書き込み制御部２３が指定するアドレスに記憶するようになっている。
【００３２】
次に、図６を参照して、図５のカメラ動き検出部１２において行われる、カメラ動きベクトルを検出するカメラ動き検出処理について説明する。
【００３３】
カメラ動き検出部１２が行うカメラ動き検出処理は、画像の重心が、カメラ動きによって移動することに着目し、基本的には、各フレームの重心が一致するように、各フレームの位置合わせを行い、その位置合わせを行った状態での、各フレームの左上の点が、各フレームのカメラ動きベクトルとして検出されるようになっている。
【００３４】
即ち、いま、第ｎフレームを注目フレームとすると、蓄積画像メモリ２４には、注目フレームの前のフレームまでのフレームである第１乃至第ｎ−１フレームの画像データを、その順番で、各フレームの背景の位置合わせを行って重ね合わせた状態の画像（蓄積画像）が記憶されている。
【００３５】
この場合、重心算出部２１は、図６（Ａ）に示すように、注目フレームである第ｎフレームの重心ｃnを求める。さらに、重心算出部２１は、図６（Ｂ）に示すように、蓄積画像メモリ２４に記憶された蓄積画像の中の、注目フレームの１フレーム前の第ｎ−１フレームを包含する範囲を、動き検出範囲とし、その動き検出範囲の重心ｃを求める。ここで、動き検出範囲としては、例えば、第ｎ−１フレームの上下左右の各方向に、所定の画素数だけ広い範囲が設定される。
【００３６】
注目フレームの重心ｃn、および動き検出範囲の重心ｃが求められると、ベクトル検出部２２では、図６（Ｃ）に示すように、動き検出範囲の重心ｃに、注目フレームの重心ｃnが一致した状態での、注目フレームの左上の点の位置が求められ、その位置の座標が、注目フレームである第ｎフレームのカメラ動きベクトルｖnとして出力される。
【００３７】
即ち、第ｎフレームを、注目フレームとして、そのカメラ動きベクトルｖnを求める場合には、その１フレーム前までのカメラ動きベクトルは、既に求まっている。そこで、図６（Ｃ）に示すように、動き検出範囲の重心ｃの、第ｎ−１フレームの左上の点を基準とする位置をベクトルｖ’cで表すとともに、注目フレームである第ｎフレームの重心ｃnの、その第ｎフレームの左上の点を基準とする位置をベクトルｖ’cnで表すとすると、動き検出範囲の重心ｃと、注目フレームの重心ｃnとが一致した状態での、注目フレームの左上の点の位置の、基準座標系における座標が、注目フレームの動きベクトルｖnとなる。そして、このカメラ動きベクトルｖnは、注目フレームの１フレーム前の第ｎ−１フレームの動きベクトルｖn-1に、動き検出範囲の重心ｃの位置を表すベクトルｖ’cを加算し、さらに、注目フレームの重心ｃnの位置を表すベクトルｖ’cnを減算することで求めることができる。即ち、注目フレームのカメラ動きベクトルｖnは、式ｖn＝ｖn-1＋ｖ’c−ｖ’cnを計算することで求めることができる。
【００３８】
以上のようにして、注目フレームのカメラ動きベクトルｖnが求められた後は、書き込み制御部２３において、そのカメラ動きベクトルｖnに基づいて、蓄積画像メモリ２４における注目フレームの画像データを書き込むための書き込みアドレスが制御される。即ち、これにより、蓄積画像メモリ２４では、基準座標系において、カメラ動きベクトルｖnによって示される点に、その左上の点が位置するように、注目フレームの画像データが、上書きする形で書き込まれ、その書き込みの結果得られる画像が、次の第ｎ＋１フレームを注目フレームとして、そのカメラ動きベクトルｖn+1を検出する際の蓄積画像として用いられる。
【００３９】
次に、図７のフローチャートを参照して、図５のカメラ動き検出部１２におけるカメラ動き検出処理について、さらに説明する。
【００４０】
まず最初に、蓄積部１１に記憶された一連の画像のうちの第１フレームが注目フレームとして読み出され、重心算出部２１に供給されるとともに、蓄積画像メモリ２４の記憶値がクリアされる。
【００４１】
そして、重心算出部２１では、ステップＳ１において、注目フレームが第１フレームであるかどうかが判定される。ステップＳ１において、注目フレームが第１フレームであると判定された場合、ステップＳ２に進み、ベクトル検出部２２は、そのカメラ動きベクトルｖ1として０を設定し、カメラ動きベクトル記憶部１３および書き込み制御部２３に出力して、ステップＳ６に進む。
【００４２】
ステップＳ６では、書き込み制御部２３は、ベクトル検出部２２からのカメラ動きベクトルに基づいて、蓄積画像メモリ２４における書き込みアドレスを制御し、これにより、蓄積画像メモリ２４に、注目フレームを書き込む。即ち、いまの場合、注目フレームは第１フレームであり、そのカメラ動きベクトルｖ1は０であるから、蓄積画像メモリ２４では、基準座標系における原点に、その左上の点が位置するように、第１フレームの画像データが書き込まれる。
【００４３】
その後、ステップＳ７に進み、蓄積部１１に、一連の画像を構成する次のフレームがあるかどうかが判定され、あると判定された場合、その、次のフレームが、新たに注目フレームとして読み出され、重心算出部２１に供給される。そして、ステップＳ１に戻り、以下、同様の処理が繰り返される。
【００４４】
一方、ステップＳ１において、注目フレームが第１フレームでないと判定された場合、即ち、第２フレーム乃至第Ｎフレームのうちのいずれかである場合、ステップＳ３に進み、重心算出部２１において、注目フレームの重心を求める重心算出処理が行われ、ステップＳ４に進む。ステップＳ４では、重心算出部２１において、蓄積画像メモリ２４に記憶された蓄積画像の中に、注目フレームに対する動き検出範囲が設定され、その動き検出範囲の重心を求める重心算出処理が行われ、ステップＳ５に進む。
【００４５】
ステップＳ５では、ベクトル検出部２２において、重心算出部２１で求められた注目フレームの重心と、動き検出範囲の重心とから、図６で説明したようにして、注目フレームのカメラ動きベクトルが求められ、カメラ動きベクトル記憶部１３および書き込み制御部２３に出力される。
【００４６】
そして、ステップＳ６に進み、上述したように、書き込み制御部２３において、ベクトル検出部２２からのカメラ動きベクトルに基づいて、蓄積画像メモリ２４における書き込みアドレスが制御され、これにより、蓄積画像メモリ２４に、注目フレームが書き込まれる。即ち、蓄積画像メモリ２４では、基準座標系において、注目フレームのカメラ動きベクトルによって示される点に、その左上の点が位置するように、注目フレームの画像データが書き込まれる（上書きされる）。
【００４７】
その後、ステップＳ７に進み、上述したように、蓄積部１１に、一連の画像を構成する次のフレームがあるかどうかが判定され、ないと判定された場合、即ち、一連の画像を構成する第１乃至第Ｎフレームそれぞれのカメラ動きベクトルが求められた場合、カメラ動き検出処理を終了する。
【００４８】
次に、図８のフローチャートを参照して、図７のステップＳ３において、重心算出部２１が行う処理（注目フレームの重心算出処理）について詳述する。
【００４９】
まず最初に、ステップＳ１１において、変数ＸまたはＹに対して、注目フレームの横（水平方向）の画素数、または縦（垂直方向）の画素数が、それぞれセットされ、ステップＳ１２に進む。
【００５０】
ステップＳ１２では、注目フレームの各画素のｙ座標を表す変数ｙに、初期値としての、例えば−１がセットされ、ステップＳ２２に進み、変数ｙが１だけインクリメントされる。
【００５１】
ここで、注目フレームを構成する各画素の座標は、その最も左上の画素を原点とし、左から右方向、または上から下方向に、それぞれｘ軸またはｙ軸をとって表すものとする。
【００５２】
その後、ステップＳ１４に進み、変数ｙが、注目フレームの縦の画素数Ｙ未満であるかどうかが判定される。ステップＳ１４において、変数ｙがＹ未満であると判定された場合、ステップＳ１５に進み、注目フレームの各画素のｘ座標を表す変数ｘに、初期値としての、例えば−１がセットされ、ステップＳ１６に進む。
【００５３】
ステップＳ１６では、変数ｘが１だけインクリメントされ、ステップＳ１７に進み、変数ｘが、注目フレームの横の画素数Ｘ未満であるかどうかが判定される。ステップＳ１７において、変数ｘがＸ未満でないと判定された場合、ステップＳ１３に戻り、以下、同様の処理が繰り返される。
【００５４】
また、ステップＳ１７において、変数ｘがＸ未満であると判定された場合、ステップＳ１８に進み、座標（ｘ，ｙ）にある画素ｐ（ｘ，ｙ）が注目画素とされ、その注目画素が、その画素値に基づいて、あらかじめ設定されたレベルのうちのいずれかに分類される。
【００５５】
即ち、本実施の形態では、画素値としてとり得る値の範囲が、幾つかの範囲に、あらかじめ分割されている。そして、いま、例えば、画素値としてとり得る値の範囲がＫ個の範囲に分割されており、このＫ個の範囲を、画素値の小さい範囲から順番に、レベル１，２，・・・，Ｋというものとすると、ステップＳ１８では、画素値がレベル１乃至Ｋのうちのいずれの範囲に属するかによって、注目画素が分類される。
【００５６】
さらに、ステップＳ１８では、注目画素のレベル分類結果が、レベルテーブルに登録される。
【００５７】
即ち、重心算出部２１は、その内蔵するメモリ（図示せず）に、例えば、図９に示すような、各レベルｋ（ｋ＝１，２，・・・，Ｋ）について、そのレベルｋに属する画素の度数ｆkと、レベルｋに属する画素のｘ座標の積算値Σｘkおよびｙ座標の積算値Σｙkを対応付けたレベルテーブルを記憶しており、例えば、注目画素の画素値がレベルｋに属する場合には、レベルテーブルにおけるレベルｋについての度数ｆkを１だけインクリメントするとともに、ｘ座標の積算値Σｘkまたはｙ座標の積算値Σｙkに、注目画素のｘ座標またはｙ座標をそれぞれ加算する。
【００５８】
なお、レベルテーブルは、図８のフローチャートにしたがった処理が開始されるごとに、０にクリアされるようになっている。
【００５９】
そして、ステップＳ１６に戻り、以下、同様の処理が繰り返される。
【００６０】
一方、ステップＳ１４において、変数ｙがＹ未満でないと判定された場合、即ち、注目フレームを構成する各画素を注目画素として処理を行い、注目フレームを構成するすべての画素を、レベルテーブルに登録した場合、ステップＳ１９に進み、レベルテーブルの各レベルに属する画素の重心が求められる。即ち、ステップＳ１９では、レベルテーブルの各レベルｋにおけるｘ座標の積算値Σｘkまたはｙ座標の積算値Σｙkそれぞれが、その度数ｆkで除算され、その除算値で表される座標（Σｘk／ｆk，Σｙk／ｆk）が、各レベルｋに属する画素の重心として求められる。
【００６１】
そして、ステップＳ２０に進み、レベル１乃至Ｋそれぞれに属する画素の重心の重心が、注目フレームを構成する画素全体の重心として求められ、リターンする。
【００６２】
即ち、ステップＳ２０では、レベル１乃至Ｋそれぞれに属する画素の重心について、例えば、その度数ｆ1乃至ｆKを重みとする重み付け平均値が求められ、その重み付け平均値が、注目フレームを構成する画素全体の重心として出力される。
【００６３】
次に、図１０のフローチャートを参照して、図７のステップＳ４において、重心算出部２１が行う処理（動き検出範囲の重心算出処理）について詳述する。
【００６４】
まず最初に、ステップＳ３１において、動き検出範囲が設定される。即ち、ステップＳ３１では、蓄積画像メモリ２４に記憶された蓄積画像から、注目フレームの１フレーム前のフレームが書き込まれた範囲が検出される。さらに、ステップＳ３１では、その検出された範囲が、例えば、上下左右方向に、それぞれ所定の画素数だけ拡げられ、その拡げられた範囲が、動き検出範囲として設定される。
【００６５】
そして、ステップＳ３２に進み、変数ＸまたはＹに対して、動き検出範囲の横の画素数、または縦の画素数が、それぞれセットされ、ステップＳ３３に進む。
【００６６】
その後、ステップＳ３３乃至Ｓ４１においては、図８のステップＳ１２乃至Ｓ２０における場合とそれぞれ同様の処理が行われ、これにより、動き検出範囲を構成する画素全体の重心が求められ、リターンする。
【００６７】
以上のように、カメラ動き検出部１２では、蓄積画像の中の、注目フレームの１フレーム前のフレームを含む所定の範囲を、動き検出範囲として設定し、その動き検出範囲の重心と、注目フレームの重心を算出し、それらの重心に基づいて、注目フレームのカメラ動きベクトルを求め、そのカメラ動きベクトルに基づいて、注目フレームを、蓄積画像に書き込むことを繰り返すようにしたので、いわゆるブロックマッチングを行う場合に比較して、カメラ動きベクトルを、簡易に求めることができる。
【００６８】
なお、図７の実施の形態では、ステップＳ３において、注目フレームの重心を求め、その後、ステップＳ４において、動き検出範囲の重心を求めるようにしたが、注目フレームの重心と、動き検出範囲の重心は、どちらを先に求めても良いし、また、同時に求めるようにすることも可能である。
【００６９】
次に、図８の実施の形態では、注目フレームの重心を、その注目フレームを構成する各画素を、その画素値によって、幾つかのレベルのうちのいずれかに分類（以下、適宜、レベル分類という）することで求めるようにしたが、注目フレームの重心は、その他、例えば、その注目フレームを構成する各画素を、その周辺にある幾つかの画素（自身を含めても良いし、含めなくても良い）に基づいて、幾つかのクラスのうちのいずれかに分類（以下、適宜、クラス分類という）することで行うことも可能である。
【００７０】
ここで、クラス分類について、簡単に説明する。いま、例えば、注目画素について、その上下左右にそれぞれ隣接する４画素と、注目画素自身との合計５画素で、注目画素のクラス分類に用いるタップ（以下、適宜、クラスタップという）を構成するものとする。この場合、例えば、画素値が１ビットで表現される（０または１のうちのいずれかの値となる）ものとすると、注目画素は、その注目画素について構成されるクラスタップの５画素が取り得る画素値によって、３２（＝（２1）5）のパターンに分類することができる。このようなパターン分けがクラス分類であり、いまの場合、注目画素は、３２のクラスのうちのいずれかに分類されることになる。
【００７１】
なお、一般には、画素に対して、８ビット程度が割り当てられるが、画素に８ビットが割り当てられている場合には、上述のように５画素でなるクラスタップを構成してクラス分類を行うと、そのクラス数は、（２8）5という膨大な数になる。
【００７２】
そこで、クラス分類は、注目画素について構成されるクラスタップに対して、LビットADRC(Adaptive Dynamic Range Coding)処理し、そのADRC処理後のクラスタップに基づいて行うようにすることができる。
【００７３】
ここで、LビットADRC処理においては、例えば、クラスタップを構成する画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する画素がLビットに再量子化される。即ち、クラスタップを構成する画素の画素値の中から、最小値MINが減算され、その減算値がDR/2Lで除算（量子化）される。従って、クラスタップが、LビットADRC処理された場合には、そのクラスタップを構成する各画素の画素値はLビットとされることになり、Lを、画素に割り当てられたビット数より小さい値とすることで、クラスタップをADRC処理せずにクラス分類を行う場合に比較して、クラス数を減少させることができる。
【００７４】
なお、フレームの上端、下端、左端、または右端の画素が注目画素となった場合には、その上、下、左、または右に隣接する画素は存在しないため、この場合には、例えば、フレームの上側、下側、左側、または右側に、同一フレームが折り返して存在するものと仮定して、クラスタップを構成するものとする。
【００７５】
次に、図１１のフローチャートを参照して、注目フレームを構成する各画素を、その画素についてのクラスタップに基づいてクラス分類することにより、注目フレームの重心を求める場合の、重心算出部２１で行われる処理（注目フレームの重心算出処理）について説明する。
【００７６】
この場合、ステップＳ５１乃至Ｓ５７において、図８のステップＳ１１乃至Ｓ１７における場合とそれぞれ同様の処理が行われる。そして、図８のステップＳ１８に対応するステップＳ５８では、座標（ｘ，ｙ）にある画素ｐ（ｘ，ｙ）が注目画素とされ、その注目画素についてクラスタップが構成される。そして、注目画素が、そのクラスタップに基づいて、例えば、Ｋ個のクラスのうちのいずれかにクラス分類され、そのクラス分類結果が、クラステーブルに登録される。
【００７７】
即ち、図１１の実施の形態においては、重心算出部２１は、その内蔵するメモリに、例えば、図１２に示すような、各クラスｋ（ｋ＝１，２，・・・，Ｋ）について、そのクラスｋに属する画素の度数ｆkと、クラスｋに属する画素のｘ座標の積算値Σｘkおよびｙ座標の積算値Σｙkを対応付けたクラステーブルを記憶しており、例えば、注目画素がクラスｋに属する場合には、クラステーブルにおけるクラスｋについての度数ｆkを１だけインクリメントするとともに、ｘ座標の積算値Σｘkまたはｙ座標の積算値Σｙkに、注目画素のｘ座標またはｙ座標をそれぞれ加算する。
【００７８】
なお、クラステーブルは、レベルテーブルと同様に、図１１のフローチャートにしたがった処理が開始されるごとに、０にクリアされるようになっている。
【００７９】
ステップＳ５８の処理後は、ステップＳ５６に戻り、以下、同様の処理が繰り返される。
【００８０】
一方、ステップＳ５４において、変数ｙがＹ未満でないと判定された場合、ステップＳ５９に進み、クラステーブルの各クラスに属する画素の重心が求められる。即ち、ステップＳ５９では、クラステーブルの各クラスｋにおけるｘ座標の積算値Σｘkまたはｙ座標の積算値Σｙkそれぞれが、その度数ｆkで除算され、その除算値で表される座標（Σｘk／ｆk，Σｙk／ｆk）が、各クラスｋに属する画素の重心として求められる。
【００８１】
そして、ステップＳ６０に進み、クラス１乃至Ｋそれぞれに属する画素の重心の重心が、注目フレームを構成する画素全体の重心として求められ、リターンする。
【００８２】
即ち、ステップＳ６０では、クラス１乃至Ｋそれぞれに属する画素の重心について、例えば、その度数ｆ1乃至ｆKを重みとする重み付け平均値が求められ、その重み付け平均値が、注目フレームを構成する画素全体の重心として出力される。
【００８３】
ここで、注目フレームを構成する各画素を、その画素についてのクラスタップに基づいてクラス分類することにより、注目フレームの重心を求める場合には、動き検出範囲の重心も、その動き検出範囲を構成する各画素についてクラスタップを構成し、そのクラスタップに基づいてクラス分類を行うことにより求めるようにするのが望ましい。
【００８４】
なお、動き検出範囲の重心を、クラス分類を行うことにより求める場合には、図１１のフローチャートに示した処理において、そのステップＳ５１の処理に替えて、図１０のフローチャートに示したステップＳ３１およびＳ３２の処理を行う他は、図１１に示した場合と同様であるため、その説明は省略する。
【００８５】
次に、図１１の実施の形態では、注目フレームを構成する各画素を、その画素についてのクラスタップに基づいてクラス分類し、その結果得られるすべてのクラスに属する画素の重心を用いて、注目フレームの重心を求めるようにしたが、注目フレームの重心は、その他、例えば、クラス分類の結果得られる特定のクラスに属する画素の重心のみを用いて求めるようにすることが可能である。
【００８６】
即ち、注目フレームの重心は、例えば、エッジになっている部分の画素（以下、適宜、エッジ画素という）が属するクラスを、特定のクラスとして、その特定のクラス（以下、適宜、エッジクラスという）に属する画素（エッジ画素）の重心のみを用いて求めるようにすることが可能である。
【００８７】
そこで、図１３のフローチャートを参照して、注目フレームを構成する各画素のクラス分類結果のうち、エッジクラスに属するエッジ画素の重心のみを用いて求める場合に、重心算出部２１で行われる処理（注目フレームの重心算出処理）について説明する。
【００８８】
この場合も、ステップＳ７１乃至Ｓ７７において、図８のステップＳ１１乃至Ｓ１７における場合とそれぞれ同様の処理が行われる。そして、ステップＳ７７において、変数ｘがＸ未満であると判定された場合は、ステップＳ７８に進み、座標（ｘ，ｙ）にある画素ｐ（ｘ，ｙ）が注目画素とされ、図１１のステップＳ５８における場合と同様に、その注目画素がクラス分類される。
【００８９】
その後、ステップＳ７９に進み、ステップＳ７８におけるクラス分類の結果得られるクラスがエッジクラスかどうか、即ち、注目画素がエッジ画素かどうかが判定される。
【００９０】
ここで、例えば、上述したような５画素で構成されるクラスタップを、２ビットADRC処理してからクラス分類を行う場合には、注目画素は、１０２４（＝（２2）5）クラスのうちのいずれかに分類される。ところで、クラスタップを、２ビットADRC処理した場合には、そのクラスタップを構成する画素の画素値は、００Ｂ，０１Ｂ，１０Ｂ，１１Ｂのうちのいずれかの値となる（Ｂは、その前に配置された値が２進数であることを表す）。従って、クラスタップが、上述したように、注目画素と、その注目画素の上下左右にそれぞれ隣接する４画素との合計５画素で構成される場合においては、注目画素の画素値が、最小値である００Ｂであるとともに、その上下左右にそれぞれ隣接する４画素の画素値が００Ｂ以外であるときと、注目画素の画素値が、最大値である１１Ｂであるとともに、その上下左右にそれぞれ隣接する４画素の画素値が１１Ｂ以外であるときに、注目画素がエッジ画素になっていると考えられる。
【００９１】
即ち、図１４（Ａ）に示すように、注目画素の画素値が００Ｂであり、かつ、その上下左右にそれぞれ隣接する４画素の画素値が、０１Ｂ，１０Ｂ，１１Ｂのうちのいずれかである場合は、画素値が、注目画素において、いわば谷（凹）になっている。また、図１４（Ｂ）に示すように、注目画素の画素値が１１Ｂであり、かつ、その上下左右にそれぞれ隣接する４画素の画素値が、００Ｂ，０１Ｂ，１０Ｂのうちのいずれかである場合は、画素値が、注目画素において、いわば山（凸）になっている。従って、図１４に示した場合においては、注目画素がエッジ画素になっている。
【００９２】
なお、注目画素の画素値が００Ｂであり、かつ、その上下左右にそれぞれ隣接する４画素の画素値が、０１Ｂ，１０Ｂ，１１Ｂのうちのいずれかである場合は、８１（＝３×３×３×３）通りあり、注目画素の画素値が１１Ｂであり、かつ、その上下左右にそれぞれ隣接する４画素の画素値が、００Ｂ，０１Ｂ，１０Ｂのうちのいずれかである場合も同様に、８１通りある。従って、エッジ画素が属するクラス（エッジクラス）は、１６２（＝８１＋８１）通りある。
【００９３】
図１３に戻り、ステップＳ７９において、注目画素がエッジ画素でないと判定された場合、即ち、注目画素のクラスが、上述の１６２通りあるエッジクラスのうちのいずれでもない場合、ステップＳ７６に戻る。
【００９４】
また、ステップＳ７９において、注目画素がエッジ画素であると判定された場合、即ち、注目画素のクラスが、上述の１６２通りあるエッジクラスのうちのいずれかである場合、ステップＳ８０に進み、注目画素のクラス分類結果が、クラステーブルに登録される。即ち、ステップＳ８０では、図１２に示したようなクラステーブルの、注目画素のクラスｋについての度数ｆkが１だけインクリメントされるとともに、ｘ座標の積算値Σｘkまたはｙ座標の積算値Σｙkに、注目画素のｘ座標またはｙ座標がそれぞれ加算される。
【００９５】
なお、図１３の実施の形態では、エッジクラスに属する注目画素についてのみ、クラステーブルへの登録が行われるから、例えば、上述したように、５画素で構成されるクラスタップを２ビットADRC処理した後にクラス分類を行い、エッジクラスのみをクラステーブルに登録する場合には、クラステーブルのクラス数Ｋは、上述したエッジクラスの数である１６２となる。
【００９６】
一方、５画素で構成されるクラスタップを２ビットADRC処理した後にクラス分類を行い、すべてのクラスをクラステーブルに登録する場合には、注目画素は、上述したように、１０２４クラスのうちのいずれかに分類されるから、クラステーブルのクラス数Ｋは、１０２４となる。
【００９７】
従って、図１３の実施の形態においては、図１１の実施の形態における場合に比較して、クラステーブルの大きさ（容量）を小さくすることができる。
【００９８】
ステップＳ８０の処理後は、ステップＳ７６に戻り、以下、同様の処理が繰り返される。
【００９９】
一方、ステップＳ７４において、変数ｙがＹ未満でないと判定された場合、ステップＳ８１に進み、クラステーブルの各エッジクラスに属する画素の重心が求められる。即ち、ステップＳ８１では、クラステーブルの各エッジクラスｋにおけるｘ座標の積算値Σｘkまたはｙ座標の積算値Σｙkそれぞれが、その度数ｆkで除算され、その除算値で表される座標（Σｘk／ｆk，Σｙk／ｆk）が、各エッジクラスｋに属する画素の重心として求められる。
【０１００】
そして、ステップＳ８２に進み、エッジクラス１乃至Ｋそれぞれに属する画素の重心の重心が、注目フレームを構成する画素全体の重心として求められ、リターンする。
【０１０１】
即ち、ステップＳ８２では、エッジクラス１乃至Ｋそれぞれに属する画素の重心について、例えば、その度数ｆ1乃至ｆKを重みとする重み付け平均値が求められ、その重み付け平均値が、注目フレームを構成する画素全体の重心として出力される。
【０１０２】
ここで、注目フレームの重心を、注目フレームを構成する画素のうち、エッジクラスに属するもののみを用いて求める場合には、動き検出範囲の重心も、その動き検出範囲を構成する画素のうち、エッジクラスに属するもののみを用いて求めるようにするのが望ましい。
【０１０３】
なお、動き検出範囲の重心を、エッジクラスに属する画素のみを用いて求める場合には、図１３のフローチャートに示した処理において、そのステップＳ７１の処理に替えて、図１０のフローチャートに示したステップＳ３１およびＳ３２の処理を行う他は、図１３に示した場合と同様であるため、その説明は省略する。
【０１０４】
次に、注目フレームが、その１フレーム前のフレームに対して、カメラ動きのないものである場合には、注目フレームのカメラ動きベクトルは、その１フレーム前のフレームのカメラ動きベクトルに等しくなるべきである。しかしながら、上述したようにして、フレームのカメラ動きベクトルを求める場合には、前景の動きが影響することにより、注目フレームが、カメラ動きのないものであっても、そのカメラ動きベクトルとして、その１フレーム前のフレームのカメラ動きベクトルと異なるものが求まる可能性がある。
【０１０５】
そこで、図５に示したカメラ動き検出部１２には、同図に点線で示すように、注目フレームが、その１フレーム前のフレームに対して、カメラ動きのないものであるかどうかを判定する動きなし判定部２５を設け、さらに、ベクトル検出部２２において、注目フレームがカメラ動きのないものである場合には、その１フレーム前のフレームのカメラ動きベクトルを、注目フレームのカメラ動きベクトルとして出力し、注目フレームがカメラ動きのあるものである場合には、上述したようにして、注目フレームおよび動き検出範囲の重心から、注目フレームのカメラ動きベクトルを求めるようにすることができる。
【０１０６】
このようにすることで、注目フレームがカメラ動きのないものである場合には、注目フレームのカメラ動きベクトルを、その１フレーム前のフレームのカメラ動きベクトルと等しくすることができる。
【０１０７】
そこで、図１５のフローチャートを参照して、動きなし判定部２５において行われる、注目フレームがカメラ動きのないものであるかどうかを判定する処理（動きなし判定処理）について説明する。
【０１０８】
動きなし判定処理では、ステップＳ９１乃至Ｓ９９において、図１３のステップＳ７１乃至Ｓ７９における場合とそれぞれ同様の処理が行われる。
【０１０９】
そして、ステップＳ９９において、注目画素がエッジ画素であると判定された場合、ステップＳ１００に進み、注目画素の画素値ｐ（ｘ，ｙ）が、その１フレーム前の同一位置にある画素の画素値ｐ’（ｘ，ｙ）に等しいかどうかが判定される。
【０１１０】
ここで、ステップＳ１００における、ｐ（ｘ，ｙ）がｐ’（ｘ，ｙ）に等しいとは、ｐ（ｘ，ｙ）がｐ’（ｘ，ｙ）にほぼ等しい場合、即ち、｜ｐ（ｘ，ｙ）−ｐ’（ｘ，ｙ）｜が、所定の微小値以内である場合を含むものとする。
【０１１１】
ステップＳ１００において、注目画素の画素値ｐ（ｘ，ｙ）が、その１フレーム前の同一位置にある画素の画素値ｐ’（ｘ，ｙ）に等しくないと判定された場合、ステップＳ１０１をスキップして、ステップＳ９６に戻る。
【０１１２】
また、ステップＳ１００において、注目画素の画素値ｐ（ｘ，ｙ）が、その１フレーム前の同一位置にある画素の画素値ｐ’（ｘ，ｙ）に等しいと判定された場合、即ち、エッジ画素である注目画素の画素値ｐ（ｘ，ｙ）が、空間的に同一位置にある１フレーム前の画素の画素値ｐ’（ｘ，ｙ）に等しい場合、ステップＳ１０１に進み、変数ｃが１だけインクリメントされ、ステップＳ９６に戻る。
【０１１３】
ここで、変数ｃは、図１５の動きなし判定処理が開始される前に０にクリアされるようになっている。
【０１１４】
その後、ステップＳ９４において、変数ｙがＹ未満でないと判定された場合、即ち、注目フレームを構成する画素すべてを注目画素として処理を行った場合、ステップＳ１０２に進み、変数ｃが、所定の閾値ｔｈ以上であるか否かが判定される。ステップＳ１０２において、変数ｃが、所定の閾値ｔｈ以上であると判定された場合、即ち、注目フレームのエッジ画素の中に、１フレーム前の同一位置にある画素と同一（ほぼ同一）の画素値となっている画素が、閾値ｔｈ以上存在する場合、ステップＳ１０３に進み、注目フレームが、その１フレーム前のフレームに対して、カメラ動きのないものであるかどうかの判定結果として、動きがない旨のメッセージが、ベクトル検出部２２に出力され、動きなし判定処理を終了する。
【０１１５】
また、ステップＳ１０２において、変数ｃが、所定の閾値ｔｈ以上でないと判定された場合、即ち、注目フレームのエッジ画素の中に、１フレーム前の同一位置にある画素と同一（ほぼ同一）の画素値となっている画素が、閾値ｔｈ以上存在しない場合、ステップＳ１０４に進み、注目フレームが、その１フレーム前のフレームに対して、カメラ動きのないものであるかどうかの判定結果として、動きがある旨のメッセージが、ベクトル検出部２２に出力され、動きなし判定処理を終了する。
【０１１６】
なお、図１５の動きなし判定処理は、重心算出部２１における、注目フレームおよび動き検出範囲の重心を算出する処理に先だって行われ、さらに、第２フレーム以降のフレームを対象に行われる。
【０１１７】
次に、図１６は、図２の背景抽出部１４の構成例を示している。
【０１１８】
存在範囲検出部３１には、カメラ動きベクトル記憶部１３（図２）に記憶された一連の画像としての第１フレーム乃至第Ｎフレームのカメラ動きベクトルｖ1乃至ｖNが供給されるようになっており、存在範囲検出部３１は、第１乃至第Ｎフレームの背景の位置合わせを行った状態で、基準座標系において、その第１乃至第Ｎフレームの画像が存在する最小の矩形の領域（存在範囲）を検出するようになっている。
【０１１９】
即ち、存在範囲検出部３１は、第１フレーム乃至第Ｎフレームのカメラ動きベクトルｖ1乃至ｖNに基づき、第１フレーム乃至第Ｎフレームについて、その背景の位置合わせを行った状態を想定し、その位置合わせを行った状態で、第１乃至第Ｎフレームの画素が存在する最小の矩形の領域である存在範囲を検出する。さらに、存在範囲検出部３１は、その存在範囲の、基準座標系における、例えば、最も左上の頂点の座標（Ｘmin，Ｙmin）と、最も右下の頂点の座標（Ｘmax，Ｙmax）を求め、読み出し部３２および書き込み部３５に供給する。
【０１２０】
なお、第１フレーム乃至第Ｎフレームの背景の位置合わせを行った状態は、図１７に示すように、基準座標系において、第１フレーム乃至第Ｎフレームを、それぞれのカメラ動きベクトルｖ1乃至ｖNによって示される座標に、フレームの左上の頂点が位置するように配置することで想定することができる。
【０１２１】
読み出し部３２は、蓄積部１１（図２）に記憶されている第１フレーム乃至第Ｎフレームを構成する画素のうち、その第１フレーム乃至第Ｎフレームの背景の位置合わせを行った状態で空間的に同一位置にある画素を検出して読み出し、度数カウント部３３および書き込み部３５に供給するようになっている。
【０１２２】
即ち、読み出し部３２には、存在範囲検出部２１から座標（Ｘmin，Ｙmin）および（Ｘmax，Ｙmax）が供給される他、カメラ動きベクトル記憶部１３（図２）に記憶されたカメラ動きベクトルｖ1乃至ｖNも供給されるようになっており、読み出し部３２は、まず、存在範囲検出部３１と同様に、第１フレーム乃至第Ｎフレームのカメラ動きベクトルｖ1乃至ｖNに基づき、第１フレーム乃至第Ｎフレームについて、その背景の位置合わせを行った状態を想定する。さらに、読み出し部３２は、基準座標系の、存在範囲検出部２１から供給される座標（Ｘmin，Ｙmin）および（Ｘmax，Ｙmax）によって規定される存在範囲内の座標を順次スキャンしていき、図１８に示すように、各座標（ｘ，ｙ）における、背景の位置合わせを行った状態の第１フレーム乃至第Ｎフレームの画素を検出して読み出す。
【０１２３】
なお、第１乃至第Ｎフレームの背景の位置合わせを行った状態において、基準座標系の座標（ｘ，ｙ）に位置する、第ｎフレームの画素の検出は、その第ｎフレームの左上の画素を原点とした、いわばローカルな座標系（以下、適宜、ローカル座標系という）を考えた場合には、座標（ｘ，ｙ）から、カメラ動きベクトルｖnを減算した座標にある画素を検出することによって行うことができる。
【０１２４】
度数カウント部３３は、読み出し部３２から供給される、第１乃至第Ｎフレームを構成する画素のうち、その背景の位置合わせを行った状態で空間的に同一位置にある画素（以下、適宜、位置合わせ状態での同一位置画素という）の集合ごとに、例えば、上述した画素値の各レベルに属する画素の度数を計数し、その計数結果に基づいて、その後段の度数テーブル記憶部３４に記憶された度数テーブルへの登録を行うようになっている。
【０１２５】
度数テーブル記憶部３４は、例えば、図１９に示すような度数テーブルを記憶するようになっている。即ち、度数テーブル記憶部３４は、存在範囲内の各座標（ｘ，ｙ）について、位置合わせ状態での同一位置画素の画素値の各レベルと、そのレベルに属する画素の度数の、位置合わせ状態での同一位置画素の画素数に対する割合とを対応付けて登録するための度数テーブルを記憶している。
【０１２６】
ここで、存在範囲内のある位置（座標）における位置合わせ状態での同一位置画素の集合において、度数のｍ番目に大きい画素値のレベルを、第ｍ度数レベルという。
【０１２７】
図１９の実施の形態では、度数テーブルには、第１度数レベルから第Ｍ度数レベルまでのＭ個のレベルと、その度数の割合とが登録されるようになっている。従って、ここでは、度数カウント部３３は、度数が、Ｍ＋１番目以降のレベルについては、度数の計数結果を、度数テーブルに登録せず破棄するようになっている。但し、度数の計数結果は、すべてのレベルについて、度数テーブルに登録するようにすることも可能である。
【０１２８】
なお、上述したように、画素値としてとり得る値の範囲を、Ｋ個のレベルに分割した場合には、上述のＭは、Ｋ以下の値となる。
【０１２９】
書き込み部３５は、度数テーブル記憶部３４に記憶された度数テーブルと、読み出し部３２から供給される画素とに基づき、背景メモリ１５（図２）の、存在範囲検出部３１から供給される存在範囲内に相当する各アドレスに、全体背景を構成する背景画素を書き込むようになっている。さらに、書き込み部３５は、背景フラグメモリ３６への背景フラグの書き込みも行うようになっている。
【０１３０】
背景フラグメモリ３６は、存在範囲内の各画素について、背景画素が書き込まれているかどうかを表す背景フラグを記憶するようになっている。即ち、書き込み部３５は、背景メモリ１５のあるアドレスに背景画素を書き込んだとき、そのアドレスに対応する、背景フラグメモリ３６のアドレスに背景フラグを書き込むようになっている。ここで、背景フラグは、例えば、１ビットのフラグであるとし、背景画素が書き込まれているアドレスに対応する背景フラグは１とされ、まだ書き込まれていないアドレスに対応する背景フラグは０とされるものとする。
【０１３１】
次に、図２０のフローチャートを参照して、図１６の背景抽出部１４において行われる、第１フレーム乃至第Ｎフレームから全体背景を抽出する背景抽出処理について説明する。
【０１３２】
まず最初に、存在範囲検出部３１は、ステップＳ１１１において、カメラ動きベクトル記憶部１３からカメラ動きベクトルを読み出し、図１７で説明したようにして、存在範囲を検出する。そして、その存在範囲の、基準座標系における左上の点の座標（Ｘmin，Ｙmin）と、右下の点の座標（Ｘmax，Ｙmax）を、存在範囲を特定するための情報として、読み出し部３２および書き込み部３５に供給する。
【０１３３】
読み出し部３１は、存在範囲を特定するための座標（Ｘmin，Ｙmin）および（Ｘmax，Ｙmax）を受信すると、ステップＳ１１２において、存在範囲を、基準座標系のｙ軸方向にスキャンするための変数ｙに、初期値としてのＹmin−１をセットし、ステップＳ１１３に進み、その変数ｙを１だけインクリメントして、ステップＳ１１４に進む。ステップＳ１１４では、変数ｙがＹmax以下であるかどうかが判定され、Ｙmax以下であると判定された場合、ステップＳ１１５に進む。ステップＳ１１５では、読み出し部３１は、存在範囲を、基準座標系のｘ軸方向にスキャンするための変数ｘに、初期値としてのＸmin−１をセットし、ステップＳ１１６に進み、その変数ｘを１だけインクリメントして、ステップＳ１１７に進む。ステップＳ１１７では、変数ｘがＸmax以下であるかどうかが判定され、Ｘmax以下でないと判定された場合、ステップＳ１１３に戻り、以下、同様の処理が繰り返される。
【０１３４】
また、ステップＳ１１７において、変数ｘがＸmax以下であると判定された場合、ステップＳ１１８に進み、蓄積部１１（図２）に記憶された一連の画像としての第１フレーム乃至第Ｎフレームのフレーム数をカウントするための変数ｎに、初期値としての０がセットされ、ステップＳ１１９に進む。ステップＳ１１９では、変数ｎが１だけインクリメントされ、ステップＳ１２０に進み、変数ｎが、蓄積部１１（図２）に記憶された一連の画像のフレーム数であるＮ以下であるかどうかが判定される。
【０１３５】
ステップＳ１２０において、変数ｎがＮ以下であると判定された場合、ステップＳ１２１に進み、読み出し部３２において、第１フレーム乃至第Ｎフレームの背景の位置合わせを行った状態で、基準座標系の座標（ｘ，ｙ）の位置にある第ｎフレームの画素が、蓄積部１１（図２）から読み出される。即ち、読み出し部３２は、第ｎフレームの左上の画素を原点としたローカル座標系において、座標（ｘ，ｙ）から、カメラ動きベクトルｖnを減算した座標（ｘ，ｙ）−ｖnにある画素を、蓄積部１１（図２）から読み出す。
【０１３６】
なお、カメラ動きベクトルｖnのｘ座標またはｙ座標を、それぞれｘv#nまたはｙv#nと表すとともに、１フレームの横または縦の画素数を、それぞれＸまたはＹと表すこととすると、読み出し部３２は、第ｎフレームについてのローカル座標系における座標（ｘ−ｘv#n，ｙ−ｙv#n）に位置する画素を読み出すこととなるが、この場合、０≦ｘ−ｘv#n＜Ｘ、および０≦ｙ−ｙv#n＜Ｙの範囲外における座標（ｘ−ｘv#n，ｙ−ｙv#n）には、第ｎフレームの画素は存在しない。従って、ステップＳ１２１における第ｎフレームの画素の読み出しは、ｘ−ｘv#nが、０≦ｘ−ｘv#n＜Ｘの範囲内であり、かつｙ−ｙv#nが、０≦ｙ−ｙv#n＜Ｙの範囲内であるときのみ行われる。
【０１３７】
読み出し部３２は、ステップＳ１２１において、蓄積部１１（図２）から、第ｎフレームの画素を読み出すと、その画素を、度数カウント部３３および書き込み部３５に供給し、ステップＳ１１９に戻る。そして、ステップＳ１２０において、変数ｎがＮ以下でないと判定されるまで、ステップＳ１１９乃至Ｓ１２１の処理が繰り返され、これにより、第１フレーム乃至第Ｎフレームの背景の位置合わせを行った状態で、基準座標系の座標（ｘ，ｙ）の位置にある第１フレーム乃至第Ｎフレームの画素（位置合わせ状態での同一位置画素）が、度数カウント部３３および書き込み部３５に供給される。但し、上述したように、フレームによっては、基準座標系の座標（ｘ，ｙ）に画素が存在しない場合があり、この場合、そのフレームの画素は、度数カウント部３３および書き込み部３５に供給される画素には含まれない。
【０１３８】
その後、ステップＳ１２０において、変数ｎがＮ以下でないと判定されると、ステップＳ１２２に進み、度数カウント部３３は、読み出し部３２から供給される、基準座標系の座標（ｘ，ｙ）の位置にある、背景の位置合わせを行った状態の第１乃至第Ｎフレームの各画素を、その画素値が、例えば、レベル１乃至Ｋのうちのいずれの範囲に属するかによってレベル分類する。さらに、度数カウント部３３は、各レベルに属する画素の度数を計数し、その度数の割合（各レベルに属する画素の総数に対する割合）を求める。
【０１３９】
そして、ステップＳ１２３に進み、度数カウント部３３は、度数の割合が第１位から第Ｍ位までのレベル（第１度数レベル乃至第Ｍ度数レベル）と、その各レベルに属する画素の度数の割合とを、度数テーブル記憶部３４の、図１９に示したような度数テーブルにおける、座標（ｘ，ｙ）の欄（行）に登録し、ステップＳ１１６に戻る。
【０１４０】
一方、ステップＳ１１４において、変数ｙがＹmax以下でないと判定された場合、即ち、存在範囲内のすべての座標について処理を行った場合、ステップＳ１２４に進み、書き込み部３５は、度数テーブル記憶部３４に記憶された度数テーブルにおいて、第１度数レベルに属する画素の割合が所定値以上になっている座標を検出し、その座標に対応する背景メモリ１５のアドレスに、その第１度数レベルに対応する画素値を、背景画素の画素値として書き込む背景画素抽出処理を行い、ステップＳ１２５に進む。ステップＳ１２５では、書き込み部３５は、ステップＳ１２４の背景画素抽出処理において画素値が書き込まれなかった存在範囲内の座標について、背景画素としての画素値を書き込む背景拡張処理を行い、背景抽出処理を終了する。
【０１４１】
次に、図２１のフローチャートを参照して、図２０のステップＳ１２４において書き込み部３５が行う背景画素抽出処理について説明する。
【０１４２】
背景画素抽出処理では、ステップＳ１３１乃至Ｓ１３６において、図２０のステップＳ１１２乃至１１７における場合とそれぞれ同様の処理が行われ、ステップＳ１３６において、変数ｘがＸmax以下であると判定された場合、ステップＳ３７に進み、度数テーブルを参照することにより、座標（ｘ，ｙ）に対する第１度数レベルの割合が所定の閾値Ｌth以上であるかどうかが判定される。
【０１４３】
ステップＳ１３７において、座標（ｘ，ｙ）に対する第１度数レベルの割合が所定の閾値Ｌth以上でないと判定された場合、即ち、背景の位置合わせを行った状態の第１フレーム乃至第Ｎフレームを構成する画素のうち、座標（ｘ，ｙ）に位置する画素の最も度数の多い画素値の、その度数の割合が高くない場合、ステップＳ１３８およびＳ１３９をスキップして、ステップＳ１３５に戻る。
【０１４４】
従って、この場合、存在範囲における座標（ｘ，ｙ）に対応する背景メモリ１５（図２）のアドレスには、背景画素の画素値は書き込まれない。
【０１４５】
一方、ステップＳ１３７において、座標（ｘ，ｙ）に対する第１度数レベルの割合が所定の閾値Ｌth以上であると判定された場合、即ち、背景の位置合わせを行った状態の第１フレーム乃至第Ｎフレームを構成する画素のうち、座標（ｘ，ｙ）に位置する画素の最も度数の多い画素値の、その度数の割合が高い場合、ステップＳ１３８に進み、書き込み部３５は、その度数の割合が高い画素値を、座標（ｘ，ｙ）に位置する背景画素の画素値として、背景メモリ１５に書き込む。
【０１４６】
即ち、書き込み部３５は、背景の位置合わせを行った状態の第１フレーム乃至第Ｎフレームの、座標（ｘ，ｙ）に位置する画素のうち、第１度数レベルに属するものを、読み出し部３２から供給される画素から抽出し、例えば、その平均値を計算する。そして、書き込み部３５は、その平均値を、座標（ｘ，ｙ）に位置する背景画素の画素値として、背景メモリ１５に書き込む。
【０１４７】
ステップＳ１３８の処理後は、ステップＳ１３９に進み、書き込み部３５は、背景フラグメモリ３６の、座標（ｘ，ｙ）に対応するアドレスに記憶された背景フラグを１にし（背景フラグをたて）、ステップＳ１３５に戻り、以下、ステップＳ１３３において、変数ｙがＹmax以下でないと判定されるまで、同様の処理が繰り返される。
【０１４８】
そして、ステップＳ１３３において、変数ｙがＹmax以下でないと判定されると、リターンする。
【０１４９】
ここで、背景フラグメモリ３６の記憶値は、例えば、図２１の背景画素抽出処理が開始されるときに、０にクリアされるようになっている。
【０１５０】
次に、図２１で説明した背景画素抽出処理では、上述したように、背景の位置合わせを行った状態の第１フレーム乃至第Ｎフレームを構成する画素のうち、座標（ｘ，ｙ）に位置する画素の最も度数の多い画素値の、その度数の割合が高くない場合においては、座標（ｘ，ｙ）には、背景としての画素値が書き込まれない。
【０１５１】
即ち、背景画素抽出処理では、背景の位置合わせを行った状態の第１フレーム乃至第Ｎフレームを構成する画素のうち、座標（ｘ，ｙ）に位置する画素の最も度数の多い画素値の、その度数の割合が高い場合、その度数の最も多い画素値が、座標（ｘ，ｙ）における全体背景の画素値として確からしいものとして、背景メモリ１５に書き込まれる。従って、度数の最も多い画素値が、座標（ｘ，ｙ）における全体背景の画素値として確からしいとはいえない場合、即ち、ここでは、背景の位置合わせを行った状態の第１フレーム乃至第Ｎフレームを構成する画素のうち、座標（ｘ，ｙ）に位置する画素の最も度数の多い画素値の、その度数の割合が高くない場合には、背景画素抽出処理では、座標（ｘ，ｙ）に対応する背景メモリ１５のアドレスには、全体背景の画素値は書き込まれない。
【０１５２】
その結果、背景画素抽出処理によって、背景メモリ１５に画素値が書き込まれることで構成される全体背景は、いわば虫食い状態となっており、その虫食い部分を埋めていく必要がある。このため、図２０の背景抽出処理では、ステップＳ１２４で背景画素抽出処理（図２１）が行われた後、ステップＳ１２５において、虫食い部分を画素値で埋めることにより、いわば背景を拡張していく背景拡張処理が行われるようになっている。
【０１５３】
そこで、図２２のフローチャートを参照して、図２０のステップＳ１２５における背景拡張処理について説明する。
【０１５４】
背景拡張処理では、ステップＳ１４１において、変数ｙに、初期値としてのＹmin−１がセットされ、ステップＳ１４２に進み、その変数ｙが１だけインクリメントされ、ステップＳ１４３に進む。ステップＳ１４３では、変数ｙがＹmax以下であるかどうかが判定され、Ｙmax以下であると判定された場合、ステップＳ１４５に進む。ステップＳ１４５では、変数ｘに、初期値としてのＸmin−１がセットされ、ステップＳ１４６に進み、その変数ｘが１だけインクリメントされて、ステップＳ１４７に進む。ステップＳ１４７では、変数ｘがＸmax以下であるかどうかが判定され、Ｘmax以下でないと判定された場合、ステップＳ１４２に戻り、以下、同様の処理が繰り返される。
【０１５５】
また、ステップＳ１４７において、変数ｘがＸmax以下であると判定された場合、ステップＳ１４８に進み、座標（ｘ，ｙ）に対応する背景フラグメモリ３６のアドレスに記憶された背景フラグが０であるかどうかが判定される。ステップＳ１４８において、座標（ｘ，ｙ）に対応する背景フラグメモリ３６のアドレスに記憶された背景フラグが０でないと判定された場合、即ち、その背景フラグが１であり、従って、座標（ｘ，ｙ）に対応する背景メモリ１５（図２）のアドレスに、既に、全体背景としての画素値が書き込まれている場合、ステップＳ１４６に戻り、以下、同様の処理が繰り返される。
【０１５６】
また、ステップＳ１４８において、座標（ｘ，ｙ）に対応する背景フラグメモリ３６のアドレスに記憶された背景フラグが０であると判定された場合、即ち、座標（ｘ，ｙ）に対応する背景メモリ１５（図２）のアドレスに、まだ、全体背景としての画素値が書き込まれていない場合、ステップＳ１４９に進み、座標（ｘ，ｙ）に位置する画素の周辺の画素としての、例えば、その上、下、左、右、左上、左下、右上、右下に隣接する画素のうちのいずれかについての背景フラグが１であるかどうかが、背景フラグメモリ３６を参照することで判定される。
【０１５７】
ステップＳ１４９において、座標（ｘ，ｙ）に位置する画素に隣接する画素のいずれの背景フラグも１でないと判定された場合、即ち、座標（ｘ，ｙ−１），（ｘ，ｙ＋１），（ｘ−１，ｙ），（ｘ＋１，ｙ），（ｘ−１，ｙ−１），（ｘ−１，ｙ＋１），（ｘ＋１，ｙ−１），（ｘ＋１，ｙ＋１）それぞれに対応する背景メモリ１５（図２）のアドレスのいずれにも、まだ、全体背景としての画素値が書き込まれていない場合、ステップＳ１４６に戻る。
【０１５８】
また、ステップＳ１４９において、座標（ｘ，ｙ）に位置する画素に隣接する画素のいずれかの背景フラグが１であると判定された場合、即ち、座標（ｘ，ｙ−１），（ｘ，ｙ＋１），（ｘ−１，ｙ），（ｘ＋１，ｙ），（ｘ−１，ｙ−１），（ｘ−１，ｙ＋１），（ｘ＋１，ｙ−１），（ｘ＋１，ｙ＋１）それぞれに対応する背景メモリ１５（図２）のアドレスのいずれかに、既に、全体背景としての画素値が書き込まれている場合、ステップＳ１５０に進む。
【０１５９】
ここで、座標（ｘ，ｙ）に位置する画素に隣接する画素（に対応する背景メモリ１５（図２）のアドレス）のうち、全体背景としての画素値が書き込まれているものを、以下、適宜、既書き込み隣接画素という。
【０１６０】
ステップＳ１５０では、既書き込み隣接画素の画素値と連続性のある画素値のレベルが、座標（ｘ，ｙ）に対する第１乃至第Ｍ度数レベルのうちのいずれかとして、度数テーブルに登録されているかどうかが判定される。ここで、連続性のある画素値とは、値が近い画素値（同一の画素値を含む）どうしを意味する。
【０１６１】
ステップＳ１５０において、既書き込み隣接画素の画素値と連続性のある画素値のレベルが、座標（ｘ，ｙ）に対する第１乃至第Ｍ度数レベルのうちのいずれかとして、度数テーブルに登録されていると判定された場合、即ち、背景の位置合わせを行った状態の第１フレーム乃至第Ｎフレームを構成する、座標（ｘ，ｙ）に位置する画素の中に、既書き込み隣接画素の画素値と連続する画素値を有するものが、ある程度の割合以上存在する場合、ステップＳ１５１に進み、その、ある程度の割合以上存在する、既書き込み隣接画素の画素値と連続する画素値に基づいて、座標（ｘ，ｙ）に位置する画素の、全体背景としての画素値が算出され、背景メモリ１５（図２）の対応するアドレスに書き込まれる。
【０１６２】
即ち、既書き込み隣接画素の画素値と連続性のある画素値のレベルが、座標（ｘ，ｙ）に対する第１乃至第Ｍ度数レベルのうちの第ｍ度数レベルとして、度数テーブルに登録されていたとすると、ステップＳ１５１では、背景の位置合わせを行った状態の第１フレーム乃至第Ｎフレームを構成する、座標（ｘ，ｙ）に位置する画素のうちの、第ｍ度数レベルに属する画素値の、例えば平均値が算出され、その平均値が、座標（ｘ，ｙ）に位置する画素の、全体背景としての画素値として、背景メモリ１５（図２）の対応するアドレスに書き込まれる。
【０１６３】
ここで、上述したように、背景画素抽出処理では、背景の位置合わせを行った状態の第１フレーム乃至第Ｎフレームを構成する画素のうち、座標（ｘ，ｙ）に位置する最も度数の多い画素値の、その度数の割合が高い場合に、その度数の最も多い画素値が、座標（ｘ，ｙ）における全体背景の画素値として確からしいものとして、背景メモリ１５に書き込まれるが、この背景画素抽出処理によれば、例えば、ある風景を背景とし、かつ、ある物体が前景として移動していくような、Ｎフレームでなる一連の画像を考えた場合に、前景によって隠されずに、Ｎフレームのほとんどに亘って背景が表示されている画素については、そのほとんどのフレームに亘って表示されている画素値の度数の割合が高くなることから、その画素値が、背景の画素値として書き込まれる。
【０１６４】
しかしながら、前景が移動することにより、前景が表示されたり、背景が表示されたりする画素（以下、適宜、中間画素という）は、前景を構成する画素値となったり、背景を構成する画素値となったりすることから、中間画素については、度数の割合が高くなる画素値が存在しないため、背景画素抽出処理では、画素値の書き込みが行われない。
【０１６５】
全体背景を得るためには、中間画素については、そこに背景が表示されているフレームの画素値を書き込めば良いが、中間画素に背景が表示されているフレームを特定するのは困難である。そこで、背景拡張処理では、中間画素に隣接する画素の中に、既に、全体背景としての画素値が書き込まれているものがあり、かつ、その画素値と近い画素値が、中間画素の画素値として表示されたことがあれば、その表示されたことのある画素値が、中間画素に背景が表示されたときの画素値として確からしいとして、背景メモリ１５（図２）に書き込まれる。
【０１６６】
従って、背景拡張処理によれば、極端には、ある１フレームにおいてだけ、背景が表示された画素（中間画素）についても、その１フレームにおいて表示された背景の画素値を書き込むことが可能となる。
【０１６７】
一方、ステップＳ１５０において、既書き込み隣接画素の画素値と連続性のある画素値のレベルが、座標（ｘ，ｙ）に対する第１乃至第Ｍ度数レベルのうちのいずれかとして、度数テーブルに登録されていないと判定された場合、即ち、背景の位置合わせを行った状態の第１フレーム乃至第Ｎフレームを構成する、座標（ｘ，ｙ）に位置する画素の中に、既書き込み隣接画素の画素値と連続する画素値を有するものが存在しない場合、ステップＳ１５２に進み、既書き込み隣接画素の画素値に基づいて、座標（ｘ，ｙ）に位置する画素の、全体背景としての画素値が算出され、背景メモリ１５（図２）の対応するアドレスに書き込まれる。
【０１６８】
即ち、中間画素に隣接する画素の中に、既に、全体背景としての画素値が書き込まれているもの（既書き込み隣接画素）があるが、その画素値と近い画素値が、中間画素の画素値として表示されたことがない場合には、ステップＳ１５２において、例えば、既書き込み隣接画素の画素値（既書き込み隣接画素が複数存在する場合には、例えば、その平均値）が、座標（ｘ，ｙ）に位置する画素の、全体背景としての画素値として、背景メモリ１５（図２）に書き込まれる。
【０１６９】
ステップＳ１５１およびＳ１５２の処理後は、いずれも、ステップＳ１５３に進み、ステップＳ１５１またはＳ１５２で全体背景としての画素値が書き込まれた画素の背景フラグ、即ち、背景フラグメモリ３６の、座標（ｘ，ｙ）に対応するアドレスの背景フラグが１にされ（たてられ）、ステップＳ１４６に戻り、以下、同様の処理が繰り返される。
【０１７０】
一方、ステップＳ１４３において、変数ｙがＹmax以下でないと判定された場合、ステップＳ１４４に進み、前景フラグメモリ３６に記憶された、存在範囲内の各座標に対する背景フラグがすべて１であるかどうかが判定される。ステップＳ１４３において、存在範囲内の各座標に対応する背景フラグの中に、１でないものがあると判定された場合、即ち、存在範囲内の座標に位置する画素の中に、まだ、全体背景としての画素値が書き込まれていないものがある場合、ステップＳ１４１に戻り、以下、同様の処理が繰り返される。
【０１７１】
また、ステップＳ１４４において、存在範囲内の各座標に対応する背景フラグの中に、１でないものがないと判定された場合、即ち、存在範囲内の座標に位置する画素すべてに、全体背景としての画素値が書き込まれた場合、リターンする。
【０１７２】
図２２で説明した処理によれば、図２３に示すように、既に、全体背景としての画素値が書き込まれた画素（同図において、●印で示す）に隣接する、まだ画素値が書き込まれていない画素Ｐ（ｘ，ｙ）（同図において、斜線を付した○印で示す）が存在する場合には、その画素Ｐ（ｘ，ｙ）に隣接する既書き込み隣接画素（同図においては、画素Ｐ（ｘ−１，ｙ），Ｐ（ｘ−１，ｙ−１），Ｐ（ｘ，ｙ−１），Ｐ（ｘ＋１，ｙ＋１））の画素値や、その画素値と連続性を有する画素値等が、画素Ｐ（ｘ，ｙ）の全体背景としての画素値として書き込まれ、これにより、全体背景が拡張されていく。このことから、図２２の処理を、背景拡張処理と呼んでいる。
【０１７３】
次に、図２４は、図２の前景符号化部１６の構成例を示している。
【０１７４】
前景抽出部４１には、蓄積部１１（図２）に記憶された一連の画像としての第１フレーム乃至第Ｎフレーム、背景メモリ１５（図２）に記憶された全体背景、およびカメラ動きベクトル記憶部１３（図２）に記憶されたカメラ動きベクトルが供給されるようになっており、前景抽出部４１は、第１フレーム乃至第Ｎフレームそれぞれから前景を抽出するようになっている。即ち、前景抽出部４１は、全体背景の、基準座標系においてカメラ動きベクトルｖnだけずれた位置に、第ｎフレームの左上の点が位置するように、第ｎフレームを配置することで、全体背景と第ｎフレームとの位置合わせを行い、第ｎフレームの各画素から、同一位置にある全体背景の画素を減算することで、第ｎフレームから前景を抽出する。
【０１７５】
前景記憶部４２は、前景抽出部４１が抽出した第１乃至第Ｎフレームの前景を記憶するようになっている。
【０１７６】
前景蓄積画像構成部４３には、カメラ動きベクトル記憶部１３（図２）に記憶されたカメラ動きベクトルが供給されるようになっており、前景蓄積画像構成部４３は、そのカメラ動きベクトルに基づき、前景記憶部４２に記憶された第１フレーム乃至第Ｎフレームの前景を用いて、前方蓄積画像および後方蓄積画像を構成するようになっている。即ち、前景蓄積画像構成部４３は、図２５に示すように、カメラ動きベクトルに基づいて、背景の位置合わせを行った状態の第１フレーム乃至第Ｎフレームの前景を想定し、その第１フレーム乃至第Ｎフレームの前景を、時間の進行方向に向かって見た場合に得られる後方蓄積画像（過去から眺めた前景により構成される画像）と、時間の進行方向と逆方向に向かってみた場合に得られる前方蓄積画像（未来から眺めた前景により構成される画像）とを構成する。
【０１７７】
なお、前方蓄積画像は、背景の位置合わせを行った状態の第１フレーム乃至第Ｎフレームの前景の画素値を、第１フレームから第Ｎフレームの順番で、メモリ等に上書きしていくことで得ることができる。同様に、後方蓄積画像は、背景の位置合わせを行った状態の第１フレーム乃至第Ｎフレームの前景の画素値を、第Ｎフレームから第１フレームの順番で、メモリ等に上書きしていくことで得ることができる。
【０１７８】
前景蓄積画像記憶部４４は、前景蓄積画像構成部４３において構成された前方蓄積画像および後方蓄積画像を記憶するようになっている。
【０１７９】
学習部４５は、前景蓄積画像記憶部４４に記憶された前方蓄積画像および後方蓄積画像、さらには、必要に応じて、誤差画像記憶部４９に記憶された、後述する誤差画像を構成する画素から、第１フレーム乃至第Ｎフレームそれぞれの前景を構成する画素を予測するための予測係数を求める学習処理を行うようになっている。
【０１８０】
予測係数記憶部４６は、学習部４５において学習が行われることにより求められる予測係数を記憶するようになっている。
【０１８１】
適応処理部４７は、前景蓄積画像記憶部４４に記憶された前方蓄積画像および後方蓄積画像を構成する画素、予測係数記憶部４６に記憶された予測係数、さらには、必要に応じて、誤差画像記憶部４９に記憶された誤差画像を用いて、第１フレーム乃至第Ｎフレームそれぞれの前景を予測する適応処理を行うようになっている。
【０１８２】
ここで、学習部４５において行われる学習処理、および適応処理部４７において行われる適応処理について説明する。
【０１８３】
適応処理では、例えば、いま存在する画像（ここでは、前方蓄積画像および後方蓄積画像や、誤差画像）を構成する画素と、所定の予測係数との線形結合により、所望の画像（ここでは、第１フレーム乃至第Ｎフレームそれぞれの前景）を構成する画素の予測値が求められる。
【０１８４】
一方、学習処理では、所望の画像（以下、適宜、所望画像という）を教師データとするとともに、その所望画像を求めようとするときに存在する画像（以下、適宜、存在画像という）を生徒データとして、所望画像を構成する画素（以下、適宜、所望画素という）の画素値ｙの予測値Ｅ［ｙ］を、例えば、幾つかの存在画素（存在画像を構成する画素）の画素値ｘ1，ｘ2，・・・の集合と、所定の予測係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めるための予測係数が求められる。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【０１８５】
Ｅ［ｙ］＝ｗ1ｘ1＋ｗ2ｘ2＋・・・・・・（１）
【０１８６】
式（１）を一般化するために、予測係数ｗjの集合でなる行列Ｗ、生徒データの集合でなる行列Ｘ、および予測値Ｅ［ｙ］の集合でなる行列Ｙ’を、
【数１】
で定義すると、次のような観測方程式が成立する。
【０１８７】
ＸＷ＝Ｙ’・・・（２）
ここで、行列Ｘの成分ｘijは、ｉ件目の生徒データの集合（ｉ件目の教師データｙiの予測に用いる生徒データの集合）の中のｊ番目の生徒データを意味し、行列Ｗの成分ｗjは、生徒データの集合の中のｊ番目の生徒データとの積が演算される予測係数を表す。また、ｙiは、ｉ件目の教師データを表し、従って、Ｅ［ｙi］は、ｉ件目の教師データの予測値を表す。なお、式（１）の左辺におけるｙは、行列Ｙの成分ｙiのサフィックスｉを省略したものであり、また、式（１）の右辺におけるｘ1，ｘ2，・・・も、行列Ｘの成分ｘijのサフィックスｉを省略したものである。
【０１８８】
そして、この観測方程式に最小自乗法を適用して、所望画素の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、教師データとなる所望画素の真の画素値ｙの集合でなる行列Ｙ、および所望画素の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【数２】
で定義すると、式（２）から、次のような残差方程式が成立する。
【０１８９】
ＸＷ＝Ｙ＋Ｅ・・・（３）
【０１９０】
この場合、所望画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるための予測係数ｗjは、自乗誤差
【数３】
を最小にすることで求めることができる。
【０１９１】
従って、上述の自乗誤差を予測係数ｗjで微分したものが０になる場合、即ち、次式を満たす予測係数ｗjが、所望画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【０１９２】
【数４】
【０１９３】
そこで、まず、式（３）を、予測係数ｗjで微分することにより、次式が成立する。
【０１９４】
【数５】
【０１９５】
式（４）および（５）より、式（６）が得られる。
【０１９６】
【数６】
【０１９７】
さらに、式（３）の残差方程式における生徒データｘij、予測係数ｗj、教師データｙi、および残差ｅiの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。
【０１９８】
【数７】
【０１９９】
式（７）の正規方程式を構成する各式は、生徒データｘijおよび教師データｙiのセットを、ある程度の数だけ用意することで、求めるべき予測係数ｗjの数Ｊと同じ数だけたてることができ、従って、式（７）を解くことで（但し、式（７）を解くには、式（７）において、予測係数ｗjにかかる係数で構成される行列が正則である必要がある）、最適な予測係数ｗjを求めることができる。なお、式（７）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることが可能である。
【０２００】
以上のようにして、最適な予測係数ｗjを求めるのが学習処理であり、また、その予測係数ｗjを用い、式（１）により、所望画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理である。
【０２０１】
即ち、学習部４５または適応処理部４７では、前景蓄積画像記憶部４４に記憶された前方蓄積画像および後方蓄積画像、さらには、必要に応じて、誤差画像記憶部４９に記憶された誤差画像を、存在画像とするとともに、第１フレーム乃至第Ｎフレームそれぞれの前景を、所望画像として、学習処理または適応処理がそれぞれ行われる。
【０２０２】
なお、適応処理は、存在画像には含まれていないが、所望画像に含まれる成分が再現される点で、例えば、単なる補間処理とは異なる。即ち、適応処理では、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当する予測係数ｗが、教師データｙを用いての、いわば学習により求められるため、所望画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造（解像度想像）作用がある処理ということができる。
【０２０３】
誤差計算部４８は、前景記憶部４２から第１フレーム乃至第Ｎフレームそれぞれの前景を読み出し、適応処理部４７で求められた、第１フレーム乃至第Ｎフレームそれぞれの前景の予測値の予測誤差を計算するようになっている。即ち、誤差計算部４８は、例えば、第ｎフレームの前景を構成する画素の予測値から、その画素の画素値の真値を減算することにより、画素ごとに、予測誤差を求めるようになっている。
【０２０４】
誤差画像記憶部４９は、誤差計算部４８で求められた、第１フレーム乃至第Ｎフレームの前景の予測誤差でなる画像（以下、適宜、誤差画像という）を記憶するようになっている。
【０２０５】
誤差判定部５０は、誤差画像記憶部４９に記憶された誤差画像を構成する各画素の画素値としての予測誤差の、例えば、絶対値和を演算し、その絶対値和が所定の閾値以下（未満）になっているかどうかを判定するようになっている。
【０２０６】
ＭＵＸ（マルチプレクサ）５１は、誤差判定部５０による判定結果に基づいて、前景蓄積画像記憶部４４に記憶された前方蓄積画像および後方蓄積画像、予測係数記憶部４６に記憶された予測係数、さらには、必要に応じて、誤差画像記憶部４９に記憶された誤差画像を多重化し、その結果得られる多重化データを、第１フレーム乃至第Ｎフレームそれぞれの前景の符号化結果として、マルチプレクサ１７（図２）に出力するようになっている。
【０２０７】
次に、図２６は、図２４の学習部４５の構成例を示している。
【０２０８】
予測タップ構成部６１には、前景蓄積画像記憶部４４に記憶された前方蓄積画像および後方蓄積画像（以下、適宜、両方含めて、前景蓄積画像という）、さらには、必要に応じて、誤差画像記憶部４９に記憶された誤差画像が供給されるようになっている。そして、予測タップ構成部６１は、背景の位置合わせを行った状態での第１フレーム乃至第Ｎフレームそれぞれの前景を構成する画素のうち、予測値を求めようとするものを、注目画素として、基準座標系において、注目画素と空間的に近い位置にある前方蓄積画像および後方蓄積画像の画素や、誤差画像の画素を抽出し、注目画素の予測値を適応処理により求めるのに用いる予測タップとして、正規方程式構成部６２に出力する。
【０２０９】
正規方程式構成部６２には、予測タップ構成部６１から予測タップが供給される他、前景記憶部４２に記憶された第１フレーム乃至第Ｎフレームそれぞれの前景を構成する画素が供給されるようになっている。そして、正規方程式構成部６２は、注目画素となっている前景の画素（教師データ）と、予測タップ（生徒データ）を対象とした足し込みを行う。
【０２１０】
即ち、正規方程式構成部６２は、予測タップを用い、式（７）の正規方程式の左辺における、予測係数の乗数となっている、生徒データ（予測タップ）どうしの乗算（ｘijｘi ’ j ’）と、サメーション（Σ）に相当する演算を行う。
【０２１１】
さらに、正規方程式構成部６２は、予測タップおよび注目画素を用い、式（７）の正規方程式の右辺における、生徒データ（予測タップ）と教師データ（注目画素）の乗算（ｘijｙj）と、サメーション（Σ）に相当する演算を行う。
【０２１２】
正規方程式構成部６２では、以上の処理が、第１フレーム乃至第Ｎフレームそれぞれの前景を構成する画素を、注目画素として行われ、これにより、式（７）に示した正規方程式がたてられる。
【０２１３】
そして、その後、予測係数算出部６３は、正規方程式構成部６２において生成された正規方程式を解くことにより、予測係数を求め、予測係数記憶部４６（図２４）に供給して記憶させる。
【０２１４】
ここで、本実施の形態では、図２４の適応処理部４７において、背景の位置合わせを行った状態での第１フレーム乃至第Ｎフレームのうち、第ｎフレームの、基準座標系の存在範囲内における位置（ｘ，ｙ）にある画素の画素値Ａn（ｘ，ｙ）の予測値Ｅ［Ａn（ｘ，ｙ）］が、例えば、次式にしたがって求められるようになっている。
【０２１５】
Ｅ［Ａn（ｘ，ｙ）］＝ｇ（Ｆ，Ｂ，Ｅ，ｎ）・・・（８）
ここで、式（８）において、Ｆ，Ｂ，Ｅは、それぞれ前方蓄積画像、後方蓄積画像、誤差画像を表し、関数ｇ（Ｆ，Ｂ，Ｅ，ｎ）は、例えば、式（１）の線形一次式に相当する次式で定義される。
【０２１６】
ここで、式（９）において、ｗF1，ｗF2，・・・，ｗB1，ｗB2，・・・，ｗE1，ｗE2，・・・，ｗは、予測係数を表す。また、ｆ1，ｆ2，・・・は、前方蓄積画像Ｆを構成する画素のうち、注目画素についての予測タップを構成する画素を、ｂ1，ｂ2，・・・は、後方蓄積画像Ｂを構成する画素のうち、注目画素についての予測タップを構成する画素を、ｅ1，ｅ2，・・・は、誤差画像Ｅを構成する画素のうち、注目画素についての予測タップを構成する画素を、それぞれ表す。
【０２１７】
関数ｇ（Ｆ，Ｂ，Ｅ，ｎ）が、式（９）によって定義される場合、図２６の正規方程式構成部６２では、式（９）における予測係数ｗF1，ｗF2，・・・，ｗB1，ｗB2，・・・，ｗE1，ｗE2，・・・，ｗを求めるための正規方程式がたてられ、予測係数算出部６３では、その正規方程式を解くことで、予測係数ｗF1，ｗF2，・・・，ｗB1，ｗB2，・・・，ｗE1，ｗE2，・・・，ｗが求められる。従って、この場合、第１フレーム乃至第Ｎフレームすべての前景について、１セットの予測係数ｗF1，ｗF2，・・・，ｗB1，ｗB2，・・・，ｗE1，ｗE2，・・・，ｗが求められる。
【０２１８】
次に、図２７は、図２４の適応処理部４７の構成例を示している。
【０２１９】
予測タップ構成部７１には、前景蓄積画像記憶部４４に記憶された前景蓄積画像、さらには、必要に応じて、誤差画像記憶部４９に記憶された誤差画像が供給されるようになっている。そして、予測タップ構成部７１は、図２６の予測タップ構成部６１における場合と同様に、背景の位置合わせを行った状態での第１フレーム乃至第Ｎフレームそれぞれの前景を構成する画素のうち、予測値を求めようとするものを、注目画素として、基準座標系において、注目画素と空間的に近い位置にある前方蓄積画像および後方蓄積画像の画素や、誤差画像の画素を抽出し、予測タップとして、予測演算部７２に出力する。
【０２２０】
予測演算部７２には、予測タップ構成部７１から予測タップが供給される他、予測係数記憶部４６（図２４）に記憶された予測係数が供給されるようになっている。そして、予測演算部７２では、注目画素となっている前景の画素の予測値が、予測タップおよび予測係数を用い、式（８）および（９）で定義される線形一次式を演算することで求められ、誤差計算部４８に出力される。
【０２２１】
次に、図２８のフローチャートを参照して、図２４の前景符号化部１６において行われる、第１フレーム乃至第Ｎフレームそれぞれの前景を符号化する前景符号化処理について説明する。
【０２２２】
まず最初に、ステップＳ１６１において、前景抽出部４１は、カメラ動きベクトル記憶部１３（図２）に記憶されたカメラ動きベクトル、および背景メモリ１５（図２）に記憶された全体背景を用いて、蓄積部１１（図２）に記憶された第１フレーム乃至第Ｎフレームの画像それぞれから、上述したようにして前景を抽出し、前景記憶部４２に供給して記憶させる。
【０２２３】
そして、ステップＳ１６２に進み、前景蓄積画像構成部４３は、前景記憶部４２に記憶された第１フレーム乃至第Ｎフレームそれぞれの前景から、図２５で説明したような前方蓄積画像および後方蓄積画像を構成し、前景蓄積画像記憶部４４に供給して記憶させ、ステップ１６３に進む。
【０２２４】
ステップＳ１６３では、学習部４５において、前景蓄積画像記憶部４４に記憶された前方蓄積画像および後方蓄積画像、さらには、必要に応じて、誤差画像記憶部４９に記憶された誤差画像を構成する画素を用いて学習が行われ、これにより、第１フレーム乃至第Ｎフレームそれぞれの前景を構成する画素を予測するための予測係数が求められる。
【０２２５】
ここで、ステップＳ１６３で最初に学習処理が行われる場合においては、誤差画像記憶部４９には、まだ、誤差画像が記憶されていないため、誤差画像は用いずに（用いることができない）、学習が行われる。
【０２２６】
ステップＳ１６３における学習の結果得られた予測係数は、学習部４５から予測係数記憶部４６に供給され、上書きする形で記憶される。予測係数記憶部４６に予測係数が記憶されると、ステップＳ１６４において、適応処理部４７は、前景蓄積画像記憶部４４に記憶された前方蓄積画像および後方蓄積画像を構成する画素、予測係数記憶部４６に記憶された予測係数、さらには、必要に応じて、誤差画像記憶部４９に記憶された誤差画像を用いて、式（８）および（９）の線形一次式を計算することにより、第１フレーム乃至第Ｎフレームそれぞれの前景を構成する各画素の予測値を求める適応処理を行う。
【０２２７】
ここで、ステップＳ１６４で最初に適応処理が行われる場合においても、誤差画像記憶部４９には、まだ、誤差画像が記憶されていないため、誤差画像は用いずに（用いることができない）、適応処理が行われる。
【０２２８】
ステップＳ１６４における適応処理の結果得られた第１フレーム乃至第Ｎフレームそれぞれの前景を構成する各画素の予測値は、誤差計算部４８に供給され、誤差計算部４８では、ステップＳ１６５において、前景記憶部４２に記憶された第１フレーム乃至第Ｎフレームそれぞれの前景を参照することで、その前景を構成する各画素の予測値の予測誤差が求められる。
【０２２９】
そして、ステップＳ１６６に進み、誤差計算部４８は、基準座標系の存在範囲内における各位置について、その位置における予測誤差の絶対値が最大になっている画素を、第１フレーム乃至第Ｎフレームそれぞれの前景を構成する画素から抽出し、その抽出された画素の予測誤差でなる画像を誤差画像として、誤差画像記憶部４９に供給する。誤差画像記憶部４９では、誤差計算部４８からの誤差画像が記憶される。
【０２３０】
その後、ステップＳ１６７に進み、誤差判定部５０において、誤差画像記憶部４９に記憶された誤差画像を構成する各画素の画素値（予測誤差）の絶対値の総和が求められ、その総和が、所定の閾値以下（未満）であるかどうかが判定される。
【０２３１】
ステップＳ１６７において、誤差画像を構成する各画素の画素値（予測誤差）の絶対値の総和が、所定の閾値以下でないと判定された場合、即ち、予測係数と、前方蓄積画像および後方蓄積画像（さらには、必要に応じて、誤差画像）とから得られる前景の予測値の精度が高くない場合、ステップＳ１６３に戻り、以下、同様の処理が繰り返される。
【０２３２】
なお、この場合、誤差画像記憶部４９には、誤差画像が記憶されているので、次回のステップＳ１６３またはＳ１６４では、図２９に示すように、前方蓄積画像および後方蓄積画像の他、誤差画像も用いて予測タップが構成され、学習処理または適応処理がそれぞれ行われる。
【０２３３】
一方、ステップＳ１６７において、誤差画像を構成する各画素の画素値（予測誤差）の絶対値の総和が、所定の閾値以下であると判定された場合、即ち、予測係数と、前方蓄積画像および後方蓄積画像（さらには、必要に応じて、誤差画像）とから得られる前景の予測値の精度が高い場合、ステップＳ１６８に進み、誤差判定部５０は、ＭＵＸ５１を制御し、前景蓄積画像記憶部４４に記憶された前方蓄積画像および後方蓄積画像、予測係数記憶部４６に記憶された予測係数、さらには、誤差画像記憶部４９に誤差画像が記憶されている場合には、その誤差画像を読み出して多重化させる。そして、ＭＵＸ５１は、その多重化の結果得られた多重化データを、第１フレーム乃至第Ｎフレームそれぞれの前景の符号化結果として、マルチプレクサ１７（図２）に出力し、前景符号化処理を終了する。
【０２３４】
なお、誤差画像記憶部４９には、ステップＳ１６６の処理が行われるごとに得られる新たな誤差画像を、既に記憶されている誤差画像に上書きする形で記憶させるようにしても良いし、既に記憶されている誤差画像をそのまま残して記憶させるようにしても良い。
【０２３５】
新たな誤差画像を、誤差画像記憶部４９に既に記憶されている誤差画像に上書きする形で記憶させる場合には、誤差画像は、予測係数の学習が繰り返し行われても、常に、１枚であるため、前景の予測値の精度の向上にある程度の限界があるが、多重化データのデータ量を少なくすることができる。
【０２３６】
一方、新たな誤差画像を、誤差画像記憶部４９に既に記憶されている誤差画像をそのまま残して記憶させる場合には、誤差画像が複数枚になるため、多重化データのデータ量が多少増加するが、図３０に示すように、前方蓄積画像および後方蓄積画像、並びに２枚以上の誤差画像を用いて予測タップが構成され、学習処理または適応処理がそれぞれ行われるため、前景の予測値の精度をより向上させることができる。なお、図３０は、誤差画像が２枚ある場合を示している。
【０２３７】
また、上述の場合においては、学習処理により求めた予測係数を用いて適応処理を行うことにより予測値を求め、その予測誤差が大きい場合には、誤差画像も用いて学習処理を再度行い、予測誤差を小さくする予測係数を求めるようにしたが、予測誤差の大小にかかわらず、学習部４５による最初の学習処理の結果得られた予測係数を、前景蓄積画像記憶部４４に記憶された前方蓄積画像および後方蓄積画像とともに、前景の符号化結果として出力するようにすることも可能である。この場合、前景符号化部１６は、適応処理部４７、誤差計算部４８、誤差画像記憶部４９、および誤差判定部５０は設けずに構成することが可能となる。
【０２３８】
さらに、上述の場合には、前景の予測値を求める関数ｇ（Ｆ，Ｂ，Ｅ，ｎ）を、式（９）によって定義し、これにより、第１フレーム乃至第Ｎフレームすべての前景の予測値を求めるのに共通に用いる１セットの予測係数を求めるようにしたが、予測係数は、その他、例えば、１フレームごとや、複数フレームごとに求めることも可能である。
【０２３９】
即ち、１フレームごとに予測係数を求める場合には、関数ｇ（Ｆ，Ｂ，Ｅ，ｎ）を、例えば、式（１０）に示すように定義し、各フレームごとに正規方程式をたてて解くことにより、予測係数を求めるようにすれば良い。
【０２４０】
ここで、式（１０）において、ｗF1n，ｗF2n，・・・，ｗB1n，ｗB2n，・・・，ｗE1n，ｗE2n，・・・は、第ｎフレームの前景の予測値を求めるのに用いる予測係数を表す。
【０２４１】
また、ここでは、線形一次予測によって、前景の予測値を求めるようにしたが、前景の予測値は、その他、２次以上の高次の予測式によって求めるようにすることも可能である。
【０２４２】
さらに、ここでは、第１フレーム乃至第Ｎフレームそれぞれの前景から構成された前方蓄積画像および後方蓄積画像を用いて、第１フレーム乃至第Ｎフレームそれぞれの前景の予測値を求めるための予測係数の学習を行うようにしたが、予測係数の学習は、前方蓄積画像および後方蓄積画像以外の画像を用いて行うようにすることも可能である。即ち、予測係数の学習は、例えば、雑音でなる１枚以上の画像を用いて、前景の予測値の予測誤差を小さくするように、その雑音でなる画像の画素値を操作して行うようにすること等が可能である。
【０２４３】
次に、図３１は、図１のデコーダ２の構成例を示している。
【０２４４】
伝送媒体３（図１）を介して伝送されてくる符号化データ、あるいは記録媒体４（図１）から再生された符号化データは、ＤＭＵＸ（デマルチプレクサ）８１に供給されるようになっており、ＤＭＵＸ８１は、そこに供給される符号化データを、前方蓄積画像、後方蓄積画像、予測係数、全体背景、カメラ動きベクトルに分離するようになっている。なお、符号化データに、誤差画像が含まれる場合には、ＤＭＵＸ８１は、その誤差画像も、符号化データから分離するようになっている。
【０２４５】
前方蓄積画像および後方蓄積画像、さらには、符号化データに誤差画像が含まれる場合にはその誤差画像は、ＤＭＵＸ８１から画像記憶部８６に供給されるようになっている。また、予測係数、全体背景、またはカメラ動きベクトルは、ＤＭＵＸ８１から、予測係数記憶部８２、背景メモリ８７、カメラ動きベクトル記憶部８８にそれぞれ供給されるようになっている。
【０２４６】
予測係数記憶部８２は、ＤＭＵＸ８１からの予測係数を記憶するようになっている。適応処理部８３は、予測係数記憶部８２に記憶された予測係数、並びに画像記憶部８６に記憶された前方蓄積画像および後方蓄積画像、さらには必要に応じて誤差画像を用い、図２４の適応処理部４７における場合と同様の適応処理を行うことで、第１フレーム乃至第Ｎフレームそれぞれの前景の予測値を求めるようになっている。
【０２４７】
前景記憶部８４は、適応処理部８３によって求められる、第１フレーム乃至第Ｎフレームそれぞれの前景の予測値を、第１フレーム乃至第Ｎフレームそれぞれの前景の復号結果として記憶するようになっている。
【０２４８】
合成部８５は、背景メモリ８７に記憶された全体背景から、カメラ動きベクトル記憶部８８に記憶された第ｎフレームのカメラ動きベクトルｖnに基づいて、第ｎフレームの背景を切り出し（抽出し）、その第ｎフレームの背景と、前景記憶部８４に記憶された第ｎフレームの前景の復号結果とを合成することで、第ｎフレームの画像を復号して出力するようになっている。
【０２４９】
画像記憶部８６は、ＤＭＵＸ８１から供給される前方蓄積画像および後方蓄積画像、並びに誤差画像を記憶するようになっている。背景メモリ８７は、ＤＭＵＸ８１から供給される全体背景を記憶するようになっている。カメラ動きベクトル記憶部８８は、ＤＭＵＸ８１から供給される第１フレーム乃至第Ｎフレームそれぞれのカメラ動きベクトルを記憶するようになっている。
【０２５０】
次に、図３２のフローチャートを参照して、図３１のデコーダ２において行われる、一連の画像としての第１フレーム乃至第Ｎフレームの画像を復号する復号処理について説明する。
【０２５１】
まず最初に、ステップＳ１７１において、ＤＭＵＸ８１は、そこに供給される符号化データを、前方蓄積画像、後方蓄積画像、必要な誤差画像、予測係数、全体背景、カメラ動きベクトルに分離する。前方蓄積画像、後方蓄積画像、および必要な誤差画像は、画像記憶部８６に供給されて記憶される。また、予測係数、全体背景、またはカメラ動きベクトルは、予測係数記憶部８２、背景メモリ８７、カメラ動きベクトル記憶部８８にそれぞれ供給されて記憶される。
【０２５２】
その後、ステップＳ１７２に進み、適応処理部８３は、予測係数記憶部８２に記憶された予測係数、並びに画像記憶部８６に記憶された前方蓄積画像、後方蓄積画像、および必要な誤差画像を用い、図２４の適応処理部４７における場合と同様の適応処理を行うことで、第１フレーム乃至第Ｎフレームそれぞれの前景の予測値を求める。この予測値は、前景記憶部８４に供給され、第１フレーム乃至第Ｎフレームそれぞれの前景の復号結果として記憶される。
【０２５３】
そして、ステップＳ１７３に進み、合成部８５において、背景メモリ８７に記憶された全体背景から、カメラ動きベクトル記憶部８８に記憶された第ｎフレームのカメラ動きベクトルｖnに基づいて、第ｎフレームの背景が切り出され、その第ｎフレームの背景と、前景記憶部８４に記憶された第ｎフレームの前景の復号結果とが合成される。合成部８５では、以上の処理が、第１フレーム乃至第Ｎフレームすべてについて行われ、復号処理を終了する。
【０２５４】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアとしてのエンコーダ１やデコーダ２に組み込まれているコンピュータ、または各種のプログラムをインストールすることで各種の処理を行う汎用のコンピュータ等にインストールされる。
【０２５５】
そこで、図３３を参照して、上述した一連の処理を実行するプログラムをコンピュータにインストールし、コンピュータによって実行可能な状態とするために用いられる媒体について説明する。
【０２５６】
プログラムは、図３３（Ａ）に示すように、コンピュータ１０１に内蔵されている記録媒体としてのハードディスク１０２や半導体メモリ１０３に予めインストールした状態でユーザに提供することができる。
【０２５７】
あるいはまた、プログラムは、図３３（Ｂ）に示すように、フロッピーディスク１１１、CD-ROM(Compact Disc Read Only Memory)１１２，MO(Magneto optical)ディスク１１３，DVD(Digital Versatile Disc)１１４、磁気ディスク１１５、半導体メモリ１１６などの記録媒体に、一時的あるいは永続的に格納し、パッケージソフトウエアとして提供することができる。
【０２５８】
さらに、プログラムは、図３３（Ｃ）に示すように、ダウンロードサイト１２１から、ディジタル衛星放送用の人工衛星１２２を介して、コンピュータ１０１に無線で転送したり、LAN(Local Area Network)、インターネットといったネットワーク１３１を介して、コンピュータ１２３に有線で転送し、コンピュータ１０１において、内蔵するハードディスク１０２などに格納させるようにすることができる。
【０２５９】
本明細書における媒体とは、これら全ての媒体を含む広義の概念を意味するものである。
【０２６０】
また、本明細書において、媒体により提供されるプログラムを記述するステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０２６１】
次に、図３４は、図３３のコンピュータ１０１の構成例を示している。
【０２６２】
コンピュータ１０１は、図３４に示すように、CPU(Central Processing Unit)１４２を内蔵している。CPU１４２には、バス１４１を介して、入出力インタフェース１４５が接続されており、CPU１４２は、入出力インタフェース１４５を介して、ユーザによって、キーボードやマウス等で構成される入力部１４７が操作されることにより指令が入力されると、それにしたがって、図３３（Ａ）の半導体メモリ１０３に対応するROM(Read Only Memory)１４３に格納されているプログラムを実行する。あるいは、また、CPU１４２は、ハードディスク１０２に格納されているプログラム、衛星１２２若しくはネットワーク１３１から転送され、通信部１４８で受信されてハードディスク１０２にインストールされたプログラム、またはドライブ１４９に装着されたフロッピディスク１１１、CD-ROM１１２、MOディスク１１３、DVD１１４、若しくは磁気ディスク１１５から読み出されてハードディスク１０２にインストールされたプログラムを、RAM(Random Access Memory)１４４にロードして実行する。そして、CPU１４２は、その処理結果を、例えば、入出力インタフェース１４５を介して、LCD(Liquid CryStal Display)等で構成される表示部１４６に、必要に応じて出力する。
【０２６３】
【発明の効果】
本発明の一側面によれば、画像の撮像時における撮像装置の撮像方向の動きを、簡易に求めることが可能となる。
る。
【図面の簡単な説明】
【図１】本発明を適用した画像伝送装置の一実施の形態の構成例を示す図である。
【図２】図１のエンコーダ１の構成例を示すブロック図である。
【図３】図２の蓄積部１１に記憶される一連の画像を示す図である。
【図４】図２のカメラ動き検出部１２の処理を説明するための図である。
【図５】図２のカメラ動き検出部１２の構成例を示すブロック図である。
【図６】図５のカメラ動き検出部１２によるカメラ動きベクトルの求め方を説明するための図である。
【図７】図５のカメラ動き検出部１２の処理（カメラ動き検出処理）を説明するためのフローチャートである。
【図８】図７のステップＳ３における処理（注目フレームの重心算出処理）の詳細の第１の例を説明するためのフローチャートである。
【図９】レベルテーブルを示す図である。
【図１０】図７のステップＳ４における処理（動き検出範囲の重心算出処理）の詳細を説明するためのフローチャートである。
【図１１】図７のステップＳ３における処理の詳細の第２の例を説明するためのフローチャートである。
【図１２】クラステーブルを示す図である。
【図１３】図７のステップＳ３における処理の詳細の第３の例を説明するためのフローチャートである。
【図１４】エッジ画素を説明するための図である。
【図１５】図５の動きなし判定部２５の処理（動きなし判定処理）の詳細を説明するためのフローチャートである。
【図１６】図２の背景抽出部１４の構成例を示すブロック図である。
【図１７】図１６の存在範囲検出部３１の処理を説明するための図である。
【図１８】図１６の読み出し部３２の処理を説明するための図である。
【図１９】度数テーブルを示す図である。
【図２０】図１６の背景抽出部１４の処理（背景抽出処理）を説明するためのフローチャートである。
【図２１】図２０のステップＳ１２４の処理（背景画素抽出処理）の詳細を説明するためのフローチャートである。
【図２２】図２０のステップＳ１２５の処理（背景拡張処理）の詳細を説明するためのフローチャートである。
【図２３】図２２の背景拡張処理を説明するための図である。
【図２４】図２の前景符号化部１６の構成例を示すブロック図である。
【図２５】図２４の前景蓄積画像構成部４３の処理を説明するための図である。
【図２６】図２４の学習部４５の構成例を示すブロック図である。
【図２７】図２４の適応処理部４７の構成例を示すブロック図である。
【図２８】図２４の前景符号化部１６の処理（前景符号化処理）の詳細を説明するためのフローチャートである。
【図２９】予測タップが、誤差画像を用いて構成される様子を示す図である。
【図３０】予測タップが、２枚の誤差画像を用いて構成される様子を示す図である。
【図３１】図１のデコーダ２の構成例を示すブロック図である。
【図３２】図３１のデコーダ２の処理（復号処理）を説明するためのフローチャートである。
【図３３】本発明を適用した媒体を説明するための図である。
【図３４】図３３のコンピュータ１０１の構成例を示すブロック図である。
【符号の説明】
１ エンコーダ， ２ デコーダ， ３ 伝送媒体， ４ 記録媒体， １１蓄積部， １２ カメラ動き検出部， １３ カメラ動きベクトル記憶部， １４ 背景抽出部， １５ 背景メモリ， １６ 前景符号化部， １７ ＭＵＸ， ２１ 重心算出部， ２２ ベクトル検出部， ２３ 書き込み制御部，２４ 蓄積画像メモリ， ２５ 動きなし判定部， ３１ 存在範囲検出部，３２ 読み出し部， ３３ 度数カウント部， ３４ 度数テーブル記憶部，３５ 書き込み部， ３６ 背景フラグメモリ， ４１ 前景抽出部， ４２前景記憶部， ４３ 前景蓄積画像構成部， ４４ 前景蓄積画像記憶部， ４５ 学習部， ４６ 予測係数記憶部， ４７ 適応処理部， ４８ 誤差計算部， ４９ 誤差画像記憶部， ５０ 誤差判定部， ５１ ＭＵＸ， ６１予測タップ構成部， ６２ 正規方程式構成部， ６３ 予測係数算出部， ７１ 予測タップ構成部， ７２ 予測演算部， ８１ ＤＭＵＸ， ８２ 予測係数記憶部， ８３ 適応処理部， ８４ 前景記憶部， ８５ 合成部， ８６ 画像記憶部， ８７ 背景メモリ， ８８ カメラ動きベクトル記憶部，１０１ コンピュータ， １０２ ハードディスク， １０３ 半導体メモリ， １１１ フロッピーディスク， １１２ CD-ROM， １１３ MOディスク，１１４ DVD， １１５ 磁気ディスク， １１６ 半導体メモリ， １２１ダウンロードサイト， １２２ 衛星， １３１ ネットワーク， １４１ バス， １４２ CPU， １４３ ROM， １４４ RAM， １４５ 入出力インタフェース， １４６ 表示部， １４７ 入力部， １４８ 通信部， １４９ ドライブ
【発明の属する技術分野】
本発明は、動き検出装置および動き検出方法、並びに記録媒体に関し、特に、例えば、ビデオカメラ等の撮像装置で撮像された画像から、そのビデオカメラの動き（以下、適宜、カメラ動きという）を、簡易に検出することができるようにする動き検出装置および動き検出方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
カメラ動きを検出する方法としては、例えば、いわゆるマクロブロックの動きベクトルを検出するのと同様に、フレーム全体を１つのブロックとみなして、ブロックマッチングを行う方法が考えられる。
【０００３】
【発明が解決しようとする課題】
しかしながら、フレーム全体を対象にブロックマッチングを行う場合には、カメラ動きを検出しようとしているフレームの空間的な位置をずらしながら、その１フレーム前の画像の画素との絶対値差分の、１フレームについての総和等を求める必要があるため、演算量が大であり、面倒である。
【０００４】
本発明は、このような状況に鑑みてなされたものであり、カメラ動きを、簡易に求めることができるようにするものである。
【０００５】
【課題を解決するための手段】
本発明の一側面の動き検出装置は、撮像装置によって撮像された画像から、前記撮像装置の撮像方向の動きを検出する動き検出装置であって、前記撮像装置が出力する各画面の画像が、上書きの形で書き込まれる蓄積画像記憶手段と、前記蓄積画像記憶手段に記憶された画像である蓄積画像の中の、注目画面の前の画面の画像を包含する範囲を、前記注目画面についての前記動きを検出するのに用いる検出範囲として設定する検出範囲設定手段と、前記注目画面の画像の各画素を、その画素の画素値を表す値、又は、その周辺にある画素の画素値のパターンを表す値によって分類し、各分類に属する画素の位置の重心の重心を、前記注目画面の重心として算出するとともに、前記検出範囲の画像の各画素を、その画素の画素値を表す値、又は、その周辺の画素の画素値のパターンを表す値によって分類し、各分類に属する画素の位置の重心の重心を、前記検出範囲の重心として算出する重心算出手段と、前記検出範囲の重心と、前記注目画面の重心に基づいて、前記前の画面の所定の点から前記検出範囲の重心までのベクトルと、前記注目画面の所定の点から前記注目画面の重心までのベクトルとの差分だけ、前記前の画面の画像を撮像したときの前記撮像装置の撮像方向の動きを表す、前記前の画面の動きベクトルを補正することにより、前記注目画面の動きベクトルを求める動きベクトル算出手段と、前記注目画面の動きベクトルによって、前記蓄積画像記憶手段の書き込みアドレスを制御し、前記注目画面の画像を、前記蓄積画像記憶手段に書き込む書き込み手段とを含み、前記書き込みアドレスの制御により、前記蓄積画像記憶手段には、前記注目画面の動きベクトルによって示される点に、前記注目画面の所定の点が位置するように、前記注目画面の画像が書き込まれる動き検出装置である。
【０００９】
本発明の一側面の動き検出方法は、撮像装置によって撮像された画像から、前記撮像装置の撮像方向の動きを検出する動き検出方法であって、前記撮像装置が出力する各画面の画像が、上書きの形で書き込まれる蓄積画像記憶手段に記憶された画像である蓄積画像の中の、注目画面の前の画面の画像を包含する範囲を、前記注目画面についての前記動きを検出するのに用いる検出範囲として設定する検出範囲設定ステップと、前記注目画面の画像の各画素を、その画素の画素値を表す値、又は、その周辺にある画素の画素値のパターンを表す値によって分類し、各分類に属する画素の位置の重心の重心を、前記注目画面の重心として算出するとともに、前記検出範囲の画像の各画素を、その画素の画素値を表す値、又は、その周辺の画素の画素値のパターンを表す値によって分類し、各分類に属する画素の位置の重心の重心を、前記検出範囲の重心として算出する重心算出ステップと、前記検出範囲の重心と、前記注目画面の重心に基づいて、前記前の画面の所定の点から前記検出範囲の重心までのベクトルと、前記注目画面の所定の点から前記注目画面の重心までのベクトルとの差分だけ、前記前の画面の画像を撮像したときの前記撮像装置の撮像方向の動きを表す、前記前の画面の動きベクトルを補正することにより、前記注目画面の動きベクトルを求める動きベクトル算出ステップと、前記注目画面の動きベクトルによって、前記蓄積画像記憶手段の書き込みアドレスを制御し、前記注目画面の画像を、前記蓄積画像記憶手段に書き込む書き込みステップとを含み、前記書き込みアドレスの制御により、前記蓄積画像記憶手段には、前記注目画面の動きベクトルによって示される点に、前記注目画面の所定の点が位置するように、前記注目画面の画像が書き込まれる動き検出方法である。
【００１０】
本発明の一側面の記録媒体は、撮像装置によって撮像された画像から、前記撮像装置の撮像方向の動きを検出する動き検出装置として、コンピュータを機能させるプログラムが記録された記録媒体であって、前記撮像装置が出力する各画面の画像が、上書きの形で書き込まれる蓄積画像記憶手段に記憶された画像である蓄積画像の中の、注目画面の前の画面の画像を包含する範囲を、前記注目画面についての前記動きを検出するのに用いる検出範囲として設定する検出範囲設定手段と、前記注目画面の画像の各画素を、その画素の画素値を表す値、又は、その周辺にある画素の画素値のパターンを表す値によって分類し、各分類に属する画素の位置の重心の重心を、前記注目画面の重心として算出するとともに、前記検出範囲の画像の各画素を、その画素の画素値を表す値、又は、その周辺の画素の画素値のパターンを表す値によって分類し、各分類に属する画素の位置の重心の重心を、前記検出範囲の重心として算出する重心算出手段と、前記検出範囲の重心と、前記注目画面の重心に基づいて、前記前の画面の所定の点から前記検出範囲の重心までのベクトルと、前記注目画面の所定の点から前記注目画面の重心までのベクトルとの差分だけ、前記前の画面の画像を撮像したときの前記撮像装置の撮像方向の動きを表す、前記前の画面の動きベクトルを補正することにより、前記注目画面の動きベクトルを求める動きベクトル算出手段と、前記注目画面の動きベクトルによって、前記蓄積画像記憶手段の書き込みアドレスを制御し、前記注目画面の画像を、前記蓄積画像記憶手段に書き込む書き込み手段として、コンピュータを機能させるためのプログラムであり、前記書き込みアドレスの制御により、前記蓄積画像記憶手段には、前記注目画面の動きベクトルによって示される点に、前記注目画面の所定の点が位置するように、前記注目画面の画像が書き込まれるプログラムが記録された記録媒体である。
【００１１】
本発明の一側面においては、前記撮像装置が出力する各画面の画像が、上書きの形で書き込まれる蓄積画像記憶手段に記憶された画像である蓄積画像の中の、注目画面の前の画面の画像を包含する範囲が、前記注目画面についての前記動きを検出するのに用いる検出範囲として設定される。さらに、前記注目画面の画像の各画素が、その画素の画素値を表す値、又は、その周辺にある画素の画素値のパターンを表す値によって分類され、各分類に属する画素の位置の重心の重心が、前記注目画面の重心として算出されるとともに、前記検出範囲の画像の各画素が、その画素の画素値を表す値、又は、その周辺の画素の画素値のパターンを表す値によって分類され、各分類に属する画素の位置の重心の重心が、前記検出範囲の重心として算出される。また、前記検出範囲の重心と、前記注目画面の重心に基づいて、前記前の画面の所定の点から前記検出範囲の重心までのベクトルと、前記注目画面の所定の点から前記注目画面の重心までのベクトルとの差分だけ、前記前の画面の画像を撮像したときの前記撮像装置の撮像方向の動きを表す、前記前の画面の動きベクトルを補正することにより、前記注目画面の動きベクトルが求められる。そして、前記注目画面の動きベクトルによって、前記蓄積画像記憶手段の書き込みアドレスが制御され、前記注目画面の画像が、前記蓄積画像記憶手段に書き込まれる。前記書き込みアドレスの制御により、前記蓄積画像記憶手段には、前記注目画面の動きベクトルによって示される点に、前記注目画面の所定の点が位置するように、前記注目画面の画像が書き込まれる。
【００１２】
【発明の実施の形態】
図１は、本発明を適用した画像伝送装置の一実施の形態の構成例を示している。
【００１３】
エンコーダ１には、ビデオカメラ等で撮影された、符号化の対象となる画像（ここでは、動画像とする）としてのディジタル画像データが供給されるようになっており、そこでは、その画像が符号化され、その結果得られる符号化データが出力される。この符号化データは、例えば、衛星回線や、地上波、ＣＡＴＶ(Cable Television)網、インターネット、ＩＳＤＮ(Integrated Service Digital Network)等の伝送媒体３を介して伝送され、あるいは、光ディスクや、光磁気ディスク、磁気ディスク、磁気テープ、相変化ディスク等の記録媒体４に記録される。
【００１４】
デコーダ２には、伝送媒体３を介して伝送されてくる符号化データ、あるいは記録媒体４から再生される符号化データが供給されるようになっており、デコーダ２では、そこに供給される符号化データが復号され、その結果得られる復号画像が、例えば、図示せぬモニタ等に供給されて表示される。
【００１５】
以上のような画像伝送装置は、例えば、離れた位置において画像の送受信を行う装置や、画像の記録再生を行う装置等に適用することができる。
【００１６】
次に、図２は、図１のエンコーダ１の構成例を示している。
【００１７】
蓄積部１１は、例えば、半導体メモリや磁気ディスク等で構成され、エンコーダ１に供給される画像データを一時記憶する。ここで、蓄積部１１には、例えば、あるシーンチェンジから次のシーンチェンジまで等の一連の画像のフレーム単位で、画像データが入力されて記憶されるようになっている。なお、ここでは、例えば、図３に示すように、第１フレーム乃至第ＮフレームでなるＮフレームの画像データが、一連の画像として、蓄積部１１に記憶されるものとする。
【００１８】
蓄積部１１に、一連の画像としてのＮフレームの画像が記憶されると、カメラ動き検出部１２は、そのＮフレームの画像を蓄積部１１から読み出し、各フレームにおけるカメラ動きの方向と大きさを表すカメラ動きベクトルを検出する。
【００１９】
即ち、カメラ動き検出部１２は、例えば、図４（Ａ）に示すように、第１フレームの左上の点を原点とするとともに、その左から右方向、または上から下方向を、それぞれｘ軸またはｙ軸とする座標系（以下、適宜、基準座標系という）において、第１フレームのカメラ動きベクトルｖ1を０（＝（０，０））に設定する。そして、カメラ動き検出部１２は、第２フレーム乃至第Ｎフレームについて、各フレームの背景の位置合わせを行ったときに、第ｎフレームの左上の点が位置する基準座表系の座標（ｘ，ｙ）を、その第ｎフレームのカメラ動きベクトルｖnとして求める。
【００２０】
具体的には、カメラ動き検出部１２は、第１フレームのカメラ動きベクトルｖ1を０に設定した後、図４（Ｂ）に示すように、基準座標系において、第１フレームと背景どうしが一致するような第２フレームの位置を求め、その位置における第２フレームの左上の点の座標を、そのカメラ動きベクトルｖ2として求める。さらに、カメラ動き検出部１２は、図４（Ｃ）に示すように、基準座標系において、背景の位置合わせを行った第１フレームおよび第２フレームと背景どうしが一致するような第３フレームの位置を求め、その位置における第３フレームの左上の点の座標を、そのカメラ動きベクトルｖ3として求める。
【００２１】
以下、同様にして、カメラ動き検出部１２は、第４フレーム乃至第Ｎフレームのカメラ動きベクトルｖ4乃至ｖNも求めていく。
【００２２】
なお、ここでは、説明を簡単にするために、カメラ動きとしては、水平および垂直方向の動きのみを考え、回転は考えないものとする。但し、本発明は、カメラ動きに回転がある場合でも適用可能である。
【００２３】
以上のようにして、カメラ動き検出部１２で検出された、一連の画像としての第１フレーム乃至第Ｎフレームのカメラ動きベクトルｖ1乃至ｖNは、カメラ動きベクトル記憶部１３に供給されて記憶される。
【００２４】
カメラ動きベクトル記憶部１３において、カメラ動きベクトルｖ1乃至ｖNが記憶されると、背景抽出部１４は、カメラ動きベクトル記憶部１３から、カメラ動きベクトルｖ1乃至ｖNを読み出すとともに、蓄積部１１から第１フレーム乃至第Ｎフレームの画像データを読み出し、カメラ動きベクトルｖ1乃至ｖNに基づいて、第１フレーム乃至第Ｎフレームの背景の位置合わせを行うことで、その第１フレーム乃至第Ｎフレーム全体に亘る背景（この背景は、例えば、一連の画像が、ビデオカメラをパンニングまたはチルティングして撮影されたものであれば、横長または縦長の画像となる）（以下、適宜、全体背景という）を抽出する。背景抽出部１４で抽出された全体背景は、背景メモリ１５に供給されて記憶される。
【００２５】
背景メモリ１５において、全体背景が記憶されると、前景符号化部１６は、その全体背景のうち、蓄積部１１に記憶された各フレームの背景を、カメラ動きベクトル記憶部１３に記憶された各フレームのカメラ動きベクトルに基づいて検出し、その検出された各フレームの背景を、各フレームの画像から減算することで、各フレームの前景を抽出する。さらに、前景符号化部１６は、各フレームの前景を符号化し、その符号化結果を、ＭＵＸ（マルチプレクサ）１７に出力する。
【００２６】
ＭＵＸ１７は、前景符号化部１６から、前景の符号化結果を受信すると、その前景の符号化結果に、カメラ動きベクトル記憶部１３に記憶されたカメラ動きベクトルと、背景メモリ１５に記憶された全体背景とを多重化し、その多重化結果を、符号化データとして出力する。
【００２７】
エンコーダ１では、以上のように、画像データが、一連の画像単位で符号化される。
【００２８】
次に、図５は、図２のカメラ動き検出部１２の構成例を示している。
【００２９】
重心算出部２１には、蓄積部１１（図２）に記憶された一連の画像が、フレーム単位で供給されるようになっており、重心算出部２１は、各フレームについて、後述するような重心を求めるようになっている。さらに、重心算出部２１は、蓄積画像メモリ２４に記憶された、後述する蓄積画像に対して、注目している注目フレームのカメラ動きベクトルを検出するのに用いる範囲（以下、適宜、動き検出範囲という）を設定し、その動き検出範囲の重心も求めるようになっている。重心算出部２１で求められる注目フレームおよび動き検出範囲の重心は、ベクトル検出部２２に供給されるようになっている。
【００３０】
ベクトル検出部２２は、重心算出部２１から供給される注目フレームおよび動き検出範囲の重心に基づいて、注目フレームのカメラ動きベクトルを検出し、カメラ動きベクトル記憶部１３（図２）に供給するとともに、書き込み制御部２３に供給するようになっている。
【００３１】
書き込み制御部２３は、ベクトル検出部２２からのカメラ動きベクトルに基づいて、蓄積画像メモリ２４が注目フレームの画像データを記憶するアドレスを制御するようになっている。蓄積画像メモリ２４は、蓄積部１１（図２）から、注目フレームの画像データを読み出し、書き込み制御部２３が指定するアドレスに記憶するようになっている。
【００３２】
次に、図６を参照して、図５のカメラ動き検出部１２において行われる、カメラ動きベクトルを検出するカメラ動き検出処理について説明する。
【００３３】
カメラ動き検出部１２が行うカメラ動き検出処理は、画像の重心が、カメラ動きによって移動することに着目し、基本的には、各フレームの重心が一致するように、各フレームの位置合わせを行い、その位置合わせを行った状態での、各フレームの左上の点が、各フレームのカメラ動きベクトルとして検出されるようになっている。
【００３４】
即ち、いま、第ｎフレームを注目フレームとすると、蓄積画像メモリ２４には、注目フレームの前のフレームまでのフレームである第１乃至第ｎ−１フレームの画像データを、その順番で、各フレームの背景の位置合わせを行って重ね合わせた状態の画像（蓄積画像）が記憶されている。
【００３５】
この場合、重心算出部２１は、図６（Ａ）に示すように、注目フレームである第ｎフレームの重心ｃnを求める。さらに、重心算出部２１は、図６（Ｂ）に示すように、蓄積画像メモリ２４に記憶された蓄積画像の中の、注目フレームの１フレーム前の第ｎ−１フレームを包含する範囲を、動き検出範囲とし、その動き検出範囲の重心ｃを求める。ここで、動き検出範囲としては、例えば、第ｎ−１フレームの上下左右の各方向に、所定の画素数だけ広い範囲が設定される。
【００３６】
注目フレームの重心ｃn、および動き検出範囲の重心ｃが求められると、ベクトル検出部２２では、図６（Ｃ）に示すように、動き検出範囲の重心ｃに、注目フレームの重心ｃnが一致した状態での、注目フレームの左上の点の位置が求められ、その位置の座標が、注目フレームである第ｎフレームのカメラ動きベクトルｖnとして出力される。
【００３７】
即ち、第ｎフレームを、注目フレームとして、そのカメラ動きベクトルｖnを求める場合には、その１フレーム前までのカメラ動きベクトルは、既に求まっている。そこで、図６（Ｃ）に示すように、動き検出範囲の重心ｃの、第ｎ−１フレームの左上の点を基準とする位置をベクトルｖ’cで表すとともに、注目フレームである第ｎフレームの重心ｃnの、その第ｎフレームの左上の点を基準とする位置をベクトルｖ’cnで表すとすると、動き検出範囲の重心ｃと、注目フレームの重心ｃnとが一致した状態での、注目フレームの左上の点の位置の、基準座標系における座標が、注目フレームの動きベクトルｖnとなる。そして、このカメラ動きベクトルｖnは、注目フレームの１フレーム前の第ｎ−１フレームの動きベクトルｖn-1に、動き検出範囲の重心ｃの位置を表すベクトルｖ’cを加算し、さらに、注目フレームの重心ｃnの位置を表すベクトルｖ’cnを減算することで求めることができる。即ち、注目フレームのカメラ動きベクトルｖnは、式ｖn＝ｖn-1＋ｖ’c−ｖ’cnを計算することで求めることができる。
【００３８】
以上のようにして、注目フレームのカメラ動きベクトルｖnが求められた後は、書き込み制御部２３において、そのカメラ動きベクトルｖnに基づいて、蓄積画像メモリ２４における注目フレームの画像データを書き込むための書き込みアドレスが制御される。即ち、これにより、蓄積画像メモリ２４では、基準座標系において、カメラ動きベクトルｖnによって示される点に、その左上の点が位置するように、注目フレームの画像データが、上書きする形で書き込まれ、その書き込みの結果得られる画像が、次の第ｎ＋１フレームを注目フレームとして、そのカメラ動きベクトルｖn+1を検出する際の蓄積画像として用いられる。
【００３９】
次に、図７のフローチャートを参照して、図５のカメラ動き検出部１２におけるカメラ動き検出処理について、さらに説明する。
【００４０】
まず最初に、蓄積部１１に記憶された一連の画像のうちの第１フレームが注目フレームとして読み出され、重心算出部２１に供給されるとともに、蓄積画像メモリ２４の記憶値がクリアされる。
【００４１】
そして、重心算出部２１では、ステップＳ１において、注目フレームが第１フレームであるかどうかが判定される。ステップＳ１において、注目フレームが第１フレームであると判定された場合、ステップＳ２に進み、ベクトル検出部２２は、そのカメラ動きベクトルｖ1として０を設定し、カメラ動きベクトル記憶部１３および書き込み制御部２３に出力して、ステップＳ６に進む。
【００４２】
ステップＳ６では、書き込み制御部２３は、ベクトル検出部２２からのカメラ動きベクトルに基づいて、蓄積画像メモリ２４における書き込みアドレスを制御し、これにより、蓄積画像メモリ２４に、注目フレームを書き込む。即ち、いまの場合、注目フレームは第１フレームであり、そのカメラ動きベクトルｖ1は０であるから、蓄積画像メモリ２４では、基準座標系における原点に、その左上の点が位置するように、第１フレームの画像データが書き込まれる。
【００４３】
その後、ステップＳ７に進み、蓄積部１１に、一連の画像を構成する次のフレームがあるかどうかが判定され、あると判定された場合、その、次のフレームが、新たに注目フレームとして読み出され、重心算出部２１に供給される。そして、ステップＳ１に戻り、以下、同様の処理が繰り返される。
【００４４】
一方、ステップＳ１において、注目フレームが第１フレームでないと判定された場合、即ち、第２フレーム乃至第Ｎフレームのうちのいずれかである場合、ステップＳ３に進み、重心算出部２１において、注目フレームの重心を求める重心算出処理が行われ、ステップＳ４に進む。ステップＳ４では、重心算出部２１において、蓄積画像メモリ２４に記憶された蓄積画像の中に、注目フレームに対する動き検出範囲が設定され、その動き検出範囲の重心を求める重心算出処理が行われ、ステップＳ５に進む。
【００４５】
ステップＳ５では、ベクトル検出部２２において、重心算出部２１で求められた注目フレームの重心と、動き検出範囲の重心とから、図６で説明したようにして、注目フレームのカメラ動きベクトルが求められ、カメラ動きベクトル記憶部１３および書き込み制御部２３に出力される。
【００４６】
そして、ステップＳ６に進み、上述したように、書き込み制御部２３において、ベクトル検出部２２からのカメラ動きベクトルに基づいて、蓄積画像メモリ２４における書き込みアドレスが制御され、これにより、蓄積画像メモリ２４に、注目フレームが書き込まれる。即ち、蓄積画像メモリ２４では、基準座標系において、注目フレームのカメラ動きベクトルによって示される点に、その左上の点が位置するように、注目フレームの画像データが書き込まれる（上書きされる）。
【００４７】
その後、ステップＳ７に進み、上述したように、蓄積部１１に、一連の画像を構成する次のフレームがあるかどうかが判定され、ないと判定された場合、即ち、一連の画像を構成する第１乃至第Ｎフレームそれぞれのカメラ動きベクトルが求められた場合、カメラ動き検出処理を終了する。
【００４８】
次に、図８のフローチャートを参照して、図７のステップＳ３において、重心算出部２１が行う処理（注目フレームの重心算出処理）について詳述する。
【００４９】
まず最初に、ステップＳ１１において、変数ＸまたはＹに対して、注目フレームの横（水平方向）の画素数、または縦（垂直方向）の画素数が、それぞれセットされ、ステップＳ１２に進む。
【００５０】
ステップＳ１２では、注目フレームの各画素のｙ座標を表す変数ｙに、初期値としての、例えば−１がセットされ、ステップＳ２２に進み、変数ｙが１だけインクリメントされる。
【００５１】
ここで、注目フレームを構成する各画素の座標は、その最も左上の画素を原点とし、左から右方向、または上から下方向に、それぞれｘ軸またはｙ軸をとって表すものとする。
【００５２】
その後、ステップＳ１４に進み、変数ｙが、注目フレームの縦の画素数Ｙ未満であるかどうかが判定される。ステップＳ１４において、変数ｙがＹ未満であると判定された場合、ステップＳ１５に進み、注目フレームの各画素のｘ座標を表す変数ｘに、初期値としての、例えば−１がセットされ、ステップＳ１６に進む。
【００５３】
ステップＳ１６では、変数ｘが１だけインクリメントされ、ステップＳ１７に進み、変数ｘが、注目フレームの横の画素数Ｘ未満であるかどうかが判定される。ステップＳ１７において、変数ｘがＸ未満でないと判定された場合、ステップＳ１３に戻り、以下、同様の処理が繰り返される。
【００５４】
また、ステップＳ１７において、変数ｘがＸ未満であると判定された場合、ステップＳ１８に進み、座標（ｘ，ｙ）にある画素ｐ（ｘ，ｙ）が注目画素とされ、その注目画素が、その画素値に基づいて、あらかじめ設定されたレベルのうちのいずれかに分類される。
【００５５】
即ち、本実施の形態では、画素値としてとり得る値の範囲が、幾つかの範囲に、あらかじめ分割されている。そして、いま、例えば、画素値としてとり得る値の範囲がＫ個の範囲に分割されており、このＫ個の範囲を、画素値の小さい範囲から順番に、レベル１，２，・・・，Ｋというものとすると、ステップＳ１８では、画素値がレベル１乃至Ｋのうちのいずれの範囲に属するかによって、注目画素が分類される。
【００５６】
さらに、ステップＳ１８では、注目画素のレベル分類結果が、レベルテーブルに登録される。
【００５７】
即ち、重心算出部２１は、その内蔵するメモリ（図示せず）に、例えば、図９に示すような、各レベルｋ（ｋ＝１，２，・・・，Ｋ）について、そのレベルｋに属する画素の度数ｆkと、レベルｋに属する画素のｘ座標の積算値Σｘkおよびｙ座標の積算値Σｙkを対応付けたレベルテーブルを記憶しており、例えば、注目画素の画素値がレベルｋに属する場合には、レベルテーブルにおけるレベルｋについての度数ｆkを１だけインクリメントするとともに、ｘ座標の積算値Σｘkまたはｙ座標の積算値Σｙkに、注目画素のｘ座標またはｙ座標をそれぞれ加算する。
【００５８】
なお、レベルテーブルは、図８のフローチャートにしたがった処理が開始されるごとに、０にクリアされるようになっている。
【００５９】
そして、ステップＳ１６に戻り、以下、同様の処理が繰り返される。
【００６０】
一方、ステップＳ１４において、変数ｙがＹ未満でないと判定された場合、即ち、注目フレームを構成する各画素を注目画素として処理を行い、注目フレームを構成するすべての画素を、レベルテーブルに登録した場合、ステップＳ１９に進み、レベルテーブルの各レベルに属する画素の重心が求められる。即ち、ステップＳ１９では、レベルテーブルの各レベルｋにおけるｘ座標の積算値Σｘkまたはｙ座標の積算値Σｙkそれぞれが、その度数ｆkで除算され、その除算値で表される座標（Σｘk／ｆk，Σｙk／ｆk）が、各レベルｋに属する画素の重心として求められる。
【００６１】
そして、ステップＳ２０に進み、レベル１乃至Ｋそれぞれに属する画素の重心の重心が、注目フレームを構成する画素全体の重心として求められ、リターンする。
【００６２】
即ち、ステップＳ２０では、レベル１乃至Ｋそれぞれに属する画素の重心について、例えば、その度数ｆ1乃至ｆKを重みとする重み付け平均値が求められ、その重み付け平均値が、注目フレームを構成する画素全体の重心として出力される。
【００６３】
次に、図１０のフローチャートを参照して、図７のステップＳ４において、重心算出部２１が行う処理（動き検出範囲の重心算出処理）について詳述する。
【００６４】
まず最初に、ステップＳ３１において、動き検出範囲が設定される。即ち、ステップＳ３１では、蓄積画像メモリ２４に記憶された蓄積画像から、注目フレームの１フレーム前のフレームが書き込まれた範囲が検出される。さらに、ステップＳ３１では、その検出された範囲が、例えば、上下左右方向に、それぞれ所定の画素数だけ拡げられ、その拡げられた範囲が、動き検出範囲として設定される。
【００６５】
そして、ステップＳ３２に進み、変数ＸまたはＹに対して、動き検出範囲の横の画素数、または縦の画素数が、それぞれセットされ、ステップＳ３３に進む。
【００６６】
その後、ステップＳ３３乃至Ｓ４１においては、図８のステップＳ１２乃至Ｓ２０における場合とそれぞれ同様の処理が行われ、これにより、動き検出範囲を構成する画素全体の重心が求められ、リターンする。
【００６７】
以上のように、カメラ動き検出部１２では、蓄積画像の中の、注目フレームの１フレーム前のフレームを含む所定の範囲を、動き検出範囲として設定し、その動き検出範囲の重心と、注目フレームの重心を算出し、それらの重心に基づいて、注目フレームのカメラ動きベクトルを求め、そのカメラ動きベクトルに基づいて、注目フレームを、蓄積画像に書き込むことを繰り返すようにしたので、いわゆるブロックマッチングを行う場合に比較して、カメラ動きベクトルを、簡易に求めることができる。
【００６８】
なお、図７の実施の形態では、ステップＳ３において、注目フレームの重心を求め、その後、ステップＳ４において、動き検出範囲の重心を求めるようにしたが、注目フレームの重心と、動き検出範囲の重心は、どちらを先に求めても良いし、また、同時に求めるようにすることも可能である。
【００６９】
次に、図８の実施の形態では、注目フレームの重心を、その注目フレームを構成する各画素を、その画素値によって、幾つかのレベルのうちのいずれかに分類（以下、適宜、レベル分類という）することで求めるようにしたが、注目フレームの重心は、その他、例えば、その注目フレームを構成する各画素を、その周辺にある幾つかの画素（自身を含めても良いし、含めなくても良い）に基づいて、幾つかのクラスのうちのいずれかに分類（以下、適宜、クラス分類という）することで行うことも可能である。
【００７０】
ここで、クラス分類について、簡単に説明する。いま、例えば、注目画素について、その上下左右にそれぞれ隣接する４画素と、注目画素自身との合計５画素で、注目画素のクラス分類に用いるタップ（以下、適宜、クラスタップという）を構成するものとする。この場合、例えば、画素値が１ビットで表現される（０または１のうちのいずれかの値となる）ものとすると、注目画素は、その注目画素について構成されるクラスタップの５画素が取り得る画素値によって、３２（＝（２1）5）のパターンに分類することができる。このようなパターン分けがクラス分類であり、いまの場合、注目画素は、３２のクラスのうちのいずれかに分類されることになる。
【００７１】
なお、一般には、画素に対して、８ビット程度が割り当てられるが、画素に８ビットが割り当てられている場合には、上述のように５画素でなるクラスタップを構成してクラス分類を行うと、そのクラス数は、（２8）5という膨大な数になる。
【００７２】
そこで、クラス分類は、注目画素について構成されるクラスタップに対して、LビットADRC(Adaptive Dynamic Range Coding)処理し、そのADRC処理後のクラスタップに基づいて行うようにすることができる。
【００７３】
ここで、LビットADRC処理においては、例えば、クラスタップを構成する画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する画素がLビットに再量子化される。即ち、クラスタップを構成する画素の画素値の中から、最小値MINが減算され、その減算値がDR/2Lで除算（量子化）される。従って、クラスタップが、LビットADRC処理された場合には、そのクラスタップを構成する各画素の画素値はLビットとされることになり、Lを、画素に割り当てられたビット数より小さい値とすることで、クラスタップをADRC処理せずにクラス分類を行う場合に比較して、クラス数を減少させることができる。
【００７４】
なお、フレームの上端、下端、左端、または右端の画素が注目画素となった場合には、その上、下、左、または右に隣接する画素は存在しないため、この場合には、例えば、フレームの上側、下側、左側、または右側に、同一フレームが折り返して存在するものと仮定して、クラスタップを構成するものとする。
【００７５】
次に、図１１のフローチャートを参照して、注目フレームを構成する各画素を、その画素についてのクラスタップに基づいてクラス分類することにより、注目フレームの重心を求める場合の、重心算出部２１で行われる処理（注目フレームの重心算出処理）について説明する。
【００７６】
この場合、ステップＳ５１乃至Ｓ５７において、図８のステップＳ１１乃至Ｓ１７における場合とそれぞれ同様の処理が行われる。そして、図８のステップＳ１８に対応するステップＳ５８では、座標（ｘ，ｙ）にある画素ｐ（ｘ，ｙ）が注目画素とされ、その注目画素についてクラスタップが構成される。そして、注目画素が、そのクラスタップに基づいて、例えば、Ｋ個のクラスのうちのいずれかにクラス分類され、そのクラス分類結果が、クラステーブルに登録される。
【００７７】
即ち、図１１の実施の形態においては、重心算出部２１は、その内蔵するメモリに、例えば、図１２に示すような、各クラスｋ（ｋ＝１，２，・・・，Ｋ）について、そのクラスｋに属する画素の度数ｆkと、クラスｋに属する画素のｘ座標の積算値Σｘkおよびｙ座標の積算値Σｙkを対応付けたクラステーブルを記憶しており、例えば、注目画素がクラスｋに属する場合には、クラステーブルにおけるクラスｋについての度数ｆkを１だけインクリメントするとともに、ｘ座標の積算値Σｘkまたはｙ座標の積算値Σｙkに、注目画素のｘ座標またはｙ座標をそれぞれ加算する。
【００７８】
なお、クラステーブルは、レベルテーブルと同様に、図１１のフローチャートにしたがった処理が開始されるごとに、０にクリアされるようになっている。
【００７９】
ステップＳ５８の処理後は、ステップＳ５６に戻り、以下、同様の処理が繰り返される。
【００８０】
一方、ステップＳ５４において、変数ｙがＹ未満でないと判定された場合、ステップＳ５９に進み、クラステーブルの各クラスに属する画素の重心が求められる。即ち、ステップＳ５９では、クラステーブルの各クラスｋにおけるｘ座標の積算値Σｘkまたはｙ座標の積算値Σｙkそれぞれが、その度数ｆkで除算され、その除算値で表される座標（Σｘk／ｆk，Σｙk／ｆk）が、各クラスｋに属する画素の重心として求められる。
【００８１】
そして、ステップＳ６０に進み、クラス１乃至Ｋそれぞれに属する画素の重心の重心が、注目フレームを構成する画素全体の重心として求められ、リターンする。
【００８２】
即ち、ステップＳ６０では、クラス１乃至Ｋそれぞれに属する画素の重心について、例えば、その度数ｆ1乃至ｆKを重みとする重み付け平均値が求められ、その重み付け平均値が、注目フレームを構成する画素全体の重心として出力される。
【００８３】
ここで、注目フレームを構成する各画素を、その画素についてのクラスタップに基づいてクラス分類することにより、注目フレームの重心を求める場合には、動き検出範囲の重心も、その動き検出範囲を構成する各画素についてクラスタップを構成し、そのクラスタップに基づいてクラス分類を行うことにより求めるようにするのが望ましい。
【００８４】
なお、動き検出範囲の重心を、クラス分類を行うことにより求める場合には、図１１のフローチャートに示した処理において、そのステップＳ５１の処理に替えて、図１０のフローチャートに示したステップＳ３１およびＳ３２の処理を行う他は、図１１に示した場合と同様であるため、その説明は省略する。
【００８５】
次に、図１１の実施の形態では、注目フレームを構成する各画素を、その画素についてのクラスタップに基づいてクラス分類し、その結果得られるすべてのクラスに属する画素の重心を用いて、注目フレームの重心を求めるようにしたが、注目フレームの重心は、その他、例えば、クラス分類の結果得られる特定のクラスに属する画素の重心のみを用いて求めるようにすることが可能である。
【００８６】
即ち、注目フレームの重心は、例えば、エッジになっている部分の画素（以下、適宜、エッジ画素という）が属するクラスを、特定のクラスとして、その特定のクラス（以下、適宜、エッジクラスという）に属する画素（エッジ画素）の重心のみを用いて求めるようにすることが可能である。
【００８７】
そこで、図１３のフローチャートを参照して、注目フレームを構成する各画素のクラス分類結果のうち、エッジクラスに属するエッジ画素の重心のみを用いて求める場合に、重心算出部２１で行われる処理（注目フレームの重心算出処理）について説明する。
【００８８】
この場合も、ステップＳ７１乃至Ｓ７７において、図８のステップＳ１１乃至Ｓ１７における場合とそれぞれ同様の処理が行われる。そして、ステップＳ７７において、変数ｘがＸ未満であると判定された場合は、ステップＳ７８に進み、座標（ｘ，ｙ）にある画素ｐ（ｘ，ｙ）が注目画素とされ、図１１のステップＳ５８における場合と同様に、その注目画素がクラス分類される。
【００８９】
その後、ステップＳ７９に進み、ステップＳ７８におけるクラス分類の結果得られるクラスがエッジクラスかどうか、即ち、注目画素がエッジ画素かどうかが判定される。
【００９０】
ここで、例えば、上述したような５画素で構成されるクラスタップを、２ビットADRC処理してからクラス分類を行う場合には、注目画素は、１０２４（＝（２2）5）クラスのうちのいずれかに分類される。ところで、クラスタップを、２ビットADRC処理した場合には、そのクラスタップを構成する画素の画素値は、００Ｂ，０１Ｂ，１０Ｂ，１１Ｂのうちのいずれかの値となる（Ｂは、その前に配置された値が２進数であることを表す）。従って、クラスタップが、上述したように、注目画素と、その注目画素の上下左右にそれぞれ隣接する４画素との合計５画素で構成される場合においては、注目画素の画素値が、最小値である００Ｂであるとともに、その上下左右にそれぞれ隣接する４画素の画素値が００Ｂ以外であるときと、注目画素の画素値が、最大値である１１Ｂであるとともに、その上下左右にそれぞれ隣接する４画素の画素値が１１Ｂ以外であるときに、注目画素がエッジ画素になっていると考えられる。
【００９１】
即ち、図１４（Ａ）に示すように、注目画素の画素値が００Ｂであり、かつ、その上下左右にそれぞれ隣接する４画素の画素値が、０１Ｂ，１０Ｂ，１１Ｂのうちのいずれかである場合は、画素値が、注目画素において、いわば谷（凹）になっている。また、図１４（Ｂ）に示すように、注目画素の画素値が１１Ｂであり、かつ、その上下左右にそれぞれ隣接する４画素の画素値が、００Ｂ，０１Ｂ，１０Ｂのうちのいずれかである場合は、画素値が、注目画素において、いわば山（凸）になっている。従って、図１４に示した場合においては、注目画素がエッジ画素になっている。
【００９２】
なお、注目画素の画素値が００Ｂであり、かつ、その上下左右にそれぞれ隣接する４画素の画素値が、０１Ｂ，１０Ｂ，１１Ｂのうちのいずれかである場合は、８１（＝３×３×３×３）通りあり、注目画素の画素値が１１Ｂであり、かつ、その上下左右にそれぞれ隣接する４画素の画素値が、００Ｂ，０１Ｂ，１０Ｂのうちのいずれかである場合も同様に、８１通りある。従って、エッジ画素が属するクラス（エッジクラス）は、１６２（＝８１＋８１）通りある。
【００９３】
図１３に戻り、ステップＳ７９において、注目画素がエッジ画素でないと判定された場合、即ち、注目画素のクラスが、上述の１６２通りあるエッジクラスのうちのいずれでもない場合、ステップＳ７６に戻る。
【００９４】
また、ステップＳ７９において、注目画素がエッジ画素であると判定された場合、即ち、注目画素のクラスが、上述の１６２通りあるエッジクラスのうちのいずれかである場合、ステップＳ８０に進み、注目画素のクラス分類結果が、クラステーブルに登録される。即ち、ステップＳ８０では、図１２に示したようなクラステーブルの、注目画素のクラスｋについての度数ｆkが１だけインクリメントされるとともに、ｘ座標の積算値Σｘkまたはｙ座標の積算値Σｙkに、注目画素のｘ座標またはｙ座標がそれぞれ加算される。
【００９５】
なお、図１３の実施の形態では、エッジクラスに属する注目画素についてのみ、クラステーブルへの登録が行われるから、例えば、上述したように、５画素で構成されるクラスタップを２ビットADRC処理した後にクラス分類を行い、エッジクラスのみをクラステーブルに登録する場合には、クラステーブルのクラス数Ｋは、上述したエッジクラスの数である１６２となる。
【００９６】
一方、５画素で構成されるクラスタップを２ビットADRC処理した後にクラス分類を行い、すべてのクラスをクラステーブルに登録する場合には、注目画素は、上述したように、１０２４クラスのうちのいずれかに分類されるから、クラステーブルのクラス数Ｋは、１０２４となる。
【００９７】
従って、図１３の実施の形態においては、図１１の実施の形態における場合に比較して、クラステーブルの大きさ（容量）を小さくすることができる。
【００９８】
ステップＳ８０の処理後は、ステップＳ７６に戻り、以下、同様の処理が繰り返される。
【００９９】
一方、ステップＳ７４において、変数ｙがＹ未満でないと判定された場合、ステップＳ８１に進み、クラステーブルの各エッジクラスに属する画素の重心が求められる。即ち、ステップＳ８１では、クラステーブルの各エッジクラスｋにおけるｘ座標の積算値Σｘkまたはｙ座標の積算値Σｙkそれぞれが、その度数ｆkで除算され、その除算値で表される座標（Σｘk／ｆk，Σｙk／ｆk）が、各エッジクラスｋに属する画素の重心として求められる。
【０１００】
そして、ステップＳ８２に進み、エッジクラス１乃至Ｋそれぞれに属する画素の重心の重心が、注目フレームを構成する画素全体の重心として求められ、リターンする。
【０１０１】
即ち、ステップＳ８２では、エッジクラス１乃至Ｋそれぞれに属する画素の重心について、例えば、その度数ｆ1乃至ｆKを重みとする重み付け平均値が求められ、その重み付け平均値が、注目フレームを構成する画素全体の重心として出力される。
【０１０２】
ここで、注目フレームの重心を、注目フレームを構成する画素のうち、エッジクラスに属するもののみを用いて求める場合には、動き検出範囲の重心も、その動き検出範囲を構成する画素のうち、エッジクラスに属するもののみを用いて求めるようにするのが望ましい。
【０１０３】
なお、動き検出範囲の重心を、エッジクラスに属する画素のみを用いて求める場合には、図１３のフローチャートに示した処理において、そのステップＳ７１の処理に替えて、図１０のフローチャートに示したステップＳ３１およびＳ３２の処理を行う他は、図１３に示した場合と同様であるため、その説明は省略する。
【０１０４】
次に、注目フレームが、その１フレーム前のフレームに対して、カメラ動きのないものである場合には、注目フレームのカメラ動きベクトルは、その１フレーム前のフレームのカメラ動きベクトルに等しくなるべきである。しかしながら、上述したようにして、フレームのカメラ動きベクトルを求める場合には、前景の動きが影響することにより、注目フレームが、カメラ動きのないものであっても、そのカメラ動きベクトルとして、その１フレーム前のフレームのカメラ動きベクトルと異なるものが求まる可能性がある。
【０１０５】
そこで、図５に示したカメラ動き検出部１２には、同図に点線で示すように、注目フレームが、その１フレーム前のフレームに対して、カメラ動きのないものであるかどうかを判定する動きなし判定部２５を設け、さらに、ベクトル検出部２２において、注目フレームがカメラ動きのないものである場合には、その１フレーム前のフレームのカメラ動きベクトルを、注目フレームのカメラ動きベクトルとして出力し、注目フレームがカメラ動きのあるものである場合には、上述したようにして、注目フレームおよび動き検出範囲の重心から、注目フレームのカメラ動きベクトルを求めるようにすることができる。
【０１０６】
このようにすることで、注目フレームがカメラ動きのないものである場合には、注目フレームのカメラ動きベクトルを、その１フレーム前のフレームのカメラ動きベクトルと等しくすることができる。
【０１０７】
そこで、図１５のフローチャートを参照して、動きなし判定部２５において行われる、注目フレームがカメラ動きのないものであるかどうかを判定する処理（動きなし判定処理）について説明する。
【０１０８】
動きなし判定処理では、ステップＳ９１乃至Ｓ９９において、図１３のステップＳ７１乃至Ｓ７９における場合とそれぞれ同様の処理が行われる。
【０１０９】
そして、ステップＳ９９において、注目画素がエッジ画素であると判定された場合、ステップＳ１００に進み、注目画素の画素値ｐ（ｘ，ｙ）が、その１フレーム前の同一位置にある画素の画素値ｐ’（ｘ，ｙ）に等しいかどうかが判定される。
【０１１０】
ここで、ステップＳ１００における、ｐ（ｘ，ｙ）がｐ’（ｘ，ｙ）に等しいとは、ｐ（ｘ，ｙ）がｐ’（ｘ，ｙ）にほぼ等しい場合、即ち、｜ｐ（ｘ，ｙ）−ｐ’（ｘ，ｙ）｜が、所定の微小値以内である場合を含むものとする。
【０１１１】
ステップＳ１００において、注目画素の画素値ｐ（ｘ，ｙ）が、その１フレーム前の同一位置にある画素の画素値ｐ’（ｘ，ｙ）に等しくないと判定された場合、ステップＳ１０１をスキップして、ステップＳ９６に戻る。
【０１１２】
また、ステップＳ１００において、注目画素の画素値ｐ（ｘ，ｙ）が、その１フレーム前の同一位置にある画素の画素値ｐ’（ｘ，ｙ）に等しいと判定された場合、即ち、エッジ画素である注目画素の画素値ｐ（ｘ，ｙ）が、空間的に同一位置にある１フレーム前の画素の画素値ｐ’（ｘ，ｙ）に等しい場合、ステップＳ１０１に進み、変数ｃが１だけインクリメントされ、ステップＳ９６に戻る。
【０１１３】
ここで、変数ｃは、図１５の動きなし判定処理が開始される前に０にクリアされるようになっている。
【０１１４】
その後、ステップＳ９４において、変数ｙがＹ未満でないと判定された場合、即ち、注目フレームを構成する画素すべてを注目画素として処理を行った場合、ステップＳ１０２に進み、変数ｃが、所定の閾値ｔｈ以上であるか否かが判定される。ステップＳ１０２において、変数ｃが、所定の閾値ｔｈ以上であると判定された場合、即ち、注目フレームのエッジ画素の中に、１フレーム前の同一位置にある画素と同一（ほぼ同一）の画素値となっている画素が、閾値ｔｈ以上存在する場合、ステップＳ１０３に進み、注目フレームが、その１フレーム前のフレームに対して、カメラ動きのないものであるかどうかの判定結果として、動きがない旨のメッセージが、ベクトル検出部２２に出力され、動きなし判定処理を終了する。
【０１１５】
また、ステップＳ１０２において、変数ｃが、所定の閾値ｔｈ以上でないと判定された場合、即ち、注目フレームのエッジ画素の中に、１フレーム前の同一位置にある画素と同一（ほぼ同一）の画素値となっている画素が、閾値ｔｈ以上存在しない場合、ステップＳ１０４に進み、注目フレームが、その１フレーム前のフレームに対して、カメラ動きのないものであるかどうかの判定結果として、動きがある旨のメッセージが、ベクトル検出部２２に出力され、動きなし判定処理を終了する。
【０１１６】
なお、図１５の動きなし判定処理は、重心算出部２１における、注目フレームおよび動き検出範囲の重心を算出する処理に先だって行われ、さらに、第２フレーム以降のフレームを対象に行われる。
【０１１７】
次に、図１６は、図２の背景抽出部１４の構成例を示している。
【０１１８】
存在範囲検出部３１には、カメラ動きベクトル記憶部１３（図２）に記憶された一連の画像としての第１フレーム乃至第Ｎフレームのカメラ動きベクトルｖ1乃至ｖNが供給されるようになっており、存在範囲検出部３１は、第１乃至第Ｎフレームの背景の位置合わせを行った状態で、基準座標系において、その第１乃至第Ｎフレームの画像が存在する最小の矩形の領域（存在範囲）を検出するようになっている。
【０１１９】
即ち、存在範囲検出部３１は、第１フレーム乃至第Ｎフレームのカメラ動きベクトルｖ1乃至ｖNに基づき、第１フレーム乃至第Ｎフレームについて、その背景の位置合わせを行った状態を想定し、その位置合わせを行った状態で、第１乃至第Ｎフレームの画素が存在する最小の矩形の領域である存在範囲を検出する。さらに、存在範囲検出部３１は、その存在範囲の、基準座標系における、例えば、最も左上の頂点の座標（Ｘmin，Ｙmin）と、最も右下の頂点の座標（Ｘmax，Ｙmax）を求め、読み出し部３２および書き込み部３５に供給する。
【０１２０】
なお、第１フレーム乃至第Ｎフレームの背景の位置合わせを行った状態は、図１７に示すように、基準座標系において、第１フレーム乃至第Ｎフレームを、それぞれのカメラ動きベクトルｖ1乃至ｖNによって示される座標に、フレームの左上の頂点が位置するように配置することで想定することができる。
【０１２１】
読み出し部３２は、蓄積部１１（図２）に記憶されている第１フレーム乃至第Ｎフレームを構成する画素のうち、その第１フレーム乃至第Ｎフレームの背景の位置合わせを行った状態で空間的に同一位置にある画素を検出して読み出し、度数カウント部３３および書き込み部３５に供給するようになっている。
【０１２２】
即ち、読み出し部３２には、存在範囲検出部２１から座標（Ｘmin，Ｙmin）および（Ｘmax，Ｙmax）が供給される他、カメラ動きベクトル記憶部１３（図２）に記憶されたカメラ動きベクトルｖ1乃至ｖNも供給されるようになっており、読み出し部３２は、まず、存在範囲検出部３１と同様に、第１フレーム乃至第Ｎフレームのカメラ動きベクトルｖ1乃至ｖNに基づき、第１フレーム乃至第Ｎフレームについて、その背景の位置合わせを行った状態を想定する。さらに、読み出し部３２は、基準座標系の、存在範囲検出部２１から供給される座標（Ｘmin，Ｙmin）および（Ｘmax，Ｙmax）によって規定される存在範囲内の座標を順次スキャンしていき、図１８に示すように、各座標（ｘ，ｙ）における、背景の位置合わせを行った状態の第１フレーム乃至第Ｎフレームの画素を検出して読み出す。
【０１２３】
なお、第１乃至第Ｎフレームの背景の位置合わせを行った状態において、基準座標系の座標（ｘ，ｙ）に位置する、第ｎフレームの画素の検出は、その第ｎフレームの左上の画素を原点とした、いわばローカルな座標系（以下、適宜、ローカル座標系という）を考えた場合には、座標（ｘ，ｙ）から、カメラ動きベクトルｖnを減算した座標にある画素を検出することによって行うことができる。
【０１２４】
度数カウント部３３は、読み出し部３２から供給される、第１乃至第Ｎフレームを構成する画素のうち、その背景の位置合わせを行った状態で空間的に同一位置にある画素（以下、適宜、位置合わせ状態での同一位置画素という）の集合ごとに、例えば、上述した画素値の各レベルに属する画素の度数を計数し、その計数結果に基づいて、その後段の度数テーブル記憶部３４に記憶された度数テーブルへの登録を行うようになっている。
【０１２５】
度数テーブル記憶部３４は、例えば、図１９に示すような度数テーブルを記憶するようになっている。即ち、度数テーブル記憶部３４は、存在範囲内の各座標（ｘ，ｙ）について、位置合わせ状態での同一位置画素の画素値の各レベルと、そのレベルに属する画素の度数の、位置合わせ状態での同一位置画素の画素数に対する割合とを対応付けて登録するための度数テーブルを記憶している。
【０１２６】
ここで、存在範囲内のある位置（座標）における位置合わせ状態での同一位置画素の集合において、度数のｍ番目に大きい画素値のレベルを、第ｍ度数レベルという。
【０１２７】
図１９の実施の形態では、度数テーブルには、第１度数レベルから第Ｍ度数レベルまでのＭ個のレベルと、その度数の割合とが登録されるようになっている。従って、ここでは、度数カウント部３３は、度数が、Ｍ＋１番目以降のレベルについては、度数の計数結果を、度数テーブルに登録せず破棄するようになっている。但し、度数の計数結果は、すべてのレベルについて、度数テーブルに登録するようにすることも可能である。
【０１２８】
なお、上述したように、画素値としてとり得る値の範囲を、Ｋ個のレベルに分割した場合には、上述のＭは、Ｋ以下の値となる。
【０１２９】
書き込み部３５は、度数テーブル記憶部３４に記憶された度数テーブルと、読み出し部３２から供給される画素とに基づき、背景メモリ１５（図２）の、存在範囲検出部３１から供給される存在範囲内に相当する各アドレスに、全体背景を構成する背景画素を書き込むようになっている。さらに、書き込み部３５は、背景フラグメモリ３６への背景フラグの書き込みも行うようになっている。
【０１３０】
背景フラグメモリ３６は、存在範囲内の各画素について、背景画素が書き込まれているかどうかを表す背景フラグを記憶するようになっている。即ち、書き込み部３５は、背景メモリ１５のあるアドレスに背景画素を書き込んだとき、そのアドレスに対応する、背景フラグメモリ３６のアドレスに背景フラグを書き込むようになっている。ここで、背景フラグは、例えば、１ビットのフラグであるとし、背景画素が書き込まれているアドレスに対応する背景フラグは１とされ、まだ書き込まれていないアドレスに対応する背景フラグは０とされるものとする。
【０１３１】
次に、図２０のフローチャートを参照して、図１６の背景抽出部１４において行われる、第１フレーム乃至第Ｎフレームから全体背景を抽出する背景抽出処理について説明する。
【０１３２】
まず最初に、存在範囲検出部３１は、ステップＳ１１１において、カメラ動きベクトル記憶部１３からカメラ動きベクトルを読み出し、図１７で説明したようにして、存在範囲を検出する。そして、その存在範囲の、基準座標系における左上の点の座標（Ｘmin，Ｙmin）と、右下の点の座標（Ｘmax，Ｙmax）を、存在範囲を特定するための情報として、読み出し部３２および書き込み部３５に供給する。
【０１３３】
読み出し部３１は、存在範囲を特定するための座標（Ｘmin，Ｙmin）および（Ｘmax，Ｙmax）を受信すると、ステップＳ１１２において、存在範囲を、基準座標系のｙ軸方向にスキャンするための変数ｙに、初期値としてのＹmin−１をセットし、ステップＳ１１３に進み、その変数ｙを１だけインクリメントして、ステップＳ１１４に進む。ステップＳ１１４では、変数ｙがＹmax以下であるかどうかが判定され、Ｙmax以下であると判定された場合、ステップＳ１１５に進む。ステップＳ１１５では、読み出し部３１は、存在範囲を、基準座標系のｘ軸方向にスキャンするための変数ｘに、初期値としてのＸmin−１をセットし、ステップＳ１１６に進み、その変数ｘを１だけインクリメントして、ステップＳ１１７に進む。ステップＳ１１７では、変数ｘがＸmax以下であるかどうかが判定され、Ｘmax以下でないと判定された場合、ステップＳ１１３に戻り、以下、同様の処理が繰り返される。
【０１３４】
また、ステップＳ１１７において、変数ｘがＸmax以下であると判定された場合、ステップＳ１１８に進み、蓄積部１１（図２）に記憶された一連の画像としての第１フレーム乃至第Ｎフレームのフレーム数をカウントするための変数ｎに、初期値としての０がセットされ、ステップＳ１１９に進む。ステップＳ１１９では、変数ｎが１だけインクリメントされ、ステップＳ１２０に進み、変数ｎが、蓄積部１１（図２）に記憶された一連の画像のフレーム数であるＮ以下であるかどうかが判定される。
【０１３５】
ステップＳ１２０において、変数ｎがＮ以下であると判定された場合、ステップＳ１２１に進み、読み出し部３２において、第１フレーム乃至第Ｎフレームの背景の位置合わせを行った状態で、基準座標系の座標（ｘ，ｙ）の位置にある第ｎフレームの画素が、蓄積部１１（図２）から読み出される。即ち、読み出し部３２は、第ｎフレームの左上の画素を原点としたローカル座標系において、座標（ｘ，ｙ）から、カメラ動きベクトルｖnを減算した座標（ｘ，ｙ）−ｖnにある画素を、蓄積部１１（図２）から読み出す。
【０１３６】
なお、カメラ動きベクトルｖnのｘ座標またはｙ座標を、それぞれｘv#nまたはｙv#nと表すとともに、１フレームの横または縦の画素数を、それぞれＸまたはＹと表すこととすると、読み出し部３２は、第ｎフレームについてのローカル座標系における座標（ｘ−ｘv#n，ｙ−ｙv#n）に位置する画素を読み出すこととなるが、この場合、０≦ｘ−ｘv#n＜Ｘ、および０≦ｙ−ｙv#n＜Ｙの範囲外における座標（ｘ−ｘv#n，ｙ−ｙv#n）には、第ｎフレームの画素は存在しない。従って、ステップＳ１２１における第ｎフレームの画素の読み出しは、ｘ−ｘv#nが、０≦ｘ−ｘv#n＜Ｘの範囲内であり、かつｙ−ｙv#nが、０≦ｙ−ｙv#n＜Ｙの範囲内であるときのみ行われる。
【０１３７】
読み出し部３２は、ステップＳ１２１において、蓄積部１１（図２）から、第ｎフレームの画素を読み出すと、その画素を、度数カウント部３３および書き込み部３５に供給し、ステップＳ１１９に戻る。そして、ステップＳ１２０において、変数ｎがＮ以下でないと判定されるまで、ステップＳ１１９乃至Ｓ１２１の処理が繰り返され、これにより、第１フレーム乃至第Ｎフレームの背景の位置合わせを行った状態で、基準座標系の座標（ｘ，ｙ）の位置にある第１フレーム乃至第Ｎフレームの画素（位置合わせ状態での同一位置画素）が、度数カウント部３３および書き込み部３５に供給される。但し、上述したように、フレームによっては、基準座標系の座標（ｘ，ｙ）に画素が存在しない場合があり、この場合、そのフレームの画素は、度数カウント部３３および書き込み部３５に供給される画素には含まれない。
【０１３８】
その後、ステップＳ１２０において、変数ｎがＮ以下でないと判定されると、ステップＳ１２２に進み、度数カウント部３３は、読み出し部３２から供給される、基準座標系の座標（ｘ，ｙ）の位置にある、背景の位置合わせを行った状態の第１乃至第Ｎフレームの各画素を、その画素値が、例えば、レベル１乃至Ｋのうちのいずれの範囲に属するかによってレベル分類する。さらに、度数カウント部３３は、各レベルに属する画素の度数を計数し、その度数の割合（各レベルに属する画素の総数に対する割合）を求める。
【０１３９】
そして、ステップＳ１２３に進み、度数カウント部３３は、度数の割合が第１位から第Ｍ位までのレベル（第１度数レベル乃至第Ｍ度数レベル）と、その各レベルに属する画素の度数の割合とを、度数テーブル記憶部３４の、図１９に示したような度数テーブルにおける、座標（ｘ，ｙ）の欄（行）に登録し、ステップＳ１１６に戻る。
【０１４０】
一方、ステップＳ１１４において、変数ｙがＹmax以下でないと判定された場合、即ち、存在範囲内のすべての座標について処理を行った場合、ステップＳ１２４に進み、書き込み部３５は、度数テーブル記憶部３４に記憶された度数テーブルにおいて、第１度数レベルに属する画素の割合が所定値以上になっている座標を検出し、その座標に対応する背景メモリ１５のアドレスに、その第１度数レベルに対応する画素値を、背景画素の画素値として書き込む背景画素抽出処理を行い、ステップＳ１２５に進む。ステップＳ１２５では、書き込み部３５は、ステップＳ１２４の背景画素抽出処理において画素値が書き込まれなかった存在範囲内の座標について、背景画素としての画素値を書き込む背景拡張処理を行い、背景抽出処理を終了する。
【０１４１】
次に、図２１のフローチャートを参照して、図２０のステップＳ１２４において書き込み部３５が行う背景画素抽出処理について説明する。
【０１４２】
背景画素抽出処理では、ステップＳ１３１乃至Ｓ１３６において、図２０のステップＳ１１２乃至１１７における場合とそれぞれ同様の処理が行われ、ステップＳ１３６において、変数ｘがＸmax以下であると判定された場合、ステップＳ３７に進み、度数テーブルを参照することにより、座標（ｘ，ｙ）に対する第１度数レベルの割合が所定の閾値Ｌth以上であるかどうかが判定される。
【０１４３】
ステップＳ１３７において、座標（ｘ，ｙ）に対する第１度数レベルの割合が所定の閾値Ｌth以上でないと判定された場合、即ち、背景の位置合わせを行った状態の第１フレーム乃至第Ｎフレームを構成する画素のうち、座標（ｘ，ｙ）に位置する画素の最も度数の多い画素値の、その度数の割合が高くない場合、ステップＳ１３８およびＳ１３９をスキップして、ステップＳ１３５に戻る。
【０１４４】
従って、この場合、存在範囲における座標（ｘ，ｙ）に対応する背景メモリ１５（図２）のアドレスには、背景画素の画素値は書き込まれない。
【０１４５】
一方、ステップＳ１３７において、座標（ｘ，ｙ）に対する第１度数レベルの割合が所定の閾値Ｌth以上であると判定された場合、即ち、背景の位置合わせを行った状態の第１フレーム乃至第Ｎフレームを構成する画素のうち、座標（ｘ，ｙ）に位置する画素の最も度数の多い画素値の、その度数の割合が高い場合、ステップＳ１３８に進み、書き込み部３５は、その度数の割合が高い画素値を、座標（ｘ，ｙ）に位置する背景画素の画素値として、背景メモリ１５に書き込む。
【０１４６】
即ち、書き込み部３５は、背景の位置合わせを行った状態の第１フレーム乃至第Ｎフレームの、座標（ｘ，ｙ）に位置する画素のうち、第１度数レベルに属するものを、読み出し部３２から供給される画素から抽出し、例えば、その平均値を計算する。そして、書き込み部３５は、その平均値を、座標（ｘ，ｙ）に位置する背景画素の画素値として、背景メモリ１５に書き込む。
【０１４７】
ステップＳ１３８の処理後は、ステップＳ１３９に進み、書き込み部３５は、背景フラグメモリ３６の、座標（ｘ，ｙ）に対応するアドレスに記憶された背景フラグを１にし（背景フラグをたて）、ステップＳ１３５に戻り、以下、ステップＳ１３３において、変数ｙがＹmax以下でないと判定されるまで、同様の処理が繰り返される。
【０１４８】
そして、ステップＳ１３３において、変数ｙがＹmax以下でないと判定されると、リターンする。
【０１４９】
ここで、背景フラグメモリ３６の記憶値は、例えば、図２１の背景画素抽出処理が開始されるときに、０にクリアされるようになっている。
【０１５０】
次に、図２１で説明した背景画素抽出処理では、上述したように、背景の位置合わせを行った状態の第１フレーム乃至第Ｎフレームを構成する画素のうち、座標（ｘ，ｙ）に位置する画素の最も度数の多い画素値の、その度数の割合が高くない場合においては、座標（ｘ，ｙ）には、背景としての画素値が書き込まれない。
【０１５１】
即ち、背景画素抽出処理では、背景の位置合わせを行った状態の第１フレーム乃至第Ｎフレームを構成する画素のうち、座標（ｘ，ｙ）に位置する画素の最も度数の多い画素値の、その度数の割合が高い場合、その度数の最も多い画素値が、座標（ｘ，ｙ）における全体背景の画素値として確からしいものとして、背景メモリ１５に書き込まれる。従って、度数の最も多い画素値が、座標（ｘ，ｙ）における全体背景の画素値として確からしいとはいえない場合、即ち、ここでは、背景の位置合わせを行った状態の第１フレーム乃至第Ｎフレームを構成する画素のうち、座標（ｘ，ｙ）に位置する画素の最も度数の多い画素値の、その度数の割合が高くない場合には、背景画素抽出処理では、座標（ｘ，ｙ）に対応する背景メモリ１５のアドレスには、全体背景の画素値は書き込まれない。
【０１５２】
その結果、背景画素抽出処理によって、背景メモリ１５に画素値が書き込まれることで構成される全体背景は、いわば虫食い状態となっており、その虫食い部分を埋めていく必要がある。このため、図２０の背景抽出処理では、ステップＳ１２４で背景画素抽出処理（図２１）が行われた後、ステップＳ１２５において、虫食い部分を画素値で埋めることにより、いわば背景を拡張していく背景拡張処理が行われるようになっている。
【０１５３】
そこで、図２２のフローチャートを参照して、図２０のステップＳ１２５における背景拡張処理について説明する。
【０１５４】
背景拡張処理では、ステップＳ１４１において、変数ｙに、初期値としてのＹmin−１がセットされ、ステップＳ１４２に進み、その変数ｙが１だけインクリメントされ、ステップＳ１４３に進む。ステップＳ１４３では、変数ｙがＹmax以下であるかどうかが判定され、Ｙmax以下であると判定された場合、ステップＳ１４５に進む。ステップＳ１４５では、変数ｘに、初期値としてのＸmin−１がセットされ、ステップＳ１４６に進み、その変数ｘが１だけインクリメントされて、ステップＳ１４７に進む。ステップＳ１４７では、変数ｘがＸmax以下であるかどうかが判定され、Ｘmax以下でないと判定された場合、ステップＳ１４２に戻り、以下、同様の処理が繰り返される。
【０１５５】
また、ステップＳ１４７において、変数ｘがＸmax以下であると判定された場合、ステップＳ１４８に進み、座標（ｘ，ｙ）に対応する背景フラグメモリ３６のアドレスに記憶された背景フラグが０であるかどうかが判定される。ステップＳ１４８において、座標（ｘ，ｙ）に対応する背景フラグメモリ３６のアドレスに記憶された背景フラグが０でないと判定された場合、即ち、その背景フラグが１であり、従って、座標（ｘ，ｙ）に対応する背景メモリ１５（図２）のアドレスに、既に、全体背景としての画素値が書き込まれている場合、ステップＳ１４６に戻り、以下、同様の処理が繰り返される。
【０１５６】
また、ステップＳ１４８において、座標（ｘ，ｙ）に対応する背景フラグメモリ３６のアドレスに記憶された背景フラグが０であると判定された場合、即ち、座標（ｘ，ｙ）に対応する背景メモリ１５（図２）のアドレスに、まだ、全体背景としての画素値が書き込まれていない場合、ステップＳ１４９に進み、座標（ｘ，ｙ）に位置する画素の周辺の画素としての、例えば、その上、下、左、右、左上、左下、右上、右下に隣接する画素のうちのいずれかについての背景フラグが１であるかどうかが、背景フラグメモリ３６を参照することで判定される。
【０１５７】
ステップＳ１４９において、座標（ｘ，ｙ）に位置する画素に隣接する画素のいずれの背景フラグも１でないと判定された場合、即ち、座標（ｘ，ｙ−１），（ｘ，ｙ＋１），（ｘ−１，ｙ），（ｘ＋１，ｙ），（ｘ−１，ｙ−１），（ｘ−１，ｙ＋１），（ｘ＋１，ｙ−１），（ｘ＋１，ｙ＋１）それぞれに対応する背景メモリ１５（図２）のアドレスのいずれにも、まだ、全体背景としての画素値が書き込まれていない場合、ステップＳ１４６に戻る。
【０１５８】
また、ステップＳ１４９において、座標（ｘ，ｙ）に位置する画素に隣接する画素のいずれかの背景フラグが１であると判定された場合、即ち、座標（ｘ，ｙ−１），（ｘ，ｙ＋１），（ｘ−１，ｙ），（ｘ＋１，ｙ），（ｘ−１，ｙ−１），（ｘ−１，ｙ＋１），（ｘ＋１，ｙ−１），（ｘ＋１，ｙ＋１）それぞれに対応する背景メモリ１５（図２）のアドレスのいずれかに、既に、全体背景としての画素値が書き込まれている場合、ステップＳ１５０に進む。
【０１５９】
ここで、座標（ｘ，ｙ）に位置する画素に隣接する画素（に対応する背景メモリ１５（図２）のアドレス）のうち、全体背景としての画素値が書き込まれているものを、以下、適宜、既書き込み隣接画素という。
【０１６０】
ステップＳ１５０では、既書き込み隣接画素の画素値と連続性のある画素値のレベルが、座標（ｘ，ｙ）に対する第１乃至第Ｍ度数レベルのうちのいずれかとして、度数テーブルに登録されているかどうかが判定される。ここで、連続性のある画素値とは、値が近い画素値（同一の画素値を含む）どうしを意味する。
【０１６１】
ステップＳ１５０において、既書き込み隣接画素の画素値と連続性のある画素値のレベルが、座標（ｘ，ｙ）に対する第１乃至第Ｍ度数レベルのうちのいずれかとして、度数テーブルに登録されていると判定された場合、即ち、背景の位置合わせを行った状態の第１フレーム乃至第Ｎフレームを構成する、座標（ｘ，ｙ）に位置する画素の中に、既書き込み隣接画素の画素値と連続する画素値を有するものが、ある程度の割合以上存在する場合、ステップＳ１５１に進み、その、ある程度の割合以上存在する、既書き込み隣接画素の画素値と連続する画素値に基づいて、座標（ｘ，ｙ）に位置する画素の、全体背景としての画素値が算出され、背景メモリ１５（図２）の対応するアドレスに書き込まれる。
【０１６２】
即ち、既書き込み隣接画素の画素値と連続性のある画素値のレベルが、座標（ｘ，ｙ）に対する第１乃至第Ｍ度数レベルのうちの第ｍ度数レベルとして、度数テーブルに登録されていたとすると、ステップＳ１５１では、背景の位置合わせを行った状態の第１フレーム乃至第Ｎフレームを構成する、座標（ｘ，ｙ）に位置する画素のうちの、第ｍ度数レベルに属する画素値の、例えば平均値が算出され、その平均値が、座標（ｘ，ｙ）に位置する画素の、全体背景としての画素値として、背景メモリ１５（図２）の対応するアドレスに書き込まれる。
【０１６３】
ここで、上述したように、背景画素抽出処理では、背景の位置合わせを行った状態の第１フレーム乃至第Ｎフレームを構成する画素のうち、座標（ｘ，ｙ）に位置する最も度数の多い画素値の、その度数の割合が高い場合に、その度数の最も多い画素値が、座標（ｘ，ｙ）における全体背景の画素値として確からしいものとして、背景メモリ１５に書き込まれるが、この背景画素抽出処理によれば、例えば、ある風景を背景とし、かつ、ある物体が前景として移動していくような、Ｎフレームでなる一連の画像を考えた場合に、前景によって隠されずに、Ｎフレームのほとんどに亘って背景が表示されている画素については、そのほとんどのフレームに亘って表示されている画素値の度数の割合が高くなることから、その画素値が、背景の画素値として書き込まれる。
【０１６４】
しかしながら、前景が移動することにより、前景が表示されたり、背景が表示されたりする画素（以下、適宜、中間画素という）は、前景を構成する画素値となったり、背景を構成する画素値となったりすることから、中間画素については、度数の割合が高くなる画素値が存在しないため、背景画素抽出処理では、画素値の書き込みが行われない。
【０１６５】
全体背景を得るためには、中間画素については、そこに背景が表示されているフレームの画素値を書き込めば良いが、中間画素に背景が表示されているフレームを特定するのは困難である。そこで、背景拡張処理では、中間画素に隣接する画素の中に、既に、全体背景としての画素値が書き込まれているものがあり、かつ、その画素値と近い画素値が、中間画素の画素値として表示されたことがあれば、その表示されたことのある画素値が、中間画素に背景が表示されたときの画素値として確からしいとして、背景メモリ１５（図２）に書き込まれる。
【０１６６】
従って、背景拡張処理によれば、極端には、ある１フレームにおいてだけ、背景が表示された画素（中間画素）についても、その１フレームにおいて表示された背景の画素値を書き込むことが可能となる。
【０１６７】
一方、ステップＳ１５０において、既書き込み隣接画素の画素値と連続性のある画素値のレベルが、座標（ｘ，ｙ）に対する第１乃至第Ｍ度数レベルのうちのいずれかとして、度数テーブルに登録されていないと判定された場合、即ち、背景の位置合わせを行った状態の第１フレーム乃至第Ｎフレームを構成する、座標（ｘ，ｙ）に位置する画素の中に、既書き込み隣接画素の画素値と連続する画素値を有するものが存在しない場合、ステップＳ１５２に進み、既書き込み隣接画素の画素値に基づいて、座標（ｘ，ｙ）に位置する画素の、全体背景としての画素値が算出され、背景メモリ１５（図２）の対応するアドレスに書き込まれる。
【０１６８】
即ち、中間画素に隣接する画素の中に、既に、全体背景としての画素値が書き込まれているもの（既書き込み隣接画素）があるが、その画素値と近い画素値が、中間画素の画素値として表示されたことがない場合には、ステップＳ１５２において、例えば、既書き込み隣接画素の画素値（既書き込み隣接画素が複数存在する場合には、例えば、その平均値）が、座標（ｘ，ｙ）に位置する画素の、全体背景としての画素値として、背景メモリ１５（図２）に書き込まれる。
【０１６９】
ステップＳ１５１およびＳ１５２の処理後は、いずれも、ステップＳ１５３に進み、ステップＳ１５１またはＳ１５２で全体背景としての画素値が書き込まれた画素の背景フラグ、即ち、背景フラグメモリ３６の、座標（ｘ，ｙ）に対応するアドレスの背景フラグが１にされ（たてられ）、ステップＳ１４６に戻り、以下、同様の処理が繰り返される。
【０１７０】
一方、ステップＳ１４３において、変数ｙがＹmax以下でないと判定された場合、ステップＳ１４４に進み、前景フラグメモリ３６に記憶された、存在範囲内の各座標に対する背景フラグがすべて１であるかどうかが判定される。ステップＳ１４３において、存在範囲内の各座標に対応する背景フラグの中に、１でないものがあると判定された場合、即ち、存在範囲内の座標に位置する画素の中に、まだ、全体背景としての画素値が書き込まれていないものがある場合、ステップＳ１４１に戻り、以下、同様の処理が繰り返される。
【０１７１】
また、ステップＳ１４４において、存在範囲内の各座標に対応する背景フラグの中に、１でないものがないと判定された場合、即ち、存在範囲内の座標に位置する画素すべてに、全体背景としての画素値が書き込まれた場合、リターンする。
【０１７２】
図２２で説明した処理によれば、図２３に示すように、既に、全体背景としての画素値が書き込まれた画素（同図において、●印で示す）に隣接する、まだ画素値が書き込まれていない画素Ｐ（ｘ，ｙ）（同図において、斜線を付した○印で示す）が存在する場合には、その画素Ｐ（ｘ，ｙ）に隣接する既書き込み隣接画素（同図においては、画素Ｐ（ｘ−１，ｙ），Ｐ（ｘ−１，ｙ−１），Ｐ（ｘ，ｙ−１），Ｐ（ｘ＋１，ｙ＋１））の画素値や、その画素値と連続性を有する画素値等が、画素Ｐ（ｘ，ｙ）の全体背景としての画素値として書き込まれ、これにより、全体背景が拡張されていく。このことから、図２２の処理を、背景拡張処理と呼んでいる。
【０１７３】
次に、図２４は、図２の前景符号化部１６の構成例を示している。
【０１７４】
前景抽出部４１には、蓄積部１１（図２）に記憶された一連の画像としての第１フレーム乃至第Ｎフレーム、背景メモリ１５（図２）に記憶された全体背景、およびカメラ動きベクトル記憶部１３（図２）に記憶されたカメラ動きベクトルが供給されるようになっており、前景抽出部４１は、第１フレーム乃至第Ｎフレームそれぞれから前景を抽出するようになっている。即ち、前景抽出部４１は、全体背景の、基準座標系においてカメラ動きベクトルｖnだけずれた位置に、第ｎフレームの左上の点が位置するように、第ｎフレームを配置することで、全体背景と第ｎフレームとの位置合わせを行い、第ｎフレームの各画素から、同一位置にある全体背景の画素を減算することで、第ｎフレームから前景を抽出する。
【０１７５】
前景記憶部４２は、前景抽出部４１が抽出した第１乃至第Ｎフレームの前景を記憶するようになっている。
【０１７６】
前景蓄積画像構成部４３には、カメラ動きベクトル記憶部１３（図２）に記憶されたカメラ動きベクトルが供給されるようになっており、前景蓄積画像構成部４３は、そのカメラ動きベクトルに基づき、前景記憶部４２に記憶された第１フレーム乃至第Ｎフレームの前景を用いて、前方蓄積画像および後方蓄積画像を構成するようになっている。即ち、前景蓄積画像構成部４３は、図２５に示すように、カメラ動きベクトルに基づいて、背景の位置合わせを行った状態の第１フレーム乃至第Ｎフレームの前景を想定し、その第１フレーム乃至第Ｎフレームの前景を、時間の進行方向に向かって見た場合に得られる後方蓄積画像（過去から眺めた前景により構成される画像）と、時間の進行方向と逆方向に向かってみた場合に得られる前方蓄積画像（未来から眺めた前景により構成される画像）とを構成する。
【０１７７】
なお、前方蓄積画像は、背景の位置合わせを行った状態の第１フレーム乃至第Ｎフレームの前景の画素値を、第１フレームから第Ｎフレームの順番で、メモリ等に上書きしていくことで得ることができる。同様に、後方蓄積画像は、背景の位置合わせを行った状態の第１フレーム乃至第Ｎフレームの前景の画素値を、第Ｎフレームから第１フレームの順番で、メモリ等に上書きしていくことで得ることができる。
【０１７８】
前景蓄積画像記憶部４４は、前景蓄積画像構成部４３において構成された前方蓄積画像および後方蓄積画像を記憶するようになっている。
【０１７９】
学習部４５は、前景蓄積画像記憶部４４に記憶された前方蓄積画像および後方蓄積画像、さらには、必要に応じて、誤差画像記憶部４９に記憶された、後述する誤差画像を構成する画素から、第１フレーム乃至第Ｎフレームそれぞれの前景を構成する画素を予測するための予測係数を求める学習処理を行うようになっている。
【０１８０】
予測係数記憶部４６は、学習部４５において学習が行われることにより求められる予測係数を記憶するようになっている。
【０１８１】
適応処理部４７は、前景蓄積画像記憶部４４に記憶された前方蓄積画像および後方蓄積画像を構成する画素、予測係数記憶部４６に記憶された予測係数、さらには、必要に応じて、誤差画像記憶部４９に記憶された誤差画像を用いて、第１フレーム乃至第Ｎフレームそれぞれの前景を予測する適応処理を行うようになっている。
【０１８２】
ここで、学習部４５において行われる学習処理、および適応処理部４７において行われる適応処理について説明する。
【０１８３】
適応処理では、例えば、いま存在する画像（ここでは、前方蓄積画像および後方蓄積画像や、誤差画像）を構成する画素と、所定の予測係数との線形結合により、所望の画像（ここでは、第１フレーム乃至第Ｎフレームそれぞれの前景）を構成する画素の予測値が求められる。
【０１８４】
一方、学習処理では、所望の画像（以下、適宜、所望画像という）を教師データとするとともに、その所望画像を求めようとするときに存在する画像（以下、適宜、存在画像という）を生徒データとして、所望画像を構成する画素（以下、適宜、所望画素という）の画素値ｙの予測値Ｅ［ｙ］を、例えば、幾つかの存在画素（存在画像を構成する画素）の画素値ｘ1，ｘ2，・・・の集合と、所定の予測係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めるための予測係数が求められる。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【０１８５】
Ｅ［ｙ］＝ｗ1ｘ1＋ｗ2ｘ2＋・・・・・・（１）
【０１８６】
式（１）を一般化するために、予測係数ｗjの集合でなる行列Ｗ、生徒データの集合でなる行列Ｘ、および予測値Ｅ［ｙ］の集合でなる行列Ｙ’を、
【数１】
【０１８７】
ＸＷ＝Ｙ’・・・（２）
ここで、行列Ｘの成分ｘijは、ｉ件目の生徒データの集合（ｉ件目の教師データｙiの予測に用いる生徒データの集合）の中のｊ番目の生徒データを意味し、行列Ｗの成分ｗjは、生徒データの集合の中のｊ番目の生徒データとの積が演算される予測係数を表す。また、ｙiは、ｉ件目の教師データを表し、従って、Ｅ［ｙi］は、ｉ件目の教師データの予測値を表す。なお、式（１）の左辺におけるｙは、行列Ｙの成分ｙiのサフィックスｉを省略したものであり、また、式（１）の右辺におけるｘ1，ｘ2，・・・も、行列Ｘの成分ｘijのサフィックスｉを省略したものである。
【０１８８】
そして、この観測方程式に最小自乗法を適用して、所望画素の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、教師データとなる所望画素の真の画素値ｙの集合でなる行列Ｙ、および所望画素の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【数２】
【０１８９】
ＸＷ＝Ｙ＋Ｅ・・・（３）
【０１９０】
この場合、所望画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるための予測係数ｗjは、自乗誤差
【数３】
【０１９１】
従って、上述の自乗誤差を予測係数ｗjで微分したものが０になる場合、即ち、次式を満たす予測係数ｗjが、所望画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【０１９２】
【数４】
そこで、まず、式（３）を、予測係数ｗjで微分することにより、次式が成立する。
【０１９４】
【数５】
式（４）および（５）より、式（６）が得られる。
【０１９６】
【数６】
さらに、式（３）の残差方程式における生徒データｘij、予測係数ｗj、教師データｙi、および残差ｅiの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。
【０１９８】
【数７】
式（７）の正規方程式を構成する各式は、生徒データｘijおよび教師データｙiのセットを、ある程度の数だけ用意することで、求めるべき予測係数ｗjの数Ｊと同じ数だけたてることができ、従って、式（７）を解くことで（但し、式（７）を解くには、式（７）において、予測係数ｗjにかかる係数で構成される行列が正則である必要がある）、最適な予測係数ｗjを求めることができる。なお、式（７）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることが可能である。
【０２００】
以上のようにして、最適な予測係数ｗjを求めるのが学習処理であり、また、その予測係数ｗjを用い、式（１）により、所望画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理である。
【０２０１】
即ち、学習部４５または適応処理部４７では、前景蓄積画像記憶部４４に記憶された前方蓄積画像および後方蓄積画像、さらには、必要に応じて、誤差画像記憶部４９に記憶された誤差画像を、存在画像とするとともに、第１フレーム乃至第Ｎフレームそれぞれの前景を、所望画像として、学習処理または適応処理がそれぞれ行われる。
【０２０２】
なお、適応処理は、存在画像には含まれていないが、所望画像に含まれる成分が再現される点で、例えば、単なる補間処理とは異なる。即ち、適応処理では、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当する予測係数ｗが、教師データｙを用いての、いわば学習により求められるため、所望画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造（解像度想像）作用がある処理ということができる。
【０２０３】
誤差計算部４８は、前景記憶部４２から第１フレーム乃至第Ｎフレームそれぞれの前景を読み出し、適応処理部４７で求められた、第１フレーム乃至第Ｎフレームそれぞれの前景の予測値の予測誤差を計算するようになっている。即ち、誤差計算部４８は、例えば、第ｎフレームの前景を構成する画素の予測値から、その画素の画素値の真値を減算することにより、画素ごとに、予測誤差を求めるようになっている。
【０２０４】
誤差画像記憶部４９は、誤差計算部４８で求められた、第１フレーム乃至第Ｎフレームの前景の予測誤差でなる画像（以下、適宜、誤差画像という）を記憶するようになっている。
【０２０５】
誤差判定部５０は、誤差画像記憶部４９に記憶された誤差画像を構成する各画素の画素値としての予測誤差の、例えば、絶対値和を演算し、その絶対値和が所定の閾値以下（未満）になっているかどうかを判定するようになっている。
【０２０６】
ＭＵＸ（マルチプレクサ）５１は、誤差判定部５０による判定結果に基づいて、前景蓄積画像記憶部４４に記憶された前方蓄積画像および後方蓄積画像、予測係数記憶部４６に記憶された予測係数、さらには、必要に応じて、誤差画像記憶部４９に記憶された誤差画像を多重化し、その結果得られる多重化データを、第１フレーム乃至第Ｎフレームそれぞれの前景の符号化結果として、マルチプレクサ１７（図２）に出力するようになっている。
【０２０７】
次に、図２６は、図２４の学習部４５の構成例を示している。
【０２０８】
予測タップ構成部６１には、前景蓄積画像記憶部４４に記憶された前方蓄積画像および後方蓄積画像（以下、適宜、両方含めて、前景蓄積画像という）、さらには、必要に応じて、誤差画像記憶部４９に記憶された誤差画像が供給されるようになっている。そして、予測タップ構成部６１は、背景の位置合わせを行った状態での第１フレーム乃至第Ｎフレームそれぞれの前景を構成する画素のうち、予測値を求めようとするものを、注目画素として、基準座標系において、注目画素と空間的に近い位置にある前方蓄積画像および後方蓄積画像の画素や、誤差画像の画素を抽出し、注目画素の予測値を適応処理により求めるのに用いる予測タップとして、正規方程式構成部６２に出力する。
【０２０９】
正規方程式構成部６２には、予測タップ構成部６１から予測タップが供給される他、前景記憶部４２に記憶された第１フレーム乃至第Ｎフレームそれぞれの前景を構成する画素が供給されるようになっている。そして、正規方程式構成部６２は、注目画素となっている前景の画素（教師データ）と、予測タップ（生徒データ）を対象とした足し込みを行う。
【０２１０】
即ち、正規方程式構成部６２は、予測タップを用い、式（７）の正規方程式の左辺における、予測係数の乗数となっている、生徒データ（予測タップ）どうしの乗算（ｘijｘi ’ j ’）と、サメーション（Σ）に相当する演算を行う。
【０２１１】
さらに、正規方程式構成部６２は、予測タップおよび注目画素を用い、式（７）の正規方程式の右辺における、生徒データ（予測タップ）と教師データ（注目画素）の乗算（ｘijｙj）と、サメーション（Σ）に相当する演算を行う。
【０２１２】
正規方程式構成部６２では、以上の処理が、第１フレーム乃至第Ｎフレームそれぞれの前景を構成する画素を、注目画素として行われ、これにより、式（７）に示した正規方程式がたてられる。
【０２１３】
そして、その後、予測係数算出部６３は、正規方程式構成部６２において生成された正規方程式を解くことにより、予測係数を求め、予測係数記憶部４６（図２４）に供給して記憶させる。
【０２１４】
ここで、本実施の形態では、図２４の適応処理部４７において、背景の位置合わせを行った状態での第１フレーム乃至第Ｎフレームのうち、第ｎフレームの、基準座標系の存在範囲内における位置（ｘ，ｙ）にある画素の画素値Ａn（ｘ，ｙ）の予測値Ｅ［Ａn（ｘ，ｙ）］が、例えば、次式にしたがって求められるようになっている。
【０２１５】
Ｅ［Ａn（ｘ，ｙ）］＝ｇ（Ｆ，Ｂ，Ｅ，ｎ）・・・（８）
ここで、式（８）において、Ｆ，Ｂ，Ｅは、それぞれ前方蓄積画像、後方蓄積画像、誤差画像を表し、関数ｇ（Ｆ，Ｂ，Ｅ，ｎ）は、例えば、式（１）の線形一次式に相当する次式で定義される。
【０２１６】
【０２１７】
関数ｇ（Ｆ，Ｂ，Ｅ，ｎ）が、式（９）によって定義される場合、図２６の正規方程式構成部６２では、式（９）における予測係数ｗF1，ｗF2，・・・，ｗB1，ｗB2，・・・，ｗE1，ｗE2，・・・，ｗを求めるための正規方程式がたてられ、予測係数算出部６３では、その正規方程式を解くことで、予測係数ｗF1，ｗF2，・・・，ｗB1，ｗB2，・・・，ｗE1，ｗE2，・・・，ｗが求められる。従って、この場合、第１フレーム乃至第Ｎフレームすべての前景について、１セットの予測係数ｗF1，ｗF2，・・・，ｗB1，ｗB2，・・・，ｗE1，ｗE2，・・・，ｗが求められる。
【０２１８】
次に、図２７は、図２４の適応処理部４７の構成例を示している。
【０２１９】
予測タップ構成部７１には、前景蓄積画像記憶部４４に記憶された前景蓄積画像、さらには、必要に応じて、誤差画像記憶部４９に記憶された誤差画像が供給されるようになっている。そして、予測タップ構成部７１は、図２６の予測タップ構成部６１における場合と同様に、背景の位置合わせを行った状態での第１フレーム乃至第Ｎフレームそれぞれの前景を構成する画素のうち、予測値を求めようとするものを、注目画素として、基準座標系において、注目画素と空間的に近い位置にある前方蓄積画像および後方蓄積画像の画素や、誤差画像の画素を抽出し、予測タップとして、予測演算部７２に出力する。
【０２２０】
予測演算部７２には、予測タップ構成部７１から予測タップが供給される他、予測係数記憶部４６（図２４）に記憶された予測係数が供給されるようになっている。そして、予測演算部７２では、注目画素となっている前景の画素の予測値が、予測タップおよび予測係数を用い、式（８）および（９）で定義される線形一次式を演算することで求められ、誤差計算部４８に出力される。
【０２２１】
次に、図２８のフローチャートを参照して、図２４の前景符号化部１６において行われる、第１フレーム乃至第Ｎフレームそれぞれの前景を符号化する前景符号化処理について説明する。
【０２２２】
まず最初に、ステップＳ１６１において、前景抽出部４１は、カメラ動きベクトル記憶部１３（図２）に記憶されたカメラ動きベクトル、および背景メモリ１５（図２）に記憶された全体背景を用いて、蓄積部１１（図２）に記憶された第１フレーム乃至第Ｎフレームの画像それぞれから、上述したようにして前景を抽出し、前景記憶部４２に供給して記憶させる。
【０２２３】
そして、ステップＳ１６２に進み、前景蓄積画像構成部４３は、前景記憶部４２に記憶された第１フレーム乃至第Ｎフレームそれぞれの前景から、図２５で説明したような前方蓄積画像および後方蓄積画像を構成し、前景蓄積画像記憶部４４に供給して記憶させ、ステップ１６３に進む。
【０２２４】
ステップＳ１６３では、学習部４５において、前景蓄積画像記憶部４４に記憶された前方蓄積画像および後方蓄積画像、さらには、必要に応じて、誤差画像記憶部４９に記憶された誤差画像を構成する画素を用いて学習が行われ、これにより、第１フレーム乃至第Ｎフレームそれぞれの前景を構成する画素を予測するための予測係数が求められる。
【０２２５】
ここで、ステップＳ１６３で最初に学習処理が行われる場合においては、誤差画像記憶部４９には、まだ、誤差画像が記憶されていないため、誤差画像は用いずに（用いることができない）、学習が行われる。
【０２２６】
ステップＳ１６３における学習の結果得られた予測係数は、学習部４５から予測係数記憶部４６に供給され、上書きする形で記憶される。予測係数記憶部４６に予測係数が記憶されると、ステップＳ１６４において、適応処理部４７は、前景蓄積画像記憶部４４に記憶された前方蓄積画像および後方蓄積画像を構成する画素、予測係数記憶部４６に記憶された予測係数、さらには、必要に応じて、誤差画像記憶部４９に記憶された誤差画像を用いて、式（８）および（９）の線形一次式を計算することにより、第１フレーム乃至第Ｎフレームそれぞれの前景を構成する各画素の予測値を求める適応処理を行う。
【０２２７】
ここで、ステップＳ１６４で最初に適応処理が行われる場合においても、誤差画像記憶部４９には、まだ、誤差画像が記憶されていないため、誤差画像は用いずに（用いることができない）、適応処理が行われる。
【０２２８】
ステップＳ１６４における適応処理の結果得られた第１フレーム乃至第Ｎフレームそれぞれの前景を構成する各画素の予測値は、誤差計算部４８に供給され、誤差計算部４８では、ステップＳ１６５において、前景記憶部４２に記憶された第１フレーム乃至第Ｎフレームそれぞれの前景を参照することで、その前景を構成する各画素の予測値の予測誤差が求められる。
【０２２９】
そして、ステップＳ１６６に進み、誤差計算部４８は、基準座標系の存在範囲内における各位置について、その位置における予測誤差の絶対値が最大になっている画素を、第１フレーム乃至第Ｎフレームそれぞれの前景を構成する画素から抽出し、その抽出された画素の予測誤差でなる画像を誤差画像として、誤差画像記憶部４９に供給する。誤差画像記憶部４９では、誤差計算部４８からの誤差画像が記憶される。
【０２３０】
その後、ステップＳ１６７に進み、誤差判定部５０において、誤差画像記憶部４９に記憶された誤差画像を構成する各画素の画素値（予測誤差）の絶対値の総和が求められ、その総和が、所定の閾値以下（未満）であるかどうかが判定される。
【０２３１】
ステップＳ１６７において、誤差画像を構成する各画素の画素値（予測誤差）の絶対値の総和が、所定の閾値以下でないと判定された場合、即ち、予測係数と、前方蓄積画像および後方蓄積画像（さらには、必要に応じて、誤差画像）とから得られる前景の予測値の精度が高くない場合、ステップＳ１６３に戻り、以下、同様の処理が繰り返される。
【０２３２】
なお、この場合、誤差画像記憶部４９には、誤差画像が記憶されているので、次回のステップＳ１６３またはＳ１６４では、図２９に示すように、前方蓄積画像および後方蓄積画像の他、誤差画像も用いて予測タップが構成され、学習処理または適応処理がそれぞれ行われる。
【０２３３】
一方、ステップＳ１６７において、誤差画像を構成する各画素の画素値（予測誤差）の絶対値の総和が、所定の閾値以下であると判定された場合、即ち、予測係数と、前方蓄積画像および後方蓄積画像（さらには、必要に応じて、誤差画像）とから得られる前景の予測値の精度が高い場合、ステップＳ１６８に進み、誤差判定部５０は、ＭＵＸ５１を制御し、前景蓄積画像記憶部４４に記憶された前方蓄積画像および後方蓄積画像、予測係数記憶部４６に記憶された予測係数、さらには、誤差画像記憶部４９に誤差画像が記憶されている場合には、その誤差画像を読み出して多重化させる。そして、ＭＵＸ５１は、その多重化の結果得られた多重化データを、第１フレーム乃至第Ｎフレームそれぞれの前景の符号化結果として、マルチプレクサ１７（図２）に出力し、前景符号化処理を終了する。
【０２３４】
なお、誤差画像記憶部４９には、ステップＳ１６６の処理が行われるごとに得られる新たな誤差画像を、既に記憶されている誤差画像に上書きする形で記憶させるようにしても良いし、既に記憶されている誤差画像をそのまま残して記憶させるようにしても良い。
【０２３５】
新たな誤差画像を、誤差画像記憶部４９に既に記憶されている誤差画像に上書きする形で記憶させる場合には、誤差画像は、予測係数の学習が繰り返し行われても、常に、１枚であるため、前景の予測値の精度の向上にある程度の限界があるが、多重化データのデータ量を少なくすることができる。
【０２３６】
一方、新たな誤差画像を、誤差画像記憶部４９に既に記憶されている誤差画像をそのまま残して記憶させる場合には、誤差画像が複数枚になるため、多重化データのデータ量が多少増加するが、図３０に示すように、前方蓄積画像および後方蓄積画像、並びに２枚以上の誤差画像を用いて予測タップが構成され、学習処理または適応処理がそれぞれ行われるため、前景の予測値の精度をより向上させることができる。なお、図３０は、誤差画像が２枚ある場合を示している。
【０２３７】
また、上述の場合においては、学習処理により求めた予測係数を用いて適応処理を行うことにより予測値を求め、その予測誤差が大きい場合には、誤差画像も用いて学習処理を再度行い、予測誤差を小さくする予測係数を求めるようにしたが、予測誤差の大小にかかわらず、学習部４５による最初の学習処理の結果得られた予測係数を、前景蓄積画像記憶部４４に記憶された前方蓄積画像および後方蓄積画像とともに、前景の符号化結果として出力するようにすることも可能である。この場合、前景符号化部１６は、適応処理部４７、誤差計算部４８、誤差画像記憶部４９、および誤差判定部５０は設けずに構成することが可能となる。
【０２３８】
さらに、上述の場合には、前景の予測値を求める関数ｇ（Ｆ，Ｂ，Ｅ，ｎ）を、式（９）によって定義し、これにより、第１フレーム乃至第Ｎフレームすべての前景の予測値を求めるのに共通に用いる１セットの予測係数を求めるようにしたが、予測係数は、その他、例えば、１フレームごとや、複数フレームごとに求めることも可能である。
【０２３９】
即ち、１フレームごとに予測係数を求める場合には、関数ｇ（Ｆ，Ｂ，Ｅ，ｎ）を、例えば、式（１０）に示すように定義し、各フレームごとに正規方程式をたてて解くことにより、予測係数を求めるようにすれば良い。
【０２４０】
【０２４１】
また、ここでは、線形一次予測によって、前景の予測値を求めるようにしたが、前景の予測値は、その他、２次以上の高次の予測式によって求めるようにすることも可能である。
【０２４２】
さらに、ここでは、第１フレーム乃至第Ｎフレームそれぞれの前景から構成された前方蓄積画像および後方蓄積画像を用いて、第１フレーム乃至第Ｎフレームそれぞれの前景の予測値を求めるための予測係数の学習を行うようにしたが、予測係数の学習は、前方蓄積画像および後方蓄積画像以外の画像を用いて行うようにすることも可能である。即ち、予測係数の学習は、例えば、雑音でなる１枚以上の画像を用いて、前景の予測値の予測誤差を小さくするように、その雑音でなる画像の画素値を操作して行うようにすること等が可能である。
【０２４３】
次に、図３１は、図１のデコーダ２の構成例を示している。
【０２４４】
伝送媒体３（図１）を介して伝送されてくる符号化データ、あるいは記録媒体４（図１）から再生された符号化データは、ＤＭＵＸ（デマルチプレクサ）８１に供給されるようになっており、ＤＭＵＸ８１は、そこに供給される符号化データを、前方蓄積画像、後方蓄積画像、予測係数、全体背景、カメラ動きベクトルに分離するようになっている。なお、符号化データに、誤差画像が含まれる場合には、ＤＭＵＸ８１は、その誤差画像も、符号化データから分離するようになっている。
【０２４５】
前方蓄積画像および後方蓄積画像、さらには、符号化データに誤差画像が含まれる場合にはその誤差画像は、ＤＭＵＸ８１から画像記憶部８６に供給されるようになっている。また、予測係数、全体背景、またはカメラ動きベクトルは、ＤＭＵＸ８１から、予測係数記憶部８２、背景メモリ８７、カメラ動きベクトル記憶部８８にそれぞれ供給されるようになっている。
【０２４６】
予測係数記憶部８２は、ＤＭＵＸ８１からの予測係数を記憶するようになっている。適応処理部８３は、予測係数記憶部８２に記憶された予測係数、並びに画像記憶部８６に記憶された前方蓄積画像および後方蓄積画像、さらには必要に応じて誤差画像を用い、図２４の適応処理部４７における場合と同様の適応処理を行うことで、第１フレーム乃至第Ｎフレームそれぞれの前景の予測値を求めるようになっている。
【０２４７】
前景記憶部８４は、適応処理部８３によって求められる、第１フレーム乃至第Ｎフレームそれぞれの前景の予測値を、第１フレーム乃至第Ｎフレームそれぞれの前景の復号結果として記憶するようになっている。
【０２４８】
合成部８５は、背景メモリ８７に記憶された全体背景から、カメラ動きベクトル記憶部８８に記憶された第ｎフレームのカメラ動きベクトルｖnに基づいて、第ｎフレームの背景を切り出し（抽出し）、その第ｎフレームの背景と、前景記憶部８４に記憶された第ｎフレームの前景の復号結果とを合成することで、第ｎフレームの画像を復号して出力するようになっている。
【０２４９】
画像記憶部８６は、ＤＭＵＸ８１から供給される前方蓄積画像および後方蓄積画像、並びに誤差画像を記憶するようになっている。背景メモリ８７は、ＤＭＵＸ８１から供給される全体背景を記憶するようになっている。カメラ動きベクトル記憶部８８は、ＤＭＵＸ８１から供給される第１フレーム乃至第Ｎフレームそれぞれのカメラ動きベクトルを記憶するようになっている。
【０２５０】
次に、図３２のフローチャートを参照して、図３１のデコーダ２において行われる、一連の画像としての第１フレーム乃至第Ｎフレームの画像を復号する復号処理について説明する。
【０２５１】
まず最初に、ステップＳ１７１において、ＤＭＵＸ８１は、そこに供給される符号化データを、前方蓄積画像、後方蓄積画像、必要な誤差画像、予測係数、全体背景、カメラ動きベクトルに分離する。前方蓄積画像、後方蓄積画像、および必要な誤差画像は、画像記憶部８６に供給されて記憶される。また、予測係数、全体背景、またはカメラ動きベクトルは、予測係数記憶部８２、背景メモリ８７、カメラ動きベクトル記憶部８８にそれぞれ供給されて記憶される。
【０２５２】
その後、ステップＳ１７２に進み、適応処理部８３は、予測係数記憶部８２に記憶された予測係数、並びに画像記憶部８６に記憶された前方蓄積画像、後方蓄積画像、および必要な誤差画像を用い、図２４の適応処理部４７における場合と同様の適応処理を行うことで、第１フレーム乃至第Ｎフレームそれぞれの前景の予測値を求める。この予測値は、前景記憶部８４に供給され、第１フレーム乃至第Ｎフレームそれぞれの前景の復号結果として記憶される。
【０２５３】
そして、ステップＳ１７３に進み、合成部８５において、背景メモリ８７に記憶された全体背景から、カメラ動きベクトル記憶部８８に記憶された第ｎフレームのカメラ動きベクトルｖnに基づいて、第ｎフレームの背景が切り出され、その第ｎフレームの背景と、前景記憶部８４に記憶された第ｎフレームの前景の復号結果とが合成される。合成部８５では、以上の処理が、第１フレーム乃至第Ｎフレームすべてについて行われ、復号処理を終了する。
【０２５４】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアとしてのエンコーダ１やデコーダ２に組み込まれているコンピュータ、または各種のプログラムをインストールすることで各種の処理を行う汎用のコンピュータ等にインストールされる。
【０２５５】
そこで、図３３を参照して、上述した一連の処理を実行するプログラムをコンピュータにインストールし、コンピュータによって実行可能な状態とするために用いられる媒体について説明する。
【０２５６】
プログラムは、図３３（Ａ）に示すように、コンピュータ１０１に内蔵されている記録媒体としてのハードディスク１０２や半導体メモリ１０３に予めインストールした状態でユーザに提供することができる。
【０２５７】
あるいはまた、プログラムは、図３３（Ｂ）に示すように、フロッピーディスク１１１、CD-ROM(Compact Disc Read Only Memory)１１２，MO(Magneto optical)ディスク１１３，DVD(Digital Versatile Disc)１１４、磁気ディスク１１５、半導体メモリ１１６などの記録媒体に、一時的あるいは永続的に格納し、パッケージソフトウエアとして提供することができる。
【０２５８】
さらに、プログラムは、図３３（Ｃ）に示すように、ダウンロードサイト１２１から、ディジタル衛星放送用の人工衛星１２２を介して、コンピュータ１０１に無線で転送したり、LAN(Local Area Network)、インターネットといったネットワーク１３１を介して、コンピュータ１２３に有線で転送し、コンピュータ１０１において、内蔵するハードディスク１０２などに格納させるようにすることができる。
【０２５９】
本明細書における媒体とは、これら全ての媒体を含む広義の概念を意味するものである。
【０２６０】
また、本明細書において、媒体により提供されるプログラムを記述するステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０２６１】
次に、図３４は、図３３のコンピュータ１０１の構成例を示している。
【０２６２】
コンピュータ１０１は、図３４に示すように、CPU(Central Processing Unit)１４２を内蔵している。CPU１４２には、バス１４１を介して、入出力インタフェース１４５が接続されており、CPU１４２は、入出力インタフェース１４５を介して、ユーザによって、キーボードやマウス等で構成される入力部１４７が操作されることにより指令が入力されると、それにしたがって、図３３（Ａ）の半導体メモリ１０３に対応するROM(Read Only Memory)１４３に格納されているプログラムを実行する。あるいは、また、CPU１４２は、ハードディスク１０２に格納されているプログラム、衛星１２２若しくはネットワーク１３１から転送され、通信部１４８で受信されてハードディスク１０２にインストールされたプログラム、またはドライブ１４９に装着されたフロッピディスク１１１、CD-ROM１１２、MOディスク１１３、DVD１１４、若しくは磁気ディスク１１５から読み出されてハードディスク１０２にインストールされたプログラムを、RAM(Random Access Memory)１４４にロードして実行する。そして、CPU１４２は、その処理結果を、例えば、入出力インタフェース１４５を介して、LCD(Liquid CryStal Display)等で構成される表示部１４６に、必要に応じて出力する。
【０２６３】
【発明の効果】
本発明の一側面によれば、画像の撮像時における撮像装置の撮像方向の動きを、簡易に求めることが可能となる。
る。
【図面の簡単な説明】
【図１】本発明を適用した画像伝送装置の一実施の形態の構成例を示す図である。
【図２】図１のエンコーダ１の構成例を示すブロック図である。
【図３】図２の蓄積部１１に記憶される一連の画像を示す図である。
【図４】図２のカメラ動き検出部１２の処理を説明するための図である。
【図５】図２のカメラ動き検出部１２の構成例を示すブロック図である。
【図６】図５のカメラ動き検出部１２によるカメラ動きベクトルの求め方を説明するための図である。
【図７】図５のカメラ動き検出部１２の処理（カメラ動き検出処理）を説明するためのフローチャートである。
【図８】図７のステップＳ３における処理（注目フレームの重心算出処理）の詳細の第１の例を説明するためのフローチャートである。
【図９】レベルテーブルを示す図である。
【図１０】図７のステップＳ４における処理（動き検出範囲の重心算出処理）の詳細を説明するためのフローチャートである。
【図１１】図７のステップＳ３における処理の詳細の第２の例を説明するためのフローチャートである。
【図１２】クラステーブルを示す図である。
【図１３】図７のステップＳ３における処理の詳細の第３の例を説明するためのフローチャートである。
【図１４】エッジ画素を説明するための図である。
【図１５】図５の動きなし判定部２５の処理（動きなし判定処理）の詳細を説明するためのフローチャートである。
【図１６】図２の背景抽出部１４の構成例を示すブロック図である。
【図１７】図１６の存在範囲検出部３１の処理を説明するための図である。
【図１８】図１６の読み出し部３２の処理を説明するための図である。
【図１９】度数テーブルを示す図である。
【図２０】図１６の背景抽出部１４の処理（背景抽出処理）を説明するためのフローチャートである。
【図２１】図２０のステップＳ１２４の処理（背景画素抽出処理）の詳細を説明するためのフローチャートである。
【図２２】図２０のステップＳ１２５の処理（背景拡張処理）の詳細を説明するためのフローチャートである。
【図２３】図２２の背景拡張処理を説明するための図である。
【図２４】図２の前景符号化部１６の構成例を示すブロック図である。
【図２５】図２４の前景蓄積画像構成部４３の処理を説明するための図である。
【図２６】図２４の学習部４５の構成例を示すブロック図である。
【図２７】図２４の適応処理部４７の構成例を示すブロック図である。
【図２８】図２４の前景符号化部１６の処理（前景符号化処理）の詳細を説明するためのフローチャートである。
【図２９】予測タップが、誤差画像を用いて構成される様子を示す図である。
【図３０】予測タップが、２枚の誤差画像を用いて構成される様子を示す図である。
【図３１】図１のデコーダ２の構成例を示すブロック図である。
【図３２】図３１のデコーダ２の処理（復号処理）を説明するためのフローチャートである。
【図３３】本発明を適用した媒体を説明するための図である。
【図３４】図３３のコンピュータ１０１の構成例を示すブロック図である。
【符号の説明】
１ エンコーダ， ２ デコーダ， ３ 伝送媒体， ４ 記録媒体， １１蓄積部， １２ カメラ動き検出部， １３ カメラ動きベクトル記憶部， １４ 背景抽出部， １５ 背景メモリ， １６ 前景符号化部， １７ ＭＵＸ， ２１ 重心算出部， ２２ ベクトル検出部， ２３ 書き込み制御部，２４ 蓄積画像メモリ， ２５ 動きなし判定部， ３１ 存在範囲検出部，３２ 読み出し部， ３３ 度数カウント部， ３４ 度数テーブル記憶部，３５ 書き込み部， ３６ 背景フラグメモリ， ４１ 前景抽出部， ４２前景記憶部， ４３ 前景蓄積画像構成部， ４４ 前景蓄積画像記憶部， ４５ 学習部， ４６ 予測係数記憶部， ４７ 適応処理部， ４８ 誤差計算部， ４９ 誤差画像記憶部， ５０ 誤差判定部， ５１ ＭＵＸ， ６１予測タップ構成部， ６２ 正規方程式構成部， ６３ 予測係数算出部， ７１ 予測タップ構成部， ７２ 予測演算部， ８１ ＤＭＵＸ， ８２ 予測係数記憶部， ８３ 適応処理部， ８４ 前景記憶部， ８５ 合成部， ８６ 画像記憶部， ８７ 背景メモリ， ８８ カメラ動きベクトル記憶部，１０１ コンピュータ， １０２ ハードディスク， １０３ 半導体メモリ， １１１ フロッピーディスク， １１２ CD-ROM， １１３ MOディスク，１１４ DVD， １１５ 磁気ディスク， １１６ 半導体メモリ， １２１ダウンロードサイト， １２２ 衛星， １３１ ネットワーク， １４１ バス， １４２ CPU， １４３ ROM， １４４ RAM， １４５ 入出力インタフェース， １４６ 表示部， １４７ 入力部， １４８ 通信部， １４９ ドライブ
Claims (8)
- 撮像装置によって撮像された画像から、前記撮像装置の撮像方向の動きを検出する動き検出装置であって、
前記撮像装置が出力する各画面の画像が、上書きの形で書き込まれる蓄積画像記憶手段と、
前記蓄積画像記憶手段に記憶された画像である蓄積画像の中の、注目画面の前の画面の画像を包含する範囲を、前記注目画面についての前記動きを検出するのに用いる検出範囲として設定する検出範囲設定手段と、
前記注目画面の画像の各画素を、その画素の画素値を表す値、又は、その周辺にある画素の画素値のパターンを表す値によって分類し、各分類に属する画素の位置の重心の重心を、前記注目画面の重心として算出するとともに、前記検出範囲の画像の各画素を、その画素の画素値を表す値、又は、その周辺の画素の画素値のパターンを表す値によって分類し、各分類に属する画素の位置の重心の重心を、前記検出範囲の重心として算出する重心算出手段と、
前記検出範囲の重心と、前記注目画面の重心に基づいて、前記前の画面の所定の点から前記検出範囲の重心までのベクトルと、前記注目画面の所定の点から前記注目画面の重心までのベクトルとの差分だけ、前記前の画面の画像を撮像したときの前記撮像装置の撮像方向の動きを表す、前記前の画面の動きベクトルを補正することにより、前記注目画面の動きベクトルを求める動きベクトル算出手段と、
前記注目画面の動きベクトルによって、前記蓄積画像記憶手段の書き込みアドレスを制御し、前記注目画面の画像を、前記蓄積画像記憶手段に書き込む書き込み手段と
を含み、
前記書き込みアドレスの制御により、前記蓄積画像記憶手段には、前記注目画面の動きベクトルによって示される点に、前記注目画面の所定の点が位置するように、前記注目画面の画像が書き込まれる
動き検出装置。 - 前記重心算出手段は、
前記検出範囲または注目画面内の画素を、その画素値が属する範囲を表すレベルによって分類し、
各レベルに属する画素の重心を算出し、
各レベルの重心の重心を、前記検出範囲または注目画面の重心としてそれぞれ求める
請求項１に記載の動き検出装置。 - 前記重心算出手段は、
前記検出範囲または注目画面内の各画素を、その周辺にある画素の画素値のパターンを表すクラスによって分類し、
各クラスに属する画素の重心を算出し、
各クラスの重心の重心を、前記検出範囲または注目画面の重心としてそれぞれ求める
請求項１に記載の動き検出装置。 - 前記重心算出手段は、
エッジになっている部分の画素が属する複数のクラスを、複数の特定のクラスとして、前記特定のクラスに属する画素の重心を算出し、
複数の前記特定のクラスの重心の重心を、前記検出範囲または注目画面の重心としてそれぞれ求める
請求項３に記載の動き検出装置。 - 前記注目画面の画像を撮像したときの前記撮像装置の撮像方向の動きの有無を判定する動き有無判定手段をさらに含み、
前記動きベクトル算出手段は、前記動き有無判定手段において動きがあると判定された場合にのみ、前記検出範囲の重心と、前記注目画面の重心に基づいて、前記動きベクトルを求める
請求項１に記載の動き検出装置。 - 前記動き有無判定手段は、
前記注目画面内の各画素を、その周辺にある画素の画素値のパターンを表すクラスによって分類し、
エッジになっている部分の画素が属するクラスを、特定のクラスとして、前記特定のクラスに属する画素の画素値と、前記注目画面の前の画面の対応する画素の画素値とを比較し、
前記前の画面の対応する画素と同一の画素値とみなせる、前記特定のクラスに属する画素の数をカウントし、
前記前の画面の対応する画素と同一の画素値とみなせる、前記特定のクラスに属する画素の数が所定の閾値以上である場合、動きがないと判定し、
前記前の画面の対応する画素と同一の画素値とみなせる、前記特定のクラスに属する画素の数が所定の閾値以上でない場合、動きがあると判定する
請求項５に記載の動き検出装置。 - 撮像装置によって撮像された画像から、前記撮像装置の撮像方向の動きを検出する動き検出方法であって、
前記撮像装置が出力する各画面の画像が、上書きの形で書き込まれる蓄積画像記憶手段に記憶された画像である蓄積画像の中の、注目画面の前の画面の画像を包含する範囲を、前記注目画面についての前記動きを検出するのに用いる検出範囲として設定する検出範囲設定ステップと、
前記注目画面の画像の各画素を、その画素の画素値を表す値、又は、その周辺にある画素の画素値のパターンを表す値によって分類し、各分類に属する画素の位置の重心の重心を、前記注目画面の重心として算出するとともに、前記検出範囲の画像の各画素を、その画素の画素値を表す値、又は、その周辺の画素の画素値のパターンを表す値によって分類し、各分類に属する画素の位置の重心の重心を、前記検出範囲の重心として算出する重心算出ステップと、
前記検出範囲の重心と、前記注目画面の重心に基づいて、前記前の画面の所定の点から前記検出範囲の重心までのベクトルと、前記注目画面の所定の点から前記注目画面の重心までのベクトルとの差分だけ、前記前の画面の画像を撮像したときの前記撮像装置の撮像方向の動きを表す、前記前の画面の動きベクトルを補正することにより、前記注目画面の動きベクトルを求める動きベクトル算出ステップと、
前記注目画面の動きベクトルによって、前記蓄積画像記憶手段の書き込みアドレスを制御し、前記注目画面の画像を、前記蓄積画像記憶手段に書き込む書き込みステップと
を含み、
前記書き込みアドレスの制御により、前記蓄積画像記憶手段には、前記注目画面の動きベクトルによって示される点に、前記注目画面の所定の点が位置するように、前記注目画面の画像が書き込まれる
動き検出方法。 - 撮像装置によって撮像された画像から、前記撮像装置の撮像方向の動きを検出する動き検出装置として、コンピュータを機能させるプログラムが記録された記録媒体であって、
前記撮像装置が出力する各画面の画像が、上書きの形で書き込まれる蓄積画像記憶手段に記憶された画像である蓄積画像の中の、注目画面の前の画面の画像を包含する範囲を、前記注目画面についての前記動きを検出するのに用いる検出範囲として設定する検出範囲設定手段と、
前記注目画面の画像の各画素を、その画素の画素値を表す値、又は、その周辺にある画素の画素値のパターンを表す値によって分類し、各分類に属する画素の位置の重心の重心を、前記注目画面の重心として算出するとともに、前記検出範囲の画像の各画素を、その画素の画素値を表す値、又は、その周辺の画素の画素値のパターンを表す値によって分類し、各分類に属する画素の位置の重心の重心を、前記検出範囲の重心として算出する重心算出手段と、
前記検出範囲の重心と、前記注目画面の重心に基づいて、前記前の画面の所定の点から前記検出範囲の重心までのベクトルと、前記注目画面の所定の点から前記注目画面の重心までのベクトルとの差分だけ、前記前の画面の画像を撮像したときの前記撮像装置の撮像方向の動きを表す、前記前の画面の動きベクトルを補正することにより、前記注目画面の動きベクトルを求める動きベクトル算出手段と、
前記注目画面の動きベクトルによって、前記蓄積画像記憶手段の書き込みアドレスを制御し、前記注目画面の画像を、前記蓄積画像記憶手段に書き込む書き込み手段と
して、コンピュータを機能させるためのプログラムであり、
前記書き込みアドレスの制御により、前記蓄積画像記憶手段には、前記注目画面の動きベクトルによって示される点に、前記注目画面の所定の点が位置するように、前記注目画面の画像が書き込まれる
プログラムが記録されたコンピュータ読み取り可能な記録媒体。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25847299A JP4240674B2 (ja) | 1999-09-13 | 1999-09-13 | 動き検出装置および動き検出方法、並びに記録媒体 |
| US10/855,753 US7003163B2 (en) | 1999-09-13 | 2004-05-27 | Image processing apparatus |
| US10/854,851 US7133562B2 (en) | 1999-09-13 | 2004-05-27 | Image processing apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25847299A JP4240674B2 (ja) | 1999-09-13 | 1999-09-13 | 動き検出装置および動き検出方法、並びに記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001086387A JP2001086387A (ja) | 2001-03-30 |
| JP4240674B2 true JP4240674B2 (ja) | 2009-03-18 |
Family
ID=17320708
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP25847299A Expired - Fee Related JP4240674B2 (ja) | 1999-09-13 | 1999-09-13 | 動き検出装置および動き検出方法、並びに記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4240674B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100453222B1 (ko) * | 2001-12-17 | 2004-10-15 | 한국전자통신연구원 | 카메라 움직임 판별 장치 및 방법 |
| US7636481B2 (en) * | 2002-10-09 | 2009-12-22 | Sony Corporation | Image processing apparatus, method, storage medium, and program for compressing an input image using a motion vector that is detected based on stored position information of pixels |
| KR100618395B1 (ko) * | 2005-03-18 | 2006-09-01 | 에스케이 텔레콤주식회사 | 카메라 움직임 입력 수치화 방법 및 그 장치 |
| KR102264840B1 (ko) | 2014-11-27 | 2021-06-15 | 삼성전자주식회사 | 비디오 프레임 인코딩 회로, 그것의 인코딩 방법 및 그것을 포함하는 비디오 데이터 송수신 장치 |
-
1999
- 1999-09-13 JP JP25847299A patent/JP4240674B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001086387A (ja) | 2001-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4224748B2 (ja) | 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、記録媒体、並びに画像処理装置 | |
| JP5263565B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| KR101092287B1 (ko) | 화상 처리 장치 및 화상 처리 방법 | |
| US7738711B2 (en) | Coding apparatus and method, decoding apparatus and method, data processing system, storage medium, and signal | |
| US20100202711A1 (en) | Image processing apparatus, image processing method, and program | |
| US6546139B1 (en) | Coding apparatus and method, decoding apparatus and method, data processing system, storage medium, and signal | |
| JP2008098800A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP2008521324A (ja) | カバーリング及びアンカバーリングを扱う動きベクトル場の投影 | |
| JP4362895B2 (ja) | データ処理装置およびデータ処理方法、並びに記録媒体 | |
| JP4240674B2 (ja) | 動き検出装置および動き検出方法、並びに記録媒体 | |
| JPH0795591A (ja) | ディジタル画像信号処理装置 | |
| JP3849817B2 (ja) | 画像処理装置および画像処理方法 | |
| JP4186093B2 (ja) | 画像処理装置および画像処理方法、並びに記録媒体 | |
| JP3175914B2 (ja) | 画像符号化方法および画像符号化装置 | |
| JP4507639B2 (ja) | 画像信号処理装置 | |
| EP1620832A1 (en) | Segmentation refinement | |
| JP4770711B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| JP4442076B2 (ja) | データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体 | |
| JP2000348019A (ja) | データ処理装置およびデータ処理方法、並びに媒体 | |
| JPH11164264A (ja) | 画像処理装置および画像処理方法 | |
| JPH08242454A (ja) | グローバル動きパラメタ検出方法 | |
| JP2010219715A (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
| EP0993200A2 (en) | Apparatus and method for image data coding with additional data embedding | |
| JP4120095B2 (ja) | 画像情報変換装置および変換方法 | |
| JPH0937255A (ja) | 動きパラメータ検出装置および動きパラメータ検出方法、並びに画像符号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060227 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080421 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080527 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080723 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080814 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081008 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081030 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081114 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081209 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081222 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120109 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120109 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130109 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |