JP4214425B2 - 画像抜き出し装置および画像抜き出し方法、画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、画像記録装置および画像記録方法、画像再生装置および画像再生方法、並びに記録媒体 - Google Patents
画像抜き出し装置および画像抜き出し方法、画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、画像記録装置および画像記録方法、画像再生装置および画像再生方法、並びに記録媒体 Download PDFInfo
- Publication number
- JP4214425B2 JP4214425B2 JP28260397A JP28260397A JP4214425B2 JP 4214425 B2 JP4214425 B2 JP 4214425B2 JP 28260397 A JP28260397 A JP 28260397A JP 28260397 A JP28260397 A JP 28260397A JP 4214425 B2 JP4214425 B2 JP 4214425B2
- Authority
- JP
- Japan
- Prior art keywords
- foreground
- image
- scene
- constituting
- background
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、画像抜き出し装置および画像抜き出し方法、画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、画像記録装置および画像記録方法、画像再生装置および画像再生方法、並びに記録媒体に関する。特に、画像から、前景を、正確に抜き出すことができるようにする画像抜き出し装置および画像抜き出し方法、画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、画像記録装置および画像記録方法、画像再生装置および画像再生方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
例えば、画像を圧縮符号化する方法としては、従来より種々のものが提案されているが、そのうちの１つにオブジェクト符号化と呼ばれるものがある。
【０００３】
オブジェクト符号化では、一連の複数画面の画像の集まりである１シーン（例えば、あるシーンチェンジから、次のシーンチェンジまでの画面）から、その背景と、動き物体の領域である前景とが検出される。即ち、１シーンがＮ画面でなるときは、そのＮ画面で表示される、１シーン全体の背景（この背景は、例えば、ビデオカメラをパンニングまたはチルティングして撮影されたシーンであれば、横長または縦長の画像となる）と、Ｎ画面の中に共通に存在する前景とが検出される。また、Ｎ画面それぞれの中の前景の動きを表す動きベクトル（以下、適宜、前景動きベクトルという）が検出され、上述の１つずつの背景および前景とともに、１シーンの符号化結果とされる。従って、オブジェクト符号化によれば、画像のデータ量を大幅に削減することができる。
【０００４】
【発明が解決しようとする課題】
以上のようなオブジェクト符号化により得られた符号化データの復号は、背景の中に、前景を、その前景動きベクトルにしたがった位置に配置することで行われる。
【０００５】
従って、前景を、正確に抜き出すことができるかどうかが、復号画像の画質を左右する要因の１つとなる。
【０００６】
本発明は、このような状況に鑑みてなされたものであり、画像から、前景を正確に抜き出すことができるようにするものである。
【０００７】
【課題を解決するための手段】
請求項１に記載の画像抜き出し装置は、１シーンを構成するフレームのうちの所定の１フレームを参照画像として、１シーンを構成する各フレームにおける動きベクトルを検出する動きベクトル検出手段と、１シーンを構成する各フレームの画像における背景を求め、求めた各フレームの画像における背景から、１シーン全体の全体背景を構成する背景構成手段と、１シーンを構成する画像それぞれについて、全体背景の中の対応する部分との差分である第１の差分値を演算し、第１の差分値が所定の閾値以上となる画素の数が所定数以下となる所定の一直線上にある画像の画素を削除して、削除されなかった画素からなる、前景の候補となる前景候補画像を求める前景候補画像算出手段と、動きベクトルに基づいて検出される前景と推定される領域が、中央部分に位置しているフレームを１シーンを構成するフレームの中から検出し、検出したフレームの前景と推定される領域の動きベクトルを前景動きベクトルとして検出し、１シーンを構成する画像それぞれについての前景候補画像のうちの１つを基準画像として、基準画像と、他の前景候補画像の前景どうしが重なるように前景動きベクトルに基づいて対応づけて、基準画像と他の前景候補画像との差分を第２の差分値として演算し、第２の差分値が所定の閾値以上の基準画像を構成する画素を、全体背景を構成するものとして削除し、その画素の削除後の画像を、新たな基準画像として、他の前景候補画像との第２の差分値を演算することを繰り返し、最終的に得られた基準画像を、前景として検出する前景検出手段とを備えることを特徴とする。
【０００８】
請求項７に記載の画像抜き出し方法は、１シーンを構成するフレームのうちの所定の１フレームを参照画像として、１シーンを構成する各フレームにおける動きベクトルを検出し、１シーンを構成する各フレームの画像における背景を求め、求めた各フレームの画像における背景から、１シーン全体の全体背景を構成し、１シーンを構成する画像それぞれについて、全体背景の中の対応する部分との差分である第１の差分値を演算し、第１の差分値が所定の閾値以上となる画素の数が所定数以下となる所定の一直線上にある画像の画素を削除して、削除されなかった画素からなる、前景の候補となる前景候補画像を求め、動きベクトルに基づいて検出される前景と推定される領域が、中央部分に位置しているフレームを１シーンを構成するフレームの中から検出し、検出したフレームの前景と推定される領域の動きベクトルを前景動きベクトルとして検出し、１シーンを構成する画像それぞれについての前景候補画像のうちの１つを基準画像として、基準画像と、他の前景候補画像の前景どうしが重なるように前景動きベクトルに基づいて対応づけて、基準画像と他の前景候補画像との差分を第２の差分値として演算し、第２の差分値が所定の閾値以上の基準画像を構成する画素を、全体背景を構成するものとして削除し、その画素の削除後の画像を、新たな基準画像として、他の前景候補画像との第２の差分値を演算することを繰り返し、最終的に得られた基準画像を、前景として検出することを特徴とする。
【０００９】
請求項１に記載の画像抜き出し装置および請求項７に記載の画像抜き出し方法においては、１シーンを構成するフレームのうちの所定の１フレームを参照画像として、１シーンを構成する各フレームにおける動きベクトルが検出され、１シーンを構成する各フレームの画像における背景を求め、求めた各フレームの画像における背景から、１シーン全体の全体背景が構成され、１シーンを構成する画像それぞれについて、全体背景の中の対応する部分との差分である第１の差分値を演算し、第１の差分値が所定の閾値以上となる画素の数が所定数以下となる所定の一直線上にある画像の画素を削除して、削除されなかった画素からなる、前景の候補となる前景候補画像が求められ、動きベクトルに基づいて検出される前景と推定される領域が、中央部分に位置しているフレームが１シーンを構成するフレームの中から検出され、検出されたフレームの前景と推定される領域の動きベクトルが前景動きベクトルとして検出され、１シーンを構成する画像それぞれについての前景候補画像のうちの１つを基準画像として、基準画像と、他の前景候補画像の前景どうしが重なるように前景動きベクトルに基づいて対応づけて、基準画像と他の前景候補画像との差分が第２の差分値として演算され、第２の差分値が所定の閾値以上の基準画像を構成する画素が、全体背景を構成するものとして削除され、その画素の削除後の画像が、新たな基準画像として、他の前景候補画像との第２の差分値を演算することが繰り返され、最終的に得られた基準画像が、前景として検出される。
【００１０】
請求項８に記載の画像符号化装置は、１シーンを構成するフレームのうちの所定の１フレームを参照画像として、１シーンを構成する各フレームにおける動きベクトルを検出する動きベクトル検出手段と、１シーンを構成する各フレームの画像における背景を求め、求めた各フレームの画像における背景から、１シーン全体の全体背景を構成する背景構成手段と、１シーンを構成する画像それぞれについて、全体背景の中の対応する部分との差分である第１の差分値を演算し、第１の差分値が所定の閾値以上となる画素の数が所定数以下となる所定の一直線上にある画像の画素を削除して、削除されなかった画素からなる、画像における動き物体の領域である前景の候補となる前景候補画像を求める前景候補画像算出手段と、動きベクトルに基づいて検出される前景と推定される領域が、中央部分に位置しているフレームを１シーンを構成するフレームの中から検出し、検出したフレームの前景と推定される領域の動きベクトルを前景動きベクトルとして検出し、１シーンを構成する画像それぞれについての前景候補画像のうちの１つを基準画像として、基準画像と、他の前景候補画像の前景どうしが重なるように前景動きベクトルに基づいて対応づけて、基準画像と他の前景候補画像との差分を第２の差分値として演算し、第２の差分値が所定の閾値以上の基準画像を構成する画素を、全体背景を構成するものとして削除し、その画素の削除後の画像を、新たな基準画像として、他の前景候補画像との第２の差分値を演算することを繰り返し、最終的に得られた基準画像を、前景として検出する前景検出手段と、全体背景と、前景検出手段により検出された前景とを、１シーンの符号化結果として出力する出力手段とを備えることを特徴とする。
【００１１】
請求項９に記載の画像符号化方法は、１シーンを構成するフレームのうちの所定の１フレームを参照画像として、１シーンを構成する各フレームにおける動きベクトルを検出し、
１シーンを構成する各フレームの画像における背景を求め、求めた各フレームの画像における背景から、１シーン全体の全体背景を構成し、１シーンを構成する画像それぞれについて、全体背景の中の対応する部分との差分である第１の差分値を演算し、第１の差分値が所定の閾値以上となる画素の数が所定数以下となる所定の一直線上にある画像の画素を削除して、削除されなかった画素からなる、画像における動き物体の領域である前景の候補となる前景候補画像を求め、動きベクトルに基づいて検出される前景と推定される領域が、中央部分に位置しているフレームを１シーンを構成するフレームの中から検出し、検出したフレームの前景と推定される領域の動きベクトルを前景動きベクトルとして検出し、１シーンを構成する画像それぞれについての前景候補画像のうちの１つを基準画像として、基準画像と、他の前景候補画像の前景どうしが重なるように前景動きベクトルに基づいて対応づけて、基準画像と他の前景候補画像との差分を第２の差分値として演算し、第２の差分値が所定の閾値以上の基準画像を構成する画素を、全体背景を構成するものとして削除し、その画素の削除後の画像を、新たな基準画像として、他の前景候補画像との第２の差分値を演算することを繰り返し、最終的に得られた基準画像を、前景として検出し、全体背景および前景を、１シーンの符号化結果として出力することを特徴とする。
【００１２】
請求項８に記載の画像符号化装置および請求項９に記載の画像符号化方法においては、１シーンを構成するフレームのうちの所定の１フレームを参照画像として、１シーンを構成する各フレームにおける動きベクトルが検出され、１シーンを構成する各フレームの画像における背景を求め、求めた各フレームの画像における背景から、１シーン全体の全体背景が構成され、１シーンを構成する画像それぞれについて、全体背景の中の対応する部分との差分を演算し、第１の差分値が所定の閾値以上となる画素の数が所定数以下となる所定の一直線上にある画像の画素を削除して、削除されなかった画素からなる、画像における動き物体の領域である前景の候補となる前景候補画像が求められ、動きベクトルに基づいて検出される前景と推定される領域が、中央部分に位置しているフレームが１シーンを構成するフレームの中から検出され、検出されたフレームの前景と推定される領域の動きベクトルが前景動きベクトルとして検出され、１シーンを構成する画像それぞれについての前景候補画像のうちの１つを基準画像として、基準画像と、他の前景候補画像の前景どうしが重なるように前景動きベクトルに基づいて対応づけて、基準画像と他の前景候補画像との差分が第２の差分値として演算され、第２の差分値が所定の閾値以上の基準画像を構成する画素が、全体背景を構成するものとして削除され、その画素の削除後の画像が、新たな基準画像として、他の前景候補画像との第２の差分値を演算することが繰り返され、最終的に得られた基準画像が、前景として検出され、全体背景と、検出された前景とが、１シーンの符号化結果として出力される。
【００１３】
請求項１０に記載の画像復号装置は、符号化データは、１シーンを構成するフレームのうちの所定の１フレームを参照画像として、１シーンを構成する各フレームにおける動きベクトルを検出し、１シーンを構成する各フレームの画像における背景を求め、求めた各フレームの画像における背景から、１シーン全体の全体背景を構成し、１シーンを構成する画像それぞれについて、全体背景の中の対応する部分との差分である第１の差分値を演算し、第１の差分値が所定の閾値以上となる画素の数が所定数以下となる所定の一直線上にある画像の画素を削除して、削除されなかった画素からなる、画像における動き物体の領域である前景の候補となる前景候補画像を求め、動きベクトルに基づいて検出される前景と推定される領域が、中央部分に位置しているフレームを１シーンを構成するフレームの中から検出し、検出したフレームの前景と推定される領域の動きベクトルを前景動きベクトルとして検出し、１シーンを構成する画像それぞれについての前景候補画像のうちの１つを基準画像として、基準画像と、他の前景候補画像の前景どうしが重なるように前景動きベクトルに基づいて対応づけて、基準画像と他の前景候補画像との差分を第２の差分値として演算し、第２の差分値が所定の閾値以上の基準画像を構成する画素を、全体背景を構成するものとして削除し、その画素の削除後の画像を、新たな基準画像として、他の前景候補画像との第２の差分値を演算することを繰り返し、最終的に得られた基準画像を、前景として検出することにより得られた全体背景および前景と、各フレームの前景動きベクトルと、各フレームの位置情報を含み、符号化データを、全体背景と前景に分離する分離手段と、全体背景から、１シーンを構成する画像の背景を抽出する抽出手段と、抽出手段により抽出された背景に、前景を合成して、１シーンの画像を復号する復号手段とを備え、抽出手段は、位置情報に対応する全体背景上の領域を、フレームの背景として抽出し、復号手段は、前景動きベクトルに基づいて、フレームの前景の領域上の位置を求め、求めた位置に、前景を合成してフレームを復号し、１シーンの画像を復号することを特徴とする。
【００１４】
請求項１２に記載の画像復号方法は、複数画面の画像の集まりである１シーン単位で符号化を行うことにより得られた符号化データを復号する画像復号方法であって、符号化データは、１シーンを構成するフレームのうちの所定の１フレームを参照画像として、１シーンを構成する各フレームにおける動きベクトルを検出し、１シーンを構成する各フレームの画像における背景を求め、求めた各フレームの画像における背景から、１シーン全体の全体背景を構成し、１シーンを構成する画像それぞれについて、全体背景の中の対応する部分との差分である第１の差分値を演算し、第１の差分値が所定の閾値以上となる画素の数が所定数以下となる所定の一直線上にある画像の画素を削除して、削除されなかった画素からなる、画像における動き物体の領域である前景の候補となる前景候補画像を求め、動きベクトルに基づいて検出される前景と推定される領域が、中央部分に位置しているフレームを１シーンを構成するフレームの中から検出し、検出したフレームの前景と推定される領域の動きベクトルを前景動きベクトルとして検出し、１シーンを構成する画像それぞれについての前景候補画像のうちの１つを基準画像として、基準画像と、他の前景候補画像の前景どうしが重なるように前景動きベクトルに基づいて対応づけて、基準画像と他の前景候補画像との差分を第２の差分値として演算し、第２の差分値が所定の閾値以上の基準画像を構成する画素を、全体背景を構成するものとして削除し、その画素の削除後の画像を、新たな基準画像として、他の前景候補画像との第２の差分値を演算することを繰り返し、最終的に得られた基準画像を、前景として検出することにより得られた全体背景および前景と、各フレームの前景動きベクトルと、各フレームの位置情報を含み、符号化データを、全体背景と前景に分離する分離ステップと、全体背景から、１シーンを構成する画像の背景を抽出する抽出ステップと、抽出ステップで抽出された背景に、前景を合成して、１シーンの画像を復号する復号ステップとを含み、抽出ステップは、位置情報に対応する全体背景上の領域を、フレームの背景として抽出し、復号ステップは、前景動きベクトルに基づいて、フレームの前景の領域上の位置を求め、求めた位置に、前景を合成してフレームを復号し、１シーンの画像を復号することを特徴とする。
【００１５】
請求項１０に記載の画像復号装置および請求項１２に記載の画像復号方法においては、符号化データが、全体背景と前景に分離され、全体背景から、１シーンを構成する画像の背景が抽出され、抽出された背景に、前景を合成して、１シーンの画像が復号され、位置情報に対応する全体背景上の領域が、フレームの背景として抽出され、前景動きベクトルに基づいて、フレームの前景の領域上の位置が求められ、求められた位置に、前景が合成されてフレームが復号され、１シーンの画像が復号される。
【００１６】
請求項１３に記載の画像記録装置は、１シーンを構成するフレームのうちの所定の１フレームを参照画像として、１シーンを構成する各フレームにおける動きベクトルを検出する動きベクトル検出手段と、１シーンを構成する各フレームの画像における背景を求め、求めた各フレームの画像における背景から、１シーン全体の全体背景を構成する背景構成手段と、１シーンを構成する画像それぞれについて、全体背景の中の対応する部分との差分である第１の差分値を演算し、第１の差分値が所定の閾値以上となる画素の数が所定数以下となる所定の一直線上にある画像の画素を削除して、削除されなかった画素からなる、画像における動き物体の領域である前景の候補となる前景候補画像を求める前景候補画像算出手段と、動きベクトルに基づいて検出される前景と推定される領域が、中央部分に位置しているフレームを１シーンを構成するフレームの中から検出し、検出したフレームの前景と推定される領域の動きベクトルを前景動きベクトルとして検出し、１シーンを構成する画像それぞれについての前景候補画像のうちの１つを基準画像として、基準画像と、他の前景候補画像の前景どうしが重なるように前景動きベクトルに基づいて対応づけて、基準画像と他の前景候補画像との差分を第２の差分値として演算し、第２の差分値が所定の閾値以上の基準画像を構成する画素を、全体背景を構成するものとして削除し、その画素の削除後の画像を、新たな基準画像として、他の前景候補画像との第２の差分値を演算することを繰り返し、最終的に得られた基準画像を、前景として検出する前景検出手段と、全体背景と、前景検出手段により検出された前景とを記録する記録手段とを備えることを特徴とする。
【００１７】
請求項１４に記載の画像記録方法は、１シーンを構成するフレームのうちの所定の１フレームを参照画像として、１シーンを構成する各フレームにおける動きベクトルを検出し、１シーンを構成する各フレームの画像における背景を求め、求めた各フレームの画像における背景から、１シーン全体の全体背景を構成し、１シーンを構成する画像それぞれについて、全体背景の中の対応する部分との差分である第１の差分値を演算し、第１の差分値が所定の閾値以上となる画素の数が所定数以下となる所定の一直線上にある画像の画素を削除して、削除されなかった画素からなる、画像における動き物体の領域である前景の候補となる前景候補画像を求め、動きベクトルに基づいて検出される前景と推定される領域が、中央部分に位置しているフレームを１シーンを構成するフレームの中から検出し、検出したフレームの前景と推定される領域の動きベクトルを前景動きベクトルとして検出し、１シーンを構成する画像それぞれについての前景候補画像のうちの１つを基準画像として、基準画像と、他の前景候補画像の前景どうしが重なるように前景動きベクトルに基づいて対応づけて、基準画像と他の前景候補画像との差分を第２の差分値として演算し、第２の差分値が所定の閾値以上の基準画像を構成する画素を、全体背景を構成するものとして削除し、その画素の削除後の画像を、新たな基準画像として、他の前景候補画像との第２の差分値を演算することを繰り返し、最終的に得られた基準画像を、前景として検出し、全体背景および前景を記録することを特徴とする。
【００１８】
請求項１３に記載の画像記録装置および請求項１４に記載の画像記録方法においては、１シーンを構成するフレームのうちの所定の１フレームを参照画像として、１シーンを構成する各フレームにおける動きベクトルが検出され、１シーンを構成する各フレームの画像における背景を求め、求めた各フレームの画像における背景から、１シーン全体の全体背景が構成され、１シーンを構成する画像それぞれについて、全体背景の中の対応する部分との差分である第１の差分値を演算し、第１の差分値が所定の閾値以上となる画素の数が所定数以下となる所定の一直線上にある画像の画素を削除して、削除されなかった画素からなる、画像における動き物体の領域である前景の候補となる前景候補画像が求められ、動きベクトルに基づいて検出される前景と推定される領域が、中央部分に位置しているフレームが１シーンを構成するフレームの中から検出され、検出されたフレームの前景と推定される領域の動きベクトルが前景動きベクトルとして検出され、１シーンを構成する画像それぞれについての前景候補画像のうちの１つを基準画像として、基準画像と、他の前景候補画像の前景どうしが重なるように前景動きベクトルに基づいて対応づけて、基準画像と他の前景候補画像との差分が第２の差分値として演算され、第２の差分値が所定の閾値以上の基準画像を構成する画素が、全体背景を構成するものとして削除され、その画素の削除後の画像が、新たな基準画像として、他の前景候補画像との第２の差分値を演算することが繰り返され、最終的に得られた基準画像が、前景として検出され、全体背景と、検出された前景とが記録される。
【００１９】
請求項１５に記載の画像再生装置は、記録データは、１シーンを構成するフレームのうちの所定の１フレームを参照画像として、１シーンを構成する各フレームにおける動きベクトルを検出し、１シーンを構成する各フレームの画像における背景を求め、求めた各フレームの画像における背景から、１シーン全体の全体背景を構成し、１シーンを構成する画像それぞれについて、全体背景の中の対応する部分との差分である第１の差分値を演算し、第１の差分値が所定の閾値以上となる画素の数が所定数以下となる所定の一直線上にある画像の画素を削除して、削除されなかった画素からなる、画像における動き物体の領域である前景の候補となる前景候補画像を求め、動きベクトルに基づいて検出される前景と推定される領域が、中央部分に位置しているフレームを１シーンを構成するフレームの中から検出し、検出したフレームの前景と推定される領域の動きベクトルを前景動きベクトルとして検出し、１シーンを構成する画像それぞれについての前景候補画像のうちの１つを基準画像として、基準画像と、他の前景候補画像の前景どうしが重なるように前景動きベクトルに基づいて対応づけて、基準画像と他の前景候補画像との差分を第２の差分値として演算し、第２の差分値が所定の閾値以上の基準画像を構成する画素を、全体背景を構成するものとして削除し、その画素の削除後の画像を、新たな基準画像として、他の前景候補画像との第２の差分値を演算することを繰り返し、最終的に得られた基準画像を、前景として検出することにより得られた全体背景および前景と、各フレームの前景動きベクトルと、各フレームの位置情報を含み、記録データを、全体背景と前景に分離する分離手段と、全体背景から、１シーンを構成する画像の背景を抽出する抽出手段と、抽出手段により抽出された背景に、前景を合成して、１シーンの画像を再生する再生手段とを備え、抽出手段は、位置情報に対応する全体背景上の領域を、フレームの背景として抽出し、再生手段は、前景動きベクトルに基づいて、フレームの前景の領域上の位置を求め、求めた位置に、前景を合成してフレームを再生し、１シーンの画像を再生することを特徴とする。
【００２０】
請求項１７に記載の画像再生方法は、記録データは、１シーンを構成するフレームのうちの所定の１フレームを参照画像として、１シーンを構成する各フレームにおける動きベクトルを検出し、１シーンを構成する各フレームの画像における背景を求め、求めた各フレームの画像における背景から、１シーン全体の全体背景を構成し、１シーンを構成する画像それぞれについて、全体背景の中の対応する部分との差分である第１の差分値を演算し、第１の差分値が所定の閾値以上となる画素の数が所定数以下となる所定の一直線上にある画像の画素を削除して、削除されなかった画素からなる、画像における動き物体の領域である前景の候補となる前景候補画像を求め、動きベクトルに基づいて検出される前景と推定される領域が、中央部分に位置しているフレームを１シーンを構成するフレームの中から検出し、検出したフレームの前景と推定される領域の動きベクトルを前景動きベクトルとして検出し、１シーンを構成する画像それぞれについての前景候補画像のうちの１つを基準画像として、基準画像と、他の前景候補画像の前景どうしが重なるように前景動きベクトルに基づいて対応づけて、基準画像と他の前景候補画像との差分を第２の差分値として演算し、第２の差分値が所定の閾値以上の基準画像を構成する画素を、全体背景を構成するものとして削除し、その画素の削除後の画像を、新たな基準画像として、他の前景候補画像との第２の差分値を演算することを繰り返し、最終的に得られた基準画像を、前景として検出することにより得られた全体背景および前景と、各フレームの前景動きベクトルと、各フレームの位置情報を含み、記録データを、全体背景と前景に分離する分離ステップと、全体背景から、１シーンを構成する画像の背景を抽出する抽出ステップと、抽出ステップで抽出された背景に、前景を合成して、１シーンの画像を再生する再生ステップとを含み、抽出ステップは、位置情報に対応する全体背景上の領域を、フレームの背景として抽出し、再生ステップは、前景動きベクトルに基づいて、フレームの前景の領域上の位置を求め、求めた位置に、前景を合成してフレームを再生し、１シーンの画像を再生することを特徴とする。
【００２１】
請求項１５に記載の画像再生装置および請求項１７に記載の画像再生方法においては、記録データが、全体背景と前景に分離され、全体背景から、１シーンを構成する画像の背景が抽出され、抽出された背景に、前景を合成して、１シーンの画像が再生され、位置情報に対応する全体背景上の領域が、フレームの背景として抽出され、前景動きベクトルに基づいて、フレームの前景の領域上の位置が求められ、求められた位置に、前景が合成されてフレームが再生され、１シーンの画像が再生される。
【００２４】
請求項１８に記載の記録媒体は、１シーンを構成するフレームのうちの所定の１フレームを参照画像として、１シーンを構成する各フレームにおける動きベクトルを検出し、１シーンを構成する各フレームの画像における背景を求め、求めた各フレームの画像における背景から、１シーン全体の全体背景を構成し、１シーンを構成する画像それぞれについて、全体背景の中の対応する部分との差分である第１の差分値を演算し、第１の差分値が所定の閾値以上となる画素の数が所定数以下となる所定の一直線上にある画像の画素を削除して、削除されなかった画素からなる、画像における動き物体の領域である前景の候補となる前景候補画像を求め、動きベクトルに基づいて検出される前景と推定される領域が、中央部分に位置しているフレームを１シーンを構成するフレームの中から検出し、検出したフレームの前景と推定される領域の動きベクトルを前景動きベクトルとして検出し、１シーンを構成する画像それぞれについての前景候補画像のうちの１つを基準画像として、基準画像と、他の前景候補画像の前景どうしが重なるように前景動きベクトルに基づいて対応づけて、基準画像と他の前景候補画像との差分を第２の差分値として演算し、第２の差分値が所定の閾値以上の基準画像を構成する画素を、全体背景を構成するものとして削除し、その画素の削除後の画像を、新たな基準画像として、他の前景候補画像との第２の差分値を演算することを繰り返し、最終的に得られた基準画像を、前景として検出する処理を行わせるためのプログラムが記録されていることを特徴とする。
【００３９】
【発明の実施の形態】
図１は、本発明を適用した記録再生装置の一実施の形態の構成例を示している。
【００４０】
この記録再生装置においては、複数画面の画像の集まりである１シーンを単位として、オブジェクト符号化が行われ、それにより得られる符号化データが記録媒体３に記録されるようになされている。さらに、この記録再生装置では、記録媒体３に記録された符号化データが再生、復号され、その結果得られる復号画像が、例えば、図示せぬディスプレイなどに供給されて表示されるようになされている。
【００４１】
即ち、ハードディスク６には、オブジェクト符号化対象のディジタル画像（動画像）が記録されている。なお、ここでは、説明を簡単にするために、例えば、ビデオカメラなどで撮影された画像について、シーンチェンジの検出が行われ、そのようなシーンチェンジごとに区切られた、一連の複数画面の画像の集まりである１シーン単位で、画像が、ハードディスク６に記録されており、ハードディスク６から記録再生装置に対しては、画像が、１シーン単位で供給されるものとする。また、ハードディスク６に記憶された画像は、例えば、背景としてのある風景の中を、動き物体である前景としてのトラックなどが走行しているような、いわば剛体動きをする背景および１の前景でなるものであるとする。
【００４２】
記録再生装置に対して、ハードディスク６から、１シーン分の画像が供給されると、その画像は、エンコーダ１においてオブジェクト符号化され、その結果得られる符号化データは、記録部２に供給される。記録部２では、エンコーダ１からの符号化データが、記録媒体３に記録される。なお、記録媒体３としては、光磁気ディスクや、磁気ディスク、相変化ディスク、磁気テープなどの他、インターネットや、衛星回線、地上回線、公衆網、ＣＡＴＶ網などの伝送媒体も含まれる。
【００４３】
記録媒体３に記録された符号化データは、再生部４において再生され、デコーダ５に供給される。デコーダ５では、再生部４からの符号化データが復号され、その結果得られる復号画像が出力される。
【００４４】
次に、図２は、図１のエンコーダ１の構成例を示している。
【００４５】
ハードディスク６からの１シーン分の画像データは、フィールド／フレーム変換部１１に供給されるようになされている。フィールド／フレーム変換部１１では、ハードディスク６からの画像データが、フィールド単位のものからフレーム単位のものに変換され、フレームメモリ部１２に供給される。即ち、ハードディスク６に記憶された画像データは、ここでは、例えば、ＮＴＳＣ方式などのインターレース方式のテレビジョン信号になっており、フィールド／フレーム変換部１１では、そのインターレース方式の信号が、ノンインターレース方式の信号（いわゆるプログレッシブな画像データ）に変換され、フレームメモリ部１２に供給される。なお、ハードディスク６に記憶された画像データが、プログレッシブなものである場合には、フィールド／フレーム変換部１１は必要なく、ハードディスク６からの画像データは、そのままフレームメモリ部１２に供給される。
【００４６】
フレームメモリ部１２では、ハードディスク６から、フィールド／フレーム変換部１１を介して供給される１シーン分のフレーム単位の画像データが記憶される。フレームメモリ部１２に、１シーン分の画像データが記憶されると、動きベクトル検出部１３では、その画像データの動きベクトルが検出される。
【００４７】
即ち、フレームメモリ部１２に記憶された１シーン分の画像データを、その先頭のフレームから、第１フレーム、第２フレーム、・・・、第Ｎフレームとすると（従って、ここでは、フレームメモリ部１２に記憶された１シーン分の画像データは、第１フレーム乃至第ＮフレームのＮフレームでなる）、動きベクトル検出部１３は、例えば、第１フレームを基準（いわゆる参照画像）として、第２乃至第Ｎフレームそれぞれにおける動きベクトルを、８×８（横×縦）画素のブロック単位で検出する。さらに、動きベクトル検出部１３では、各フレームの動きベクトルが、１画素より細かい、例えば、１／４画素以下の精度で検出される。
【００４８】
ここで、画素より細かい単位での動きベクトルの検出は、例えば、次のようにして行うことができる。即ち、例えば、動きベクトルを検出しようとする注目フレームのブロック（以下、適宜、処理対象ブロックという）と同一の大きさで同一の形のブロックを、ここでは、第１フレームの所定の位置に考え、まず最初に、そのブロック（以下、適宜、参照ブロックという）と処理対象ブロックとの、対応する位置にある画素の画素値どうしの差分の絶対値和や２乗和など（以下、適宜、誤差という）を求める。
【００４９】
いま、参照ブロックの位置からの、処理対象ブロックへのベクトルが（ｘ，ｙ）のときに得られる誤差をＥ（ｘ，ｙ）と表し、画素単位で動きベクトルを検出したときに、誤差Ｅ（ｘ，ｙ）を最小にする動きベクトルとして、（ｘ0，ｙ0）が得られたとする。
【００５０】
この場合、Ｅ（ｘ0−１，ｙ0）＜Ｅ（ｘ0＋１，ｙ0）が成り立つならば、図３（Ａ）に示すように、Ｅ（ｘ0−２，ｙ0），Ｅ（ｘ0−１，ｙ0），Ｅ（ｘ0，ｙ0），Ｅ（ｘ0＋１，ｙ0）の４点をスプライン補間して得られる曲線を求め、また、Ｅ（ｘ0−１，ｙ0）＜Ｅ（ｘ0＋１，ｙ0）が成り立たないならば、図３（Ｂ）に示すように、Ｅ（ｘ0−１，ｙ0），Ｅ（ｘ0，ｙ0），Ｅ（ｘ0＋１，ｙ0），Ｅ（ｘ0＋２，ｙ0）の４点をスプライン補間して得られる曲線を求める。
【００５１】
さらに、その曲線から、誤差Ｅ（ｘ，ｙ0）を最小にするｘ（以下、適宜、ｘminという）を求め、同様にして、誤差Ｅ（ｘ0，ｙ）を最小にするｙ（以下、適宜、ｙminという）を求める。そして、その結果得られるｘminおよびｙminで表されるベクトル（ｘmin，ｙmin）が、画素より細かい単位での動きベクトルとなる。
【００５２】
動きベクトル検出部１３は、フレームメモリ部１２に記憶された画像の動きベクトルを検出した後、その動きベクトルを、背景抽出部１４および前景抽出部１５に供給するとともに、その動きベクトルに基づいて、フレームメモリ部１２に記憶された画像におけるフィールド間のずれの補正を行う。即ち、ハードディスク６に記憶された画像データが、例えば、上述したように、ＮＴＳＣ方式のものである場合には、あるフレームを構成する２つのフィールドの間には、約１／６０秒に相当する画像のずれがある。動きベクトル検出部１３は、このずれを、動きベクトルにしたがって補正する。
【００５３】
動きベクトル検出部１３において、フレームメモリ部１２に記憶された画像におけるフィールド間のずれの補正が行われると、背景抽出部１４では、フレームメモリ部１２に記憶された１シーン分の画像を構成する各フレームが適宜読み出され、その１シーン全体の背景が、動きベクトル検出部１３からの動きベクトルに基づいて検出（抽出）される。即ち、フレームメモリ部１２に記憶された１シーン分の画像が、例えば、ある風景の中を走行するトラックを、ビデオカメラを右から左にパンニングしながら撮影したものであるとすると、１シーン分の画像全体の背景は、横長のものになるが、この場合、背景抽出部１４では、そのような横長の背景が検出される。さらに、背景抽出部１４では、その横長の背景における、各フレームの位置に関する位置情報も検出され、その背景の画像と各フレームの位置情報とが、背景情報として、前景抽出部１５および符号化部１６に供給される。
【００５４】
前景抽出部１５は、動きベクトル検出部１３から動きベクトルを受信するとともに、背景抽出部１４から背景情報を受信すると、フレームメモリ部１２に記憶された１シーン分の画像を構成する各フレームを適宜読み出し、その各フレームの画像、並びに動きベクトルおよび背景情報を用いて、前景を検出（抽出）する。さらに、前景抽出部１５は、各フレームにおける前景についての動きベクトル（前景動きベクトル）を検出し、この前景動きベクトルと前景の画像とを、前景情報として符号化部１６に供給する。
【００５５】
符号化部１６は、背景抽出部１４からの背景情報と、前景抽出部１５からの前景情報とを、例えば多重化することにより、符号化データとし、記録部２に供給する。
【００５６】
次に、図４は、図２の背景抽出部１４の構成例を示している。
【００５７】
読み書き制御部２１は、フレームメモリ部１２に記憶された画像の読み出しを制御するとともに、背景メモリ２２または位置情報メモリ２３それぞれへの背景または位置情報の書き込みを制御するようになされている。即ち、読み書き制御部２１は、フレームメモリ部１２に記憶された画像を、第１フレームから順次読み出し、各フレームの画像における背景を、動きベクトル検出部１３から供給される動きベクトルに基づいて求め、背景メモリ２２に書き込むようになされている。さらに、読み書き制御部２１は、背景メモリ２２に記憶された背景における、各フレームの位置に関する位置情報を検出し、位置情報メモリ２３に書き込むようにもなされている。
【００５８】
背景メモリ２２は、読み書き制御部２１の制御にしたがい、各フレームの背景を記憶することにより、１シーン全体の背景（以下、適宜、全体背景という）を構成し、また、その全体背景を、マルチプレクサ（ＭＵＸ）２４に供給するようになされている。位置情報メモリ２３は、読み書き制御部２１の制御にしたがい、全体背景における各フレームの位置情報を記憶し、また、記憶した位置情報を、マルチプレクサ２４に供給するようになされている。マルチプレクサ２４は、背景メモリ２２からの全体背景と、位置情報メモリ２３からの各フレームの位置情報とを多重化し、背景情報として、前景抽出部１５および符号化部１６に供給するようになされている。
【００５９】
図５は、図４の背景メモリ２２の構成例を示している。
【００６０】
背景メモリ２２は、例えば、水平方向（水平走査線の方向）にはＰH’個の画素（画素値）を、垂直方向にはＰV’個の画素（画素値）を、それぞれ記憶することができるようになされている。なお、１フレームの画像を構成する水平方向または垂直方向の画素数を、それぞれＰHまたはＰVとすると、ＰH’＞＞ＰH，ＰV’＞＞ＰVとなっており、従って、背景メモリ２２は、水平方向および垂直方向とも、１フレームを構成する画素数より充分多い画素数でなる画像を記憶することができるようになされている。
【００６１】
ここで、背景メモリ２２のアドレスは、その最も左上の記憶領域を原点（０，０）とし、水平または垂直方向をそれぞれｘまたはｙ軸としてシーケンシャルに付されており、従って、左からｉ＋１番目で、上からｊ＋１番目の絶対アドレスは、（ｉ，ｊ）となっている。
【００６２】
次に、図６のフローチャートを参照して、図４の背景抽出部１４において行われる背景（全体背景）を抽出する処理（背景抽出処理）について説明する。
【００６３】
背景抽出部１４では、まず最初に、ステップＳ１において初期化処理が行われる。即ち、読み書き制御部２１は、背景メモリ２２および位置情報メモリ２３の記憶値を、所定の初期値にクリアする。さらに、読み書き制御部２１は、背景メモリ２２のアドレスポインタを、フレームメモリ部１２に記憶された１シーン分の画像の動きベクトルに基づいて、所定のアドレスにセットする。
【００６４】
ここで、背景メモリ２２には、上述したように、各フレームの背景が記憶されることにより、１シーン全体の背景（全体背景）が構成される。従って、１シーン分の画像が、例えば、ビデオカメラを、右から左にパンニングして撮影されたものである場合には、１シーン分の画像、即ち、第１乃至第Ｎフレームの背景で構成される全体背景は、その第１乃至第Ｎフレームを、その位置を右から左に徐々にずらして並べて形成される、図７に点線で示すような横長のものになる。そして、この場合、例えば、第１フレームの背景を、背景メモリ２２の左端の方に記憶させたのでは、全体背景を記憶することが困難となる。そこで、初期化処理において、読み書き制御部２１は、背景メモリ２２に第１フレームの画像を記憶させるときに、例えば、そのフレームの最も左上の画素が記憶されるアドレスを指すポインタであるアドレスポインタを、全体背景をすべて記憶させることができるようなアドレスにセットするようになされている。従って、例えば、全体背景が、図７に点線で示すような横長のものである場合には、初期化処理において、アドレスポインタは、例えば、図８に示すように、背景メモリ２２の右端の方のアドレスにセットされる。なお、背景メモリ２２が、いわゆるリングバッファとして構成されている場合には、初期化処理において、アドレスポインタは、どのアドレスに設定しても問題はない。
【００６５】
初期化処理が終了すると、ステップＳ２に進み、読み書き制御部２１は、背景についての動きベクトルの基準値ＶBを検出する。即ち、読み書き制御部２１は、例えば、第２フレームの各ブロックごとの動きベクトルに基づき、第１フレームから、背景と推定される領域を検出する。そして、読み書き制御部２１は、その領域におけるブロックの動きベクトルの平均値（小数点以下は、例えば切り捨てる）を、背景についての動きベクトルの基準値ＶBとする。
【００６６】
その後、読み書き制御部２１は、ステップＳ３において、第１フレームから検出した背景（と推定される領域）を構成する画素（以下、適宜、背景画素という）を、背景メモリ２２の、対応するアドレスに書き込む。即ち、読み書き制御部２１は、第１フレームの背景画素を、図８に示したアドレスポインタを最も左上の頂点とするＰH×ＰV画素の領域の対応するアドレスに書き込む。そして、ステップＳ４に進み、読み書き制御部２１は、例えば、いまのアドレスポインタの位置（アドレスポインタが指している、背景メモリ２２のアドレス）を、第１フレームの位置情報として、位置情報メモリ２３に書き込み、ステップＳ５に進む。
【００６７】
ステップＳ５では、読み書き制御部２１において、フレーム数をカウントするための変数ｎに、初期値としての２がセットされ、ステップＳ６に進む。ステップＳ６では、読み書き制御部２１において、各フレームを構成する８×８のブロックをカウントするための変数ｂに、初期値としての、例えば１がセットされ、ステップＳ７に進む。ここで、各フレームにおける最も左上のブロックを、第１ブロックとし、以下、いわゆるラスタスキャン順に、各ブロックを、第２ブロック、第３ブロック、・・・とするものとする。なお、ここでは、１フレームはＢ個のブロック、即ち、第１乃至第Ｂブロックで構成されるものとする。
【００６８】
ステップＳ７では、読み書き制御部２１において、動きベクトル検出部１３から供給された、第ｎフレームにおける第ｂブロックの動きベクトルＶbの信頼度Ｃbが閾値εC以上であり（より大きく）、動きベクトルＶbと背景についての動きベクトルの基準値ＶBとの差分の絶対値（ノルム）が閾値εV以下（未満）であり、かつ動きベクトルＶbのｘ，ｙ成分がいずれも整数値（小数点以下が０）であるかどうかが判定される。
【００６９】
ここで、動きベクトルＶbの信頼度Ｃbは、その動きベクトルＶbに対応する第ｂブロックが、背景の領域であることの信頼性を表すもので、ここでは、例えば、次式で定義されている。
【００７０】
【数１】
・・・（１）
但し、式（１）において、ｍｓｅi,jは、次式で表される。
【数２】
・・・（２）
【００７１】
ここで、式（２）において、ｓ（ｘ，ｙ）は、第ｂブロックの最も左上から、右方向にｘ番目で、下方向にｙ番目の位置にある画素（画素値）を表す。また、式（２）において、ｓ’（ｘ＋ｉ，ｙ＋ｊ）は、第ｂブロックの動きベクトルＶbを検出する際の基準となる画像（参照画像）、即ち、ここでは、第１フレームにおける、第ｂブロックに対応する８×８画素のブロックから、水平方向または垂直方向に、それぞれｉまたはｊ画素だけ移動した位置におけるブロックの最も左上から、右方向にｘ番目で、下方向にｙ番目の位置にある画素を表す。さらに、式（２）において、ｘまたはｙについてのサメーション（Σ）は、ｘまたはｙを、１ブロックを構成する水平方向または垂直方向の画素数にそれぞれ対応する値、即ち、ここでは、いずれも１乃至８に変えてのサメーションを表す。従って、式（２）で表されるｍｓｅi,jは、ｉ，ｊを、動きベクトルＶbのｘ，ｙ成分それぞれとして、その動きベクトルＶbにしたがって、参照画像（ここでは、上述したように、第１フレーム）を動き補償して得られる、いわば予測画像の予測誤差に相当する。
【００７２】
なお、式（１）において、ｉまたはｊについてのサメーションは、ｉまたはｊを、水平方向または垂直方向の動き検出の範囲内で変えてのサメーションをそれぞれ表す。また、水平方向または垂直方向の動き検出の範囲（ｉまたはｊがとり得る値）を、例えば、−Ｘ乃至Ｘまたは−Ｙ乃至Ｙとそれぞれすると（但し、Ｘ，Ｙは、正の整数）、式（１）において、ＩまたはＪは、２Ｘ＋１または２Ｙ＋１でそれぞれ表される値である。
【００７３】
従って、式（１）で表される信頼度Ｃbは、式（２）におけるｉ，ｊを変えて予測誤差を求めた場合に、最小の予測誤差が、その他の予測誤差と比較して相対的に小さいときに大きくなる。
【００７４】
ステップＳ７において、第ｎフレームにおける第ｂブロックの動きベクトルＶbの信頼度Ｃbが閾値εC以上であり、動きベクトルＶbと背景についての動きベクトルの基準値ＶBとの差分の絶対値が閾値εV以下であり、かつ動きベクトルＶbのｘ，ｙ成分がいずれも整数値である場合、ステップＳ８に進み、読み書き制御部２１は、その第ｂブロックを構成する画素を、全体背景を構成する画素として、背景メモリ２２の対応するアドレスに書き込み、ステップＳ９に進む。
【００７５】
即ち、読み書き制御部２１は、第ｂブロックを、第１フレームの対応する位置から、動きベクトルＶbに対応する分だけ移動した位置（背景メモリ２２のアドレス）に書き込む。なお、第ｂブロックを構成するある画素を書き込もうとする背景メモリ２２のアドレスに、既に、全体背景としての画素が記憶されている場合には、読み書き制御部２１において、例えば、その既に記憶されている画素が、背景メモリ２２から読み出されて、その読み出された画素との平均値が求められ、これが、新たに全体背景を構成する画素として、背景メモリ２２に書き込まれる。なお、この場合、平均値ではなく、重み付け加算値（例えば、既に記憶されている画素を８として、第ｂブロックの画素を２とする）を書き込んだり、また、第ｂブロックの画素を、単に、上書きすることも可能である。
【００７６】
一方、ステップＳ７において、第ｎフレームにおける第ｂブロックの動きベクトルＶbの信頼度Ｃbが閾値εC以上でないか、動きベクトルＶbと背景についての動きベクトルの基準値ＶBとの差分の絶対値が閾値εV以下でないか、または動きベクトルＶbのｘ，ｙ成分の少なくとも一方が整数値でない場合、ステップＳ８をスキップして、ステップＳ９に進み、読み書き制御部２１において、ブロック数をカウントする変数ｂが、１フレームを構成するブロック数Ｂに等しいかどうかが判定される。ステップＳ９において、変数ｂがＢに等しくないと判定された場合、ステップＳ１０に進み、読み書き制御部２１において、変数ｂが１だけインクリメントされ、ステップＳ７に戻り、同様の処理が繰り返される。
【００７７】
また、ステップＳ９において、変数ｂがＢに等しいと判定された場合、ステップＳ１１に進み、読み書き制御部２１において、第ｎフレームの位置情報が求められ、位置情報メモリ２３に書き込まれる。即ち、ステップＳ１１では、例えば、第ｎフレームを構成するブロックのうち、背景メモリ２２に書き込まれたものの動きベクトルの平均値（小数点以下は、例えば、切り捨てる）が求められ、この平均値が、アドレスポインタに加算される。そして、この加算後のアドレスポインタが指すアドレスが、第ｎフレームの位置情報として、位置情報メモリ２３に書き込まれる。なお、第ｎフレームを構成するブロックの中に、背景メモリ２２に書き込まれたものが１つもない場合は、例えば、その第ｎフレームを構成するすべてのブロックの動きベクトルの平均値が、位置情報を求めるのに用いられる。
【００７８】
第ｎフレームの位置情報の書き込み後は、ステップＳ１２に進み、フレーム数をカウントする変数ｎが、１シーンを構成するフレーム数Ｎに等しいかどうかが、読み書き制御部２１によって判定される。ステップＳ１２において、変数ｎがＮに等しくないと判定された場合、ステップＳ１３に進み、読み書き制御部２１において、変数ｎが１だけインクリメントされ、ステップＳ６に戻る。また、ステップＳ１２において、変数ｎがＮに等しいと判定された場合、背景抽出処理を終了する。
【００７９】
以上のように、動きベクトルの信頼度Ｃbが閾値εC以上であり、動きベクトルと背景についての動きベクトルの基準値ＶBとの差分の絶対値が閾値εV以下であり、かつ動きベクトルのｘ，ｙ成分がいずれも整数値である場合に、その動きベクトルが検出されたブロックを構成する画素を、背景を構成するものとして確定し、背景メモリ２２に書き込むようにしたので、背景を、精度良く抽出することが可能となる。
【００８０】
また、あるブロックを構成する画素を、背景を構成する画素として書き込もうとする背景メモリ２２のアドレスに、既に、全体背景としての画素が記憶されている場合には、その既に記憶されている画素との平均値を書き込むようにしたので、例えば、影の影響などにより、輝度が急激に変化するような、違和感のある全体背景が構成されることを防止することが可能となる。
【００８１】
なお、シーンの最初の数フレームを、背景だけからなる画像としておくことにより、各フレームから、背景を、より精度良く抽出することが可能となる。
【００８２】
また、上述の場合においては、説明を簡単にするために、動きベクトル検出部１３において、常時、第１フレームを基準として、他のフレームの動きベクトルを検出するようにしたが、画像が、ビデオカメラをパンニングやチルティングして撮影されたものである場合には、後のフレームにおいて、第１フレームの背景がまったく表示されていない状態となることがあり、動きベクトルの検出が困難となる。そこで、動きベクトルを検出するための基準となる画像は、例えば、数十フレーム単位で切り替えるのが望ましい。なお、動きベクトルの検出のために、新たに基準とする画像は、いま基準とされている画像に対する動きベクトルのｘ，ｙ成分がともに整数になっているものであることが望ましい。
【００８３】
ここで、例えば、図９に示す、所定の背景の中を、トラックが右から左方向に走行している画像を含む１シーンから、上述した背景抽出処理により全体背景を抽出した抽出結果を、図１０に示す。図９および図１０から分かるように、全体背景が、精度良く抽出されている。
【００８４】
次に、図２の前景抽出部１５について説明するが、その前に、その前段階の準備として、前景を抽出する２つの方法について説明する。
【００８５】
まず、第１の方法では、各フレームの画像と、全体背景のうちの対応する部分（背景）との差分を演算し、その差分値が大きい画素を、前景を構成するものとして抽出する。しかしながら、この方法では、前景を構成する画素であっても、背景（全体背景）との差分値が小さくなると、前景としては抽出されず、背景として削除されることになる。ここで、第１の方法により、図９に示した画像（フレーム）から、図１０に示した全体背景を用いて求めた前景を、図１１に示す。図１１から分かるように、第１の方法では、背景は比較的精度良く削除されているが、前景を構成する画素のうち、背景との差分値が小さい部分も削除されてしまっている。
【００８６】
次に、第２の方法では、あるフレームと、他のフレームとを、それぞれの前景の位置をあわせて、対応する画素どうしの差分を演算する。そして、その差分値が大きい画素を、背景を構成するものとして削除し、残りを、前景を構成するものとして抽出する。しかしながら、この方法では、背景を構成する画素であっても、対応する画素との差分値が小さくなると、背景として削除されず、前景として抽出されることになる。ここで、図９に示した画像（フレーム）を含む１シーンの中の２フレームを用いて求めた前景を、図１２に示す。図１２から分かるように、第２の方法では、前景は比較的精度良く抽出されているが、背景を構成する画素のうち、対応する画素との差分値が小さい部分も抽出されてしまっている。
【００８７】
以上のように、第１または第２の方法のうちのいずれか一方だけでは、前景（だけ）の精度の良い抽出が困難である。
【００８８】
そこで、図１３は、図２の前景抽出部１５の構成例を示している。
【００８９】
前景位置近似処理部３１には、フレームメモリ部１２に記憶された画像と、背景抽出部１３が出力する背景情報とが供給されるようになされている。前景位置近似処理部３１は、フレームメモリ部１２からの画像と、背景抽出部１３からの背景情報とから、第１の方法を利用して、前景の候補となる、後述するような前景近似画像（前景候補画像）を構成し、前景近似画像メモリ３２に供給する。前景近似画像メモリ３２は、前景位置近似処理部３１からの前景近似画像を記憶する。
【００９０】
一方、前景検出処理部３３には、動きベクトル検出部１３から動きベクトルが供給されるようになされている。前景検出処理部３３は、前景近似画像メモリ３２に記憶された前景近似画像から、動きベクトルを用い、第２の方法を利用して前景を検出するとともに、各フレームにおける前景についての動きベクトルを検出し、それらを、前景情報として符号化部１６に出力する。
【００９１】
次に、図１４は、図１３の前景位置近似処理部３１の構成例を示している。
【００９２】
前景位置近似処理部３１では、第１の方法により、各フレームの画像から、背景である蓋然性の高い画素が削除され、これにより、前景近似画像が構成されて出力されるようになされている。
【００９３】
即ち、差分算出部４１には、フレームメモリ部１２に記憶された各フレームの画像と、背景抽出部１４が出力する背景情報とが供給されるようになされている。差分算出部４１では、各フレームの画像それぞれと、背景情報に含まれる全体背景のうち、対応するフレームの背景部分との差分値が演算され、背景削除部４２に供給されるようになされている。背景削除部４２には、差分算出部４１から、上述の差分値が供給される他、フレームメモリ部１２から各フレームの画像が供給されるようになされている。背景削除部４２は、各フレームの画像から、差分算出部４１の差分値に基づいて、背景である蓋然性の高い画素を検出して削除し、その結果得られる各フレームの画像を、前景近似画像として出力するようになされている。
【００９４】
次に、図１５のフローチャートを参照して、図１４の前景位置近似処理部３１において行われる処理（前景近似処理）について説明する。
【００９５】
前景近似処理では、まず最初に、ステップＳ２１において、フレーム数をカウントする変数ｎに、初期値としての１がセットされる。そして、ステップＳ２２に進み、差分算出部４１において、フレームメモリ部１２に記憶された第ｎフレームの画像が読み出され、その第ｎフレームと、それに対応する背景との差分値が算出される。即ち、差分算出部４１は、背景情報を、全体背景と位置情報とに分離し、全体背景から、第ｎフレームの背景に相当する領域を抽出する。そして、差分算出部４１は、その抽出した領域と、第ｎフレームとの差分値を演算し、背景削除部４２に出力する。
【００９６】
ここで、本実施の形態では、第ｎフレームと、その背景との差分値（第１の差分値）として、差分算出部４１において、例えば、次のような重み加算値が計算されるようになされている。即ち、いま、画素（画素値）が、輝度信号としてのＹ信号と、色差信号としてのＵ，Ｖ信号とを有しているとすると、差分算出部４１では、Ｙ信号どうしの差を２乗したものと、Ｕ，Ｖ信号それぞれどうしの差を２乗したものとが求められる。そして、差分算出部４１は、Ｙ信号どうしの差を２乗したものの重みを、例えば１とするとともに、Ｕ，Ｖ信号それぞれどうしの差を２乗したものの重みを、例えば、いずれも５０として、それらを加算し、その加算結果を、差分値とするようになされている。
【００９７】
なお、以上のように、Ｙ信号に比較して、Ｕ，Ｖ信号の重みを大きくすることにより、影による画素値の変化に起因して、前景または背景の抜き出し（抽出）精度が劣化することを低減することができる。
【００９８】
また、差分算出部４１は、図１６に示すように、第ｎフレームの注目画素について、その注目画素と、背景における対応する画素ｅとの差分値（重み加算値）だけでなく、背景における対応する画素の周辺にある画素としての、例えば、その対応する画素に隣接する８つの画素ａ，ｂ，ｃ，ｄ，ｆ，ｇ，ｈ，ｉそれぞれとの差分値も演算するようになされている。そして、差分算出部４１は、その９個の差分値のうちの、例えば、最も小さいものを、注目画素についての最終的な差分値として、背景削除部４２に供給するようになされている。
【００９９】
なお、以上のように、注目画素について、それに対応する画素だけでなく、その周辺にある画素との差分値も演算し、そのうちの最小値を、最終的な差分値とすることで、前景である蓋然性の高い画素が削除され、また、背景である蓋然性の高い画素が削除されないことを防止することが可能となる。
【０１００】
即ち、第１の方法では、各フレームの画像と、全体背景のうちの対応する部分（背景）との差分を演算し、その差分値が大きい画素を、前景を構成するものとして抽出するが、その差分値を演算するときに、あるフレームの注目画素と、全体背景のうちの、その注目画素に対応させる画素とが、空間的にずれている場合がある。そして、注目画素が背景を構成する場合に、その注目画素に対応させる画素が空間的にずれていると、得られる差分値が大きくなり、その注目画素は、背景であるにもかかわらず、前景を構成するものとして抽出されることになる。
【０１０１】
また、第２の方法では、あるフレームと、他のフレームとを、それぞれの前景の位置をあわせて、対応する画素どうしの差分を演算し、その差分値が大きい画素を、背景を構成するものとして削除するが、やはり、その差分値を演算するときに、あるフレームの注目画素と、他のフレームのうちの、その注目画素に対応させる画素とが、空間的にずれている場合がある。そして、注目画素が前景を構成する場合に、その注目画素に対応させる画素が空間的にずれており、背景を構成する画素と対応させてしまうと、得られる差分値が大きくなり、注目画素は、前景であるにもかかわらず、背景を構成するものとして削除されることになる。
【０１０２】
そこで、上述のように、注目画素について、それに対応する画素だけでなく、その周辺にある画素との差分値も演算し、そのうちの最小値を、最終的な差分値とすることで、対応させた画素どうしの空間的な位置ずれを補償することが可能となり、その結果、前景である蓋然性の高い画素が削除されることと、背景である蓋然性の高い画素が削除されないこととを防止することが可能となる。
【０１０３】
以上のようにして、第ｎフレームの画像と、それに対応する背景との差分値が算出され、差分算出部４１から背景削除部４２に出力されると、ステップＳ２３に進み、第ｎフレームの、垂直方向に並ぶ画素の列数をカウントする変数ｈに、初期値としての１がセットされる。そして、ステップＳ２４に進み、背景削除部４２において、第ｎフレームの左から第ｈ列において、差分算出部４１で求められた差分値が所定の閾値（前景と予想される値）以上となっている画素の数が、所定数εh以下（未満）であるかどうかが判定される。ステップＳ２４において、差分値が所定の閾値以上となっている画素の数が、所定数εh以下であると判定された場合、ステップＳ２５に進み、背景削除部４１は、第ｎフレームの第ｈ列を構成する画素すべてを、背景を構成する画素と確定して削除し、ステップＳ２６に進む。
【０１０４】
また、ステップＳ２４において、差分値が所定の閾値以上となっている画素の数が、所定数εh以下でないと判定された場合、ステップＳ２５をスキップして、ステップＳ２６に進み、変数ｈが１だけインクリメントされ、ステップＳ２７に進む。ステップＳ２７では、変数ｈが、１フレームの水平方向の画素数ＰH以下であるかどうかが判定され、ＰH以下であると判定された場合、ステップＳ２４に戻る。また、ステップＳ２７において、変数ｈがＰH以下でないと判定された場合、ステップＳ２８に進み、第ｎフレームの、水平方向に並ぶ画素の行数をカウントする変数ｖに、初期値としての１がセットされる。
【０１０５】
そして、ステップＳ２９に進み、背景削除部４２において、第ｎフレームの上から第ｖラインにおいて、差分算出部４１で求められた差分値が所定の閾値（前景と予想される値）以上となっている画素の数が、所定数εv以下（未満）であるかどうかが判定される。ステップＳ２９において、差分値が所定の閾値以上となっている画素の数が、所定数εv以下であると判定された場合、ステップＳ３０に進み、背景削除部４１は、第ｎフレームの第ｖラインを構成する画素すべてを、背景を構成する画素と確定して削除し、ステップＳ３１に進む。
【０１０６】
また、ステップＳ２９において、差分値が所定の閾値以上となっている画素の数が、所定数εv以下でないと判定された場合、ステップＳ３０をスキップして、ステップＳ３１に進み、変数ｖが１だけインクリメントされ、ステップＳ３２に進む。ステップＳ３２では、変数ｖが、１フレームの垂直方向の画素数（ライン数）ＰV以下であるかどうかが判定され、ＰV以下であると判定された場合、ステップＳ２９に戻る。
【０１０７】
一方、ステップＳ３２において、変数ｖがＰV以下でないと判定された場合、即ち、第ｎフレームについて、差分算出部４１で求められた差分値が所定の閾値以上となっている画素の数が、それぞれ所定数εhまたはεv以下になっている列またはラインが、背景を構成するものとして削除された画像である前景近似画像が形成された場合、ステップＳ３３に進み、変数ｎが、１シーンを構成するフレーム数Ｎに等しいかどうかが判定される。ステップＳ３３において、変数ｎがＮに等しくないと判定された場合、ステップＳ２２に戻る。また、ステップＳ３３において、変数ｎがＮに等しいと判定された場合、前景位置近似処理を終了する。
【０１０８】
ここで、図９に示した画像を対象に、図１０に示した全体背景を用いて、上述の前景位置近似処理を行って得られる前景近似画像を、図１７に示す。第１の方法をそのまま用いた場合には、図１１に示したように、前景を構成する画素のうち、背景との差分値が小さい部分も削除されてしまったが、差分算出部４１で求められた差分値が所定の閾値以上となっている画素の数が、それぞれ所定数εhまたはεv以下になっている列またはラインだけを、背景として削除することにより、図１７に示すように、背景である蓋然性が非常に高い画素だけが削除されるようになり、これにより、前景を構成する画素が削除されることを防止することが可能となる。
【０１０９】
次に、図１８は、図１３の前景検出処理部３３の構成例を示している。
【０１１０】
前景動きベクトル検出部５１は、動きベクトル検出部１３からのブロックごとの動きベクトルに基づいて、各フレームの前景についての動きベクトル（前景動きベクトル）を、例えば、図４の読み書き制御部２１が背景の位置情報を求めるのと同様にして検出するようになされている。
【０１１１】
即ち、前景動きベクトル検出部５１は、各フレームについて、動きベクトル検出部１３からの動きベクトルから、前景と推定される領域（ブロック）を検出し、その検出結果に基づき、前景が、例えば、その中央部分に位置しているフレームを検出する。そして、前景動きベクトル検出部５１は、そのフレームの前景と推定されるブロックの動きベクトルの平均値（小数点以下は、例えば、切り捨てる）を、前景についての動きベクトルの基準値ＶFとする。さらに、前景動きベクトル検出部５１は、例えば、他のフレームについて、前景についての動きベクトルの基準値ＶFを用いて、図６のステップＳ７における条件を満たすかどうかの判定処理を行い、その条件を満たすブロックの動きベクトルの平均値（小数点以下は、例えば、切り捨てる）が求められ、これが、そのフレームの前景についての動きベクトル（前景動きベクトル）とされる。前景動きベクトル検出部５１で検出された前景動きベクトルは、前景動きベクトルメモリ５２に供給されて記憶されるとともに、差分算出部５３に供給されるようになされている。
【０１１２】
前景動きベクトルメモリ５２は、前景動きベクトル検出部５１からの各フレーム（第２乃至第Ｎフレーム）の前景動きベクトルを記憶するようになされている。
【０１１３】
差分算出部５３は、前景近似画像メモリ３２に記憶された前景近似画像を読み出し、リファレンス画像メモリ５５に記憶された、後述するリファレンス画像（基準画像）との、上述したような重み加算値を演算し、その演算結果および回数カウントメモリ５４の記憶値に対応して、リファレンス画像メモリ５５の記憶値（リファレンス画像）を更新するようになされている。また、差分算出部５３は、自身が求めた重み加算値に対応して、回数カウントメモリ５４の記憶値を更新するようにもなされている。なお、差分算出部５３において、重み加算値の演算は、リファレンス画像および前景近似画像を、それぞれにおける前景の位置を一致させて行われるが、この前景の位置を一致させる処理は、前景動きベクトル検出部５１から供給される前景動きベクトルに基づいて行われるようになされている。
【０１１４】
回数カウントメモリ５４は、１フレームを構成する画素数に対応する記憶容量を、少なくとも有し、後述するような回数を記憶するようになされている。リファレンス画像メモリ５５は、１フレーム分の画像を記憶する記憶容量を、少なくとも有し、前景近似画像との差分値を演算するリファレンス画像を記憶するようになされている。マルチプレクサ５６は、リファレンス画像メモリ５５に最終的に記憶されたリファレンス画像を、前景として読み出すとともに、前景動きベクトルメモリ５２に記憶された各フレームの前景動きベクトルを読み出し、これらを多重化して、前景情報として出力するようになされている。
【０１１５】
次に、図１９のフローチャートを参照して、図１８の前景検出処理部３３において行われる処理（前景検出処理）について説明する。
【０１１６】
前景検出処理では、まず最初に、ステップＳ４１において、初期化処理が行われる。即ち、リファレンス画像メモリ５５および前景動きベクトルメモリ５２の記憶値がクリアされ、回数カウントメモリ５４に、初期値としての、例えば、所定の正の整数値がセットされる。さらに、差分算出部５３において、前景近似画像メモリ３２から、例えば、第１フレームの前景近似画像が読み出され、これが、リファレンス画像として、リファレンス画像メモリ５５に供給されて記憶される。
【０１１７】
なお、ここでは、説明を簡単にするために、第１フレームの前景近似画像を、リファレンス画像とするようにしたが、最初にリファレンス画像とする前景近似画像は、前景近似画像メモリ３２に記憶されている前景近似画像のうち、一般には、例えば、前景が、フレームの中央部分にあるものを用いるのが好ましい。
【０１１８】
初期化処理後は、ステップＳ４２に進み、フレーム数をカウントする変数ｎに、初期値としての、例えば２がセットされ、ステップＳ４３に進む。ステップＳ４３では、前景動きベクトル検出部５１において、第ｎフレームの前景動きベクトルが、上述したようにして検出される。この前景動きベクトルは、前景動きベクトルメモリ５２に供給されて記憶されるとともに、差分算出部５３に供給される。なお、ステップＳ４３の処理が最初に行われる場合、即ち、第２フレームの前景についての動きベクトルの検出が行われる場合には、その検出とともに、第１フレームにおける前景の位置の検出も行われるようになされている。そして、この第１フレームにおける前景の位置は、第１フレームの前景についての動きベクトルとして、前景動きベクトルメモリ５２に供給されて記憶されるようになされている。
【０１１９】
差分算出部５３は、第ｎフレームの前景動きベクトルを受信すると、第ｎフレームの前景近似画像またはリファレンス画像を、前景近似画像メモリ３２またはリファレンス画像メモリ５５からそれぞれ読み出す。さらに、差分算出部５３は、ステップＳ４４において、第ｎフレームの前景近似画像を構成する画素と、リファレンス画像を構成する画素とを、前景近似画像のフレームの前景動きベクトルに基づいて、前景どうしが重なるように対応付け、図１４の差分算出部４１における場合と同様にして、重み加算値を、リファレンス画像と第ｎフレームの前景近似画像との差分値（第２の差分値）として求め、ステップＳ４５に進む。
【０１２０】
ステップＳ４５では、第ｎフレームの前景近似画像の水平方向または垂直方向の画素の並びであるライン数または列数をカウントするための変数ｖまたはｈが、それぞれ１に初期化され、ステップＳ４６に進む。ステップＳ４６では、差分算出部５３において、ステップＳ４４で求められた差分値（重み加算値）のうち、リファレンス画像の上からｖ番目で、左からｈ番目の差分値Ｅ（ｈ，ｖ）が、所定の閾値εよりも大きい（以上である）かどうかが判定される。
【０１２１】
ステップＳ４６において、差分値Ｅ（ｈ，ｖ）が、所定の閾値εよりも大きいと判定された場合、即ち、リファレンス画像の上からｖ番目で、左からｈ番目の画素Ｐ（ｈ，ｖ）が、背景を構成するものである蓋然性が高い場合、ステップＳ４７に進み、差分算出部５３は、その画素Ｐ（ｈ，ｖ）に対応する、回数カウントメモリ５４の記憶値Ｃ（ｈ，ｖ）を１だけデクリメントし、ステップＳ４８に進む。従って、回数カウントメモリ５４には、リファレンス画像を構成する各画素について、それぞれの画素が、背景を構成するものである蓋然性が高いと判定される回数が記憶されているということができる。
【０１２２】
一方、ステップＳ４６において、差分値Ｅ（ｈ，ｖ）が、所定の閾値εよりも大きくないと判定された場合、ステップＳ４７をスキップして、ステップＳ４８に進み、変数ｖが１だけインクリメントとされ、ステップＳ４９に進む。ステップＳ４９では、変数ｖが、１フレームの垂直方向の画素数（ライン数）ＰV以下であるかどうかが判定され、ＰV以下であると判定された場合、ステップＳ４６に戻る。また、ステップＳ４９において、変数ｖがＰV以下でないと判定された場合、ステップＳ５０に進み、変数ｈが１だけインクリメントされ、ステップＳ５１に進む。ステップＳ５１では、変数ｈが、１フレームの水平方向の画素数（列数）ＰH以下であるかどうかが判定され、ＰH以下であると判定された場合、ステップＳ５２に進み、変数ｖが、１に初期化され、ステップＳ４６に戻る。
【０１２３】
また、ステップＳ５１において、変数ｈがＰH以下でないと判定された場合、ステップＳ５３に進み、差分算出部５３は、回数カウントメモリ５４を参照し、リファレンス画像を構成する画素のうち、記憶値Ｃ（ｈ，ｖ）が負になっているものを、背景を構成するものとして削除する。そして、差分算出部４３は、その削除後のリファレンス画像を、新たなリファレンス画像として、リファレンス画像メモリ５５に記憶させる。
【０１２４】
ここで、上述のように、リファレンス画像を構成する画素のうち、記憶値Ｃ（ｈ，ｖ）が負になっているものを、背景を構成するものとして削除することにより、本来、前景である画素が、例えば、ノイズの影響などに起因して、背景であるとして削除されることを防止することができる。即ち、差分値Ｅ（ｈ，ｖ）が、閾値εよりも大きい場合に、即座に、対応する画素Ｐ（ｈ，ｖ）を、背景を構成するものとして削除することとすると、例えば、リファレンス画像の画素（画素値）Ｐ（ｈ，ｖ）またはそれとの差分をとる前景近似画像の画素にノイズが含まれ、そのノイズに起因して、差分値Ｅ（ｈ，ｖ）が閾値εよりも大きくなったときも、前景を構成する画素Ｐ（ｈ，ｖ）が削除されることになる。これに対して、リファレンス画像を構成する画素のうち、対応する記憶値Ｃ（ｈ，ｖ）が負になっているものを、背景を構成するものとして削除する場合には、差分値Ｅ（ｈ，ｖ）が、ノイズの影響で大きくなり、閾値εを越えても、そのようなことが、所定の回数（ステップＳ４１の初期化処理において、回数カウントメモリ５４にセットされる正の整数に、１を加算した値）だけ生じない限り、画素Ｐ（ｈ，ｖ）は削除されない。従って、本来、前景である画素が、例えば、ノイズの影響などに起因して、背景であるとして削除されることを防止することができる。
【０１２５】
ステップＳ５３の処理後は、ステップＳ５４に進み、変数ｎが、１シーンを構成するフレーム数Ｎに等しいかどうかが判定される。ステップＳ５４において、変数ｎがＮに等しくないと判定された場合、ステップＳ５５に進み、変数ｎが１だけインクリメントされ、ステップＳ４３に戻る。また、ステップＳ５４において、変数ｎがＮに等しいと判定された場合、マルチプレクサ５６は、リファレンス画像メモリ５５に最終的に記憶されているリファレンス画像を前景として読み出すとともに、前景動きベクトルメモリ５２に記憶されている各フレームの前景動きベクトルを読み出す。そして、マルチプレクサ５６において、前景および各フレームの前景についての動きベクトルが多重化されて、前景情報として出力され、前景検出処理を終了する。
【０１２６】
ここで、図１７に示した前景近似画像を用いて、前景検出処理を行うことにより得られた最終的なリファレンス画像としての前景を、図２０に示す。図２０を、図１１および図１２と比較すると、前景を構成する画素が背景として削除されたり、また、背景を構成する画素が前景として抽出されたりしている部分が、大きく減っていることが分かる。
【０１２７】
次に、図２１は、図１のデコーダ５の構成例を示している。
【０１２８】
分離部６１には、記録媒体３に記録された符号化データが、再生部４において再生されて供給されるようになされている。分離部６１では、再生部４からの符号化データが、前景情報と背景情報とに分離され、分離部６２と６３とにそれぞれ供給される。
【０１２９】
分離部６２は、分離部６１からの前景情報を、前景と、各フレームごとの前景動きベクトルとに分離し、前景メモリ６４と前景動きベクトル記憶部６５とにそれぞれ供給して記憶させる。また、分離部６３は、分離部６１からの背景情報を、全体背景と、各フレームごとの位置情報とに分離し、背景メモリ６６と位置情報記憶部６７とにそれぞれ供給して記憶させる。
【０１３０】
そして、合成部６８において、前景メモリ６４、前景動きベクトル記憶部６５、背景メモリ６６、および位置情報記憶部６７の記憶値に基づいて、元のシーンを構成する第１乃至第Ｎフレームが復号される。
【０１３１】
即ち、合成部６８は、第ｎフレームを復号するとき、背景メモリ６６に記憶された全体背景から、位置情報記憶部６７に記憶された第ｎフレームの位置情報を最も左上の頂点とするＰH×ＰV画素を、第ｎフレームの背景として読み出す。さらに、合成部６８は、前景動きベクトル記憶部６５から、第１フレームの前景動きベクトルとして記憶されている、第１フレームの前景の位置と、第ｎフレームの前景動きベクトルとを読み出し、それらを加算することで、第ｎフレームにおける前景の位置を求める（但し、ｎ＝１の場合においては、即ち、第１フレームについては、その前景動きベクトルが、そのまま前景の位置とされる）。そして、合成部６８は、第ｎフレームの背景における、上述したようにして求めた位置に、前景メモリ６４に記憶された前景を配置（合成）し、これにより、第ｎフレームの復号画像を構成する。
【０１３２】
ここで、図１０の全体背景と、図２０の前景とから得られる復号画像を、図２２に示す。同図に示すように、画質の良い復号画像を得ることができる。
【０１３３】
即ち、図２３に示すように、シーンを構成する原画像から、全体背景を抽出し、その全体背景と原画像とから、第１の方法を利用して、前景近似画像を構成する。さらに、その前景近似画像から、第２の方法を利用して、前景を検出することにより、前景の抜き出しを、正確に、いわばロバスト性をもたせて行うことができる。そして、そのような前景と、全体背景とを用いて復号（合成）を行うことで、画質の良い復号画像を得ることができる。
【０１３４】
なお、前景動きベクトルを、時刻を引数とする連続的な関数で表すことで、復号画像のフレームレートを上下させることが可能となる。また、符号化データに、前景の大きさや、位置、動きベクトルを変数として含めることにより、復号時に、大きさや位置、動きベクトルを所望の値にした前景を得ることが可能となる。
【０１３５】
次に、図２４は、本発明を適用した記録再生装置の他の実施の形態の構成例を示している。
【０１３６】
この実施の形態においては、記録再生装置は、コンピュータをベースに構成されている。
【０１３７】
即ち、ＲＯＭ（Read Only memory）７１は、例えば、ＩＰＬ（Initial Program Loading）のプログラムなどを記憶している。ＣＰＵ（Central Processing Unit）７２は、外部記憶装置７５に記憶されているＯＳ（Operating System）の制御の下、同じく外部記憶装置７５に記憶されているアプリケーションプログラムを実行することで、図１の記録再生装置が行うような各種の処理を行うようになされている。ＲＡＭ（Random Access memory）７３は、ＣＰＵ７２が実行するプログラムや、その動作上必要なデータなどを一時記憶するようになされている。入出力部７４は、例えば、キーボードや、マウスなどで構成され、データやコマンドを入力するときに操作される。また、入出力部７４は、ディスプレイなども有し、ＣＰＵ７２の制御にしたがって、所定の文字や画像を表示するようにもなされている。外部記憶装置７５は、例えば、ハードディスクドライブなどで構成され、ＯＳやアプリケーションプログラム、さらには、図１のハードディスク６が記憶しているのと同様の画像データを記憶している。また、ハードディスク７５は、ＣＰＵ７２が処理を行うのに必要なデータや、処理を行った結果得られるデータなども記憶するようになされている。
【０１３８】
以上のように構成される記録再生装置では、ＣＰＵ７２において、ＯＳの制御の下、アプリケーションプログラムが実行されることで、外部記憶装置７５に記録された画像データが、図１のエンコーダ１における場合と同様にして、符号化データとされ、外部記憶装置７５に記録される。また、このようにして記録された符号化データは、ＣＰＵ７２において、やはり、ＯＳの制御の下、アプリケーションプログラムが実行されることで、図１のデコーダ５における場合と同様にして復号される。
【０１３９】
以上、本発明を、画像をオブジェクト符号化して記録し、また、記録した符号化データを再生してデコードする記録再生装置に適用した場合について説明したが、本発明は、その他、符号化データを伝送したりする場合などにも適用可能である。さらに、本発明は、オブジェクト符号化を行う場合の他、前景の抜き出しが必要なあらゆる装置に適用可能である。
【０１４０】
なお、本実施の形態では、インターレース方式の画像を、フレーム単位に変換して、フレーム単位で処理を行うようにしたが、フィールド単位で処理を行うことも可能である。
【０１４１】
また、本発明は、前景となる動き物体が１つの場合だけでなく、複数の場合にも適用可能である。前景が複数の画像について、上述したようなオブジェクト符号化を施す場合においては、より高い圧縮率を実現することができる。
【０１４２】
さらに、本発明は、前景となる動き物体が、直線的に移動している場合だけでなく、回転している場合にも適用可能である。但し、前景となる物体が回転している場合には、前景の回転量を表すパラメータが必要となる。
【０１４３】
また、本実施の形態における、例えば、図２のフレームメモリ部１２や、図４の背景メモリ２２などは、いわゆる半導体メモリであっても良いし、ハードディスクや、光磁気ディスク、磁気テープなどであっても良い。但し、ランダムアクセス可能なものが望ましい。
【０１４４】
さらに、本実施の形態では、画素が、ＹＵＶ成分を有するものとしたが、本発明は、画素が、ＹＵＶ以外の、例えば、ＲＧＢその他の成分でなる場合にも適用可能である。
【０１４５】
また、本実施の形態では、シーンチェンジから次のシーンチェンジまでのフレームを１シーンとしたが、そのようなシーンチェンジ間の一部のフレームを、１シーンとして処理することも可能である。
【０１４６】
さらに、本実施の形態では、ビデオカメラをパンニングやチルティングして撮影された、背景にも動きのある画像を対象としたが、本発明は、背景の動きの有無にかかわらず、適用可能である。
【０１４７】
【発明の効果】
請求項１に記載の画像抜き出し装置および請求項７に記載の画像抜き出し方法、請求項８に記載の画像符号化装置および請求項９に記載の画像符号化方法、請求項１３に記載の画像記録装置および請求項１４に記載の画像記録方法、並びに請求項１８に記載の記録媒体によれば、前景を、精度良く抜き出すことが可能となる。
【０１４８】
請求項１０に記載の画像復号装置および請求項１２に記載の画像復号方法、並びに請求項１５に記載の画像再生装置および請求項１７に記載の画像再生方法によれば、その符号化データから、画質の良い復号画像を得ることが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した記録再生装置の第１実施の形態の構成例を示すブロック図である。
【図２】図１のエンコーダ１の構成例を示すブロック図である。
【図３】画素より細かい精度での動きベクトルの検出方法を説明するための図である。
【図４】図２の背景抽出部１４の構成例を示すブロック図である。
【図５】図４の背景メモリ２２の構成例を示す図である。
【図６】図４の背景抽出部１４の処理を説明するためのフローチャートである。
【図７】図６のステップＳ１における初期化処理を説明するための図である。
【図８】図６のステップＳ１における初期化処理を説明するための図である。
【図９】符号化対象の原画像を示す、ディスプレイ上に表示される中間調画像の写真である。
【図１０】全体背景を示す、ディスプレイ上に表示される中間調画像の写真である。
【図１１】第１の方法による前景の抜き出し結果を示す、ディスプレイ上に表示される中間調画像の写真である。
【図１２】第２の方法による前景の抜き出し結果を示す、ディスプレイ上に表示される中間調画像の写真である。
【図１３】図２の前景抽出部１５の構成例を示すブロック図である。
【図１４】図１３の前景位置近似処理部３１の構成例を示すブロック図である。
【図１５】図１４の前景位置近似処理部３１の処理を説明するためのフローチャートである。
【図１６】図１５のステップＳ２２における処理を説明するための図である。
【図１７】前景近似画像を示す、ディスプレイ上に表示される中間調画像の写真である。
【図１８】図１３の前景検出処理部３３の構成例を示すブロック図である。
【図１９】図１８の前景検出処理部３３の処理を説明するためのフローチャートである。
【図２０】図２の前景抽出部１５における前景の抜き出し結果を示す、ディスプレイ上に表示される中間調画像の写真である。
【図２１】図１のデコーダ５の構成例を示すブロック図である。
【図２２】図２１のデコーダ５から出力される復号画像を示す、ディスプレイ上に表示される中間調画像の写真である。
【図２３】図１の記録再生装置の処理を説明するための図である。
【図２４】本発明を適用した記録再生装置の第２実施の形態の構成例を示すブロック図である。
【符号の説明】
１ エンコーダ， ２ 記録部， ３ 記録媒体， ４ 再生部， ５ デコーダ， ６ ハードディスク， １１ フィールド／フレーム変換部， １２ フレームメモリ部， １３ 動きベクトル検出部， １４ 背景抽出部， １５前景抽出部， １６ 符号化部， ２１ 読み書き制御部， ２２ 背景メモリ， ２３ 位置情報メモリ， ２４ マルチプレクサ， ３１ 前景位置近似処理部， ３２ 前景近似画像メモリ， ３３ 前景検出処理部， ４１ 差分算出部， ４２ 背景削除部， ５１ 前景動きベクトル検出部， ５２ 前景動きベクトルメモリ， ５３ 差分算出部， ５４ 回数カウントメモリ， ５５ リファレンス画像メモリ， ５６ マルチプレクサ， ６１乃至６３ 分離部, ６４ 前景メモリ， ６５ 前景動きベクトル記憶部， ６６ 背景メモリ， ６７ 位置情報記憶部， ６８ 合成部， ７１ ＲＯＭ， ７２ ＣＰＵ， ７３ ＲＡＭ， ７４ 入出力部， ７５ 外部記憶装置
【発明の属する技術分野】
本発明は、画像抜き出し装置および画像抜き出し方法、画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、画像記録装置および画像記録方法、画像再生装置および画像再生方法、並びに記録媒体に関する。特に、画像から、前景を、正確に抜き出すことができるようにする画像抜き出し装置および画像抜き出し方法、画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、画像記録装置および画像記録方法、画像再生装置および画像再生方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
例えば、画像を圧縮符号化する方法としては、従来より種々のものが提案されているが、そのうちの１つにオブジェクト符号化と呼ばれるものがある。
【０００３】
オブジェクト符号化では、一連の複数画面の画像の集まりである１シーン（例えば、あるシーンチェンジから、次のシーンチェンジまでの画面）から、その背景と、動き物体の領域である前景とが検出される。即ち、１シーンがＮ画面でなるときは、そのＮ画面で表示される、１シーン全体の背景（この背景は、例えば、ビデオカメラをパンニングまたはチルティングして撮影されたシーンであれば、横長または縦長の画像となる）と、Ｎ画面の中に共通に存在する前景とが検出される。また、Ｎ画面それぞれの中の前景の動きを表す動きベクトル（以下、適宜、前景動きベクトルという）が検出され、上述の１つずつの背景および前景とともに、１シーンの符号化結果とされる。従って、オブジェクト符号化によれば、画像のデータ量を大幅に削減することができる。
【０００４】
【発明が解決しようとする課題】
以上のようなオブジェクト符号化により得られた符号化データの復号は、背景の中に、前景を、その前景動きベクトルにしたがった位置に配置することで行われる。
【０００５】
従って、前景を、正確に抜き出すことができるかどうかが、復号画像の画質を左右する要因の１つとなる。
【０００６】
本発明は、このような状況に鑑みてなされたものであり、画像から、前景を正確に抜き出すことができるようにするものである。
【０００７】
【課題を解決するための手段】
請求項１に記載の画像抜き出し装置は、１シーンを構成するフレームのうちの所定の１フレームを参照画像として、１シーンを構成する各フレームにおける動きベクトルを検出する動きベクトル検出手段と、１シーンを構成する各フレームの画像における背景を求め、求めた各フレームの画像における背景から、１シーン全体の全体背景を構成する背景構成手段と、１シーンを構成する画像それぞれについて、全体背景の中の対応する部分との差分である第１の差分値を演算し、第１の差分値が所定の閾値以上となる画素の数が所定数以下となる所定の一直線上にある画像の画素を削除して、削除されなかった画素からなる、前景の候補となる前景候補画像を求める前景候補画像算出手段と、動きベクトルに基づいて検出される前景と推定される領域が、中央部分に位置しているフレームを１シーンを構成するフレームの中から検出し、検出したフレームの前景と推定される領域の動きベクトルを前景動きベクトルとして検出し、１シーンを構成する画像それぞれについての前景候補画像のうちの１つを基準画像として、基準画像と、他の前景候補画像の前景どうしが重なるように前景動きベクトルに基づいて対応づけて、基準画像と他の前景候補画像との差分を第２の差分値として演算し、第２の差分値が所定の閾値以上の基準画像を構成する画素を、全体背景を構成するものとして削除し、その画素の削除後の画像を、新たな基準画像として、他の前景候補画像との第２の差分値を演算することを繰り返し、最終的に得られた基準画像を、前景として検出する前景検出手段とを備えることを特徴とする。
【０００８】
請求項７に記載の画像抜き出し方法は、１シーンを構成するフレームのうちの所定の１フレームを参照画像として、１シーンを構成する各フレームにおける動きベクトルを検出し、１シーンを構成する各フレームの画像における背景を求め、求めた各フレームの画像における背景から、１シーン全体の全体背景を構成し、１シーンを構成する画像それぞれについて、全体背景の中の対応する部分との差分である第１の差分値を演算し、第１の差分値が所定の閾値以上となる画素の数が所定数以下となる所定の一直線上にある画像の画素を削除して、削除されなかった画素からなる、前景の候補となる前景候補画像を求め、動きベクトルに基づいて検出される前景と推定される領域が、中央部分に位置しているフレームを１シーンを構成するフレームの中から検出し、検出したフレームの前景と推定される領域の動きベクトルを前景動きベクトルとして検出し、１シーンを構成する画像それぞれについての前景候補画像のうちの１つを基準画像として、基準画像と、他の前景候補画像の前景どうしが重なるように前景動きベクトルに基づいて対応づけて、基準画像と他の前景候補画像との差分を第２の差分値として演算し、第２の差分値が所定の閾値以上の基準画像を構成する画素を、全体背景を構成するものとして削除し、その画素の削除後の画像を、新たな基準画像として、他の前景候補画像との第２の差分値を演算することを繰り返し、最終的に得られた基準画像を、前景として検出することを特徴とする。
【０００９】
請求項１に記載の画像抜き出し装置および請求項７に記載の画像抜き出し方法においては、１シーンを構成するフレームのうちの所定の１フレームを参照画像として、１シーンを構成する各フレームにおける動きベクトルが検出され、１シーンを構成する各フレームの画像における背景を求め、求めた各フレームの画像における背景から、１シーン全体の全体背景が構成され、１シーンを構成する画像それぞれについて、全体背景の中の対応する部分との差分である第１の差分値を演算し、第１の差分値が所定の閾値以上となる画素の数が所定数以下となる所定の一直線上にある画像の画素を削除して、削除されなかった画素からなる、前景の候補となる前景候補画像が求められ、動きベクトルに基づいて検出される前景と推定される領域が、中央部分に位置しているフレームが１シーンを構成するフレームの中から検出され、検出されたフレームの前景と推定される領域の動きベクトルが前景動きベクトルとして検出され、１シーンを構成する画像それぞれについての前景候補画像のうちの１つを基準画像として、基準画像と、他の前景候補画像の前景どうしが重なるように前景動きベクトルに基づいて対応づけて、基準画像と他の前景候補画像との差分が第２の差分値として演算され、第２の差分値が所定の閾値以上の基準画像を構成する画素が、全体背景を構成するものとして削除され、その画素の削除後の画像が、新たな基準画像として、他の前景候補画像との第２の差分値を演算することが繰り返され、最終的に得られた基準画像が、前景として検出される。
【００１０】
請求項８に記載の画像符号化装置は、１シーンを構成するフレームのうちの所定の１フレームを参照画像として、１シーンを構成する各フレームにおける動きベクトルを検出する動きベクトル検出手段と、１シーンを構成する各フレームの画像における背景を求め、求めた各フレームの画像における背景から、１シーン全体の全体背景を構成する背景構成手段と、１シーンを構成する画像それぞれについて、全体背景の中の対応する部分との差分である第１の差分値を演算し、第１の差分値が所定の閾値以上となる画素の数が所定数以下となる所定の一直線上にある画像の画素を削除して、削除されなかった画素からなる、画像における動き物体の領域である前景の候補となる前景候補画像を求める前景候補画像算出手段と、動きベクトルに基づいて検出される前景と推定される領域が、中央部分に位置しているフレームを１シーンを構成するフレームの中から検出し、検出したフレームの前景と推定される領域の動きベクトルを前景動きベクトルとして検出し、１シーンを構成する画像それぞれについての前景候補画像のうちの１つを基準画像として、基準画像と、他の前景候補画像の前景どうしが重なるように前景動きベクトルに基づいて対応づけて、基準画像と他の前景候補画像との差分を第２の差分値として演算し、第２の差分値が所定の閾値以上の基準画像を構成する画素を、全体背景を構成するものとして削除し、その画素の削除後の画像を、新たな基準画像として、他の前景候補画像との第２の差分値を演算することを繰り返し、最終的に得られた基準画像を、前景として検出する前景検出手段と、全体背景と、前景検出手段により検出された前景とを、１シーンの符号化結果として出力する出力手段とを備えることを特徴とする。
【００１１】
請求項９に記載の画像符号化方法は、１シーンを構成するフレームのうちの所定の１フレームを参照画像として、１シーンを構成する各フレームにおける動きベクトルを検出し、
１シーンを構成する各フレームの画像における背景を求め、求めた各フレームの画像における背景から、１シーン全体の全体背景を構成し、１シーンを構成する画像それぞれについて、全体背景の中の対応する部分との差分である第１の差分値を演算し、第１の差分値が所定の閾値以上となる画素の数が所定数以下となる所定の一直線上にある画像の画素を削除して、削除されなかった画素からなる、画像における動き物体の領域である前景の候補となる前景候補画像を求め、動きベクトルに基づいて検出される前景と推定される領域が、中央部分に位置しているフレームを１シーンを構成するフレームの中から検出し、検出したフレームの前景と推定される領域の動きベクトルを前景動きベクトルとして検出し、１シーンを構成する画像それぞれについての前景候補画像のうちの１つを基準画像として、基準画像と、他の前景候補画像の前景どうしが重なるように前景動きベクトルに基づいて対応づけて、基準画像と他の前景候補画像との差分を第２の差分値として演算し、第２の差分値が所定の閾値以上の基準画像を構成する画素を、全体背景を構成するものとして削除し、その画素の削除後の画像を、新たな基準画像として、他の前景候補画像との第２の差分値を演算することを繰り返し、最終的に得られた基準画像を、前景として検出し、全体背景および前景を、１シーンの符号化結果として出力することを特徴とする。
【００１２】
請求項８に記載の画像符号化装置および請求項９に記載の画像符号化方法においては、１シーンを構成するフレームのうちの所定の１フレームを参照画像として、１シーンを構成する各フレームにおける動きベクトルが検出され、１シーンを構成する各フレームの画像における背景を求め、求めた各フレームの画像における背景から、１シーン全体の全体背景が構成され、１シーンを構成する画像それぞれについて、全体背景の中の対応する部分との差分を演算し、第１の差分値が所定の閾値以上となる画素の数が所定数以下となる所定の一直線上にある画像の画素を削除して、削除されなかった画素からなる、画像における動き物体の領域である前景の候補となる前景候補画像が求められ、動きベクトルに基づいて検出される前景と推定される領域が、中央部分に位置しているフレームが１シーンを構成するフレームの中から検出され、検出されたフレームの前景と推定される領域の動きベクトルが前景動きベクトルとして検出され、１シーンを構成する画像それぞれについての前景候補画像のうちの１つを基準画像として、基準画像と、他の前景候補画像の前景どうしが重なるように前景動きベクトルに基づいて対応づけて、基準画像と他の前景候補画像との差分が第２の差分値として演算され、第２の差分値が所定の閾値以上の基準画像を構成する画素が、全体背景を構成するものとして削除され、その画素の削除後の画像が、新たな基準画像として、他の前景候補画像との第２の差分値を演算することが繰り返され、最終的に得られた基準画像が、前景として検出され、全体背景と、検出された前景とが、１シーンの符号化結果として出力される。
【００１３】
請求項１０に記載の画像復号装置は、符号化データは、１シーンを構成するフレームのうちの所定の１フレームを参照画像として、１シーンを構成する各フレームにおける動きベクトルを検出し、１シーンを構成する各フレームの画像における背景を求め、求めた各フレームの画像における背景から、１シーン全体の全体背景を構成し、１シーンを構成する画像それぞれについて、全体背景の中の対応する部分との差分である第１の差分値を演算し、第１の差分値が所定の閾値以上となる画素の数が所定数以下となる所定の一直線上にある画像の画素を削除して、削除されなかった画素からなる、画像における動き物体の領域である前景の候補となる前景候補画像を求め、動きベクトルに基づいて検出される前景と推定される領域が、中央部分に位置しているフレームを１シーンを構成するフレームの中から検出し、検出したフレームの前景と推定される領域の動きベクトルを前景動きベクトルとして検出し、１シーンを構成する画像それぞれについての前景候補画像のうちの１つを基準画像として、基準画像と、他の前景候補画像の前景どうしが重なるように前景動きベクトルに基づいて対応づけて、基準画像と他の前景候補画像との差分を第２の差分値として演算し、第２の差分値が所定の閾値以上の基準画像を構成する画素を、全体背景を構成するものとして削除し、その画素の削除後の画像を、新たな基準画像として、他の前景候補画像との第２の差分値を演算することを繰り返し、最終的に得られた基準画像を、前景として検出することにより得られた全体背景および前景と、各フレームの前景動きベクトルと、各フレームの位置情報を含み、符号化データを、全体背景と前景に分離する分離手段と、全体背景から、１シーンを構成する画像の背景を抽出する抽出手段と、抽出手段により抽出された背景に、前景を合成して、１シーンの画像を復号する復号手段とを備え、抽出手段は、位置情報に対応する全体背景上の領域を、フレームの背景として抽出し、復号手段は、前景動きベクトルに基づいて、フレームの前景の領域上の位置を求め、求めた位置に、前景を合成してフレームを復号し、１シーンの画像を復号することを特徴とする。
【００１４】
請求項１２に記載の画像復号方法は、複数画面の画像の集まりである１シーン単位で符号化を行うことにより得られた符号化データを復号する画像復号方法であって、符号化データは、１シーンを構成するフレームのうちの所定の１フレームを参照画像として、１シーンを構成する各フレームにおける動きベクトルを検出し、１シーンを構成する各フレームの画像における背景を求め、求めた各フレームの画像における背景から、１シーン全体の全体背景を構成し、１シーンを構成する画像それぞれについて、全体背景の中の対応する部分との差分である第１の差分値を演算し、第１の差分値が所定の閾値以上となる画素の数が所定数以下となる所定の一直線上にある画像の画素を削除して、削除されなかった画素からなる、画像における動き物体の領域である前景の候補となる前景候補画像を求め、動きベクトルに基づいて検出される前景と推定される領域が、中央部分に位置しているフレームを１シーンを構成するフレームの中から検出し、検出したフレームの前景と推定される領域の動きベクトルを前景動きベクトルとして検出し、１シーンを構成する画像それぞれについての前景候補画像のうちの１つを基準画像として、基準画像と、他の前景候補画像の前景どうしが重なるように前景動きベクトルに基づいて対応づけて、基準画像と他の前景候補画像との差分を第２の差分値として演算し、第２の差分値が所定の閾値以上の基準画像を構成する画素を、全体背景を構成するものとして削除し、その画素の削除後の画像を、新たな基準画像として、他の前景候補画像との第２の差分値を演算することを繰り返し、最終的に得られた基準画像を、前景として検出することにより得られた全体背景および前景と、各フレームの前景動きベクトルと、各フレームの位置情報を含み、符号化データを、全体背景と前景に分離する分離ステップと、全体背景から、１シーンを構成する画像の背景を抽出する抽出ステップと、抽出ステップで抽出された背景に、前景を合成して、１シーンの画像を復号する復号ステップとを含み、抽出ステップは、位置情報に対応する全体背景上の領域を、フレームの背景として抽出し、復号ステップは、前景動きベクトルに基づいて、フレームの前景の領域上の位置を求め、求めた位置に、前景を合成してフレームを復号し、１シーンの画像を復号することを特徴とする。
【００１５】
請求項１０に記載の画像復号装置および請求項１２に記載の画像復号方法においては、符号化データが、全体背景と前景に分離され、全体背景から、１シーンを構成する画像の背景が抽出され、抽出された背景に、前景を合成して、１シーンの画像が復号され、位置情報に対応する全体背景上の領域が、フレームの背景として抽出され、前景動きベクトルに基づいて、フレームの前景の領域上の位置が求められ、求められた位置に、前景が合成されてフレームが復号され、１シーンの画像が復号される。
【００１６】
請求項１３に記載の画像記録装置は、１シーンを構成するフレームのうちの所定の１フレームを参照画像として、１シーンを構成する各フレームにおける動きベクトルを検出する動きベクトル検出手段と、１シーンを構成する各フレームの画像における背景を求め、求めた各フレームの画像における背景から、１シーン全体の全体背景を構成する背景構成手段と、１シーンを構成する画像それぞれについて、全体背景の中の対応する部分との差分である第１の差分値を演算し、第１の差分値が所定の閾値以上となる画素の数が所定数以下となる所定の一直線上にある画像の画素を削除して、削除されなかった画素からなる、画像における動き物体の領域である前景の候補となる前景候補画像を求める前景候補画像算出手段と、動きベクトルに基づいて検出される前景と推定される領域が、中央部分に位置しているフレームを１シーンを構成するフレームの中から検出し、検出したフレームの前景と推定される領域の動きベクトルを前景動きベクトルとして検出し、１シーンを構成する画像それぞれについての前景候補画像のうちの１つを基準画像として、基準画像と、他の前景候補画像の前景どうしが重なるように前景動きベクトルに基づいて対応づけて、基準画像と他の前景候補画像との差分を第２の差分値として演算し、第２の差分値が所定の閾値以上の基準画像を構成する画素を、全体背景を構成するものとして削除し、その画素の削除後の画像を、新たな基準画像として、他の前景候補画像との第２の差分値を演算することを繰り返し、最終的に得られた基準画像を、前景として検出する前景検出手段と、全体背景と、前景検出手段により検出された前景とを記録する記録手段とを備えることを特徴とする。
【００１７】
請求項１４に記載の画像記録方法は、１シーンを構成するフレームのうちの所定の１フレームを参照画像として、１シーンを構成する各フレームにおける動きベクトルを検出し、１シーンを構成する各フレームの画像における背景を求め、求めた各フレームの画像における背景から、１シーン全体の全体背景を構成し、１シーンを構成する画像それぞれについて、全体背景の中の対応する部分との差分である第１の差分値を演算し、第１の差分値が所定の閾値以上となる画素の数が所定数以下となる所定の一直線上にある画像の画素を削除して、削除されなかった画素からなる、画像における動き物体の領域である前景の候補となる前景候補画像を求め、動きベクトルに基づいて検出される前景と推定される領域が、中央部分に位置しているフレームを１シーンを構成するフレームの中から検出し、検出したフレームの前景と推定される領域の動きベクトルを前景動きベクトルとして検出し、１シーンを構成する画像それぞれについての前景候補画像のうちの１つを基準画像として、基準画像と、他の前景候補画像の前景どうしが重なるように前景動きベクトルに基づいて対応づけて、基準画像と他の前景候補画像との差分を第２の差分値として演算し、第２の差分値が所定の閾値以上の基準画像を構成する画素を、全体背景を構成するものとして削除し、その画素の削除後の画像を、新たな基準画像として、他の前景候補画像との第２の差分値を演算することを繰り返し、最終的に得られた基準画像を、前景として検出し、全体背景および前景を記録することを特徴とする。
【００１８】
請求項１３に記載の画像記録装置および請求項１４に記載の画像記録方法においては、１シーンを構成するフレームのうちの所定の１フレームを参照画像として、１シーンを構成する各フレームにおける動きベクトルが検出され、１シーンを構成する各フレームの画像における背景を求め、求めた各フレームの画像における背景から、１シーン全体の全体背景が構成され、１シーンを構成する画像それぞれについて、全体背景の中の対応する部分との差分である第１の差分値を演算し、第１の差分値が所定の閾値以上となる画素の数が所定数以下となる所定の一直線上にある画像の画素を削除して、削除されなかった画素からなる、画像における動き物体の領域である前景の候補となる前景候補画像が求められ、動きベクトルに基づいて検出される前景と推定される領域が、中央部分に位置しているフレームが１シーンを構成するフレームの中から検出され、検出されたフレームの前景と推定される領域の動きベクトルが前景動きベクトルとして検出され、１シーンを構成する画像それぞれについての前景候補画像のうちの１つを基準画像として、基準画像と、他の前景候補画像の前景どうしが重なるように前景動きベクトルに基づいて対応づけて、基準画像と他の前景候補画像との差分が第２の差分値として演算され、第２の差分値が所定の閾値以上の基準画像を構成する画素が、全体背景を構成するものとして削除され、その画素の削除後の画像が、新たな基準画像として、他の前景候補画像との第２の差分値を演算することが繰り返され、最終的に得られた基準画像が、前景として検出され、全体背景と、検出された前景とが記録される。
【００１９】
請求項１５に記載の画像再生装置は、記録データは、１シーンを構成するフレームのうちの所定の１フレームを参照画像として、１シーンを構成する各フレームにおける動きベクトルを検出し、１シーンを構成する各フレームの画像における背景を求め、求めた各フレームの画像における背景から、１シーン全体の全体背景を構成し、１シーンを構成する画像それぞれについて、全体背景の中の対応する部分との差分である第１の差分値を演算し、第１の差分値が所定の閾値以上となる画素の数が所定数以下となる所定の一直線上にある画像の画素を削除して、削除されなかった画素からなる、画像における動き物体の領域である前景の候補となる前景候補画像を求め、動きベクトルに基づいて検出される前景と推定される領域が、中央部分に位置しているフレームを１シーンを構成するフレームの中から検出し、検出したフレームの前景と推定される領域の動きベクトルを前景動きベクトルとして検出し、１シーンを構成する画像それぞれについての前景候補画像のうちの１つを基準画像として、基準画像と、他の前景候補画像の前景どうしが重なるように前景動きベクトルに基づいて対応づけて、基準画像と他の前景候補画像との差分を第２の差分値として演算し、第２の差分値が所定の閾値以上の基準画像を構成する画素を、全体背景を構成するものとして削除し、その画素の削除後の画像を、新たな基準画像として、他の前景候補画像との第２の差分値を演算することを繰り返し、最終的に得られた基準画像を、前景として検出することにより得られた全体背景および前景と、各フレームの前景動きベクトルと、各フレームの位置情報を含み、記録データを、全体背景と前景に分離する分離手段と、全体背景から、１シーンを構成する画像の背景を抽出する抽出手段と、抽出手段により抽出された背景に、前景を合成して、１シーンの画像を再生する再生手段とを備え、抽出手段は、位置情報に対応する全体背景上の領域を、フレームの背景として抽出し、再生手段は、前景動きベクトルに基づいて、フレームの前景の領域上の位置を求め、求めた位置に、前景を合成してフレームを再生し、１シーンの画像を再生することを特徴とする。
【００２０】
請求項１７に記載の画像再生方法は、記録データは、１シーンを構成するフレームのうちの所定の１フレームを参照画像として、１シーンを構成する各フレームにおける動きベクトルを検出し、１シーンを構成する各フレームの画像における背景を求め、求めた各フレームの画像における背景から、１シーン全体の全体背景を構成し、１シーンを構成する画像それぞれについて、全体背景の中の対応する部分との差分である第１の差分値を演算し、第１の差分値が所定の閾値以上となる画素の数が所定数以下となる所定の一直線上にある画像の画素を削除して、削除されなかった画素からなる、画像における動き物体の領域である前景の候補となる前景候補画像を求め、動きベクトルに基づいて検出される前景と推定される領域が、中央部分に位置しているフレームを１シーンを構成するフレームの中から検出し、検出したフレームの前景と推定される領域の動きベクトルを前景動きベクトルとして検出し、１シーンを構成する画像それぞれについての前景候補画像のうちの１つを基準画像として、基準画像と、他の前景候補画像の前景どうしが重なるように前景動きベクトルに基づいて対応づけて、基準画像と他の前景候補画像との差分を第２の差分値として演算し、第２の差分値が所定の閾値以上の基準画像を構成する画素を、全体背景を構成するものとして削除し、その画素の削除後の画像を、新たな基準画像として、他の前景候補画像との第２の差分値を演算することを繰り返し、最終的に得られた基準画像を、前景として検出することにより得られた全体背景および前景と、各フレームの前景動きベクトルと、各フレームの位置情報を含み、記録データを、全体背景と前景に分離する分離ステップと、全体背景から、１シーンを構成する画像の背景を抽出する抽出ステップと、抽出ステップで抽出された背景に、前景を合成して、１シーンの画像を再生する再生ステップとを含み、抽出ステップは、位置情報に対応する全体背景上の領域を、フレームの背景として抽出し、再生ステップは、前景動きベクトルに基づいて、フレームの前景の領域上の位置を求め、求めた位置に、前景を合成してフレームを再生し、１シーンの画像を再生することを特徴とする。
【００２１】
請求項１５に記載の画像再生装置および請求項１７に記載の画像再生方法においては、記録データが、全体背景と前景に分離され、全体背景から、１シーンを構成する画像の背景が抽出され、抽出された背景に、前景を合成して、１シーンの画像が再生され、位置情報に対応する全体背景上の領域が、フレームの背景として抽出され、前景動きベクトルに基づいて、フレームの前景の領域上の位置が求められ、求められた位置に、前景が合成されてフレームが再生され、１シーンの画像が再生される。
【００２４】
請求項１８に記載の記録媒体は、１シーンを構成するフレームのうちの所定の１フレームを参照画像として、１シーンを構成する各フレームにおける動きベクトルを検出し、１シーンを構成する各フレームの画像における背景を求め、求めた各フレームの画像における背景から、１シーン全体の全体背景を構成し、１シーンを構成する画像それぞれについて、全体背景の中の対応する部分との差分である第１の差分値を演算し、第１の差分値が所定の閾値以上となる画素の数が所定数以下となる所定の一直線上にある画像の画素を削除して、削除されなかった画素からなる、画像における動き物体の領域である前景の候補となる前景候補画像を求め、動きベクトルに基づいて検出される前景と推定される領域が、中央部分に位置しているフレームを１シーンを構成するフレームの中から検出し、検出したフレームの前景と推定される領域の動きベクトルを前景動きベクトルとして検出し、１シーンを構成する画像それぞれについての前景候補画像のうちの１つを基準画像として、基準画像と、他の前景候補画像の前景どうしが重なるように前景動きベクトルに基づいて対応づけて、基準画像と他の前景候補画像との差分を第２の差分値として演算し、第２の差分値が所定の閾値以上の基準画像を構成する画素を、全体背景を構成するものとして削除し、その画素の削除後の画像を、新たな基準画像として、他の前景候補画像との第２の差分値を演算することを繰り返し、最終的に得られた基準画像を、前景として検出する処理を行わせるためのプログラムが記録されていることを特徴とする。
【００３９】
【発明の実施の形態】
図１は、本発明を適用した記録再生装置の一実施の形態の構成例を示している。
【００４０】
この記録再生装置においては、複数画面の画像の集まりである１シーンを単位として、オブジェクト符号化が行われ、それにより得られる符号化データが記録媒体３に記録されるようになされている。さらに、この記録再生装置では、記録媒体３に記録された符号化データが再生、復号され、その結果得られる復号画像が、例えば、図示せぬディスプレイなどに供給されて表示されるようになされている。
【００４１】
即ち、ハードディスク６には、オブジェクト符号化対象のディジタル画像（動画像）が記録されている。なお、ここでは、説明を簡単にするために、例えば、ビデオカメラなどで撮影された画像について、シーンチェンジの検出が行われ、そのようなシーンチェンジごとに区切られた、一連の複数画面の画像の集まりである１シーン単位で、画像が、ハードディスク６に記録されており、ハードディスク６から記録再生装置に対しては、画像が、１シーン単位で供給されるものとする。また、ハードディスク６に記憶された画像は、例えば、背景としてのある風景の中を、動き物体である前景としてのトラックなどが走行しているような、いわば剛体動きをする背景および１の前景でなるものであるとする。
【００４２】
記録再生装置に対して、ハードディスク６から、１シーン分の画像が供給されると、その画像は、エンコーダ１においてオブジェクト符号化され、その結果得られる符号化データは、記録部２に供給される。記録部２では、エンコーダ１からの符号化データが、記録媒体３に記録される。なお、記録媒体３としては、光磁気ディスクや、磁気ディスク、相変化ディスク、磁気テープなどの他、インターネットや、衛星回線、地上回線、公衆網、ＣＡＴＶ網などの伝送媒体も含まれる。
【００４３】
記録媒体３に記録された符号化データは、再生部４において再生され、デコーダ５に供給される。デコーダ５では、再生部４からの符号化データが復号され、その結果得られる復号画像が出力される。
【００４４】
次に、図２は、図１のエンコーダ１の構成例を示している。
【００４５】
ハードディスク６からの１シーン分の画像データは、フィールド／フレーム変換部１１に供給されるようになされている。フィールド／フレーム変換部１１では、ハードディスク６からの画像データが、フィールド単位のものからフレーム単位のものに変換され、フレームメモリ部１２に供給される。即ち、ハードディスク６に記憶された画像データは、ここでは、例えば、ＮＴＳＣ方式などのインターレース方式のテレビジョン信号になっており、フィールド／フレーム変換部１１では、そのインターレース方式の信号が、ノンインターレース方式の信号（いわゆるプログレッシブな画像データ）に変換され、フレームメモリ部１２に供給される。なお、ハードディスク６に記憶された画像データが、プログレッシブなものである場合には、フィールド／フレーム変換部１１は必要なく、ハードディスク６からの画像データは、そのままフレームメモリ部１２に供給される。
【００４６】
フレームメモリ部１２では、ハードディスク６から、フィールド／フレーム変換部１１を介して供給される１シーン分のフレーム単位の画像データが記憶される。フレームメモリ部１２に、１シーン分の画像データが記憶されると、動きベクトル検出部１３では、その画像データの動きベクトルが検出される。
【００４７】
即ち、フレームメモリ部１２に記憶された１シーン分の画像データを、その先頭のフレームから、第１フレーム、第２フレーム、・・・、第Ｎフレームとすると（従って、ここでは、フレームメモリ部１２に記憶された１シーン分の画像データは、第１フレーム乃至第ＮフレームのＮフレームでなる）、動きベクトル検出部１３は、例えば、第１フレームを基準（いわゆる参照画像）として、第２乃至第Ｎフレームそれぞれにおける動きベクトルを、８×８（横×縦）画素のブロック単位で検出する。さらに、動きベクトル検出部１３では、各フレームの動きベクトルが、１画素より細かい、例えば、１／４画素以下の精度で検出される。
【００４８】
ここで、画素より細かい単位での動きベクトルの検出は、例えば、次のようにして行うことができる。即ち、例えば、動きベクトルを検出しようとする注目フレームのブロック（以下、適宜、処理対象ブロックという）と同一の大きさで同一の形のブロックを、ここでは、第１フレームの所定の位置に考え、まず最初に、そのブロック（以下、適宜、参照ブロックという）と処理対象ブロックとの、対応する位置にある画素の画素値どうしの差分の絶対値和や２乗和など（以下、適宜、誤差という）を求める。
【００４９】
いま、参照ブロックの位置からの、処理対象ブロックへのベクトルが（ｘ，ｙ）のときに得られる誤差をＥ（ｘ，ｙ）と表し、画素単位で動きベクトルを検出したときに、誤差Ｅ（ｘ，ｙ）を最小にする動きベクトルとして、（ｘ0，ｙ0）が得られたとする。
【００５０】
この場合、Ｅ（ｘ0−１，ｙ0）＜Ｅ（ｘ0＋１，ｙ0）が成り立つならば、図３（Ａ）に示すように、Ｅ（ｘ0−２，ｙ0），Ｅ（ｘ0−１，ｙ0），Ｅ（ｘ0，ｙ0），Ｅ（ｘ0＋１，ｙ0）の４点をスプライン補間して得られる曲線を求め、また、Ｅ（ｘ0−１，ｙ0）＜Ｅ（ｘ0＋１，ｙ0）が成り立たないならば、図３（Ｂ）に示すように、Ｅ（ｘ0−１，ｙ0），Ｅ（ｘ0，ｙ0），Ｅ（ｘ0＋１，ｙ0），Ｅ（ｘ0＋２，ｙ0）の４点をスプライン補間して得られる曲線を求める。
【００５１】
さらに、その曲線から、誤差Ｅ（ｘ，ｙ0）を最小にするｘ（以下、適宜、ｘminという）を求め、同様にして、誤差Ｅ（ｘ0，ｙ）を最小にするｙ（以下、適宜、ｙminという）を求める。そして、その結果得られるｘminおよびｙminで表されるベクトル（ｘmin，ｙmin）が、画素より細かい単位での動きベクトルとなる。
【００５２】
動きベクトル検出部１３は、フレームメモリ部１２に記憶された画像の動きベクトルを検出した後、その動きベクトルを、背景抽出部１４および前景抽出部１５に供給するとともに、その動きベクトルに基づいて、フレームメモリ部１２に記憶された画像におけるフィールド間のずれの補正を行う。即ち、ハードディスク６に記憶された画像データが、例えば、上述したように、ＮＴＳＣ方式のものである場合には、あるフレームを構成する２つのフィールドの間には、約１／６０秒に相当する画像のずれがある。動きベクトル検出部１３は、このずれを、動きベクトルにしたがって補正する。
【００５３】
動きベクトル検出部１３において、フレームメモリ部１２に記憶された画像におけるフィールド間のずれの補正が行われると、背景抽出部１４では、フレームメモリ部１２に記憶された１シーン分の画像を構成する各フレームが適宜読み出され、その１シーン全体の背景が、動きベクトル検出部１３からの動きベクトルに基づいて検出（抽出）される。即ち、フレームメモリ部１２に記憶された１シーン分の画像が、例えば、ある風景の中を走行するトラックを、ビデオカメラを右から左にパンニングしながら撮影したものであるとすると、１シーン分の画像全体の背景は、横長のものになるが、この場合、背景抽出部１４では、そのような横長の背景が検出される。さらに、背景抽出部１４では、その横長の背景における、各フレームの位置に関する位置情報も検出され、その背景の画像と各フレームの位置情報とが、背景情報として、前景抽出部１５および符号化部１６に供給される。
【００５４】
前景抽出部１５は、動きベクトル検出部１３から動きベクトルを受信するとともに、背景抽出部１４から背景情報を受信すると、フレームメモリ部１２に記憶された１シーン分の画像を構成する各フレームを適宜読み出し、その各フレームの画像、並びに動きベクトルおよび背景情報を用いて、前景を検出（抽出）する。さらに、前景抽出部１５は、各フレームにおける前景についての動きベクトル（前景動きベクトル）を検出し、この前景動きベクトルと前景の画像とを、前景情報として符号化部１６に供給する。
【００５５】
符号化部１６は、背景抽出部１４からの背景情報と、前景抽出部１５からの前景情報とを、例えば多重化することにより、符号化データとし、記録部２に供給する。
【００５６】
次に、図４は、図２の背景抽出部１４の構成例を示している。
【００５７】
読み書き制御部２１は、フレームメモリ部１２に記憶された画像の読み出しを制御するとともに、背景メモリ２２または位置情報メモリ２３それぞれへの背景または位置情報の書き込みを制御するようになされている。即ち、読み書き制御部２１は、フレームメモリ部１２に記憶された画像を、第１フレームから順次読み出し、各フレームの画像における背景を、動きベクトル検出部１３から供給される動きベクトルに基づいて求め、背景メモリ２２に書き込むようになされている。さらに、読み書き制御部２１は、背景メモリ２２に記憶された背景における、各フレームの位置に関する位置情報を検出し、位置情報メモリ２３に書き込むようにもなされている。
【００５８】
背景メモリ２２は、読み書き制御部２１の制御にしたがい、各フレームの背景を記憶することにより、１シーン全体の背景（以下、適宜、全体背景という）を構成し、また、その全体背景を、マルチプレクサ（ＭＵＸ）２４に供給するようになされている。位置情報メモリ２３は、読み書き制御部２１の制御にしたがい、全体背景における各フレームの位置情報を記憶し、また、記憶した位置情報を、マルチプレクサ２４に供給するようになされている。マルチプレクサ２４は、背景メモリ２２からの全体背景と、位置情報メモリ２３からの各フレームの位置情報とを多重化し、背景情報として、前景抽出部１５および符号化部１６に供給するようになされている。
【００５９】
図５は、図４の背景メモリ２２の構成例を示している。
【００６０】
背景メモリ２２は、例えば、水平方向（水平走査線の方向）にはＰH’個の画素（画素値）を、垂直方向にはＰV’個の画素（画素値）を、それぞれ記憶することができるようになされている。なお、１フレームの画像を構成する水平方向または垂直方向の画素数を、それぞれＰHまたはＰVとすると、ＰH’＞＞ＰH，ＰV’＞＞ＰVとなっており、従って、背景メモリ２２は、水平方向および垂直方向とも、１フレームを構成する画素数より充分多い画素数でなる画像を記憶することができるようになされている。
【００６１】
ここで、背景メモリ２２のアドレスは、その最も左上の記憶領域を原点（０，０）とし、水平または垂直方向をそれぞれｘまたはｙ軸としてシーケンシャルに付されており、従って、左からｉ＋１番目で、上からｊ＋１番目の絶対アドレスは、（ｉ，ｊ）となっている。
【００６２】
次に、図６のフローチャートを参照して、図４の背景抽出部１４において行われる背景（全体背景）を抽出する処理（背景抽出処理）について説明する。
【００６３】
背景抽出部１４では、まず最初に、ステップＳ１において初期化処理が行われる。即ち、読み書き制御部２１は、背景メモリ２２および位置情報メモリ２３の記憶値を、所定の初期値にクリアする。さらに、読み書き制御部２１は、背景メモリ２２のアドレスポインタを、フレームメモリ部１２に記憶された１シーン分の画像の動きベクトルに基づいて、所定のアドレスにセットする。
【００６４】
ここで、背景メモリ２２には、上述したように、各フレームの背景が記憶されることにより、１シーン全体の背景（全体背景）が構成される。従って、１シーン分の画像が、例えば、ビデオカメラを、右から左にパンニングして撮影されたものである場合には、１シーン分の画像、即ち、第１乃至第Ｎフレームの背景で構成される全体背景は、その第１乃至第Ｎフレームを、その位置を右から左に徐々にずらして並べて形成される、図７に点線で示すような横長のものになる。そして、この場合、例えば、第１フレームの背景を、背景メモリ２２の左端の方に記憶させたのでは、全体背景を記憶することが困難となる。そこで、初期化処理において、読み書き制御部２１は、背景メモリ２２に第１フレームの画像を記憶させるときに、例えば、そのフレームの最も左上の画素が記憶されるアドレスを指すポインタであるアドレスポインタを、全体背景をすべて記憶させることができるようなアドレスにセットするようになされている。従って、例えば、全体背景が、図７に点線で示すような横長のものである場合には、初期化処理において、アドレスポインタは、例えば、図８に示すように、背景メモリ２２の右端の方のアドレスにセットされる。なお、背景メモリ２２が、いわゆるリングバッファとして構成されている場合には、初期化処理において、アドレスポインタは、どのアドレスに設定しても問題はない。
【００６５】
初期化処理が終了すると、ステップＳ２に進み、読み書き制御部２１は、背景についての動きベクトルの基準値ＶBを検出する。即ち、読み書き制御部２１は、例えば、第２フレームの各ブロックごとの動きベクトルに基づき、第１フレームから、背景と推定される領域を検出する。そして、読み書き制御部２１は、その領域におけるブロックの動きベクトルの平均値（小数点以下は、例えば切り捨てる）を、背景についての動きベクトルの基準値ＶBとする。
【００６６】
その後、読み書き制御部２１は、ステップＳ３において、第１フレームから検出した背景（と推定される領域）を構成する画素（以下、適宜、背景画素という）を、背景メモリ２２の、対応するアドレスに書き込む。即ち、読み書き制御部２１は、第１フレームの背景画素を、図８に示したアドレスポインタを最も左上の頂点とするＰH×ＰV画素の領域の対応するアドレスに書き込む。そして、ステップＳ４に進み、読み書き制御部２１は、例えば、いまのアドレスポインタの位置（アドレスポインタが指している、背景メモリ２２のアドレス）を、第１フレームの位置情報として、位置情報メモリ２３に書き込み、ステップＳ５に進む。
【００６７】
ステップＳ５では、読み書き制御部２１において、フレーム数をカウントするための変数ｎに、初期値としての２がセットされ、ステップＳ６に進む。ステップＳ６では、読み書き制御部２１において、各フレームを構成する８×８のブロックをカウントするための変数ｂに、初期値としての、例えば１がセットされ、ステップＳ７に進む。ここで、各フレームにおける最も左上のブロックを、第１ブロックとし、以下、いわゆるラスタスキャン順に、各ブロックを、第２ブロック、第３ブロック、・・・とするものとする。なお、ここでは、１フレームはＢ個のブロック、即ち、第１乃至第Ｂブロックで構成されるものとする。
【００６８】
ステップＳ７では、読み書き制御部２１において、動きベクトル検出部１３から供給された、第ｎフレームにおける第ｂブロックの動きベクトルＶbの信頼度Ｃbが閾値εC以上であり（より大きく）、動きベクトルＶbと背景についての動きベクトルの基準値ＶBとの差分の絶対値（ノルム）が閾値εV以下（未満）であり、かつ動きベクトルＶbのｘ，ｙ成分がいずれも整数値（小数点以下が０）であるかどうかが判定される。
【００６９】
ここで、動きベクトルＶbの信頼度Ｃbは、その動きベクトルＶbに対応する第ｂブロックが、背景の領域であることの信頼性を表すもので、ここでは、例えば、次式で定義されている。
【００７０】
【数１】
但し、式（１）において、ｍｓｅi,jは、次式で表される。
【数２】
【００７１】
ここで、式（２）において、ｓ（ｘ，ｙ）は、第ｂブロックの最も左上から、右方向にｘ番目で、下方向にｙ番目の位置にある画素（画素値）を表す。また、式（２）において、ｓ’（ｘ＋ｉ，ｙ＋ｊ）は、第ｂブロックの動きベクトルＶbを検出する際の基準となる画像（参照画像）、即ち、ここでは、第１フレームにおける、第ｂブロックに対応する８×８画素のブロックから、水平方向または垂直方向に、それぞれｉまたはｊ画素だけ移動した位置におけるブロックの最も左上から、右方向にｘ番目で、下方向にｙ番目の位置にある画素を表す。さらに、式（２）において、ｘまたはｙについてのサメーション（Σ）は、ｘまたはｙを、１ブロックを構成する水平方向または垂直方向の画素数にそれぞれ対応する値、即ち、ここでは、いずれも１乃至８に変えてのサメーションを表す。従って、式（２）で表されるｍｓｅi,jは、ｉ，ｊを、動きベクトルＶbのｘ，ｙ成分それぞれとして、その動きベクトルＶbにしたがって、参照画像（ここでは、上述したように、第１フレーム）を動き補償して得られる、いわば予測画像の予測誤差に相当する。
【００７２】
なお、式（１）において、ｉまたはｊについてのサメーションは、ｉまたはｊを、水平方向または垂直方向の動き検出の範囲内で変えてのサメーションをそれぞれ表す。また、水平方向または垂直方向の動き検出の範囲（ｉまたはｊがとり得る値）を、例えば、−Ｘ乃至Ｘまたは−Ｙ乃至Ｙとそれぞれすると（但し、Ｘ，Ｙは、正の整数）、式（１）において、ＩまたはＪは、２Ｘ＋１または２Ｙ＋１でそれぞれ表される値である。
【００７３】
従って、式（１）で表される信頼度Ｃbは、式（２）におけるｉ，ｊを変えて予測誤差を求めた場合に、最小の予測誤差が、その他の予測誤差と比較して相対的に小さいときに大きくなる。
【００７４】
ステップＳ７において、第ｎフレームにおける第ｂブロックの動きベクトルＶbの信頼度Ｃbが閾値εC以上であり、動きベクトルＶbと背景についての動きベクトルの基準値ＶBとの差分の絶対値が閾値εV以下であり、かつ動きベクトルＶbのｘ，ｙ成分がいずれも整数値である場合、ステップＳ８に進み、読み書き制御部２１は、その第ｂブロックを構成する画素を、全体背景を構成する画素として、背景メモリ２２の対応するアドレスに書き込み、ステップＳ９に進む。
【００７５】
即ち、読み書き制御部２１は、第ｂブロックを、第１フレームの対応する位置から、動きベクトルＶbに対応する分だけ移動した位置（背景メモリ２２のアドレス）に書き込む。なお、第ｂブロックを構成するある画素を書き込もうとする背景メモリ２２のアドレスに、既に、全体背景としての画素が記憶されている場合には、読み書き制御部２１において、例えば、その既に記憶されている画素が、背景メモリ２２から読み出されて、その読み出された画素との平均値が求められ、これが、新たに全体背景を構成する画素として、背景メモリ２２に書き込まれる。なお、この場合、平均値ではなく、重み付け加算値（例えば、既に記憶されている画素を８として、第ｂブロックの画素を２とする）を書き込んだり、また、第ｂブロックの画素を、単に、上書きすることも可能である。
【００７６】
一方、ステップＳ７において、第ｎフレームにおける第ｂブロックの動きベクトルＶbの信頼度Ｃbが閾値εC以上でないか、動きベクトルＶbと背景についての動きベクトルの基準値ＶBとの差分の絶対値が閾値εV以下でないか、または動きベクトルＶbのｘ，ｙ成分の少なくとも一方が整数値でない場合、ステップＳ８をスキップして、ステップＳ９に進み、読み書き制御部２１において、ブロック数をカウントする変数ｂが、１フレームを構成するブロック数Ｂに等しいかどうかが判定される。ステップＳ９において、変数ｂがＢに等しくないと判定された場合、ステップＳ１０に進み、読み書き制御部２１において、変数ｂが１だけインクリメントされ、ステップＳ７に戻り、同様の処理が繰り返される。
【００７７】
また、ステップＳ９において、変数ｂがＢに等しいと判定された場合、ステップＳ１１に進み、読み書き制御部２１において、第ｎフレームの位置情報が求められ、位置情報メモリ２３に書き込まれる。即ち、ステップＳ１１では、例えば、第ｎフレームを構成するブロックのうち、背景メモリ２２に書き込まれたものの動きベクトルの平均値（小数点以下は、例えば、切り捨てる）が求められ、この平均値が、アドレスポインタに加算される。そして、この加算後のアドレスポインタが指すアドレスが、第ｎフレームの位置情報として、位置情報メモリ２３に書き込まれる。なお、第ｎフレームを構成するブロックの中に、背景メモリ２２に書き込まれたものが１つもない場合は、例えば、その第ｎフレームを構成するすべてのブロックの動きベクトルの平均値が、位置情報を求めるのに用いられる。
【００７８】
第ｎフレームの位置情報の書き込み後は、ステップＳ１２に進み、フレーム数をカウントする変数ｎが、１シーンを構成するフレーム数Ｎに等しいかどうかが、読み書き制御部２１によって判定される。ステップＳ１２において、変数ｎがＮに等しくないと判定された場合、ステップＳ１３に進み、読み書き制御部２１において、変数ｎが１だけインクリメントされ、ステップＳ６に戻る。また、ステップＳ１２において、変数ｎがＮに等しいと判定された場合、背景抽出処理を終了する。
【００７９】
以上のように、動きベクトルの信頼度Ｃbが閾値εC以上であり、動きベクトルと背景についての動きベクトルの基準値ＶBとの差分の絶対値が閾値εV以下であり、かつ動きベクトルのｘ，ｙ成分がいずれも整数値である場合に、その動きベクトルが検出されたブロックを構成する画素を、背景を構成するものとして確定し、背景メモリ２２に書き込むようにしたので、背景を、精度良く抽出することが可能となる。
【００８０】
また、あるブロックを構成する画素を、背景を構成する画素として書き込もうとする背景メモリ２２のアドレスに、既に、全体背景としての画素が記憶されている場合には、その既に記憶されている画素との平均値を書き込むようにしたので、例えば、影の影響などにより、輝度が急激に変化するような、違和感のある全体背景が構成されることを防止することが可能となる。
【００８１】
なお、シーンの最初の数フレームを、背景だけからなる画像としておくことにより、各フレームから、背景を、より精度良く抽出することが可能となる。
【００８２】
また、上述の場合においては、説明を簡単にするために、動きベクトル検出部１３において、常時、第１フレームを基準として、他のフレームの動きベクトルを検出するようにしたが、画像が、ビデオカメラをパンニングやチルティングして撮影されたものである場合には、後のフレームにおいて、第１フレームの背景がまったく表示されていない状態となることがあり、動きベクトルの検出が困難となる。そこで、動きベクトルを検出するための基準となる画像は、例えば、数十フレーム単位で切り替えるのが望ましい。なお、動きベクトルの検出のために、新たに基準とする画像は、いま基準とされている画像に対する動きベクトルのｘ，ｙ成分がともに整数になっているものであることが望ましい。
【００８３】
ここで、例えば、図９に示す、所定の背景の中を、トラックが右から左方向に走行している画像を含む１シーンから、上述した背景抽出処理により全体背景を抽出した抽出結果を、図１０に示す。図９および図１０から分かるように、全体背景が、精度良く抽出されている。
【００８４】
次に、図２の前景抽出部１５について説明するが、その前に、その前段階の準備として、前景を抽出する２つの方法について説明する。
【００８５】
まず、第１の方法では、各フレームの画像と、全体背景のうちの対応する部分（背景）との差分を演算し、その差分値が大きい画素を、前景を構成するものとして抽出する。しかしながら、この方法では、前景を構成する画素であっても、背景（全体背景）との差分値が小さくなると、前景としては抽出されず、背景として削除されることになる。ここで、第１の方法により、図９に示した画像（フレーム）から、図１０に示した全体背景を用いて求めた前景を、図１１に示す。図１１から分かるように、第１の方法では、背景は比較的精度良く削除されているが、前景を構成する画素のうち、背景との差分値が小さい部分も削除されてしまっている。
【００８６】
次に、第２の方法では、あるフレームと、他のフレームとを、それぞれの前景の位置をあわせて、対応する画素どうしの差分を演算する。そして、その差分値が大きい画素を、背景を構成するものとして削除し、残りを、前景を構成するものとして抽出する。しかしながら、この方法では、背景を構成する画素であっても、対応する画素との差分値が小さくなると、背景として削除されず、前景として抽出されることになる。ここで、図９に示した画像（フレーム）を含む１シーンの中の２フレームを用いて求めた前景を、図１２に示す。図１２から分かるように、第２の方法では、前景は比較的精度良く抽出されているが、背景を構成する画素のうち、対応する画素との差分値が小さい部分も抽出されてしまっている。
【００８７】
以上のように、第１または第２の方法のうちのいずれか一方だけでは、前景（だけ）の精度の良い抽出が困難である。
【００８８】
そこで、図１３は、図２の前景抽出部１５の構成例を示している。
【００８９】
前景位置近似処理部３１には、フレームメモリ部１２に記憶された画像と、背景抽出部１３が出力する背景情報とが供給されるようになされている。前景位置近似処理部３１は、フレームメモリ部１２からの画像と、背景抽出部１３からの背景情報とから、第１の方法を利用して、前景の候補となる、後述するような前景近似画像（前景候補画像）を構成し、前景近似画像メモリ３２に供給する。前景近似画像メモリ３２は、前景位置近似処理部３１からの前景近似画像を記憶する。
【００９０】
一方、前景検出処理部３３には、動きベクトル検出部１３から動きベクトルが供給されるようになされている。前景検出処理部３３は、前景近似画像メモリ３２に記憶された前景近似画像から、動きベクトルを用い、第２の方法を利用して前景を検出するとともに、各フレームにおける前景についての動きベクトルを検出し、それらを、前景情報として符号化部１６に出力する。
【００９１】
次に、図１４は、図１３の前景位置近似処理部３１の構成例を示している。
【００９２】
前景位置近似処理部３１では、第１の方法により、各フレームの画像から、背景である蓋然性の高い画素が削除され、これにより、前景近似画像が構成されて出力されるようになされている。
【００９３】
即ち、差分算出部４１には、フレームメモリ部１２に記憶された各フレームの画像と、背景抽出部１４が出力する背景情報とが供給されるようになされている。差分算出部４１では、各フレームの画像それぞれと、背景情報に含まれる全体背景のうち、対応するフレームの背景部分との差分値が演算され、背景削除部４２に供給されるようになされている。背景削除部４２には、差分算出部４１から、上述の差分値が供給される他、フレームメモリ部１２から各フレームの画像が供給されるようになされている。背景削除部４２は、各フレームの画像から、差分算出部４１の差分値に基づいて、背景である蓋然性の高い画素を検出して削除し、その結果得られる各フレームの画像を、前景近似画像として出力するようになされている。
【００９４】
次に、図１５のフローチャートを参照して、図１４の前景位置近似処理部３１において行われる処理（前景近似処理）について説明する。
【００９５】
前景近似処理では、まず最初に、ステップＳ２１において、フレーム数をカウントする変数ｎに、初期値としての１がセットされる。そして、ステップＳ２２に進み、差分算出部４１において、フレームメモリ部１２に記憶された第ｎフレームの画像が読み出され、その第ｎフレームと、それに対応する背景との差分値が算出される。即ち、差分算出部４１は、背景情報を、全体背景と位置情報とに分離し、全体背景から、第ｎフレームの背景に相当する領域を抽出する。そして、差分算出部４１は、その抽出した領域と、第ｎフレームとの差分値を演算し、背景削除部４２に出力する。
【００９６】
ここで、本実施の形態では、第ｎフレームと、その背景との差分値（第１の差分値）として、差分算出部４１において、例えば、次のような重み加算値が計算されるようになされている。即ち、いま、画素（画素値）が、輝度信号としてのＹ信号と、色差信号としてのＵ，Ｖ信号とを有しているとすると、差分算出部４１では、Ｙ信号どうしの差を２乗したものと、Ｕ，Ｖ信号それぞれどうしの差を２乗したものとが求められる。そして、差分算出部４１は、Ｙ信号どうしの差を２乗したものの重みを、例えば１とするとともに、Ｕ，Ｖ信号それぞれどうしの差を２乗したものの重みを、例えば、いずれも５０として、それらを加算し、その加算結果を、差分値とするようになされている。
【００９７】
なお、以上のように、Ｙ信号に比較して、Ｕ，Ｖ信号の重みを大きくすることにより、影による画素値の変化に起因して、前景または背景の抜き出し（抽出）精度が劣化することを低減することができる。
【００９８】
また、差分算出部４１は、図１６に示すように、第ｎフレームの注目画素について、その注目画素と、背景における対応する画素ｅとの差分値（重み加算値）だけでなく、背景における対応する画素の周辺にある画素としての、例えば、その対応する画素に隣接する８つの画素ａ，ｂ，ｃ，ｄ，ｆ，ｇ，ｈ，ｉそれぞれとの差分値も演算するようになされている。そして、差分算出部４１は、その９個の差分値のうちの、例えば、最も小さいものを、注目画素についての最終的な差分値として、背景削除部４２に供給するようになされている。
【００９９】
なお、以上のように、注目画素について、それに対応する画素だけでなく、その周辺にある画素との差分値も演算し、そのうちの最小値を、最終的な差分値とすることで、前景である蓋然性の高い画素が削除され、また、背景である蓋然性の高い画素が削除されないことを防止することが可能となる。
【０１００】
即ち、第１の方法では、各フレームの画像と、全体背景のうちの対応する部分（背景）との差分を演算し、その差分値が大きい画素を、前景を構成するものとして抽出するが、その差分値を演算するときに、あるフレームの注目画素と、全体背景のうちの、その注目画素に対応させる画素とが、空間的にずれている場合がある。そして、注目画素が背景を構成する場合に、その注目画素に対応させる画素が空間的にずれていると、得られる差分値が大きくなり、その注目画素は、背景であるにもかかわらず、前景を構成するものとして抽出されることになる。
【０１０１】
また、第２の方法では、あるフレームと、他のフレームとを、それぞれの前景の位置をあわせて、対応する画素どうしの差分を演算し、その差分値が大きい画素を、背景を構成するものとして削除するが、やはり、その差分値を演算するときに、あるフレームの注目画素と、他のフレームのうちの、その注目画素に対応させる画素とが、空間的にずれている場合がある。そして、注目画素が前景を構成する場合に、その注目画素に対応させる画素が空間的にずれており、背景を構成する画素と対応させてしまうと、得られる差分値が大きくなり、注目画素は、前景であるにもかかわらず、背景を構成するものとして削除されることになる。
【０１０２】
そこで、上述のように、注目画素について、それに対応する画素だけでなく、その周辺にある画素との差分値も演算し、そのうちの最小値を、最終的な差分値とすることで、対応させた画素どうしの空間的な位置ずれを補償することが可能となり、その結果、前景である蓋然性の高い画素が削除されることと、背景である蓋然性の高い画素が削除されないこととを防止することが可能となる。
【０１０３】
以上のようにして、第ｎフレームの画像と、それに対応する背景との差分値が算出され、差分算出部４１から背景削除部４２に出力されると、ステップＳ２３に進み、第ｎフレームの、垂直方向に並ぶ画素の列数をカウントする変数ｈに、初期値としての１がセットされる。そして、ステップＳ２４に進み、背景削除部４２において、第ｎフレームの左から第ｈ列において、差分算出部４１で求められた差分値が所定の閾値（前景と予想される値）以上となっている画素の数が、所定数εh以下（未満）であるかどうかが判定される。ステップＳ２４において、差分値が所定の閾値以上となっている画素の数が、所定数εh以下であると判定された場合、ステップＳ２５に進み、背景削除部４１は、第ｎフレームの第ｈ列を構成する画素すべてを、背景を構成する画素と確定して削除し、ステップＳ２６に進む。
【０１０４】
また、ステップＳ２４において、差分値が所定の閾値以上となっている画素の数が、所定数εh以下でないと判定された場合、ステップＳ２５をスキップして、ステップＳ２６に進み、変数ｈが１だけインクリメントされ、ステップＳ２７に進む。ステップＳ２７では、変数ｈが、１フレームの水平方向の画素数ＰH以下であるかどうかが判定され、ＰH以下であると判定された場合、ステップＳ２４に戻る。また、ステップＳ２７において、変数ｈがＰH以下でないと判定された場合、ステップＳ２８に進み、第ｎフレームの、水平方向に並ぶ画素の行数をカウントする変数ｖに、初期値としての１がセットされる。
【０１０５】
そして、ステップＳ２９に進み、背景削除部４２において、第ｎフレームの上から第ｖラインにおいて、差分算出部４１で求められた差分値が所定の閾値（前景と予想される値）以上となっている画素の数が、所定数εv以下（未満）であるかどうかが判定される。ステップＳ２９において、差分値が所定の閾値以上となっている画素の数が、所定数εv以下であると判定された場合、ステップＳ３０に進み、背景削除部４１は、第ｎフレームの第ｖラインを構成する画素すべてを、背景を構成する画素と確定して削除し、ステップＳ３１に進む。
【０１０６】
また、ステップＳ２９において、差分値が所定の閾値以上となっている画素の数が、所定数εv以下でないと判定された場合、ステップＳ３０をスキップして、ステップＳ３１に進み、変数ｖが１だけインクリメントされ、ステップＳ３２に進む。ステップＳ３２では、変数ｖが、１フレームの垂直方向の画素数（ライン数）ＰV以下であるかどうかが判定され、ＰV以下であると判定された場合、ステップＳ２９に戻る。
【０１０７】
一方、ステップＳ３２において、変数ｖがＰV以下でないと判定された場合、即ち、第ｎフレームについて、差分算出部４１で求められた差分値が所定の閾値以上となっている画素の数が、それぞれ所定数εhまたはεv以下になっている列またはラインが、背景を構成するものとして削除された画像である前景近似画像が形成された場合、ステップＳ３３に進み、変数ｎが、１シーンを構成するフレーム数Ｎに等しいかどうかが判定される。ステップＳ３３において、変数ｎがＮに等しくないと判定された場合、ステップＳ２２に戻る。また、ステップＳ３３において、変数ｎがＮに等しいと判定された場合、前景位置近似処理を終了する。
【０１０８】
ここで、図９に示した画像を対象に、図１０に示した全体背景を用いて、上述の前景位置近似処理を行って得られる前景近似画像を、図１７に示す。第１の方法をそのまま用いた場合には、図１１に示したように、前景を構成する画素のうち、背景との差分値が小さい部分も削除されてしまったが、差分算出部４１で求められた差分値が所定の閾値以上となっている画素の数が、それぞれ所定数εhまたはεv以下になっている列またはラインだけを、背景として削除することにより、図１７に示すように、背景である蓋然性が非常に高い画素だけが削除されるようになり、これにより、前景を構成する画素が削除されることを防止することが可能となる。
【０１０９】
次に、図１８は、図１３の前景検出処理部３３の構成例を示している。
【０１１０】
前景動きベクトル検出部５１は、動きベクトル検出部１３からのブロックごとの動きベクトルに基づいて、各フレームの前景についての動きベクトル（前景動きベクトル）を、例えば、図４の読み書き制御部２１が背景の位置情報を求めるのと同様にして検出するようになされている。
【０１１１】
即ち、前景動きベクトル検出部５１は、各フレームについて、動きベクトル検出部１３からの動きベクトルから、前景と推定される領域（ブロック）を検出し、その検出結果に基づき、前景が、例えば、その中央部分に位置しているフレームを検出する。そして、前景動きベクトル検出部５１は、そのフレームの前景と推定されるブロックの動きベクトルの平均値（小数点以下は、例えば、切り捨てる）を、前景についての動きベクトルの基準値ＶFとする。さらに、前景動きベクトル検出部５１は、例えば、他のフレームについて、前景についての動きベクトルの基準値ＶFを用いて、図６のステップＳ７における条件を満たすかどうかの判定処理を行い、その条件を満たすブロックの動きベクトルの平均値（小数点以下は、例えば、切り捨てる）が求められ、これが、そのフレームの前景についての動きベクトル（前景動きベクトル）とされる。前景動きベクトル検出部５１で検出された前景動きベクトルは、前景動きベクトルメモリ５２に供給されて記憶されるとともに、差分算出部５３に供給されるようになされている。
【０１１２】
前景動きベクトルメモリ５２は、前景動きベクトル検出部５１からの各フレーム（第２乃至第Ｎフレーム）の前景動きベクトルを記憶するようになされている。
【０１１３】
差分算出部５３は、前景近似画像メモリ３２に記憶された前景近似画像を読み出し、リファレンス画像メモリ５５に記憶された、後述するリファレンス画像（基準画像）との、上述したような重み加算値を演算し、その演算結果および回数カウントメモリ５４の記憶値に対応して、リファレンス画像メモリ５５の記憶値（リファレンス画像）を更新するようになされている。また、差分算出部５３は、自身が求めた重み加算値に対応して、回数カウントメモリ５４の記憶値を更新するようにもなされている。なお、差分算出部５３において、重み加算値の演算は、リファレンス画像および前景近似画像を、それぞれにおける前景の位置を一致させて行われるが、この前景の位置を一致させる処理は、前景動きベクトル検出部５１から供給される前景動きベクトルに基づいて行われるようになされている。
【０１１４】
回数カウントメモリ５４は、１フレームを構成する画素数に対応する記憶容量を、少なくとも有し、後述するような回数を記憶するようになされている。リファレンス画像メモリ５５は、１フレーム分の画像を記憶する記憶容量を、少なくとも有し、前景近似画像との差分値を演算するリファレンス画像を記憶するようになされている。マルチプレクサ５６は、リファレンス画像メモリ５５に最終的に記憶されたリファレンス画像を、前景として読み出すとともに、前景動きベクトルメモリ５２に記憶された各フレームの前景動きベクトルを読み出し、これらを多重化して、前景情報として出力するようになされている。
【０１１５】
次に、図１９のフローチャートを参照して、図１８の前景検出処理部３３において行われる処理（前景検出処理）について説明する。
【０１１６】
前景検出処理では、まず最初に、ステップＳ４１において、初期化処理が行われる。即ち、リファレンス画像メモリ５５および前景動きベクトルメモリ５２の記憶値がクリアされ、回数カウントメモリ５４に、初期値としての、例えば、所定の正の整数値がセットされる。さらに、差分算出部５３において、前景近似画像メモリ３２から、例えば、第１フレームの前景近似画像が読み出され、これが、リファレンス画像として、リファレンス画像メモリ５５に供給されて記憶される。
【０１１７】
なお、ここでは、説明を簡単にするために、第１フレームの前景近似画像を、リファレンス画像とするようにしたが、最初にリファレンス画像とする前景近似画像は、前景近似画像メモリ３２に記憶されている前景近似画像のうち、一般には、例えば、前景が、フレームの中央部分にあるものを用いるのが好ましい。
【０１１８】
初期化処理後は、ステップＳ４２に進み、フレーム数をカウントする変数ｎに、初期値としての、例えば２がセットされ、ステップＳ４３に進む。ステップＳ４３では、前景動きベクトル検出部５１において、第ｎフレームの前景動きベクトルが、上述したようにして検出される。この前景動きベクトルは、前景動きベクトルメモリ５２に供給されて記憶されるとともに、差分算出部５３に供給される。なお、ステップＳ４３の処理が最初に行われる場合、即ち、第２フレームの前景についての動きベクトルの検出が行われる場合には、その検出とともに、第１フレームにおける前景の位置の検出も行われるようになされている。そして、この第１フレームにおける前景の位置は、第１フレームの前景についての動きベクトルとして、前景動きベクトルメモリ５２に供給されて記憶されるようになされている。
【０１１９】
差分算出部５３は、第ｎフレームの前景動きベクトルを受信すると、第ｎフレームの前景近似画像またはリファレンス画像を、前景近似画像メモリ３２またはリファレンス画像メモリ５５からそれぞれ読み出す。さらに、差分算出部５３は、ステップＳ４４において、第ｎフレームの前景近似画像を構成する画素と、リファレンス画像を構成する画素とを、前景近似画像のフレームの前景動きベクトルに基づいて、前景どうしが重なるように対応付け、図１４の差分算出部４１における場合と同様にして、重み加算値を、リファレンス画像と第ｎフレームの前景近似画像との差分値（第２の差分値）として求め、ステップＳ４５に進む。
【０１２０】
ステップＳ４５では、第ｎフレームの前景近似画像の水平方向または垂直方向の画素の並びであるライン数または列数をカウントするための変数ｖまたはｈが、それぞれ１に初期化され、ステップＳ４６に進む。ステップＳ４６では、差分算出部５３において、ステップＳ４４で求められた差分値（重み加算値）のうち、リファレンス画像の上からｖ番目で、左からｈ番目の差分値Ｅ（ｈ，ｖ）が、所定の閾値εよりも大きい（以上である）かどうかが判定される。
【０１２１】
ステップＳ４６において、差分値Ｅ（ｈ，ｖ）が、所定の閾値εよりも大きいと判定された場合、即ち、リファレンス画像の上からｖ番目で、左からｈ番目の画素Ｐ（ｈ，ｖ）が、背景を構成するものである蓋然性が高い場合、ステップＳ４７に進み、差分算出部５３は、その画素Ｐ（ｈ，ｖ）に対応する、回数カウントメモリ５４の記憶値Ｃ（ｈ，ｖ）を１だけデクリメントし、ステップＳ４８に進む。従って、回数カウントメモリ５４には、リファレンス画像を構成する各画素について、それぞれの画素が、背景を構成するものである蓋然性が高いと判定される回数が記憶されているということができる。
【０１２２】
一方、ステップＳ４６において、差分値Ｅ（ｈ，ｖ）が、所定の閾値εよりも大きくないと判定された場合、ステップＳ４７をスキップして、ステップＳ４８に進み、変数ｖが１だけインクリメントとされ、ステップＳ４９に進む。ステップＳ４９では、変数ｖが、１フレームの垂直方向の画素数（ライン数）ＰV以下であるかどうかが判定され、ＰV以下であると判定された場合、ステップＳ４６に戻る。また、ステップＳ４９において、変数ｖがＰV以下でないと判定された場合、ステップＳ５０に進み、変数ｈが１だけインクリメントされ、ステップＳ５１に進む。ステップＳ５１では、変数ｈが、１フレームの水平方向の画素数（列数）ＰH以下であるかどうかが判定され、ＰH以下であると判定された場合、ステップＳ５２に進み、変数ｖが、１に初期化され、ステップＳ４６に戻る。
【０１２３】
また、ステップＳ５１において、変数ｈがＰH以下でないと判定された場合、ステップＳ５３に進み、差分算出部５３は、回数カウントメモリ５４を参照し、リファレンス画像を構成する画素のうち、記憶値Ｃ（ｈ，ｖ）が負になっているものを、背景を構成するものとして削除する。そして、差分算出部４３は、その削除後のリファレンス画像を、新たなリファレンス画像として、リファレンス画像メモリ５５に記憶させる。
【０１２４】
ここで、上述のように、リファレンス画像を構成する画素のうち、記憶値Ｃ（ｈ，ｖ）が負になっているものを、背景を構成するものとして削除することにより、本来、前景である画素が、例えば、ノイズの影響などに起因して、背景であるとして削除されることを防止することができる。即ち、差分値Ｅ（ｈ，ｖ）が、閾値εよりも大きい場合に、即座に、対応する画素Ｐ（ｈ，ｖ）を、背景を構成するものとして削除することとすると、例えば、リファレンス画像の画素（画素値）Ｐ（ｈ，ｖ）またはそれとの差分をとる前景近似画像の画素にノイズが含まれ、そのノイズに起因して、差分値Ｅ（ｈ，ｖ）が閾値εよりも大きくなったときも、前景を構成する画素Ｐ（ｈ，ｖ）が削除されることになる。これに対して、リファレンス画像を構成する画素のうち、対応する記憶値Ｃ（ｈ，ｖ）が負になっているものを、背景を構成するものとして削除する場合には、差分値Ｅ（ｈ，ｖ）が、ノイズの影響で大きくなり、閾値εを越えても、そのようなことが、所定の回数（ステップＳ４１の初期化処理において、回数カウントメモリ５４にセットされる正の整数に、１を加算した値）だけ生じない限り、画素Ｐ（ｈ，ｖ）は削除されない。従って、本来、前景である画素が、例えば、ノイズの影響などに起因して、背景であるとして削除されることを防止することができる。
【０１２５】
ステップＳ５３の処理後は、ステップＳ５４に進み、変数ｎが、１シーンを構成するフレーム数Ｎに等しいかどうかが判定される。ステップＳ５４において、変数ｎがＮに等しくないと判定された場合、ステップＳ５５に進み、変数ｎが１だけインクリメントされ、ステップＳ４３に戻る。また、ステップＳ５４において、変数ｎがＮに等しいと判定された場合、マルチプレクサ５６は、リファレンス画像メモリ５５に最終的に記憶されているリファレンス画像を前景として読み出すとともに、前景動きベクトルメモリ５２に記憶されている各フレームの前景動きベクトルを読み出す。そして、マルチプレクサ５６において、前景および各フレームの前景についての動きベクトルが多重化されて、前景情報として出力され、前景検出処理を終了する。
【０１２６】
ここで、図１７に示した前景近似画像を用いて、前景検出処理を行うことにより得られた最終的なリファレンス画像としての前景を、図２０に示す。図２０を、図１１および図１２と比較すると、前景を構成する画素が背景として削除されたり、また、背景を構成する画素が前景として抽出されたりしている部分が、大きく減っていることが分かる。
【０１２７】
次に、図２１は、図１のデコーダ５の構成例を示している。
【０１２８】
分離部６１には、記録媒体３に記録された符号化データが、再生部４において再生されて供給されるようになされている。分離部６１では、再生部４からの符号化データが、前景情報と背景情報とに分離され、分離部６２と６３とにそれぞれ供給される。
【０１２９】
分離部６２は、分離部６１からの前景情報を、前景と、各フレームごとの前景動きベクトルとに分離し、前景メモリ６４と前景動きベクトル記憶部６５とにそれぞれ供給して記憶させる。また、分離部６３は、分離部６１からの背景情報を、全体背景と、各フレームごとの位置情報とに分離し、背景メモリ６６と位置情報記憶部６７とにそれぞれ供給して記憶させる。
【０１３０】
そして、合成部６８において、前景メモリ６４、前景動きベクトル記憶部６５、背景メモリ６６、および位置情報記憶部６７の記憶値に基づいて、元のシーンを構成する第１乃至第Ｎフレームが復号される。
【０１３１】
即ち、合成部６８は、第ｎフレームを復号するとき、背景メモリ６６に記憶された全体背景から、位置情報記憶部６７に記憶された第ｎフレームの位置情報を最も左上の頂点とするＰH×ＰV画素を、第ｎフレームの背景として読み出す。さらに、合成部６８は、前景動きベクトル記憶部６５から、第１フレームの前景動きベクトルとして記憶されている、第１フレームの前景の位置と、第ｎフレームの前景動きベクトルとを読み出し、それらを加算することで、第ｎフレームにおける前景の位置を求める（但し、ｎ＝１の場合においては、即ち、第１フレームについては、その前景動きベクトルが、そのまま前景の位置とされる）。そして、合成部６８は、第ｎフレームの背景における、上述したようにして求めた位置に、前景メモリ６４に記憶された前景を配置（合成）し、これにより、第ｎフレームの復号画像を構成する。
【０１３２】
ここで、図１０の全体背景と、図２０の前景とから得られる復号画像を、図２２に示す。同図に示すように、画質の良い復号画像を得ることができる。
【０１３３】
即ち、図２３に示すように、シーンを構成する原画像から、全体背景を抽出し、その全体背景と原画像とから、第１の方法を利用して、前景近似画像を構成する。さらに、その前景近似画像から、第２の方法を利用して、前景を検出することにより、前景の抜き出しを、正確に、いわばロバスト性をもたせて行うことができる。そして、そのような前景と、全体背景とを用いて復号（合成）を行うことで、画質の良い復号画像を得ることができる。
【０１３４】
なお、前景動きベクトルを、時刻を引数とする連続的な関数で表すことで、復号画像のフレームレートを上下させることが可能となる。また、符号化データに、前景の大きさや、位置、動きベクトルを変数として含めることにより、復号時に、大きさや位置、動きベクトルを所望の値にした前景を得ることが可能となる。
【０１３５】
次に、図２４は、本発明を適用した記録再生装置の他の実施の形態の構成例を示している。
【０１３６】
この実施の形態においては、記録再生装置は、コンピュータをベースに構成されている。
【０１３７】
即ち、ＲＯＭ（Read Only memory）７１は、例えば、ＩＰＬ（Initial Program Loading）のプログラムなどを記憶している。ＣＰＵ（Central Processing Unit）７２は、外部記憶装置７５に記憶されているＯＳ（Operating System）の制御の下、同じく外部記憶装置７５に記憶されているアプリケーションプログラムを実行することで、図１の記録再生装置が行うような各種の処理を行うようになされている。ＲＡＭ（Random Access memory）７３は、ＣＰＵ７２が実行するプログラムや、その動作上必要なデータなどを一時記憶するようになされている。入出力部７４は、例えば、キーボードや、マウスなどで構成され、データやコマンドを入力するときに操作される。また、入出力部７４は、ディスプレイなども有し、ＣＰＵ７２の制御にしたがって、所定の文字や画像を表示するようにもなされている。外部記憶装置７５は、例えば、ハードディスクドライブなどで構成され、ＯＳやアプリケーションプログラム、さらには、図１のハードディスク６が記憶しているのと同様の画像データを記憶している。また、ハードディスク７５は、ＣＰＵ７２が処理を行うのに必要なデータや、処理を行った結果得られるデータなども記憶するようになされている。
【０１３８】
以上のように構成される記録再生装置では、ＣＰＵ７２において、ＯＳの制御の下、アプリケーションプログラムが実行されることで、外部記憶装置７５に記録された画像データが、図１のエンコーダ１における場合と同様にして、符号化データとされ、外部記憶装置７５に記録される。また、このようにして記録された符号化データは、ＣＰＵ７２において、やはり、ＯＳの制御の下、アプリケーションプログラムが実行されることで、図１のデコーダ５における場合と同様にして復号される。
【０１３９】
以上、本発明を、画像をオブジェクト符号化して記録し、また、記録した符号化データを再生してデコードする記録再生装置に適用した場合について説明したが、本発明は、その他、符号化データを伝送したりする場合などにも適用可能である。さらに、本発明は、オブジェクト符号化を行う場合の他、前景の抜き出しが必要なあらゆる装置に適用可能である。
【０１４０】
なお、本実施の形態では、インターレース方式の画像を、フレーム単位に変換して、フレーム単位で処理を行うようにしたが、フィールド単位で処理を行うことも可能である。
【０１４１】
また、本発明は、前景となる動き物体が１つの場合だけでなく、複数の場合にも適用可能である。前景が複数の画像について、上述したようなオブジェクト符号化を施す場合においては、より高い圧縮率を実現することができる。
【０１４２】
さらに、本発明は、前景となる動き物体が、直線的に移動している場合だけでなく、回転している場合にも適用可能である。但し、前景となる物体が回転している場合には、前景の回転量を表すパラメータが必要となる。
【０１４３】
また、本実施の形態における、例えば、図２のフレームメモリ部１２や、図４の背景メモリ２２などは、いわゆる半導体メモリであっても良いし、ハードディスクや、光磁気ディスク、磁気テープなどであっても良い。但し、ランダムアクセス可能なものが望ましい。
【０１４４】
さらに、本実施の形態では、画素が、ＹＵＶ成分を有するものとしたが、本発明は、画素が、ＹＵＶ以外の、例えば、ＲＧＢその他の成分でなる場合にも適用可能である。
【０１４５】
また、本実施の形態では、シーンチェンジから次のシーンチェンジまでのフレームを１シーンとしたが、そのようなシーンチェンジ間の一部のフレームを、１シーンとして処理することも可能である。
【０１４６】
さらに、本実施の形態では、ビデオカメラをパンニングやチルティングして撮影された、背景にも動きのある画像を対象としたが、本発明は、背景の動きの有無にかかわらず、適用可能である。
【０１４７】
【発明の効果】
請求項１に記載の画像抜き出し装置および請求項７に記載の画像抜き出し方法、請求項８に記載の画像符号化装置および請求項９に記載の画像符号化方法、請求項１３に記載の画像記録装置および請求項１４に記載の画像記録方法、並びに請求項１８に記載の記録媒体によれば、前景を、精度良く抜き出すことが可能となる。
【０１４８】
請求項１０に記載の画像復号装置および請求項１２に記載の画像復号方法、並びに請求項１５に記載の画像再生装置および請求項１７に記載の画像再生方法によれば、その符号化データから、画質の良い復号画像を得ることが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した記録再生装置の第１実施の形態の構成例を示すブロック図である。
【図２】図１のエンコーダ１の構成例を示すブロック図である。
【図３】画素より細かい精度での動きベクトルの検出方法を説明するための図である。
【図４】図２の背景抽出部１４の構成例を示すブロック図である。
【図５】図４の背景メモリ２２の構成例を示す図である。
【図６】図４の背景抽出部１４の処理を説明するためのフローチャートである。
【図７】図６のステップＳ１における初期化処理を説明するための図である。
【図８】図６のステップＳ１における初期化処理を説明するための図である。
【図９】符号化対象の原画像を示す、ディスプレイ上に表示される中間調画像の写真である。
【図１０】全体背景を示す、ディスプレイ上に表示される中間調画像の写真である。
【図１１】第１の方法による前景の抜き出し結果を示す、ディスプレイ上に表示される中間調画像の写真である。
【図１２】第２の方法による前景の抜き出し結果を示す、ディスプレイ上に表示される中間調画像の写真である。
【図１３】図２の前景抽出部１５の構成例を示すブロック図である。
【図１４】図１３の前景位置近似処理部３１の構成例を示すブロック図である。
【図１５】図１４の前景位置近似処理部３１の処理を説明するためのフローチャートである。
【図１６】図１５のステップＳ２２における処理を説明するための図である。
【図１７】前景近似画像を示す、ディスプレイ上に表示される中間調画像の写真である。
【図１８】図１３の前景検出処理部３３の構成例を示すブロック図である。
【図１９】図１８の前景検出処理部３３の処理を説明するためのフローチャートである。
【図２０】図２の前景抽出部１５における前景の抜き出し結果を示す、ディスプレイ上に表示される中間調画像の写真である。
【図２１】図１のデコーダ５の構成例を示すブロック図である。
【図２２】図２１のデコーダ５から出力される復号画像を示す、ディスプレイ上に表示される中間調画像の写真である。
【図２３】図１の記録再生装置の処理を説明するための図である。
【図２４】本発明を適用した記録再生装置の第２実施の形態の構成例を示すブロック図である。
【符号の説明】
１ エンコーダ， ２ 記録部， ３ 記録媒体， ４ 再生部， ５ デコーダ， ６ ハードディスク， １１ フィールド／フレーム変換部， １２ フレームメモリ部， １３ 動きベクトル検出部， １４ 背景抽出部， １５前景抽出部， １６ 符号化部， ２１ 読み書き制御部， ２２ 背景メモリ， ２３ 位置情報メモリ， ２４ マルチプレクサ， ３１ 前景位置近似処理部， ３２ 前景近似画像メモリ， ３３ 前景検出処理部， ４１ 差分算出部， ４２ 背景削除部， ５１ 前景動きベクトル検出部， ５２ 前景動きベクトルメモリ， ５３ 差分算出部， ５４ 回数カウントメモリ， ５５ リファレンス画像メモリ， ５６ マルチプレクサ， ６１乃至６３ 分離部, ６４ 前景メモリ， ６５ 前景動きベクトル記憶部， ６６ 背景メモリ， ６７ 位置情報記憶部， ６８ 合成部， ７１ ＲＯＭ， ７２ ＣＰＵ， ７３ ＲＡＭ， ７４ 入出力部， ７５ 外部記憶装置
Claims (18)
- 複数画面の画像の集まりである１シーンから、動き物体の領域である前景を抜き出す画像抜き出し装置であって、
前記１シーンを構成するフレームのうちの所定の１フレームを参照画像として、前記１シーンを構成する各フレームにおける動きベクトルを検出する動きベクトル検出手段と、
前記１シーンを構成する各フレームの画像における背景を求め、求めた前記各フレームの画像における背景から、前記１シーン全体の全体背景を構成する背景構成手段と、
前記１シーンを構成する画像それぞれについて、前記全体背景の中の対応する部分との差分である第１の差分値を演算し、前記第１の差分値が所定の閾値以上となる画素の数が所定数以下となる所定の一直線上にある前記画像の画素を削除して、削除されなかった画素からなる、前記前景の候補となる前景候補画像を求める前景候補画像算出手段と、
前記動きベクトルに基づいて検出される前景と推定される領域が、中央部分に位置しているフレームを前記１シーンを構成するフレームの中から検出し、検出したフレームの前景と推定される領域の動きベクトルを前景動きベクトルとして検出し、前記１シーンを構成する画像それぞれについての前記前景候補画像のうちの１つを基準画像として、前記基準画像と、他の前記前景候補画像の前景どうしが重なるように前記前景動きベクトルに基づいて対応づけて、前記基準画像と他の前記前景候補画像との差分を第２の差分値として演算し、前記第２の差分値が所定の閾値以上の前記基準画像を構成する画素を、前記全体背景を構成するものとして削除し、その画素の削除後の画像を、新たな前記基準画像として、他の前記前景候補画像との前記第２の差分値を演算することを繰り返し、最終的に得られた前記基準画像を、前記前景として検出する前景検出手段と
を備える画像抜き出し装置。 - 前記前景候補画像算出手段は、
前記画像を構成する所定の画素について、その所定の画素に対応する、前記全体背景を構成する画素との前記第１の差分値と、その周辺の画素との前記第１の差分値とを演算し、
その複数の第１の差分値のうち、最も小さいものを、前記所定の画素についての最終的な第１の差分値とする
請求項１に記載の画像抜き出し装置。 - 前記画像を構成する画素が、輝度成分と色差成分とを有する場合において、
前記前景候補画像算出手段は、前記輝度成分よりも色差成分に大きな重み付けをして、前記第１の差分値を求める
請求項１に記載の画像抜き出し装置。 - 前記前景検出手段は、
前記基準画像を構成する各画素について、他の前記前景候補画像を構成する画素との前記第２の差分値が、前記所定の閾値以上になる回数をカウントし、
その回数が、所定数以上になったとき、対応する画素を削除する
請求項１に記載の画像抜き出し装置。 - 前記前景検出手段は、
前記前景候補画像を構成する所定の画素について、その所定の画素に対応する、他の前記前景候補画像を構成する画素との前記第２の差分値と、その周辺の画素との前記第２の差分値とを演算し、
その複数の第２の差分値のうち、最も小さいものを、前記所定の画素についての最終的な第２の差分値とする
請求項１に記載の画像抜き出し装置。 - 前記前景候補画像を構成する画素が、輝度成分と色差成分とを有する場合において、
前記前景検出手段は、前記輝度成分よりも色差成分に大きな重み付けをして、前記第２の差分値を求める
請求項１に記載の画像抜き出し装置。 - 複数画面の画像の集まりである１シーンから、動き物体の領域である前景を抜き出す画像抜き出し方法であって、
前記１シーンを構成するフレームのうちの所定の１フレームを参照画像として、前記１シーンを構成する各フレームにおける動きベクトルを検出し、
前記１シーンを構成する各フレームの画像における背景を求め、求めた前記各フレームの画像における背景から、前記１シーン全体の全体背景を構成し、
前記１シーンを構成する画像それぞれについて、前記全体背景の中の対応する部分との差分である第１の差分値を演算し、前記第１の差分値が所定の閾値以上となる画素の数が所定数以下となる所定の一直線上にある前記画像の画素を削除して、削除されなかった画素からなる、前記前景の候補となる前景候補画像を求め、
前記動きベクトルに基づいて検出される前景と推定される領域が、中央部分に位置しているフレームを前記１シーンを構成するフレームの中から検出し、検出したフレームの前景と推定される領域の動きベクトルを前景動きベクトルとして検出し、前記１シーンを構成する画像それぞれについての前記前景候補画像のうちの１つを基準画像として、前記基準画像と、他の前記前景候補画像の前景どうしが重なるように前記前景動きベクトルに基づいて対応づけて、前記基準画像と他の前記前景候補画像との差分を第２の差分値として演算し、前記第２の差分値が所定の閾値以上の前記基準画像を構成する画素を、前記全体背景を構成するものとして削除し、その画素の削除後の画像を、新たな前記基準画像として、他の前記前景候補画像との前記第２の差分値を演算することを繰り返し、最終的に得られた前記基準画像を、前記前景として検出する
画像抜き出し方法。 - 複数画面の画像の集まりである１シーン単位で符号化を行う画像符号化装置であって、
前記１シーンを構成するフレームのうちの所定の１フレームを参照画像として、前記１シーンを構成する各フレームにおける動きベクトルを検出する動きベクトル検出手段と、
前記１シーンを構成する各フレームの画像における背景を求め、求めた前記各フレームの画像における背景から、前記１シーン全体の全体背景を構成する背景構成手段と、
前記１シーンを構成する画像それぞれについて、前記全体背景の中の対応する部分との差分である第１の差分値を演算し、前記第１の差分値が所定の閾値以上となる画素の数が所定数以下となる所定の一直線上にある前記画像の画素を削除して、削除されなかった画素からなる、前記画像における動き物体の領域である前景の候補となる前景候補画像を求める前景候補画像算出手段と、
前記動きベクトルに基づいて検出される前景と推定される領域が、中央部分に位置しているフレームを前記１シーンを構成するフレームの中から検出し、検出したフレームの前景と推定される領域の動きベクトルを前景動きベクトルとして検出し、前記１シーンを構成する画像それぞれについての前記前景候補画像のうちの１つを基準画像として、前記基準画像と、他の前記前景候補画像の前景どうしが重なるように前記前景動きベクトルに基づいて対応づけて、前記基準画像と他の前記前景候補画像との差分を第２の差分値として演算し、前記第２の差分値が所定の閾値以上の前記基準画像を構成する画素を、前記全体背景を構成するものとして削除し、その画素の削除後の画像を、新たな前記基準画像として、他の前記前景候補画像との前記第２の差分値を演算することを繰り返し、最終的に得られた前記基準画像を、前記前景として検出する前景検出手段と、
前記全体背景と、前記前景検出手段により検出された前記前景とを、前記１シーンの符号化結果として出力する出力手段と
を備える画像符号化装置。 - 複数画面の画像の集まりである１シーン単位で符号化を行う画像符号化方法であって、
前記１シーンを構成するフレームのうちの所定の１フレームを参照画像として、前記１シーンを構成する各フレームにおける動きベクトルを検出し、
前記１シーンを構成する各フレームの画像における背景を求め、求めた前記各フレームの画像における背景から、前記１シーン全体の全体背景を構成し、
前記１シーンを構成する画像それぞれについて、前記全体背景の中の対応する部分との差分である第１の差分値を演算し、前記第１の差分値が所定の閾値以上となる画素の数が所定数以下となる所定の一直線上にある前記画像の画素を削除して、削除されなかった画素からなる、前記画像における動き物体の領域である前景の候補となる前景候補画像を求め、
前記動きベクトルに基づいて検出される前景と推定される領域が、中央部分に位置しているフレームを前記１シーンを構成するフレームの中から検出し、検出したフレームの前景と推定される領域の動きベクトルを前景動きベクトルとして検出し、前記１シーンを構成する画像それぞれについての前記前景候補画像のうちの１つを基準画像として、前記基準画像と、他の前記前景候補画像の前景どうしが重なるように前記前景動きベクトルに基づいて対応づけて、前記基準画像と他の前記前景候補画像との差分を第２の差分値として演算し、前記第２の差分値が所定の閾値以上の前記基準画像を構成する画素を、前記全体背景を構成するものとして削除し、その画素の削除後の画像を、新たな前記基準画像として、他の前記前景候補画像との前記第２の差分値を演算することを繰り返し、最終的に得られた前記基準画像を、前記前景として検出し、
前記全体背景および前景を、前記１シーンの符号化結果として出力する
画像符号化方法。 - 複数画面の画像の集まりである１シーン単位で符号化を行うことにより得られた符号化データを復号する画像復号装置であって、
前記符号化データは、
前記１シーンを構成するフレームのうちの所定の１フレームを参照画像として、前記１シーンを構成する各フレームにおける動きベクトルを検出し、
前記１シーンを構成する各フレームの画像における背景を求め、求めた前記各フレームの画像における背景から、前記１シーン全体の全体背景を構成し、
前記１シーンを構成する画像それぞれについて、前記全体背景の中の対応する部分との差分である第１の差分値を演算し、前記第１の差分値が所定の閾値以上となる画素の数が所定数以下となる所定の一直線上にある前記画像の画素を削除して、削除されなかった画素からなる、前記画像における動き物体の領域である前景の候補となる前景候補画像を求め、
前記動きベクトルに基づいて検出される前景と推定される領域が、中央部分に位置しているフレームを前記１シーンを構成するフレームの中から検出し、検出したフレームの前景と推定される領域の動きベクトルを前景動きベクトルとして検出し、前記１シーンを構成する画像それぞれについての前記前景候補画像のうちの１つを基準画像として、前記基準画像と、他の前記前景候補画像の前景どうしが重なるように前記前景動きベクトルに基づいて対応づけて、前記基準画像と他の前記前景候補画像との差分を第２の差分値として演算し、前記第２の差分値が所定の閾値以上の前記基準画像を構成する画素を、前記全体背景を構成するものとして削除し、その画素の削除後の画像を、新たな前記基準画像として、他の前記前景候補画像との前記第２の差分値を演算することを繰り返し、最終的に得られた前記基準画像を、前記前景として検出する
ことにより得られた前記全体背景および前景と、
前記各フレームの前景動きベクトルと、前記各フレームの位置情報を含み、
前記符号化データを、前記全体背景と前記前景に分離する分離手段と、
前記全体背景から、前記１シーンを構成する画像の背景を抽出する抽出手段と、
前記抽出手段により抽出された前記背景に、前記前景を合成して、前記１シーンの画像を復号する復号手段と
を備え、
前記抽出手段は、前記位置情報に対応する前記全体背景上の領域を、前記フレームの背景として抽出し、
前記復号手段は、前記前景動きベクトルに基づいて、前記フレームの前景の前記領域上の位置を求め、求めた位置に、前記前景を合成して前記フレームを復号し、前記１シーンの画像を復号する
画像復号装置。 - 前記復号手段は、各フレームの前記前景動きベクトルを、少なくとも時刻を引数とする連続的な関数で表し、前景の位置を求める
請求項１０に記載の画像復号装置。 - 複数画面の画像の集まりである１シーン単位で符号化を行うことにより得られた符号化データを復号する画像復号方法であって、
前記符号化データは、
前記１シーンを構成するフレームのうちの所定の１フレームを参照画像として、前記１シーンを構成する各フレームにおける動きベクトルを検出し、
前記１シーンを構成する各フレームの画像における背景を求め、求めた前記各フレームの画像における背景から、前記１シーン全体の全体背景を構成し、
前記１シーンを構成する画像それぞれについて、前記全体背景の中の対応する部分との差分である第１の差分値を演算し、前記第１の差分値が所定の閾値以上となる画素の数が所定数以下となる所定の一直線上にある前記画像の画素を削除して、削除されなかった画素からなる、前記画像における動き物体の領域である前景の候補となる前景候補画像を求め、
前記動きベクトルに基づいて検出される前景と推定される領域が、中央部分に位置しているフレームを前記１シーンを構成するフレームの中から検出し、検出したフレームの前景と推定される領域の動きベクトルを前景動きベクトルとして検出し、前記１シーンを構成する画像それぞれについての前記前景候補画像のうちの１つを基準画像として、前記基準画像と、他の前記前景候補画像の前景どうしが重なるように前記前景動きベクトルに基づいて対応づけて、前記基準画像と他の前記前景候補画像との差分を第２の差分値として演算し、前記第２の差分値が所定の閾値以上の前記基準画像を構成する画素を、前記全体背景を構成するものとして削除し、その画素の削除後の画像を、新たな前記基準画像として、他の前記前景候補画像との前記第２の差分値を演算することを繰り返し、最終的に得られた前記基準画像を、前記前景として検出する
ことにより得られた前記全体背景および前景と、
前記各フレームの前景動きベクトルと、前記各フレームの位置情報を含み、
前記符号化データを、前記全体背景と前記前景に分離する分離ステップと、
前記全体背景から、前記１シーンを構成する画像の背景を抽出する抽出ステップと、
前記抽出ステップで抽出された前記背景に、前記前景を合成して、前記１シーンの画像を復号する復号ステップと
を含み、
前記抽出ステップは、前記位置情報に対応する前記全体背景上の領域を、前記フレームの背景として抽出し、
前記復号ステップは、前記前景動きベクトルに基づいて、前記フレームの前景の前記領域上の位置を求め、求めた位置に、前記前景を合成して前記フレームを復号し、前記１シーンの画像を復号する
画像復号方法。 - 複数画面の画像の集まりである１シーン単位で記録を行う画像記録装置であって、
前記１シーンを構成するフレームのうちの所定の１フレームを参照画像として、前記１シーンを構成する各フレームにおける動きベクトルを検出する動きベクトル検出手段と、
前記１シーンを構成する各フレームの画像における背景を求め、求めた前記各フレームの画像における背景から、前記１シーン全体の全体背景を構成する背景構成手段と、
前記１シーンを構成する画像それぞれについて、前記全体背景の中の対応する部分との差分である第１の差分値を演算し、前記第１の差分値が所定の閾値以上となる画素の数が 所定数以下となる所定の一直線上にある前記画像の画素を削除して、削除されなかった画素からなる、前記画像における動き物体の領域である前景の候補となる前景候補画像を求める前景候補画像算出手段と、
前記動きベクトルに基づいて検出される前景と推定される領域が、中央部分に位置しているフレームを前記１シーンを構成するフレームの中から検出し、検出したフレームの前景と推定される領域の動きベクトルを前景動きベクトルとして検出し、前記１シーンを構成する画像それぞれについての前記前景候補画像のうちの１つを基準画像として、前記基準画像と、他の前記前景候補画像の前景どうしが重なるように前記前景動きベクトルに基づいて対応づけて、前記基準画像と他の前記前景候補画像との差分を第２の差分値として演算し、前記第２の差分値が所定の閾値以上の前記基準画像を構成する画素を、前記全体背景を構成するものとして削除し、その画素の削除後の画像を、新たな前記基準画像として、他の前記前景候補画像との前記第２の差分値を演算することを繰り返し、最終的に得られた前記基準画像を、前記前景として検出する前景検出手段と、
前記全体背景と、前記前景検出手段により検出された前記前景とを記録する記録手段と
を備える画像記録装置。 - 複数画面の画像の集まりである１シーン単位で記録を行う画像記録方法であって、
前記１シーンを構成するフレームのうちの所定の１フレームを参照画像として、前記１シーンを構成する各フレームにおける動きベクトルを検出し、
前記１シーンを構成する各フレームの画像における背景を求め、求めた前記各フレームの画像における背景から、前記１シーン全体の全体背景を構成し、
前記１シーンを構成する画像それぞれについて、前記全体背景の中の対応する部分との差分である第１の差分値を演算し、前記第１の差分値が所定の閾値以上となる画素の数が所定数以下となる所定の一直線上にある前記画像の画素を削除して、削除されなかった画素からなる、前記画像における動き物体の領域である前景の候補となる前景候補画像を求め、
前記動きベクトルに基づいて検出される前景と推定される領域が、中央部分に位置しているフレームを前記１シーンを構成するフレームの中から検出し、検出したフレームの前景と推定される領域の動きベクトルを前景動きベクトルとして検出し、前記１シーンを構成する画像それぞれについての前記前景候補画像のうちの１つを基準画像として、前記基準画像と、他の前記前景候補画像の前景どうしが重なるように前記前景動きベクトルに基づいて対応づけて、前記基準画像と他の前記前景候補画像との差分を第２の差分値として演算し、前記第２の差分値が所定の閾値以上の前記基準画像を構成する画素を、前記全体背景を構成するものとして削除し、その画素の削除後の画像を、新たな前記基準画像として、他の前記前景候補画像との前記第２の差分値を演算することを繰り返し、最終的に得られた前記基準画像を、前記前景として検出し、
前記全体背景および前景を記録する
画像記録方法。 - 複数画面の画像の集まりである１シーン単位で記録を行った記録データを再生する画像再生装置であって、
前記記録データは、
前記１シーンを構成するフレームのうちの所定の１フレームを参照画像として、前記１シーンを構成する各フレームにおける動きベクトルを検出し、
前記１シーンを構成する各フレームの画像における背景を求め、求めた前記各フレームの画像における背景から、前記１シーン全体の全体背景を構成し、
前記１シーンを構成する画像それぞれについて、前記全体背景の中の対応する部分との差分である第１の差分値を演算し、前記第１の差分値が所定の閾値以上となる画素の数が所定数以下となる所定の一直線上にある前記画像の画素を削除して、削除されなかった画素からなる、前記画像における動き物体の領域である前景の候補となる前景候補画像を求め、
前記動きベクトルに基づいて検出される前景と推定される領域が、中央部分に位置しているフレームを前記１シーンを構成するフレームの中から検出し、検出したフレームの前景と推定される領域の動きベクトルを前景動きベクトルとして検出し、前記１シーンを構成する画像それぞれについての前記前景候補画像のうちの１つを基準画像として、前記基準画像と、他の前記前景候補画像の前景どうしが重なるように前記前景動きベクトルに基づいて対応づけて、前記基準画像と他の前記前景候補画像との差分を第２の差分値として演算し、前記第２の差分値が所定の閾値以上の前記基準画像を構成する画素を、前記全体背景を構成するものとして削除し、その画素の削除後の画像を、新たな前記基準画像として、他の前記前景候補画像との前記第２の差分値を演算することを繰り返し、最終的に得られた前記基準画像を、前記前景として検出する
ことにより得られた前記全体背景および前景と、
前記各フレームの前景動きベクトルと、前記各フレームの位置情報を含み、
前記記録データを、前記全体背景と前記前景に分離する分離手段と、
前記全体背景から、前記１シーンを構成する画像の背景を抽出する抽出手段と、
前記抽出手段により抽出された前記背景に、前記前景を合成して、前記１シーンの画像を再生する再生手段と
を備え、
前記抽出手段は、前記位置情報に対応する前記全体背景上の領域を、前記フレームの背景として抽出し、
前記再生手段は、前記前景動きベクトルに基づいて、前記フレームの前景の前記領域上の位置を求め、求めた位置に、前記前景を合成して前記フレームを再生し、前記１シーンの画像を再生する
画像再生装置。 - 前記再生手段は、各フレームの前記前景動きベクトルを、少なくとも時刻を引数とする連続的な関数で表し、前景の位置を求める
請求項１５に記載の画像再生装置。 - 複数画面の画像の集まりである１シーン単位で記録を行った記録データを再生する画像再生方法であって、
前記記録データは、
前記１シーンを構成するフレームのうちの所定の１フレームを参照画像として、前記１シーンを構成する各フレームにおける動きベクトルを検出し、
前記１シーンを構成する各フレームの画像における背景を求め、求めた前記各フレームの画像における背景から、前記１シーン全体の全体背景を構成し、
前記１シーンを構成する画像それぞれについて、前記全体背景の中の対応する部分との差分である第１の差分値を演算し、前記第１の差分値が所定の閾値以上となる画素の数が所定数以下となる所定の一直線上にある前記画像の画素を削除して、削除されなかった画素からなる、前記画像における動き物体の領域である前景の候補となる前景候補画像を求め、
前記動きベクトルに基づいて検出される前景と推定される領域が、中央部分に位置しているフレームを前記１シーンを構成するフレームの中から検出し、検出したフレームの前景と推定される領域の動きベクトルを前景動きベクトルとして検出し、前記１シーンを構成する画像それぞれについての前記前景候補画像のうちの１つを基準画像として、前記基準画像と、他の前記前景候補画像の前景どうしが重なるように前記前景動きベクトルに基づいて対応づけて、前記基準画像と他の前記前景候補画像との差分を第２の差分値として演算し、前記第２の差分値が所定の閾値以上の前記基準画像を構成する画素を、前記全体背景を構成するものとして削除し、その画素の削除後の画像を、新たな前記基準画像として、他の前記前景候補画像との前記第２の差分値を演算することを繰り返し、最終的に得られた前記基準画像を、前記前景として検出する
ことにより得られた前記全体背景および前景と、
前記各フレームの前景動きベクトルと、前記各フレームの位置情報を含み、
前記記録データを、前記全体背景と前記前景に分離する分離ステップと、
前記全体背景から、前記１シーンを構成する画像の背景を抽出する抽出ステップと、
前記抽出ステップで抽出された前記背景に、前記前景を合成して、前記１シーンの画像を再生する再生ステップと
を含み、
前記抽出ステップは、前記位置情報に対応する前記全体背景上の領域を、前記フレームの背景として抽出し、
前記再生ステップは、前記前景動きベクトルに基づいて、前記フレームの前景の前記領域上の位置を求め、求めた位置に、前記前景を合成して前記フレームを再生し、前記１シーンの画像を再生する
画像再生方法。 - コンピュータに実行させるためのプログラムが記録されている記録媒体であって、
前記１シーンを構成するフレームのうちの所定の１フレームを参照画像として、前記１シーンを構成する各フレームにおける動きベクトルを検出し、
前記１シーンを構成する各フレームの画像における背景を求め、求めた前記各フレームの画像における背景から、前記１シーン全体の全体背景を構成し、
前記１シーンを構成する画像それぞれについて、前記全体背景の中の対応する部分との差分である第１の差分値を演算し、前記第１の差分値が所定の閾値以上となる画素の数が所定数以下となる所定の一直線上にある前記画像の画素を削除して、削除されなかった画素からなる、前記画像における動き物体の領域である前景の候補となる前景候補画像を求め、
前記動きベクトルに基づいて検出される前景と推定される領域が、中央部分に位置しているフレームを前記１シーンを構成するフレームの中から検出し、検出したフレームの前景と推定される領域の動きベクトルを前景動きベクトルとして検出し、前記１シーンを構成する画像それぞれについての前記前景候補画像のうちの１つを基準画像として、前記基準画像と、他の前記前景候補画像の前景どうしが重なるように前記前景動きベクトルに基づいて対応づけて、前記基準画像と他の前記前景候補画像との差分を第２の差分値として演算し、前記第２の差分値が所定の閾値以上の前記基準画像を構成する画素を、前記全体背景を構成するものとして削除し、その画素の削除後の画像を、新たな前記基準画像として、他の前記前景候補画像との前記第２の差分値を演算することを繰り返し、最終的に得られた前記基準画像を、前記前景として検出する
処理を行わせるためのプログラムが記録されている記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28260397A JP4214425B2 (ja) | 1997-09-30 | 1997-09-30 | 画像抜き出し装置および画像抜き出し方法、画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、画像記録装置および画像記録方法、画像再生装置および画像再生方法、並びに記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28260397A JP4214425B2 (ja) | 1997-09-30 | 1997-09-30 | 画像抜き出し装置および画像抜き出し方法、画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、画像記録装置および画像記録方法、画像再生装置および画像再生方法、並びに記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11112871A JPH11112871A (ja) | 1999-04-23 |
| JP4214425B2 true JP4214425B2 (ja) | 2009-01-28 |
Family
ID=17654663
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP28260397A Expired - Fee Related JP4214425B2 (ja) | 1997-09-30 | 1997-09-30 | 画像抜き出し装置および画像抜き出し方法、画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、画像記録装置および画像記録方法、画像再生装置および画像再生方法、並びに記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4214425B2 (ja) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4496595B2 (ja) | 1999-03-29 | 2010-07-07 | ソニー株式会社 | 画像処理装置および画像処理方法、並びに記録媒体 |
| JP4224748B2 (ja) | 1999-09-13 | 2009-02-18 | ソニー株式会社 | 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、記録媒体、並びに画像処理装置 |
| US6668070B2 (en) | 2000-03-29 | 2003-12-23 | Sony Corporation | Image processing device, image processing method, and storage medium |
| JP4560897B2 (ja) | 2000-06-02 | 2010-10-13 | ソニー株式会社 | 通信装置、通信方法及び媒体 |
| JP4650655B2 (ja) * | 2001-06-27 | 2011-03-16 | ソニー株式会社 | 通信装置および方法、通信システム、記録媒体、並びにプログラム |
| JP4596227B2 (ja) | 2001-06-27 | 2010-12-08 | ソニー株式会社 | 通信装置および方法、通信システム、記録媒体、並びにプログラム |
| JP2006100871A (ja) * | 2004-09-28 | 2006-04-13 | Sony Corp | 符号化装置、符号化方法、符号化方法のプログラム及び符号化方法のプログラムを記録した記録媒体 |
| JP4861636B2 (ja) * | 2005-04-19 | 2012-01-25 | パナソニック株式会社 | 画像処理装置及び画像処理プログラム |
| KR101317204B1 (ko) | 2006-11-27 | 2013-10-10 | 삼성전자주식회사 | 동적 영상물의 프레임 정보를 생성하는 방법 및 이를이용한 장치 |
| KR20090062049A (ko) * | 2007-12-12 | 2009-06-17 | 삼성전자주식회사 | 영상 데이터 압축 전처리 방법 및 이를 이용한 영상 데이터압축 방법과, 영상 데이터 압축 시스템 |
| JP5036084B2 (ja) * | 2010-10-14 | 2012-09-26 | シャープ株式会社 | 映像処理装置、映像処理方法、及びプログラム |
| JP5962297B2 (ja) * | 2012-07-25 | 2016-08-03 | 大日本印刷株式会社 | カメラの撮影視野変動検知装置 |
| US10311595B2 (en) | 2013-11-19 | 2019-06-04 | Canon Kabushiki Kaisha | Image processing device and its control method, imaging apparatus, and storage medium |
| JP6429466B2 (ja) * | 2013-11-19 | 2018-11-28 | キヤノン株式会社 | 画像処理装置およびその制御方法、撮像装置、プログラム |
-
1997
- 1997-09-30 JP JP28260397A patent/JP4214425B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11112871A (ja) | 1999-04-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4224748B2 (ja) | 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、記録媒体、並びに画像処理装置 | |
| JP4214425B2 (ja) | 画像抜き出し装置および画像抜き出し方法、画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、画像記録装置および画像記録方法、画像再生装置および画像再生方法、並びに記録媒体 | |
| JP5263565B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP5093557B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP4645707B2 (ja) | コンテンツデータ処理装置 | |
| US6400763B1 (en) | Compression system which re-uses prior motion vectors | |
| JP5288214B2 (ja) | データ処理装置、データ処理方法、及びプログラム | |
| JP4126709B2 (ja) | 画像処理装置および画像処理方法 | |
| US6040873A (en) | Apparatus and method for processing moving image data | |
| US7466451B2 (en) | Method and apparatus for converting motion image data, and method and apparatus for reproducing motion image data | |
| JPH07226934A (ja) | セグメンテーションによる画像圧縮システムのための画像エッジ検出装置、ディジタルデータ圧縮装置、符号化画像生成装置、および画像画素保持メモリ | |
| US20100245540A1 (en) | Image processing apparatus, control method thereof, and program | |
| JPH0698315A (ja) | 映像信号の運動ベクトル検出方法 | |
| KR101049922B1 (ko) | 화상 처리 장치, 화상 처리 방법 및 프로그램 | |
| KR20010072074A (ko) | 비디오 신호의 인코딩 | |
| JPH10155139A (ja) | 画像処理装置および画像処理方法 | |
| JP4321468B2 (ja) | 動画像符号化装置及び動画像復号化装置 | |
| JP4240674B2 (ja) | 動き検出装置および動き検出方法、並びに記録媒体 | |
| CN100592778C (zh) | 记录和重放设备及方法、记录设备和重放设备及方法 | |
| JP4120898B2 (ja) | 画像処理装置および画像処理方法 | |
| JPH0779440A (ja) | デジタル画像信号の伝送装置及び受信装置 | |
| JP2002514861A (ja) | Ｍｐｅｇ符号化信号のトリックプレイ再生 | |
| KR100505516B1 (ko) | 영상신호변환장치및방법 | |
| JP3543978B2 (ja) | デジタル画像信号の伝送装置、受信装置およびデジタル画像信号の記録装置、再生装置 | |
| JP4186093B2 (ja) | 画像処理装置および画像処理方法、並びに記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051020 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051128 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060127 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070105 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070306 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080717 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080911 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081009 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081022 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111114 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121114 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131114 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |