JP3551908B2 - 背景スプライトと前景オブジェクトの分離方法、及びその装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、ＭＰＥＧ−４のオブジェクト符号化の中のスプライト符号化において、背景スプライトと前景オブジェクトを分離する技術に関する。
【０００２】
特に、ＭＰＥＧ−４においてＶｅｒｓｉｏｎ １ Ｍａｉｎ Ｐｒｏｆｉｌｅでビデオオブジェクト毎に符号化する「オブジェクト符号化」において、背景オブジェクトをパノラマ画像で表現する（スプライト符号化）によりサポートされる前景オブジェクトと背景スプライトを分離抽出する技術に関する。
【０００３】
また、本発明は、ＭＰＥＧ−４での任意形状オブジェクト表現であるテクスチャマップと形状マスクのうちの、形状マスクを生成する前景の形状マスク抽出技術に関する。
【０００４】
【従来の技術】
本明細書の説明において、便宜上、動物体を前景オブジェクト、背景パノラマを背景スプライトと記す。
【０００５】
背景スプライトと前景オブジェクトを分離する技術に関連し、従来の前景オブジェクトの抽出に関する技術としては、第１に、一定色で作られた背景の前面に人物等を配置して、人物等前景をクロマキー処理して抜き出す方法がある。
【０００６】
また、第２に、予め手動でおおまかな輪郭を指定し、その周囲の画素を前景か背景か判断する方法がある。
【０００７】
また、第３に、固定カメラの下で撮影された画像において、フレーム間差分によって動領域輪郭を特定し、その内側を前景、外側を背景と判断する方法がある。
【０００８】
従来の背景スプライトの抽出に関する技術としては、第１に、スプライト作成に共通の前処理として、隣接フレーム間のグローバルモーションを算出し、それを基準座標からの変換（絶対グローバルモーション）を計算する。その後、絶対グローバルモーションで位置合わせされた各フレームは時間方向にメディアン、平均値をとる方法がある。
【０００９】
また、第２に、前処理後、絶対グローバルモーションを用いて位置合わせをし、そのままオーバライト（上書き）、もしくは、アンダーライト（画素の決定されていないところだけ、埋めていく）する方法がある。
【００１０】
しかしながら、上記従来の前景オブジェクトを抽出する第１の方法は、既存の映像には適用できないという問題と、クロマキー用の大掛りな装置を必要とするという問題がある。
【００１１】
また、上記従来の前景オブジェクトを抽出する第２の方法は、人手を介する必要があり、リアルタイムアプリケーションには不適切であるという問題がある。
【００１２】
また、上記従来の前景オブジェクトを抽出する第３の方法は、フレーム間差分を基本としているため、カメラの動き（パン、チルトなど）がある場合に、前景オブジェクトの輪郭情報が得られないという問題がある。また、カメラの動きをキャンセルするようなフレームの位置合わせ処理を行って、差分をとったとしても、カメラの動きを完全にキャンセルできないために、前景オブジェクト以外のところにも差分値が現れ、前景オブジェクトの輪郭の特定が困難になるという問題がある。
【００１３】
また、上記従来の背景スプライトを抽出する第１の方法は、多少なりともグローバルモーションに誤差があると、位置合わせが微妙にずれて、スプライトの品質を悪化させるという問題がある。
【００１４】
また、上記従来の背景スプライトを抽出する第２の方法は、スプライトの画質はよいものの、一番手前にくる画像の前景がそのままスプライトに残ってしまうという問題がある。
【００１５】
次に、ＭＰＥＧ−４での任意形状オブジェクト表現であるテクスチャマップと形状マスクのうちの、形状マスクとしての前景オブジェクト形状を生成する従来技術について説明する。
【００１６】
従来の前景オブジェクト生成方法として、背景画像と任意の画像の差分を閾値処理し、ある閾値より大きい差分を得られる座標を動物体と見做し、前景画像とする技術がある。まず、この生成された前景オブジェクトを符号化する方法としてのＭＰＥＧ−４のオブジェクト符号化について説明する。
【００１７】
ＭＰＥＧ−４においては、任意形状の前景オブジェクトを符号化できる。一つの前景オブジェクトは、一対のテクスチャマップと形状マスクで表現できる。形状マスクには、透過度も考慮した多値形状、透過度は考慮しない２値形状の２種類あるが、ここでは、２値形状のみを想定する。テクスチャマップは、オブジェクトの存在する場所に従来方式（ＭＰＥＧ１、２等）における輝度（Ｙ信号）及び色差信号（Ｃｂ、Ｃｒ信号）が充てられるものである。形状マスクはオブジェクトの存在する部分に２５５の値が、また、それ以外の部分に０の値が充てられるものである。ある画素（座標）において、テクスチャに３種類、形状に１種類の計４種類の画素値が充てられる。ここでは、区別するために、それぞれをテクスチャ画素、形状画素と呼ぶことにする。テクスチャ画素は０から２５５の値をとる。また、形状画素は０もしくは２５５の値をとる。図１（ａ）にテクスチャ表現の例を、図１（ｂ）に形状マスク表現の例を示す。
【００１８】
ＭＰＥＧ−４の形状符号化について以下に説明する。なお、以下で説明する内容はＭＰＥＧ−４における形状符号化として当業者に知られているものである。（詳しくは、参考文献「ＭＰＥＧ−４のすべて」ｐｐ．３８ 〜１１６ 工業調査会編）
形状の符号化はｓ画素×ｓ画素のマクロブロック単位で行われる。マクロブロックは任意の８×８画素、１６×１６画素など任意の大きさでよい。形状符号化にはロスレス（可逆）、ロッシー（非可逆）の２通りの方法がある。一番粗いロッシー符号化では、形状がマクロブロック単位まで近似され、符号量は一番少ない。図２に、従来のマクロブロック化の例を示す。
【００１９】
同図（ａ）は、元の形状を示し、同図（ｂ）は、一番粗いロッシーの符号化の背景画像を用いた前景オブジェクト抽出における、マクロブロック化の典型例を示す。具体的にはマクロブロック内の画素において、その半分以上の画素が２５５の値をとる場合、即ち、マクロブロックの半分以上の面積をオブジェクト形状が占める場合、そのマクロブロック内すべての形状画素が２５５の値をとる。それ以外の場合は、マクロブロック内すべての形状画素値を０にするというものである。
【００２０】
以下に、ＭＰＥＧ−４オブジェクト符号化を用いた例を示す。もともとの画像を前景オブジェクトと背景オブジェクトに切り分け、さらに、背景オブジェクトをスプライトと呼ばれる一枚のパノラマ静止画像（以下、背景スプライトと記す）で表現する。そして、前景オブジェクトに対し形状とテクスチャの符号化を行い、背景スプライトはＭＰＥＧ−４スプライト符号化（前述の参考文献「ＭＰＥＧ−４のすべて」を参照）を行う。こうすることで、画像を前景オブジェクトと背景スプライトに切り分けずにＭＰＥＧ−４のシンプルプロファイルの符号化（従来のＭＣ＋ＤＣＴをベースにした符号化）を行った場合と比べて、同程度の画質をより少ない符号量で達成することが可能である。
【００２１】
しかしながら、上記従来のＭＰＥＧ−４形状符号化には、以下のような問題がある。
【００２２】
第１に、ロスレス符号化及び精度の高いロッシー符号化では、形状が複雑な場合、形状符号量が多くなる。特に、前景オブジェクトを自動生成する場合はこの傾向にある。
【００２３】
第２に、ロスレス符号化及び精度の高いロッシー符号化では、形状の復号にパディングというテクスチャ画素を補填する処理があり、これは復号処理に多大なコストがかかる。ソフトウェアで実時間復号を実現する場合に問題となる。
【００２４】
第３に、一番符号量の少ないロッシー符号化では、上記の２つの問題は回避できるものの、形状がオブジェクト内部にまで浸食し、図２（ｂ）に示すように見た目に妨害となるという問題がある。
【００２５】
第４に、前景に対してＭＰＥＧ−４オブジェクト符号化、背景に対してスプライト符号化を用いた場合には、劇的な符号量削減ができるのは、前景部分の全画像に対する面積比率がある程度以下の場合であり、それ以上の場合はかえって符号量が増大するという問題がある。
【００２６】
【発明が解決しようとする課題】
本発明は上記の点に鑑みてなされたものであり、その第１の目的は、クロマキーなどの大掛りな仕掛けを必要とせず、人手を介さず、全自動処理で前景オブジェクトと背景スプライトを抽出することを可能とし、更に、カメラの動きの影響を受けないロバストな処理手法を実現し、前景のない品質のよい背景スプライトを作成することが可能な前景オブジェクト・背景スプライト分離抽出方法及び装置及び前景オブジェクト・背景スプライト分離抽出プログラムを格納した記憶媒体を提供することである。
【００２７】
本発明の第２の目的は、予め算出された背景画像と任意の画像との差分を用いた前景の形状マスク抽出において、前景の浸食が少なく、かつ、形状符号量の少ないマクロブロックベースの形状近似を行うことが可能な前景の形状マスク抽出方法及び装置及び前景の形状マスク抽出プログラムを格納した記憶媒体を提供することを目的とする。また、本発明の更なる目的は、前景面積比率を制御することが可能な前景の形状マスク抽出方法及び装置及び前景の形状マスク抽出プログラムを格納した記憶媒体を提供することである。
【００２８】
【課題を解決するための手段】
上記の第１の目的を達成するために、本発明は次のように構成される。
【００２９】
本発明は、動画像から前景オブジェクトと背景スプライト画像を抽出するための前景オブジェクト・背景スプライト分離抽出方法において、動画像における基準フレームと任意のフレームの座標系の変換を行うグローバルモーションを算出し、任意のフレームの原画像を前記グローバルモーションを用いて基準フレームの座標である基準座標にマッピングし、同じ座標に所属する複数の画素値から該座標の画素値を求め、前景オブジェクトを消去した仮スプライト（パノラマ画像）を作成し、任意のフレームにおいて、前記仮スプライトから前記グローバルモーションで切り出された画像と前記原画像の差分が所定の閾値以上の部分を前景オブジェクト画像、それ以外の部分を背景画像として切り出し、任意のフレームにおいて、前記背景画像を前記グローバルモーションを用いて前記基準座標にマッピングし、画素値が決定されていない基準座標のみ新しい画素を挿入するか、又は、画素を上書きすることにより、背景スプライトを生成し、背景スプライトとして出力する。
【００３０】
上記の方法において、生成された前記背景スプライトから前記グローバルモーションで切り出された画像と前記原画像の差分が、所定の閾値以上の部分を前景オブジェクト画像として出力する処理を更に行うようにしてもよい。
上記の第１の目的に対応する発明によれば、グローバルモーションを算出し、任意のフレームの原画像を当該グローバルモーションを用いて基準フレームの座標にマッピングし、同じ座標に属する複数の画素値から座標の画素値を求め、前景オブジェクトを消去した仮スプライトを作成し、あるフレームにおいて仮スプライトからグローバルモーションで切り出された画像を原画像の差分が所定の閾値以上の部分を前景オブジェクト画像とし、それ以外を背景画像として切り出して基準座標にマッピングし、画素値が決定されていない基準座標のみ新しい画素を挿入するか、前景オブジェクトを削除してしまったフレームをオーバーライトすることにより、前景スプライトを生成することが可能となる。
【００３１】
また、前景オブジェクトの抽出により、スプライトから切り出される画像と対象となる画像の差分（背景差分）を用いることで、グローバルモーションのずれや雑音に対してロバストにスプライトを抽出することが可能となる。
【００３２】
上記の第２の目的を達成するために、本発明は第１に次のように構成することができる。
【００３３】
本発明は、動画像符号化の中のオブジェクト符号化における前景の形状マスク抽出方法であり、前景部分を第１の値、背景部分を第２の値で表現した前景マスク画像を入力し、前記前景マスク画像の前景部分がマクロブロック内に、第１の所定の値ｎ（ｎ≧１）画素以上あるかを判定し、該第１の所定の値の画素以上の前景部分がある場合にはマクロブロック内の形状画素値を全て第１の値に変換する第１の過程と、前記第１の過程において、形状画素に第１の値が付与されたマクロブロック近傍のマクロブロックに、第２の所定の値ｍ（ｍ＜ｎ）画素以上の前景部分がある場合には、そのマクロブロック内の形状画素値を全て第１の値に変換し、前景の形状マスクを出力する第２の過程とからなる。
【００３４】
また、上記構成において、一度背景として判定されたマクロブロックを入力し、入力された背景のマクロブロックと原画像との差分処理を行い、２値化処理し、差分情報と２値情報を用いて、前記第１の過程と、前記第２の過程を実行し、前記差分処理の結果、差分が所定の閾値以上の画素を含むマクロブロックを前景とし、該マクロブロックの画素値を第１の値に変換するようにしてもよい。
【００３５】
これにより前景を回復することが可能となる。
【００３６】
また、上記の第２の目的に対応する第１の発明は、次のように個数マップを用いた発明として構成することもできる。
【００３７】
本発明は、動画像符号化の中のオブジェクト符号化における前景の形状マスク抽出方法であり、前景マスク画像を入力し、前記前景マスク画像の前景部分の画素数をマクロブロック毎に算出して個数マップを作成し、前景マップを初期化し、マクロブロック毎に前記個数マップの値が第１の所定の値ｎ（ｎ≧１）以上であるか否かを判定し、あるマクロブロックに対応する前記個数マップの値が該第１の所定の値以上である場合には、前記前景マップにおける該マクロブロックに対応する位置に所定の値を設定する第１の過程と、前記第１の過程において、前記所定の値が設定された前記前景マップの位置に対応するマクロブロックの近傍のマクロブロック毎に、前記個数マップの値が第２の所定の値ｍ（ｍ＜ｎ）以上であるか否かを判定し、あるマクロブロックに対応する前記個数マップの値が該第２の所定の値以上である場合には、前記前景マップにおける該マクロブロックに対応する位置に前記所定の値を設定し、該前景マップの値から前景の形状マスクを生成して出力する第２の過程とからなる。
【００３８】
また、上記の第２の目的を達成するために、本発明は第２に次のように構成することができる。
【００３９】
本発明は、予め算出された背景画像と任意の画像との差分を用いて前景の形状マスクを抽出する前景の形状マスク抽出方法において、前記背景画像と前記任意の画像について、画素毎に絶対差分を計算し、差分画像を求める過程と、該差分画像をマクロブロックに分割して、該マクロブロックにおいて、エネルギーマップを初期化する過程と、前記マクロブロックにおけるエネルギー値を算出する過程と、前記差分画像における各マクロブロックのエネルギー値の平均値を求める過程と、前記任意の画像のサイズに対する前景マスクのサイズの割合である前景率を算出し、前景の形状マスクを生成する前景制御算出過程とからなる。
【００４０】
また、前記前景率制御算出過程において、前記マクロブロックにおけるエネルギー値をエネルギー値の平均値で除し、その値がα（α≧１．０）以下であれば０に変更し、前記エネルギー値の最大値を算出して第１の所定の値とし、該第１の所定の値より小さい値を第２の所定の値とし、前景マップを初期化し、仮の前景マップを初期化し、前記エネルギー値が前記第１の所定の値以上のマクロブロックの全てについて、前記仮の前景マップに所定の値を設定し、前記仮の前景マップの値が前記所定の値の数をカウントし、カウント値を全マクロブロック数で除した値が予め決められている第３の所定の値よりも大きい場合には、前記マップの値から最終の前景形状マスクを生成して出力し、そうでない場合には、前記仮の前景マップの値を前記前景マップにコピーし、前記仮の前景マップに前記所定の値が設定されているマクロブロックの近傍において、前記第２の所定の値以上のエネルギーがあるマクロブロックを前景とみなし、仮の前景マップに前記所定の値を設定する処理を、該仮の前景マップの該所定の値の数を全マクロブロック数で除した値が前記第３の所定の値よりも大きくなるまで行い、前記前景マップから前景の形状マスクを生成して出力し、若しくは、前記処理を所定回数行った後に前記除した値が前記第３の所定の値よりも大きくならない場合には、前記仮の前景マップの値を前記前景マップにコピーし、前記第１及び第２の所定の値を更新して前記仮の前景マップを初期化する処理以降の処理を行う。
【００４１】
また、上記の第２の目的を達成するために、本発明は第３に次のように構成することができる。
【００４２】
本発明は、予め算出された背景画像と任意の画像との差分を用いて前景の形状マスクを抽出する前景の形状マスク抽出方法であり、前記差分から算出したマクロブロックのエネルギー値が第１の所定の値以上である場合、そのマクロブロックを前景とする第１の過程と、前景と判断されたマクロブロックの近傍のマクロブロックについて、マクロブロックのエネルギー値が第２の所定の値以上である場合、そのマクロブロックを前景とする第２の過程とを有する。
【００４３】
また、前記第２の過程を所定の回数行うようにしてもよい。
【００４４】
また、本発明は、予め算出された背景画像と任意の画像との差分を用いて前景の形状マスクを抽出する前景の形状マスク抽出方法において、前記背景画像と前記任意の画像との差分から各マクロブロックのエネルギー値と、その平均値を算出する過程と、各マクロブロックにおけるエネルギー値をその平均値で除し、その値が所定の値以下であれば０に変更する過程と、各マクロブロックのエネルギー値が第１の所定の値以上である場合、そのマクロブロックを前景とする過程と、前景と判断されたマクロブロックの近傍のマクロブロックについて、マクロブロックのエネルギー値が第２の所定の値以上である場合、そのマクロブロックを前景とする処理を所定回数繰り返して行う過程とを有するようにしてもよい。
【００４５】
第２の目的に対応する上記３つの発明によれば、マクロブロックにおける前景領域を表す形状画素数又はマクロブロックのエネルギー値が各々所定の値以上である場合、そのマクロブロック全体を前景と見做し、さらに、前景と判断されたマクロブロックの近傍のマクロブロックについて、別の値を用いて同様の判断を行う。これは、上記第２の目的に対応する第２の発明では前景と見なされたマクロブロックの数がある値を超えるまで行われる。
【００４６】
これにより、領域形状が単純化されるため、ＭＰＥＧ−４符号化におけるオブジェクト符号化を行った場合に符号量を少なく抑えることができる。また、抽出されたオブジェクトに穴が無いため、良好な見た目を与える効果がある。
【００４７】
本発明の他の特徴及び利点は、添付の図面を用いた以下の説明により明らかになる。
【００４８】
【発明の実施の形態】
最初に、第１の目的に対応した発明について説明する。まず、図３を用いて第１の目的に対応した発明の原理について説明する。
【００４９】
本発明は、動画像から前景オブジェクトと背景スプライト画像を抽出するための前景オブジェクト・背景スプライト分離抽出方法であり、まず、動画像における基準フレームと任意のフレームの座標系の変換を行うグローバルモーションを算出し（ステップ１）、任意のフレームの原画像をグローバルモーションを用いて基準フレームの座標である基準座標にマッピングし（ステップ２）、同じ座標に所属する複数の画素値から該座標の画素値を求め（ステップ３）、前景オブジェクトを消去した仮スプライト（パノラマ画像）を作成し（ステップ４）、任意のフレームにおいて、仮スプライトからグローバルモーションで切り出された画像と原画像の差分が所定の閾値以上の部分を前景オブジェクト画像、それ以外の部分を背景画像として切り出し（ステップ５、６）、任意のフレームにおいて、背景画像をグローバルモーションを用いて基準座標にマッピングし（ステップ７）、画素値が決定されていない基準座標のみ新しい画素を挿入して背景スプライトを生成し、背景スプライトとして出力する（ステップ８）。
【００５０】
［第１の実施例］
次に、本発明の第１の実施例について説明する。この実施例は本発明の第１の目的に対応する実施例である。
【００５１】
図４は、本発明の前景オブジェクト・背景スプライト分離抽出装置の構成を示す図である。
【００５２】
同図に示す前景オブジェクト・背景スプライト分離抽出装置は、グローバルモーション算出部１、仮スプライト生成部２、前景オブジェクト抽出部３、及び背景スプライト生成部４から構成される。
【００５３】
グローバルモーション算出部１は、入力された原画像（動画像）における基準フレームと任意のフレームの座標系の変換（グローバルモーション）を算出する。
【００５４】
仮スプライト生成部２は、原画像とグローバルモーション算出部１からグローバルモーションが入力され、任意のフレームの原画像を当該グローバルモーションを用いて基準フレームの座標（基準座標）にマッピングし、同じ座標に所属する複数の画素値から当該座標の画素値を求め、前景オブジェクトを消去したスプライト（パノラマ画像）を作成する。
【００５５】
前景オブジェクト抽出部３は、原画像とグローバルモーション算出部１からグローバルモーション及び、仮スプライト生成部２から仮スプライトが入力され、当該仮スプライトからグローバルモーションで切り出された画像と原画像の差分がある閾値以上の部分を前景オブジェクト画像、それ以外を背景画像として切り出す。
【００５６】
背景スプライト生成部４は、グローバルモーションと前景オブジェクト抽出部３から背景画像が入力され、任意のフレームにおいて、前述の背景画像をグローバルモーションによって基準座標にマッピングし、画素値が決定されていない基準座標にのみ新しい画素を挿入して、背景スプライトを生成する。このように、画素値が決定されていない基準座標にのみ新しい画素を挿入して、背景スプライトを生成する方法をアンダーライトと称する。なお、背景画像の画素を背景スプライトにそのまま上書きするオーバーライトによる方法で生成することもできる。
【００５７】
これにより、前景オブジェクト画像及びぼけのない背景スプライトを自動的に抽出することができる。なお、生成された背景スプライトの中で、埋まらない部分が生ずることがあるが、これは前景のある部分であるので問題ない。
【００５８】
次に、図４における構成及び動作をより詳細に説明する。
【００５９】
図４におけるグローバルモーション算出部１は、任意のフレームにおける基準フレームのグローバルモーション（カメラモーションなど一組のパラメータで画像全体を表す動き、大局的な動き）を算出する。グローバルモーションは、一般に、座標系の変換行列で表現することができる。以下にその例を示す。
【００６０】
基準フレームの座標系（ｘ０，ｙ０）と、あるフレームＡの座標系（ｘ１，ｙ１）間の座標変換は、以下の式（１）のとおり、
【００６１】
【数１】

で表現される。
【００６２】
【数２】

上記で算出されたグローバルモーションは、仮スプライト生成部２の入力の一つとなる。
【００６３】
仮スプライト生成部２は、図５に示すように、時間メディアン統合部２１を有する。時間メディアン統合部２１は、各々のフレームにグローバルモーションを用いて各フレームの画像を基準フレームの座標系（基準座標）にマッピングする。さらに、同じ座標にマッピングされた複数の画素に関しては、画素値のメディアン値（中央値）を仮スプライトのその座標の値として選択する。こうして仮スプライトが生成される。メディアン値を選択することで、仮スプライトは前景オブジェクトのないパノラマ画像として抽出される。動物体領域がその座標値画素の半分より少なければ、メディアンをとることで動物体を反映する画素は選択されないので、動領域のないスプライトを生成することができる。
【００６４】
仮スプライト生成部３で生成された前景のない仮スプライトは、前景オブジェクト抽出部３に入力される。
【００６５】
前景オブジェクト抽出部３は、原画像とグローバルモーション算出部１で得られたグローバルモーションと、仮スプライト生成部２で得られた仮スプライトを入力として、前景オブジェクト画像と原画像から前景を消去した背景画像をフレーム毎に出力する。
【００６６】
図６は、本発明の第１の実施例の前景オブジェクト抽出部３の構成を示す。同図に示す前景オブジェクト抽出部３は、切り出し部３１、差分画像生成部３２、差分対応部３３、マスク処理部３４から構成される。
【００６７】
切り出し部３１は、仮スプライトと任意のフレームにおけるグローバルモーションが入力され、仮スプライトから画像を切り出す。この画像をＧＭ画像という。
【００６８】
差分画像生成部３２は、任意のフレームにおいて、切り出し部３１で切り出されたＧＭ画像と原画像が入力され、差分画像を出力する。当該差分は、ＧＭ画像と原画像の対応する座標における画素値の絶対差分値を採択する。
【００６９】
差分対応部３３は２値化画像を出力する。ここでは、差分画像が差分画像生成部３２から入力され、ある閾値よりも差分値が高いものを１、それ以外を０として、１、０からなる２値化画像を出力する。
【００７０】
マスク処理部３４は、原画像と、差分対応部３３から２値化画像が入力され、２値化画像の画素値１に対応する部分を原画像の値、それ以外は、０を採択した前景オブジェクト画像を出力する。また、２値画像の画素値０に対応する部分を原画像の値に、それ以外は０を採択した背景画像を出力する。この背景画像は背景スプライト生成部４の入力となる。
【００７１】
背景スプライト生成部４には、前景オブジェクト抽出部３から背景画像が入力され、グローバルモーション算出部１からグローバルモーションが入力される。背景スプライト生成部４は、図７に示すオーバーライト／アンダーライト統合部４１を有する。
【００７２】
図７は、本発明の第１の実施例の背景スプライト生成部の構成を示す図である。オーバーライト／アンダーライト統合部４１は、グローバルモーションと前述の背景画像を入力し、背景画像のこの画像をグローバルモーションと座標値から計算される基準座標の座標にマッピングする。オーバーライト／アンダーライト統合部４１は、オーバーライト又はアンダーライトの方法を用いて上記の処理を行う。例えば、アンダーライトのときには、基準座標においてまだ画素値が確定していない座標（画素値未確定領域）のみ、値を挿入し、画素値確定とする。このようにして図８に示すような画素値確定領域を背景スプライトとして生成する。
【００７３】
すなわち、図８に示すように、画素値未確定領域に同図における右上から画像を張り付けることにより画素値が順次確定する。左下の部分は、現フレームであり、新たに画素を確定する領域を示している。このように、画素値の決定していない部分を埋めていく処理を行う。
【００７４】
上記のように、仮の背景スプライトを作成し、それに基づき、画面ごとの前景と背景を分離した後、この分離後の背景を元に目的の背景スプライトを生成することによって、クリアでぼけのない背景スプライトを得ることができる。
【００７５】
［第２の実施例］
図９は、本発明の第２の実施例の抽出装置の構成を示す図である。この実施例は第１の目的に対応する別の実施例である。同図に示す前景オブジェクト・背景スプライト分離抽出装置は、グローバルモーション算出部１１、仮スプライト生成部１２、前景オブジェクト抽出部１３、背景スプライト生成部１４、及び前景オブジェクト抽出部１５から構成される。同図に示す前景オブジェクト・背景スプライト分離抽出装置は、図４に示す構成の最後に前景オブジェクト抽出部１５を付加したものであり、その前段までのグローバルモーション算出部１１、仮スプライト生成部１２、前景オブジェクト抽出部１３、背景スプライト生成部１４は、図４の構成要素と同一の機能を有し、同じ処理を行うものとする。但し、前景オブジェクト抽出部１３では、最終的な前景オブジェクト画像は出力しない。
【００７６】
前景オブジェクト抽出部１５は、背景スプライト生成部１４で算出された背景スプライトとグローバルモーション、原画像を入力して、前景オブジェクト画像を出力する。前景オブジェクト抽出部１５は、前述の図４の前景オブジェクト抽出部３及び図９の前景オブジェクト抽出部１３と同様の処理を行う。
【００７７】
このように、前景オブジェクト抽出処理を２回行うことによって、背景スプライトに前景が残らなくなる。これは以下の理由による。
【００７８】
すなわち、仮スプライトから切り出されたＧＭ画像と原画像との差分から前景を算出した時、動領域の一部が抽出されない場合も考えられる。この領域が背景スプライトに反映された場合、背景スプライト、及び合成時に背景スプライトから切り出されたＧＭ画像の品質を劣化させる。ここで、もう一度、生成された背景スプライトと原画像とを用いて前景を求めると、背景の誤抽出部分と前景の正しい部分の差分の値が大きくなる。従って、この部分が前景となり背景の誤抽出を隠す効果があり、背景スプライトに前景が残らなくなる。
【００７９】
上述のように、第１及び第２の実施例によれば、クロマキーなどの大掛りな装置を必要としない。また、既存の映像にも適用できる。
【００８０】
また、自動的に前景オブジェクト画像及び背景スプライトを取得することができるため人手を介さない。
【００８１】
また、グローバルモーションのずれや雑音にロバストに前景を抽出することができる。
【００８２】
さらに、前景が残らず、クリアで高品質のスプライトを生成することができる。
【００８３】
次に、本発明の第２の目的に対応した発明について、第３〜第５の実施例を用いて説明する。
【００８４】
なお、これから説明する第２の目的に対応する発明は、第１及び第２の実施例を用いて説明した第１の目的に対応する発明における前景オブジェクト抽出部に適用することができる。すなわち、第１の実施例で説明した図６の前景オブジェクト抽出部におけるマスク処理部３４において、入力された２値化画像に対して後述する初期マクロブロック近似処理及び拡張マクロブロック近似処理を行い形状マスクを生成することにより、従来より少ない形状符号量で見た目の良好な前景オブジェクト画像を抽出することが可能となる。
【００８５】
まず、第３〜第５の実施例に共通する概念について説明する。第３〜第５の実施例では、前景の形状マスクを求めることを目的とし、そのために、まず、背景画像と任意の画像の差分を算出する。図１０（Ａ）、（Ｂ）を用いて背景画像と任意の画像の差分を算出する例について説明する。
【００８６】
図１０（Ａ）は、通常の背景画像と任意の画像の差分を算出する例を示す図であり、図１０（Ｂ）は、ＭＰＥＧ−４符号化において、背景画像の代わりに背景スプライトが用意された場合の適用例を示す図である。背景スプライトから任意の画像の背景部分を切り出し、任意の画像との差分をとる。本発明は、通常の背景画像もしくは、背景スプライトを用いた場合の両方に適用できる。
【００８７】
次に、上記のようにして求めた差分画像から前景の形状マスクを求める方法の概念について図１１（ａ）〜（ｃ）を用いて説明する。
【００８８】
同図（ａ）は、元の形状を表し、同図の一つのマトリックスは、バウンディングボックスを示す。バウンディングボックスとは、ＭＰＥＧ−４においてオブジェクトを包含する１６画素の倍数の画素数を１辺に持つ最小の面積の領域である。また、本発明の実施例では１６画素×１６画素のブロックをマクロブロックと呼ぶ。なお、マクロブロックは任意の８×８画素など任意の大きさでよい。
【００８９】
同図（ｂ）は、従来の方法を示し、一番粗いロッシー符号化による形状を示す。同図において、マクロブロック内にオブジェクトが半分以上ある場合には、２５５、それ以外は０を与えるため、同図（ａ）に示す元の形状に対して、前景の形状に著しい浸食が見られる。
【００９０】
本発明では、２段階のマクロブロック化（第１次マクロブロック化、第２次マクロブロック化）を行うことにより形状マスクを抽出する。ここで、マクロブロック化とは、マクロブロック単位に前景か背景かを判断し、前景と判断されたマクロブロックの形状画素値に例えば２５５を与える処理をいう。
【００９１】
本発明ではまず所定の方法により、ある条件を満たした場合にマクロブロック全体を前景と見做す。この処理を第１次マクロブロック化又は初期マクロブロック近似処理と呼ぶ。さらに、最初にマクロブロック近似され、前景と判断されたマクロブロックの近傍（例えば上下左右の４近傍）のマクロブロックについて、所定の方法にて同様の判断を下す。この処理を第２次マクロブロック化又は拡張マクロブロック近似処理と呼ぶ。
【００９２】
上記の処理を図１１（ｃ）を用いて説明する。
【００９３】
同図（ｃ）のａは、前述の初期マクロブロック近似処理によりマクロブロック化された領域を示し（第１次マクロブロック化領域）、ｂは、前述の拡張マクロブロック近似処理によりマクロブロック化された領域を示す（第２次マクロブロック化領域）。初期マクロブロック近似処理は、例えば、同図（ａ）に示す元の形状の形状画素数がマクロブロック内に第１の所定の値以上あればマクロブロック内の全ての形状画素に２５５を、それ以外は０を形状画素値として与える。また、拡張マクロブロック近似処理は初期マクロブロック近似処理で２５５を与えられたマクロブロックの近傍のマクロブロック内に元の形状の形状画素数が第２の所定の値以上あれば形状画素値を２５５に置換するものである。後述するように、形状画素数の代わりにマクロブロックのエネルギー値を用いることもできる。なお、上記の例では４近傍の例を示したが、近傍であれば４近傍に限られず、例えば、８近傍であってもよい。
【００９４】
図１１（ｃ）から分かるように、本発明では、元の形状（図１１（ａ））に対して浸食が少なくなる。以下、第３〜第５の実施例を用いて第２の目的に対応する発明について具体的に説明する。
【００９５】
［第３の実施例］
まず、図１２、図１３を用いて第３の実施例の概要について説明する。図１２は、本発明の処理概要を説明するための図である。本発明は、動画像符号化の中のオブジェクト符号化における前景の形状マスク抽出方法であり、前景部分を２５５、背景部分を０で表現した前景マスク画像を入力し、前景マスク画像の前景部分の形状画素数がマクロブロック内に、第１の所定の値ｎ（ｎ≧１）画素以上あるかを判定し、２５５又は０を付与し（ステップ１１）、２５５が付与された近傍のブロックに、第２の所定の値ｍ（ｍ＜ｎ）以上の形状画素数の前景部分がある場合には、マクロブロックの形状画素値を全て２５５に変換し、形状マスクを出力する（ステップ１２）。
【００９６】
図１３は、第３の実施例における形状マスク抽出装置の構成図である。本形状マスク抽出装置は、前景部分を２５５、背景部分を０で表現した前景マスク画像を入力し、前景マスク画像の前景部分の形状画素数がマクロブロック内に、第１の所定の値ｎ（ｎ≧１）以上あるかを判定し、２５５又は０を付与する第１のマクロブロック化部５１と、第１のマクロブロック化部５１において、２５５が付与された近傍のブロックに、第２の所定の値ｍ（ｍ＜ｎ）以上の形状画素数の前景部分がある場合には、形状画素値を２５５に変換し、前景の形状マスクを出力する第２のマクロブロック化部５２からなる。
【００９７】
次に、各部について詳細に説明する。
【００９８】
上述のように、図１３に示す形状マスク抽出装置は、第１次マクロブロック化部５１と第２次マクロブロック化部５２から構成される。
【００９９】
第１次マクロブロック化部５１には、前景候補マスク（前景形状の候補）とバウンディングボックスが入力される。第１次マクロブロック化部５１は、前景マスク画像の前景部分の形状画素数がマクロブロック内に第１の所定の値ｎ画素以上あれば、マクロブロック内の画素に２５５を、それ以外は０を与える。
【０１００】
第２次マクロブロック化部５２は、第１次マクロブロック化部５１で２５５を与えられたマクロブロックの近傍のマクロブロックに対して、第２の所定の値ｍ（第１の所定の値ｎ＞第２の所定の値ｍ）以上の形状画素数の前景部分を持つマクロブロックがあれば、形状画素値を２５５に置換する。
【０１０１】
これにより、第１次マクロブロック化部５１において形状が矩形近似され、第２次マクロブロック化部５２は、第１次マクロブロック化部５１において、２５５を与えられたマクロブロックの近傍のマクロブロックに対して、形状を矩形近似し、出力として第２次マクロブロック化部５２からマクロブロック化された形状マスク（ＭＢ化形状マスク）が出力される。
【０１０２】
以下、上記の装置構成と動作についてより詳細に説明する。
【０１０３】
ここでは、動画像において、背景画像が予め与えられている場合、背景画像と原画像の差分領域を前景オブジェクトとする例を示す。また、前述の図１３の構成に対して、一度背景として判定された動画像を前景として回復するための構成を付加した例を説明する。
【０１０４】
図１４は、第３の実施例の形状マスク抽出装置の詳細構成を示す図である。同図において、図１３と同一構成部分には同一符号を付す。
【０１０５】
同図に示す形状マスク抽出装置は、背景差分部６１、２値化部６２、第１次マクロブロック化部５１、第２次マクロブロック化部５２、及び前景回復部６５から構成される。
【０１０６】
背景差分部６１は、原画像とＧＭ画像を入力として、原画像と背景画像の差分を抽出し、２値化部６２に転送する。
【０１０７】
２値化部６２は、背景の差分を２値化し、前景部分に２５５を与え、背景部分に０を与える。これを前景候補マスクとして第１次マクロブロック化部５１に転送する。
【０１０８】
第１次マクロブロック化部５１及び第２次マクロブロック化部５２では、２値化部６２からの２値情報に基づき、形状が矩形近似される。
【０１０９】
前景回復部６５は、この時点で０を与えられたマクロブロックに関して、差分情報がある閾値以上ある画素を含むマクロブロックは前景とみなし、値を２５５に置換する。
【０１１０】
これにより、一度背景として判定されたマクロブロックを前景に回復することが可能となる。
【０１１１】
［第３’の実施例］
さて、上記の第３の実施例では、マクロブロックが前景か否かによってマクロブロック内の全ての形状画素値を２５５又は０とするが、下記のように前景マップ（Ｖｍａｐ（ｉ，ｊ））を用いて処理を行うこともできる。ここで、（ｉ，ｊ）は任意のマクロブロックの位置を示し、前景マップ（Ｖｍａｐ（ｉ，ｊ））は、前景と判定されたマクロブロックに対して１、それ以外のマクロブロックに対して０の値を持つ。以下、第３’の実施例について、第３の実施例と異なる点を中心に説明する。
【０１１２】
図１５は、背景の差分を２値化し、前景候補マスクを算出した後からの処理を示すフローチャートである。
【０１１３】
前景候補マスクが与えられると、まず、各マクロブロック内の前景候補画素すなわち、値が２５５である形状画素の個数を計算する（ステップ１５）。この計算の結果をＮｍａｐ（ｉ，ｊ）（これを個数マップと呼ぶ。）とする。Ｎｍａｐ（ｉ，ｊ）は、各マクロブロック（ｉ，ｊ）毎に前景候補画素の個数を有する。
【０１１４】
次に、前景マップを初期化する。すなわち、Ｖｍａｐ（ｉ，ｊ）＝０とする（ステップ１６）。
【０１１５】
続いて、第３の実施例と同様の方法により、第１次マクロブロック化（ステップ１７）、第２次マクロブロック化（ステップ１８）を行う。ただし、第３’の実施例では、前景と判定されたマクロブロックの位置における前景マップ（Ｖｍａｐ（ｉ，ｊ））の値を１とする。
【０１１６】
次に、前景マップの値により前景の形状マスクを生成して出力する（ステップ１９）。形状マスクは、前景マップが１であるマクロブロック内の形状画素全てを２５５、前景マップが０であるマクロブロック内の形状画素全てを０とすることで得られる。
【０１１７】
なお、第３の実施例、及び第３’の実施例では、形状画素値として２５５、０を用いたが、２５５、０等の値は従来の技術で説明した形状マスク表現を用いた場合の値の例であり、形状マスクの表現方法に応じてどのような値もとり得る。
【０１１８】
上述のように、第３の実施例及び第３’の実施例に係る本発明によれば、オブジェクトの核となる部分とその周囲をマクロブロック化し、マクロブロック内における前景領域の形状画素数が、所定の数以上であるときに、そのマクロブロックは前景領域に属するとするので、通常の形状符号化をする場合に較べて、マクロブロック単位に前景か否かを指定するだけでよく、形状符号量が少なくて済むという効果を奏する。なお、実験の結果では、１／５〜１／１０の形状符号量となった。
【０１１９】
また、前景の浸食も少ない形状を表現することができる。
【０１２０】
［第４の実施例］
次に、第４の実施例について説明する。これは第３の実施例と同様、本発明の第２の目的に対応する実施例である。
【０１２１】
まず、図１６を用いて第４の実施例に係る本発明の原理について説明する。
【０１２２】
図１６は、本発明の原理を説明するための図である。本発明は、予め算出された背景画像と任意の画像との差分を用いて動物体を反映した動領域を抽出する前景の形状マスク抽出方法である。まず、背景画像と任意の画像について、画素毎に絶対差分を計算し、絶対差分画像として出力する（ステップ２１）。次に、任意の画像のサイズに対する前景マスクのサイズの割合である前景率を算出し、前景の形状マスクを生成する（ステップ２２）。
【０１２３】
次に、第４の実施例についてより詳細に説明する。
【０１２４】
図１７は、本発明の形状マスク抽出装置の構成を示す。
【０１２５】
同図に示す形状マスク抽出装置は、差分計算部７１、前景率制御算出部７２から構成される。
【０１２６】
差分計算部７１は、背景画像と任意の画像について画素毎に絶対差分値を計算し、絶対差分画像として、前景率制御算出部７２に出力する。
【０１２７】
前景率制御算出部７２は、任意の前景率（画像のサイズに対する、前景の形状マスクのサイズの割合）の前景の形状マスクを算出する。当該前景率制御算出部７２は、マクロブロック近似処理により前景の形状マスクを算出する。
本発明の第４の実施例の前景形状のマクロブロック近似処理について、図１１（ｃ）を用いて説明する。
【０１２８】
まず、第１の所定の値でマクロブロック化する。これは、後述するマクロブロックのエネルギー値が第１の所定の値以上である場合、マクロブロック全体を前景と見做す。前述したように、この処理を初期マクロブロック近似処理と呼ぶ。図１１（ｃ）では、初期マクロブロック近似処理により求められた領域を第１次マクロブロック化領域として示している。さらに、最初にマクロブロック近似され、前景と判断されたマクロブロックの近傍（例えば、上下左右の４近傍）のマクロブロックについて、第２の所定の値にて同様の判断を下す。前述したよう、この処理を拡張マクロブロック近似処理と呼ぶ。図１１（ｃ）では、拡張マクロブロック近似処理により求められた領域を第２次マクロブロック化領域として示している。
【０１２９】
拡張マクロブロック近似処理は、直前処理でマクロブロック化されたマクロブロックの周辺４近傍を常にターゲットとする。この初期マクロブロック近似処理、拡張マクロブロック近似処理は、前景マクロブロック数が予め定めた最大前景比率Ｔｈ３を超えるまで繰り返す。超えた時点で、超える直前の処理において、前景と判断された領域を最終的な前景とする。
【０１３０】
図１８は、本発明の第４の実施例の差分計算部と前景率制御算出部の処理のフローチャートである。最初に以下の説明における表記について説明する。
【０１３１】
（ｉ，ｊ）は、任意のマクロブロックの位置で、例えば、マクロブロックの大きさをｓ画素×ｓ画素、画像サイズを縦ｈ×横ｗ画素とすると、０≦ｊ≦ｈ／ｓ−１、０≦ｉ≦ｗ／ｓ−１の値を取る。また、（ｌ，ｍ）は任意のマクロブロック内における座標値で０≦ｌ≦ｓ−１，０≦ｍ≦ｓ−１の値をとる。
【０１３２】
Ｅ（ｉ，ｊ）：差分画像の座標（ｉ，ｊ）のマクロブロックにおけるエネルギーマップ；
Ｎ：マクロブロック内の画素数（ｓ×ｓ）；
Ｉｆ （ｌ，ｍ）：任意画像の座標（ｉ，ｊ）のマクロブロック内の座標（ｌ，ｍ）における画素値；
Ｉｓ （ｌ，ｍ）：背景画像の座標（ｉ，ｊ）のマクロブロック内の座標（ｌ，ｍ）における画素値；
Ｅａｖｅ ：差分画像におけるエネルギーの平均値；
Ｍ：差分画像におけるマクロブロックの数；
Ｅｍａｘ ：差分画像における最大エネルギー値；
ＭＡＸ（）：（）内の数列から最大値を算出する関数；
Ｔｈ１ ：マクロブロック近似における第１の所定の値；
Ｔｈ２ ：マクロブロック近似における第２の所定の値；
Ｖｍａｐ （ｉ，ｊ）：座標（ｉ，ｊ）における前景マップ、前景部分に１、それ以外に０；
Ｖ’ｍａｐ （ｉ，ｊ）：座標（ｉ，ｊ）における前景仮マップ、前景部分に１、それ以外に０；
Ｃｏｕｎｔ（）：（）内の１の個数を算出する関数；
Ｔｈ３ ：第３の所定の値、最大前景比率；
ｋｓｔｅｐ：最大値から引算される値；
ステップ１０１） 初期化処理を行う。具体的には、差分画像をｓ画素×ｓ画素からなるマクロブロックという処理単位に分割し、各々のマクロブロックにおいて、エネルギーマップに０の値を入れて初期化する。さらに、第３の所定の値Ｔｈ３ 、パラメータｋｓｔｅｐの値を、例えば次のように設定する。
【０１３３】
Ｅ（ｉ，ｊ）＝０，ｋｓｔｅｐ＝１，Ｔｈ３ ＝０．１５
ステップ１０２） 各エネルギーマップを計算する。背景画像と任意の画像に対応するマクロブロックにおいて、各対象画像の差分絶対値を求め、その総和をマクロブロック内の画素数（Ｎ）で除した値をそのマクロブロックにおけるエネルギー値として算出する。なお、本明細書においては、下記に示す式で算出される値をエネルギー値と称している。
【０１３４】
【数３】

または、次式に示すように差分自乗値の平方根を求め、マクロブロック内の画素数で除した値を用いてもよい。
【０１３５】
【数４】

ステップ１０３） 差分画像において、各マクロブロックのエネルギー値の平均を求める。
【０１３６】
【数５】

ステップ１０４） 各マクロブロックのエネルギー値をエネルギー平均値で除し、これがα（α≧１．０）以下であれば、０に変更する。
【０１３７】
【数６】

ステップ１０５） エネルギー値の最大値を算出する。
【０１３８】
Ｅｍａｘ ＝ＭＡＸ（Ｅ（ｉ，ｊ））
ステップ１０６） 第１の所定の値Ｔｈ１ 、第２の所定の値Ｔｈ２ を設定する。第１の所定の値Ｔｈ１ は、エネルギー値の最大値、第２の所定の値Ｔｈ２ は、第１の所定の値Ｔｈ１ を２で除した値を設定する（なお、第２の所定の値Ｔｈ２ は、第１の所定の値Ｔｈ１ より小さい値であればどのような値であっても構わない）。
【０１３９】
Ｔｈ１ ＝Ｅｍａｘ ，Ｔｈ２ ＝Ｔｈ１ ／２
ステップ１０７） 前景マップを初期化する。
【０１４０】
Ｖｍａｐ （ｉ，ｊ）＝０
ステップ１０８） 仮の前景マップを初期化する。
【０１４１】
Ｖ’ｍａｐ （ｉ，ｊ）＝０
ステップ１０９） 初期マクロブロック近似処理を行う。エネルギー値が第１の所定の値Ｔｈ１ 以上のマクロブロックすべてについて仮の前景マップに１をたてる。
【０１４２】
ｉｆ（Ｅ（ｉ，ｊ）≧Ｔｈ１ ）Ｖ’ｍａｐ （ｉ，ｊ）＝１
ステップ１１０） 仮の前景マップ中の１の数をカウントし、それを全マクロブロック数で除した値が第３の所定の値Ｔｈ３ よりも大きい場合は、前景マップの値により最終の前景形状マスクを生成して出力し、すべての処理を終了する。最終前景形状マスクは、前景マップが１であるマクロブロック内の画素全てを２５５、前景マップが０であるマクロブロック内の画素全てを０とすることで得られる。
【０１４３】
ｉｆ（Ｃｏｕｎｔ（Ｖ’ｍａｐ （ｉ，ｊ）／Ｍ≧Ｔｈ３ ）） ＥＮＤ
ステップ１１１） 仮の前景マップの値を前景マップにコピーする。
【０１４４】
Ｖｍａｐ （ｉ，ｊ）＝Ｖ’ｍａｐ （ｉ，ｊ）
ステップ１１２） 拡張マクロブロック処理を最大ｎ回行うループに入る。
【０１４５】
Ｉ＝０
ステップ１１３） 拡張マクロブロック処理を行う。具体的には、仮の前景マップに１がたつマクロブロックの近傍において、第２の所定の値Ｔｈ２ 以上のエネルギーがあるマクロブロックを前景とみなし、仮の前景マップに１をたてる。
【０１４６】
ｉｆ（Ｖ’ｍａｐ （ｉ，ｊ−１）＝１∪Ｖ’ｍａｐ （ｉ，ｊ＋１）＝１∪Ｖ’ｍａｐ （ｉ＋１，ｊ）＝１∪Ｖ’ｍａｐ （ｉ−１，ｊ）＝１）
ｉｆ（Ｅ（ｉ，ｊ）≧Ｔｈ２ ）Ｖ’ｍａｐ （ｉ，ｊ）＝１
ステップ１１４） 仮の前景マップ中の１の数をカウントし、それを全マクロブロック数で除した値が第３の所定の値よりも大きい場合は、前景マップの値により最終前景マスクを生成し、出力し、すべての処理を終了する。
【０１４７】
ｉｆ（Ｃｏｕｎｔ（Ｖ’ｍａｐ （ｉ，ｊ））／Ｍ≧Ｔｈ３ ）ＥＮＤ
ステップ１１５） ループ回数がある回数ｎを超えたら拡張マクロブロック近似処理のループを抜ける。超えない場合にはステップ１１３に移行する。
【０１４８】
Ｉ＋＋，ｉｆ（Ｉ＜ｎ）
ステップ１１６） 仮の前景マップの値を前景マップにコピーする。
【０１４９】
Ｖｍａｐ （ｉ，ｊ）＝Ｖ’ｍａｐ （ｉ，ｊ）
ステップ１１７） 第１の所定の値Ｔｈ１ 、第２の所定の値Ｔｈ２ を下記のように更新する。
【０１５０】
Ｔｈ１ ＝Ｅｍａｘ −ｋｓｔｅｐ，Ｔｈ２ ＝Ｔｈ１ ／２
上記のステップ１０８からステップ１１７の処理を繰り返す。なお、上記の処理では、前景比率が第３の所定の値より大きくなったときに、ステップ１０９〜ステップ１１７のループを終了し、前景の形状マスクを出力して処理を終了する。ここで、前景比率が第３の所定の値より大きくならない場合を考慮して、第１の所定の値が予め設定した値より小さくなった時点でループを抜け、その時点での前景の形状マスクを出力して終了するようにしてもよい。
【０１５１】
上述のように、本発明によれば、領域形状が単純化されるため、ＭＰＥＧ−４符号化における任意形状符号化を用いたオブジェクト符号化に比べて形状符号量を少なく抑えることができる。
【０１５２】
また、抽出されたオブジェクトに穴が無いため、良好な見た目を与える効果がある。
【０１５３】
さらに、前景率が大き過ぎると、かえって符号量が増大するが、前景率を一定以下の値に制限できるため、ＭＰＥＧ−４符号化した場合、符号量を少なくすることができる。
【０１５４】
［第５の実施例］
次に、第５の実施例について説明する。これも本発明の第２の目的に対応する実施例である。
【０１５５】
図１９は第５の実施例における形状マスク抽出装置の構成を示す図であり、本抽出装置は差分計算部８１、前景抽出部８２を有する。
【０１５６】
この構成において、背景画像と任意の画像は差分計算部８１で画素毎に絶対差分値が計算され、絶対差分画像として出力される。その絶対差分画像は前景抽出部８２に入力され、ここで前景オブジェクトを算出する。
【０１５７】
第５の実施例における前景形状のマクロブロック近似処理の様子は図１１（ｃ）に示したものと同様であり、第４の実施例と同様、マクロブロックのエネルギー値を基に第１の所定の値を用いて初期マクロブロック近似処理を行い、第２の所定の値を用いて拡張マクロブロック近似処理を行う。ただし、第５の実施例では最大前景比率（Ｔｈ３）を用いた処理（閾値処理）を行わない。すなわち、第５の実施例における処理は、第３の実施例における処理とほぼ同様であるが、エネルギー値を用いる点と、拡張マクロブロック近似処理を複数回行い得る点が第３の実施例と異なる。
【０１５８】
図２０は、本発明の第５の実施例の差分計算部と前景抽出部の処理のフローチャートである。最初に以下の説明における表記について説明する。
（ｉ，ｊ）は、任意のマクロブロックの位置で、例えば、マクロブロックの大きさをｓ画素×ｓ画素、画像サイズを縦ｈ×横ｗ画素とすると、０≦ｊ≦ｈ／ｓ−１、０≦ｉ≦ｗ／ｓ−１の値を取る。また、（ｌ，ｍ）は任意のマクロブロック内における座標値で、マクロブロックの大きさを縦横ｓ画素とすると、０≦ｌ≦ｓ−１，０≦ｍ≦ｓ−１の値をとる。
【０１５９】
Ｅ（ｉ，ｊ）：差分画像の座標（ｉ，ｊ）のマクロブロックにおけるエネルギーマップ；
Ｎ：マクロブロック内の画素数（ｓ×ｓ）；
Ｉｆ （ｌ，ｍ）：任意画像の座標（ｉ，ｊ）のマクロブロック内の座標（ｌ，ｍ）における画素値；
Ｉｓ （ｌ，ｍ）：背景画像の座標（ｉ，ｊ）のマクロブロック内の座標（ｌ，ｍ）における画素値；
Ｅａｖｅ ：差分画像におけるエネルギーの平均値；
Ｍ：差分画像におけるマクロブロックの数；
Ｅｍａｘ ：差分画像における最大エネルギー値；
Ｔｈ１’ ：マクロブロック近似における第１の所定の値；
Ｔｈ２’ ：マクロブロック近似における第２の所定の値；
Ｖｍａｐ （ｉ，ｊ）：座標（ｉ，ｊ）における前景マップ、前景部分に１、それ以外に０；
ステップ２０１）初期化処理を行う。具体的には、差分画像をｓ画素×ｓ画素から成るマクロブロックに分割し、各々のマクロブロックにおいて、エネルギーマップに０の値を入れて初期化する。
【０１６０】
Ｅ（ｉ，ｊ）＝０
ステップ２０２）各エネルギーマップを計算する。背景画像と任意の画像の対応するマクロブロックにおいて、以下に示すように、各対応画素の絶対差分または差分自乗の平方根を求め、その総和をマクロブロック内の画素数（例えば１６画素×１６画素のマクロブロックであれば２５６）で除した値をそのマクロブロックにおけるエネルギー値として算出する。
【０１６１】
【数７】

または、
【０１６２】
【数８】

ステップ２０３）差分画像において，各マクロブロックのエネルギー値の平均を求める。
【０１６３】
【数９】

ステップ２０４）各マクロブロックのエネルギー値をエネルギー平均値で除し、これがα（α≧１．０）以下のエネルギーをすべて０とする。
【０１６４】
【数１０】

ステップ２０５）前景マップを初期化する。
【０１６５】
Ｖｍａｐ （ｉ，ｊ）＝０
ステップ２０６）第１の所定の値Ｔｈ１’を設定する。（例えばＴｈ１’＝２０）
ステップ２０７）第１の所定の値Ｔｈ１’で初期マクロブロック近似処理を行う。エネルギー値が第１の所定の値Ｔｈ１’以上のマクロブロック全てについて前景マップに１を立てる。
【０１６６】
ｉｆ（Ｅ（ｉ，ｊ）≧Ｔｈ１’ ） Ｖｍａｐ （ｉ，ｊ）＝１
ここで、全てのマクロブロックがＴｈ１’以上の値を持たない場合は前景が抽出されないことになる。
【０１６７】
ステップ２０８）第２の所定の値Ｔｈ２’を設定する。（例えばＴｈ２’＝Ｔｈ１’／４）
ステップ２０９）ループ回数を初期化する。
【０１６８】
ｋ＝０
ステップ２１０〜２１２）第２の所定の値Ｔｈ２’で拡張マクロブロック近似をｎ回行う。拡張マクロブロック近似処理は、初期マクロブロック近似処理の結果、前景マップに１がたつマクロブロックの近傍において、第２の所定の値Ｔｈ２’以上のエネルギーがあるマクロブロックを前景とみなし、前景マップに１を立てる。具体的な計算方法は第４の実施例と同様である。
【０１６９】
ループ回数がｎ回になるとループを抜け、前景の形状マスクを生成、出力して処理を終了する。前景マップから形状マスクを求める方法は第４の実施例で説明した通りである。
【０１７０】
第５の実施例によっても、第３、４の実施例と同様に、領域形状が単純化されるため、ＭＰＥＧ−４符号化における任意形状符号化を用いたオブジェクト符号化に比べて形状符号量を少なく抑えることができる。また、抽出されたオブジェクトに穴が無いため、良好な見た目を与える効果がある。
【０１７１】
上記各実施例における処理をプログラムとして実現し、コンピュータに接続されるディスク装置、フロッピーディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納しておき、本発明を実施する際にインストールすることにより、容易に本発明を実現できる。
【０１７２】
各実施例におけるプログラムを実行させるコンピュータの構成例を図２１に示す。このコンピュータは、ＣＰＵ（中央処理装置）１０１、メモリ１０２、入力装置１０３、表示装置１０４、ＣＤ−ＲＯＭドライブ１０５、ハードディスク１０６、通信処理装置１０７を有する。ＣＰＵ１０１は装置の全体を制御する。メモリ１０２はＣＰＵ１０１で処理するデータやプログラムを保持する。入力装置１０３はキーボードやマウス等、データを入力するための装置である。表示装置１０４はディスプレイ等の装置である。ＣＤ−ＲＯＭドライブ１０５はＣＤ−ＲＯＭ等を駆動し、読み書きを行う。ハードディスク１０６には、プログラムやデータが格納される。通信処理装置１０７により他のコンピュータ等とネットワークを介して通信を行なうことが可能となる。本発明の処理を実行するプログラムは、コンピュータに予めインストールされていてもよいし、例えばＣＤ−ＲＯＭに格納され、ＣＤ−ＲＯＭドライブ１０５を介してハードディスク１０６にロードするようにしてもよい。プログラムが起動されると、所定のプログラム部分がメモリ１０２に展開され、処理が実行される。
【０１７３】
なお、本発明は、上記の実施例に限定されることなく、特許請求の範囲内で種々変更・応用が可能である。
【０１７４】
【発明の効果】
上記のように、第１の目的に対応した発明によれば、仮の背景スプライトを作成し、それに基づき、画面ごとの前景と背景を分離した後、この分離後の背景を元に目的の背景スプライトを生成することによって、クリアでぼけのない背景スプライトを得ることができる。また、グローバルモーションのずれや雑音に対してロバストにスプライトを抽出することが可能となる。
【０１７５】
また、第２の目的に対応した発明によれば、領域形状が単純化されるため、ＭＰＥＧ−４符号化におけるオブジェクト符号化を行った場合に符号量を少なく抑えることができる。また、抽出されたオブジェクトに穴が無いため、良好な見た目を与える効果がある。
【０１７６】
【図面の簡単な説明】
【図１】ＭＰＥＧ−４における画像表現を説明するための図である。
【図２】従来技術においての形状のマクロブロック近似を説明するための図である。
【図３】第１の目的に対応する発明の原理を説明するための図である。
【図４】第１の実施例における前景オブジェクト・背景スプライト分離抽出装置の構成を示す図である。
【図５】第１の実施例における仮スプライト生成部の構成図である。
【図６】第１の実施例における前景オブジェクト抽出部の構成図である。
【図７】第１の実施例における背景スプライト生成部の構成図である。
【図８】第１の実施例におけるオーバーライト／アンダーライト統合部の動作を説明するための図である。
【図９】第２の実施例における前景オブジェクト・背景スプライト分離抽出装置の構成を示す図である。
【図１０】本発明の実施例で用いられる差分画像を説明するための図である。
【図１１】前景形状のマクロブロック近似処理を説明するための図である。
【図１２】第３の実施例に係る発明の原理を説明するための図である。
【図１３】第３の実施例における前景の形状抽出装置の主要構成を示す図である。
【図１４】第３の実施例における前景の形状抽出装置の構成を示す図である。
【図１５】第３’の実施例を説明するための図である。
【図１６】第４の実施例に係る発明の原理を説明するための図である。
【図１７】第４の実施例における前景の形状抽出装置の構成を示す図である。
【図１８】第４の実施例の差分計算部と前景率制御算出部の処理のフローチャートである。
【図１９】第５の実施例における前景の形状抽出装置の構成を示す図である。
【図２０】第５の実施例の差分計算部と前景抽出部の処理のフローチャートである。
【図２１】コンピュータの構成例を示す図である。
【符号の説明】
１、１１ グローバルモーション算出部
２、１２ 仮スプライト生成部
３、１３ 前景オブジェクト抽出部
４、１４ 背景スプライト生成部
１５ 前景オブジェクト抽出部
２１ 時間メディアン統合部
３１ 切り出し部
３２ 差分画像生成部
３３ 差分対応部
３４ マスク処理部
４１ オーバーライト／アンダーライト統合部
５１ 第１次マクロブロック化部
５２ 第２次マクロブロック化部
６１ 背景差分部
６２ ２値化部
６５ 前景回復部
７１ 差分計算部
７２ 前景率制御算出部
８１ 差分計算部
８２ 前景抽出部
１０１ ＣＰＵ（中央処理装置）
１０２ メモリ
１０３ 入力装置
１０４ 表示装置
１０５ ＣＤ−ＲＯＭドライブ
１０６ ハードディスク
１０７ 通信処理装置

Claims (6)

1. 動画像から前景オブジェクトと背景スプライト画像を抽出するための前景オブジェクト・背景スプライト分離抽出方法において、
   動画像における基準フレームと任意のフレームの座標系の変換を行うグローバルモーションを算出し、
   任意のフレームの原画像を前記グローバルモーションを用いて基準フレームの座標である基準座標にマッピングし、同じ座標に所属する複数の画素値のメディアン値を座標の値とする、前景オブジェクトを消去した仮スプライト（パノラマ画像）を作成し、
   任意のフレームにおいて、前記仮スプライトから前記グローバルモーションで切り出された画像と前記原画像の差分が所定の閾値以上の部分を前景オブジェクト画像、それ以外の部分を背景画像として切り出し、
   任意のフレームにおいて、前記背景画像を前記グローバルモーションを用いて前記基準座標にマッピングし、画素値が決定されていない基準座標のみ新しい画素を挿入するか、又は、画素を上書きすることにより、背景スプライトを生成し、背景スプライトとして出力することを特徴とする前景オブジェクト・背景スプライト分離抽出方法。
2. 生成された前記背景スプライトから前記グローバルモーションで切り出された画像と前記原画像の差分が、所定の閾値以上の部分を前景オブジェクト画像として出力する処理を更に行う請求項１記載の前景オブジェクト・背景スプライト分離抽出方法。
3. 動画像から前景オブジェクトと背景スプライト画像を抽出するための前景オブジェクト・背景スプライト分離抽出装置であって、
   動画像における基準フレームと任意のフレームの座標系の変換を行うグローバルモーションを算出するグローバルモーション算出手段と、
   任意のフレームの原画像を前記グローバルモーションを用いて基準フレームの座標である基準座標にマッピングし、同じ座標に所属する複数の画素値のメディアン値を座標の値とする、前景オブジェクトを消去した仮スプライト（パノラマ画像）を作成する仮スプライト生成手段と、
   任意のフレームにおいて、前記仮スプライトから前記グローバルモーションで切り出された画像と前記原画像の差分が所定の閾値以上の部分を前景オブジェクト画像、それ以外の部分を背景画像として切り出す前景オブジェクト抽出手段と、
   任意のフレームにおいて、前記背景画像を前記グローバルモーションを用いて前記基準座標にマッピングし、画素値が決定されていない基準座標のみ新しい画素を挿入するか、又は、画素を上書きすることにより、背景スプライトを生成し、背景スプライトとして出力する背景スプライト生成手段とを有することを特徴とする前景オブジェクト・背景スプライト分離抽出装置。
4. 前記背景スプライト生成手段で生成された前記背景スプライトから、前記グローバルモーションで切り出された画像と前記原画像の差分が、所定の閾値以上の部分を前景オブジェクト画像として出力する第２の前景オブジェクト抽出手段を更に有する請求項３記載の前景オブジェクト・背景スプライト分離抽出装置。
5. 動画像から前景オブジェクトと背景スプライト画像を抽出するための前景オブジェクト・背景スプライト分離抽出プログラムを格納した記憶媒体であって、
   動画像における基準フレームと任意のフレームの座標系の変換を行うグローバルモーションを算出するグローバルモーション算出プロセスと、
   任意のフレームの原画像を前記グローバルモーションを用いて基準フレームの座標である基準座標にマッピングし、同じ座標に所属する複数の画素値のメディアン値を座標の値とする、前景オブジェクトを消去した仮スプライト（パノラマ画像）を作成する仮スプライト生成プロセスと、
   任意のフレームにおいて、前記仮スプライトから前記グローバルモーションで切り出された画像と前記原画像の差分が所定の閾値以上の部分を前景オブジェクト画像、それ以外の部分を背景画像として切り出す前景オブジェクト抽出プロセスと、
   任意のフレームにおいて、前記背景画像を前記グローバルモーションを用いて前記基準座標にマッピングし、画素値が決定されていない基準座標のみ新しい画素を挿入するか、又は、画素を上書きすることにより、背景スプライトを生成し、背景スプライトとして出力する背景スプライト生成プロセスとをコンピュータに実行させることを特徴とする前景オブジェクト・背景スプライト分離抽出プログラムを格納した記憶媒体。
6. 前記背景スプライト生成プロセスで生成された前記背景スプライトから、前記グローバルモーションで切り出された画像と前記原画像の差分が、所定の閾値以上の部分を前景オブジェクト画像として出力する第２の前景オブジェクト抽出プロセスを更にコンピュータに実行させる請求項５記載の前景オブジェクト・背景スプライト分離抽出プログラムを格納した記憶媒体。

Images