JPWO2007125866A1 - 被写体抽出方法、被写体追跡方法、画像合成方法、被写体抽出コンピュータプログラム、被写体追跡コンピュータプログラム、画像合成コンピュータプログラム、被写体抽出装置、被写体追跡装置、および画像合成装置 - Google Patents

Abstract

画像処理後の画像（処理後画像）を所定の閾値を用いて２値化して被写体抽出用の２値マスク画像を生成し、画像処理前の画像（処理前画像）と被写体抽出用の２値マスク画像とに基づいて、処理前画像から背景領域を除去して処理前画像内に含まれる被写体像のみを抽出した被写体画像を生成する。

Description

本発明は、画像内から被写体像を抽出する被写体抽出方法、抽出した被写体像をフレーム間で追跡する被写体追跡方法、抽出した被写体像を異なる画像に合成する画像合成方法、被写体抽出コンピュータプログラム、被写体追跡コンピュータプログラム、画像合成コンピュータプログラム、被写体抽出装置、被写体追跡装置、および画像合成装置に関する。

次のような撮影画面の顔領域検出方法が知られている。この顔領域検出方法では、撮影時の撮影倍率から人物の顔のサイズを推定するとともに、画面内での肌色領域のサイズを算出する。そして、推定した人物の顔のサイズと画面上の肌色領域のサイズとを比較することによって、撮影画面内における人物の顔の領域を検出する（特許文献１参照）。

特開平０７−３０６４８３号公報

しかしながら、従来の方法によれば、人物の顔のサイズを撮影時の撮影倍率から推定しているが、画像内における人物の顔のサイズは、カメラから人物までの距離によっても異なる。そのため、撮影時の撮影倍率から推定したサイズは必ずしも正確であるとは限らず、この推定値に誤りがあると人物の顔の領域を正確に検出できない可能性があった。

本発明の第１の態様によると、被写体抽出方法は、画像処理後の画像（処理後画像）を所定の閾値を用いて２値化して被写体抽出用の２値マスク画像を生成し、画像処理前の画像（処理前画像）と被写体抽出用の２値マスク画像とに基づいて、処理前画像から背景領域を除去して処理前画像内に含まれる被写体像のみを抽出した被写体画像を生成する。
本発明の第２の態様によると、第１の態様の被写体抽出方法において、処理後画像の濃度平均値、または濃度中央値を所定の閾値として、２値マスク画像を生成することが好ましい。
本発明の第３の態様によると、第１または第２の態様の被写体抽出方法において、処理前画像はＲＧＢ色空間により表される画像であり、処理前画像に基づいて、輝度成分からなる輝度画像と色差成分からなる色差画像とを生成し、輝度画像と色差画像とをそれぞれ処理後画像として２値マスク画像を生成し、輝度画像の２値マスク画像と色差画像の２値マスク画像の中から所定の評価値を用いて選択した１つの２値マスク画像を被写体抽出用の２値マスク画像とすることが好ましい。
本発明の第４の態様によると、第３の態様の被写体抽出方法において、輝度成分と色差成分とからなる色空間は、ＹＣｂＣｒ色空間であることが好ましい。
本発明の第５の態様によると、第３の態様の被写体抽出方法において、輝度成分と色差成分とからなる色空間は、ＹＩＱ色空間であることが好ましい。
本発明の第６の態様によると、第３〜第５のいずれかの態様の被写体抽出方法において、所定の評価値は、輝度画像の２値マスク画像の重心周りの慣性モーメント、および色差画像の２値マスク画像の重心周りの慣性モーメントであることが好ましい。
本発明の第７の態様によると、第３〜第５のいずれかの態様の被写体抽出方法において、所定の評価値は、輝度画像内における白色の領域の面積を輝度画像の２値マスク画像の重心周りの慣性モーメントで除算することにより算出される値、および色差画像内における白色の領域の面積を色差画像の２値マスク画像の重心周りの慣性モーメントで除算することにより算出される値であることが好ましい。
本発明の第８の態様によると、第１〜第７のいずれかの態様の被写体抽出方法において、処理前画像と被写体抽出用の２値マスク画像との論理積により得られる画像を被写体画像とすることが好ましい。
本発明の第９の態様によると、被写体追跡方法は、第１〜第８のいずれかの態様の被写体抽出方法を使用して入力画像の各フレームから背景領域を除去し、入力画像内に含まれる被写体像のみを抽出した入力被写体画像を生成し、テンプレート画像と、入力被写体画像との類似度に基づいて、入力画像におけるフレーム間での被写体像の動きを追跡する。
本発明の第１０の態様によると、被写体追跡方法は、第１〜第８のいずれかの態様の被写体抽出方法を使用してテンプレート画像から背景領域を除去し、テンプレート画像内に含まれる被写体像のみを抽出したテンプレート被写体画像を生成し、第１〜第８のいずれかの態様の被写体抽出方法を使用して入力画像の各フレームから背景領域を除去し、入力画像内に含まれる被写体像のみを抽出した入力被写体画像を生成し、テンプレート被写体画像と、入力被写体画像との類似度に基づいて、入力画像におけるフレーム間での被写体像の動きを追跡する。
本発明の第１１の態様によると、第１０の態様の被写体追跡方法において、テンプレート画像はＲＧＢ色空間により表される画像であり、テンプレート画像に基づいて、輝度成分からなる輝度画像と色差成分からなる色差画像とを生成し、輝度画像と色差画像とを、それぞれの画像の濃度平均値、または濃度中央値を閾値として２値化して２値マスク画像を生成し、輝度画像の２値マスク画像と色差画像の２値マスク画像の中から所定の評価値を用いて選択した１つの２値マスク画像をテンプレート用の２値マスク画像として選択し、テンプレート画像とテンプレート用の２値マスク画像との論理積により得られる画像をテンプレート被写体画像とすることが好ましい。
本発明の第１２の態様によると、第１１の態様の被写体追跡方法において、入力画像はＲＧＢ色空間により表される画像であり、入力画像に基づいて、テンプレート用の２値マスク画像として選択した２値マスク画像と同じ成分からなる成分画像を生成し、成分画像を成分画像の濃度平均値、または濃度中央値を閾値として２値化して入力画像用の２値マスク画像を生成し、入力画像と入力画像用の２値マスク画像との論理積により得られる画像を入力被写体画像とすることが好ましい。
本発明の第１３の態様によると、第１２の態様の被写体追跡方法において、テンプレート用の２値マスク画像の重心を中心としたテンプレート被写体画像の慣性モーメントをテンプレート被写体画像の特徴量とし、入力画像用の２値マスク画像内に設定した所定領域内の重心を中心とした入力被写体画像の慣性モーメントを入力被写体画像の特徴量とし、テンプレート被写体画像の特徴量、および入力被写体画像の特徴量に基づいて、テンプレート被写体画像と入力被写体画像との類似度を演算することが好ましい。
本発明の第１４の態様によると、画像合成方法は、第１〜第８のいずれかの態様の被写体抽出方法を使用して第１の画像から抽出した被写体像の第１の画像における抽出位置を特定し、第１〜第８のいずれかの態様の被写体抽出方法を使用して第２の画像から被写体像のみを抽出した被写体画像を生成し、第１の画像における被写体像の抽出位置に、第２の画像から生成した被写体画像を合成する。
本発明の第１５の態様による被写体抽出コンピュータプログラムは、次の（ａ）および（ｂ）の手順を実行する。
（ａ）画像処理後の画像（処理後画像）を所定の閾値を用いて２値化して被写体抽出用の２値マスク画像を生成する２値マスク画像生成手順、
（ｂ）画像処理前の画像（処理前画像）と前記被写体抽出用の２値マスク画像とに基づいて、前記処理前画像から背景領域を除去して前記処理前画像内に含まれる被写体像のみを抽出した被写体画像を生成する被写体画像生成手順。
本発明の第１６の態様によると、第１５の態様の被写体抽出コンピュータプログラムにおいて、２値マスク画像生成手順は、処理後画像の濃度平均値、または濃度中央値を所定の閾値として、２値マスク画像を生成することが好ましい。
本発明の第１７の態様によると、第１５または第１６の態様の被写体抽出コンピュータプログラムにおいて、処理前画像はＲＧＢ色空間により表される画像であり、２値マスク画像生成手順は、処理前画像に基づいて、輝度成分からなる輝度画像と色差成分からなる色差画像とを生成し、輝度画像と色差画像とをそれぞれ処理後画像として２値マスク画像を生成し、輝度画像の２値マスク画像と色差画像の２値マスク画像の中から所定の評価値を用いて選択した１つの２値マスク画像を被写体抽出用の２値マスク画像とすることが好ましい。
本発明の第１８の態様によると、第１７の態様の被写体抽出コンピュータプログラムにおいて、輝度成分と色差成分とからなる色空間は、ＹＣｂＣｒ色空間であることが好ましい。
本発明の第１９の態様によると、第１７の態様の被写体抽出コンピュータプログラムにおいて、輝度成分と色差成分とからなる色空間は、ＹＩＱ色空間であることが好ましい。
本発明の第２０の態様によると、第１７〜第１９のいずれかの態様の被写体抽出コンピュータプログラムにおいて、所定の評価値は、輝度画像の２値マスク画像の重心周りの慣性モーメント、および色差画像の２値マスク画像の重心周りの慣性モーメントであることが好ましい。
本発明の第２１の態様によると、第１７〜第１９のいずれかの態様の被写体抽出コンピュータプログラムにおいて、所定の評価値は、輝度画像内における白色の領域の面積を輝度画像の２値マスク画像の重心周りの慣性モーメントで除算することにより算出される値、および色差画像内における白色の領域の面積を色差画像の２値マスク画像の重心周りの慣性モーメントで除算することにより算出される値であることが好ましい。
本発明の第２２の態様によると、第１５〜第２１のいずれかの態様の被写体抽出コンピュータプログラムにおいて、被写体画像生成手順は、処理前画像と被写体抽出用の２値マスク画像との論理積により得られる画像を被写体画像とすることが好ましい。
本発明の第２３の態様による被写体追跡コンピュータプログラムは、次の（ｃ）および（ｄ）の手順を実行する。
（ｃ）第１５〜第２２のいずれかの態様の被写体抽出コンピュータプログラムを実行して、入力画像の各フレームから背景領域を除去して入力画像内に含まれる被写体像のみを抽出した入力被写体画像を生成する入力被写体画像生成手順、
（ｄ）テンプレート画像と、入力被写体画像との類似度に基づいて、入力画像におけるフレーム間での被写体像の動きを追跡する被写体追跡手順。
本発明の第２４の態様による被写体追跡コンピュータプログラムは、次の（ｅ）〜（ｇ）の手順を実行する。
（ｅ）第１５〜第２２のいずれかの態様の被写体抽出コンピュータプログラムを実行して、テンプレート画像から背景領域を除去してテンプレート画像内に含まれる被写体像のみを抽出したテンプレート被写体画像を生成するテンプレート被写体画像生成手順、
（ｆ）第１５〜第２２のいずれかの態様の被写体抽出コンピュータプログラムを実行して、入力画像の各フレームから背景領域を除去して入力画像内に含まれる被写体像のみを抽出した入力被写体画像を生成する入力被写体画像生成手順、
（ｇ）テンプレート被写体画像と、入力被写体画像との類似度に基づいて、入力画像におけるフレーム間での被写体像の動きを追跡する被写体追跡手順。
本発明の第２５の態様によると、第２４の態様の被写体追跡コンピュータプログラムにおいて、テンプレート画像はＲＧＢ色空間により表される画像であり、テンプレート被写体画像生成手順は、テンプレート画像に基づいて、輝度成分からなる輝度画像と色差成分からなる色差画像とを生成し、輝度画像と色差画像とを、それぞれの画像の濃度平均値、または濃度中央値を閾値として２値化して２値マスク画像を生成し、輝度画像の２値マスク画像と色差画像の２値マスク画像の中から所定の評価値を用いて選択した１つの２値マスク画像をテンプレート用の２値マスク画像として選択し、テンプレート画像とテンプレート用の２値マスク画像との論理積により得られる画像をテンプレート被写体画像とすることが好ましい。
本発明の第２６の態様によると、第２５の態様の被写体追跡コンピュータプログラムにおいて、入力画像はＲＧＢ色空間により表される画像であり、入力被写体画像生成手順は、入力画像に基づいて、テンプレート用の２値マスク画像として選択した２値マスク画像と同じ成分からなる成分画像を生成し、成分画像を成分画像の濃度平均値、または濃度中央値を閾値として２値化して入力画像用の２値マスク画像を生成し、入力画像と入力画像用の２値マスク画像との論理積により得られる画像を入力被写体画像とすることが好ましい。
本発明の第２７の態様によると、第２６の態様の被写体追跡コンピュータプログラムにおいて、被写体追跡手順は、テンプレート用の２値マスク画像の重心を中心としたテンプレート被写体画像の慣性モーメントをテンプレート被写体画像の特徴量とし、入力画像用の２値マスク画像内に設定した所定領域内の重心を中心とした入力被写体画像の慣性モーメントを入力被写体画像の特徴量とし、テンプレート被写体画像の特徴量、および入力被写体画像の特徴量に基づいて、テンプレート被写体画像と入力被写体画像との類似度を演算することが好ましい。
本発明の第２８の態様による画像合成コンピュータプログラムは、次の（ｈ）〜（ｊ）の手順を実行する。
（ｈ）第１５〜第２２のいずれかの態様の被写体抽出コンピュータプログラムを実行して、第１の画像から抽出した被写体像の第１の画像における抽出位置を特定する特定手順、
（ｉ）第１５〜第２２のいずれかの態様の被写体抽出コンピュータプログラムを実行して、第２の画像から被写体像のみを抽出した被写体画像を生成する被写体画像生成手順、
（ｊ）第１の画像における前記被写体像の抽出位置に、第２の画像から生成した被写体画像を合成する合成手順。
本発明の第２９の態様による被写体抽出装置は、第１５〜第２２のいずれかの態様の被写体抽出コンピュータプログラムを実行するプログラム実行部を備える。
本発明の第３０の態様による被写体追跡装置は、第２３〜第２７のいずれかの態様の被写体追跡コンピュータプログラムを実行するプログラム実行部を備える。
本発明の第３１の態様による画像合成装置は、第２８の態様の画像合成コンピュータプログラムを実行するプログラム実行部を備える。

本発明によれば、画像から背景領域を除去して、画像内に含まれる被写体像を正確に抽出することができる。

カメラの一実施の形態の構成を示すブロック図。 追跡対象の人物の顔を含む画像の具体例を示す図。 テンプレート画像の具体例を示す図。 テンプレート画像から生成した成分画像の具体例を示す図。 成分画像に基づいて作成された濃度ヒストグラムの具体例を示す図。 成分画像を２値化して生成した２値マスク画像の具体例を示す図。 テンプレート被写体画像の具体例を示す図。 入力被写体画像の具体例を示す図。 テンプレート被写体画像生成処理を示すフローチャート図。 被写体追跡処理を示すフローチャート図。 被写体追跡プログラムを被写体追跡装置に提供する様子を示す図。

図１は、本実施の形態におけるカメラの一実施の形態の構成を示すブロック図である。カメラ１００は、例えばデジタルカメラであり、入力スイッチ１０１と、レンズ１０２と、撮像素子１０３と、制御装置１０４と、メモリ１０５と、メモリカードスロット１０６と、モニタ１０７とを備えている。

入力スイッチ１０１は、使用者によって操作される種々の入力部材を含んでいる。例えば、この入力スイッチ１０１には、レリーズスイッチやカメラ１００を操作するための種々の操作ボタンが含まれる。

レンズ１０２は、複数の光学レンズ群から構成されるが、図１では代表して１枚のレンズで表している。撮像素子１０３は、例えばＣＣＤであり、レンズ１０２を通して入力される被写体像を撮像し、得られた画像データを制御装置１０４へ出力する。ここで撮像されて得られる画像データは、ＲＧＢ色空間により表される画像データであるものとし、この画像データを構成する各々の画素には、ＲＧＢの各色成分の色情報が全て存在しているものとする。

なお、本実施の形態におけるカメラ１００においては、撮像素子１０３は、使用者による入力スイッチ１０１に含まれるレリーズボタンが押下されることにより被写体像の撮像を行う。このとき、レリーズボタンが押下された時点の１フレームの画像を静止画像として撮像することもでき、また、レリーズボタンが押下されてから次にレリーズボタンが押下されるまでの間、被写体像を所定の時間間隔で連続して複数フレーム撮像することによって、動画像を撮影することもできる。

制御装置１０４は、ＣＰＵ、メモリ、およびその他の周辺回路により構成され、撮像素子１０３から入力される画像データ（静止画像データまたは動画像データ）をモニタ１０７に出力して表示し、さらにメモリカードスロット１０６に挿入されているメモリカード内に記憶する。制御装置１０４はまた、被写体抽出部１０４ａと、テンプレートマッチング部１０４ｂと、被写体追跡部１０４ｃとを機能的に有している。

被写体抽出部１０４ａは、あらかじめ撮影された追跡対象の被写体像を含む画像に対して被写体抽出処理を実行し、画像内から被写体像のみを抽出したテンプレート被写体画像を生成する。そして、撮像素子１０３から入力される動画像データ（入力画像）を構成する各フレームの画像データに対して被写体抽出処理を実行し、各フレーム内から被写体像のみを抽出した入力被写体画像をそれぞれ生成する。テンプレートマッチング部１０４ｂは、各入力被写体画像と、あらかじめ生成しておいたテンプレート被写体画像とをマッチング処理し、被写体追跡部１０４ｃは、テンプレートマッチング部１０４ｂによるマッチング結果に基づいて、フレーム間での被写体像の動きを追跡する。以下、１０４ａ〜１０４ｃの各部による処理を説明する。

被写体抽出部１０４ａは、まず、後述するテンプレートマッチング部１０４ｂでテンプレートマッチング処理に使用するテンプレート被写体画像を生成する。このために、まず、後述する被写体追跡処理で追跡対象とする被写体像が撮影されている画像内から被写体像が含まれる領域の画像をテンプレート画像として抽出する。ここで、追跡対象とする被写体としては、例えば人物の顔や特定の物体などが用いられる。

このために、使用者は、あらかじめ当該追跡対象とする被写体を撮影した画像を用意しておき、その画像内の被写体が写っている範囲をテンプレート画像として抽出する範囲として指定する必要がある。なお、追跡対象とする被写体を撮影した画像は、過去に撮影されメモリカードスロット１０６内のメモリカードに記録されている画像を読み込んで使用してもよく、あるいは、撮像素子１０３を介して新たに取得した画像を使用してもよい。

そして、使用者は、このようにあらかじめ準備した追跡対象の人物の顔を含む画像をモニタ１０７上に表示し、入力スイッチ１０１を操作してモニタ１０７上でテンプレート画像として抽出する範囲を指定する。例えば、使用者によって、図２に示す画像内から、人物の顔を含む領域２ａが指定された場合には、被写体抽出部１０４ａは、領域２ａ内の画像を抽出してテンプレート画像とする。すなわち、被写体抽出部１０４ａは、図２に示す画像内から、図３に示すテンプレート画像を抽出する。なお、上述したように、このテンプレート画像は、ＲＧＢ表色系で表されているものとする。

被写体抽出部１０４ａは、ＲＧＢ表色系で表されているテンプレート画像を次式（１）〜（３）を用いてＹＣｂＣｒ色空間における輝度成分からなる輝度画像と色差成分からなる色差画像とに変換する。すなわち、次式（１）を用いてＹ成分からなるＹ画像を輝度画像として生成し、次式（２）および（３）を用いてＣｂ成分からなるＣｂ画像とＣｒ成分からなるＣｒ画像とをそれぞれ色差画像として生成する。
Ｙ ＝ ０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ ・・・（１）
Ｃｂ＝−０．１６９Ｒ−０．３３２Ｇ＋０．５００Ｂ ・・・（２）
Ｃｒ＝ ０．５００Ｒ−０．４１９Ｇ−０．０８１Ｂ ・・・（３）

これによって、図３に示したＲＧＢ色空間により表されるテンプレート画像（処理前画像）は、図４（ａ）に示すＹ画像、図４（ｂ）に示すＣｂ画像、および図４（ｃ）に示すＣｒ画像（処理後画像）にそれぞれ変換される。そして、被写体抽出部１０４ａは、生成したＹ画像、Ｃｂ画像、およびＣｒ画像について、横軸に濃度値（０〜２５５）、縦軸に画素数をとった濃度ヒストグラムを作成する。すなわち、Ｙ画像、Ｃｂ画像、Ｃｒ画像の成分画像それぞれに対して、画像内の全画素の濃度値を調べ、各濃度値ごとに画素数を計数して、濃度値ごとの画素数の出現頻度を示した濃度ヒストグラムを作成する。

その結果、例えば図５に示すような濃度ヒストグラムを得る。なお、図５に示す濃度ヒストグラムは、Ｙ画像、Ｃｂ画像、およびＣｒ画像のいずれか１つ、例えばＹ画像について作成したものであり、その他のＣｂ画像、およびＣｒ画像についても同様に作成される。

被写体抽出部１０４ａは、このように作成した各成分画像の濃度ヒストグラムの中央値、すなわち濃度中央値（Ｍｅｄｉａｎ）５ａを算出する。そして、この算出した濃度中央値５ａを閾値に設定して、生成したＹ画像、Ｃｂ画像、およびＣｒ画像のそれぞれを２値化して２値マスク画像を生成する。その結果、図６に示すように、Ｙ画像、Ｃｂ画像、およびＣｒ画像のそれぞれについての２値マスク画像を生成することができる。

すなわち、被写体抽出部１０４ａは、図４（ａ）に示したＹ画像をＹ画像の濃度中央値５ａを閾値に使用して２値化することによって、図６（ａ）に示すようなＹ画像の２値マスク画像を生成することができる。同様に、図４（ｂ）に示したＣｂ画像をＣｂ画像の濃度中央値５ａを閾値に使用して２値化することによって図６（ｂ）に示すようなＣｂ画像の２値マスク画像を生成することができる。また、図４（ｃ）に示したＣｒ画像をＣｒ画像の濃度中央値５ａを閾値に使用して２値化することによって図６（ｃ）に示すようなＣｒ画像の２値マスク画像を生成することができる。

なお、本実施の形態では、Ｙ画像、Ｃｂ画像、およびＣｒ画像のそれぞれについて濃度中央値５ａを閾値に使用して２値化する例について説明するが、その他の値を閾値として使用するようにしてもよい。例えば、各成分画像の濃度ヒストグラムの平均値、すなわち濃度平均値（Ｍｅａｎ）５ｂを算出して、これを閾値として使用してもよい。

次に、被写体抽出部１０４ａは、Ｙ画像の２値マスク画像、Ｃｂ画像の２値マスク画像、Ｃｒ画像の２値マスク画像のそれぞれについて、重心周りの慣性モーメントを算出する。すなわち、Ｙ画像の２値マスク画像の重心周りの慣性モーメント、Ｃｂ画像の２値マスク画像の重心周りの慣性モーメント、およびＣｒ画像の２値マスク画像の重心周りの慣性モーメントをそれぞれ算出する。なお、２値画像の重心周りの慣性モーメントの算出方法については、公知のため詳細な説明を省略するが、重心からの画素距離の２乗×０または１の濃度値の和により算出される。

そして、被写体抽出部１０４ａは、Ｙ画像の２値マスク画像、Ｃｂ画像の２値マスク画像、Ｃｒ画像の２値マスク画像のうち、算出した重心周りの慣性モーメントが最小となる２値マスク画像を被写体抽出用の２値マスク画像として選択する。すなわち、Ｙ画像の２値マスク画像の重心周りの慣性モーメント、Ｃｂ画像の２値マスク画像の重心周りの慣性モーメント、およびＣｒ画像の２値マスク画像の重心周りの慣性モーメントを評価値として使用して、被写体抽出用の２値マスク画像を選択する。

Ｙ画像の２値マスク画像、Ｃｂ画像の２値マスク画像、およびＣｒ画像の２値マスク画像は、それぞれ「黒：０」および「白：１」の値を持っているため、各画像の重心周りの慣性モーメントは白画素の重心からの距離のみに依存した値となる。このため、重心周りに白画素がまとまっている場合には、重心周りの慣性モーメントの値が小さくなる。よって、重心周りの慣性モーメントが最小となる２値マスク画像を選択することによって、被写体像を示す白画素が他の２値マスク画像よりもまとまって存在している２値マスク画像を選択することができる。

例えば、図６に示す例において、Ｙ画像の２値マスク画像の慣性モーメントが１９、Ｃｂ画像の２値マスク画像の慣性モーメントが１９．１、およびＣｒ画像の２値マスク画像の慣性モーメントが３．３８と算出された場合には、被写体抽出部１０４ａは、慣性モーメントが最小であるＣｒ画像の２値マスク画像を被写体抽出用の２値マスク画像として選択する。これによって、図６（ｃ）に示すように、被写体像が白い領域のまとまりとして表され、その他の背景に相当する領域が黒い領域として表されているＣｒ画像の２値マスク画像を被写体抽出用の２値マスク画像として選択することができる。

そして、被写体抽出部１０４ａは、テンプレート画像と被写体抽出用の２値マスク画像との論理積をとることにより、テンプレート画像内から背景を除去して被写体像のみを抽出したテンプレート被写体画像を得ることができる。例えば、図３に示したテンプレート画像と図６（ｃ）に示した被写体抽出用の２値マスク画像との論理積をとることにより、図７に示すように背景を除去して被写体像である人物の顔のみを抽出したテンプレート被写体画像を得ることができる。被写体抽出部１０４ａは、生成したテンプレート被写体画像をメモリ１０５に記録する。

被写体抽出部１０４ａ〜被写体追跡部１０４ｃの各部は、以上のようにしてテンプレート画像から生成したテンプレート被写体画像を用いて、撮像素子１０３から入力される動画像データ（入力画像）を構成する各フレームの画像データ内に存在する被写体像のフレーム間での動きを追跡する。具体的には次のように処理する。

被写体抽出部１０４ａは、撮像素子１０３から入力画像の入力が開始されると、メモリ１０５からあらかじめ生成したテンプレート被写体画像を読み込む。そして、ＲＧＢ表色系で表されている各フレームの画像を上述した成分画像に変換する。このとき、Ｙ画像、Ｃｂ画像、およびＣｒ画像のうち、上述した処理でテンプレート被写体画像を生成したときに、被写体抽出用の２値マスク画像として選択した２値マスク画像と同じ成分の成分画像に式（１）〜（３）のいずれかを使用して変換する。すなわち、上述した処理では、Ｃｒ画像の２値マスク画像を被写体抽出用の２値マスク画像として選択したため、式（３）を使用して入力画像をＣｒ画像に変換する。

そして、被写体抽出部１０４ａは、生成したＣｒ画像を処理対象として、テンプレート被写体画像を生成したときと同様の処理を実行して、入力画像から背景を除去して被写体像のみを抽出した入力被写体画像を生成する。すなわち、生成したＣｒ画像に基づいて図５に示したような濃度ヒストグラムを作成し、濃度中央値５ａを閾値に設定してＣｒ画像を２値化してＣｒ画像の２値マスク画像を生成する。そして、このＣｒ画像の２値マスク画像を被写体抽出用の２値マスク画像とし、入力画像と被写体抽出用の２値マスク画像との論理積をとることにより、入力画像内から背景を除去して被写体像のみを抽出した入力被写体画像を生成する。例えば、入力画像のある１フレームが、図２に示した画像である場合には、図８に示すような入力被写体画像が生成される。

テンプレートマッチング部１０４ｂは、このように生成した入力被写体画像上にテンプレート被写体画像とのマッチングを行うための矩形枠をターゲット領域として設定し、ターゲット領域の位置を入力被写体画像内で所定量ずつ、例えば１画素ずつ移動させながらそれぞれの位置におけるターゲット領域内の画像とテンプレート被写体画像との類似度を算出する。

なお、本実施の形態では、テンプレート被写体画像の生成に用いた２値マスク画像（テンプレート被写体画像の２値マスク画像）の重心を中心としたテンプレート被写体画像の慣性モーメントをテンプレート被写体画像の特徴量とする。また、入力被写体画像の生成に用いた２値マスク画像（入力被写体画像の２値マスク画像）のターゲット領域に相当する領域内の重心を中心とした入力被写体画像の慣性モーメントを入力被写体画像の特徴量とする。そして、テンプレート被写体画像の特徴量と、入力被写体画像の特徴量とに基づいて、ターゲット領域内の画像とテンプレート被写体画像との類似度を算出する。ここで、両特徴量に基づく類似度の演算には、例えば特開２００５−２９３３３４号公報に記載されている方法を使用するものとし、詳細な説明は省略する。

そして、テンプレートマッチング部１０４ｂは、入力被写体画像全体に対してテンプレートマッチング処理を実行した結果、入力被写体画像内でテンプレート被写体画像との類似度が最も高い所定領域を特定する。すなわち、ターゲット領域の位置を入力被写体画像内で所定量ずつ移動させながらマッチング処理を行った結果、最も高い類似度が算出されたときのターゲット領域の位置を特定する。

被写体追跡部１０４ｃは、テンプレートマッチング部１０４ｂによって特定されたターゲット領域の位置をフレーム間で追跡することによって、撮像素子１０３から入力される動画像データ内の被写体像の動きをフレーム間で追跡することができる。

図９は、本実施の形態におけるテンプレート被写体画像生成処理を示すフローチャートである。図９に示す処理は、使用者によって入力スイッチ１０１が操作され、テンプレート被写体画像の生成が指示されると起動する被写体抽出プログラムとして被写体抽出部１０４ａによって実行される。

ステップＳ１０において、被写体抽出部１０４ａは、被写体像が撮影されている画像を取得する。例えば、メモリカードスロット１０６内のメモリカードに記録されている画像を読み込んで取得するか、あるいは、撮像素子１０３を介して新たに画像を取得する。その後、ステップＳ２０へ進み、使用者によって、取得した画像内にテンプレート画像として抽出する範囲が指定されたか否かを判断する。範囲が指定されたと判断した場合には、ステップＳ３０へ進む。

ステップＳ３０では、使用者によって指定された範囲内の画像をテンプレート画像として抽出し、ステップＳ４０へ進む。ステップＳ４０では、式（１）〜（３）を用いて、テンプレート画像から成分画像、すなわちＹ画像、Ｃｂ画像、およびＣｒ画像をそれぞれ生成する。その後、ステップＳ５０へ進み、生成したＹ画像、Ｃｂ画像、およびＣｒ画像のそれぞれについて、図５に示した濃度ヒストグラムを作成して、ステップＳ６０へ進む。

ステップＳ６０において、各成分画像の濃度ヒストグラムの濃度中央値５ａを算出して、ステップＳ７０へ進む。ステップＳ７０では、算出した濃度中央値５ａを閾値に設定して、生成したＹ画像、Ｃｂ画像、およびＣｒ画像のそれぞれを２値化して各成分の２値マスク画像を生成する。その後、ステップＳ８０へ進み、Ｙ画像の２値マスク画像、Ｃｂ画像の２値マスク画像、Ｃｒ画像の２値マスク画像のそれぞれについて、重心周りの慣性モーメントを算出する。その後、ステップＳ９０へ進む。

ステップＳ９０では、Ｙ画像の２値マスク画像、Ｃｂ画像の２値マスク画像、Ｃｒ画像の２値マスク画像のうち、算出した重心周りの慣性モーメントが最小となる２値マスク画像を被写体抽出用の２値マスク画像として選択する。その後、ステップＳ１００へ進み、テンプレート画像と被写体抽出用の２値マスク画像との論理積をとることにより、テンプレート被写体画像を生成してステップＳ１１０へ進む。ステップＳ１１０では、生成したテンプレート被写体画像をメモリ１０５へ記録して処理を終了する。

図１０は、本実施の形態における被写体追跡処理を示すフローチャートである。図１０に示す処理は、使用者によって入力スイッチ１０１が操作され、動画像の撮影が開始されると起動する被写体追跡プログラムとして制御装置１０４によって実行される。なお、図９に示したテンプレート被写体画像生成処理と処理内容が同一のステップには同じステップ番号を付与し、相違点を中心に説明する。

ステップＳ２１０において、被写体抽出部１０４ａは、メモリ１０５から図９に示す処理で再生したテンプレート被写体画像を読み込んで、ステップＳ２２０へ進む。ステップＳ２２０では、被写体抽出部１０４ａは、入力画像に基づいて、図９のステップＳ９０で被写体抽出用の２値マスク画像として選択した２値マスク画像と同じ成分の成分画像を式（１）〜（３）のいずれかを使用して生成する。その後、ステップＳ５０へ進む。

ステップＳ２３０では、被写体抽出部１０４ａは、入力画像と被写体抽出用の２値マスク画像との論理積をとることにより、入力画像内から背景を除去して被写体像のみを抽出した入力被写体画像を生成する。その後、ステップＳ２４０へ進み、テンプレートマッチング部１０４ｂは、上述したように、入力被写体画像上に設定したターゲット領域内の画像とテンプレート被写体画像との類似度を算出して、テンプレートマッチング処理を行い、入力被写体画像内でテンプレート被写体画像との類似度が最も高いターゲット領域の位置を特定する。その後、ステップＳ２５０へ進む。

ステップＳ２５０では、被写体追跡部１０４ｃは、テンプレートマッチング部１０４ｂによって特定されたターゲット領域の位置をフレーム間で追跡して、撮像素子１０３から入力される動画像データ内の被写体像の動きをフレーム間で追跡する。その後、ステップＳ２６０へ進み、撮像素子１０３からの動画像データの入力が終了したか、すなわち動画像の撮影が終了したか否かを判断する。動画像の撮影が終了していないと判断した場合には、ステップＳ２２０へ戻って処理を繰り返す。これに対して動画像の撮影が終了したと判断した場合には処理を終了する。

以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）追跡対象とする被写体像を含む画像から処理画像としてのテンプレート画像を抽出し、テンプレート画像をＹ画像、Ｃｂ画像、Ｃｒ画像の各成分画像に変換した後、各成分画像をそれぞれの濃度中央値を閾値として２値化した。そして、Ｙ画像の２値マスク画像、Ｃｂ画像の２値マスク画像、Ｃｒ画像の２値マスク画像のうち、重心周りの慣性モーメントが最小となる２値マスク画像を被写体抽出用の２値マスク画像として選択するようにした。これによって、重心周りの慣性モーメントが最小となる２値マスク画像においては、重心周りに白い領域がまとまって集中しており、被写体像は画像の重心付近に存在していることが多いことを加味して、被写体を抽出するために最適な２値マスク画像を選択することができる。

（２）テンプレート画像と被写体抽出用の２値マスク画像との論理積をとることによってテンプレート画像内から背景を除去して被写体像のみを抽出したテンプレート被写体画像を生成するようにした。これによって、被写体抽出用の２値マスク画像は、被写体像に相当する範囲が白い領域として表され、その他の背景領域が黒い領域として表されていることから、これとテンプレート画像との論理積をとることにより、背景の除去と被写体像の抽出を精度高く行ったテンプレート被写体画像を生成することができる。

（３）入力画像から入力被写体画像を生成するに当たっては、入力画像をテンプレート被写体画像を生成したときに、被写体抽出用の２値マスク画像として選択した２値マスク画像と同じ成分の成分画像に変換してから、その他の処理を行うようにした。これによって、処理対象とする画像を、テンプレート被写体画像を生成するために選択した２値マスク画像と同じ成分の成分画像のみに限定することができ、処理の負荷を低減して処理速度を向上することができる。

（４）入力被写体画像全体に対してテンプレートマッチング処理を実行した結果、入力被写体画像内でテンプレート被写体画像との類似度が最も高い所定領域を特定し、特定したターゲット領域の位置をフレーム間で追跡することによって、被写体像の動きを追跡するようにした。これによって、フレーム間での被写体像の動きを精度高く追跡することができる。

―変形例―
なお、上述した実施の形態のカメラは、以下のように変形することもできる。
（１）上述した実施の形態では、ＲＧＢ表色系で表されているテンプレート画像、および入力画像を、ＹＣｂＣｒ色空間における輝度成分からなる輝度画像と色差成分からなる色差画像とに変換する例について説明した。しかしながら、ＹＩＱ色空間における輝度成分からなる輝度画像と色差成分からなる色差画像とに変換するようにしてもよい。

（２）上述した実施の形態では、被写体抽出部１０４ａによってテンプレート画像と入力画像のそれぞれから被写体画像を生成し、その抽出結果を用いて、テンプレートマッチング部１０４ｂでテンプレートマッチング処理を行い、被写体追跡部１０４ｃでフレーム間での被写体像の動きを追跡する例について説明した。しかしながら、被写体抽出部１０４ａによって画像から抽出した被写体画像を用いて、画像の合成を行うようにしてもよい。例えば、合成元の画像と合成先の画像の２枚の画像があるときに、被写体抽出部１０４ａは、合成元の画像、および合成先の画像のそれぞれに対して被写体抽出処理を実行して、各画像内から被写体画像を生成する。そして、合成先の画像における被写体画像の抽出位置を特定し、合成元の画像から生成した被写体画像を合成先の画像における被写体画像の抽出位置に合成するようにしてもよい。

（３）上述した実施の形態では、撮像素子１０３から入力される動画像データ、すなわち連続して入力される複数フレームの画像データに対して処理を実行して、フレーム間で被写体追跡を行う例について説明した。しかしながら、連写機能によって静止画像が連続して複数フレーム入力された場合に、フレーム間で被写体像の動きを追跡する場合にも本発明は適用可能である。

（４）上述した実施の形態では、Ｙ画像の２値マスク画像、Ｃｂ画像の２値マスク画像、Ｃｒ画像の２値マスク画像のそれぞれについて、重心周りの慣性モーメントを算出し、算出した重心周りの慣性モーメントが最小となる２値マスク画像を被写体抽出用の２値マスク画像として選択する例について説明した。すなわち、上述した実施の形態では、被写体抽出用の２値マスク画像を選択するための評価値として、各成分の２値マスク画像の重心周りの慣性モーメントを用いる例について説明した。しかしこれに限定されず、各成分の２値マスク画像それぞれについて、白色の領域（白エリア）の面積を算出し、各成分の２値マスク画像について、次式（４）によって算出した評価値が最小となる２値マスク画像を被写体抽出用の２値マスク画像として選択するようにしてもよい。
評価値＝白エリア面積／重心周りの慣性モーメント ・・・（４）

これによって、画像の重心周りに被写体像とは異なる小さい白エリアが存在する２値マスク画像を被写体抽出用の２値マスク画像として誤って選択してしまうことを防ぐことができる。

（５）上述した実施の形態では、被写体抽出処理を行って画像内から抽出した被写体をフレーム間で追跡する例について説明した。すなわち、被写体抽出処理を被写体追跡処理を行うための処理として実行する例について説明した。しかしながら、被写体抽出処理は、他の用途にも適用することができる。例えば、被写体抽出処理を行って画像内から被写体を抽出した後、画像内の抽出した被写体以外の背景をデジタル的にぼかすようにしてもよい。すなわち、被写体抽出処理をデジタルぼかしを行うために実行するようにしてもよい。

（６）上述した実施の形態では、カメラ１００が供える制御装置１０４によって、被写体抽出部１０４ａ、テンプレートマッチング部１０４ｂ、および被写体追跡部１０４ｃの処理を実行する例について説明した。しかしこれに限定されず、１０４ａ〜１０４ｃと等価な処理を実行するためのプログラムをパーソナルコンピュータなどその他の端末に記録して、それらの端末上で処理を実行することも可能である。この場合、カメラで撮影した画像データを端末側に取り込んで処理を行うようにすればよい。また、本発明はカメラ付き携帯電話などに適用することも可能である。さらに、被写体抽出部１０４ａと等価な処理を実行するための被写体抽出プログラムのみを他の端末に記録して、画像内から背景を除去して被写体像のみを抽出する被写体抽出処理のみを行うようにしてもよい。

（７）また、パーソナルコンピュータなどに適用する場合、上述した被写体抽出プログラムや被写体追跡プログラムなどのプログラムは、ＣＤ−ＲＯＭなどの記録媒体やインターネットなどのデータ信号を通じて提供することができる。図１１はその様子を示す図である。パーソナルコンピュータ４００は、ＣＤ−ＲＯＭ４０４を介してプログラムの提供を受ける。また、パーソナルコンピュータ４００は通信回線４０１との接続機能を有する。コンピュータ４０２は上記被写体抽出プログラムや被写体追跡プログラムなどのプログラムを提供するサーバーコンピュータであり、ハードディスク４０３などの記録媒体にこれらのプログラムを格納する。通信回線４０１は、インターネット、パソコン通信などの通信回線、あるいは専用通信回線などである。コンピュータ４０２はハードディスク４０３を使用してプログラムを読み出し、通信回線４０１を介してプログラムをパーソナルコンピュータ４００に送信する。すなわち、プログラムをデータ信号として搬送波にembodyして、通信回線４０１を介して送信する。このように、プログラムは、記録媒体や搬送波などの種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品として供給できる。

上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願２００６年第１２５２０２号（２００６年４月２８日出願）

Claims (31)

1. 画像処理後の画像（処理後画像）を所定の閾値を用いて２値化して被写体抽出用の２値マスク画像を生成し、
   画像処理前の画像（処理前画像）と前記被写体抽出用の２値マスク画像とに基づいて、前記処理前画像から背景領域を除去して前記処理前画像内に含まれる被写体像のみを抽出した被写体画像を生成する被写体抽出方法。
2. 請求項１に記載の被写体抽出方法において、
   前記処理後画像の濃度平均値、または濃度中央値を前記所定の閾値として、前記２値マスク画像を生成する被写体抽出方法。
3. 請求項１または２に記載の被写体抽出方法において、
   前記処理前画像はＲＧＢ色空間により表される画像であり、
   前記処理前画像に基づいて、輝度成分からなる輝度画像と色差成分からなる色差画像とを生成し、
   前記輝度画像と前記色差画像とをそれぞれ前記処理後画像として前記２値マスク画像を生成し、前記輝度画像の２値マスク画像と前記色差画像の２値マスク画像の中から所定の評価値を用いて選択した１つの２値マスク画像を前記被写体抽出用の２値マスク画像とする被写体抽出方法。
4. 請求項３に記載の被写体抽出方法において、
   前記輝度成分と色差成分とからなる色空間は、ＹＣｂＣｒ色空間である被写体抽出方法。
5. 請求項３に記載の被写体抽出方法において、
   前記輝度成分と色差成分とからなる色空間は、ＹＩＱ色空間である被写体抽出方法。
6. 請求項３〜５のいずれか一項に記載の被写体抽出方法において、
   前記所定の評価値は、前記輝度画像の２値マスク画像の重心周りの慣性モーメント、および前記色差画像の２値マスク画像の重心周りの慣性モーメントである被写体抽出方法。
7. 請求項３〜５のいずれか一項に記載の被写体抽出方法において、
   前記所定の評価値は、前記輝度画像内における白色の領域の面積を前記輝度画像の２値マスク画像の重心周りの慣性モーメントで除算することにより算出される値、および前記色差画像内における白色の領域の面積を前記色差画像の２値マスク画像の重心周りの慣性モーメントで除算することにより算出される値である被写体抽出方法。
8. 請求項１〜７のいずれか一項に記載の被写体抽出方法において、
   前記処理前画像と前記被写体抽出用の２値マスク画像との論理積により得られる画像を前記被写体画像とする被写体抽出方法。
9. 請求項１〜８のいずれか一項に記載の被写体抽出方法を使用して入力画像の各フレームから背景領域を除去し、前記入力画像内に含まれる被写体像のみを抽出した入力被写体画像を生成し、
   テンプレート画像と、前記入力被写体画像との類似度に基づいて、前記入力画像におけるフレーム間での被写体像の動きを追跡する被写体追跡方法。
10. 請求項１〜８のいずれか一項に記載の被写体抽出方法を使用してテンプレート画像から背景領域を除去し、前記テンプレート画像内に含まれる被写体像のみを抽出したテンプレート被写体画像を生成し、
    請求項１〜８のいずれか一項に記載の被写体抽出方法を使用して入力画像の各フレームから背景領域を除去し、前記入力画像内に含まれる被写体像のみを抽出した入力被写体画像を生成し、
    前記テンプレート被写体画像と、前記入力被写体画像との類似度に基づいて、前記入力画像におけるフレーム間での被写体像の動きを追跡する被写体追跡方法。
11. 請求項１０に記載の被写体追跡方法において、
    前記テンプレート画像はＲＧＢ色空間により表される画像であり、
    前記テンプレート画像に基づいて、輝度成分からなる輝度画像と色差成分からなる色差画像とを生成し、
    前記輝度画像と前記色差画像とを、それぞれの画像の濃度平均値、または濃度中央値を閾値として２値化して２値マスク画像を生成し、
    前記輝度画像の２値マスク画像と前記色差画像の２値マスク画像の中から所定の評価値を用いて選択した１つの２値マスク画像をテンプレート用の２値マスク画像として選択し、
    前記テンプレート画像と前記テンプレート用の２値マスク画像との論理積により得られる画像を前記テンプレート被写体画像とする被写体追跡方法。
12. 請求項１１に記載の被写体追跡方法において、
    前記入力画像はＲＧＢ色空間により表される画像であり、
    前記入力画像に基づいて、前記テンプレート用の２値マスク画像として選択した２値マスク画像と同じ成分からなる成分画像を生成し、
    前記成分画像を前記成分画像の濃度平均値、または濃度中央値を閾値として２値化して入力画像用の２値マスク画像を生成し、
    前記入力画像と前記入力画像用の２値マスク画像との論理積により得られる画像を前記入力被写体画像とする被写体追跡方法。
13. 請求項１２に記載の被写体追跡方法において、
    前記テンプレート用の２値マスク画像の重心を中心とした前記テンプレート被写体画像の慣性モーメントを前記テンプレート被写体画像の特徴量とし、前記入力画像用の２値マスク画像内に設定した所定領域内の重心を中心とした前記入力被写体画像の慣性モーメントを前記入力被写体画像の特徴量とし、
    前記テンプレート被写体画像の特徴量、および前記入力被写体画像の特徴量に基づいて、前記テンプレート被写体画像と前記入力被写体画像との類似度を演算する被写体追跡方法。
14. 請求項１〜８のいずれか一項に記載の被写体抽出方法を使用して第１の画像から抽出した被写体像の前記第１の画像における抽出位置を特定し、
    請求項１〜８のいずれか一項に記載の被写体抽出方法を使用して第２の画像から被写体像のみを抽出した被写体画像を生成し、
    前記第１の画像における前記被写体像の抽出位置に、前記第２の画像から生成した前記被写体画像を合成する画像合成方法。
15. コンピュータで実行される被写体抽出コンピュータプログラムであって、
    前記被写体抽出コンピュータプログラムにより前記コンピュータは、
    画像処理後の画像（処理後画像）を所定の閾値を用いて２値化して被写体抽出用の２値マスク画像を生成する２値マスク画像生成手順と、
    画像処理前の画像（処理前画像）と前記被写体抽出用の２値マスク画像とに基づいて、前記処理前画像から背景領域を除去して前記処理前画像内に含まれる被写体像のみを抽出した被写体画像を生成する被写体画像生成手順とを実行する。
16. 請求項１５に記載の被写体抽出コンピュータプログラムにおいて、
    前記２値マスク画像生成手順は、前記処理後画像の濃度平均値、または濃度中央値を前記所定の閾値として、前記２値マスク画像を生成する。
17. 請求項１５または１６に記載の被写体抽出コンピュータプログラムにおいて、
    前記処理前画像はＲＧＢ色空間により表される画像であり、
    前記２値マスク画像生成手順は、
    前記処理前画像に基づいて、輝度成分からなる輝度画像と色差成分からなる色差画像とを生成し、
    前記輝度画像と前記色差画像とをそれぞれ前記処理後画像として前記２値マスク画像を生成し、前記輝度画像の２値マスク画像と前記色差画像の２値マスク画像の中から所定の評価値を用いて選択した１つの２値マスク画像を前記被写体抽出用の２値マスク画像とする。
18. 請求項１７に記載の被写体抽出コンピュータプログラムにおいて、
    前記輝度成分と色差成分とからなる色空間は、ＹＣｂＣｒ色空間である。
19. 請求項１７に記載の被写体抽出コンピュータプログラムにおいて、
    前記輝度成分と色差成分とからなる色空間は、ＹＩＱ色空間である。
20. 請求項１７〜１９のいずれか一項に記載の被写体抽出コンピュータプログラムにおいて、
    前記所定の評価値は、前記輝度画像の２値マスク画像の重心周りの慣性モーメント、および前記色差画像の２値マスク画像の重心周りの慣性モーメントである。
21. 請求項１７〜１９のいずれか一項に記載の被写体抽出コンピュータプログラムにおいて、
    前記所定の評価値は、前記輝度画像内における白色の領域の面積を前記輝度画像の２値マスク画像の重心周りの慣性モーメントで除算することにより算出される値、および前記色差画像内における白色の領域の面積を前記色差画像の２値マスク画像の重心周りの慣性モーメントで除算することにより算出される値である。
22. 請求項１５〜２１のいずれか一項に記載の被写体抽出コンピュータプログラムにおいて、
    前記被写体画像生成手順は、前記処理前画像と前記被写体抽出用の２値マスク画像との論理積により得られる画像を前記被写体画像とする。
23. コンピュータで実行される被写体追跡コンピュータプログラムであって、
    前記被写体追跡コンピュータプログラムにより前記コンピュータは、
    請求項１５〜２２のいずれか一項に記載の被写体抽出コンピュータプログラムを実行して、入力画像の各フレームから背景領域を除去して前記入力画像内に含まれる被写体像のみを抽出した入力被写体画像を生成する入力被写体画像生成手順と、
    テンプレート画像と、前記入力被写体画像との類似度に基づいて、前記入力画像におけるフレーム間での被写体像の動きを追跡する被写体追跡手順とを実行する。
24. コンピュータで実行される被写体追跡コンピュータプログラムであって、
    前記被写体追跡コンピュータプログラムにより前記コンピュータは、
    請求項１５〜２２のいずれか一項に記載の被写体抽出コンピュータプログラムを実行して、テンプレート画像から背景領域を除去して前記テンプレート画像内に含まれる被写体像のみを抽出したテンプレート被写体画像を生成するテンプレート被写体画像生成手順と、
    請求項１５〜２２のいずれか一項に記載の被写体抽出コンピュータプログラムを実行して、入力画像の各フレームから背景領域を除去して前記入力画像内に含まれる被写体像のみを抽出した入力被写体画像を生成する入力被写体画像生成手順と、
    前記テンプレート被写体画像と、前記入力被写体画像との類似度に基づいて、前記入力画像におけるフレーム間での被写体像の動きを追跡する被写体追跡手順とを実行する。
25. 請求項２４に記載の被写体追跡コンピュータプログラムにおいて、
    前記テンプレート画像はＲＧＢ色空間により表される画像であり、
    前記テンプレート被写体画像生成手順は、
    前記テンプレート画像に基づいて、輝度成分からなる輝度画像と色差成分からなる色差画像とを生成し、
    前記輝度画像と前記色差画像とを、それぞれの画像の濃度平均値、または濃度中央値を閾値として２値化して２値マスク画像を生成し、
    前記輝度画像の２値マスク画像と前記色差画像の２値マスク画像の中から所定の評価値を用いて選択した１つの２値マスク画像をテンプレート用の２値マスク画像として選択し、
    前記テンプレート画像と前記テンプレート用の２値マスク画像との論理積により得られる画像を前記テンプレート被写体画像とする。
26. 請求項２５に記載の被写体追跡コンピュータプログラムにおいて、
    前記入力画像はＲＧＢ色空間により表される画像であり、
    前記入力被写体画像生成手順は、
    前記入力画像に基づいて、前記テンプレート用の２値マスク画像として選択した２値マスク画像と同じ成分からなる成分画像を生成し、
    前記成分画像を前記成分画像の濃度平均値、または濃度中央値を閾値として２値化して入力画像用の２値マスク画像を生成し、
    前記入力画像と前記入力画像用の２値マスク画像との論理積により得られる画像を前記入力被写体画像とする。
27. 請求項２６に記載の被写体追跡コンピュータプログラムにおいて、
    前記被写体追跡手順は、
    前記テンプレート用の２値マスク画像の重心を中心とした前記テンプレート被写体画像の慣性モーメントを前記テンプレート被写体画像の特徴量とし、前記入力画像用の２値マスク画像内に設定した所定領域内の重心を中心とした前記入力被写体画像の慣性モーメントを前記入力被写体画像の特徴量とし、
    前記テンプレート被写体画像の特徴量、および前記入力被写体画像の特徴量に基づいて、前記テンプレート被写体画像と前記入力被写体画像との類似度を演算する。
28. コンピュータで実行される画像合成コンピュータプログラムであって、
    前記画像合成コンピュータプログラムにより前記コンピュータは、
    請求項１５〜２２のいずれか一項に記載の被写体抽出コンピュータプログラムを実行して、第１の画像から抽出した被写体像の前記第１の画像における抽出位置を特定する特定手順と、
    請求項１５〜２２のいずれか一項に記載の被写体抽出コンピュータプログラムを実行して、第２の画像から被写体像のみを抽出した被写体画像を生成する被写体画像生成手順と、
    前記第１の画像における前記被写体像の抽出位置に、前記第２の画像から生成した前記被写体画像を合成する合成手順とを実行する。
29. 被写体抽出装置は、
    請求項１５〜２２のいずれか一項に記載の被写体抽出コンピュータプログラムを実行するプログラム実行部を備える。
30. 被写体追跡装置は、
    請求項２３〜２７のいずれか一項に記載の被写体追跡コンピュータプログラムを実行するプログラム実行部を備える。
31. 画像合成装置は、
    請求項２８に記載の画像合成コンピュータプログラムを実行するプログラム実行部を備える。

Images