JP3983624B2 - 画像合成装置、画像合成方法、画像合成プログラム、および画像合成プログラムを記録した記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、別々に撮影された複数の被写体を、同時に存在するかのように一枚の画像に合成し、またその際、被写体同士が重なりなく撮影／合成ができるように補助を行う装置および方法およびプログラムおよびプログラム媒体に関する。
【０００２】
【従来の技術】
フィルムカメラやデジタルカメラで、例えば二人で並んで写真を撮る際、三脚を使ってセルフタイマーで撮影するか、通りがかりの人などに頼んで撮影してもらうしかない。
【０００３】
しかし、三脚を持ち歩くのは大変であり、また、見ず知らずの他人に頼むのも気が引けるという問題がある。
【０００４】
それに対して、特開２０００−３１６１２５号公報（２０００年１１月１４日公開）では、同一場所で撮影した複数枚の画像から被写体の領域を抽出し、被写体の画像を背景と合成したりしなかったりすることで、背景のみの画像や別の画像の被写体が同時に存在するかのような画像を合成することができる画像合成装置が開示されている。
【０００５】
また、特開２００１−３３３３２７号公報（２００１年１１月３０日公開）では、撮影済みの参照画像中の指定された領域（被写体領域）を撮影中の画像に重ねてモニタ画面またはファインダ内に表示させることができると共に、被写体領域内の被写体を、撮影中の画像に合成した合成画像の画像データを作成することができるデジタルカメラおよび画像処理方法が開示されている。
【０００６】
【発明が解決しようとする課題】
しかし、これら従来技術では、大きく２つの問題が出てくる。
【０００７】
１つ目の問題は、参照画像中の被写体領域を単に切り出して別の画像と重ね合わせるだけでは、被写体領域の指定が不正確な場合に（１）合成結果の被写体が欠けたり、（２）余計なものが合成されたり、（３）指定が正確であっても合成境界が微妙に不自然になったりするという点である。
【０００８】
例えば、（１）の、実際の被写体領域より参照画像中で指定した被写体領域（以下、指定被写体領域と呼ぶ）が欠けている場合は、合成画像上でもその被写体は欠けているので、明らかに不自然となる。
【０００９】
また、（２）の、実際の被写体領域より参照画像中の指定被写体領域が大きすぎる場合は、参照画像上での被写体周囲の背景も含んでしまっていることになる。上でいう「余計なもの」とは、この含んでしまっている背景部分のことである。特開２００１−３３３３２７号公報で説明される合成方法では、参照画像と撮影画像を違う場所で撮影することもありえるので、指定被写体領域に含まれてしまっている背景画像（参照画像上の背景）と、合成画像上でのその周囲の背景（撮影画像上の背景）とは異なることがある。この場合、合成画像上では、指定被写体領域で背景が突然変わるため、不自然な合成画像となる。
【００１０】
仮に、同じ場所、同じ背景でどちらも撮影されたとしても、特開２００１−３３３３２７号公報で説明される合成方法では、参照画像中の指定被写体領域を撮影画像上の任意の位置に配置・合成できるので、指定被写体領域に含まれてしまっている背景画像（参照画像上の背景）と、撮影画像上での合成位置周囲の背景（撮影画像の背景）とが、同じ位置の背景とは限らず、同様に合成結果は不自然となる。
【００１１】
特開２００１−３３３３２７号公報のように、参照画像中の指定被写体領域に対し、ユーザーがタブレットなどを使ってその輪郭を指定する場合、人間が輪郭を判断しながら指定するので指定被写体領域の指定が大きく間違うことは少ないが、１、２画素ないし数画素程度の誤りが出てくる可能性はある。もし、１画素の単位で人手で正確に指定しようとすると、大変な労力が必要となる。
【００１２】
また、（３）の、指定が正確であっても合成境界が微妙に不自然になる場合には、（１）、（２）のような指定被写体領域が画素単位で正確であったとしても、指定被写体領域の合成結果として、その輪郭の画素が撮影画像の背景と馴染まない場合をも含んでいる。
【００１３】
これは、指定被写体領域の輪郭は、画素単位の指定では精度が充分でなく、実際は１画素よりももっと細かい単位でないと表現できないためである。すなわち、輪郭の画素は、本来は被写体部分が（０.Ｘ）画素分、背景部分が（１．０−０．Ｘ）画素分となっており、画素値としては、被写体部分の画素値と背景部分の画素値とが割合に応じて足された値、すなわち平均化された値となっている。
【００１４】
このため、被写体部分と背景部分との割合は、平均化された画素値からは逆算できないので、結局、合成する時は画素単位で扱うしかない。その結果、合成画像の輪郭の画素値には、参照画像の背景の値が含まれてしまい、周囲の撮影画像の背景と馴染まなくなってしまう。
【００１５】
以上の（１）〜（３）の問題は、特開２０００−３１６１２５号公報に開示された合成方法によっても解決できない。同公報には、同一場所または互いに近くの場所で撮影した複数枚の画像を重ねる前に位置合わせを行うことが開示されている。
【００１６】
しかしながら、例えば同じ背景を使って２人が交互にお互いを撮影する場合、カメラの向きの違いによって撮影される背景の位置が移動するだけではなく、カメラの傾きによる画像の回転や、撮影者と被写体との距離のずれによる画像の拡大縮小や、撮影者の背丈の違いによってカメラの仰角が変わることによる画像の歪みが発生する。
【００１７】
このため、重ね合わせようとする画像の位置合わせを単に行うだけでは、上記（１）〜（３）の問題が解消されず、合成結果は不自然になってしまう。
【００１８】
２つ目の問題は、参照画像中の被写体領域と、別の被写体の含まれる撮影画像とを合成することを目的に撮影を行おうとすると、撮影時の被写体の位置に気をつけないと、それぞれの画像中の被写体の領域が合成画像上で互いに重なってしまったり、どちらかの被写体が合成画像からはみ出てしまう場合が出てくるという点である。
【００１９】
この問題に対して、特開２０００−３１６１２５号公報には、撮影済みの画像を使った合成方法が主に説明されているだけであり、被写体同士の重なりや合成画像からのはみだしを防ぐ撮影方法などには触れられていない。
【００２０】
また、特開２００１−３３３３２７号公報の画像処理方法によれば、参照画像中の被写体領域（ユーザーがタブレットなどを使って輪郭を指定する）と撮影中の画像とを重ねて表示することができるので、合成する場合の参照画像中の被写体領域と撮影中の画像中の被写体領域とに関して、被写体同士が重なるかどうかや、被写体領域が合成画像からはみだすかどうかを、撮影時に知ることができる。被写体の重なりやはみだしがある場合は、被写体やカメラを動かすことで撮影中の画像中の被写体の位置を変更することができ、重なりやはみだしが起こらない画像を撮影・記録することができるようになる。
【００２１】
しかし、被写体領域の認識処理や、被写体領域同士が重なっているかどうか、合成画像から被写体領域がはみだしているかどうかの判断処理など、高度な処理を人間自身がしなければならないという不便さがある。また、参照画像中の被写体の領域は手で指定しなければいけないという不便さもある。
【００２２】
本発明の第１の目的は、合成結果が不自然とならないような合成を行う画像合成装置（画像合成方法）を提供することであり、第２の目的は、別々に撮影された複数の被写体を、同時に存在するかのように一枚の画像に合成する際、合成画像上で被写体同士の重なりが起きないように撮影を補助する画像合成装置（画像合成方法）を提供することである。
【００２３】
【課題を解決するための手段】
本発明に係る画像合成装置は、上記の課題を解決するために、背景と第１の被写体とを含む画像である第１被写体画像と、上記背景の少なくとも一部と第２の被写体とを含む画像である第２被写体画像との間での、背景部分の相対的な移動量、回転量、拡大縮小率、歪補正量のいずれかもしくは組み合わせからなる補正量を算出する、あるいは予め算出しておいた補正量を読み出す背景補正量算出手段と、第１被写体画像、第２被写体画像のどちらかを基準画像とし、他方の画像を、被写体以外の背景の部分が少なくとも一部重なるように前記背景補正量算出手段から得られる補正量で補正し、基準画像と補正した画像を重ねた画像を生成する重ね画像生成手段と、を有する。
【００２４】
上記の構成において、「第１の被写体」、「第２の被写体」とは、合成を行おうとしている対象であり、一般には人物であることが多いが物などの場合もある。厳密には、「被写体」は、第１被写体画像と第２被写体画像との間で、背景部分が少なくとも一部重なるようにした時に、画素値が一致しない領域、すなわち変化がある領域は全て「被写体の領域」となる可能性を持つ。
【００２５】
但し、背景部分で、風で木の葉が揺れたなどの小さな変化でも変化がある領域となってしまうので、小さな変化や小さな領域はある程度無視する方が、「被写体の領域」を的確に抽出でき、より自然な重ね画像を得ることができる。
【００２６】
なお、例えば被写体が人物の場合、被写体は必ずしも一人であるとは限らず、複数の人物をまとめて「第１の被写体」や「第２の被写体」とする場合もある。つまり、複数人であっても、合成の処理の単位としてまとめて扱うものは一つの「被写体」となる。なお、人物でなく、物であっても同様である。
【００２７】
また、被写体は、必ずしも一つの領域であるとは限らず、複数の領域からなる場合もある。「第１」、「第２」は、異なるコマ画像として単に区別する為につけたものであり、撮影の順番などを表すものではなく、本質的な違いはない。また、例えば、人物が服や物などを持っていて、「第１、第２の被写体を含まない背景だけの画像」にそれらが現れないのならば、それらも被写体に含まれる。
【００２８】
「第１被写体画像」、「第２被写体画像」は、上記の「第１の被写体」、「第２の被写体」を含む別々の画像であり、一般には、カメラなどでその被写体を撮影した画像である。但し、画像上に被写体のみしか写っておらず、互いに共通する背景部分が全く写っていない場合は、合成に適さないので、少なくとも一部は互いに共通する背景部分が写っている必要がある。また、通常は、第１被写体画像、第２被写体画像は、同じ背景を使って、すなわちカメラをあまり動かさないで撮影する場合が多い。
【００２９】
なお、被写体を撮影するカメラは、画像を静止画として記録するスチルカメラである必要はなく、画像を動画として記録するビデオカメラであってもよい。ビデオカメラで静止画としての重ね画像を生成する場合、撮影した動画を構成する１フレームの画像を被写体画像として取り出し、合成に用いることになる。
【００３０】
「背景の部分」とは、第１被写体画像、第２被写体画像から「第１の被写体」、「第２の被写体」を除いた部分である。
【００３１】
「移動量」は、基準画像と背景の少なくとも一部が重なる位置へ、他の画像を平行移動させる量だが、回転や拡大縮小の中心の対応点の移動量と言ってもよい。
【００３２】
「歪補正量」とは、カメラやレンズの位置や方向が変わったことによる撮影画像の変化のうち、平行移動、回転、拡大縮小では補正できない残りの変化を補正する為の補正量である。例えば、高い建物を撮影した時に、上の方が遠近法の効果により同じ大きさであっても小さく写ってしまう「あおり」などとよばれる効果などを補正する場合などがこれに含まれる。
【００３３】
「重ね画像生成手段」は、重ね画像を生成するが、必ずしも一つの画像データとして生成しなくてもよく、他の手段の画像データと合わせて合成したかのように見えるのでも構わない。例えば、表示手段上にある画像を表示する際、その画像に上書きする形で別の画像を一部表示すれば、見た目には２つの画像データから１つの合成画像データを生成し、その合成画像データを表示しているかのように見えるが、実際は、２つの画像データに基づく画像がそれぞれ存在するだけで、合成画像データは存在していない。
【００３４】
背景補正量算出手段による補正量の算出には、例えば、ブロックマッチングなど、２つの画像間での部分的な位置の対応を算出する手法を採用することができる。これらの手法などを利用して、第１被写体画像、第２被写体画像の２つの画像間の対応を求めれば、背景部分に一致するところがあれば、その部分の位置的な対応を算出することができる。被写体部分は他の画像中には存在しないので、その部分は間違った対応が得られる。背景部分の正しい対応と被写体部分の間違った対応の中から、統計的な手法を使うなどして背景部分の正しい対応だけを得る。残った正しい対応から、背景部分の相対的な移動量、回転量、拡大縮小率、歪補正量のいずれかもしくは組み合わせからなる補正量が算出できる。
【００３５】
重ね画像生成手段は、背景補正量算出手段により算出された補正量に基づき、基準画像に合わせて他方の画像を背景部分が一致するように補正した画像を作る。そして、重ね画像生成手段は、基準画像に補正した画像を重ねた画像を生成する。
【００３６】
画像の重ね方としては、２つの画像の位置的に対応する画素の画像データを、０〜１の範囲で比例配分した任意の比率で混合すればよい。例えば、第１被写体画像の比率を１、第２被写体画像の比率を０とすれば、その画素には、第１被写体画像の画像データのみが書き込まれる。また、２つの画像の混合比率を１：１とすれば、その画素には、２つの画像の画像データを均等に合成した画像データが書き込まれる。
【００３７】
なお、混合比率をどう設定するかは、本発明にとって本質的ではなく、どのような重ね画像を表示ないし出力したいかというユーザーの目的次第である。
【００３８】
以上の処理によって、第１の被写体と第２の被写体とを背景部分を一致させた状態で一枚の画像上に合成することができる。
【００３９】
二つの画像間の背景のずれや歪みを補正して合成することができるので、これによって、被写体など明らかに異なる領域を除いた以外の部分（すなわち背景部分）は、どのように重ねても合成結果がほぼ一致し、合成結果が不自然とならないという効果が出てくる。例えば被写体領域だけを主に合成しようとした時、被写体領域の抽出や指定が多少不正確であっても、被写体領域の周りの背景部分が合成先の画像の部分とずれや歪みがないので、不正確な領域の内外が連続した風景として合成され、見た目の不自然さを軽減するという効果が出てくる。
【００４０】
被写体領域の抽出が画素単位で正確であったとしても、課題の項で説明した通り、１画素より細かいレベルでの不自然さは従来技術の方法では出てしまうが、本発明では、背景部分のずれや歪みを無くしてから合成しているので、輪郭の画素の周囲の画素は、同じ背景部分の位置の画素なので、合成してもほぼ自然なつながりとなる。このように、１画素より細かいレベルでの不自然さを防ぐ、あるいは軽減するという効果が出てくる。
【００４１】
また、背景のずれや歪みを補正して合成するので、第１、第２被写体画像の撮影時にカメラなどを三脚などで固定する必要がなく、手などで大体の方向を合わせておけばよく、撮影が簡単になるという効果が出てくる。
【００４２】
なお、背景補正量算出手段の動作である、「背景部分の相対的な移動量、回転量、拡大縮小率、歪補正量のいずれかもしくは組み合わせからなる補正量を算出する」を「背景部分の相対的な移動量に、相対的な回転量、拡大縮小率または歪補正量のいずれかもしくは複数を組み合わせた補正量を算出する」としてもよい。これにより、補正の精度が一層向上し、より自然な合成結果を得ることができる。
【００４３】
さらに、背景補正量算出手段の上記２種類の動作をユーザーが入力手段を介して選択的に切り換えられるようにすれば、補正の精度を重視したい場合と、処理速度または処理負担軽減を重視したい場合とを使い分けることができ、画像合成装置の操作性が向上する。
【００４４】
本発明に係る画像合成装置は、上記の課題を解決するために、被写体や風景を撮像する撮像手段を有し、第１被写体画像または第２被写体画像は、前記撮像手段の出力に基づいて生成されてもよい。
【００４５】
上記の構成によれば、重ね画像を生成する画像合成装置が、撮像手段を具備することで、ユーザーが被写体や風景を撮影したその場で、重ね画像を生成することができるため、ユーザーにとっての利便性が向上する。また、重ね画像を生成した結果、もし被写体同士の重なりがあるなどの不都合があれば、その場で撮影し直すことができるという効果が出てくる。
【００４６】
なお、撮像手段から得られる画像は、通常、画像合成装置に内蔵されているか否かを問わない主記憶や外部記憶などに記録し、シャッターボタンなどを利用して記録するタイミングをユーザーが指示する。そして、記録された画像を第１被写体画像、または第２被写体画像として、合成処理に利用することになる。
【００４７】
本発明に係る画像合成装置は、上記の課題を解決するために、第１被写体画像と第２被写体画像のうち、後に撮影した方を基準画像としてもよい。
【００４８】
上記の構成によれば、例えば、第１被写体画像、第２被写体画像の順に撮影したとすると、第２被写体画像を基準画像にする。そして、第２被写体画像を基準画像として、第１被写体画像を補正する。この際、第２被写体画像（基準画像）と第１被写体画像の間で、背景部分の移動量などの補正量を算出し、その補正量を使って第１被写体画像の補正を行う。第２被写体画像（基準画像）、補正された第１被写体画像を使って、合成画像を合成する。そして合成画像の表示などを行う。
【００４９】
この結果、表示される合成画像は、直前に撮影したばかりの、あるいは合成画像をリアルタイム表示する形態では現在撮影中の第２被写体画像の背景の範囲となるので、撮影者にとっては違和感が無いという効果が出てくる。
【００５０】
もし第１被写体画像を基準画像とすると、合成画像の背景の範囲は、第１被写体画像の背景の範囲となる。第１被写体画像の背景の範囲は、カメラの方向などが変わっていて、先ほど撮影した第２被写体画像の背景の範囲と変わっているかもしれず、撮影者が変わることもある。その場合、後で撮影した背景の範囲と、表示される合成画像の背景の範囲とが一致しないので、撮影者などにとって違和感が出てくる。
【００５１】
さらに、上記の第２被写体画像の撮影から合成画像の表示をリアルタイムに繰り返すとすると、第２被写体画像を撮影画像に更新し続けているにも関わらず、合成画像の背景の範囲は第１被写体の背景の範囲のままなので、この違和感は一層増幅される。
【００５２】
本発明に係る画像合成装置は、上記の課題を解決するために、前記重ね画像生成手段において、基準画像と補正した画像とを、それぞれ所定の透過率で重ねてもよい。
【００５３】
上記の構成において、「所定の透過率」は、固定された値でもよいし、領域に応じて変化させる値や、領域の境界付近で徐々に変化させる値などでもよい
前記重ね画像生成手段は、重ね画像の画素位置を決め、基準画像上の画素位置の画素値と補正した他の画像上の画素位置の画素値とを得て、その二つの画素値を所定の透過率によって掛け合わせた値を重ね画像の画素値とする。この処理を重ね画像の全ての画素位置で行う。
【００５４】
また、透過率を画素位置によって変えれば、場所によって基準画像の割合を強くしたり、補正画像の割合を強くしたりできる。
【００５５】
これを使って、例えば、補正画像中の被写体領域だけを基準画像に重ねる時、被写体領域内は不透明（すなわち補正画像中の被写体の画像そのまま）で重ね、被写体領域周辺は被写体領域から離れるに従い基準画像の割合が強くなるように重ねる。すると、被写体領域、すなわち抽出した被写体の輪郭が間違っていたとしても、その周辺の画素は、補正画像から基準画像に徐々に変わっているので、間違いが目立たなくなるという効果が出てくる。
【００５６】
また、例えば被写体領域だけを半分の透過度で重ねる、などの合成表示をすることで、表示されている画像のどの部分が以前に撮影した合成対象部分で、どの部分が今撮影している画像なのかをユーザーや被写体が判別しやすくなるという効果も出てくる。
【００５７】
また、人間は、常識（画像理解）を使うことで、画像中の背景部分と被写体部分（輪郭）を区別する能力を通常、持っている。被写体領域を半分の透過度で重ねて表示しても、その能力は一般に有効である。
【００５８】
従って、被写体領域を半分の透過度で重ねて表示することで、複数の被写体の領域が重なっている場合でも、それぞれの被写体の領域を前記能力で区別することができ、それらが合成画像上で位置的に重なっているかどうかを容易に判断することができる。
【００５９】
第１被写体画像と第２被写体画像を左右に並べて見比べることでも重なりがあるかどうかを判断することは不可能ではないが、その際は、それぞれの画像中の被写体領域を前記能力で区別し、それぞれの画像の背景部分の重なりを考慮して、区別した被写体領域同士が重なるかどうかを頭の中で計算して判断しなければいけない。この一連の作業を頭の中だけで正確に行うことは、合成画像中の被写体領域を区別する先の方法と比べると、難しい。
【００６０】
つまり、背景部分が重なるような位置合わせを機械に行わせることで、人間の高度な画像理解能力を使って、被写体領域同士が重なっているかどうかを判断し易い状況を作り出しているといえる。このように、被写体領域を半分の透過度で重ねて表示することで、被写体同士の重なりなどがある場合も、今撮影している被写体の位置を判別しやすくなるという効果も出てくる。
【００６１】
なお、本請求項に記載した構成を、前記請求項に記載した各構成と、必要に応じて任意に組み合わせてもよい。
【００６２】
本発明に係る画像合成装置は、上記の課題を解決するために、前記重ね画像生成手段において、基準画像と補正した画像の間の差分画像中の差のある領域を、元の画素値と異なる画素値の画像として生成してもよい。
【００６３】
ここで、「差分画像」とは、二つの画像中の同じ位置の画素値を比較して、その差の値を画素値として作成する画像のことである。一般には、差の値は絶対値をとることが多い。
【００６４】
「元の画素値と異なる画素値」とは、例えば、透過率を変えて半透明にしたり、画素値の明暗や色相などを逆にして反転表示させたり、赤や白、黒などの目立つ色にしたり、などを実現するような画素値である。また、領域の境界部分と内部とで、前述したように画素値を変えてみたり、境界部分を点線で囲ってみたり、点滅表示（時間的に画素値を変化させる）させてみたり、というような場合も含む。
【００６５】
上記の構成によれば、基準画像と補正した他の画像との間で、同じ画素位置の画素値を得て、その差がある場合はその画素位置の重ね画像の画素値を他の領域とは異なる画素値とする。この処理を全ての画素位置で行うことで、差分部分の領域を元の画素値と異なる画素値の画像として生成することができる。
【００６６】
これによって、二つの画像間で一致しない部分がユーザーに分かりやすくなるという効果が出てくる。例えば、第１や第２の被写体の領域は、基準画像上と補正画像上では、片方は被写体の画像、他方は背景部分の画像となるので、差分画像中の差のある領域として抽出される。抽出された領域を半透明にしたり、反転表示したり、目立つような色の画素値とすることで、被写体の領域がユーザーに分かりやすくなるという効果が出てくる。
【００６７】
なお、本請求項に記載した構成を、前記請求項に記載した各構成と、必要に応じて任意に組み合わせてもよい。
【００６８】
本発明に係る画像合成装置は、上記の課題を解決するために、基準画像と補正した画像の間の差分画像中から、第１の被写体の領域と第２の被写体の領域を抽出する被写体領域抽出手段を有し、前記重ね画像生成手段において、基準画像と補正した画像とを重ねる代わりに、基準画像または補正した画像と前記被写体領域抽出手段から得られる領域内の画像とを重ねる。
【００６９】
ここで、「被写体の領域」とは、被写体が背景と分離される境界で区切られる領域である。例えば、第１被写体画像中で人物が服や物などを持っていて、第２被写体画像中でそれらが現れないのならば、それらも被写体であり、被写体領域に含まれる。なお、被写体の領域は、必ずしも繋がった一塊の領域とは限らず、複数の領域に分かれていることもある。
【００７０】
「前記被写体領域抽出手段から得られる領域内の・・・画像を重ねる」とは、その領域以外は何も画像を生成しないということではなく、それ以外の領域は基準画像などで埋めることを意味する。
【００７１】
背景部分は一致するように補正しているのだから、差分として現れるのは主に被写体部分となる。従って、被写体領域抽出手段で、差分画像に含まれている被写体領域を抽出することができる。このとき、差分画像からノイズなどを除去する（例えば、差分の画素値が閾値以下のものを除く）などの処理を施すと、被写体領域をより正確に抽出することができる。
【００７２】
重ね画像を生成する際、各画素位置の画素値を決めるが、その画素位置が被写体領域抽出手段から得られる被写体領域内の場合のみ、被写体の画像を重ねるようにする。
【００７３】
これによって、基準画像上に、補正された被写体画像中の被写体領域のみを合成することできるという効果が出てくる。あるいは、補正された被写体画像上に、基準画像中の被写体領域のみを合成することができるという効果も出てくる。
【００７４】
なお、重ね画像生成手段における被写体領域の透過率を変える処理と組み合わせることで、どの領域を合成しようとしているかがユーザーに分かり易くなり、合成の結果として被写体同士に重なりなどが生じる場合には、それもさらに分かり易くなるという効果が出てくる。さらに、それによって、重なりが起きないように撮影を補助することができるという効果が出てくる。
【００７５】
なお、重なりがある場合は、被写体やカメラを動かすなどして、重なりの無い状態で撮影し直すのが良い訳だが、この場合の補助とは、例えば、重なりが起きるかどうかをユーザーに認識し易くすることや、どのくらい被写体やカメラを動かせば重なりが解消できそうかを、ユーザーが判断する材料（ここでは合成画像）を与えること、などになる。
【００７６】
なお、本請求項に記載した構成を、前記請求項に記載した各構成と、必要に応じて任意に組み合わせてもよい。
【００７７】
本発明に係る画像合成装置の前記被写体領域抽出手段は、上記の課題を解決するために、第１被写体画像中あるいは補正された第１被写体画像中から第１の被写体の領域内の画像および第２の被写体の領域内の画像を抽出すると共に、第２被写体画像中あるいは補正された第２被写体画像中から第１の被写体の領域内の画像および第２の被写体の領域内の画像を抽出し、さらに皮膚色を基準として第１の被写体の画像および第２の被写体の画像を選別してもよい。
【００７８】
上記の構成において、被写体領域抽出手段は、差分画像から抽出した被写体領域が、第１の被写体の領域あるいは第２の被写体の領域であることは分かるが、個々の被写体の領域が、第１の被写体の領域なのか第２の被写体の領域なのかは分からない。言い方を変えれば、その領域が示している被写体の画像は、第１被写体画像中に存在するのか、あるいは第２被写体画像中に存在するのか分からない、ということになる。
【００７９】
そこで、被写体が人物であることが分かっているならば、個々の領域中の画素の色を、第１被写体画像（基準画像）と補正された第２被写体画像、または第２被写体画像（基準画像）と補正された第１被写体画像とでそれぞれ調べる。この場合、いずれにしても、基準画像と補正された画像とのそれぞれについて、被写体領域抽出手段が第１の被写体の領域内の画像および第２の被写体の領域内の画像を抽出するから、合計４つの画像部分が抽出されることになる。
【００８０】
この抽出した４つの画像部分の中には、第１の被写体の画像部分、第２の被写体の形をした背景部分、第１の被写体の形をした背景部分、第２の被写体の画像部分とが含まれている。そこで、皮膚色を基準にすることで、皮膚色またはそれに近い色を持つ第１の被写体および第２の被写体の各画像部分を選り分けることができる。
【００８１】
これによって、抽出した画像部分がどちらの被写体であるかを自動的に簡単に判別できる効果が出てくる。
【００８２】
本発明に係る画像合成装置は、上記の課題を解決するために、前記被写体領域抽出手段は、第１被写体画像中あるいは補正された第１被写体画像中から第１の被写体の領域内の画像および第２の被写体の領域内の画像を抽出すると共に、第２被写体画像中あるいは補正された第２被写体画像中から第１の被写体の領域内の画像および第２の被写体の領域内の画像を抽出し、さらにその各領域外の画像の特徴を基準として第１の被写体の画像および第２の被写体の画像を選別してもよい。
【００８３】
上記の構成において、被写体領域抽出手段が４つの画像部分を抽出する点は、前述のとおりである。但し、第１の被写体および第２の被写体の各画像部分を選り分ける基準として、前記のように皮膚色を使うのではなく、各領域外の画像の特徴を使う。
【００８４】
ここで、「特徴」とは、着目した領域の画像の持つ性質、属性などであり、特徴量として数値化して表現できる性質が好ましい。特徴量としては、例えば、各色の画素値や、その色相、彩度、明度のほか、画像の模様や構造を表す統計量として、同時生起行列や差分統計量、ランレングス行列、パワースペクトル、それらの第２次統計量、高次統計量などがある。
【００８５】
個々の領域中、すなわち抽出した画像部分の特徴量を、基準画像と補正された画像とでそれぞれ求める。またその領域の周囲の領域の特徴量も、基準画像と補正された画像とでそれぞれ求める。領域中の特徴量とその周囲の領域の特徴量の差を、第１被写体画像と第２被写体画像で比較し、差が大きい方を被写体領域の画像とする。
【００８６】
これによって、抽出した画像部分がどちらの被写体であるかを自動的に簡単に判別できる効果が出てくる。
【００８７】
本発明に係る画像合成装置は、上記の課題を解決するために、前記被写体領域抽出手段から得られる第１の被写体あるいは第２の被写体の領域の数が、合成する被写体の数として設定された値と一致しない時に、第１の被写体の領域と第２の被写体の領域が重なっていると判断する重なり検出手段を有することを特徴とする。
【００８８】
上記の構成において、「第１の被写体あるいは第２の被写体の領域」とは、差分画像などから抽出される被写体の領域で、第１の被写体の領域かあるいは第２の被写体の領域かの区別がついていなくてもよい領域である。
【００８９】
「合成する被写体」とは、合成処理の過程で求められる被写体のことではなく、実際に存在する被写体のことであり、ユーザーが合成しようとしている被写体のことである。但し、上述した通り、合成の処理の単位としてまとめて扱うものは一つの「被写体」なので、１つの被写体が複数の人物であることもありえる。
【００９０】
また、被写体の数は画像合成装置に固定的に設定しておく形態でもよいが、使い勝手としては、重なり検出手段が重なり検出を行う以前に、撮影者等のユーザーの指示に基づいて画像合成装置に設定される形態とすることが好ましい。
【００９１】
差分画像から被写体領域抽出手段によって抽出された被写体領域は、被写体同士が重なっていなければ、互いに分離しており、被写体同士が重なっていれば、第１の被写体の領域と第２の被写体の領域とは、連続した領域として一塊に統合されている。従って、抽出された被写体の領域の数と被写体の数（設定値）とを重なり検出手段が比較し、一致すれば被写体同士の重なりは無く、一致しなければ重なりがあると判断する。
【００９２】
その判断結果は、重なりの有無を合成画面やランプなどで撮影者や被写体に通知、警告するのに利用することができる。
【００９３】
これによって、被写体同士が重なり合っている部分があるかどうかをユーザーに判別させやすくすることができるという効果が出てくる。それによって、重なりが起きないように撮影を補助する効果については、前述したものと同様である。
【００９４】
本発明に係る画像合成装置は、上記の課題を解決するために、前記重なり検出手段において重なりが検出される時、重なりが存在することを、ユーザーあるいは被写体あるいは両方に警告する重なり警告手段を有してもよい。
【００９５】
ここで、「警告」には、表示手段などに文字や画像で警告することも含まれるし、ランプなどによる光やスピーカなどによる音声、バイブレータなどによる振動など、ユーザーや被写体が感知できる方法ならば何でも含まれる。
【００９６】
これによって、被写体同士が重なり合っている場合に、重なり警告手段の動作によって警告されるので、ユーザーがそれに気づかずに撮影／記録したり合成処理したりということを防ぐことができ、さらに被写体にも位置調整等が必要であることを即時に知らせることができるという撮影補助の効果が出てくる。
【００９７】
本発明に係る画像合成装置は、上記の課題を解決するために、前記重なり検出手段において、重なりが検出されない時、重なりが存在しないことを、ユーザーあるいは被写体あるいは両方に通知するシャッターチャンス通知手段を有してもよい。
【００９８】
ここで、「通知」には、「警告」同様、ユーザーや被写体が感知できる方法ならば何でも含まれる。
【００９９】
これによって、被写体同士が重なり合っていない時をユーザーが知ることができるので、撮影や撮影画像記録、合成のタイミングをそれに合わせて行えば、被写体同士が重ならずに合成することができるという撮影補助の効果が出てくる。
【０１００】
また、被写体にも、シャッターチャンスであることを通知できるので、ポーズや視線などの備えを即座に行えるという撮影補助の効果も得られる。
【０１０１】
本発明に係る画像合成装置は、上記の課題を解決するために、被写体や風景を撮像する撮像手段を有し、前記重なり検出手段で重なりが検出されない時に、前記撮像手段から得られる画像を第１被写体画像、または第２被写体画像として記録する指示を生成する自動シャッター手段を有してもよい。
【０１０２】
上記の構成において、撮影画像を第１被写体画像、第２被写体画像として記録するというのは、例えば、主記憶や外部記憶に記録するなどで実現される。したがって、自動シャッター手段は、第１の被写体の領域と第２の被写体の領域とに重なりが無いという信号を重なり検出手段から入力したときに、主記憶や外部記憶に対する記録制御処理の指示を出力する。
【０１０３】
そして、背景補正量算出手段や重ね画像生成手段は、主記憶や外部記憶に記録されている画像を読み込むことで、第１被写体画像、第２被写体画像を得ることができるようになる。
【０１０４】
なお、自動シャッター手段が自動的に指示を出しても、即座に画像が記録されるとは限らない。例えば、同時にシャッターボタンも押されているとか、自動記録モードになっているなどの状態でないと記録されないようにしてもよい。
【０１０５】
これによって、被写体同士が重なり合っていない時に自動的に撮影が行われるので、ユーザー自身が重なりがあるかどうかを判別してシャッターを押さなくても良いという撮影補助の効果が出てくる。
【０１０６】
本発明に係る画像合成装置は、上記の課題を解決するために、被写体や風景を撮像する撮像手段を有し、前記重なり検出手段で重なりが検出される時に、前記撮像手段から得られる画像を、第１被写体画像、あるいは第２被写体画像として記録することを禁止する指示を生成する自動シャッター手段を有してもよい。
【０１０７】
上記の構成によれば、自動シャッター手段は、重なり検出手段から重なりがあるという信号を得たら、撮像手段から得られる画像を主記憶や外部記憶などに記録することを禁止する指示を出力する。この結果、例えば、シャッターボタンが押されたとしても、撮像手段から得られる画像は記録されない。なお、この禁止処理は、自動禁止モードになっているなどの状態でないと行われないようにしてもよい。
【０１０８】
これによって、被写体同士が重なり合ってる時は撮影が行われないので、ユーザーが誤って重なりがある状態で撮影／記録してしまうことを防ぐ撮影補助の効果が出てくる。
【０１０９】
本発明に係る画像合成方法は、上記の課題を解決するために、背景と第１の被写体とを含む画像である第１被写体画像と、上記背景の少なくとも一部と第２の被写体とを含む画像である第２被写体画像との間での、背景部分の相対的な移動量、回転量、拡大縮小率、歪補正量のいずれかもしくは組み合わせからなる補正量を算出する、あるいは予め算出しておいた補正量を読み出す背景補正量算出ステップと、第１被写体画像、第２被写体画像のどちらかを基準画像とし、他方の画像を被写体以外の背景の部分が少なくとも一部重なるように前記背景補正量算出ステップから得られる補正量で補正し、基準画像と補正した画像を重ねた画像を生成する重ね画像生成ステップと、を有する。
【０１１０】
これによる種々の作用効果は、前述したとおりである。
【０１１１】
本発明に係る画像合成プログラムは、上記の課題を解決するために、上記画像合成装置が備える各手段として、コンピュータを機能させてもよい。
【０１１２】
本発明に係る画像合成プログラムは、上記の課題を解決するために、上記画像合成方法が備える各ステップをコンピュータに実行させてもよい。
【０１１３】
本発明に係る記録媒体は、上記の課題を解決するために、上記画像合成プログラムを記録してもよい。
【０１１４】
これにより、上記記録媒体、またはネットワークを介して、一般的なコンピュータに画像合成プログラムをインストールすることによって、該コンピュータを用いて上記の画像合成方法を実現する、言い換えれば、該コンピュータを画像合成装置として機能させることができる。
【０１１５】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
【０１１６】
まず、言葉の定義について説明しておく。
【０１１７】
「第１の被写体」、「第２の被写体」とは、合成を行おうとしている対象であり、一般には人物であることが多いが物などの場合もある。厳密には、「被写体」は、第１被写体画像と第２被写体画像との間で、背景部分が少なくとも一部重なるようにした時に、画素値が一致しない領域、すなわち変化がある領域は全て「被写体の領域」となる可能性を持つ。但し、背景部分で、風で木の葉が揺れたなどの小さな変化でも変化がある領域となってしまうので、小さな変化や小さな領域はある程度無視する方が好ましい。
【０１１８】
なお、例えば被写体が人物の場合、被写体は必ずしも一人であるとは限らず、複数の人物をまとめて「第１の被写体」や「第２の被写体」とする場合もある。つまり、複数人であっても、合成の処理の単位としてまとめて扱うものは一つの「被写体」となる。
【０１１９】
なお、人物でなく、物であっても同様である。また、被写体は、必ずしも一つの領域であるとは限らず、複数の領域からなる場合もある。「第１」、「第２」は、異なるコマ画像として単に区別する為につけたものであり、撮影の順番などを表すものではなく、本質的な違いはない。また、例えば、人物が服や物などを持っていて、「第１の被写体または第２の被写体を含まない背景だけの画像」にそれらが現れないのならば、それらも被写体に含まれる。
【０１２０】
「第１被写体画像」、「第２被写体画像」は、上記の「第１の被写体」、「第２の被写体」を含む別々の画像であり、一般には、カメラなどでその被写体を別々に撮影した画像である。但し、画像上に被写体のみしか写っておらず、互いに共通する背景部分が全く写っていない場合は、その共通する背景部分を元にした位置合わせができないので、合成に適さない。したがって、少なくとも一部は（合成した被写体の周囲を自然にするために、より好ましくは、合成しようとする被写体の周囲において）互いに共通する背景部分が写っている必要がある。また、通常は、第１被写体画像、第２被写体画像は、同じ背景を使って、すなわちカメラをあまり動かさないで撮影する場合が多い。
【０１２１】
「背景部分」とは、第１被写体画像、第２被写体画像から「第１の被写体」、「第２の被写体」をそれぞれ除いた部分である。
【０１２２】
「移動量」は、平行移動させる量だが、回転や拡大縮小の中心の対応点の移動量と言ってもよい。
【０１２３】
「歪補正量」とは、カメラやレンズの位置や方向が変わったことによる撮影画像の変化のうち、平行移動、回転、拡大縮小では補正できない残りの変化を補正する為の補正量である。例えば、高い建物を撮影した時に、上の方が遠近法の効果により同じ大きさであっても小さく写ってしまう「あおり」などとよばれる効果などを補正する場合などがこれに含まれる。
【０１２４】
「重ね画像生成手段」は、重ね画像を生成するが、必ずしも一つの画像として生成しなくてもよく、他の手段との協働で合成したかのように見せる処理を行うのでも構わない。例えば、表示手段上にある画像を表示する際、その画像に上書きする形で別の画像を一部表示すれば、見た目には２つの画像から合成画像を生成し、その合成画像を表示しているかのように見えるが、実際は、２つの画像がそれぞれ存在するだけで、合成画像は存在していない。
【０１２５】
「画素値」とは、画素の値であり、一般に所定のビット数を使って表される。例えば、白黒二値の場合は１ビットで表現され、２５６階調のモノクロの場合、８ビット、赤、緑、青の各色２５６階調のカラーの場合、２４ビットで表現される。カラーの場合、赤、緑、青の光の３原色に分解されて表現されることが多い。
【０１２６】
なお、似た言葉として、「濃度値」、「輝度値」などがある。これは目的によって使い分けているだけであり、「濃度値」は主に画素を印刷する場合、「輝度値」は主にディスプレイ上に表示する場合に使われるが、ここでは目的は限定していないので、「画素値」と表現することにする。
【０１２７】
「透過率」とは、複数の画素の画素値に所定の割合の値を掛けて、その和を新たな画素値とする処理において、掛ける「所定の割合の値」のことである。通常、０以上、１以下の値である。また、１つの新たな画素値で使われる各画素の透過率の和は１とする場合が多い。「透過率」でなく、「不透明度」と言う場合もある。「透明度」は１から「不透明度」を引いた値である。
【０１２８】
「所定の透過率」には、固定された値、領域に応じて変わる値、領域の境界付近で徐々に変わる値なども含まれる。
【０１２９】
「差分画像」とは、二つの画像中の同じ位置の画素値を比較して、その差の値を画素値として作成する画像のことである。一般には、差の値は絶対値をとることが多い。
【０１３０】
「元の画素値と異なる画素値」とは、例えば、透過率を変えて半透明にしたり、画素値の明暗や色相などを逆にして反転表示させたり、赤や白、黒などの目立つ色にしたり、などを実現するような画素値である。また、領域の境界部分と内部とで、上記のように画素値を変えてみたり、境界部分を点線で囲ってみたり、点滅表示（時間的に画素値を変化させる）させてみたり、というような場合も含む。
【０１３１】
「被写体の領域」とは、被写体が背景と分離される境界で区切られる領域である。例えば、第１被写体画像中で人物が服や物などを持っていて、第２被写体画像中でそれらが現れないのならば、それらも被写体であり、被写体の領域に含まれる。なお、被写体の領域は、必ずしも繋がった一塊の領域とは限らず、複数の領域に分かれていることもある。
【０１３２】
「前記被写体領域抽出手段から得られる領域のみを重ねる」とは、その領域以外は何も画像を生成しないということではなく、それ以外の領域は基準画像などで埋めることを意味する。
【０１３３】
「特徴」とは、その領域の画像の持つ性質などであり、特徴量として数値化して表現できる性質が好ましい。特徴量としては、例えば、各色の画素値や、その色相、彩度、明度のほか、画像の模様や構造を表す統計量として、同時生起行列や差分統計量、ランレングス行列、パワースペクトル、それらの第２次統計量、高次統計量などがある。
【０１３４】
「第１の被写体あるいは第２の被写体の領域」とは、差分画像などから抽出される被写体の領域で、第１の被写体の領域かあるいは第２の被写体の領域かの区別がついていなくてもよい領域である。
【０１３５】
「合成しようとしている被写体」とは、合成処理の過程で求められる被写体のことではなく、実際に（カメラの前に）存在する被写体のことであり、第１被写体画像および第２被写体画像のどちらか一方に定めた基準画像に対して、ユーザーが合成しようとしている被写体のことである。但し、上述した通り、合成の処理の単位としてまとめて扱うものは一つの「被写体」なので、１つの被写体が複数の人物／物であることもありえる。
【０１３６】
「警告」には、表示手段などに文字や画像を表示して警告することも含まれるし、ランプなどによる光やスピーカなどによる音声、バイブレータなどによる振動など、ユーザーや被写体が感知できる方法ならば何でも含まれる。
【０１３７】
「通知」は、「警告」同様、ユーザーや被写体が感知できる方法ならば何でも含まれる。
【０１３８】
「フレーム（枠）」とは、画像全体の外形輪郭をさす。被写体が画像の外形輪郭に一部かかっているような場合、フレーム（枠）にかかる、とか、フレーム（枠）から切れる、などと表現することもある。
【０１３９】
図１は、本発明の実施の一形態に係る画像合成方法を実施する画像合成装置を示す構成図である。
【０１４０】
すなわち、画像合成装置の要部を、撮像手段１、第１被写体画像取得手段２、第２被写体画像取得手段３、背景補正量算出手段４、補正画像生成手段５、差分画像生成手段６、被写体領域抽出手段７、重なり検出手段８、重ね画像生成手段９、重ね画像表示手段１０、重なり警告手段１１、シャッターチャンス通知手段１２、自動シャッター手段１３の主要な機能ブロックに展開して示すことができる。
【０１４１】
図２は、図１の各手段１〜１３を具体的に実現する装置の構成例である。
【０１４２】
ＣＰＵ（central processing unit）７０は、背景補正量算出手段４、補正画像生成手段５、差分画像生成手段６、被写体領域抽出手段７、重なり検出手段８、重ね画像生成手段９、重ね画像表示手段１０、重なり警告手段１１、シャッターチャンス通知手段１２、自動シャッター手段１３として機能し、これら各手段４〜１３の処理手順が記述されたプログラムを主記憶７４、外部記憶７５、通信デバイス７７を介したネットワーク先などから得る。
【０１４３】
なお、撮像手段１、第１被写体画像取得手段２、第２被写体画像取得手段３、についても、撮像素子や、撮像素子が出力する画像データの各種処理に対する内部制御などの為にＣＰＵなどを使っている場合もある。
【０１４４】
また、ＣＰＵ７０は、ＣＰＵ７０を含めてバス７９を通じ相互に接続されたディスプレイ７１、撮像素子７２、タブレット７３、主記憶７４、外部記憶７５、シャッターボタン７６、通信デバイス７７、ランプ７８、スピーカ８０とデータのやりとりを行ないながら、処理を行なう。
【０１４５】
なお、データのやりとりは、バス７９を介して行う以外にも、通信ケーブルや無線通信装置などデータを送受信できるものを介して行ってもよい。また、各手段１〜１３の実現手段としては、ＣＰＵに限らず、ＤＳＰ(digital signal processor)や処理手順が回路として組み込まれているロジック回路などを用いることもできる。
【０１４６】
ディスプレイ７１は、通常はグラフィックカードなどと組み合わされて実現され、グラフィックカード上にＶＲＡＭ（video random access memory）を有し、ＶＲＡＭ上のデータを表示信号に変換して、モニターなどのディスプレイ（表示／出力媒体）に送り、ディスプレイは表示信号を画像として表示する。
【０１４７】
撮像素子７２は、風景等を撮影して画像信号を得るデバイスであり、通常、レンズなどの光学系部品と受光素子およびそれに付随する電子回路などからなる。ここでは、撮像素子７２は、出力信号をＡ／Ｄ変換器などを通して、デジタル画像データに変換する所まで含んでいるとし、バス７９を通じて、第１被写体画像取得手段２、第２被写体画像取得手段３などに撮影した画像の画像データを送るとする。撮像素子として一般的なデバイスとしては、例えば、ＣＣＤ（charge coupled device）などがあるが、その他にも風景等を画像データとして得られるデバイスならば何でも良い。
【０１４８】
ユーザの指示を入力する手段として、タブレット７３、シャッターボタン７６などがあり、ユーザの指示はバス７９を介して各手段１〜１３に入力される。この他にも各種操作ボタン、マイクによる音声入力など、様々な入力手段が使用可能である。タブレット７３は、ペンとペン位置を検出する検出機器からなる。シャッターボタン７６は、メカニカルもしくは電子的なスイッチなどからなり、ユーザーがボタンを押すことで、通常は、撮像素子７２で撮影された画像を主記憶７４や外部記憶７５などに記録したりする一連の処理を開始させるスタート信号を生成する。
【０１４９】
主記憶７４は、通常はＤＲＡＭ（dynamic random access memory）やフラッシュメモリなどのメモリデバイスで構成される。なお、ＣＰＵ内部に含まれるメモリやレジスタなども一種の主記憶として解釈してもよい。
【０１５０】
外部記憶７５は、ＨＤＤ（hard disk drive）やＰＣ（personal computer) カードなどの装脱着可能な記憶手段である。あるいはＣＰＵ７０とネットワークを介して有線または無線で接続された他のネットワーク機器に取り付けられた主記憶や外部記憶を外部記憶７５として用いることもできる。
【０１５１】
通信デバイス７７は、ネットワークインターフェースカードなどにより実現され、無線や有線などにより接続された他のネットワーク機器とデータをやりとりする。
【０１５２】
スピーカ８０は、バス７９などを介して送られて来る音声データを音声信号として解釈し、音声として出力する。出力される音声は、単波長の単純な音の場合もあるし、音楽や人間の音声など複雑な場合もある。出力する音声が予め決まっている場合、送られて来るデータは音声信号ではなく、単なるオン、オフの動作制御信号だけという場合もある。
【０１５３】
次に、図１の各手段１〜１３を各手段間のデータ授受の観点から説明する。
【０１５４】
なお、各手段間でのデータのやりとりは、特に注釈なく「＊＊手段から得る」、「＊＊手段へ送る（渡す）」という表現をしている時は、主にバス７９を介してデータをやりとりしているとする。その際、直接各手段間でデータのやりとりをする場合もあれば、主記憶７４や外部記憶７５、通信デバイス７７を介したネットワークなどを間に挟んでデータをやりとりする場合もある。
【０１５５】
撮像手段１は主に撮像素子７２からなり、撮像した風景などを画像データとして第１被写体画像取得手段２、第２被写体画像取得手段３に送る。
【０１５６】
第１被写体画像取得手段２は、例えば撮像手段１、主記憶７４、および／または外部記憶７５などで構成され、第１被写体画像を、撮像手段１、主記憶７４、外部記憶７５、および／または通信デバイス７７を介したネットワーク先などから得る。なお、第１被写体画像取得手段２は、内部制御などの為にＣＰＵなどを含む場合もある。
【０１５７】
撮像手段１を使う場合は、第１の被写体が含まれる現在の風景（第１被写体画像）を撮像素子７２で撮影することになり、通常はシャッターボタン７６などを押したタイミングなどで撮影し、撮影された画像は、主記憶７４、外部記憶７５、および／または通信デバイス７７を介したネットワーク先などに記録される。
【０１５８】
一方、第１被写体画像取得手段２が、主記憶７４、外部記憶７５、および／または通信デバイス７７を介したネットワーク先などから第１被写体画像を得る場合は、既に撮影されて予め用意してある画像を読み出すことになる。なお、通信デバイス７７を介したネットワーク先などにカメラがあり、ネットワークを通して撮影する場合もある。
【０１５９】
第１被写体画像は、背景補正量算出手段４、補正画像生成手段５、差分画像生成手段６、被写体領域抽出手段７、および／または重ね画像生成手段９などに送られる。
【０１６０】
第２被写体画像取得手段３は、例えば撮像手段１、主記憶７４、および／または外部記憶７５などで構成され、第２の被写体が含まれる画像（以降、「第２被写体画像」と呼ぶ）を、撮像手段１、主記憶７４、外部記憶７５、および／または通信デバイス７７を介したネットワーク先などから得る。なお、第２被写体画像取得手段３は、内部制御などの為にＣＰＵなどを含む場合もある。画像の中身が違う以外は、画像の取得方法に関しては、第１被写体画像取得手段２と同様である。
【０１６１】
第２被写体画像は、背景補正量算出手段４、補正画像生成手段５、差分画像生成手段６、被写体領域抽出手段７、および／または重ね画像生成手段９などに送られる。
【０１６２】
背景補正量算出手段４としてのＣＰＵ７０は、第１被写体画像および第２被写体画像中の被写体以外の背景の相対的な移動量、回転量、拡大縮小率、歪補正量のいずれかもしくは任意の組み合わせからなる補正量を算出する。第１被写体画像および第２被写体画像の一方（基準画像）と他方の画像との間の補正量が最低限求まればよい。
【０１６３】
背景補正量算出手段４は、算出した補正量を補正画像生成手段５に送る。なお、予め算出しておいた補正量を背景補正量算出手段４が読み出す場合は、主記憶７４、外部記憶７５、および／または通信デバイス７７を介したネットワーク先などから補正量を読み出すことになる。
【０１６４】
補正画像生成手段５としてのＣＰＵ７０は、第１被写体画像、第２被写体画像のどちらかを基準画像とし、他方の画像を被写体以外の背景の部分が重なるように背景補正量算出手段４から得られる補正量で補正した画像（以下、補正画像と呼ぶ）を生成し、差分画像生成手段６および重ね画像生成手段９へ送る。なお、予め生成しておいた補正画像を補正画像生成手段５が読み出す場合は、主記憶７４、外部記憶７５、および／または通信デバイス７７を介したネットワーク先などから読み出すことになる。
【０１６５】
差分画像生成手段６としてのＣＰＵ７０は、補正画像生成手段５で決めた基準画像と補正画像生成手段５から得られる補正画像との間の差分画像を生成して、生成した差分画像を被写体領域抽出手段７および重ね画像生成手段９へ送る。
【０１６６】
被写体領域抽出手段７としてのＣＰＵ７０は、差分画像生成手段６から得られる差分画像から第１、第２の被写体の領域を抽出して、抽出した領域を重なり検出手段８および重ね画像生成手段９へ送る。
【０１６７】
重なり検出手段８としてのＣＰＵ７０は、被写体領域抽出手段７から得られる第１、第２の被写体の領域から第１、第２の被写体同士の重なりを検出して、重なりが存在するかどうかの情報と重なり領域の情報とを、重ね画像生成手段９、重なり警告手段１１、シャッターチャンス通知手段１２および自動シャッター手段１３に送る。
【０１６８】
重ね画像生成手段９としてのＣＰＵ７０は、第１被写体画像取得手段２から得られる第１被写体画像、第２被写体画像取得手段３から得られる第２被写体画像、補正画像生成手段５から得られる補正画像を、全部あるいは一部重ねた画像を生成し、生成した画像を重ね画像表示手段１０に送る。
【０１６９】
また、重ね画像生成手段９は、差分画像生成手段６から得られる差分画像画像中の差のある領域を、元の画素値と異なる画素値の画像として生成する場合もある。
【０１７０】
また、重ね画像生成手段９は、被写体領域抽出手段７から得られる第１の被写体と第２の被写体の領域のみを基準画像などに重ねる場合もある。
【０１７１】
また、重ね画像生成手段９は、重なり検出手段８から得られる重なりの領域を元の画素値と異なる画素値の画像として生成する場合もある。
【０１７２】
重ね画像表示手段１０としてのＣＰＵ７０は、重ね画像生成手段９から得られる重ね画像をディスプレイ７１などに表示する。
【０１７３】
また、重ね画像表示手段１０は、重なり警告手段１１から得られる警告情報に応じて、警告表示を行う場合や、シャッターチャンス通知手段１２から得られるシャッターチャンス情報に応じて、シャッターチャンスである旨の表示を行う場合や、自動シャッター手段１３から得られるシャッター情報に応じて、自動シャッターが行われた旨の表示を行う場合もある。
【０１７４】
重なり警告手段１１としてのＣＰＵ７０は、重なり検出手段８から得られる重なり情報から、重なりが存在する場合、ユーザーあるいは被写体あるいは両方に重なりがあることを通知する。
【０１７５】
通知には、通知内容を文字などにして重ね画像表示手段１０に送ってディスプレイ７１に表示させたり、ランプ７８を使って光で知らせたり、スピーカ８０を使って音で知らせたりする等の種々の形態を採用できる。通知することができるのならば、それ以外のデバイスなどを使っても良い。
【０１７６】
シャッターチャンス通知手段１２としてのＣＰＵ７０は、重なり検出手段８から得られる重なり情報から、重なりが存在しない場合、ユーザーあるいは被写体あるいは両方に重なりが無いことを通知する。通知方法に関しては、重なり警告手段１１の説明と同様である。
【０１７７】
自動シャッター手段１３としてのＣＰＵ７０は、重なり検出手段８から得られる重なり情報から、重なりが存在しない場合、第２被写体画像取得手段３に対し、撮像手段１から得られる画像を主記憶７４や外部記憶７５などに記録するように自動的に指示を出す。
【０１７８】
ここでは、撮像手段１から得られる画像は、第１被写体画像または第２被写体画像として主記憶７４や外部記憶７５などに最終的に記録、保存され、合成されるような使い方を主に想定している。例えば、第１の被写体を先に撮影した後で、第２の被写体を撮影するとするとき、第１被写体画像を撮像手段１から得た場合には、得る毎に記録、保存するが、第２被写体画像は撮像手段１から得られても、すぐには保存されない。
【０１７９】
すなわち、撮像手段１から得た画像を第２被写体画像とする場合、その得られた第２被写体画像と保存されている第１被写体画像とを使って、重なり検出などの処理を行い、重ね画像表示手段１０などでの各種表示や警告、通知などの処理を行う、という一連の処理を繰り返す。そして、自動シャッター手段１３により記録、保存を指示された時、第２被写体画像が最終的に記録、保存される。
【０１８０】
なお、自動シャッター手段１３による指示が存在し、かつ、シャッターボタン１４３がユーザーにより押される場合に、第２被写体画像を記録、保存するようにしてもよい。
【０１８１】
また、自動シャッター手段１３が、指示を出した結果、撮像画像が記録されたことをユーザーあるいは被写体あるいは両方に通知してもよい。通知方法に関しては、重なり警告手段１１の説明と同様である。
【０１８２】
また、自動シャッター手段１３としてのＣＰＵ７０は、記録の指示を行うだけでなく、重なり検出手段８から得られる重なり情報から、重なりが存在する場合、第２被写体画像取得手段３に撮像手段１から得られる画像を主記憶７４や外部記憶７５などに記録するのを禁止するように自動的に指示を出す。この動作は、上述した自動記録する場合の逆となる。
【０１８３】
この場合、自動シャッター手段１３による保存禁止の指示が存在する場合、シャッターボタン１４３がユーザーにより押されても、第２被写体画像は記録、保存されないことになる。
【０１８４】
図３（ａ）は、本発明に係る画像合成装置の背面からの外観例を示している。本体１４０上に表示部兼タブレット１４１、ランプ１４２、およびシャッターボタン１４３がある。
【０１８５】
表示部兼タブレット１４１は入出力装置（ディスプレイ７１およびタブレット７３等）および重ね画像表示手段１０に相当する。表示部兼タブレット１４１上には、図３（ａ）のように、重ね画像生成手段９で生成された合成画像重なり警告手段１１、シャッターチャンス通知手段１２、自動シャッター手段１３などからの通知／警告情報などが表示される。また、画像合成装置の各種設定メニューなどを表示して、タブレットを使って指やペンなどで設定を変更したりするのにも使われる。
【０１８６】
なお、各種設定などの操作手段として、タブレットだけでなく、ボタン類などがこの他にあってもよい。また、表示部兼タブレット１４１は、本体１４０に対する回転や分離などの方法を用いて、撮影者だけでなく、被写体側でも見られるようになっていてもよい。
【０１８７】
ランプ１４２は、重なり警告手段１１、シャッターチャンス通知手段１２または自動シャッター手段１３などからの通知や警告に使われたりする。
【０１８８】
シャッターボタン１４３は、第１被写体画像取得手段２または第２被写体画像取得手段３が撮像手段１から撮影画像を取り込む／記録するタイミングを指示する為に主に使われる。
【０１８９】
また、この例では示していないが、内蔵スピーカなどを通知／警告手段として使ってもよい。
【０１９０】
図３（ｂ）は、本発明に係る画像合成装置の前面からの外観例を示している。本体１４０前面にレンズ部１４４が存在する。レンズ部１４４は、撮像手段１の一部である。なお、図３（ｂ）の例では示していないが、前面に被写体に情報（前記の通知や警告）を伝えられるように、表示部やランプ、スピーカなどがあってもよい。
【０１９１】
図４は、画像データのデータ構造例を説明する説明図である。画像データは画素データの２次元配列であり、「画素」は、属性として位置と画素値を持つ。ここでは画素値として光の３原色（赤、緑、青）に対応したＲ、Ｇ、Ｂの値を持つとする。図４の横に並んだＲ、Ｇ、Ｂの組で１画素のデータとなる。但し、色情報を持たないモノクロの輝度情報だけを持つ場合は、Ｒ、Ｇ、Ｂの代わりに輝度値を１画素のデータとして持つとする。
【０１９２】
位置はＸ−Ｙ座標（ｘ、ｙ）で表す。図４では左上原点とし、右方向を＋Ｘ方向、下方向を＋Ｙ方向とする。
【０１９３】
以降では説明の為、位置（ｘ、ｙ）の画素を「Ｐ（ｘ、ｙ）」と表すが、画素Ｐ（ｘ、ｙ）の画素値も「画素値Ｐ（ｘ、ｙ）」あるいは単に「Ｐ（ｘ、ｙ）」と表す場合もある。画素値がＲ、Ｇ、Ｂに分かれている場合、各色毎に計算は行うが、色に関する特別な処理でなければ、同じ計算処理をＲ、Ｇ、Ｂの値毎に行えばよい。従って、以降では共通した計算方法として「画素値Ｐ（ｘ、ｙ）」を使って説明する。
【０１９４】
図５は、本発明の実施の一形態に係る画像合成方法の一例を示すフローチャート図である。
【０１９５】
まずステップＳ１（以下、「ステップＳ」を「Ｓ」と略記する。）では、第１被写体画像取得手段２が、第１被写体画像を取得し、連結点Ｐ２０（以下、「連結点Ｐ」を「Ｐ」と略記する）を経てＳ２へ処理が進む。第１被写体画像は、撮像手段１を使って撮影してもよいし、予め主記憶７４、外部記憶７５または通信デバイス７７を介したネットワーク先などに用意してある画像を読み出してもよい。
【０１９６】
Ｓ２では、第２被写体画像取得手段３が、上記第１被写体画像と少なくとも一部共通する背景部分を持つ第２被写体画像を取得し、Ｐ３０を経てＳ３へ処理が進む。ここでの処理は後で図１３を用いて詳しく説明するが、第２被写体画像の取得方法自体は、第１被写体画像と同様である。なお、Ｓ１とＳ２の処理の順番は逆でも良いが、後に撮影する方を基準画像とすると、撮影時の合成画像の表示に違和感が少ない効果が出てくる。
【０１９７】
Ｓ３では、背景補正量算出手段４が、第１被写体画像および第２被写体画像から背景補正量を算出して、Ｐ４０を経てＳ４へ処理が進む。第１被写体画像、第２被写体画像はそれぞれ、第１被写体画像取得手段２（Ｓ１）、第２被写体画像取得手段３（Ｓ２）から得られる。
【０１９８】
なお、以降、第１被写体画像、第２被写体画像を使う際、特にことわりの無い限り、これらの画像の取得元の手段／ステップはＳ３での取得元の手段／ステップと同じなので、以降はこれらの画像の取得元の手段／ステップの説明は省く。
【０１９９】
Ｓ３の処理の詳細は後で図１４を用いて説明する。
【０２００】
Ｓ４では、補正画像生成手段５が、背景補正量算出手段４から得た背景補正量を使って基準画像以外の第１被写体画像または第２被写体画像を補正し、差分画像生成手段６が、補正画像生成手段５で補正された画像と基準画像との間の差分画像を生成して、Ｐ５０を経てＳ５へ処理が進む。Ｓ４の処理の詳細は後で図１６を用いて説明する。
【０２０１】
Ｓ５では、被写体領域抽出手段７が、差分画像生成手段６（Ｓ４）から得られる差分画像から、第１、第２の被写体の領域（以降、第１被写体領域、第２被写体領域と呼ぶ）を抽出し、重なり検出手段８が被写体同士の重なりを検出して、Ｐ６０を経てＳ６へ処理が進む。Ｓ５の処理の詳細は後で図１８を用いて説明する。
【０２０２】
Ｓ６では、重なり警告手段１１、シャッターチャンス通知手段１２、自動シャッター手段１３のうちの一つ以上の手段が、重なり検出手段８（Ｓ５）から得られる重なりに関する情報に応じて様々な処理を行い、Ｐ７０を経てＳ７へ処理が進む。Ｓ６の処理の詳細は後で図２０から図２２を用いて説明する。
【０２０３】
Ｓ７では、重ね画像生成手段９が、第１被写体画像、第２被写体画像、およびそれらの内の基準画像ではない方の画像を補正画像生成手段５（Ｓ４）で補正した画像、被写体領域抽出手段７（Ｓ５）から得られる第１、第２被写体領域、重なり検出手段８（Ｓ６）から得られる第１、第２の被写体の重なりに関する情報などから、これら２枚の画像を重ねる「重ね画像」を生成して、Ｐ８０を経てＳ８へ処理が進む。Ｓ７の処理の詳細は後で図２３を用いて説明する。
【０２０４】
Ｓ７では、重ね画像表示手段１０が、重ね画像生成手段９（Ｓ７）から得られる重ね画像をディスプレイ７１などに表示して、処理を終了する。
【０２０５】
これらＳ１からＳ７の処理で、第１被写体画像、第２被写体画像を使って、第１の被写体と第２の被写体を１枚の画像上に合成し、また被写体同士の重なり具合に応じて様々な処理が行えるようになる。
【０２０６】
詳細な処理やその効果については、後で詳しく説明するとして、まず簡単な例で処理の概要を説明する。
【０２０７】
図６（ａ）はＳ１で得る第１被写体画像の例である。背景の手前、左側に第１の被写体たる人物（１）が立っている。分かりやすいように人物（１）の顔部分には「１」と記しておく。なお、今後、特にことわりなく「右側」「左側」といった場合、図上での「右側」「左側」という意味だとする。この方向は、撮影者／カメラから見た方向だと思えばよい。
【０２０８】
図７（ａ）はＳ２で得る第２被写体画像の例である。背景の手前、右側に第２の被写体たる人物（２）が立っている。分かりやすいように人物（２）の顔部分には「２」と記しておく。
【０２０９】
図７（ｃ）は、図６（ａ）の第１被写体画像と図７（ａ）の第２被写体画像との間で背景補正量を求め、第１被写体画像を基準画像として、その背景補正量を用いて第２被写体画像を補正した画像である。
【０２１０】
補正された画像は実線の枠で囲われた範囲であり、補正のされ方が分かるように、元の図７（ａ）の第２被写体画像と図６（ａ）の第１被写体画像の範囲を図７（ｃ）上に点線の枠で示してある。図７（ａ）の背景は、図６（ａ）の背景の少し左上側の風景を撮影して得られている。このため、図７（ａ）の第２被写体画像を図６（ａ）の第１被写体画像の背景と重なるように補正するには、図７（ａ）の少し右下側の風景を選択する必要がある。従って、図７（ｃ）は、図７（ａ）より少し右下側の風景となるように補正されている。元の図７（ａ）の範囲は点線で示されている。図７（ａ）より右下側の風景の画像は存在しないので、図７（ｃ）では右端の点線から右にはみ出した部分、および下端の点線から下にはみ出した部分が空白となっている。逆に図７（ａ）の左上側の部分は切り捨てられている。
【０２１１】
ここでは拡大縮小や回転などの補正はなく、単なる平行移動だけの補正結果になっている。すなわちＳ３で得られる背景補正量は、ここでは実線の枠と点線の枠のずれが示す平行移動量となる。
【０２１２】
図８（ａ）は、Ｓ４で、図６（ａ）の第１被写体画像と図７（ｃ）の補正された第２被写体画像との間で生成した差分画像である。差分画像では差分量０の部分（すなわち、背景の一致部分）は黒い領域で示されている。差分がある部分は、被写体の領域内とノイズ部分であり、被写体の領域部分は背景部分と被写体部分の画像が重なり合った妙な画像になっている。（なお、補正によってどちらかの画像しか画素が存在しない領域（例えば図７（ｃ）の右下側に位置する実線と点線の間の逆Ｌ字領域）は差分の対象からは外し、差分量は０としている）。
【０２１３】
Ｓ６の重なりに関する処理は様々な処理方法があるが、この例では重なりは検出されないので、ここでは説明を簡単にする為に特に処理は行わないことにしておく。
【０２１４】
図９（ａ）は、後述する図１９（ｄ）に示す第２被写体領域に相当する部分の画像を、図６（ａ）の第１被写体画像（基準画像）に重ねて（上書きして）生成した画像である。図６（ａ）と図７（ａ）の別々に写っていた被写体が同じ画像上に重なりなく並んでいる。重ね方に関しても、様々な処理方法があるので、後で詳しく説明する。図９（ａ）の画像が重ね画像表示手段１０上に合成画像として表示される。
【０２１５】
これによって、別々に撮影された被写体を同時に撮影したかのような画像を合成できるようになる効果が出てくる。
【０２１６】
以上の説明により、処理の概要を一通り説明したが、Ｓ５で被写体領域同士で重なりがある場合のＳ６の処理例の概要について説明していないので、以降、簡単に触れておく。
【０２１７】
図１０は、図７（ａ）とは別の第２被写体画像の例である。図７（ａ）と比べると、第２の被写体が同一の背景に対して少し左に位置している。なお、第１被写体画像は図６（ａ）と同じものを使うとする。
【０２１８】
図１１（ｃ）は、第１被写体領域と第２被写体領域との合わさった領域を示している。図中の領域２０２が第１被写体領域と第２被写体領域とで構成されている。ここでは、同じ背景に対する第１、第２の被写体の各位置の関係で、第１被写体領域と第２被写体領域とに重なりが生じたため、領域２０２が結合された領域として示されている。
【０２１９】
図１２は、Ｓ６で重なりがある場合にＳ７で生成される重ね画像の一例を示した図である。領域２０２は、第１被写体領域と第２被写体領域とが結合された１つの領域として扱われるので、一括して半透明に表示されている。また、重ね画像に上書きして、第１の被写体と第２の被写体が重なっていることを示すメッセージが表示されている。
【０２２０】
この重ね画像（含むメッセージ）を表示することで、第１の被写体と第２の被写体が重なっていることが、ユーザーや被写体に分かりやすくなるという効果が出てくる。
【０２２１】
以上の説明により、Ｓ５で被写体領域同士で重なりがある場合のＳ６の処理例の概要について説明した。
【０２２２】
なお、これを典型的な利用シーン例で考えると、まず図６（ａ）のような第１の被写体をカメラ（画像合成装置）で撮影し、記録する。次に同じ背景で図７（ａ）のような第２の被写体を撮影する。
【０２２３】
なお、第１の被写体と第２の被写体の撮影は、第１の被写体と第２の被写体が交互に行うことで、第３者がいなくても二人だけでも撮影が可能である。同じ背景で撮影する為にはカメラは動かさない方が良いが、背景にあわせて補正するので、三脚などで固定までしなくても、手で大体同じ位置で同じ方向を向いて撮影すれば良い。なお、被写体の位置関係は図６（ａ）、図７（ａ）のような左右だけでなく、任意の位置関係でよい。
【０２２４】
そして、２つの画像を撮影した後、Ｓ３からＳ７の処理を行い、図９（ａ）や図１２のような表示（や後で説明する警告／通知など）を行う。
【０２２５】
もし、被写体が重なっているなどの表示や通知がある場合、再度、Ｓ１からＳ７の処理を繰り返してもよい。すなわち第１被写体画像、第２被写体画像を撮影し、重ね画像を生成、表示などする。表示される処理結果に満足がいくまで何度でも繰り返せば良い。
【０２２６】
しかし、第２の被写体が位置を移動する場合などは、第１の被写体は必ずしも撮りなおさなくてもよく、第２の被写体だけ撮り直せば済むこともある。その場合は、Ｓ２からＳ７を繰り返せばよい。
【０２２７】
この場合、Ｓ２の第２被写体画像取得からＳ７の表示までを自動的に繰り返せば、すなわち第２被写体画像取得をシャッターボタンを押さずに動画を撮影するように連続的に取得し、処理、表示も含めて繰り返すようにすれば、カメラや第２の被写体の移動などに追従してリアルタイムに処理結果が確認できることになる。従って、第２の被写体の移動位置が適切かどうか（重なっていないかどうか）をリアルタイムに知ることができ、重なりが無い合成結果を得る為の第２の被写体の撮影が容易になるという利点が出てくる。
【０２２８】
なお、この繰り返し処理を開始するには、メニューなどから処理開始を選択するなどして、専用モードに入る必要がある。適切な移動位置になったらシャッターボタンを押すことで、第２被写体画像を決定して（記録し）、この繰り返し処理／専用モードを終了させればよい（終了といっても、最後の合成結果を得るＳ７までは処理を続けてもよい）。
【０２２９】
また、第１被写体画像が良くない場合、例えば、背景の真中に第１の被写体が位置し、第２の被写体をどう配置しても第１の被写体に重なってしまうか、重ならないようにすると第２の被写体が重ね画像からフレームアウトしてしまうような場合、Ｓ１の第１被写体画像の取得からやり直しても良い。
【０２３０】
以降では、上で説明した処理の詳細を説明する。
【０２３１】
図１３は、図５のＳ２の処理、すなわち第２被写体画像を取得する処理の一方法を説明するフローチャート図である。
【０２３２】
Ｐ２０を経たＳ２−１では、第２被写体画像取得手段３が、第２被写体画像を取得し、Ｓ２−２へ処理が進む。ここでの処理は、図５のＳ１の第１被写体画像の取得と取得方法自体は同様である。
【０２３３】
Ｓ２−２では、同手段３が、自動シャッター手段１３から画像を記録するように指示があるかどうかを判断し、指示があればＳ２−３へ処理が進み、指示がなければＰ３０へ抜ける。
【０２３４】
Ｓ２−３では、同手段３が、Ｓ２−１で取得した第２被写体画像を主記憶７４、外部記憶７５などに記録して、Ｐ３０へ処理が抜ける。
【０２３５】
以上のＳ２−１からＳ２−３の処理で、図５のＳ２の処理が行われる。
【０２３６】
なお、自動シャッター手段１３以外であっても、撮影者によって手動でシャッターボタンが押されたり、セルフタイマーでシャッターが切られた場合などにも撮影画像を記録してもよいが、それはＳ１、Ｓ２−１の処理に含まれるとする。
【０２３７】
図１４は、図５のＳ３の処理、すなわち背景補正量を算出する処理の一方法を説明するフローチャート図である。
【０２３８】
背景補正量を算出する方法は色々考えられるが、ここではブロックマッチングを使った簡易的な手法について説明する。
【０２３９】
Ｐ３０を経たＳ３−１では、背景補正量算出手段４が、第１被写体画像をブロック領域に分割する。図６（ｂ）は図６（ａ）の第１被写体画像をブロック領域に分割した状態を説明する説明図である。点線で区切られた矩形が各ブロック領域である。左上のブロックを「Ｂ（１，１）」とし、その右が「Ｂ（１，２）」、下が「Ｂ（２，１）」というように表現することにする。図６（ｂ）ではスペースの都合上、例えばＢ（１，１）のブロックではブロックの左上に「１１」と記している。
【０２４０】
Ｓ３−２では、第１被写体画像のブロックが、第２被写体画像上でマッチングする位置を、同手段４が求めて、Ｓ３−３へ処理が進む。「（ブロック）マッチング」とは、この場合、第１被写体画像の各ブロックと最もブロック内の画像が似ているブロック領域を第２被写体画像上で探す処理である。
【０２４１】
説明の為、ブロックを定義する画像（ここでは第１被写体画像）を「参照画像」と呼び、似ているブロックを探す相手の画像（ここでは第２被写体画像）を「探索画像」と呼び、参照画像上のブロックを「参照ブロック」、探索画像上のブロックを「探索ブロック」と呼ぶことにする。参照画像上の任意の点（ｘ、ｙ）の画素値をＰｒ（ｘ、ｙ）、探索画像上の任意の点（ｘ、ｙ）の画素値をＰｓ（ｘ、ｙ）とする。
【０２４２】
なお、背景補正量は相対的なものなので、上記とは逆に、参照画像と探索画像を、第２被写体画像と第１被写体画像として良い。
【０２４３】
今、参照ブロックが正方形で１辺の大きさがｍ画素だとする。すると参照ブロックＢ（ｉ，ｊ）の左上の画素の位置は、
（ｍ×（ｉ−１），ｍ×（ｊ−１））
となり、参照ブロックＢ（ｉ，ｊ）の左上から画素数にして（ｄｘ、ｄｙ）離れた画素値は、
Ｐｒ（ｍ×（ｉ−１）＋ｄｘ、ｍ×（ｊ−１）＋ｄｙ）
となる。
【０２４４】
探索ブロックの左上位置を（ｘｓ、ｙｓ）とした時、参照ブロックＢ（ｉ，ｊ）と探索ブロックの類似度Ｓ（ｘｓ、ｙｓ）は次の２式で求められる。
【０２４５】
Ｄ（ｘｓ、ｙｓ；ｄｘ、ｄｙ）＝｜Ｐｓ（ｘｓ＋ｄｘ、ｙｓ＋ｄｙ）−Ｐｒ（ｍ×（ｉ−１）＋ｄｘ、ｍ×（ｊ−１）＋ｄｙ｜
ｍ−１ ｍ−１
Ｓ（ｘｓ、ｙｓ）＝Σ Σ Ｄ（ｘｓ、ｙｓ；ｄｘ、ｄｙ）
ｄｘ＝０ ｄｙ＝０
Ｄ（ｘｓ、ｙｓ；ｄｘ、ｄｙ）は、参照ブロックと探索ブロックの左上から（ｄｘ、ｄｙ）離れたそれぞれの画素値の間の差の絶対値である。そして、Ｓ（ｘｓ、ｙｓ）は、その差の絶対値をブロック内の全画素について足したものである。
【０２４６】
もし、参照ブロックと探索ブロックが全く同じ画像である（対応する画素値が全て等しい）場合、Ｓ（ｘｓ、ｙｓ）は０となる。似ていない部分が増えると、すなわち画素値の差が大きくなると、Ｓ（ｘｓ、ｙｓ）は大きな値となっていく。従って、Ｓ（ｘｓ、ｙｓ）が小さいほど似たブロックということになる。
【０２４７】
Ｓ（ｘｓ、ｙｓ）は、探索ブロックの左上位置を（ｘｓ、ｙｓ）とした時の類似度なので、（ｘｓ、ｙｓ）を探索画像上で変えれば、それぞれの場所での類似度が得られる。全ての類似度の中で最小となる類似度の位置（ｘｓ、ｙｓ）をマッチングした位置とすればよい。マッチングした位置の探索ブロックを「マッチングブロック」と呼ぶ。
【０２４８】
図１５は、このマッチングの様子を説明した図だが、図１５（ａ）の画像を参照画像、図１５（ｂ）の画像を探索画像とし、画像の中身としてはカギ括弧型の線がそれぞれ少し位置がずれて存在しているとする。参照画像中の参照ブロック１００は、カギ括弧型の線のちょうど角の部分に位置しているとする。探索画像中の探索ブロックとして、探索ブロック１０１、１０２、１０３があったとする。参照ブロック１００と探索ブロック１０１、参照ブロック１００と探索ブロック１０２、参照ブロック１００と探索ブロック１０３でそれぞれ類似度を計算すると、探索ブロック１０１が最も小さな値となるので、探索ブロック１０１を参照ブロック１００に対するマッチングブロックとすればよい。
【０２４９】
以上は一つの参照ブロックＢ（ｉ，ｊ）のマッチングについて説明したが、それぞれの参照ブロックについて、マッチングブロックを求めることができる。図６（ｂ）の４２個の参照ブロックにそれぞれに対して、第２被写体画像のそれぞれで、マッチングブロックを探すとする。
【０２５０】
なお、マッチングブロックの類似度の求め方については、ここでは各画素値の差分の絶対値を使ったが、それ以外にも様々な方法があり、いずれの手法を使っても良い。
【０２５１】
例えば、相関係数を使う方法や周波数成分を使う方法などもあるし、各種高速化手法などもある。また、参照ブロックの位置や大きさなどの設定の仕方も色々考えられるが、ブロックマッチングの細かな改良方法は本発明の主旨ではないのでここでは省略する。
【０２５２】
なお、参照ブロックの大きさについては、あまり小さくしすぎるとブロック内にうまく特徴が捉えきれずマッチング結果の精度が悪くなるが、逆に大きくしすぎると被写体や画像のフレーム枠を含んでしまいマッチング結果の精度が悪くなったり、回転、拡大縮小などの変化に弱くなってしまうので、適当な大きさにすることが望ましい。
【０２５３】
次に、Ｓ３−３で、同手段４が、Ｓ３−２で求めたマッチングブロックの中から背景部分に相当する探索ブロックだけを抜き出して、Ｓ３−４へ処理が進む。
【０２５４】
Ｓ３−２で求めたマッチングブロックは、最も差分が少ない探索ブロックを選んだだけなので、同じ画像であることが保証されてはおらず、たまたま何かの模様などが似ているだけの場合もある。また、そもそも第１の被写体の為、参照ブロック自体が背景部分でなかったり、参照ブロックは背景部分だが、第２の被写体の為、参照ブロックに相当する画像部分が第２被写体画像上に存在しない場合もあるので、その場合はいいかげんな場所にマッチングブロックが設定されていることになる。
【０２５５】
そこで各マッチングブロックから、参照ブロックと同じ画像部分ではないと判断されるものを取り除くことが必要となる。残ったマッチングブロックは参照ブロックと同じ画像部分であると判断されたものなので、結果的に第１や第２の被写体を除いた背景部分だけが残ることになる。
【０２５６】
マッチングブロックの選別手法は色々考えられるが、ここでは最も単純な方法として、類似度Ｓ（ｘｓ、ｙｓ）を所定の閾値で判断することにする。すなわち、各マッチングブロックのＳ（ｘｓ、ｙｓ）が閾値を超えていたら、そのマッチングは不正確であるとして取り除くという手法である。Ｓ（ｘｓ、ｙｓ）は、ブロックの大きさに影響されるので、閾値はブロックの大きさを考慮して決めるのが望ましい。
【０２５７】
図７（ｂ）は、図７（ａ）の第２被写体画像のＳ３−２のマッチング結果から、不正確なマッチングブロックを取り除いた結果である。正しいと判断されたマッチングブロックには、対応する参照ブロックと同じ番号が振ってある。これにより、被写体部分が含まれない、あるいはほとんど含まれない背景部分のマッチングブロックだけが残っているのが分かる。
【０２５８】
しかも、残ったマッチングブロックは、第１被写体画像と第２被写体画像とに共通して写り込んだ同一の背景部分であると判断できる。もし、第１被写体画像と第２被写体画像とが共通する背景部分を全く持っていないとすると、Ｓ３−３の処理の結果、残るマッチングブロックは０となる。
【０２５９】
Ｓ３−４では、同手段４が、Ｓ３−３で得た背景部分のマッチングブロックから、第２被写体画像の背景補正量を求めて、Ｐ４０へ処理が抜ける。
【０２６０】
背景補正量として、例えば回転量θ、拡大縮小量Ｒ、および／または平行移動量（Ｌｘ、Ｌｙ）を求めるのだが、計算方法は色々考えられる。ここでは２つのブロックを使った最も簡単な方法について説明する。
【０２６１】
なお、回転量、拡大縮小量、平行移動量以外の歪補正量は、よほど撮影時にカメラを動かすなどしない限り、使わなくても背景部分がほぼ重なり、差分画像でノイズが充分少ない補正ができる場合が多い。回転量、拡大縮小量、平行移動量以外の歪補正量を得るには、最低でも３点あるいは４点以上ブロックを使うことが必要であり、透視変換を考慮した計算が必要となるが、パノラマ画像の合成などでも使われている公知の手法（例えば、「共立出版：ｂｉｔ１９９４年１１月号別冊『コンピュータ・サイエンス』」のＰ９０など）なので、この処理の詳細についてはここでは省略する。
【０２６２】
まず、できるだけ互いの距離が離れているマッチングブロックを２つ選ぶ。なお、Ｓ３−３で残ったマッチングブロックが１つしか無いときは、以降の拡大縮小率、回転量を求める処理は省いて、対応する参照ブロックの位置との差分を平行移動量として求めればよい。Ｓ３−３で残ったマッチングブロックが１つも無かったら、第１、第２被写体画像などを撮影し直した方が良いと思われるので、その旨の警告を出すなどするとよい。
【０２６３】
選び方は色々考えられるが、例えば、
１）マッチングブロック中の任意の２つを選び、その二つのブロックの中心位置間の距
離を計算する、
２）１）の計算を全てのマッチングブロックの組み合わせで行う、
３）２）の中で最も距離が大きい組み合わせを背景補正量の算出に使う２つのブロック
として選ぶ、
という方法が考えられる。
【０２６４】
ここで、上記３）として挙げたように、互いの距離が最も離れているマッチングブロックを使う利点としては、拡大縮小率や回転量などを求める際の精度が良くなることがあげられる。マッチングブロックの位置は画素単位となるので、精度も画素単位となってしまう。例えば、横に５０画素離れた位置で上に１画素分ずれた時の角度は、横に５画素離れた位置で上に０．１画素分ずれた時の角度と同じになる。しかし、０．１画素のずれはマッチングでは検出できない。従って、できるだけ離れたマッチングブロックを使った方が良い。
【０２６５】
２つのブロックを使っているのは、単に計算が簡単だからである。もっと多くのブロックを使って平均的な拡大縮小率や回転量などを求めるようにすると、誤差が減少する利点が出てくる。
【０２６６】
例えば図７（ｂ）の例では、互いの距離が最も離れている２つのマッチングブロックは、ブロック１５、６１の組み合わせとなる。
【０２６７】
次に、選んだ２つのマッチングブロックの中心位置を、探索画像上の座標で表した（ｘ１’、ｙ１’）、（ｘ２’、ｙ２’）、それに対応する参照ブロックの中心位置を参照画像上の座標で表した（ｘ１、ｙ１）、（ｘ２、ｙ２）とする。
【０２６８】
まず、拡大縮小率について求める。
【０２６９】
マッチングブロックの中心間の距離Ｌｍは、
Ｌｍ＝（（ｘ２’― ｘ１’）×（ｘ２’― ｘ１’）＋（ｙ２’― ｙ１’）×（ｙ２’― ｙ１’））^１／２
参照ブロックの中心間の距離Ｌｒは、
Ｌｒ＝（（ｘ２― ｘ１）×（ｘ２― ｘ１）＋（ｙ２― ｙ１）×（ｙ２― ｙ１））^１／２
となり、拡大縮小率Ｒは、
Ｒ＝Ｌｒ／Ｌｍ
で求められる。
【０２７０】
次に回転量について求める。
【０２７１】
マッチングブロックの中心を通る直線の傾きθｍは、
θｍ＝ａｒｃｔａｎ（（ｙ２’― ｙ１’）／（ｘ２’― ｘ１’））
（但し、ｘ２’＝ ｘ１’の時はθｍ＝π／２）
参照ブロックの中心を通る直線の傾きθｒは、
θｒ＝ａｒｃｔａｎ（（ｙ２― ｙ１）／（ｘ２― ｘ１））
（但し、ｘ２＝ ｘ１の時はθｒ＝π／２）
で求められる。なお、ａｒｃｔａｎは、ｔａｎの逆関数とする。
【０２７２】
これより、回転量θは、
θ＝θｒ―θｍ
で求められる。
【０２７３】
最後に平行移動量であるが、これは対応するブロック同士の中心位置が等しくなればよいので、例えば、（ｘ１’、ｙ１’）と（ｘ１、ｙ１）が等しくなるようにすると、平行移動量（Ｌｘ、Ｌｙ）は、
（Ｌｘ、Ｌｙ）＝（ｘ１’― ｘ１、ｙ１’― ｙ１）
となる。回転量と拡大縮小量は、どこを中心にしても良いので、ここでは平行移動で一致する点、すなわち対応するブロックの中心を回転中心、拡大縮小中心とすることにする。
【０２７４】
従って、探索画像中の任意の点（ｘ’，ｙ’）を補正された点（ｘ”，ｙ”）に変換する変換式は、
ｘ”＝Ｒ×（ｃｏｓθ×（ｘ’−ｘ１’）−ｓｉｎθ×（ｙ’−ｙ１’））＋ｘ１
ｙ”＝Ｒ×（ｓｉｎθ×（ｘ’−ｘ１’）＋ｃｏｓθ×（ｙ’−ｙ１’））＋ｙ１
となる。回転量、拡大縮小量、平行移動量と述べたが、正確にはここでは、θ、Ｒ，（ｘ１ 、ｙ１ ）、（ｘ１’、ｙ１’）のパラメータを求めることになる。なお、補正量／変換式の表し方は、これに限定される訳ではなく、その他の表し方でもよい。
【０２７５】
この変換式は、探索画像上の点（ｘ’，ｙ’）を補正画像上の点（ｘ”，ｙ”）に変換するものだが、補正画像上の点（ｘ”，ｙ”）は、参照画像に（背景部分が）重なるようになるのだから、意味的には、探索画像から参照画像への（背景部分が重なるような）変換とみなせる。従って、この変換式を探索画像上の点（Ｘｓ，Ｙｓ）を参照画像上の点（Ｘｒ，Ｙｒ）への変換関数Ｆｓｒ、
（Ｘｒ，Ｙｒ）＝Ｆｓｒ（Ｘｓ，Ｙｓ）
と表現することにする。
【０２７６】
なお、先の式は逆に補正された点（ｘ”，ｙ”）から探索画像中の任意の点（ｘ’，ｙ’）への変換式、
ｘ’＝（１／Ｒ）×（ｃｏｓθ×（ｘ”−ｘ１）＋ｓｉｎθ×（ｙ”−ｙ１））＋ｘ１’
ｙ’＝（１／Ｒ）×（ｓｉｎθ×（ｘ”−ｘ１）−ｓｉｎθ×（ｙ”−ｙ１））＋ｙ１’
にも変形できる。これも変換関数Ｆｒｓで表せば、
（Ｘｓ，Ｙｓ）＝Ｆｒｓ（Ｘｒ，Ｙｒ）
となる。変換関数Ｆｒｓは変換関数Ｆｓｒの逆変換関数とも言う。
【０２７７】
図６（ａ）、図７（ａ）の例では回転や拡大縮小はなく、単なる平行移動だけであるが、詳細は後で図７（ｃ）で説明する。
【０２７８】
以上のＳ３−１からＳ３−４の処理で、図５のＳ３の背景補正量算出の処理が行われる。
【０２７９】
図１６は、図５のＳ４の処理、すなわち第２被写体画像の補正画像を生成し、第１被写体画像との差分画像を生成する処理の一方法を説明するフローチャート図である。
【０２８０】
Ｐ４０を経たＳ４−１では、補正画像生成手段５が、背景補正量算出手段４（Ｓ３）で得られる補正量を使って、第２被写体画像を第１被写体画像に背景部分が重なるように補正した画像を生成し、Ｓ４−２へ処理が進む。なお、ここで生成される補正された第２被写体画像を「補正第２被写体画像」（図７（ｃ）参照）と呼ぶことにする。
【０２８１】
補正には、変換関数Ｆｓｒあるいは逆変換関数Ｆｒｓを使えばよい。一般に、きれいな変換画像を生成する為には、変換画像（ここでは補正第２被写体画像）の画素位置に対応する元画像（ここでは第２被写体画像）の画素位置を求め、その画素位置から変換画像の画素値を求める。この時、使用する変換関数はＦｓｒになる。
【０２８２】
また、一般に求めた元画像の画素位置は整数値とはならないので、そのままでは求めた元画像の画素位置の画素値は求められない。そこで、通常は何らかの補間を行う。例えば最も一般的な手法として、求めた元画像の画素位置の周囲の整数値の画素位置の４画素から一次補間で求める手法がある。一次補間法に関しては、一般的な画像処理の本など（例えば、森北出版：安居院猛、中嶋正之共著「画像情報処理」のＰ５４）に載っているので、ここでは詳しい説明を省略する。
【０２８３】
図７（ｃ）は、図７（ａ）の第２被写体画像と図６（ａ）の第１被写体画像とから、第２被写体画像が第１被写体画像の背景部分に重なるように生成した補正第２被写体画像の例である。この例での補正は平行移動だけである。補正の様子が分かるように、図７（ａ）の第２被写体画像の範囲を点線で示してある。図７（ａ）の第２被写体画像よりフレーム枠全体が少し右下に移動している。
【０２８４】
補正の結果、対応する第２被写体画像が存在しない部分が出てくる。例えば、図７（ｃ）の右端の点線と実線の間の部分は、図７（ａ）の第２被写体画像には存在しない部分なので、抜けている。これは、下の道路を示す水平線が右端までいかずに途切れているのでも分かる。その部分は、Ｓ４−２で説明するマスク画像を使って除外するので適当な画素値のままとしておいても問題はない。
【０２８５】
なお、図１７（ａ）は補正に回転が必要な場合の第２被写体画像の例である。第１被写体画像は、図６（ａ）と同じとする。画面全体が図７（ａ）と比べて少し左回りに回転している。
【０２８６】
図１７（ｂ）は、図１７（ａ）の第２被写体画像と図６（ａ）の第１被写体画像とでブロックマッチングを行った結果である。ブロックは回転などがあっても、回転量やブロックの大きさがそれほど大きくなければ、ブロック内での画像変化は少ないので、回転に追従して正確なマッチングがある程度可能である。
【０２８７】
図１７（ｃ）は、図１７（ｂ）のブロックマッチング結果をもとに背景補正量を算出し、補正した第２被写体画像である。図６（ａ）の第１被写体画像と背景部分が重なるようになり、回転が補正されているのが分かる。補正の様子がわかるように、図１７（ａ）の画像枠を点線で示してある。
【０２８８】
Ｓ４−２では、補正画像生成手段５が、補正第２被写体画像のマスク画像を生成して、Ｓ４−３へ処理が進む。
【０２８９】
マスク画像は、補正画像を生成する際、補正画像上の各画素に対応するオリジナル画像上の画素位置が先に説明した式で求められるが、その画素位置がオリジナル画像の範囲に収まっているかどうかで判断して、収まっていればマスク部分として補正画像上の対応する画素の画素値を例えば０（黒）にし、収まっていなければ例えば２５５（白）にすればよい。マスク部分の画素値は０、２５５に限らず自由に決めてよいが、以降では、０（黒）、２５５（白）で説明する。
【０２９０】
図７（ｄ）は、図７（ｃ）のマスク画像の例である。実線のフレーム枠中の黒く塗りつぶされた範囲がマスク部分である。このマスク部分は、補正された画像中でオリジナルの画像（補正前の画像）が画素を持っている範囲を示している。従って、図７（ｄ）では、対応する第２被写体画像が存在しない右下端部分がマスク部分とはなっておらず、白くなっている。
【０２９１】
Ｓ４−３では、差分画像生成手段６が、第１被写体画像と、補正画像生成手段５（Ｓ４−１）から得られる補正第２被写体画像とそのマスク画像とを用いて、第１被写体画像と補正第２被写体画像との差分画像を生成してＳ４−４へ処理が進む。
【０２９２】
差分画像を生成するには、ある点（ｘ、ｙ）のマスク画像上の点の画素値が０かどうかを見る。０（黒）ならば補正第２被写体画像上に補正された画素が存在するはずなので、差分画像上の点（ｘ、ｙ）の画素値Ｐｄ（ｘ、ｙ）は、
Ｐｄ（ｘ、ｙ）＝｜Ｐ１（ｘ、ｙ）−Ｐｆ２（ｘ、ｙ）｜
より、第１被写体画像上の画素値Ｐ１（ｘ、ｙ）と補正第２被写体画像上の画素値Ｐｆ２（ｘ、ｙ）の差の絶対値とする。
【０２９３】
ある点（ｘ、ｙ）のマスク画像上の点の画素値が０（黒）でないならば、
Ｐｄ（ｘ、ｙ）＝０
とする。
【０２９４】
これらの処理を、点（ｘ、ｙ）を差分画像の左上から右下まですべての画素について繰り返せばよい。
【０２９５】
図８（ａ）は、図６（ａ）の第１被写体画像と図７（ｃ）の補正第２被写体画像、図７（ｄ）のマスク画像から生成された差分画像の例である。人物（１）と人物（２）の領域以外の所は背景が一致している、あるいはマスク範囲外として差分が０となる。この結果、主に人物（１）の領域と人物（２）の領域内がそれぞれ、人物（１）の画像と背景の画像、人物（２）の画像と背景の画像が交じり合ったような画像となっている。
【０２９６】
通常、Ｓ３での補正量の算出の誤差や、補正画像生成の補間処理などの誤差、背景部分の画像自体の撮影時間の差による微妙な変化などによって、人物（１）の領域と人物（２）の領域以外にも小さな差分部分は出てくる。通常は数画素程度の大きさで、差もあまり大きくないことが多い。図８（ａ）でも人物（１）の領域と人物（２）の領域の周辺に白い部分がいくつか出てきている。
【０２９７】
一方、図１７（ｂ）の場合のマスク画像は図１７（ｄ）のようになる。なお、拡大縮小や回転の補正量がある場合でも、Ｓ４−１、Ｓ４−２で補正やマスク画像生成を行ってしまえば、後の処理は手順としては変わりないので、以降の説明では、第２被写体画像は図１７（ａ）は使わず、図７（ａ）のものを使う。
【０２９８】
以上のＳ４−１からＳ４−３の処理で、図５のＳ４の差分画像生成の処理が行える。
【０２９９】
図１８は、図５のＳ５の処理、すなわち被写体領域を抽出する処理の一方法を説明するフローチャート図である。
【０３００】
Ｐ５０を経たＳ５−１では、被写体領域抽出手段７が、差分画像生成手段６（Ｓ５）から得られる差分画像から、「ラベリング画像」（「ラベリング画像」の意味については後で説明する）を生成して、Ｓ５−２へ処理が進む。
【０３０１】
まず準備として、差分画像から２値画像を生成する。２値画像の生成方法も色々考えられるが、例えば、差分画像中の各画素値を所定の閾値と比較して、閾値より大きければ黒、以下ならば白、などとしてやればよい。差分画像がＲ，Ｇ，Ｂの画素値からなる場合は、Ｒ，Ｇ，Ｂの画素値を足した値と閾値を比較すればよい。
【０３０２】
図８（ｂ）は、図８（ａ）の差分画像から生成した２値画像の例である。黒い領域が領域１１０から１１７の８つ存在し、大きな人型の領域１１２、１１３以外は小さな領域である。
【０３０３】
次に、生成した２値画像からラベリング画像を生成するが、一般に「ラベリング画像」とは、２値画像中の白画素同士あるいは黒画素同士が連結している塊を見つけ、その塊に番号（「ラベリング値」と以降、呼ぶ）を振っていく処理により生成される画像である。多くの場合、出力されるラベリング画像は多値のモノクロ画像であり、各塊の領域の画素値は全て振られたラベリング値になっている。
【０３０４】
なお、同じラベリング値を持つ画素の領域を「ラベル領域」と以降呼ぶことにする。また、連結している塊を見つけ、その塊にラベリング値を振っていく処理手順の詳細については、一般的な画像処理の本など（例えば、昭晃堂：昭和６２年発行「画像処理ハンドブック」Ｐ３１８）に載っているので、ここでは省略し、処理結果例を示す。
【０３０５】
２値画像とラベリング画像とは、２値か多値かの違いなので、ラベリング画像例は図８（ｂ）で説明する。図８（ｂ）の領域１１０から１１７の番号の後に「１１０（１）」などと括弧書きで番号がついているが、これが各領域のラベリング値である。これ以外の領域はラベリング値０が振られているとする。
【０３０６】
なお、ラベリング画像図８（ｂ）は、紙面上で多値画像を図示するのが難しいので２値画像のように示してあるが、実際はラベリング値による多値画像になっているので、表示する必要はないが実際に画像として表示した場合は図８（ｂ）とは異なる見え方をする。
【０３０７】
Ｓ５−２では、被写体領域抽出手段７が、Ｓ５−１で得られるラベリング画像中の「ノイズ」的な領域を除去して、Ｓ５−３へ処理が進む。「ノイズ」とは目的のデータ以外の部分を一般に指し、ここでは人型の領域以外の領域を指す。
【０３０８】
ノイズ除去にも様々な方法があるが、簡単な方法として、例えばある閾値以下の面積のラベル領域は除くという方法がある。これには、まず各ラベル領域の面積を求める。面積を求めるには、全画素を走査し、ある特定のラベリング値を持つ画素がいくつ存在するか数えればよい。全ラベリング値について面積（画素数）を求めたら、それらの内、所定の閾値以下の面積（画素数）のラベル領域は除去する。除去処理は、具体的には、そのラベル領域をラベリング値０にしてしまうか、新たなラベリング画像を作成し、そこにノイズ以外のラベル領域をコピーする、でもよい。
【０３０９】
図８（ｃ）は、図８（ｂ）のラベリング画像からノイズ除去した結果である。人型の領域１１２、１１３以外はノイズとして除去されてしまっている。
【０３１０】
なお、被写体以外のラベル領域を除去するノイズ除去処理の完全自動化が難しいなら、例えば、どの領域が被写体領域であるかを、タブレットやマウスなどの入力手段を使ってユーザーに指定してもらう方法も考えられる。指定方法も、被写体領域の輪郭まで指定してもらう方法と、輪郭はラベリング画像の各ラベル領域の輪郭を使い、どのラベル領域が被写体領域であるかどうかを指定してもらう方法などが考えられる。
【０３１１】
また、図８（ｂ）ではたまたま一人の領域がうまく一つのラベル領域となっているが、画像によっては、一人の被写体であっても複数のラベル領域に分かれてしまうことがある。例えば、被写体領域中の真中辺りの画素が、背景と似たような色や明るさの画素の場合、差分画像中のその部分の画素値が小さいので、被写体領域の真中辺りが背景と認識されてしまい、被写体領域が上下や左右に分断されて抽出されてしまうことがある。その場合、後の被写体の重なり検出や合成処理などでうまく処理できない場合が出てくる可能性がある。
【０３１２】
そこで、ラベリング画像のラベル領域を膨張させて、距離的に近いラベル領域を同じラベル領域として統合してしまう処理を入れるという方法もある。さらに、領域を抽出する手法の１つである「スネーク」を統合に利用する方法も考えられる。膨張やスネークの処理手順の詳細については、一般的な画像処理の本など（例えば、昭晃堂：昭和６２年発行「画像処理ハンドブック」Ｐ３２０、またはＫａｓｓ Ａ.， ｅｔ ａｌ.，”Ｓｎａｋｅｓ： Ａｃｔｉｖｅ Ｃｏｎｔｏｕｒ Ｍｏｄｅｌｓ”，Ｉｎｔ. Ｊ. Ｃｏｍｐｕｔ. Ｖｉｓｉｏｎ， ｐｐ.３２１−３３１（１９８８））に載っているので、ここでは省略する。
【０３１３】
また、距離的に近いラベル領域の統合に使わなくても、第１、第２の被写体領域同士に重なりがあることを見逃す危険性を減らすことに使う為に、抽出した被写体領域を一定量膨張させるという方法もある。
【０３１４】
なお、ここでは、膨張や統合は特に行わない処理例で説明している。
【０３１５】
Ｓ５−３では、重なり検出手段８が、Ｓ５−２で得られるノイズ除去されたラベリング画像から被写体同士の重なりがあるかどうかを検出し、重なりが検出されなければＳ５−４へ進み、重なりが検出されればＳ５−５へ進む。
【０３１６】
重なりの検出方法には様々な方法が考えられるが、ここでは簡単に求められる方法として、撮影／合成したい被写体の数と、ノイズ除去されたラベリング画像中の被写体の領域数とを使う方法について説明する。
【０３１７】
まず、撮影／合成したい被写体の数は予めプログラムや外部記憶、ユーザー入力などによって指定されているとする。例えば、カメラに「２集団撮影モード」（被写体数２）、「３集団撮影モード」（被写体数３）などのモード設定があり、これをユーザーが設定する。
【０３１８】
なお、ここでは「被写体の数」は領域として一塊になっている人物などの数である。例えば、第１の被写体、第２の被写体としてそれぞれ１人ずつならば、被写体の数は２となる。第１の被写体は１人として、もし、第２の被写体が２人の場合、その２人がくっつきあって写る場合は、一塊の領域となっているので、第２の被写体を１とし、被写体の数は合計２となるが、２人が距離を空けて離れている場合は、一塊の領域となっていないので、第２の被写体を２とし、被写体の数は合計３となる。
【０３１９】
被写体の領域数は、ノイズ除去されたラベリング画像中の異なるラベル値の領域数を数えればよい（ラベリング値０の部分は除く）。
【０３２０】
そこで、重なり検出手段８は、得られた撮影／合成したい被写体の数と、ノイズ除去されたラベリング画像中の被写体の領域数とが一致するかどうかを見て、一致するならば被写体同士が重なっていないと判断し、一致しない場合は被写体同士が重なっていると判断する。
【０３２１】
この重なり検出手段８による判断の原理は次の通りである。説明を簡単にする為、ここでは撮影／合成したい被写体の数は２とする。
【０３２２】
もし被写体同士が重なっていないならば、当然、第１の被写体の領域と第２の被写体の領域は分離しているはずである。従って、被写体同士が重なっていない場合、ノイズ除去した後の被写体の領域の数は２となるはずである。
【０３２３】
もし被写体同士が重なっているのならば、第１の被写体の領域と第２の被写体の領域は重なっている部分で統合されるため、分離していないはずである。従って、被写体同士が重なっている場合、ノイズ除去した後の被写体の領域の数は１となるはずである。
【０３２４】
撮影／合成したい被写体の数が３でも同様の考え方で、もし被写体同士が重なっていないならば、それぞれの領域は分離されているので、ノイズ除去した後の被写体の領域の数は３となるはずである。もし被写体同士が重なっているのならば、３つの被写体の領域の少なくともいずれか一組は重なっている部分で統合されるため、分離していないはずである。従って、被写体同士が重なっている場合、ノイズ除去した後の被写体の領域の数は１あるいは２となるはずである。
【０３２５】
図６（ａ）、図７（ａ）ではそれぞれ被写体となる人物が１人なので、撮影／合成したい被写体の数は２で設定されているとする。図８（ｃ）では、領域の数は、人型の領域１１２、１１３の２つなので、得られた撮影／合成したい被写体の数と、ノイズ除去されたラベリング画像中の被写体の領域数とが一致する。従って、この場合、重なり検出手段８は被写体同士が重なっていないと判断する。
【０３２６】
重なりがある例として、第２被写体画像の図１０を使う場合を考える。第１被写体画像は図６（ａ）をそのまま使う。これらから生成された差分画像が図１１（ａ）である。図１１（ａ）では、被写体同士が重なってしまい、重なった腕の部分は、第１の被写体と第２の被写体の画像が交じり合った画像となり、それ以外の被写体の部分は、第１の被写体と背景部分、第２の被写体と背景部分の画像が交じり合った画像となっている。図１１（ａ）のラベリング画像が図１１（ｂ）であり、図１１（ｂ）からノイズ除去を施したものが図１１（ｃ）である。
【０３２７】
図１１（ｃ）では、第１の被写体と第２の被写体の領域は腕の部分で結合されてしまっているので、１塊の領域２０２しか残らない。この場合、ノイズ除去されたラベリング画像中の被写体の領域数は１となるので、撮影／合成したい被写体の数と一致せず、重なりがあると判断されることになる。
【０３２８】
なお、重なり検出の方法として、第１の被写体と第２の被写体の輪郭を正確に求めて、その輪郭同士が重なっているかどうかで判断する方法もある。輪郭が正確に求まるのならば、重なりの検出を行うことも可能であり、さらに重なり領域を使った表示、重なり回避などの様々な処理を行うことも可能である。
【０３２９】
しかし、被写体の領域を画像処理だけで完全に正確に抽出することは一般に難しく、人間の知識や人工知能的な高度な処理が一般に必要とされる。領域を抽出する手法の１つである「スネーク」などもあるが、完璧ではない。なお、第１被写体画像および第２被写体画像に加えて、各被写体画像と少なくとも一部共通する背景部分が写っていて被写体は写っていない背景画像を利用するのであれば、重なりの有無にかかわらず、被写体の領域を抽出することができる。これに対し、第１被写体画像と第２被写体画像からだけで、重なりがあるかもしれない被写体の輪郭を正確に抽出するのは難しい。
【０３３０】
従って、ここでは上述した簡単な方法で重なりの有無だけを検出することにする。
【０３３１】
Ｓ５−４では、被写体領域抽出手段７が、ノイズ除去されたラベリング画像中の被写体の領域について、どちらが第１被写体領域で、どちらが補正第２被写体領域なのかを判断して、Ｐ６０へ抜ける。
【０３３２】
上述の背景画像を用いる方法では、背景画像と第１被写体画像との差分画像、背景画像と第２被写体画像との差分画像を使っているので、被写体領域はそれぞれ抽出できる。抽出された被写体領域は、それぞれ第１被写体領域と第２被写体領域となる。つまり、第１被写体領域と第２被写体領域とは独立して抽出できる。
【０３３３】
しかし、本発明では背景画像を使わないので、第１被写体画像と第２被写体画像との差分画像からは、第１被写体の領域と第２被写体領域は独立して抽出できず、第１被写体領域と第２被写体領域とが混ざった形でしか抽出できない。つまり、図８（ｃ）のようなノイズ除去されたラベリング画像からは、被写体領域１１２、１１３が２つ得られるだけで、２つの領域１１２、１１３のうち、どちらが第１被写体領域でどちらが第２被写体領域なのかは、これだけでは被写体領域抽出手段７が判断できない。
【０３３４】
どちらが第１被写体領域か第２被写体領域か判断できないというのは、見方を変えると、第１、第２の被写体の画像か背景部分の画像かを被写体領域抽出手段７が判断できない、ということでもある。
【０３３５】
例えば、第１被写体画像（図６（ａ））と第２被写体画像（図７（ａ））から、図８（ｃ）の領域１１２、１１３に相当する範囲をそれぞれ抜き出したのが図１９（ａ）〜（ｄ）である。すなわち、図１９（ａ）は、第１被写体画像の領域１１２の範囲、図１９（ｂ）は、第２被写体画像の領域１１２の範囲、図１９（ｃ）は、第１被写体画像の領域１１３の範囲、図１９（ｄ）は、第２被写体画像の領域１１３の範囲である。
【０３３６】
背景部分以外は、第１被写体画像中には第１の被写体だけ、第２被写体画像中には第２の被写体だけが写っていることが前提なので、実際には、「図１９（ａ）が第１の被写体の画像で図１９（ｄ）が第２の被写体の画像」、あるいは「図１９（ｂ）が第１の被写体の画像で図１９（ｃ）が第２の被写体の画像」のどちらかが正しいことなる。
【０３３７】
従って、第１被写体領域と第２被写体領域を区別するには、図１９（ａ）、（ｄ）と図１９（ｂ）、（ｃ）のどちらが被写体範囲の画像かを識別すればよい。
【０３３８】
どちらが被写体範囲の画像かを識別するには様々な方法が考えられるが、例えば、被写体や背景の特徴が予めわかっているのならば、それを利用して区別する方法がある。
【０３３９】
例えば、被写体が人物であることが分かっているのならば、被写体範囲の画像には肌色が多く含まれている可能性が高い。従って、肌色が多く含まれる方を被写体範囲の画像とすればよい。
【０３４０】
色の認識の仕方にも様々な方法があるが、例えば、図４のＲ、Ｇ、Ｂの画素値から、色相Ｈ、彩度Ｓ、明度Ｉを求め、主に色相Ｈを使って認識する方法がある。色相Ｈ、彩度Ｓ、明度Ｉの求め方には各種方式があり、一般的な画像処理の本など（例えば、東京大学出版会、１９９１年発行「画像解析ハンドブック」Ｐ４８５〜４９１）に載っているので、ここでは詳細は省略するが、例えば同書籍中の「ＨＳＩ６角錐カラーモデルによる変換」方法では、色相Ｈは０から２πの値域を持つ。
【０３４１】
具体的には、被写体領域抽出手段７が標準となる肌色のＨの範囲を決める。次に、同手段７が図１９（ａ）〜（ｄ）の領域の各画素のＨを求め、標準となる肌色のＨの範囲に入っていれば、肌色としてカウントする。続いて、同手段７が図１９（ａ）、（ｄ）の肌色のカウント数と、図１９（ｂ）、（ｃ）の肌色のカウント数のどちらが多いか比較し、多い方が被写体範囲の画像とすればよい。
【０３４２】
特徴量を使って、どちらが被写体範囲の画像かを識別する方法として、肌色を使う以外にも、例えば、周囲の背景部分と似ているかどうかで識別する方法がある。
【０３４３】
この場合、まず、被写体領域抽出手段７が被写体領域中の特徴量（後述）を第１被写体画像、第２被写体画像で求める。次に、同手段７が被写体領域の周囲の領域（例えば周囲２０ドットなど）の特徴量を求める。被写体領域の周囲は背景部分であり、背景部分は重なるように補正しているので、これは片方だけでも良い場合もある。そして、同手段７が、背景部分の特徴量と近い特徴量をもつ方を背景部分の画像、近くない方を被写体領域の画像と判断すればよい。
【０３４４】
上記の特徴量としては、上述したようなＲ、Ｇ、Ｂの画素値や、色相Ｈ、彩度Ｓ、明度Ｉの他にも、テクスチャなども利用可能である。テクスチャを特徴量として求める方法は様々考案されているが、例えば、明度Ｉのヒストグラムなどがある。これは、ある領域中の画素に対して、全体の和が１．０となるように正規化された明度ＩのヒストグラムＰ（ｉ）、（ｉ＝０、１、‥‥、ｎ−１）、を取り、平均μ、分散（σ¢２）、歪度Ｔｓ、尖度Ｔｋを、被写体領域抽出手段７が以下の式によって求める。なお、（Ｘ¢Ｙ）は、ＸのＹ乗を意味する。
【０３４５】
ｎ−１
μ＝Σ ｉ×Ｐ（ｉ）
ｉ＝０
ｎ−１
σ¢２＝Σ （（ｉ−μ）¢２）×Ｐ（ｉ）
ｉ＝０
ｎ−１
Ｔｓ＝（Σ （（ｉ−μ）¢３）×Ｐ（ｉ））／（σ¢３）
ｉ＝０
ｎ−１
Ｔｋ＝（Σ （（ｉ−μ）¢４）×Ｐ（ｉ））／（σ¢４）
ｉ＝０
以上の４つの値を特徴量として使う。
【０３４６】
特徴量としては、その他にも、同時生起行列や差分統計量、ランレングス行列、パワースペクトル、それらの第２次統計量、高次統計量を使う方法などがあるが、一般的な画像処理の本など（例えば、東京大学出版会、１９９１年発行「画像解析ハンドブック」Ｐ５１７〜５３８）に載っているので、ここでは詳細は省略する。
【０３４７】
これにより、図１９の場合、図１９（ａ）、（ｄ）が、被写体領域抽出手段７によって被写体範囲の画像と判断されたとする。すると、領域１１２が第１被写体領域、領域１１３が第２被写体領域となる。
【０３４８】
なお、ここでの処理は、Ｓ５−３で被写体同士の重なりが無い場合に実行される処理なので、図８（ｃ）のように第１の被写体と第２の被写体が完全に分離した状態になっているはずである。図１１（ｃ）のように、第１の被写体と第２の被写体が統合した状態にはなっていないはずである。
【０３４９】
Ｓ５−５では、Ｓ５−３で、撮影／合成したい被写体の数と、ノイズ除去されたラベリング画像中の被写体の領域数とが一致しなかったため、被写体領域抽出手段７が、ノイズ除去されたラベリング画像中の被写体の領域を、第１被写体領域と第２被写体領域が統合された領域（以降、「被写体統合領域」と呼ぶ）と定めて、Ｐ６０へ処理が抜ける。
【０３５０】
この場合、被写体領域抽出手段７によって第１被写体領域と第２被写体領域を独立して抽出することはあきらめ、統合された領域として処理する。なお、上述したように、第１の被写体と第２の被写体の輪郭を正確に求められる場合は、Ｓ５−３やＳ５−５の処理を行わず、Ｓ５−４の処理を行えばよい。
【０３５１】
以上のＳ５−１からＳ５−５の処理で、図５のＳ５の被写体領域抽出処理が行われる。
【０３５２】
図２０は、図５のＳ６の処理、すなわち重なりに関する処理の一方法を説明するフローチャート図である。重なりに関する別の処理方法に関しては、後で図２１、２３を使って説明する。
【０３５３】
Ｐ６０を経たＳ６−１では、重なり警告手段１１において、重なり検出手段８（Ｓ５）から得られる重なりがあるかどうかの情報から、重なりがある場合はＳ６Ａ−２へ処理が進み、無い場合はＰ７０へ抜ける。
【０３５４】
Ｓ６Ａ−２では、重なり警告手段１１が、第１の被写体と第２の被写体に重なりがあることをユーザー（撮影者）あるいは被写体あるいはその両方に警告して、Ｐ７０へ抜ける。
【０３５５】
警告の通知の仕方としては色々考えられる。
【０３５６】
例えば、合成画像を利用して通知する場合、重なりのある被写体領域を目立つように合成画像に重ねて表示すればよい。図１２はこれを説明する例である。
【０３５７】
図１２では、図１１（ｃ）の領域２０２、すなわち第１の被写体と第２の被写体の重なり合った領域が、合成画像上に重ねて半透明で表示されている。領域２０２の部分を赤などの目立つ色のフィルタをかける（領域２０２に色セロハンを当てるイメージ）とさらに良い。あるいは、領域２０２の領域やその枠を点滅させて表示させても良い。これらの合成方法については、後で図２３で説明する。
【０３５８】
図１２では、さらに文字で警告を行っている例である。図１２の上の方に合成画像に重ねて警告ウィンドウを出し、その中で「被写体が重なっています！」というメッセージを表示している。これも目立つような配色にしたり、点滅させたりしてもよい。
【０３５９】
合成画像に対する上書きは、重なり警告手段１１の指示により、重ね画像生成手段９で行っても良いし、重ね画像表示手段１０で行っても良い。警告ウィンドウを点滅などさせる場合は元の合成画像を残しておく必要があるかもしれないので、重ね画像表示手段１０に対して、例えば主記憶７４または外部記憶７５から警告ウィンドウのデータを間歇的に読み出して与える等して行った方がよい場合が多い。
【０３６０】
これらの警告表示を図３（ａ）のモニター１４１上に表示すれば、撮影しながら重なり状態を確認することができて、撮影に便利である。この時、撮影者は被写体（人物（２））に対して、「重なっているからもっと右の方に動いてくれ」などと、次に撮影した画像を第２被写体画像などとして使う場合に、重なり状態を解消するような指示を行うことができるという利点がある。
【０３６１】
なお、次に撮影した画像を第２被写体画像などとして使う場合とは、ユーザーがメニューやシャッターボタンで第２被写体画像の記録（メモリ書き込み）を指示する場合か、先に説明したように、第２被写体画像を動画的に撮影し補正重ね画像をほぼリアルタイムに表示する繰り返し処理の専用モードになっている場合などが考えられる。
【０３６２】
また、図３（ａ）のモニター１４１は撮影者の方を向いているが、被写体の方にモニターを向けることができる装置ならば、重なり状態を被写体も確認することができ、撮影者に指示されなくても、被写体が自発的に重なりを解消するように動くこともできるようになる。モニター１４１とは別のモニターを用意して、それを被写体が見られるようにするのでもよい。
【０３６３】
また、先に専用モードとして説明したように図５のＳ３からＳ７の処理を繰り返すのならば、現在の重なり状態がほぼリアルタイムで分かるので、被写体の移動によって重なりが解消できたかどうかがほぼリアルタイムで分かり、撮影が便利で効率よくできる。図５のＳ３からＳ７の処理は、充分速いＣＰＵやロジック回路などを使えば、それほど時間は必要ない。実使用上は、１秒に１回程度以上の速さの繰り返し処理を実現できれば、ほぼリアルタイムの表示と言って良い。
【０３６４】
なお、Ｓ４で補正画像を生成する際、第１被写体画像を基準画像にすると、合成画像も第１被写体画像がベースとなる。モニター１４１に写る背景の範囲は第１被写体画像の背景の範囲となる。上述したリアルタイムに繰り返し処理を行う場合、カメラを振ると撮影される背景の範囲が変わるが、撮影される画像は第２被写体画像であって、第１被写体画像ではない。従って、モニター１４１に写る背景の範囲は、第１被写体画像の背景の範囲のまま変わらない。このため、撮影している範囲がモニター１４１に写らない／反映されないというのは、ユーザーにとって違和感がある。
【０３６５】
これに対し、第２被写体画像を基準画像にすると、モニター１４１に写る背景の範囲は第２被写体画像の背景の範囲となる。上述したリアルタイムに繰り返し処理を行う場合、カメラを振ると撮影される背景の範囲が変わり、撮影される画像は第２被写体画像（基準画像）なので、モニター１４１に写る背景の範囲は、撮影中の背景の範囲となる。これにより、撮影している範囲がモニター１４１に写る／反映されるので、ユーザーにとって違和感が少ないという効果が出てくる。
【０３６６】
また、重なり合った被写体領域を合成画像と重ねて表示した結果、重なり具合と合成画像のフレーム枠との関係を見て、被写体がどう動いても重なりが生じたり、被写体がフレームアウトしてしまうとユーザーが判断できれば、もう一度、第１被写体画像の撮影からやり直した方が良いという判断を行うこともできるようになる。
【０３６７】
また、警告の通知の仕方として、図３（ａ）のランプ１４２を点燈あるいは点滅させることで知らせることもできる。警告なので、ランプの色は赤やオレンジなどの色にしておくと分かりやすい。ランプの点滅などは一般にモニター１４１に撮影者が注目していなくても気づきやすいという利点がある。
【０３６８】
また、図１２のように被写体の重ね画像を表示せず、重なりがあることだけを、警告メッセージやランプで知らせてもよい。この場合、どのくらい重なっているかはすぐには分からないが、重なりがあるかないかだけ分かれば、後は被写体が移動するなどして警告通知が無くなるかどうかを見ていれば重なりの無い合成画像を得るという目的は達せられる。従って、警告メッセージやランプで重なりがあることを知らせるだけにすることにより、重なり部分を表示させる処理が省けるという利点が出てくる。
【０３６９】
また、図３（ａ）ではランプ１４２を撮影者側のみ見られるような配置にしているが、もちろん、被写体側からも分かるように、図３（ｂ）の本体１４０の前面側につけてもよい。効果については、モニターを被写体が見られる場合と同様である。
【０３７０】
また、図３（ａ）にはないが、モニター１４１とは別にファインダーのような画像を確認できる別の手段がある場合、そちらにモニター１４１と同じ警告通知を表示したり、ファインダー内部にランプを組み込んでおき、通知する方法も考えられる。
【０３７１】
また、図３（ａ）、図３（ｂ）では示していないが、図２のスピーカ８０を使って警告通知を行っても良い。重なりがある場合に警告ブザーを鳴らしたり、「重なっています」などの音声を出力したりなどして、警告通知を行う。この場合にもランプと同様の効果が期待できる。スピーカを使う場合、光と違って指向性があまりないので、一つのスピーカで撮影者も被写体も両方重なり状態を知ることができるという利点がある。
【０３７２】
以上のＳ６−１からＳ６Ａ−２の処理で、図５のＳ６の重なりに関する処理が行える。
【０３７３】
図２１は、図５のＳ６の処理、すなわち重なりに関する処理の別の一方法を説明するフローチャート図である。
【０３７４】
Ｐ６０を経たＳ６−１では、シャッターチャンス通知手段１２が、重なり検出手段８（Ｓ５）から得られる情報に基づいて重なりがあるかどうかを判断し、重なりがある場合はＰ７０へ処理が抜け、無い場合はＳ６Ｂ−２へ処理が進む。
【０３７５】
Ｓ６Ｂ−２では、シャッターチャンス通知手段１２が、第１の被写体と第２の被写体に重なりがないことをユーザー（撮影者）あるいは被写体あるいはその両方に通知して、Ｐ７０へ抜ける。
【０３７６】
この通知は、実際には、重なりが無いことを通知するというより、重なりがないことによる副次的な操作、具体的には第２被写体を記録するシャッターチャンスであることを通知するような使われ方が最も一般的である。その場合、その通知は、主に撮影者に対するものとなる。
【０３７７】
シャッターチャンスの通知方法に関しては、図２０で説明したような方法がほぼそのまま使える。例えば、図１２のメッセージを「シャッターチャンスです！」などと変えるなどすればよい。その他、ランプ、スピーカについても、色や出力する音の内容などは多少変わるが、通知手法としては同様に利用できる。
【０３７８】
シャッターチャンスであることが分かれば、撮影者はシャッターを切ることで被写体同士に重なりのない状態で撮影／記録することができ、また、被写体もシャッターを切られるかもしれない準備（例えば目線の方向や顔の表情など）を行うことができるという利点が出てくる。
【０３７９】
以上のＳ６−１からＳ６Ｂ−２の処理で、図５のＳ６の重なりに関する処理が行える。
【０３８０】
図２２は、図５のＳ６の処理、すなわち重なりに関する処理のさらに別の一方法を説明するフローチャート図である。
【０３８１】
Ｐ６０を経たＳ６−１では、自動シャッター手段１３が、重なり検出手段８（Ｓ５）から得られる情報に基づいて重なりがあるかどうかを判断し、重なりがある場合はＰ７０へ処理が抜け、無い場合はＳ６Ｃ−２へ処理が進む。
【０３８２】
Ｓ６Ｃ−２では、自動シャッター手段１３が、シャッターボタンが押されているかどうかを判断し、押されていればＳ６Ｃ−３へ進み、押されていなければＰ７０へ抜ける。
【０３８３】
Ｓ６Ｃ−３では、自動シャッター手段１３が、第２被写体画像の記録を第２被写体画像取得手段３へ指示して、Ｐ７０へ処理が抜ける。第２被写体画像取得手段３は、指示に従い、撮影画像を主記憶７４、外部記憶７５などに記録する。
【０３８４】
これによって、被写体同士が重なっていない時にシャッターボタンが押されていれば、自動的に撮影画像を記録することができるようになるという効果が出てくる。同時に、誤って重なっている状態で撮影画像を記録してしまうことを防ぐ効果も出てくる。
【０３８５】
実際の使われ方としては、被写体の様子などを見て、今なら撮影画像を記録しても良いと思ったら撮影者がシャッターボタンを押すが、その時点で必ずしも記録される訳ではなく、重なりがある場合は記録されない。すなわち、自動シャッター手段１３が、重なりがあると判断した場合には、撮影者がシャッターボタンを押しても第２被写体画像取得手段３による記録動作が行われないように、第２被写体画像の記録を禁止する。
【０３８６】
なお、記録されない場合は、その旨を表示やランプ、スピーカなどの通知手段で撮影者などに知らせた方が、シャッターを押したが撮影されてないことが分かってよい。
【０３８７】
そして、被写体が動くなどして、重なりがない状態になった時に、再度シャッターボタンが押されれば、今度は記録される。記録されたことが分かるように、表示やランプ、スピーカなどの通知手段で撮影者などに知らせるとよい。
【０３８８】
シャッターボタンを毎度押すのではなく、押しっぱなしにするならば、重なっている状態から重なりがなくなった瞬間に自動的に記録されることになる。但し、重なりがなくなった瞬間だとまだ被写体が静止しておらず撮影画像がぶれてしまったり、被写体が撮影される状態（被写体が他所を向いている時など）になっていない場合があるので、その場合は自動的に記録するまでに少し時間をあけると良い。
【０３８９】
以上のＳ６−１からＳ６Ｃ−３の処理で、図５のＳ６の重なりに関する処理が行える。
【０３９０】
なお、図２０〜２３の処理は必ずしも排他的な処理ではなく、任意に組み合わせて処理することも可能である。組み合わせの例として、次のような利用シーンが可能となる。
【０３９１】
『被写体同士が重なっている時は「重なっています」と警告がなされ、この時にシャッターボタンを押しても撮影画像は記録されない。警告に応じて被写体が動き、重なりがなくなったらシャッターチャンスランプが点燈する。シャッターチャンスランプが点燈している間にシャッターボタンを押したら撮影画像が記録される。』
次に、図２３は、図５のＳ７の処理、すなわち重ね画像を生成する処理の一方法を説明するフローチャート図である。
【０３９２】
Ｐ７０を経たＳ７−１では、重ね画像生成手段９が、生成する重ね画像の最初の画素位置をカレント画素に設定してＳ７−２へ処理が進む。最初の画素位置は、例えば左上などの隅から始まることが多い。
【０３９３】
なお、「画素位置」は、画像上の特定の位置を表し、左上隅を原点、右方向を＋Ｘ軸、下方向を＋Ｙ軸としたＸ−Ｙ座標系で表現されることが多い。画素位置は、画像を表すメモリ上のアドレスに対応し、画素値はそのアドレスのメモリの値である。
【０３９４】
Ｓ７−２では、重ね画像生成手段９が、カレント画素位置は存在するかどうかを判断し、存在するならばＳ７−３へ処理が進み、存在しないならばＰ８０へ抜ける。
【０３９５】
Ｓ７−３では、重ね画像生成手段９が、カレント画素位置が被写体統合領域内かどうかを判断し、被写体統合領域内ならばＳ７−４へ処理が進み、そうでないならばＳ７−５へ処理が進む。
【０３９６】
被写体統合領域内かどうかは、重なり検出手段８（Ｓ５−５）で被写体統合領域が得られ、かつ、被写体統合領域画像中のカレント画素位置が黒（０）かどうかで判断できる。
【０３９７】
Ｓ７−４では、重ね画像生成手段９が、設定に応じた合成画素を生成して、重ね画像のカレント画素位置の画素値として書き込む。
【０３９８】
設定とは、つまりどのような合成画像を合成するかということである。例えば、図９（ｂ）のように第１の被写体を半透明で合成するのか、図９（ａ）のように不透明で第１の被写体をそのまま上書きで合成するのか、図１２のように第１の被写体も第２の被写体も半透明で合成するのか、などである。ここでは、被写体統合領域内を扱っているので、実質的には、その領域の合成割合（透過率）に関する設定となる。
【０３９９】
合成割合（透過率）が決まれば、第１被写体画像のカレント画素位置の画素値Ｐ１と補正画像生成手段５（Ｓ４）から得られる補正第２被写体画像のカレント画素位置の画素値Ｐｆ２を得て、所定の透過率Ａ（０．０から１．０の間の値）で合成画素値（Ｐ１×（１−Ａ）＋Ｐｆ２×Ａ）を求めればよい。
【０４００】
例えば図１２のような被写体統合領域内を半透明とするには、透過率Ａを０．５とすればよい。
【０４０１】
Ｓ７−５では、Ｓ７−３でカレント画素が被写体統合領域に属さないと判断された場合に、重ね画像生成手段９が、カレント画素位置が第１被写体領域内かどうかを判断し、第１被写体領域内ならばＳ７−６へ処理が進み、そうでないならばＳ７−７へ処理が進む。
【０４０２】
第１被写体領域内かどうかは、被写体領域抽出手段７（Ｓ５）から得られる第１被写体領域画像を使い、カレント画素位置が黒（０）かどうかで判断できる。なお、被写体統合領域が存在する場合は、第１被写体領域は存在しないことが分かっているので、第１被写体領域内かどうか判断せずに（Ｓ７−５を省略）、直接、Ｓ７−７へ処理を進めてもよい。
【０４０３】
なお、第１被写体領域であるかどうかで特に処理を変えない場合は、Ｓ７−５，Ｓ７−６は省いて、Ｓ７−３からＳ７−７へ進めばよい。
【０４０４】
Ｓ７−６では、重ね画像生成手段９が、設定に応じた合成画素を生成して、重ね画像のカレント画素位置の画素値として書き込む。ここでの処理は、被写体統合領域（画像）が第１被写体領域（画像）に変わるだけで、Ｓ７−４と同様である。
【０４０５】
図９（ｂ）のように第１の被写体を半透明で合成するのなら、第１の被写体の透過率を０．５とすればよく、図９（ａ）のように不透明で第１の被写体をそのまま上書きで合成するのならば、第１の被写体の透過率を０．０とすればよい。
【０４０６】
Ｓ７−７では、Ｓ７−５でカレント画素が第１被写体領域にも属さないと判断された場合に、重ね画像生成手段９が、カレント画素位置が第２被写体領域内かどうかを判断し、第２被写体領域内ならばＳ７−８へ進み、そうでないならばＳ７−９へ処理が進む。ここでの処理は、第１被写体領域が第２被写体領域に変わるだけで、Ｓ７−５と同様である。
【０４０７】
Ｓ７−８では、重ね画像生成手段９が、設定に応じた合成画素を生成して、重ね画像のカレント画素位置の画素値として書き込む。ここでの処理は、第１被写体領域が第２被写体領域に変わるだけで、Ｓ７−６と同様である。
【０４０８】
Ｓ７−９では、Ｓ７−７でカレント画素が第２被写体領域にも属さないと判断された場合に、重ね画像生成手段９が、第１被写体画像（基準画像）のカレント画素位置の画素値を重ね画像のカレント画素位置の画素値として書き込む。すなわち、この場合のカレント画素位置は、被写体統合領域内でも第１被写体領域内でも第２被写体領域内でもないので、結局、背景部分に相当する。
【０４０９】
Ｓ７−１０では、重ね画像生成手段９が、カレント画素位置を次の画素位置に設定して、Ｓ７−２へ処理が戻る。
【０４１０】
以上のＳ７−１からＳ７−１０の処理で、図５のＳ７の重ね画像生成に関する処理が行われる。
【０４１１】
なお、上記の処理ではＳ７−４やＳ７−６、Ｓ７−９で第１被写体画像や補正第２被写体画像を処理しているが、生成する重ね画像に、Ｓ７−１の前に最初に、第１被写体画像または補正第２被写体画像を全画素コピーしてしまい、その後、各画素位置の処理で第１被写体領域および／または第２被写体領域だけを処理する方法も考えられる。全画素コピーの方が処理手順は単純になるが、処理時間は若干増えるかもしれない。
【０４１２】
なお、ここでは合成画像の大きさを基準画像の大きさにしているが、これより小さくしたり、大きくしたりすることも可能である。例えば図７（ｃ）で補正画像を生成する際、一部を切り捨ててしまっていたが、補正画像の大きさを大きくして切り捨てないようにすれば、合成画像を大きくする時のために、切り捨てずに残した画像を合成に使い、それによって背景を広げることも可能となる。いわゆるパノラマ画像合成のようなことが可能となる効果が出てくる。
【０４１３】
図９（ｂ）は、第１被写体領域だけを半透明に合成した重ね画像である。図９（ｃ）は、第２被写体領域だけを半透明に合成した重ね画像である。図９（ａ）は、両方とも半透明にはせず、どちらも上書きして生成した重ね画像である。また、図１２は、両方とも半透明にして合成した重ね画像である。
【０４１４】
どの合成方法をとるかは目的によるので、ユーザーがそのときの目的に応じた合成方法を選択できるようにすれば良い。
【０４１５】
例えば、第１被写体画像を既に撮影／記録してあり、第２被写体画像を重なり無く撮影する場合などのためには、第１の被写体の詳細な画像は必要なく、第１の被写体が大体どの辺に存在し、第２の被写体と重なりがあるかどうかが分かればよいので、半透明の合成で構わない。また、第２の被写体は、撮影する瞬間にどういう表情をしているとかの詳細が分からないとうまくシャッターを切れないので、半透明ではなく上書きで合成する方が良い。従って、図９（ｂ）のような合成方法が向いている。
【０４１６】
また、既に説明したように、合成画像の背景の範囲が撮影中の画像（第２被写体）の背景の範囲となる方が違和感が少ないなら、第２被写体画像を基準画像にして、かつ、第２の被写体を撮影中であることが分かり易いように図９（ｂ）のように合成する方が向いている。
【０４１７】
また、合成する被写体の領域が分かった方が撮りやすいというユーザーにとっては、撮影中は両者を半透明で合成した方が良い場合や、第２の被写体だけを半透明にした方が良い場合もあるかもしれない。
【０４１８】
また、第２の被写体の撮影／記録が済んで、第１被写体画像、第２被写体画像を使って、最終的な合成画像を作成したい場合は、半透明な被写体では困るので、どちらも上書きで合成する必要がある。従って、図９（ａ）のような合成方法が向いている。
【０４１９】
また、被写体領域取得手段７（Ｓ５）から得られる被写体領域が、前述したように既に膨張されていれば、被写体だけでなく、その周囲の背景部分も一緒に合成してしまうが、既に補正画像生成手段５（Ｓ４）で背景部分は一致するように補正処理されているので、実際の被写体の輪郭の領域よりも多少、抽出する被写体領域が大きめになって背景部分まで含んでしまっていても、合成境界で不自然になることはないという効果が出てくる。
【０４２０】
なお、被写体領域を膨張させて処理するのであれば、合成境界をより自然に見せるように、外部も含めた被写体領域の合成境界付近、あるいは被写体領域内部だけの合成境界付近で、透明度を徐々に変化させて合成させるという方法もある。例えば、被写体領域の外部にいくに従って、背景部分の画像の割合を強くし、被写体領域の内部にいくに従って、被写体領域部分の画像の割合を強くする、といった具合である。
【０４２１】
これにより、もし合成境界付近で補正誤差による多少の背景のずれがあったとしても、不自然さを目立たなくすることができるという効果が出てくる。補正誤差でなく、そもそも被写体領域の抽出が間違っている場合や、撮影時間のずれなどに起因する背景部分の画像の変化（例えば、風で木が動いた、日が陰った、関係無い人が通った、など）があったとしても、同様に、不自然さを目立たなくすることができるという効果が出てくる。
【０４２２】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【０４２３】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０４２４】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク，ハードディスク，光ディスク，光磁気ディスク，磁気テープ，不揮発性のメモリカード，等を用いることができる。
【０４２５】
また、上記プログラムコードは、通信ネットワークのような伝送媒体を介して、他のコンピュータシステムから画像合成装置の主記憶７４または外部記憶７５へダウンロードされるものであってもよい。
【０４２６】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０４２７】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０４２８】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードを格納することになる。
【０４２９】
本発明は上述した各実施形態に限らず、請求項に示した範囲で種々の変更が可能である。
【０４３０】
【発明の効果】
本発明に係る画像合成装置は、以上のように、背景と第１の被写体とを含む画像である第１被写体画像と、上記背景の少なくとも一部と第２の被写体とを含む画像である第２被写体画像との間での、背景部分の相対的な移動量、回転量、拡大縮小率、歪補正量のいずれかもしくは組み合わせからなる補正量を算出する、あるいは予め算出しておいた補正量を読み出す背景補正量算出手段と、第１被写体画像、第２被写体画像のどちらかを基準画像とし、他方の画像を被写体以外の背景の部分が少なくとも一部重なるように前記背景補正量算出手段から得られる補正量で補正し、基準画像と補正した画像を重ねた画像を生成する重ね画像生成手段と、を有する。
【０４３１】
これにより、二つの画像間の背景のずれや歪みを補正して合成することができるので、これによって、被写体など明らかに異なる領域を除いた以外の部分（すなわち背景部分）は、どのように重ねても合成結果がほぼ一致し、合成結果が不自然とならないという効果が出てくる。例えば被写体領域だけを主に合成しようとした時、被写体領域の抽出や指定が多少不正確であっても、被写体領域の周りの背景部分が合成先の画像の部分とずれがないので、不正確な領域の内外が連続した風景として合成され、見た目の不自然さを軽減するという効果が出てくる。
【０４３２】
また、これにより、たとえ被写体領域の抽出が画素単位で正確であったとしても、課題の項で説明した通り、１画素より細かいレベルでの不自然さは従来技術の方法では出てしまうが、本発明では、背景部分のずれや歪みを無くしてから合成しているので、輪郭の画素の周囲の画素は、同じ背景部分の位置の画素となり、合成してもほぼ自然なつながりとなる。このように、１画素より細かいレベルでの不自然さを防ぐ、あるいは軽減するという効果が出てくる。
【０４３３】
また、背景のずれや歪みを補正して合成するので、第１、第２被写体画像の撮影時にカメラなどを三脚などで固定する必要がなく、手などで大体の方向を合わせておけばよく、撮影が簡単になるという効果が出てくる。
【０４３４】
本発明に係る画像合成装置は、以上のように、被写体や風景を撮像する撮像手段を有し、第１被写体画像または第２被写体画像は、前記撮像手段の出力に基づいて生成されてもよい。
【０４３５】
これによって、重ね画像を生成する画像合成装置が、撮像手段を具備することで、ユーザーが被写体や風景を撮影したその場で、重ね画像を生成することができるため、ユーザーにとっての利便性が向上する。また、重ね画像を生成した結果、もし被写体同士の重なりがあるなどの不都合があれば、その場で撮影し直すことができるという効果が出てくる。
【０４３６】
本発明に係る画像合成装置は、以上のように、第１被写体画像と第２被写体画像のうち、後に撮影した方を基準画像としてもよい。
【０４３７】
これにより、表示される合成画像は、直前に撮影したばかりの、あるいは合成画像をリアルタイム表示する形態では現在撮影中の第２被写体画像の背景の範囲となるので、撮影者にとっては違和感が無いという効果が出てくる。
【０４３８】
本発明に係る画像合成装置は、以上のように、前記重ね画像生成手段において、基準画像と補正した画像とを、それぞれ所定の透過率で重ねてもよい。
【０４３９】
上記の構成において、所定の透過率で重ねる形態には、透過率を画素位置によって変える形態がふくまれる。例えば、補正画像中の被写体領域だけを基準画像に重ねる時、被写体領域内は不透明（すなわち補正画像中の被写体の画像そのまま）で重ね、被写体領域周辺は被写体領域から離れるに従い基準画像の割合が強くなるように重ねる。すると、被写体領域、すなわち被写体の輪郭が間違っていたとしても、その周辺の画素は、補正画像から基準画像に徐々に変わっているので、間違いが目立たなくなるという効果が出てくる。
【０４４０】
また、所定の透過率で重ねる形態には、被写体領域だけを半分の透過度で重ねる、などの形態も含まれる。この結果、表示されている画像のどの部分が以前に撮影した合成対象部分で、どの部分が今撮影している画像なのかをユーザーや被写体が判別しやすくなるという効果も出てくる。それにより、被写体同士の重なりなどがある場合も、判別しやすくなるという効果も出てくる。
【０４４１】
本発明に係る画像合成装置は、以上のように、前記重ね画像生成手段において、基準画像と補正した画像の間の差分画像中の差のある領域を、元の画素値と異なる画素値の画像として生成してもよい。
【０４４２】
これによって、二つの画像間で一致しない部分がユーザーに分かりやすくなるという効果が出てくる。例えば、第１や第２の被写体の領域は、基準画像上と補正画像上では、片方は被写体の画像、他方は背景部分の画像となるので、差分画像中の差のある領域として抽出される。抽出された領域を半透明にしたり、反転表示したり、目立つような色の画素値とすることで、被写体の領域がユーザーに分かりやすくなるという効果が出てくる。
【０４４３】
本発明に係る画像合成装置は、以上のように、基準画像と補正した画像の間の差分画像中から、第１の被写体の領域と第２の被写体の領域を抽出する被写体領域抽出手段を有し、前記重ね画像生成手段において、基準画像と補正した画像とを重ねる代わりに、基準画像または補正した画像と前記被写体領域抽出手段から得られる領域内の画像とを重ねる。
【０４４４】
これによって、基準画像上に、補正された被写体画像中の被写体領域のみを合成することできるという効果が出てくる。あるいは、補正された被写体画像上に、基準画像中の被写体領域のみを合成することができるということもできる。
【０４４５】
また、重ね画像生成手段における被写体領域の透過率を変える処理と組み合わせることで、どの領域を合成しようとしているかがユーザーに分かり易く、もし被写体同士に重なりなどがあれば、それもさらに分かり易くなるという効果が出てくる。さらに、それによって、重なりが起きないように撮影を補助することができるという効果が出てくる。重なりがある場合は、被写体やカメラを動かすなどして、重なりの無い状態で撮影し直すのが良い訳だが、この場合の補助とは、例えば、重なりが起きるかどうかをユーザーに認識し易くすることや、どのくらい被写体やカメラを動かせば重なりが解消できそうかを、ユーザーが判断する材料（ここでは合成画像）を与えること、などになる。
【０４４６】
本発明に係る画像合成装置は、以上のように、被写体領域抽出手段は、第１被写体画像中あるいは補正された第１被写体画像中から第１の被写体の領域内の画像および第２の被写体の領域内の画像を抽出すると共に、第２被写体画像中あるいは補正された第２被写体画像中から第１の被写体の領域内の画像および第２の被写体の領域内の画像を抽出し、さらに皮膚色を基準として第１の被写体の画像および第２の被写体の画像を選別してもよい。
【０４４７】
これによって、抽出した画像部分がどちらの被写体であるかを自動的に簡単に判別できる効果が出てくる。
【０４４８】
本発明に係る画像合成装置は、以上のように、前記被写体領域抽出手段は、第１被写体画像中あるいは補正された第１被写体画像中から第１の被写体の領域内の画像および第２の被写体の領域内の画像を抽出すると共に、第２被写体画像中あるいは補正された第２被写体画像中から第１の被写体の領域内の画像および第２の被写体の領域内の画像を抽出し、さらにその各領域外の画像の特徴を基準として第１の被写体の画像および第２の被写体の画像を選別してもよい。
【０４４９】
これによって、抽出した画像部分がどちらの被写体であるかを自動的に簡単に判別できる効果が出てくる。
【０４５０】
本発明に係る画像合成装置は、以上のように、前記被写体領域抽出手段から得られる第１の被写体あるいは第２の被写体の領域の数が、合成する被写体の数として設定された値と一致しない時に、第１の被写体の領域と第２の被写体の領域が重なっていると判断する重なり検出手段を有することを特徴とする。
【０４５１】
これによって、重なり検出手段の判断結果は、重なりの有無を合成画面やランプなどで撮影者や被写体に通知、警告するのに利用することができる。その結果、被写体同士が重なり合っている部分があるかどうかをユーザーに判別させやすくすることができるという効果が出てくる。それによって、重なりが起きないように撮影を補助する効果については、前述したものと同様である。
【０４５２】
本発明に係る画像合成装置は、以上のように、前記重なり検出手段において重なりが検出される時、重なりが存在することを、ユーザーあるいは被写体あるいは両方に警告する重なり警告手段を有してもよい。
【０４５３】
これによって、被写体同士が重なり合っている場合に警告されるので、ユーザーがそれに気づかずに撮影／記録したり合成処理したりということを防ぐことができ、さらに被写体にも位置調整等が必要であることを即時に知らせることができるという撮影補助の効果が出てくる。
【０４５４】
本発明に係る画像合成装置は、以上のように、前記重なり検出手段において、重なりが検出されない時、重なりが存在しないことを、ユーザーあるいは被写体あるいは両方に通知するシャッターチャンス通知手段を有してもよい。
【０４５５】
これによって、被写体同士が重なり合っていない時をユーザーが知ることができるので、撮影や撮影画像記録、合成のタイミングをそれに合わせて行えば、被写体同士が重ならずに合成することができるという撮影補助の効果が出てくる。
【０４５６】
また、被写体にも、シャッターチャンスであることを通知できるので、ポーズや視線などの備えを即座に行えるという撮影補助の効果も得られる。
【０４５７】
本発明に係る画像合成装置は、被写体や風景を撮像する撮像手段を有し、前記重なり検出手段で重なりが検出されない時に、前記撮像手段から得られる画像を第１被写体画像、または第２被写体画像として記録する指示を生成する自動シャッター手段を有してもよい。
【０４５８】
これによって、被写体同士が重なり合っていない時に自動的に撮影が行われるので、ユーザー自身が重なりがあるかどうかを判別してシャッターを押さなくても良いという撮影補助の効果が出てくる。
【０４５９】
本発明に係る画像合成装置は、上記の課題を解決するために、被写体や風景を撮像する撮像手段を有し、前記重なり検出手段で重なりが検出される時に、前記撮像手段から得られる画像を、第１被写体画像、あるいは第２被写体画像として記録することを禁止する指示を生成する自動シャッター手段を有してもよい。
【０４６０】
これによって、被写体同士が重なり合ってる時は撮影が行われないので、ユーザーが誤って重なりがある状態で撮影／記録してしまうことを防ぐ撮影補助の効果が出てくる。
【０４６１】
本発明に係る画像合成方法は、以上のように、背景と第１の被写体とを含む画像である第１被写体画像と、上記背景の少なくとも一部と第２の被写体とを含む画像である第２被写体画像との間での、背景部分の相対的な移動量、回転量、拡大縮小率、歪補正量のいずれかもしくは組み合わせからなる補正量を算出する、あるいは予め算出しておいた補正量を読み出す背景補正量算出ステップと、第１被写体画像、第２被写体画像のどちらかを基準画像とし、他方の画像を被写体以外の背景の部分が少なくとも一部重なるように前記背景補正量算出ステップから得られる補正量で補正し、基準画像と補正した画像を重ねた画像を生成する重ね画像生成ステップと、を有する。
【０４６２】
これによる種々の効果は、前述したとおりである。
【０４６３】
本発明に係る画像合成プログラムは、以上のように、上記画像合成装置が備える各手段として、コンピュータを機能させてもよい。
【０４６４】
本発明に係る画像合成プログラムは、以上のように、上記画像合成方法が備える各ステップをコンピュータに実行させてもよい。
【０４６５】
本発明に係る記録媒体は、上記画像合成プログラムを記録してもよい。
【０４６６】
これにより、上記記録媒体、またはネットワークを介して、一般的なコンピュータに画像合成プログラムをインストールすることによって、該コンピュータを用いて上記の画像合成方法を実現する、言い換えれば、該コンピュータを画像合成装置として機能させることができる。
【図面の簡単な説明】
【図１】 本発明の画像合成装置の機能的な構成を示すブロック図である。
【図２】 各手段を具体的に実現する装置の構成例を説明するブロック図である。
【図３】 （ａ）は、上記画像合成装置の背面の外観例を示す模式的な斜視図、（ｂ）は、上記画像合成装置の前面の外観例を示す模式的な斜視図である。
【図４】 画像データのデータ構造例を説明する説明図である。
【図５】 画像合成方法全体の流れを示すフローチャート図である。
【図６】 （ａ）は、第１被写体画像の例を示す説明図、（ｂ）は、（ａ）の第１被写体画像中の参照マッチングブロックの配置を説明する説明図である。
【図７】 （ａ）は、第２被写体画像の例を示す説明図、（ｂ）は、（ａ）の第２被写体画像中の検出されたマッチングブロックの配置を説明する説明図、（ｃ）は、（ａ）の第２被写体画像を補正した補正第２被写体画像を説明する説明図、（ｄ）は、（ｃ）の補正第２被写体画像のマスク画像を説明する説明図である。
【図８】 （ａ）は、図６（ａ）の第１被写体画像と図７（ｃ）の補正第２被写体画像の差分画像例を示す説明図、（ｂ）は、（ａ）の差分画像から生成したラベル画像例を示す説明図、（ｃ）は、（ｂ）のラベル画像からノイズ部分を除去したラベル画像例を示す説明図である。
【図９】 （ａ）は、図６（ａ）の第１被写体画像に図１９（ｄ）の第２被写体領域部分を重ねて合成した重ね画像例を示す説明図、（ｂ）は、図６（ａ）の第１被写体画像に、図１９（ｂ）の第１被写体領域部分を半透明にして重ね、図１９（ｄ）の第２被写体領域部分を重ねて合成した重ね画像例を示す説明図、（ｃ）は、図６（ａ）の第１被写体画像に、図１９（ｄ）の第２被写体領域部分を半透明にして重ねて合成した重ね画像例を示す説明図である。
【図１０】 図６（ａ）の第１被写体と被写体領域同士が重なる第２被写体画像の例を示す説明図である。
【図１１】 （ａ）は、図６（ａ）の第１被写体画像と図１０の第２被写体画像の補正画像との差分画像例を示す説明図、（ｂ）は、（ａ）の差分画像から生成したラベル画像例を示す説明図、（ｃ）は、（ｂ）のラベル画像からノイズ部分を除去したラベル画像例を示す説明図である。
【図１２】 図１１（ｃ）の被写体領域部分を半分の透過率で重ねて合成し、重なりの警告メッセージを表示させた例を示す説明図である。
【図１３】 第２被写体画像を取得する処理の一方法を説明するフローチャート図である。
【図１４】 背景補正量を算出する処理の一方法を説明するフローチャート図である。
【図１５】 （ａ）は、マッチングを説明する参照画像の例を示す説明図、（ｂ）は、マッチングを説明する探索画像の例を示す説明図である。
【図１６】 第２被写体画像の補正画像を生成し、第１被写体画像との差分画像を生成する処理の一方法を説明するフローチャート図である。
【図１７】 （ａ）は、回転している第２被写体画像の例を示す説明図、（ｂ）は、（ａ）の第２被写体画像中の検出されたマッチングブロックの配置を説明する説明図、（ｃ）は、（ａ）の第２被写体画像を補正した補正第２被写体画像を説明する説明図、（ｄ）は、（ｃ）の補正第２被写体画像画像のマスク画像を説明する説明図である。
【図１８】 被写体領域を抽出する処理の一方法を説明するフローチャート図である。
【図１９】 （ａ）は、図６（ａ）の第１被写体画像中の第１被写体領域の画像を示す説明図、（ｂ）は、図７（ａ）の第２被写体画像中の第１被写体領域の画像を示す説明図、（ｃ）は、図６（ａ）の第１被写体画像中の第２被写体領域の画像を示す説明図、（ｄ）は、図６（ａ）の第２被写体画像中の第２被写体領域の画像を示す説明図である。
【図２０】 被写体領域の重なりを警告する処理の一方法を説明するフローチャート図である。
【図２１】 被写体領域に重なりが無い時に、シャッターチャンスを通知する処理の一方法を説明するフローチャート図である。
【図２２】 被写体領域に重なりが無い時に、自動シャッターを行う処理の一方法を説明するフローチャート図である。
【図２３】 重なり画像を生成する処理の一方法を説明するフローチャート図である。
【符号の説明】
１ 撮像手段
２ 第１被写体画像取得手段
３ 第２被写体画像取得手段
４ 背景補正量算出手段
５ 補正画像生成手段
６ 差分画像生成手段
７ 被写体領域抽出手段
８ 重なり検出手段
９ 重ね画像生成手段
１０ 重ね画像表示手段
１１ 重なり警告手段
１２ シャッターチャンス通知手段
１３ 自動シャッター手段
７４ 主記憶（記録媒体）
７５ 外部記憶（記録媒体）
１１２ 領域（第１被写体領域）
１１３ 領域（第２被写体領域）
１４０ 本体（画像合成装置）
１４１ 表示部兼タブレット
１４３ シャッターボタン
２０２ 領域

Claims (12)

1. 背景と第１の被写体とを含む画像である第１被写体画像と、上記背景の少なくとも一部と第２の被写体とを含む画像である第２被写体画像との間での、背景部分の相対的な移動量、回転量、拡大縮小率、歪補正量のいずれかもしくは組み合わせからなる補正量を算出する、あるいは予め算出しておいた補正量を読み出す背景補正量算出手段と、
   第１被写体画像、第２被写体画像のどちらかを基準画像とし、他方の画像を、被写体以外の背景の部分が少なくとも一部重なるように前記背景補正量算出手段から得られる補正量で補正し、基準画像と補正した画像の間の差分画像中から、第１の被写体の領域と第２の被写体の領域を抽出する被写体領域抽出手段と、
   基準画像または補正した画像と前記被写体領域抽出手段から得られる領域内の画像とを重ねた画像を生成する重ね画像生成手段と、
   前記被写体領域抽出手段から得られる第１の被写体あるいは第２の被写体の領域の数が、合成する被写体の数として設定された値と一致しない時に、第１の被写体の領域と第２の被写体の領域が重なっていると判断する重なり検出手段と、
   を有することを特徴とする画像合成装置。
2. 被写体や風景を撮像する撮像手段を有し、
   第１被写体画像または第２被写体画像は、前記撮像手段の出力に基づいて生成され、
   第１被写体画像と第２被写体画像のうち、後に撮影した方を基準画像とする
   ことを特徴とする請求項１に記載の画像合成装置。
3. 前記重ね画像生成手段において、基準画像と補正した画像とを、それぞれ所定の透過率で重ねる
   ことを特徴とする請求項１に記載の画像合成装置。
4. 前記重ね画像生成手段において、基準画像と補正した画像の間の差分画像中の差のある領域の画素値を、ユーザが識別できるように、元の画素値と異なる画素値に変更する
   ことを特徴とする請求項１に記載の画像合成装置。
5. 前記第１の被写体または第２の被写体の撮像中に、前記重なり検出手段において重なりが検出される時、重なりが存在することを、ユーザーあるいは撮像中の第１の被写体または第２の被写体あるいは両方に警告する重なり警告手段を有する
   ことを特徴とする請求項１に記載の画像合成装置。
6. 前記第１の被写体または第２の被写体の撮像中に、前記重なり検出手段において、重なりが検出されない時、重なりが存在しないことを、ユーザーあるいは撮像中の第１の被写体または第２の被写体あるいは両方に通知するシャッターチャンス通知手段を有する
   ことを特徴とする請求項１に記載の画像合成装置。
7. 被写体や風景を撮像する撮像手段を有し、
   前記重なり検出手段で重なりが検出されない時に、前記撮像手段から得られる画像を第１被写体画像、または第２被写体画像として記録する指示を生成する自動シャッター手段を有することを特徴とする請求項１に記載の画像合成装置。
8. 被写体や風景を撮像する撮像手段を有し、
   前記重なり検出手段で重なりが検出される時に、前記撮像手段から得られる画像を、第１被写体画像、あるいは第２被写体画像とすることを禁止する自動シャッター手段を有する
   ことを特徴とする請求項１に記載の画像合成装置。
9. 背景と第１の被写体とを含む画像である第１被写体画像と、上記背景の少なくとも一部と第２の被写体とを含む画像である第２被写体画像との間での、背景部分の相対的な移動量、回転量、拡大縮小率、歪補正量のいずれかもしくは組み合わせからなる補正量を算出する、あるいは予め算出しておいた補正量を読み出す背景補正量算出ステップと、
   第１被写体画像、第２被写体画像のどちらかを基準画像とし、他方の画像を被写体以外の背景の部分が少なくとも一部重なるように前記背景補正量算出ステップから得られる補正量で補正し、基準画像と補正した画像の間の差分画像中から、第１の被写体の領域と第２の被写体の領域を抽出する被写体領域抽出ステップと、
   基準画像または補正した画像と前記被写体領域抽出手段から得られる領域内の画像とを重ねた画像を生成する重ね画像生成ステップと、
   前記被写体領域抽出ステップから得られる第１の被写体あるいは第２の被写体の領域の数が、合成する被写体の数として設定された値と一致しない時に、第１の被写体の領域と第２の被写体の領域が重なっていると判断する重なり検出ステップと、
   を有することを特徴とする画像合成方法。
10. 請求項１から８のいずれか１項に記載の画像合成装置が備える各手段として、コンピュータを機能させるための画像合成プログラム。
11. 請求項９に記載の画像合成方法が備える各ステップを、コンピュータに実行させるための画像合成プログラム。
12. 請求項１１に記載の画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images