JP3983623B2 - 画像合成装置、画像合成方法、画像合成プログラム、および画像合成プログラムを記録した記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、別々に撮影された複数の被写体を、同時に存在するかのように一枚の画像に合成し、またその際、被写体同士が重なりなく撮影／合成ができるように補助を行う装置および方法およびプログラムおよびプログラム媒体に関する。
【０００２】
【従来の技術】
フィルムカメラやデジタルカメラで、例えば二人で並んで写真を撮る際、三脚を使ってセルフタイマーで撮影するか、通りがかりの人などに頼んで撮影してもらうしかない。
【０００３】
しかし、三脚を持ち歩くのは大変であり、また、見ず知らずの他人に頼むのも気が引けるという問題がある。
【０００４】
それに対して、特開２０００−３１６１２５号公報（２０００年１１月１４日公開）では、同一場所で撮影した複数枚の画像から被写体の領域を抽出し、被写体の画像を背景と合成したりしなかったりすることで、背景のみの画像や別の画像の被写体が同時に存在するかのような画像を合成することができる画像合成装置が開示されている。
【０００５】
また、特開２００１−３３３３２７号公報（２００１年１１月３０日公開）では、撮影済みの参照画像中の指定された領域（被写体領域）を撮影中の画像に重ねてモニタ画面またはファインダ内に表示させることができると共に、被写体領域内の被写体を撮影中の画像に合成した合成画像の画像データを作成することができるデジタルカメラおよび画像処理方法が開示されている。
【０００６】
【発明が解決しようとする課題】
しかし、これら従来技術では、大きく２つの問題が出てくる。
【０００７】
１つ目の問題は、参照画像中の被写体領域を単に切り出して別の画像と重ね合わせるだけでは、被写体領域の指定が不正確な場合に（１）合成結果の被写体が欠けたり、（２）余計なものが合成されたり、（３）指定が正確であっても合成境界が微妙に不自然になったりするという点である。
【０００８】
例えば、（１）の、実際の被写体領域より参照画像中で指定した被写体領域（以下、指定被写体領域と呼ぶ）が欠けている場合は、合成画像上でもその被写体は欠けているので、明らかに不自然となる。
【０００９】
また、（２）の、実際の被写体領域より参照画像中の指定被写体領域が大きすぎる場合は、参照画像上での被写体周囲の背景も含んでしまっていることになる。上でいう「余計なもの」とは、この含んでしまっている背景部分のことである。特開２００１−３３３３２７号公報で説明される合成方法では、参照画像と撮影画像を違う場所で撮影することもありえるので、指定被写体領域に含まれてしまっている背景画像（参照画像上の背景）と、合成画像上でのその周囲の背景（撮影画像上の背景）とは異なることがある。この場合、合成画像上では、指定被写体領域で背景が突然変わるため、不自然な合成画像となる。
【００１０】
仮に、同じ場所、同じ背景でどちらも撮影されたとしても、特開２００１−３３３３２７号公報で説明される合成方法では、参照画像中の指定被写体領域を撮影画像上の任意の位置に配置・合成できるので、指定被写体領域に含まれてしまっている背景画像（参照画像上の背景）と、撮影画像上での合成位置周囲の背景（撮影画像の背景）とが、同じ位置の背景とは限らず、同様に合成結果は不自然となる。
【００１１】
特開２００１−３３３３２７号公報のように、参照画像中の指定被写体領域に対し、ユーザーがタブレットなどを使ってその輪郭を指定する場合、人間が輪郭を判断しながら指定するので指定被写体領域の指定が大きく間違うことは少ないが、１、２画素ないし数画素程度の誤りが出てくる可能性はある。もし、１画素の単位で人手で正確に指定しようとすると、大変な労力が必要となる。
【００１２】
また、（３）の、指定が正確であっても合成境界が微妙に不自然になる場合には、（１）、（２）のような指定被写体領域が画素単位で正確であったとしても、指定被写体領域の合成結果として、その輪郭の画素が撮影画像の背景と馴染まない場合をも含んでいる。
【００１３】
これは、指定被写体領域の輪郭は、画素単位の指定では精度が充分でなく、実際は１画素よりももっと細かい単位でないと表現できないためである。すなわち、輪郭の画素は、本来は被写体部分が（０.Ｘ）画素分、背景部分が（１．０−０．Ｘ）画素分となっており、画素値としては、被写体部分の画素値と背景部分の画素値とが割合に応じて足された値、すなわち平均化された値となっている。
【００１４】
このため、被写体部分と背景部分との割合は、平均化された画素値からは逆算できないので、結局、合成する時は画素単位で扱うしかない。その結果、合成画像の輪郭の画素値には、参照画像の背景の値が含まれてしまい、周囲の撮影画像の背景と馴染まなくなってしまう。
【００１５】
以上の（１）〜（３）の問題は、特開２０００−３１６１２５号公報に開示された合成方法によっても解決できない。同公報には、同一場所または互いに近くの場所で撮影した複数枚の画像を重ねる前に位置合わせを行うことが開示されている。
【００１６】
しかしながら、例えば同じ背景を使って２人が交互にお互いを撮影する場合、カメラの向きの違いによって撮影される背景の位置が移動するだけではなく、カメラの傾きによる画像の回転や、撮影者と被写体との距離のずれによる画像の拡大縮小や、撮影者の背丈の違いによってカメラの仰角が変わることによる画像の歪みが発生する。
【００１７】
このため、重ね合わせようとする画像の位置合わせを単に行うだけでは、上記（１）〜（３）の問題が解消されず、合成結果は不自然になってしまう。
【００１８】
２つ目の問題は、参照画像中の被写体領域と、別の被写体の含まれる撮影画像とを合成することを目的に撮影を行おうとすると、撮影時の被写体の位置に気をつけないと、それぞれの画像中の被写体の領域が合成画像上で互いに重なってしまったり、どちらかの被写体が合成画像からはみ出てしまう場合が出てくるという点である。
【００１９】
この問題に対して、特開２０００−３１６１２５号公報には、撮影済みの画像を使った合成方法が主に説明されているだけであり、被写体同士の重なりや合成画像からのはみだしを防ぐ撮影方法などには触れられていない。
【００２０】
また、特開２００１−３３３３２７号公報の画像処理方法によれば、参照画像中の被写体領域（ユーザーがタブレットなどを使って輪郭を指定する）と撮影中の画像とを重ねて表示することができるので、合成する場合の参照画像中の被写体領域と撮影中の画像中の被写体領域とに関して、被写体同士が重なるかどうかや、被写体領域が合成画像からはみだすかどうかを、撮影時に知ることができる。被写体の重なりやはみだしがある場合は、被写体やカメラを動かすことで撮影中の画像中の被写体の位置を変更することができ、重なりやはみだしが起こらない画像を撮影・記録することができるようになる。
【００２１】
しかし、被写体領域の認識処理や、被写体領域同士が重なっているかどうか、合成画像から被写体領域がはみだしているかどうかの判断処理など、高度な処理を人間自身がしなければならないという不便さがある。また、参照画像中の被写体の領域は手で指定しなければいけないという不便さもある。
【００２２】
本発明の第１の目的は、合成結果が不自然とならないような合成を行う画像合成装置（画像合成方法）を提供することであり、第２の目的は、別々に撮影された複数の被写体を、同時に存在するかのように一枚の画像に合成する際、合成画像上で被写体同士の重なりが起きないように撮影を補助する画像合成装置（画像合成方法）を提供することである。
【００２３】
【課題を解決するための手段】
本発明に係る画像合成装置は、上記の課題を解決するために、背景の画像である背景画像と、前記背景の少なくとも一部と第１の被写体を含む画像である第１被写体画像と、前記背景の少なくとも一部と第２の被写体を含む画像である第２被写体画像との間での、背景の相対的な移動量、回転量、拡大縮小率、歪補正量のいずれかもしくは組み合わせからなる補正量を算出する、あるいは算出して記録しておいた補正量を読み出す背景補正量算出手段と、背景画像、第１被写体画像、第２被写体画像のいずれかを基準画像とし、他の２画像を被写体以外の背景の少なくとも一部が重なるように、前記背景補正量算出手段から得られる補正量で補正し、基準画像と補正した他の１つあるいは２つの画像を重ねた画像を生成する重ね画像生成手段と、を有する。
【００２４】
上記の構成において、「第１の被写体」、「第２の被写体」とは、合成を行おうとしている対象であり、一般には人物であることが多いが物などの場合もある。厳密には、「第１の被写体」は、背景画像と第１被写体画像との間で、背景部分が少なくとも一部重なるようにした時に、画素値が一致しない領域、すなわち変化がある領域は全て「第１の被写体の領域」となる可能性を持つ。したがって、背景画像は第１被写体画像との比較処理によって、「第１の被写体の領域」を抽出する目的で取得される。（なお、背景画像には、第１被写体画像および第２被写体画像の２画像間で、重なる背景部分が存在しない場合に、その存在しない背景部分を埋めるという目的で使われる場合もある。）
但し、背景部分で、風で木の葉が揺れたなどの小さな変化でも変化がある領域となってしまうので、小さな変化や小さな領域はある程度無視する方が、「第１の被写体の領域」を的確に抽出でき、より自然な重ね画像を得ることができる。「第２の被写体」についても同様である。
【００２５】
なお、例えば被写体が人物の場合、被写体は必ずしも一人であるとは限らず、複数の人物をまとめて「第１の被写体」や「第２の被写体」とする場合もある。つまり、複数人であっても、合成の処理の単位としてまとめて扱うものは一つの「被写体」となる。なお、人物でなく、物であっても同様である。
【００２６】
また、被写体は、必ずしも一つの領域であるとは限らず、複数の領域からなる場合もある。「第１」、「第２」は、異なるコマ画像として単に区別する為につけたものであり、撮影の順番などを表すものではなく、本質的な違いはない。また、例えば、人物が服や物などを持っていて、「第１、第２の被写体を含まない背景だけの画像」にそれらが現れないのならば、それらも被写体に含まれる。
【００２７】
「第１被写体画像」、「第２被写体画像」は、上記の「第１の被写体」、「第２の被写体」を含む別々の画像であり、一般には、カメラなどでその被写体を撮影した画像である。但し、画像上に被写体のみしか写っておらず、背景画像と共通する背景部分が全く写っていない場合は、合成に適さないので、少なくとも一部は背景画像と共通する背景部分が写っている必要がある。また、通常は、第１被写体画像、第２被写体画像は、同じ背景を使って、すなわちカメラをあまり動かさないで撮影する場合が多い。
【００２８】
なお、被写体を撮影するカメラは、画像を静止画として記録するスチルカメラである必要はなく、画像を動画として記録するビデオカメラであってもよい。ビデオカメラで静止画としての重ね画像を生成する場合、撮影した動画を構成する１フレームの画像を被写体画像として取り出し、合成に用いることになる。
【００２９】
「背景」とは、風景から「第１の被写体」、「第２の被写体」を除いた部分である。
【００３０】
「背景画像」とは、第１被写体画像、第２被写体画像のそれぞれの背景部分の画像が少なくとも一部含まれている画像であり、第１の被写体、第２の被写体は写っていないものである。通常は、第１被写体画像、第２被写体画像と同じ背景を使って、すなわちカメラをあまり動かさないで、第１の被写体、第２の被写体にカメラの前から外れてもらって撮影する場合が多い。
【００３１】
「第１、第２の被写体以外の背景」とは、第１被写体画像、第２被写体画像から第１被写体の領域、第２被写体の領域を除いた残りの部分である。
【００３２】
「移動量」は、基準画像と背景の少なくとも一部が重なる位置へ、他の画像を平行移動させる量だが、回転や拡大縮小の中心の対応点の移動量と言ってもよい。
【００３３】
「歪補正量」とは、カメラやレンズの位置や方向が変わったことによる撮影画像の変化のうち、平行移動、回転、拡大縮小では補正できない残りの変化を補正する為の補正量である。例えば、高い建物を撮影した時に、上の方が遠近法の効果により同じ大きさであっても小さく写ってしまう「あおり」などとよばれる効果などを補正する場合などがこれに含まれる。
【００３４】
「重ね画像生成手段」は、重ね画像を生成するが、必ずしも一つの画像データとして生成しなくてもよく、他の手段の画像データと合わせて合成したかのように見えるのでも構わない。例えば、表示手段上にある画像を表示する際、その画像に上書きする形で別の画像を一部表示すれば、見た目には２つの画像データから１つの合成画像データを生成し、その合成画像データを表示しているかのように見えるが、実際は、２つの画像データに基づく画像がそれぞれ存在するだけで、合成画像データは存在していない。
【００３５】
背景補正量算出手段による補正量の算出には、例えば、ブロックマッチングなど、２つの画像間での部分的な位置の対応を算出する手法を採用することができる。これらの手法などを利用して、第１被写体画像、第２被写体画像、背景画像の中の２つの画像間での対応を求めれば、背景部分に一致するところがあれば、その部分の位置的な対応を算出することができる。被写体部分は他の画像中には存在しないので、その部分は間違った対応が得られる。背景部分の正しい対応と被写体部分の間違った対応の中から、統計的な手法を使うなどして背景部分の正しい対応だけを得る。残った正しい対応から、背景部分の相対的な移動量、回転量、拡大縮小率、歪補正量のいずれかもしくは組み合わせからなる補正量が算出できる。
【００３６】
重ね画像生成手段は、背景補正量算出手段により算出された補正量に基づき、基準画像に合わせて他の２画像を背景部分が一致するように補正した画像を作る。求めた補正量は２つの画像間の関係を意味し、例えば、ＡとＢの関係，ＢとＣの関係がそれぞれわかれば、ＡとＣの関係も分かるように、３つの画像のうちいずれを基準画像に選んでも、背景補正量算出手段により、その画像と他の２画像との関係は補正量として算出できる。
【００３７】
そして、重ね画像生成手段によって、補正した１つあるいは２つの画像を基準画像に重ねた画像を生成する。画像の重ね方としては、３つの画像の位置的に対応する画素の画像データを、０〜１の範囲で比例配分した任意の比率で混合すればよい。例えば、背景画像の比率を０、第１被写体画像の比率を１、第２被写体画像の比率を０とすれば、その画素には、第１被写体画像の画像データのみが書き込まれる。また、３つの画像の混合比率を１：１：１とすれば、その画素には、３つの画像の画像データを均等に合成した画像データが書き込まれる。
【００３８】
なお、混合比率をどう設定するかは、本発明にとって本質的ではなく、どのような重ね画像を表示ないし出力したいかというユーザーの目的次第である。
【００３９】
以上の処理によって、本発明の重要な特徴として、第１の被写体と第２の被写体とを、背景部分を一致させた状態で一枚の画像上に合成することができる。
【００４０】
なお、背景画像を基準画像とした場合には、補正した第１被写体画像および補正した第２被写体画像から抽出された少なくとも「第１の被写体の領域」および「第２の被写体の領域」が、背景画像に合成される。「第１の被写体の領域」および「第２の被写体の領域」以外の各背景部分については、前述のように、背景画像の対応する画素に所定の比率で合成してもよいし、全く合成しなくてもよい。
【００４１】
また、第１被写体画像および第２被写体画像の一方を基準画像とした場合には、補正した背景画像との比較処理によって、補正した他方の被写体画像から抽出した被写体の領域を基準画像に合成するだけで、重ね画像を生成してもよいし、基準画像の背景部分に、背景画像の対応する画素を０〜１の間の適当な比率で合成してもよい。
【００４２】
このように、基準画像と他の補正した画像を１つ重ねるか、あるいは２つ重ねるかについては、種々のヴァリエーションがある。
【００４３】
以上のとおり、二つの画像間の背景のずれを補正して合成することができるので、これによって、被写体など明らかに異なる領域を除いた以外の部分（すなわち背景部分）は、どのように重ねても合成結果がほぼ一致し、合成結果が不自然とならないという効果が出てくる。例えば被写体領域だけを主に合成しようとした時、被写体領域の抽出や指定が多少不正確であっても、被写体領域の周りの背景部分が合成先の画像の部分とずれや歪みがないので、不正確な領域の内外が連続した風景として合成され、見た目の不自然さを軽減するという効果が出てくる。
【００４４】
被写体領域の抽出が画素単位で正確であったとしても、課題の項で説明した通り、１画素より細かいレベルでの不自然さは従来技術の方法では出てしまうが、本発明では、背景部分を合わせてから合成しているので、輪郭の画素の周囲の画素は、同じ背景部分の位置の画素なので、合成してもほぼ自然なつながりとなる。このように、１画素より細かいレベルでの不自然さを防ぐ、あるいは軽減するという効果が出てくる。
【００４５】
また、背景のずれを補正して合成するので、背景画像や第１／第２被写体画像の撮影時にカメラなどを三脚などで固定する必要がなく、手などで大体の方向を合わせておけばよく、撮影が簡単になるという効果が出てくる。
【００４６】
また、背景画像を使わず、第１／第２被写体画像だけで処理する場合、第１被写体画像と第２被写体画像の背景部分に重なり（一致部分）がない場合、背景補正量算出手段で補正量を算出することができなくなってしまう。背景画像を使う場合、第１被写体画像と第２被写体画像の間では背景部分に重なりがなくても、背景画像と第１被写体画像の背景部分に重なりがあり、背景画像と第２被写体画像の背景部分に重なりがあれば、第１被写体画像と第２被写体画像の間の補正量を算出することができる。
【００４７】
これにより、第１被写体画像の背景部分と第２被写体画像の背景部分の間の背景が抜けていても、その抜けている背景部分を背景画像の背景が埋めていれば、背景部分に重なりの無い第１被写体画像と第２被写体画像を、背景が繋がった状態で合成することができる効果が出てくる。
【００４８】
また、背景画像を利用して、第１被写体画像と第２被写体画像の間の補正量を算出した後、背景画像、第１被写体画像および第２被写体画像のそれぞれから必要な背景部分を取り出して、互いの不足部分を補うことでつなげた背景の上に、第１被写体および第２被写体を合成した重ね画像を作成することができる。
【００４９】
本発明に係る画像合成装置は、上記の課題を解決するために、被写体や風景を撮像する撮像手段を有し、背景画像、または第１被写体画像、または第２被写体画像は、前記撮像手段の出力に基づいて生成されてもよい。
【００５０】
上記の構成によれば、重ね画像を生成する画像合成装置が、撮像手段を具備することで、ユーザーが被写体や風景を撮影したその場で、重ね画像を生成することができるため、ユーザーにとっての利便性が向上する。また、重ね画像を生成した結果、もし被写体同士の重なりがあるなどの不都合があれば、その場で撮影し直すことができるという効果が出てくる。
【００５１】
なお、撮像手段から得られる画像は、通常、画像合成装置に内蔵されているか否かを問わない主記憶や外部記憶などに記録し、シャッターボタンなどを利用して記録するタイミングをユーザーが指示する。そして、記録された画像を背景画像、または第１被写体画像、または第２被写体画像として、合成処理に利用することになる。
【００５２】
本発明に係る画像合成装置は、上記の課題を解決するために、第１被写体画像と第２被写体画像のうち、先に撮影した方を基準画像としてもよい。
【００５３】
上記の構成において、例えば、第１被写体画像、第２被写体画像の順に撮影したとすると、第１被写体画像を基準画像する。背景画像はとりあえずどの順番でもよいとする。第１被写体画像を基準画像として、背景画像、第２被写体画像を補正する。この際、第１被写体画像（基準画像）と背景画像、第２被写体画像と背景画像の間で、背景部分の移動量などの補正量を背景補正量算出手段が算出する。重ね画像生成手段は、その補正量を使って補正を行い、第１被写体画像（基準画像）、補正された背景画像、補正された第２被写体画像の３つの画像を使って、合成画像を合成する。
【００５４】
この時点で、被写体同士に重なりがあるなどの理由で撮影し直す場合には、第２被写体画像のみを撮影し直し、再度、合成画像を生成する。この際、第１被写体画像（基準画像）、補正された背景画像は、再作成する必要はないので、先に合成画像を作成した時のものをそのまま使うことができる。第２被写体画像は変わっているので、第１被写体画像を基準画像として、第２被写体画像を改めて補正する。これにより、補正された新たな第２被写体画像が生成される。第１被写体画像（基準画像）、補正された背景画像、新たに補正された第２被写体画像の３つの画像を使って、合成画像を合成する。
【００５５】
撮影し直しを繰り返す場合は、上記の処理を繰り返せばよい。
【００５６】
もし、後から撮影する第２被写体画像を基準画像とすると、合成に必要な画像は、補正された第１被写体画像、補正された背景画像、第２被写体画像（基準画像）の３つの画像となる。第２被写体画像を撮影し直すと、基準画像が変わるので、補正処理を全てやり直さなければいけなくなる。具体的には、補正された第１被写体画像、補正された背景画像を再度生成しなければいけなくなる。
【００５７】
このように、第１被写体画像と第２被写体画像のうち、先に撮影した方を基準画像とすることで、撮影し直しを繰り返す場合に、処理量・処理時間を減らすことができるという効果が出てくる。
【００５８】
なお、第１の被写体と第２の被写体を合成する場合、背景画像を基準画像とし、背景画像上に第１と第２の被写体の領域の画像を置いて合成するより、第１被写体画像上に第２の被写体の領域の画像を置いて合成する（あるいはその逆）方が、合成する領域が少なくて処理量・処理時間を減らすことができるという効果が出てくる。
【００５９】
また、その場合、合成する領域が少なくなる分、合成結果が不自然となる可能性を減らすことができるという効果が出てくる。合成結果が不自然となる場合とは、例えば、被写体の領域を実際の被写体の輪郭より小さくしてしまうと、合成された被写体が欠けてしまうといったことや、前述した輪郭などが不自然となってしまう場合などのことである。
【００６０】
本発明に係る画像合成装置は、上記の課題を解決するために、基準画像の直前あるいは直後の順で背景画像を撮影してもよい。
【００６１】
上記の構成において、例えば、背景画像、第１被写体画像、第２被写体画像の順、あるいは、第１被写体画像、背景画像、第２被写体画像の順に撮影した場合には、第１被写体画像を基準画像とする。これにより、もし、被写体同士の重なりなどで、第２被写体画像を撮影し直す場合でも、第２の被写体はまだその場にいる可能性が高いので、カメラや第２の被写体が動くなどして微調整して撮影し直すことが容易にできる。
【００６２】
上記と異なり、例えば、第１被写体画像、第２被写体画像、背景画像の順に撮影される場合（第１被写体画像を基準画像とする）を考えてみると、第２被写体画像を撮影する時点では第２の被写体が背景の前に存在している状態だが、背景画像を撮影する時には第２の被写体に背景の前からどいてもらう必要がある。もし、被写体同士の重なりなどで、第２被写体画像を撮影し直すとすれば、第２の被写体はすでにどいてしまっているので、再度、背景の前に立ってもらわなければいけない問題がある。また、たとえ第２の被写体が少し右に動けば重なりが無くなることが分かっていたとしても、先に第２被写体画像を撮影したの時の位置がすぐには分からないので、少し右に動いた位置がどこなのかもすぐには分からない問題がある。
【００６３】
このように、再度撮影し直す際の被写体や撮影者の微調整などの手間を減らし、重なりなどの不具合の少ない画像を撮影し易くなるという効果が出てくる。
【００６４】
また、撮影し易くなる効果だけでなく、処理に関しても効果が出てくる。
【００６５】
本発明の画像合成手法では、背景画像の撮影順に関係無く、結局３枚の画像が揃わなければ合成画像は作成できないのだが、合成画像を作成する際、補正画像の作成以外の処理も考えると、処理手順に違いが出てくる。
【００６６】
最初の例の順番では、第２被写体画像を撮影する前に、背景画像を補正すること以外の処理として、例えば後で説明する第１の被写体の領域抽出などの処理も可能となる。抽出された領域は、合成や重なり検出などに使われる。高速連写をするのでもない限り、２枚目の画像を撮影してから３枚目の画像（第２被写体画像）を撮影するまでには、通常、多少の時間間隔があるので、これらの処理をする時間も充分にある。２枚目の画像を撮影した後に３枚目の画像（第２被写体画像）を撮影した時、合成や重なり検出などの処理に抽出された第１の被写体の領域などを即座に使うことができ、３枚目の画像（第２被写体画像）を撮影した後にかかる処理時間を少なくすることができる効果が出てくる。ユーザーからすれば、合成装置の反応が早くなるという効果となる。
【００６７】
後の例の順番（背景画像が最後）の場合、背景画像が未取得であるため、第１の被写体の領域抽出などの処理は２枚目の画像を撮影した時点ではできず、３枚目の背景画像を撮影した後でしかできないので、３枚目の画像を撮影した後にかかる処理時間は大きくなってしまう。
【００６８】
本発明に係る画像合成装置は、上記の課題を解決するために、前記重ね画像生成手段において、基準画像と補正した他の１つあるいは２つの画像とを、それぞれ所定の透過率で重ねてもよい。
【００６９】
ここで、「所定の透過率」は、固定された値でもよいし、領域に応じて変化させる値や、領域の境界付近で徐々に変化させる値などでもよい。
【００７０】
前記重ね画像生成手段は、重ね画像の画素位置を決め、基準画像上の画素位置の画素値と補正した他の画像上の画素位置の画素値とを得て、その二つの画素値に所定の透過率をそれぞれ掛け合わせた値の合計を重ね画像の画素値とする。この処理を重ね画像の全ての画素位置で行う。
【００７１】
また、透過率を画素位置によって変えれば、場所によって基準画像の割合を強くしたり、補正画像の割合を強くしたりできる。
【００７２】
これを使って、例えば、補正された被写体画像中の被写体領域だけを基準画像に重ねる時、被写体領域内は不透明（すなわち補正画像中の被写体の画像そのまま）で重ね、被写体領域周辺は被写体領域から離れるに従い基準画像の割合が強くなるように重ねる。すると、被写体領域、すなわち抽出した被写体の輪郭が間違っていたとしても、その周辺の画素は、補正画像から基準画像に徐々に変わっているので、間違いが目立たなくなるという効果が出てくる。
【００７３】
また、例えば被写体領域だけを半分の透過度で重ねる、などの合成表示をすることで、表示されている画像のどの部分が以前に撮影した合成対象部分で、どの部分が今撮影している被写体の画像なのかを、判別しやすくするという効果も出てくる。
【００７４】
また、人間は、常識（画像理解）を使うことで、画像中の背景部分と被写体部分（輪郭）を区別する能力を通常、持っている。被写体領域を半分の透過度で重ねて表示しても、その能力は一般に有効である。
【００７５】
従って、被写体領域を半分の透過度で重ねて表示することで、複数の被写体の領域が重なっている場合でも、それぞれの被写体の領域を前記能力で区別することができ、それらが合成画像上で位置的に重なっているかどうかを容易に判断することができる。
【００７６】
第１被写体画像と第２被写体画像を左右に並べて見比べることでも重なりがあるかどうかを判断することは不可能ではないが、その際は、それぞれの画像中の被写体領域を前記能力で区別し、それぞれの画像の背景部分の重なりを考慮して、区別した被写体領域同士が重なるかどうかを頭の中で計算して判断しなければいけない。この一連の作業を頭の中だけで正確に行うことは、合成画像中の被写体領域を区別する先の方法と比べると、難しい。
【００７７】
つまり、背景部分が重なるような位置合わせを機械に行わせることで、人間の高度な画像理解能力を使って、被写体領域同士が重なっているかどうかを判断し易い状況を作り出しているといえる。このように、被写体領域を半分の透過度で重ねて表示することで、被写体同士の重なりなどがある場合も、今撮影している被写体の位置を判別しやすくなるという効果も出てくる。
【００７８】
なお、本請求項に記載した構成を、前記請求項に記載した各構成と、必要に応じて任意に組み合わせてもよい。
【００７９】
本発明に係る画像合成装置は、上記の課題を解決するために、前記重ね画像生成手段において、基準画像と補正した他の１つあるいは２つの画像の間の差分画像中の差のある領域を、元の画素値と異なる画素値の画像として生成してもよい。
【００８０】
ここで、「差分画像」とは、二つの画像中の同じ位置の画素値を比較して、その差の値を画素値として作成する画像のことである。一般には、差の値は絶対値をとることが多い。
【００８１】
「元の画素値と異なる画素値」とは、例えば、透過率を変えて半透明にしたり、画素値の明暗や色相などを逆にして反転表示させたり、赤や白、黒などの目立つ色にしたり、などを実現するような画素値である。また、領域の境界部分と内部とで、前述したように画素値を変えてみたり、境界部分を点線で囲ってみたり、点滅表示（時間的に画素値を変化させる）させてみたり、というような場合も含む。
【００８２】
上記の構成によれば、基準画像と補正した他の画像との間で、同じ画素位置の画素値を得て、その差がある場合はその画素位置の重ね画像の画素値を他の領域とは異なる画素値とする。この処理を全ての画素位置で行うことで、差分部分の領域を元の画素値と異なる画素値の画像として生成することができる。
【００８３】
これによって、二つの画像間で一致しない部分がユーザーに分かりやすくなるという効果が出てくる。例えば、第１や第２の被写体の領域は、基準画像上と補正画像上では、片方は被写体の画像、他方は背景の画像となるので、差分画像中の差のある領域として抽出される。抽出された領域を半透明にしたり、反転表示したり、目立つような色の画素値とすることで、被写体の領域がユーザーに分かりやすく、もし被写体同士に重なりなどがあれば、それも分かり易くなるという効果が出てくる。
【００８４】
なお、本請求項に記載した構成を、前記請求項に記載した各構成と、必要に応じて任意に組み合わせてもよい。
【００８５】
本発明に係る画像合成装置は、上記の課題を解決するために、基準画像と補正した他の１つあるいは２つの画像の間の差分画像中から、第１の被写体の領域と第２の被写体の領域を抽出する被写体領域抽出手段を有し、前記重ね画像生成手段において、基準画像と補正した他の１つあるいは２つの画像とを重ねる代わりに、基準画像と前記被写体領域抽出手段から得られる領域内の補正した他の１つあるいは２つの画像とを重ねることを特徴とする。
【００８６】
ここで、「被写体の領域」とは、被写体が背景と分離される境界で区切られる領域である。例えば、人物が服や物などを持っていて、背景画像にそれらが現れないのならば、それらも被写体であり、被写体領域に含まれる。なお、被写体の領域は、必ずしも繋がった一塊の領域とは限らず、複数の領域に分かれていることもある。
【００８７】
「前記被写体領域抽出手段から得られる領域内の・・・画像を重ねる」とは、その領域以外は何も画像を生成しないということではなく、それ以外の領域は基準画像などで埋めることを意味する。
【００８８】
背景部分は一致するように補正しているのだから、差分として現れるのは主に被写体部分となる。従って、被写体領域抽出手段で、差分画像に含まれている被写体領域を抽出することができる。このとき、差分画像からノイズなどを除去する（例えば、差分の画素値が閾値以下のものを除く）などの処理を施すと、被写体領域をより正確に抽出することができる。
【００８９】
重ね画像を生成する際、各画素位置の画素値を決めるが、その画素位置が被写体領域抽出手段から得られる被写体領域内の場合のみ、被写体の画像を重ねるようにする。
【００９０】
これによって、基準画像上や補正された背景画像上に、補正された被写体画像中の被写体領域のみを合成することできるという効果が出てくる。あるいは、補正された被写体画像上や補正された背景画像上に、基準画像中の被写体領域のみを合成したり、補正された背景画像上に基準画像中の被写体領域と補正された被写体画像中の被写体領域を合成したり、基準画像としての背景画像上に補正された被写体画像中の被写体領域を合成したりするということもできる。
【００９１】
また、被写体領域の透過率を変えるなどして合成するならば、どの領域を合成しようとしているかがユーザーに分かり易く、もし被写体同士に重なりなどがあれば、それもさらに分かり易くなるという効果が出てくる。さらに、それによって、重なりが起きないように撮影を補助することができるという効果が出てくる。
【００９２】
なお、重なりがある場合は、被写体やカメラを動かすなどして、重なりの無い状態で撮影し直すのが良い訳だが、この場合の補助とは、例えば、重なりが起きるかどうかをユーザーに認識し易くすることや、どのくらい被写体やカメラを動かせば重なりが解消できそうかを、ユーザーが判断する材料（ここでは合成画像）を与えること、などになる。
【００９３】
なお、背景画像を使わず、第１被写体画像と第２被写体画像だけで、背景補正量を算出してどちらかを補正し、差分画像を生成し、差分領域を求めることは、背景部分に適当量の重なりがあれば、可能である。その時、第１の被写体の領域と第２の被写体の領域に重なりが無ければ、差分領域は、第１の被写体の輪郭を持つ領域（ここでは説明の為、「第１領域」と呼ぶことにする）と、第２の被写体の輪郭を持つ領域（同様に「第２領域」と呼ぶことにする）との２つの独立した領域として求まる。
【００９４】
この時、１つの被写体画像中で考えれば、第１領域と第２領域の、どちらかが被写体部分で、もう片方は背景部分であることは間違いない（ちなみに、差分領域の周囲は一致する背景部分）。例えば、第１被写体画像であれば、どちらかが第１の被写体部分で、もう片方は背景部分である。あるいは第１領域中で考えれば、第１被写体画像中の第１領域と、第２被写体画像中の第１領域との、どちらかが被写体部分で、もう片方は背景部分である。
【００９５】
しかし、どちらが被写体部分で、どちらが背景部分であるかは、第１被写体画像および第２被写体画像だけから作成した差分画像を使っているだけでは判別できない。
【００９６】
これに対し、背景画像を使う場合、どちらが被写体部分でどちらが背景部分であるかが簡単に判別できる効果が出てくる。例えば背景画像を基準画像とすると、背景画像と補正された第１被写体画像から求められる被写体領域は、第１領域だけとなる。この場合、当然、補正された第１被写体画像中の第１領域は、被写体部分であり、背景画像中の第１領域は背景部分である。第２被写体画像に関しても同様である。差分画像から第１領域と第２領域が同時に検出されることはないので、どちらが被写体部分でどちらが背景部分かはすぐに判別できる。
【００９７】
このように、背景画像、第１被写体画像および第２被写体画像の３枚を用いると、第１の被写体の領域または第２の被写体の領域の抽出が容易になるという効果が出てくる。さらに、第１の被写体の領域または第２の被写体の領域をそれぞれ抽出できるので、各被写体に重なりがある場合に、どちらを優先して合成するか、すなわち重なり部分において、第１の被写体が第２の被写体の上になるように合成するか、下になるように合成するかを決めることができるという効果も出てくる。
【００９８】
なお、本請求項に記載した構成を、前記請求項に記載した各構成と、必要に応じて任意に組み合わせてもよい。
【００９９】
本発明に係る画像合成装置は、上記の課題を解決するために、前記被写体領域抽出手段から得られる第１の被写体の領域と第２の被写体の領域の重なりを検出する重なり検出手段を有することを特徴とする。
【０１００】
上記の構成によれば、被写体領域抽出手段から第１の被写体の領域と第２の被写体の領域が得られるので、重なり検出手段が、ある画素位置について、第１の被写体の領域と第２の被写体の領域の両方に含まれる画素位置かどうかを調べることによって、両方に含まれる画素位置が存在する場合に、重なりがあると判断できる。
【０１０１】
その判断処理に好適な手法としては、例えば、それぞれの領域を被写体領域抽出手段または重なり検出手段が画像として生成し、被写体領域の画素の画素値を所定の値に設定する。そして、重なり検出手段が、各画素位置において、両方の画像の同じ画素位置の画素値が、設定した所定の値かどうかを判断すれば、重なりがあるかどうかを的確に判断できる。
【０１０２】
これによって、被写体同士が重なり合っている部分があるかどうかをユーザーが判別しやすくなるという効果が出てくる。それによって、重なりが起きないように撮影を補助する効果については、前述したものと同様である。
【０１０３】
本発明に係る画像合成装置は、上記の課題を解決するために、前記重なり検出手段において重なりが検出される時、重なりが存在することを、ユーザーあるいは被写体あるいは両方に警告する重なり警告手段を有してもよい。
【０１０４】
ここで、「警告」には、表示手段などに文字や画像で警告することも含まれるし、ランプなどによる光やスピーカなどによる音声、バイブレータなどによる振動など、ユーザーや被写体が感知できる方法ならば何でも含まれる。
【０１０５】
これによって、被写体同士が重なり合っている場合に、重なり警告手段の動作によって警告されるので、ユーザーがそれに気づかずに撮影／記録したり合成処理したりということを防ぐことができ、さらに被写体にも位置調整等が必要であることを即時に知らせることができるという撮影補助の効果が出てくる。
【０１０６】
本発明に係る画像合成装置は、上記の課題を解決するために、前記重なり検出手段において重なりが検出されない時、重なりが存在しないことを、ユーザーあるいは被写体あるいは両方に通知するシャッターチャンス通知手段を有してもよい。
【０１０７】
ここで、「通知」には、「警告」同様、ユーザーや被写体が感知できる方法ならば何でも含まれる。
【０１０８】
これによって、被写体同士が重なり合っていない時をユーザーが知ることができるので、撮影や撮影画像記録、合成のタイミングをそれに合わせて行えば、被写体同士が重ならずに合成することができるという撮影補助の効果が出てくる。
【０１０９】
また、被写体にも、シャッターチャンスであることを通知できるので、ポーズや視線などの備えを即座に行えるという撮影補助の効果も得られる。
【０１１０】
本発明に係る画像合成装置は、上記の課題を解決するために、被写体や風景を撮像する撮像手段を有し、前記重なり検出手段で重なりが検出されない時に、前記撮像手段から得られる画像を背景画像、または第１被写体画像、または第２被写体画像として記録する指示を生成する自動シャッター手段を有してもよい。
【０１１１】
上記の構成において、撮影画像を背景画像や第１被写体画像、第２被写体画像として記録するというのは、例えば、主記憶や外部記憶に記録するなどで実現される。したがって、自動シャッター手段は、第１の被写体の領域と第２の被写体の領域とに重なりが無いという信号を重なり検出手段から入力したときに、主記憶や外部記憶に対する記録制御処理の指示を出力する。
【０１１２】
そして、背景補正量算出手段や重ね画像生成手段は、主記憶や外部記憶に記録されている画像を読み込むことで、背景画像や第１被写体画像、第２被写体画像を得ることができるようになる。
【０１１３】
なお、自動シャッター手段が自動的に指示を出しても、即座に画像が記録されるとは限らない。例えば、同時にシャッターボタンも押されているとか、自動記録モードになっているなどの状態でないと記録されないようにしてもよい。
【０１１４】
これによって、被写体同士が重なり合っていない時に自動的に撮影が行われるので、ユーザー自身が重なりがあるかどうかを判別してシャッターを押さなくても良いという撮影補助の効果が出てくる。
【０１１５】
本発明に係る画像合成装置は、上記の課題を解決するために、被写体や風景を撮像する撮像手段を有し、前記重なり検出手段で重なりが検出される時に、前記撮像手段から得られる画像を、背景画像、あるいは第１被写体画像、あるいは第２被写体画像として記録することを禁止する指示を生成する自動シャッター手段を有してもよい。
【０１１６】
上記の構成によれば、自動シャッター手段は、重なり検出手段から重なりがあるという信号を得たら、撮像手段から得られる画像を主記憶や外部記憶などに記録することを禁止する指示を出力する。この結果、例えば、シャッターボタンが押されたとしても、撮像手段から得られる画像は記録されない。なお、この禁止処理は、自動禁止モードになっているなどの状態でないと行われないようにしてもよい。
【０１１７】
これによって、被写体同士が重なり合ってる時は撮影が行われないので、ユーザーが誤って重なりがある状態で撮影／記録してしまうことを防ぐ撮影補助の効果が出てくる。
【０１１８】
本発明に係る画像合成装置は、上記の課題を解決するために、前記重なり検出手段において、第１の被写体の領域と第２の被写体の領域が重なり合う重なり領域を抽出してもよい。
【０１１９】
上記の構成によれば、重なり検出手段で、重なりがあるかどうか検出する際に、例えば先に説明した画像を使うなどして、重なり領域も同時に抽出できる。この抽出した重なり領域を利用して、被写体同士が重なり合っている部分がある場合に、どの部分が重なっているかを表示などで通知することができる。
【０１２０】
これにより、重なり領域をユーザーが判別しやすくなるという効果が出てくる。また、それによって、カメラや撮影中の被写体がどの方向、位置にどのくらい動けばよいかが判別しやすくなるという撮影補助の効果が出てくる。
【０１２１】
なお、背景画像を使わず、第１被写体画像と第２被写体画像だけで、背景補正量を算出してどちらかを補正し、差分画像を生成し、差分領域を求めることは、背景部分に適当量の重なりがあれば、可能である。その時、第１の被写体の領域と第２の被写体の領域に重なりが無ければ、差分領域は、第１領域と、第２領域との２つの独立した領域として求まる。しかし、重なりがある場合、第１領域と第２領域は独立せず、交じり合った１つの領域として抽出されてしまう。従って、第１被写体画像および第２被写体画像だけから重なっている領域を抽出することは難しい。
【０１２２】
これに対し、背景画像を使う場合は、例えば基準画像を背景画像に取るなどすれば、差分画像中には、第１領域か第２領域のどちらかしか存在せず、第１領域と第２領域は別個に抽出される。同時に抽出されることはない。従って、第１領域と第２領域が重なり合っていても、問題なく第１領域と第２領域を求めるこができる。従って、重なり領域も求めることができる。
【０１２３】
このように、背景画像も使うことで、被写体に重なりがあっても、重なり領域を求めることができる効果が出てくる。
【０１２４】
本発明に係る画像合成装置は、上記の課題を解決するために、前記重ね画像生成手段において、前記重なり検出手段が抽出した重なり領域を元の画素値と異なる画素値の画像として生成してもよい。
【０１２５】
上記の構成によれば、重ね画像生成手段が重ね画像を生成する際、各画素位置の画素値を決めるが、その画素位置が重なり検出手段から得られる重なり領域内の場合（例えば、重なり領域を黒画像として生成した場合、重なり画像の画素位置の画素値が黒であると判定する処理が簡便）は、他の領域とは異なる画素値とする。特に、その領域の境界線や内部を赤などの目立つ色で描画したり、境界線を点滅表示させたり、半透明にして背景が透けるような画素値とすることが好ましい。
【０１２６】
これによって、重なり領域がユーザーや被写体に判別しやすくなるという撮影補助の効果が出てくる。
【０１２７】
本発明に係る画像合成装置は、上記の課題を解決するために、前記重なり検出手段で重なりが検出される場合、重なりを減らす第１の被写体または第２の被写体の位置あるいはその位置の方向を算出する重なり回避方法算出手段と、前記重なり回避方法算出手段から得られる第１の被写体または第２の被写体の位置あるいはその位置の方向を、ユーザーあるいは被写体あるいは両方に知らせる重なり回避方法通知手段と、を有してもよい。
【０１２８】
ここで、被写体領域抽出手段から第１の被写体の領域と第２の被写体の領域の情報が得られ、それらの領域情報から重なり検出手段で重なりに関する情報が得られることは、既に説明したとおりである。
【０１２９】
従って、被写体の領域の位置を被写体領域抽出手段から得た位置と異なる位置にして、重なり検出手段で重なりがどのくらいあるかを調べれば、その位置に被写体が動いたときの重なり量が予測できる。被写体の領域の位置を色々な位置にしてみて、それぞれの重なり量を予測し、最も重なりが少ない位置や方向を重なりを減らす位置や方向としてユーザーや被写体に通知する。
【０１３０】
あるいは、もっと簡単に処理するのならば、一般に被写体間の距離が離れれば重なりは減るはずなのだから、得られた被写体領域から、被写体間の距離が離れる方向を計算することができる。
【０１３１】
得られた重なりが少なくなる位置や方向を、例えば表示で通知する場合、重ね画像を生成する際、各種合成処理を行った後に、矢印などを上書きして生成すればよい。
【０１３２】
これによって、重なりがある場合に、カメラや撮影中の被写体がどの方向、位置に動けばよいかがユーザーが判断しなくても済むという撮影補助の効果が出てくる。
【０１３３】
なお、重なりが少ない位置や方向を算出する被写体は、第１／第２の被写体のどちらでもよいが、先に撮影した被写体は、既にカメラの前から立ち退いており、後で撮影した被写体が、通常、カメラの前に立っていると考えられる。したがって、後で撮影した被写体について位置や方向を算出すれば、その算出結果に基づいて、重なりが少なくなる方向へ被写体が即座に移動すればよいので、使い勝手が良くなる。
【０１３４】
本発明に係る画像合成方法は、上記の課題を解決するために、背景の画像である背景画像と、前記背景の少なくとも一部と第１の被写体を含む画像である第１被写体画像と、前記背景の少なくとも一部と第２の被写体を含む画像である第２被写体画像との間での、背景の相対的な移動量、回転量、拡大縮小率、歪補正量のいずれかもしくは組み合わせからなる補正量を算出する、あるいは算出して記録しておいた補正量を読み出す背景補正量算出ステップと、背景画像、第１被写体画像、第２被写体画像のいずれかを基準画像とし、他の２画像を被写体以外の背景の少なくとも一部が重なるように、前記背景補正量算出ステップから得られる補正量で補正し、基準画像と補正した他の１つあるいは２つの画像を重ねた画像を生成する重ね画像生成ステップとを有する。
【０１３５】
これによる種々の作用効果は、前述したとおりである。
【０１３６】
本発明に係る画像合成プログラムは、上記の課題を解決するために、上記画像合成装置が備える各手段として、コンピュータを機能させてもよい。
【０１３７】
本発明に係る画像合成プログラムは、上記の課題を解決するために、上記画像合成方法が備える各ステップをコンピュータに実行させてもよい。
【０１３８】
本発明に係る記録媒体は、上記の課題を解決するために、上記画像合成プログラムを記録してもよい。
【０１３９】
これにより、上記記録媒体、またはネットワークを介して、一般的なコンピュータに画像合成プログラムをインストールすることによって、該コンピュータを用いて上記の画像合成方法を実現する、言い換えれば、該コンピュータを画像合成装置として機能させることができる。
【０１４０】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
【０１４１】
まず、言葉の定義について説明しておく。
【０１４２】
「第１の被写体」、「第２の被写体」とは、合成を行おうとしている対象であり、一般には人物であることが多いが物などの場合もある。厳密には、「第１の被写体」は、背景画像と第１被写体画像との間で、背景部分が少なくとも一部重なるようにした時に、画素値が一致しない領域、すなわち変化がある領域は全て「第１の被写体の領域」となる可能性を持つ。但し、背景部分で風で木の葉が揺れたなどの小さな変化でも変化がある領域となってしまうので、小さな変化や小さな領域はある程度無視する方が好ましい。「第２の被写体」についても同様である。
【０１４３】
なお、例えば被写体が人物の場合、被写体は必ずしも一人であるとは限らず、複数の人物をまとめて「第１の被写体」や「第２の被写体」とする場合もある。つまり、複数人であっても、合成の処理の単位としてまとめて扱うものは一つの「被写体」となる。
【０１４４】
なお、人物でなく、物であっても同様である。また、被写体は、必ずしも一つの領域であるとは限らず、複数の領域からなる場合もある。「第１」、「第２」は、異なるコマ画像として単に区別する為につけたものであり、撮影の順番などを表すものではなく、本質的な違いはない。また、例えば、人物が服や物などを持っていて、「第１、第２の被写体を含まない背景だけの画像」にそれらが現れないのならば、それらも被写体に含まれる。
【０１４５】
「第１被写体画像」、「第２被写体画像」は、上記の「第１の被写体」、「第２の被写体」を含む別々の画像であり、一般には、カメラなどでその被写体を別々に撮影した画像である。但し、画像上に被写体のみしか写っておらず、背景画像と共通する背景部分が全く写っていない場合は、その共通する背景部分を元にした位置合わせができないので、合成に適さない。したがって、少なくとも一部は（合成した被写体の周囲を自然にするために、より好ましくは、合成しようとする被写体の周囲において）背景画像と共通する背景部分が写っている必要がある。また、通常は、第１被写体画像、第２被写体画像は、同じ背景を使って、すなわちカメラをあまり動かさないで撮影する場合が多い。
【０１４６】
「背景部分」とは、風景から「第１の被写体」、「第２の被写体」を除いた部分である。
【０１４７】
「背景画像」とは、第１被写体画像、第２被写体画像のそれぞれの背景部分の画像が少なくとも一部含まれている画像であり、第１の被写体、第２の被写体は写っていないものである。通常は、第１被写体画像、第２被写体画像と同じ背景を使って、すなわちカメラをあまり動かさないで、第１の被写体、第２の被写体にカメラの前から外れてもらって撮影する場合が多い。
【０１４８】
なお、第１被写体画像および第２被写体画像には、背景画像と位置合わせできる程度に、背景画像と共通する背景部分をそれぞれ含んでいればよい。したがって、第１被写体画像および第２被写体画像の背景部分同士の関係は、完全一致の場合、部分一致の場合、完全不一致の場合のあらゆる場合を含む。
【０１４９】
「第１、第２の被写体以外の背景部分」とは、第１被写体画像、第２被写体画像から第１被写体領域、第２被写体領域を除いた残りの部分である。
【０１５０】
「移動量」は、平行移動させる量だが、回転や拡大縮小の中心の対応点の移動量と言ってもよい。
【０１５１】
「歪補正量」とは、カメラやレンズの位置や方向が変わったことによる撮影画像の変化のうち、平行移動、回転、拡大縮小では補正できない残りの変化を補正する為の補正量である。例えば、高い建物を撮影した時に、上の方が遠近法の効果により同じ大きさであっても小さく写ってしまう「あおり」などとよばれる効果などを補正する場合などがこれに含まれる。
【０１５２】
「重ね画像生成手段」は、重ね画像を生成するが、必ずしも一つの画像として生成しなくてもよく、他の手段と合わせて合成したかのように見えるのでも構わない。例えば、表示手段上にある画像を表示する際、その画像に上書きする形で別の画像を一部表示すれば、見た目には２つの画像から合成画像を生成し、その合成画像を表示しているかのように見えるが、実際は、２つの画像がそれぞれ存在するだけで、合成画像は存在していない。
【０１５３】
「画素値」とは、画素の値であり、一般に所定のビット数を使って表される。例えば、白黒二値の場合は１ビットで表現され、２５６階調のモノクロの場合、８ビット、赤、緑、青の各色２５６階調のカラーの場合、２４ビットで表現される。カラーの場合、赤、緑、青の光の３原色に分解されて表現されることが多い。
【０１５４】
なお、似た言葉として、「濃度値」、「輝度値」などがある。これは目的によって使い分けているだけであり、「濃度値」は主に画素を印刷する場合、「輝度値」は主にディスプレイ上に表示する場合に使われるが、ここでは目的は限定していないので、「画素値」と表現することにする。
【０１５５】
「透過率」とは、複数の画素の画素値に所定の割合の値を掛けて、その和を新たな画素値とする処理において、掛ける「所定の割合の値」のことである。通常、０以上、１以下の値である。また、１つの新たな画素値で使われる各画素の透過率の和は１とする場合が多い。「透過率」でなく、「不透明度」と言う場合もある。「透明度」は１から「不透明度」を引いた値である。
【０１５６】
「所定の透過率」には、固定された値、領域に応じて変わる値、領域の境界付近で徐々に変わる値なども含まれる。
【０１５７】
「差分画像」とは、二つの画像中の同じ位置の画素値を比較して、その差の値を画素値として作成する画像のことである。一般には、差の値は絶対値をとることが多い。
【０１５８】
「元の画素値と異なる画素値」とは、例えば、透過率を変えて半透明にしたり、画素値の明暗や色相などを逆にして反転表示させたり、赤や白、黒などの目立つ色にしたり、などを実現するような画素値である。また、領域の境界部分と内部とで、上記のように画素値を変えてみたり、境界部分を点線で囲ってみたり、点滅表示（時間的に画素値を変化させる）させてみたり、というような場合も含む。
【０１５９】
「被写体の領域」とは、被写体が背景と分離される境界で区切られる領域である。例えば、第１被写体画像中で人物が服や物などを持っていて、背景画像にそれらが現れないのならば、それらも被写体であり、被写体の領域に含まれる。なお、被写体の領域は、必ずしも繋がった一塊の領域とは限らず、複数の領域に分かれていることもある。
【０１６０】
「前記被写体領域抽出手段から得られる領域のみを重ねる」とは、その領域以外は何も画像を生成しないということではなく、それ以外の領域は基準画像などで埋めることを意味する。
【０１６１】
「警告」には、表示手段などに文字や画像で警告することも含まれるし、ランプなどによる光やスピーカなどによる音声、バイブレータなどによる振動など、ユーザーや被写体が感知できる方法ならば何でも含まれる。
【０１６２】
「通知」は、「警告」同様、ユーザーや被写体が感知できる方法ならば何でも含まれる。
【０１６３】
「フレーム（枠）」とは、画像全体の矩形をさす。被写体が画像の端に一部かかっているような場合、フレーム（枠）にかかる、とか、フレーム（枠）から切れる、などと表現することもある。
【０１６４】
図１は、本発明の実施の一形態に係る画像合成方法を実施する画像合成装置を示す構成図である。
【０１６５】
すなわち、画像合成装置の要部を、第１被写体画像取得手段１、背景画像取得手段２、第２被写体画像取得手段３、背景補正量算出手段４、補正画像生成手段５、差分画像生成手段６、被写体領域抽出手段７、重なり検出手段８、重ね画像生成手段９、重ね画像表示手段１０、重なり回避方法算出手段１１、重なり回避方法通知手段１２、重なり警告手段１３、シャッターチャンス通知手段１４、自動シャッター手段１５、撮像手段１６の主要な機能ブロックに展開して示すことができる。
【０１６６】
図２は、図１の各手段１〜１６を具体的に実現する装置の構成例である。
【０１６７】
ＣＰＵ（central processing unit）７０は、背景補正量算出手段４、補正画像生成手段５、差分画像生成手段６、被写体領域抽出手段７、重なり検出手段８、重ね画像生成手段９、重ね画像表示手段１０、重なり回避方法算出手段１１、重なり回避方法通知手段１２、重なり警告手段１３、シャッターチャンス通知手段１４、自動シャッター手段１５として機能し、これら各手段１〜１６の処理手順が記述されたプログラムを主記憶７４、外部記憶７５、通信デバイス７７を介したネットワーク先などから得る。
【０１６８】
なお、第１被写体画像取得手段１、背景画像取得手段２、第２被写体画像取得手段３、撮像手段１６についても、撮像素子や、撮像素子が出力する画像データの各種処理に対する内部制御などの為にＣＰＵなどを使っている場合もある。
【０１６９】
また、ＣＰＵ７０は、ＣＰＵ７０を含めてバス７９を通じ相互に接続されたディスプレイ７１、撮像素子７２、タブレット７３、主記憶７４、外部記憶７５、シャッターボタン７６、通信デバイス７７、ランプ７８、スピーカ８０とデータのやりとりを行ないながら、処理を行なう。
【０１７０】
なお、データのやりとりは、バス７９を介して行う以外にも、通信ケーブルや無線通信装置などデータを送受信できるものを介して行ってもよい。また、各手段１〜１６の実現手段としては、ＣＰＵに限らず、ＤＳＰ(digital signal processor)や処理手順が回路として組み込まれているロジック回路などを用いることもできる。
【０１７１】
ディスプレイ７１は、通常はグラフィックカードなどと組み合わされて実現され、グラフィックカード上にＶＲＡＭ（video random access memory）を有し、ＶＲＡＭ上のデータを表示信号に変換して、モニターなどのディスプレイ（表示／出力媒体）に送り、ディスプレイは表示信号を画像として表示する。
【０１７２】
撮像素子７２は、風景等を撮影して画像信号を得るデバイスであり、通常、レンズなどの光学系部品と受光素子およびそれに付随する電子回路などからなる。ここでは、撮像素子７２は、Ａ／Ｄ変換器などを通して、デジタル画像データに変換する所まで含んでいるとし、バス７９を通じて、第１被写体画像取得手段１、背景画像取得手段２、第２被写体画像取得手段３などに撮影した画像データを送るとする。撮像素子として一般的なデバイスとしては、例えば、ＣＣＤ（charge coupled device）などがあるが、その他にも風景等を画像データとして得られるデバイスならば何でも良い。
【０１７３】
ユーザの指示を入力する手段として、タブレット７３、シャッターボタン７６などがあり、ユーザの指示はバス７９を介して各手段１〜１６に入力される。この他にも各種操作ボタン、マイクによる音声入力など、様々な入力手段が使用可能である。タブレット７３は、ペンとペン位置を検出する検出機器からなる。シャッターボタン７６は、メカニカルもしくは電子的なスイッチなどからなり、ユーザーがボタンを押すことで、通常は、撮像素子７２で撮影された画像を主記憶７４や外部記憶７５などに記録したりする一連の処理を開始させるスタート信号を生成する。
【０１７４】
主記憶７４は、通常はＤＲＡＭ（dynamic random access memory）やフラッシュメモリなどのメモリデバイスで構成される。なお、ＣＰＵ内部に含まれるメモリやレジスタなども一種の主記憶として解釈してもよい。
【０１７５】
外部記憶７５は、ＨＤＤ（hard disk drive）やＰＣ（personal computer) カードなどの装脱着可能な記憶手段である。あるいはＣＰＵ７０とネットワークを介して有線または無線で接続された他のネットワーク機器に取り付けられた主記憶や外部記憶を外部記憶７５として用いることもできる。
【０１７６】
通信デバイス７７は、ネットワークインターフェースカードなどにより実現され、無線や有線などにより接続された他のネットワーク機器とデータをやりとりする。
【０１７７】
スピーカ８０は、バス７９などを介して送られて来る音声データを音声信号として解釈し、音声として出力する。出力される音声は、単波長の単純な音の場合もあるし、音楽や人間の音声など複雑な場合もある。出力する音声が予め決まっている場合、送られて来るデータは音声信号ではなく、単なるオン、オフの動作制御信号だけという場合もある。
【０１７８】
次に、図１の各手段１〜１６を各手段間のデータ授受の観点から説明する。
【０１７９】
なお、各手段間でのデータのやりとりは、特に注釈なく「＊＊手段から得る」、「＊＊手段へ送る（渡す）」という表現をしている時は、主にバス７９を介してデータをやりとりしているとする。その際、直接各手段間でデータのやりとりをする場合もあれば、主記憶７４や外部記憶７５、通信デバイス７７を介したネットワークなどを間に挟んでデータをやりとりする場合もある。
【０１８０】
第１被写体画像取得手段１は、例えば撮像素子７２を含む撮像手段１６、主記憶７４、外部記憶７５などで構成され、第１被写体画像を、撮像手段１６、主記憶７４、外部記憶７５、通信デバイス７７を介したネットワーク先などから得る。なお、第１被写体画像取得手段１は、撮像素子７２や、撮像素子７２が出力する画像データの各種処理に対する内部制御などの為にＣＰＵなどを含む場合もある。
【０１８１】
撮像手段１６を使う場合は、第１の被写体が含まれる現在の風景（第１被写体画像）を撮像素子７２で撮影することになり、通常はシャッターボタン７６などを押したタイミングなどで撮影し、撮影された画像は、主記憶７４、外部記憶７５、通信デバイス７７を介したネットワーク先などに記録される。
【０１８２】
一方、第１被写体画像取得手段１が、主記憶７４、外部記憶７５、および／または通信デバイス７７を介したネットワーク先などから第１被写体画像を得る場合は、既に撮影されて予め用意してある画像を読み出すことになる。なお、通信デバイス７７を介したネットワーク先などにカメラがあり、ネットワークを通して撮影する場合もある。
【０１８３】
第１被写体画像は、背景補正量算出手段４、補正画像生成手段５、差分画像生成手段６、被写体領域抽出手段７、および／または重ね画像生成手段９などに送られる。
【０１８４】
背景画像取得手段２は、例えば撮像素子７２を含む撮像手段１６、主記憶７４、および／または外部記憶７５などで構成され、背景画像を、撮像手段１６、主記憶７４、外部記憶７５、および／または通信デバイス７７を介したネットワーク先などから得る。なお、背景画像取得手段２は、上記内部制御などの為にＣＰＵなどを含む場合もある。画像の中身が違う以外は、画像の取得方法に関しては、第１被写体画像取得手段１と同様である。
【０１８５】
なお、背景画像は、背景補正量算出手段４、補正画像生成手段５、および／または差分画像生成手段６に送られる。
【０１８６】
第２被写体画像取得手段３は、例えば撮像素子７２を含む撮像手段１６、主記憶７４、および／または外部記憶７５などで構成され、第２の被写体が含まれる画像（第２被写体画像）を、撮像手段１６、主記憶７４、外部記憶７５、および／または通信デバイス７７を介したネットワーク先などから得る。なお、第２被写体画像取得手段３は、内部制御などの為にＣＰＵなどを含む場合もある。画像の中身が違う以外は、画像の取得方法に関しては、第１被写体画像取得手段１と同様である。
【０１８７】
第２被写体画像は、背景補正量算出手段４、補正画像生成手段５、差分画像生成手段６、被写体領域抽出手段７、および／または重ね画像生成手段９などに送られる。
【０１８８】
背景補正量算出手段４としてのＣＰＵ７０は、第１被写体画像、第２被写体画像、および背景画像中の被写体以外の背景の相対的な移動量、回転量、拡大縮小率、歪補正量のいずれかもしくは組み合わせからなる補正量を算出する。
【０１８９】
この場合、少なくとも一部共通する背景を持つ２つの画像同士で、一方を基準画像とし、その基準画像と他の画像との間の補正量が最低限求まればよい。残りの画像についても、前記基準画像または他の画像のどちらか、または双方と少なくとも一部共通する背景を持っていさえすれば、基準画像に対する補正量を最終的に算出することができる。
【０１９０】
なお、補正量は相対的なものなので、基準画像と他の画像との間の補正量を直接的でなく、間接的に計算で求めてもよい。例えば、第１被写体画像が基準画像の時、基準画像と第２被写体画像の間の補正量、基準画像と背景画像の間の補正量が直接得られなくても、基準画像と背景画像の間の補正量、第２被写体画像と背景画像の間の補正量を直接得られるならば、その２つの補正量から基準画像と第２被写体画像の間の補正量を計算で求めることも可能である。
【０１９１】
背景補正量算出手段４は、算出した補正量を補正画像生成手段５に送る。なお、予め算出しておいた補正量を背景補正量算出手段４が読み出す場合は、主記憶７４、外部記憶７５、および／または通信デバイス７７を介したネットワーク先などから補正量を読み出すことになる。
【０１９２】
補正画像生成手段５としてのＣＰＵ７０は、第１被写体画像、第２被写体画像、背景画像のいずれかを基準画像とし、他の２画像を被写体以外の背景の部分が重なるように背景補正量算出手段４から得られる補正量で補正した画像を生成し、差分画像生成手段６および重ね画像生成手段９へ送る。なお、予め生成しておいた補正画像を補正画像生成手段５が読み出す場合は、主記憶７４、外部記憶７５、および／または通信デバイス７７を介したネットワーク先などから読み出すことになる。
【０１９３】
差分画像生成手段６としてのＣＰＵ７０は、補正画像生成手段５で決めた基準画像と補正画像生成手段５から得られる補正した他の１つあるいは２つの画像の間の差分画像を生成して、生成した差分画像を被写体領域抽出手段７および重ね画像生成手段９へ送る。基準画像は、第１被写体画像、第２被写体画像、背景画像のいずれかである。
【０１９４】
被写体領域抽出手段７としてのＣＰＵ７０は、差分画像生成手段６から得られる差分画像から第１、第２の被写体の領域を抽出して、抽出した領域を重なり検出手段８および重ね画像生成手段９へ送る。
【０１９５】
重なり検出手段８としてのＣＰＵ７０は、被写体領域抽出手段７から得られる第１、第２の被写体の領域から第１、第２の被写体同士の重なりを検出して、重なりが存在するかどうかの情報と重なり領域の情報とを、重ね画像生成手段９、重なり回避方法算出手段１１、重なり警告手段１３、シャッターチャンス通知手段１４および自動シャッター手段１５に送る。
【０１９６】
重ね画像生成手段９としてのＣＰＵ７０は、第１被写体画像取得手段１から得られる第１被写体画像、第２被写体画像取得手段３から得られる第２被写体画像、背景画像取得手段２から得られる背景画像、補正画像生成手段５から得られる補正画像を、全部あるいは一部重ねた画像を生成し、生成した画像を重ね画像表示手段１０に送る。
【０１９７】
また、重ね画像生成手段９は、差分画像生成手段６から得られる差分画像中の差のある領域を、元の画素値と異なる画素値の画像として生成する場合もある。
【０１９８】
また、重ね画像生成手段９は、被写体領域抽出手段７から得られる第１の被写体と第２の被写体の領域のみを基準画像などに重ねる場
合もある。
【０１９９】
また、重ね画像生成手段９は、重なり検出手段８から得られる重なりの領域を、元の画素値と異なる画素値の画像として生成する場合もある。
【０２００】
重ね画像表示手段１０としてのＣＰＵ７０は、重ね画像生成手段９から得られる重ね画像をディスプレイ７１などに表示する。
【０２０１】
また、重ね画像表示手段１０は、重なり回避方法通知手段１２から得られる重なり回避方法の情報に応じて、重なり回避方法の表示を行う場合や、重なり警告手段１３から得られる警告情報に応じて、警告表示を行う場合や、シャッターチャンス通知手段１４から得られるシャッターチャンス情報に応じて、シャッターチャンスである旨の表示を行う場合や、自動シャッター手段１５から得られるシャッター情報に応じて、自動シャッターが行われた旨の表示を行う場合もある。
【０２０２】
重なり回避方法算出手段１１としてのＣＰＵ７０は、重なり検出手段８から得られる重なりに関する情報から、第１と第２の被写体の重なりを減らす、あるいは無くすように、第１あるいは第２の被写体の位置あるいはその位置の方向を算出し、その算出した位置や方向を示す情報を重なり回避方法として重なり回避方法通知手段１２へ渡す。位置や方向を求める被写体は、第１あるいは第２の被写体のどちらでも可能だが、現在撮影中の（あるいは最後に撮影した）被写体の方が利便性がよい。
【０２０３】
重なり回避方法通知手段１２としてのＣＰＵ７０は、重なり回避方法算出手段１１から得られた上述の重なり回避方法を、ユーザーあるいは被写体あるいは両方に通知する。
【０２０４】
通知には、通知内容を文字などにして重ね画像表示手段１０に送ってディスプレイ７１に表示させたり、ランプ７８を使って光で知らせたり、スピーカ８０を使って音で知らせたりする種々の形態を採用できる。通知することができるのならば、それ以外のデバイスなどを使っても良い。
【０２０５】
重なり警告手段１３としてのＣＰＵ７０は、重なり検出手段８から得られる重なり情報から、重なりが存在する場合、ユーザーあるいは被写体あるいは両方に重なりがあることを通知する。通知方法に関しては、重なり回避方法通知手段１２の説明と同様である。
【０２０６】
シャッターチャンス通知手段１４としてのＣＰＵ７０は、重なり検出手段８から得られる重なり情報から、重なりが存在しない場合、ユーザーあるいは被写体あるいは両方に重なりが無いことを通知する。通知方法に関しては、重なり回避方法通知手段１２の説明と同様である。
【０２０７】
自動シャッター手段１５としてのＣＰＵ７０は、重なり検出手段８から得られる重なり情報から、重なりが存在しない場合、第２被写体画像取得手段３に対し、撮像手段１６から得られる画像を主記憶７４や外部記憶７５などに記録するように自動的に指示を出す。
【０２０８】
ここでは、撮像手段１６から得られる画像は、背景画像、第１被写体画像または第２被写体画像として主記憶７４や外部記憶７５などに最終的に記録、保存され、合成されるような使い方を主に想定している。最終的に記録、保存されるまでは、背景画像および第１被写体画像を撮像手段１６から得て、得る毎に記録、保存するが、第２被写体画像は撮像手段１６から得られても、すぐには保存されない。
【０２０９】
すなわち、撮像手段１６から得た画像を第２被写体画像とする場合、その得られた第２被写体画像と保存されている背景画像および第１被写体画像とを使って、重なり検出や重なり回避などの処理を行い、重ね画像表示手段１０などでの各種表示や警告、通知などの処理を行う、という一連の処理を繰り返す。そして、自動シャッター手段１５により記録、保存を指示された時、第２被写体画像が最終的に記録、保存される。
【０２１０】
なお、自動シャッター手段１５による撮影許可の指示が存在し、かつ、シャッターボタン７６がユーザーにより押される場合に、第２被写体画像を記録、保存するようにしてもよい。
【０２１１】
また、自動シャッター手段１５が、指示を出した結果、撮像画像が記録されたことをユーザーあるいは被写体あるいは両方に通知してもよい。通知方法に関しては、重なり回避方法通知手段１２の説明と同様である。
【０２１２】
また、自動シャッター手段１５としてのＣＰＵ７０は、記録の指示を行うだけでなく、重なり検出手段８から得られる重なり情報から、重なりが存在する場合、第２被写体画像取得手段３に撮像手段１６から得られる画像を主記憶７４や外部記憶７５などに記録するのを禁止するように自動的に指示を出す。この動作は、上述した自動記録する場合の逆となる。
【０２１３】
この場合、自動シャッター手段１５による保存禁止の指示が存在する場合、シャッターボタン７６がユーザーにより押されても、第２被写体画像は記録、保存されないことになる。
【０２１４】
撮像手段１６は撮像素子７２を主要構成要素として備え、撮像した風景などを画像データとして第１被写体画像取得手段１、第２被写体画像取得手段３および／または背景画像取得手段２に送る。
【０２１５】
図３（ａ）は、本発明に係る画像合成装置の背面からの外観例を示している。本体１４０上に表示部兼タブレット１４１、ランプ１４２、およびシャッターボタン１４３がある。
【０２１６】
表示部兼タブレット１４１は入出力装置（ディスプレイ７１およびタブレット７３等）および重ね画像表示手段１０に相当する。表示部兼タブレット１４１上には、図３（ａ）のように、重ね画像生成手段９で生成された合成画像や重なり回避方法通知手段１２、重なり警告手段１３、シャッターチャンス通知手段１４、自動シャッター手段１５などからの通知／警告情報などが表示される。また、画像合成装置の各種設定メニューなどを表示して、タブレットを使って指やペンなどで設定を変更したりするのにも使われる。
【０２１７】
なお、各種設定などの操作手段として、タブレットだけでなく、ボタン類などがこの他にあってもよい。また、表示部兼タブレット１４１は、本体１４０に対する回転や分離などの方法を用いて、撮影者だけでなく、被写体側でも見られるようになっていてもよい。
【０２１８】
ランプ１４２は、重なり回避方法通知手段１２、重なり警告手段１３、シャッターチャンス通知手段１４または自動シャッター手段１５などからの通知や警告に使われたりする。
【０２１９】
シャッターボタン１４３は、第１被写体画像取得手段１、背景画像取得手段２または第２被写体画像取得手段３が、撮像手段１６から撮影画像を取り込む／記録するタイミングを指示する為に主に使われる。
【０２２０】
また、この例では示していないが、内蔵スピーカなどを通知／警告手段として使ってもよい。
【０２２１】
図３（ｂ）は、本発明に係る画像合成装置の前面からの外観例を示している。本体１４０前面にレンズ部１４４が存在する。レンズ部１４４は、撮像手段１６の一部である。なお、図３（ｂ）の例では示していないが、前面に被写体に情報（前記の通知や警告）を伝えられるように、表示部やランプ、スピーカなどがあってもよい。
【０２２２】
図４は、画像データのデータ構造例を説明する説明図である。画像データは画素データの２次元配列であり、「画素」は、属性として位置と画素値を持つ。ここでは画素値として光の３原色（赤、緑、青）に対応したＲ、Ｇ、Ｂの値を持つとする。図４の横に並んだＲ、Ｇ、Ｂの組で１画素のデータとなる。但し、色情報を持たないモノクロの輝度情報だけを持つ場合は、Ｒ、Ｇ、Ｂの代わりに輝度値を１画素のデータとして持つとする。
【０２２３】
位置はＸ−Ｙ座標（ｘ、ｙ）で表す。図４では左上原点とし、右方向を＋Ｘ方向、下方向を＋Ｙ方向とする。
【０２２４】
以降では説明の為、位置（ｘ、ｙ）の画素を「Ｐ（ｘ、ｙ）」と表すが、画素Ｐ（ｘ、ｙ）の画素値も「画素値Ｐ（ｘ、ｙ）」あるいは単に「Ｐ（ｘ、ｙ）」と表す場合もある。画素値がＲ、Ｇ、Ｂに分かれている場合、各色毎に計算は行うが、色に関する特別な処理でなければ、同じ計算処理をＲ、Ｇ、Ｂの値毎に行えばよい。従って、以降では共通した計算方法として「画素値Ｐ（ｘ、ｙ）」を使って説明する。
【０２２５】
図５は、本発明の実施の一形態に係る適応出力方法の一例を示すフローチャート図である。
【０２２６】
まずステップＳ１（以下、「ステップＳ」を「Ｓ」と略記する。）では、背景画像取得手段２が、背景画像を取得し、Ｓ２へ処理が進む。背景画像は、撮像手段１６を使って撮影してもよいし、予め主記憶７４、外部記憶７５、通信デバイス７７を介したネットワーク先などに用意してある画像を読み出してもよい。
【０２２７】
次に、Ｓ２では、第１被写体画像取得手段１が、上記背景画像と少なくとも一部共通する背景部分を持つ第１被写体画像を取得し、連結点Ｐ２０（以下、「連結点Ｐ」を「Ｐ」と略記する）を経てＳ３へ処理が進む。第１被写体画像の取得方法は、背景画像と同様である。なお、Ｓ１とＳ２の処理の順番は逆でも良い。
【０２２８】
Ｓ３では、第２被写体画像取得手段３が、上記背景画像または第１被写体画像と少なくとも一部共通する背景部分を持つ第２被写体画像を取得し、Ｐ３０を経てＳ４へ処理が進む。ここでの処理は後で図１４を用いて詳しく説明するが、第２被写体画像の取得方法自体は、背景画像と同様である。
【０２２９】
Ｓ４では、背景補正量算出手段４が、第１被写体画像、第２被写体画像および背景画像から背景補正量を算出して、Ｐ４０を経てＳ５へ処理が進む。第１被写体画像、第２被写体画像、背景画像はそれぞれ、第１被写体画像取得手段１（Ｓ２）、第２被写体画像取得手段３（Ｓ３）、背景画像取得手段２（Ｓ１）から得られる。
【０２３０】
なお、以降、第１被写体画像、第２被写体画像および背景画像を使う際、特にことわりの無い限り、これらの画像の取得元の手段／ステップはＳ４での取得元の手段／ステップと同じなので、以降はこれらの画像の取得元の手段／ステップの説明は省く。
【０２３１】
Ｓ４の処理の詳細は後で図１５を用いて説明する。
【０２３２】
Ｓ５では、補正画像生成手段５が、背景補正量算出手段４から得た背景補正量を使って第１被写体画像、第２被写体画像および背景画像の内の基準画像以外の２つの画像を補正し、差分画像生成手段６が、補正画像生成手段５で補正された画像らと基準画像との間の相互の差分画像を生成して、Ｐ５０を経てＳ６へ処理が進む。Ｓ５の処理の詳細は後で図１７を用いて説明する。
【０２３３】
Ｓ６では、被写体領域抽出手段７が、差分画像生成手段６（Ｓ５）から得られる差分画像から、第１、第２の被写体の領域（以降、第１被写体領域、第２被写体領域と呼ぶ）を抽出して、Ｐ６０を経てＳ７へ処理が進む。Ｓ６の処理の詳細は後で図１９を用いて説明する。
【０２３４】
Ｓ７では、重なり検出手段８が、被写体領域抽出手段７（Ｓ６）から得られる第１、第２の被写体の領域から、それらの領域の重なりに関する情報を得て、Ｐ７０を経てＳ８へ処理が進む。Ｓ７の処理の詳細は後で図を用いて説明する。
【０２３５】
Ｓ８では、重なり回避方法算出手段１１、重なり回避方法通知手段１２、重なり警告手段１３、シャッターチャンス通知手段１４、自動シャッター手段１５のうちの一つ以上の手段が、重なり検出手段８（Ｓ７）から得られる重なりに関する情報に応じて様々な処理を行い、Ｐ８０を経てＳ９へ処理が進む。Ｓ８の処理の詳細は後で図２１から図２４、図２７を用いて説明する。
【０２３６】
Ｓ９では、重ね画像生成手段９が、第１被写体画像、第２被写体画像、背景画像、およびそれらの画像を補正画像生成手段５（Ｓ５）で補正した画像、被写体領域抽出手段７（Ｓ６）から得られる第１、第２の被写体の領域、重なり検出手段８（Ｓ８）から得られる第１、第２の被写体の重なりに関する情報などから、これら複数の画像を重ねる「重ね画像」を生成して、Ｐ９０を経てＳ１０へ処理が進む。Ｓ９の処理の詳細は後で図３０を用いて説明する。
【０２３７】
Ｓ１０では、重ね画像表示手段１０が、重ね画像生成手段９（Ｓ９）から得られる重ね画像をディスプレイ７１などに表示して、処理を終了する。
【０２３８】
これらＳ１からＳ１０の処理で、第１被写体画像、第２被写体画像および背景画像を使って、第１の被写体と第２の被写体を１枚の画像上に合成し、また被写体同士の重なり具合に応じて様々な処理が行えるようになる。
【０２３９】
詳細な処理やその効果については、後で詳しく説明するとして、まず簡単な例で処理の概要を説明する。
【０２４０】
図６（ａ）はＳ１で得る背景画像の例である。建物とそれに通じる道路が背景の風景として写っており、被写体としての人物は存在しない。
【０２４１】
図７（ａ）はＳ２で得る第１被写体画像の例である。図６（ａ）の背景の手前、左側に第１の被写体たる人物（１）が立っている。分かりやすいように人物（１）の顔部分には「１」と記しておく。なお、今後、特にことわりなく「右側」「左側」といった場合、図上での「右側」「左側」という意味だとする。この方向は、撮影者／カメラから見た方向だと思えばよい。
【０２４２】
図８（ａ）はＳ３で得る第２被写体画像の例である。図６（ａ）の背景の手前、右側に第２の被写体たる人物（２）が立っている。分かりやすいように人物（２）の顔部分には「２」と記しておく。
【０２４３】
図６（ｃ）は、図６（ａ）の背景画像と図７（ａ）の第１被写体画像との間で背景補正量を求め、第１被写体画像を基準画像として、背景画像を補正した画像である。同様に、図８（ｃ）は、図７（ａ）の第１被写体画像と図８（ａ）の第２被写体画像との間で背景補正量を求め、第１被写体画像を基準画像として、第２被写体画像を補正した画像である。
【０２４４】
補正された画像は実線の枠で囲われた範囲であり、補正のされ方が分かるように、元の図６（ａ）の背景画像と図８（ａ）の第２被写体画像の範囲を、それぞれ図６（ｃ）と図８（ｃ）上に点線の枠で示してある。
【０２４５】
例えば、図６（ａ）の背景画像は、図７（ａ）の背景の少し右側の風景を撮影して得られている。このため、図６（ａ）の背景画像を図７（ａ）の背景と重なるように補正するには、図６（ａ）の少し左側の風景を選択する必要がある。従って、図６（ｃ）は、図６（ａ）より少し左側の風景となるように補正されている。元の図６（ａ）の範囲は点線で示されている。図６（ａ）より左側の風景の画像は存在しないので、図６（ｃ）では左端の点線から左の部分が空白となっている。逆に図６（ａ）の右端の部分は切り捨てられている。
【０２４６】
ここでは拡大縮小や回転などの補正はなく、単なる平行移動だけの補正結果になっている。すなわちＳ４で得られる背景補正量は、ここでは実線の枠と点線の枠のずれが示す平行移動量となる。
【０２４７】
図９（ａ）は、Ｓ５で、図７（ａ）の第１被写体画像と図６（ｃ）の補正された背景画像との間で生成した差分画像である。同様に、図１０（ａ）は、図８（ｃ）の補正された第２被写体画像と図６（ｃ）の補正された背景画像との間で生成した差分画像である。
【０２４８】
差分画像では差分量０の部分（すなわち、背景の一致部分）は黒い領域で示されている。差分がある部分は、被写体の領域内とノイズ部分であり、被写体の領域部分は背景画像と被写体部分の画像が重なり合った妙な画像になっている。（なお、補正によってどちらかの画像しか画素が存在しない領域（例えば図６（ｃ）の左側または右側に位置する実線と点線の間の領域）は差分の対象からは外し、差分量は０としている）。
【０２４９】
図９（ｄ）は、Ｓ６で、図９（ａ）から第１被写体領域を抽出した結果である。抽出処理の詳細については後で説明する。図中の黒い人物の形をした領域１１２が第１被写体領域である。同様に、図１０（ｄ）は、図１０（ａ）から第２被写体領域を抽出した結果である。図中の黒い人物の形をした領域１２２が第２被写体領域である。
【０２５０】
Ｓ７で、図９（ｄ）と図１０（ｄ）の被写体領域同士の重なりを検出するが、この例では重なりは無いので、重なりの図は省略する。
【０２５１】
Ｓ８の重なりに関する処理は様々な処理方法があるが、この例では重なりは検出されないので、ここでは説明を簡単にする為に特に処理は行わないことにしておく。
【０２５２】
図１１（ａ）は、図１０（ｄ）の第２被写体領域に相当する部分の画像を図８（ｃ）の補正された第２被写体画像から抜き出し、図７（ａ）の第１被写体画像に重ねて（上書きして）生成した画像である。これにより、図１１（ａ）では、図７（ａ）と図８（ａ）の別々に写っていた被写体が同じ画像上に重なりなく並んでいる。重ね方に関しても、様々な処理方法があるので、後で詳しく説明する。図１１（ａ）の画像が重ね画像表示手段１０上に合成画像として表示される。
【０２５３】
これによって、別々に撮影された被写体を同時に撮影したかのような画像を合成できるようになる効果が出てくる。
【０２５４】
以上の説明により、処理の概要を一通り説明したが、Ｓ７で被写体領域同士で重なりがある場合のＳ８の処理例の概要について説明していないので、以降、簡単に触れておく。
【０２５５】
図２０（ａ）は、図８（ａ）とは別の第２被写体画像の例である。図８（ａ）と比べると、第２の被写体が同一の背景に対して少し左に位置している。なお、背景画像、第１被写体画像は、図６（ａ）、図７（ａ）と同じものを使うとする。
【０２５６】
図２０（ｂ）は、第２被写体領域を示している。図中の領域１３０が第２被写体領域である。なお、第２被写体領域としての領域１３０は、前述と同じく、図７（ａ）の第１被写体画像と図２０（ａ）の第２被写体画像との間で背景補正量を求め、第１被写体画像を基準画像として、第２被写体画像を補正し、その補正した画像と、図６（ｃ）の補正された背景画像との間で生成した差分画像から抽出されている。
【０２５７】
図１２は、Ｓ７で図９（ｄ）の領域１１２と図２０（ｂ）の領域１３０とを用いて検出された、各被写体の重なり領域を示している。図１２中の黒く塗りつぶされている領域１３１が重なっている領域であり、分かりやすいように第１被写体領域１１２と第２被写体領域１３０を点線で示してある。
【０２５８】
図１３（ａ）は、Ｓ８で重なりがある場合にＳ９で生成される重ね画像の一例を示している。この場合、第１被写体画像に第２の被写体を重ねて上書きした結果、第１の被写体と第２の被写体とが重なる重なり領域１３１に相当する部分を目立つように表示している。すなわち、重なり領域１３１の元の画素値を変更し、例えば黒く塗りつぶす画素値としている。
【０２５９】
このように重なり領域１３１を目立たせた重ね画像を表示することで、第１の被写体と第２の被写体とが重なっていることが、ユーザーや被写体に分かりやすくなるという撮影補助の効果が出てくる。
【０２６０】
以上の説明により、Ｓ７で被写体領域同士で重なりがある場合のＳ８の処理例の概要について説明した。
【０２６１】
なお、これを典型的な利用シーン例で考えると、まず図６（ａ）のような背景画像をカメラ（画像合成装置）で撮影し、記録する。次に同じ背景で図７（ａ）のような第１の被写体を撮影し、記録する。最後に同じ背景で図８（ａ）のような第２の被写体を撮影する。
【０２６２】
なお、第１の被写体と第２の被写体の撮影は、第１の被写体と第２の被写体が交互に行うことで、第３者がいなくても二人だけでも撮影が可能である。背景画像の撮影は第１の被写体でも第２の被写体でもどちらが行っても良いが、次の撮影を考えると第２の被写体が撮影した方がスムーズに処理できる。同じ背景で撮影する為にはカメラは動かさない方が良いが、背景にあわせて補正するので、三脚などで固定までしなくても、手で大体同じ位置で同じ方向を向いて撮影すれば良い。なお、被写体の位置関係は図７（ａ）、図８（ａ）のような左右でなく、任意の位置関係でよい。
【０２６３】
そして、３つの画像を撮影した後、Ｓ４からＳ１０の処理を行い、図１１（ａ）や図１３（ａ）のような表示（や後で説明する警告／通知など）を行う。
【０２６４】
もし、被写体が重なっているなどの表示や通知がある場合、再度、Ｓ１からＳ１０の処理を繰り返してもよい。すなわち背景画像、第１被写体画像、第２被写体画像を撮影し、重ね画像を生成、表示などする。表示される処理結果に満足がいくまで何度でも繰り返せば良い。
【０２６５】
しかし、第２の被写体が位置を移動する場合などは、背景画像と第１の被写体画像は必ずしも撮りなおさなくてもよく、第２の被写体だけ取り直せば済むこともある。その場合は、Ｓ３からＳ１０を繰り返せばよい。
【０２６６】
この場合、Ｓ３の第２被写体画像取得からＳ１０の表示までを自動的に繰り返せば、すなわち第２被写体画像取得をシャッターボタンを押さずに動画を撮影するように連続的に取得し、処理、表示も含めて繰り返すようにすれば、カメラや第２の被写体の移動などに追従してリアルタイムに処理結果が確認できることになる。従って、第２の被写体の移動位置が適切かどうか（重なっていないかどうか）をリアルタイムに知ることができ、重なりが無い合成結果を得る為の第２の被写体の撮影が容易になるという利点が出てくる。
【０２６７】
なお、この繰り返し処理を開始するには、メニューなどから処理開始を選択するなどして、専用モードに入る必要がある。適切な移動位置になったらシャッターボタンを押すことで、第２被写体画像を決定して（記録し）、この繰り返し処理／専用モードを終了させればよい（終了といっても、最後の合成結果を得るＳ１０までは処理を続けてもよい）。
【０２６８】
また、背景画像は良いが第１被写体画像が良く無い場合、例えば、背景の真中に第１の被写体が位置し、第２の被写体をどう配置しても第１の被写体に重なってしまうか、重ならないようにすると第２の被写体が重ね画像からフレームアウトしてしまうような場合、Ｓ２の第１被写体画像の取得からやり直しても良い。
【０２６９】
なお、ここでは第１被写体画像を基準画像として合成しているので、第１被写体画像を撮影し直すが、背景画像を基準画像にして、そこに第１被写体領域と第２被写体領域の画像を合成する場合は、第１被写体画像はそのままで背景画像を撮影し直すという方法もある。
【０２７０】
例えば、基準とする背景画像上に第１被写体を背景が合うように配置するとどうしても背景画像の真中に位置してしまう場合、第２の被写体をその周囲に重なりなく配置するスペースが無い場合がある。その場合、第１の被写体が真中でなく、端に寄った場所に配置されるように背景画像を撮影し直すことで、第２の被写体を配置する領域を空けることができるようになる効果が出てくる。
【０２７１】
以降では、上で説明した処理の詳細を説明する。
【０２７２】
図１４は、図５のＳ３の処理、すなわち第２被写体画像を取得する処理の一方法を説明するフローチャート図である。
【０２７３】
Ｐ２０を経たＳ３−１では、第２被写体画像取得手段３が、第２被写体画像を取得し、Ｓ３−２へ処理が進む。ここでの処理は、図５のＳ１の背景画像の取得と取得方法自体は同様である。
【０２７４】
Ｓ３−２では、同手段３が、自動シャッター手段１５から画像を記録するように指示があるかどうかを判断し、指示があればＳ３−３へ進み、指示がなければＰ３０へ処理が抜ける。
【０２７５】
Ｓ３−３では、同手段３が、Ｓ３−１で取得した第２被写体画像を主記憶７４、外部記憶７５などに記録して、Ｐ３０へ処理が抜ける。
【０２７６】
以上のＳ３−１からＳ３−３の処理で、図５のＳ３の処理が行われる。
【０２７７】
なお、自動シャッター手段１５以外であっても、撮影者によって手動でシャッターボタンが押されたり、セルフタイマーでシャッターが切られた場合などにも撮影画像を記録してもよいが、それはＳ１、Ｓ２、Ｓ３−１の処理に含まれるとする。
【０２７８】
図１５は、図５のＳ４の処理、すなわち背景補正量を算出する処理の一方法を説明するフローチャート図である。
【０２７９】
背景補正量を算出する方法は色々考えられるが、ここではブロックマッチングを使った簡易的な手法について説明する。
【０２８０】
Ｐ３０を経たＳ４−１では、背景補正量算出手段４が、背景画像をブロック領域に分割する。図６（ｂ）は図６（ａ）の背景画像をブロック領域に分割した状態を説明する説明図である。点線で区切られた矩形が各ブロック領域である。左上のブロックを「Ｂ（１，１）」とし、その右が「Ｂ（１，２）」、下が「Ｂ（２，１）」というように表現することにする。図６（ｂ）ではスペースの都合上、例えばＢ（１，１）のブロックではブロックの左上に「１１」と記している。
【０２８１】
Ｓ４−２では、同手段４が、背景画像のブロックが、第１被写体画像、第２被写体画像上でマッチングする位置を求めて、Ｓ４−３へ処理が進む。「（ブロック）マッチング」とは、この場合、背景画像の各ブロックと最もブロック内の画像が似ているブロック領域を第１被写体画像、第２被写体画像上で探す処理である。
【０２８２】
説明の為、ブロックを定義する画像（ここでは背景画像）を「参照画像」と呼び、似ているブロックを探す相手の画像（ここでは第１被写体画像と第２被写体画像）を「探索画像」と呼び、参照画像上のブロックを「参照ブロック」、探索画像上のブロックを「探索ブロック」と呼ぶことにする。参照画像上の任意の点（ｘ、ｙ）の画素値をＰｒ（ｘ、ｙ）、探索画像上の任意の点（ｘ、ｙ）の画素値をＰｓ（ｘ、ｙ）とする。
【０２８３】
なお、参照画像は、背景画像に限らず、基準画像や、基準画像とは無関係に第１被写体画像、第２被写体画像のどちらかに決めても良いのだが、背景部分の補正量を求める為にブロックマッチングを行うので、最も背景部分が多い背景画像を参照画像に選んだ方が、探索画像中の背景画像部分とマッチングする確率が高くなる利点がある。
【０２８４】
例えば、第１被写体画像を参照画像とし、第２被写体画像を探索画像とする時、第２被写体画像上での背景部分（例えば図８（ｂ）のＢ（４，２））が第１被写体画像上での被写体部分に相当する場合、対応するブロックを正しく求めることはできなくなってしまう。背景画像を参照画像とすれば、図８（ｂ）のＢ（４，２）に対応するブロックは、背景画像では図６（ｂ）のＢ（４，２）として存在する。
【０２８５】
今、参照ブロックが正方形で１辺の大きさがｍ画素だとする。すると参照ブロックＢ（ｉ，ｊ）の左上の画素の位置は、
（ｍ×（ｉ−１），ｍ×（ｊ−１））
となり、参照ブロックＢ（ｉ，ｊ）の左上から画素数にして（ｄｘ、ｄｙ）離れた画素値は、
Ｐｒ（ｍ×（ｉ−１）＋ｄｘ、ｍ×（ｊ−１）＋ｄｙ）
となる。
【０２８６】
探索ブロックの左上位置を（ｘｓ、ｙｓ）とした時、参照ブロックＢ（ｉ，ｊ）と探索ブロックの類似度Ｓ（ｘｓ、ｙｓ）は次の２式で求められる。
【０２８７】
Ｄ（ｘｓ、ｙｓ；ｄｘ、ｄｙ）＝｜Ｐｓ（ｘｓ＋ｄｘ、ｙｓ＋ｄｙ）−Ｐｒ（ｍ×（ｉ−１）＋ｄｘ、ｍ×（ｊ−１）＋ｄｙ｜
ｍ−１ ｍ−１
Ｓ（ｘｓ、ｙｓ）＝Σ Σ Ｄ（ｘｓ、ｙｓ；ｄｘ、ｄｙ）
ｄｘ＝０ ｄｙ＝０
Ｄ（ｘｓ、ｙｓ；ｄｘ、ｄｙ）は、参照ブロックと探索ブロックの左上から（ｄｘ、ｄｙ）離れたそれぞれの画素値の間の差の絶対値である。そして、Ｓ（ｘｓ、ｙｓ）は、その差の絶対値をブロック内の全画素について足したものである。
【０２８８】
もし、参照ブロックと探索ブロックが全く同じ画像である（対応する画素値が全て等しい）場合、Ｓ（ｘｓ、ｙｓ）は０となる。似ていない部分が増えると、すなわち画素値の差が大きくなると、Ｓ（ｘｓ、ｙｓ）は大きな値となっていく。従って、Ｓ（ｘｓ、ｙｓ）が小さいほど似たブロックということになる。
【０２８９】
Ｓ（ｘｓ、ｙｓ）は、探索ブロックの左上位置を（ｘｓ、ｙｓ）とした時の類似度なので、（ｘｓ、ｙｓ）を探索画像上で変えれば、それぞれの場所での類似度が得られる。全ての類似度の中で最小となる類似度の位置（ｘｓ、ｙｓ）をマッチングした位置とすればよい。マッチングした位置の探索ブロックを「マッチングブロック」と呼ぶ。
【０２９０】
図１６は、このマッチングの様子を説明した図だが、図１６（ａ）の画像を参照画像、図１６（ｂ）の画像を探索画像とし、画像の中身としてはカギ括弧型の線がそれぞれ少し位置がずれて存在しているとする。参照画像中の参照ブロック１００は、カギ括弧型の線のちょうど角の部分に位置しているとする。探索画像中の探索ブロックとして、探索ブロック１０１、１０２、１０３があったとする。参照ブロック１００と探索ブロック１０１、参照ブロック１００と探索ブロック１０２、参照ブロック１００と探索ブロック１０３でそれぞれ類似度を計算すると、探索ブロック１０１が最も小さな値となるので、探索ブロック１０１を参照ブロック１００に対するマッチングブロックとすればよい。
【０２９１】
以上は一つの参照ブロックＢ（ｉ，ｊ）のマッチングについて説明したが、それぞれの参照ブロックについて、マッチングブロックを求めることができる。図６（ｂ）の４２個の参照ブロックそれぞれに対して、第１被写体画像、第２被写体画像のそれぞれで、マッチングブロックを探すとする。
【０２９２】
なお、マッチングブロックの類似度の求め方については、ここでは各画素値の差分の絶対値を使ったが、それ以外にも様々な方法があり、いずれの手法を使っても良い。
【０２９３】
例えば、相関係数を使う方法や周波数成分を使う方法などもあるし、各種高速化手法などもある。また、参照ブロックの位置や大きさなどの設定の仕方も色々考えられるが、ブロックマッチングの細かな改良方法は本発明の主旨ではないのでここでは省略する。
【０２９４】
なお、参照ブロックの大きさについては、あまり小さくしすぎるとブロック内にうまく特徴が捉えきれずマッチング結果の精度が悪くなるが、逆に大きくしすぎると被写体や画像のフレーム枠を含んでしまいマッチング結果の精度が悪くなったり、回転、拡大縮小などの変化に弱くなってしまうので、適当な大きさにすることが望ましい。
【０２９５】
次に、Ｓ４−３で、同手段４が、Ｓ４−２で求めたマッチングブロックの中から背景部分に相当する探索ブロックだけを抜き出して、Ｓ４−４へ処理が進む。
【０２９６】
Ｓ４−３で求めたマッチングブロックは、最も差分が少ない探索ブロックを選んだだけなので、同じ画像であることが保証されてはおらず、たまたま何かの模様などが似ているだけの場合もある。また、そもそも第１や第２の被写体の為、参照ブロックに相当する画像部分が存在しない場合もあるので、その場合はいいかげんな場所にマッチングブロックが設定されていることになる。
【０２９７】
そこで各マッチングブロックから、参照ブロックと同じ画像部分ではないと判断されるものを取り除くことが必要となる。残ったマッチングブロックは参照ブロックと同じ画像部分であると判断されたものなので、結果的に第１や第２の被写体を除いた背景部分だけが残ることになる。
【０２９８】
マッチングブロックの選別手法は色々考えられるが、ここでは最も単純な方法として、類似度Ｓ（ｘｓ、ｙｓ）を所定の閾値で判断することにする。すなわち、各マッチングブロックのＳ（ｘｓ、ｙｓ）が閾値を超えていたら、そのマッチングは不正確であるとして取り除くという手法である。Ｓ（ｘｓ、ｙｓ）は、ブロックの大きさに影響されるので、閾値はブロックの大きさを考慮して決めるのが望ましい。
【０２９９】
図７（ｂ）は、図７（ａ）の第１被写体画像のＳ４−２のマッチング結果から、不正確なマッチングブロックを取り除いた結果である。正しいと判断されたマッチングブロックには、対応する参照ブロックと同じ番号が振ってある。同様に、図８（ｂ）は図８（ａ）の第２被写体画像のＳ４−２のマッチング結果から、不正確なマッチングブロックを取り除いた結果である。これにより、被写体部分が含まれない、あるいはほとんど含まれない背景部分のマッチングブロックだけが残っているのが分かる。
【０３００】
Ｓ４−４では、同手段４が、Ｓ４−３で得た背景部分のマッチングブロックから、第１被写体画像および第２被写体画像の背景補正量を求めて、Ｐ４０へ処理が抜ける。
【０３０１】
背景補正量として、例えば回転量θ、拡大縮小量Ｒ、および／または平行移動量（Ｌｘ、Ｌｙ）を求めるのだが、計算方法は色々考えられる。ここでは２つのブロックを使った最も簡単な方法について説明する。
【０３０２】
なお、回転量、拡大縮小量、平行移動量以外の歪補正量は、よほど撮影時にカメラを動かすなどしない限り、使わなくても背景部分がほぼ重なり、差分画像でノイズが充分少ない補正ができる場合が多い。回転量、拡大縮小量、平行移動量以外の歪補正量を得るには、最低でも３点あるいは４点以上ブロックを使うことが必要であり、透視変換を考慮した計算が必要となるが、パノラマ画像の合成などでも使われている公知の手法（例えば、「共立出版：ｂｉｔ１９９４年１１月号別冊『コンピュータ・サイエンス』」のＰ９０など）なので、この処理の詳細についてはここでは省略する。
【０３０３】
まず、できるだけ互いの距離が離れているマッチングブロックを２つ選ぶ。なお、Ｓ４−３で残ったマッチングブロックが１つしか無いときは、以降の拡大縮小率、回転量を求める処理は省いて、対応する参照ブロックの位置との差分を平行移動量として求めればよい。Ｓ４−３で残ったマッチングブロックが１つも無かったら、背景画像、第１／第２被写体画像などを撮影し直した方が良いと思われるので、その旨の警告を出すなどするとよい。
【０３０４】
選び方は色々考えられるが、例えば、
１）マッチングブロック中の任意の２つを選び、その二つのブロックの中心位置間の距離を計算する、
２）１）の計算を全てのマッチングブロックの組み合わせで行う、
３）２）の中で最も距離が大きい組み合わせを背景補正量の算出に使う２つのブロックとして選ぶ、
という方法が考えられる。
【０３０５】
ここで、上記３）として挙げたように、互いの距離が最も離れているマッチングブロックを使う利点としては、拡大縮小率や回転量などを求める際の精度が良くなることがあげられる。マッチングブロックの位置は画素単位となるので、精度も画素単位となってしまう。例えば、横に５０画素離れた位置で上に１画素分ずれた時の角度は、横に５画素離れた位置で上に０．１画素分ずれた時の角度と同じになる。しかし、０．１画素のずれはマッチングでは検出できない。従って、できるだけ離れたマッチングブロックを使った方が良い。
【０３０６】
２つのブロックを使っているのは、単に計算が簡単だからである。もっと多くのブロックを使って平均的な拡大縮小率や回転量などを求めるようにすると、誤差が減少する利点が出てくる。
【０３０７】
例えば図８（ｂ）の例では、互いの距離が最も離れている２つのマッチングブロックは、ブロック１５、６１の組み合わせとなる。
【０３０８】
次に、選んだ２つのマッチングブロックの中心位置を、探索画像上の座標で表した（ｘ１’、ｙ１’）、（ｘ２’、ｙ２’）、それに対応する参照ブロックの中心位置を参照画像上の座標で表した（ｘ１、ｙ１）、（ｘ２、ｙ２）とする。
【０３０９】
まず、拡大縮小率について求める。
【０３１０】
マッチングブロックの中心間の距離Ｌｍは、
Ｌｍ＝（（ｘ２’― ｘ１’）×（ｘ２’― ｘ１’）＋（ｙ２’―
ｙ１’）×（ｙ２’― ｙ１’））^１／２
参照ブロックの中心間の距離Ｌｒは、
Ｌｒ＝（（ｘ２― ｘ１）×（ｘ２― ｘ１）＋（ｙ２― ｙ１）×（ｙ２―
ｙ１））^１／２
となり、拡大縮小率Ｒは、
Ｒ＝Ｌｒ／Ｌｍ
で求められる。
【０３１１】
次に回転量について求める。
【０３１２】
マッチングブロックの中心を通る直線の傾きθｍは、
θｍ＝ａｒｃｔａｎ（（ｙ２’― ｙ１’）／（ｘ２’― ｘ１’））
（但し、ｘ２’＝ ｘ１’の時はθｍ＝π／２）、
参照ブロックの中心を通る直線の傾きθｒは、
θｒ＝ａｒｃｔａｎ（（ｙ２― ｙ１）／（ｘ２― ｘ１））
（但し、ｘ２＝ ｘ１の時はθｒ＝π／２）、
で求められる。なお、ａｒｃｔａｎは、ｔａｎの逆関数とする。
【０３１３】
これより、回転量θは、
θ＝θｒ―θｍ
で求められる。
【０３１４】
最後に平行移動量であるが、これは対応するブロック同士の中心位置が等しくなればよいので、例えば、（ｘ１’、ｙ１’）と（ｘ１、ｙ１）が等しくなるようにすると、平行移動量（Ｌｘ、Ｌｙ）は、
（Ｌｘ、Ｌｙ）＝（ｘ１’― ｘ１、ｙ１’― ｙ１）
となる。回転量と拡大縮小量は、どこを中心にしても良いので、ここでは平行移動で一致する点、すなわち対応するブロックの中心を回転中心、拡大縮小中心とすることにする。
【０３１５】
従って、探索画像中の任意の点（ｘ’，ｙ’）を補正された点（ｘ”，ｙ”）に変換する変換式は、
ｘ”＝Ｒ×（ｃｏｓθ×（ｘ’−ｘ１’）−ｓｉｎθ×（ｙ’−ｙ１’））
＋ｘ１
ｙ”＝Ｒ×（ｓｉｎθ×（ｘ’−ｘ１’）＋ｃｏｓθ×（ｙ’−ｙ１’））
＋ｙ１
となる。回転量、拡大縮小量、平行移動量と述べたが、正確にはここでは、θ、Ｒ，（ｘ１ 、ｙ１ ）、（ｘ１’、ｙ１’）のパラメータを求めることになる。なお、補正量／変換式の表し方は、これに限定される訳ではなく、その他の表し方でもよい。
【０３１６】
この変換式は、探索画像上の点（ｘ’，ｙ’）を補正画像上の点（ｘ”，ｙ”）に変換するものだが、補正画像上の点（ｘ”，ｙ”）は、参照画像に（背景部分が）重なるようになるのだから、意味的には、探索画像から参照画像への（背景部分が重なるような）変換とみなせる。従って、この変換式を探索画像上の点（Ｘｓ，Ｙｓ）を参照画像上の点（Ｘｒ，Ｙｒ）への変換関数Ｆｓｒ、
（Ｘｒ，Ｙｒ）＝Ｆｓｒ（Ｘｓ，Ｙｓ）
と表現することにする。
【０３１７】
なお、先の式は逆に補正された点（ｘ”，ｙ”）から探索画像中の任意の点（ｘ’，ｙ’）への変換式、
ｘ’＝（１／Ｒ）×（ｃｏｓθ×（ｘ”−ｘ１）＋ｓｉｎθ×（ｙ”−ｙ１
））＋ｘ１’
ｙ’＝（１／Ｒ）×（ｓｉｎθ×（ｘ”−ｘ１）−ｓｉｎθ×（ｙ”−ｙ１
））＋ｙ１’
にも変形できる。これも変換関数Ｆｒｓで表せば、
（Ｘｓ，Ｙｓ）＝Ｆｒｓ（Ｘｒ，Ｙｒ）
となる。変換関数Ｆｒｓは変換関数Ｆｓｒの逆変換関数とも言う。
【０３１８】
図６（ａ）、図７（ａ）、図８（ａ）の例では回転や拡大縮小はなく、単なる平行移動だけであるが、詳細は後で図６（ｃ）、図８（ｃ）で説明する。
【０３１９】
以上のＳ４−１からＳ４−４の処理で、図５のＳ４の背景補正量算出の処理が行われる。
【０３２０】
図１７は、図５のＳ５の処理、すなわち背景画像および第２被写体画像の補正画像を生成し、第１被写体画像との差分画像を生成する処理の一方法を説明するフローチャート図である。
【０３２１】
Ｓ４で算出した補正量の説明では、背景画像と第１被写体画像、背景画像と第２被写体画像との間の補正量を算出した。
【０３２２】
変換式の形で書けば、背景画像上の点を（Ｘｂ，Ｙｂ）、第１被写体画像上の点を（Ｘ１，Ｙ１）、第２被写体画像上の点を（Ｘ２，Ｙ２）として、
（Ｘ１，Ｙ１）＝Ｆｂ１（Ｘｂ，Ｙｂ）
（Ｘｂ，Ｙｂ）＝Ｆ１ｂ（Ｘ１，Ｙ１）
（Ｘ２，Ｙ２）＝Ｆｂ２（Ｘｂ，Ｙｂ）
（Ｘｂ，Ｙｂ）＝Ｆ２ｂ（Ｘ２，Ｙ２）
が求まったことになる。但し、Ｆｂ１は、（Ｘｂ，Ｙｂ）から（Ｘ１，Ｙ１）への変換関数、Ｆ１ｂはその逆変換関数、Ｆｂ２は、（Ｘｂ，Ｙｂ）から（Ｘ２，Ｙ２）への変換関数、Ｆ２ｂはその逆変換関数である。
【０３２３】
３つの画像のうち２つの画像間の変換関数（補正量）を求めたので、３つの画像のうちのいずれの２画像も相互に変換可能ということになる。従って、補正を行う際、どの画像に合わせて補正を行うかが問題となる。ここでは後の処理の効率も考えて、第１被写体画像、すなわち第１／第２被写体画像の内、先に撮影した被写体画像を基準画像とし、それ以外の背景画像、第２被写体画像を第１被写体画像に背景部分が重なるように補正することにする。
【０３２４】
例えば、被写体同士に重なりがあるなどの理由で撮影し直す場合を考える。第１／第２被写体画像をこの順に撮影したとし、第１被写体画像を基準画像にしたとすると、被写体同士に重なりがある場合には、第２被写体画像を撮影し直すことになる。このとき、第１被写体画像と、第１被写体画像を基準画像として補正した背景画像とは、撮影し直す必要が無く、そのまま合成画像の作成に使うことができる。
【０３２５】
これに対し、後から撮影した第２被写体画像を基準画像とすると、被写体同士に重なりがある場合に、第２被写体画像を撮影し直すことになれば、当然、第２被写体画像を基準に補正した第１被写体画像および背景画像の補正処理が無駄となり、それぞれを再補正しなければならない。
【０３２６】
このように、第１被写体画像と第２被写体画像のうち、先に撮影した方を基準画像とすることで、撮影し直しを繰り返す場合に、処理量・処理時間を減らすことができるという効果が出てくる。
【０３２７】
第２被写体画像から第１被写体画像への変換関数Ｆ２１は、上の変換式を組み合わせて、
（Ｘ１，Ｙ１）＝Ｆ２１（Ｘ２，Ｙ２）
＝Ｆｂ１（Ｆ２ｂ（Ｘ２，Ｙ２））
となる。逆変換関数Ｆ１２も同様の考え方で求められる。
【０３２８】
Ｐ４０を経たＳ５−１では、補正画像生成手段５が、背景補正量算出手段４（Ｓ４）で得られる補正量を使って、背景画像を第１被写体画像に背景部分が重なるように補正した画像を生成し、Ｓ５−２へ処理が進む。なお、ここで生成される補正された背景画像を「補正背景画像」（図６（ｃ）参照）と呼ぶことにする。
【０３２９】
補正には、変換関数Ｆｂ１あるいは逆変換関数Ｆ１ｂを使えばよい。一般に、きれいな変換画像を生成する為には、変換画像（ここでは補正背景画像）の画素位置に対応する元画像（ここでは背景画像）の画素位置を求め、その画素位置から変換画像の画素値を求める。この時、使用する変換関数はＦ１ｂになる。
【０３３０】
また、一般に求めた元画像の画素位置は整数値とはならないので、そのままでは求めた元画像の画素位置の画素値は求められない。そこで、通常は何らかの補間を行う。例えば最も一般的な手法として、求めた元画像の画素位置の周囲の整数値の画素位置の４画素から一次補間で求める手法がある。一次補間法に関しては、一般的な画像処理の本など（例えば、森北出版：安居院猛、中嶋正之共著「画像情報処理」のＰ５４）に載っているので、ここでは詳しい説明を省略する。
【０３３１】
図６（ｃ）は、図６（ａ）の背景画像と図７（ａ）の第１被写体画像とから、背景画像が第１被写体画像の背景部分に重なるように生成した補正背景画像の例である。この例での補正は平行移動だけである。補正の様子が分かるように、図６（ａ）の背景画像の範囲を点線で示してある。図６（ａ）の背景画像よりフレーム枠全体が少し左に移動している。
【０３３２】
補正の結果、対応する背景画像が存在しない部分が出てくる。例えば、図６（ｃ）の左端の点線と実線の間の部分は、図６（ａ）の背景画像には存在しない部分なので、抜けている。これは、下の道路を示す水平線が左端までいかずに途切れているのでも分かる。その部分は、Ｓ５−２で説明するマスク画像を使って除外するので適当な画素値のままとしておいても問題はない。
【０３３３】
Ｓ５−２では、補正画像生成手段５が、補正背景画像のマスク画像を生成して、Ｓ５−３へ処理が進む。
【０３３４】
マスク画像は、補正画像を生成する際、補正画像上の各画素に対応するオリジナル画像上の画素位置が先に説明した式で求められるが、その画素位置がオリジナル画像の範囲に収まっているかどうかで判断して、収まっていればマスク部分として補正画像上の対応する画素の画素値を例えば０（黒）にし、収まっていなければ例えば２５５（白）にすればよい。マスク部分の画素値は０、２５５に限らず自由に決めてよいが、以降では、０（黒）、２５５（白）で説明する。
【０３３５】
図６（ｄ）は、図６（ｃ）のマスク画像の例である。実線のフレーム枠中の黒く塗りつぶされた範囲がマスク部分である。このマスク部分は、補正された画像中でオリジナルの画像（補正前の画像）が画素を持っている範囲を示している。従って、図６（ｄ）では、対応する背景画像が存在しない左端部分がマスク部分とはなっておらず、白くなっている。
【０３３６】
Ｓ５−３では、差分画像生成手段６が、第１被写体画像と、補正画像生成手段５（Ｓ５−１）から得られる補正背景画像とそのマスク画像とを用いて、第１被写体画像と補正背景画像との差分画像を生成してＳ５−４へ処理が進む。なお、ここで生成される差分画像を「第１被写体差分画像」と呼ぶことにする。
【０３３７】
差分画像を生成するには、ある点（ｘ、ｙ）のマスク画像上の点の画素値が０かどうかを見る。０（黒）ならば補正背景画像上に補正された画素が存在するはずなので、差分画像上の点（ｘ、ｙ）の画素値Ｐｄ（ｘ、ｙ）は、
Ｐｄ（ｘ、ｙ）＝｜Ｐ１（ｘ、ｙ）−Ｐｆｂ（ｘ、ｙ）｜
より、第１被写体画像上の画素値Ｐ１（ｘ、ｙ）と補正背景画像上の画素値Ｐｆｂ（ｘ、ｙ）の差の絶対値とする。
【０３３８】
ある点（ｘ、ｙ）のマスク画像上の点の画素値が０（黒）でないならば、
Ｐｄ（ｘ、ｙ）＝０
とする。
【０３３９】
これらの処理を、点（ｘ、ｙ）を差分画像の左上から右下まですべての画素について繰り返せばよい。
【０３４０】
図９（ａ）は、図７（ａ）の第１被写体画像と図６（ｃ）の補正背景画像、図６（ｄ）のマスク画像から生成された第１被写体差分画像の例である。人物（１）の領域以外の所は背景が一致している、あるいはマスク範囲外として差分が０となり、主に人物（１）の領域内が、人物（１）の画像と背景の画像が交じり合ったような画像となっている。
【０３４１】
通常、Ｓ４での補正量の算出の誤差や、補正画像生成の補間処理などの誤差、背景部分の画像自体の撮影時間の差による微妙な変化などによって、人物（１）の領域以外にも小さな差分部分は出てくる。通常は数画素程度の大きさで、差もあまり大きくないことが多い。図９（ａ）でも人物（１）の領域の周辺に白い部分がいくつか出てきている。
【０３４２】
Ｓ５−４では、補正画像生成手段５が、背景補正量算出手段４（Ｓ４）で得られる補正量を使って、第２被写体画像を第１被写体画像に背景部分が重なるように補正した画像を生成し、Ｓ５−４へ処理が進む。補正には、変換関数Ｆ２１あるいは逆変換関数Ｆ１２を使えばよい。扱う画像や変換関数が異なる以外はＳ５−１の処理と同様である。なお、ここで生成される補正された第２被写体画像を「補正第２被写体画像」と呼ぶことにする。
【０３４３】
図８（ｃ）は、図８（ａ）の第２被写体画像と図７（ａ）の第１被写体画像から生成した補正第２被写体画像の例である。この例での補正も平行移動だけである。補正の様子が分かるように、図８（ａ）の第２被写体画像の範囲を点線で示してある。図６（ａ）の背景画像よりフレーム枠全体が少し右下に移動している。
【０３４４】
なお、図１８（ａ）は補正に回転が必要な場合の第２被写体画像の例である。背景画像、第１被写体画像は、図６（ａ）、図７（ａ）と同じとする。画面全体が図８（ａ）と比べて少し左回りに回転している。
【０３４５】
図１８（ｂ）は、図１８（ａ）の第２被写体画像と図６（ａ）の背景画像でブロックマッチングを行った結果である。ブロックは回転などがあっても、回転量やブロックの大きさがそれほど大きくなければ、ブロック内での画像変化は少ないので、回転に追従して正確なマッチングがある程度可能である。
【０３４６】
図１８（ｃ）は、図１８（ｂ）のブロックマッチング結果をもとに背景補正量を算出し、補正した第２被写体画像である。図７（ａ）の第１被写体画像と背景部分が重なるようになり、回転が補正されているのが分かる。補正の様子がわかるように、図１８（ａ）の画像枠を点線で示してある。
【０３４７】
Ｓ５−５では、補正画像生成手段５が、補正第２被写体画像のマスク画像を生成して、Ｓ５−６へ処理が進む。マスク画像の生成の仕方に関しては、Ｓ５−２と同様である。図８（ｄ）は、図８（ｃ）のマスク画像の例である。図１８（ｂ）の場合のマスク画像は図１８（ｄ）のようになる。
【０３４８】
なお、拡大縮小や回転の補正量がある場合でも、Ｓ５−４、Ｓ５−５で補正やマスク画像生成を行ってしまえば、後の処理は手順としては変わりないので、以降の説明では、第２被写体画像は図１８（ａ）は使わず、図８（ａ）のものを使う。
【０３４９】
Ｓ５−６では、差分画像生成手段６が、補正画像生成手段５（Ｓ５−１）から得られる補正背景画像、補正画像生成手段５（Ｓ５−２）から得られる補正背景画像のマスク画像、補正画像生成手段５（Ｓ５−４）から得られる補正第２被写体画像、補正画像生成手段５（Ｓ５−５）から得られる補正第２被写体画像のマスク画像を用いて、補正第２被写体画像と補正背景画像との差分画像を生成してＰ５０へ処理が抜ける。なお、ここで生成される差分画像を「第２被写体差分画像」（図１０（ａ）参照）と呼ぶことにする。
【０３５０】
差分画像の生成の仕方に関しては、基本的にはＳ５−３と同様であるが、補正背景画像のマスク画像と補正第２被写体画像のマスク画像のある点（ｘ、ｙ）の画素値がどちらも０（黒）の時だけ画像の差分を取る点で、マスク画像の処理が少し異なる。
【０３５１】
図１０（ａ）は、図６（ｃ）の補正背景画像と図８（ｃ）の補正第２被写体画像から生成された第２被写体差分画像の例である。第１被写体が第２被写体に変わっている以外は、図９（ａ）と同様の状態になっている。
【０３５２】
以上のＳ５−１からＳ５−６の処理で、図５のＳ５の差分画像生成の処理が行える。
【０３５３】
図１９は、図５のＳ６の処理、すなわち被写体領域を抽出する処理の一方法を説明するフローチャート図である。
【０３５４】
Ｐ５０を経たＳ６−１では、被写体領域抽出手段７が、差分画像生成手段６（Ｓ６）から得られる差分画像から、「ラベリング画像」（「ラベリング画像」の意味については後で説明する）を生成して、Ｓ６−２へ処理が進む。差分画像は、第１被写体差分画像と第２被写体差分画像の二つあるので、ラベリング画像もそれぞれ作成される。どちらもラベリング画像を生成する処理手順は一緒なので、以降では「差分画像」という言葉に「第１被写体差分画像」、「第２被写体差分画像」が含まれるとして説明する。
【０３５５】
まず準備として、差分画像から２値画像を生成する。２値画像の生成方法も色々考えられるが、例えば、差分画像中の各画素値を所定の閾値と比較して、閾値より大きければ黒、以下ならば白、などとしてやればよい。差分画像がＲ，Ｇ，Ｂの画素値からなる場合は、Ｒ，Ｇ，Ｂの画素値を足した値と閾値を比較すればよい。
【０３５６】
図９（ｂ）は、図９（ａ）の第１被写体差分画像から生成した２値画像の例である。黒い領域が領域１１０から１１５の６つ存在し、大きな人型の領域１１２以外は小さな領域である。同様に、図１０（ｂ）は、図１０（ａ）の第２被写体差分画像から生成した２値画像の例である。黒い領域が領域１２０から１２５の６つ存在し、大きな人型の領域１２２以外は小さな領域である。
【０３５７】
次に、生成した２値画像からラベリング画像を生成するが、一般に「ラベリング画像」とは、２値画像中の白画素同士あるいは黒画素同士が連結している塊を見つけ、その塊に番号（「ラベリング値」と以降、呼ぶ）を振っていく処理により生成される画像である。多くの場合、出力されるラベリング画像は多値のモノクロ画像であり、各塊の領域の画素値は全て振られたラベリング値になっている。
【０３５８】
なお、同じラベリング値を持つ画素の領域を「ラベル領域」と以降呼ぶことにする。連結している塊を見つけ、その塊にラベリング値を振っていく処理手順の詳細については、一般的な画像処理の本など（例えば、昭晃堂：昭和６２年発行「画像処理ハンドブック」Ｐ３１８）に載っているので、ここでは省略し、処理結果例を示す。
【０３５９】
２値画像とラベリング画像とは、２値か多値の違いなので、ラベリング画像例は図９（ｂ）と図１０（ｂ）で説明する。図９（ｂ）の領域１１０から１１５の番号の後に「１１０（１）」などと括弧書きで番号がついているが、これが各領域のラベリング値である。図１０（ｂ）についても同様である。これ以外の領域はラベリング値０が振られているとする。
【０３６０】
なお、ラベリング画像図９（ｂ）、図１０（ｂ）は、紙面上で多値画像を図示するのが難しいので２値画像のように示してあるが、実際はラベリング値による多値画像になっているので、表示する必要はないが実際に画像として表示した場合は図９（ｂ）と図１０（ｂ）とは異なる見え方をする。
【０３６１】
Ｓ６−２では、被写体領域抽出手段７が、Ｓ６−１で得られるラベリング画像中の「ノイズ」的な領域を除去して、Ｓ６−３へ処理が進む。「ノイズ」とは目的のデータ以外の部分を一般に指し、ここでは人型の領域以外の領域を指す。
【０３６２】
ノイズ除去にも様々な方法があるが、簡単な方法として、例えばある閾値以下の面積のラベル領域は除くという方法がある。これには、まず各ラベル領域の面積を求める。面積を求めるには、全画素を走査し、ある特定のラベリング値を持つ画素がいくつ存在するか数えればよい。全ラベリング値について面積（画素数）を求めたら、それらの内、所定の閾値以下の面積（画素数）のラベル領域は除去する。除去処理は、具体的には、そのラベル領域をラベリング値０にしてしまうか、新たなラベリング画像を作成し、そこにノイズ以外のラベル領域をコピーする、でもよい。
【０３６３】
図９（ｃ）は、図９（ｂ）のラベリング画像からノイズ除去した結果である。人型の領域１１２以外はノイズとして除去されてしまっている。同様に、図１０（ｃ）は、図１０（ｂ）のラベリング画像からノイズ除去した結果である。人型の領域１２２以外はノイズとして除去されてしまっている。
【０３６４】
Ｓ６−３では、被写体領域抽出手段７が、Ｓ６−２で得られるノイズ除去されたラベリング画像から被写体の領域を抽出して、Ｐ６０へ処理が抜ける。
【０３６５】
被写体の領域を画像処理だけで完全に正確に抽出することは一般に難しく、人間の知識や人工知能的な高度な処理が一般に必要とされる。領域を抽出する手法の１つである「スネーク」などもあるが、完璧ではない。しかし、重なり検出処理や合成処理に使える程度の領域を推定することはある程度できる。
【０３６６】
例えば、第１や第２の被写体の人数がプログラム中などに固定値または変数として設定されているならば、ノイズ除去されたラベリング画像中からラベル領域を面積が大きい順に人数分、抽出すれば良い。あるいは所定の閾値以上の面積をもつ領域を全て被写体領域などとしてもよい。
【０３６７】
また、完全自動化が難しいなら、どの領域が被写体領域であるかを、タブレットやマウスなどの入力手段を使ってユーザーに指定してもらう方法も考えられる。指定方法も、被写体領域の輪郭まで指定してもらう方法と、輪郭はラベリング画像の各ラベル領域の輪郭を使い、どのラベル領域が被写体領域であるかどうかを指定してもらう方法などが考えられる。
【０３６８】
ここでは、所定の閾値以上の面積をもつ領域を全て被写体領域とすることにするが、図９（ｃ）や図１０（ｃ）では、既にノイズ除去の段階で大きな領域が一つになってしまっているので、処理結果図９（ｄ）、図１０（ｄ）は、図９（ｃ）、図１０（ｃ）と見た目は同じである。
【０３６９】
また、図９（ｂ）や図１０（ｂ）ではたまたま人型の領域がうまく一つのラベル領域となっているが、画像によっては、一人の被写体であっても複数のラベル領域に分かれてしまうことがある。例えば、被写体領域中の真中辺りの画素が、背景と似たような色や明るさの画素の場合、差分画像中のその部分の画素値が小さいので、被写体領域の真中辺りが背景と認識されてしまい、被写体領域が上下や左右に分断されて抽出されてしまうことがある。その場合、後の被写体の重なり検出や合成処理などでうまく処理できない場合が出てくる可能性がある。
【０３７０】
そこで、ラベリング画像のラベル領域を膨張させて、距離的に近いラベル領域を同じラベル領域として統合してしまう処理を入れるという方法もある。さらに統合にスネークを利用する方法も考えられる。膨張やスネークの処理手順の詳細については、一般的な画像処理の本など（例えば、昭晃堂：昭和６２年発行「画像処理ハンドブック」Ｐ３２０、またはＫａｓｓ Ａ.， ｅｔ ａｌ.，”Ｓｎａｋｅｓ： Ａｃｔｉｖｅ Ｃｏｎｔｏｕｒ Ｍｏｄｅｌｓ”，Ｉｎｔ. Ｊ. Ｃｏｍｐｕｔ. Ｖｉｓｉｏｎ， ｐｐ.３２１−３３１（１９８８））に載っているので、ここでは省略する。
【０３７１】
また、距離的に近いラベル領域の統合に使わなくても、重なりがあることを見逃す危険性を減らすことに使う為に、抽出した被写体領域を一定量膨張させるという方法もある。
【０３７２】
なお、ここでは、膨張や統合は特に行わない処理例で説明している。
【０３７３】
以上のＳ６−１からＳ６−３の処理で、図５のＳ６の被写体領域抽出処理が行える。
【０３７４】
次に、図５のＳ７の処理の詳細の一例について説明する。
【０３７５】
Ｓ７では、重なり検出手段８が、被写体領域抽出手段７（Ｓ６）から得られる第１被写体領域、第２被写体領域について、両者の領域に重なりがあるかどうか検出し、重なりがある場合は重なる領域を抽出する。
【０３７６】
しかし、実際のところ、重なりがあるかどうかを検出するには、重なる領域を抽出し、重なる領域が存在するかどうかを検出するのが簡単なので、まずは重なる領域を抽出する。
【０３７７】
その手法として、ある画素の位置（ｘ、ｙ）が、第１被写体領域と第２被写体領域の両方に属しているかどうかを判断し、両方に属していればその画素値を例えば０（黒）、両方に属していなければ２５５（白）などとし、位置（ｘ、ｙ）を全画素位置について走査すれば、結果的に重なり画像が生成できる。
【０３７８】
ある画素の位置（ｘ、ｙ）が、第１被写体領域と第２被写体領域の両方に属しているかどうかを判断するには、Ｓ６から得られる第１被写体領域を含む画像と第２被写体領域を含む画像中の（ｘ、ｙ）位置の画素を見て、両方とも被写体領域の画素であるかどうか（例えば、先の例ではラベリング値０でなければ被写体領域の画素）で判断できる。
【０３７９】
生成される重なり画像中に０（黒）の画素値を持つ画素が存在するかどうかを見て、存在すれば重なりが存在し、無ければ重なりが存在しないことになる。
【０３８０】
なお、重なり検出手段８は、重なりに関する情報ということで、重なりがあるかないかだけでなく、重なっている領域についても出力する。つまり、生成した重なり画像も出力することになる。
【０３８１】
図９（ｃ）、図１０（ｃ）の例では、重なりが無いので特に重なり画像は示していないが、この場合、重なり検出手段８は、重なりが無いと判断する。
【０３８２】
重なりがある例を、図２０（ａ）の第２被写体画像で説明する。なお、背景画像、第１被写体画像は、図６（ａ）、図７（ａ）を使うとする。
【０３８３】
図２０（ｂ）は、図２０（ａ）から生成した第２被写体領域画像である。第２被写体領域１３０は、図１０（ｄ）の領域１２２と比べると、少し左に寄っている。図２０（ｂ）と図９（ｄ）の第１被写体領域画像から作られる重なり画像が、図１２である。重なっている領域１３１は黒く塗りつぶされている。重なり具合が分かりやすいように、図１２では第１被写体領域１１２と第２被写体領域１３０を点線で示している（実際の重なり画像中にはこの点線は存在しない）。図１２の場合は、重なり検出手段８は、重なりがあると判断する。
【０３８４】
次に、図２１は、図５のＳ８の処理、すなわち重なりに関する処理の一方法を説明するフローチャート図である。重なりに関する別の処理方法に関しては、後で図２２、２３、２４、２７を使って説明する。
【０３８５】
Ｐ７０を経たＳ８−１では、重なり警告手段１３が、重なり検出手段８（Ｓ７）から得られる情報に基づいて重なりがあるかどうかを判断し、重なりがある場合はＳ８Ａ−２へ進み、無い場合はＰ８０へ処理が抜ける。
【０３８６】
Ｓ８Ａ−２では、重なり警告手段１３が、第１の被写体と第２の被写体とに重なりがあることをユーザー（撮影者）あるいは被写体あるいはその両方に警告して、Ｐ８０へ処理が抜ける。
【０３８７】
警告の通知の仕方としては色々考えられる。
【０３８８】
例えば、合成画像を利用して通知する場合、重なり領域を目立つように合成画像に重ねて表示すればよい。図１３（ａ）、図１３（ｂ）はこれを説明する例である。二つの画像の違いは第１被写体（人物（１））の画像合成方法の違いだけである。
【０３８９】
図１３（ａ）、図１３（ｂ）では、図１２の重なり領域１３１が、合成画像上に重ねて表示されている。領域１３１の部分の画素値を変更して赤などの目立つ色で塗りつぶすとさらに良い。あるいは、領域１３１の領域やその輪郭等を点滅させて表示させても良い。
【０３９０】
図１３（ｃ）は、さらに文字で警告を行っている例である。図１３（ｃ）の上の方に合成画像に重ねて警告ウィンドウを出し、その中で「被写体が重なっています！」というメッセージを表示している。これも目立つような配色にしたり、点滅させたりしてもよい。
【０３９１】
これら合成画像に対する上書きは、重なり警告手段１３の指示により、重ね画像生成手段９に対して行っても良いし、重ね画像表示手段１０に対して行ってもよい。警告ウィンドウを点滅などさせる場合は元の合成画像を残しておく必要があるかもしれないので、重ね画像表示手段１０に対して、例えば主記憶７４または外部記憶７５から警告ウィンドウのデータを間歇的に読み出して与える等して行った方がよい場合が多い。
【０３９２】
これらの警告表示を図３（ａ）のモニター１４１上に表示すれば、撮影しながら重なり状態を確認することができて、撮影に便利である。この時、撮影者は被写体（人物（２））に対して、「重なっているからもっと右の方に動いてくれ」などと、次に撮影した画像を第２被写体画像などとして使う場合に、重なり状態を解消するような指示を行うことができるという利点がある。
【０３９３】
なお、次に撮影した画像を第２被写体画像などとして使う場合とは、ユーザーがメニューやシャッターボタン１４３で第２被写体画像の記録（メモリ書き込み）を指示する場合か、先に説明したように、第２被写体画像を動画的に撮影し補正重ね画像をほぼリアルタイムに表示する繰り返し処理の専用モードになっている場合などが考えられる。
【０３９４】
また、図３（ａ）のモニター１４１は撮影者の方を向いているが、被写体の方にモニターを向けることができる装置ならば、重なり具合を被写体も確認することができ、撮影者に指示されなくても、被写体が自発的に重なりを解消するように動くこともできるようになる。モニター１４１とは別のモニターを用意して、それを被写体が見られるようにするのでもよい。
【０３９５】
また、先に専用モードとして説明したように図５のＳ３からＳ１０の処理を繰り返すのならば、現在の重なり状態がほぼリアルタイムで分かるので、被写体の移動によって重なりが解消できたかどうかがほぼリアルタイムで分かり、撮影が便利で効率よくできる。図５のＳ３からＳ１０の処理は、充分速いＣＰＵやロジック回路などを使えば、それほど時間は必要ない。実使用上は、１秒に１回程度以上の速さの繰り返し処理を実現できれば、ほぼリアルタイムの表示と言って良い。
【０３９６】
なお、繰り返し処理の場合、第２被写体画像を更新しつづけるが、Ｓ５で差分画像を生成する際、基準画像を第１被写体画像にしたのは、繰り返し処理時に処理量を減らすことができる利点があるからである。つまり、第２被写体画像を基準画像にすると、背景補正量の計算や差分画像生成、被写体領域検出などの処理を第１被写体画像、背景画像も含めて全て行わなければいけないが、第１被写体画像を基準画像にすると、第１被写体画像と背景画像間での間の処理は１回で済み、第２被写体画像に関連する処理だけを繰り返し行えばよいことになる。
【０３９７】
また、重なり領域を合成画像に重ねて表示した結果、被写体同士の重なり具合と合成画像のフレーム枠との関係を見て、被写体がどう動いても重なりが生じたり、被写体がフレームアウトしてしまうと判断できれば、もう一度、第１被写体画像や背景画像の撮影からやり直した方が良いという判断を行うこともできるようになる。
【０３９８】
また、警告の通知の仕方として、図３（ａ）のランプ１４２を点燈あるいは点滅させることで知らせることもできる。警告なので、ランプの色は赤やオレンジなどの色にしておくと分かりやすい。ランプの点滅などは一般にモニター１４１に撮影者が注目していなくても気づきやすいという利点がある。
【０３９９】
また、図１３（ｂ）のような重なり領域を合成画像に重ねて表示せず、ランプだけで知らせてもよい。この場合、どのくらい重なっているかはすぐには分かりにくいが、重なりがあるかないかだけ分かれば、後は被写体が移動するなどして警告通知が無くなるかどうかを見ていれば重なりの無い合成画像を得るという目的は達せられるので、ランプだけでもよい。これにより、重なり部分を表示させる処理が省けるという利点が出てくる。
【０４００】
なお、重なりの面積を数字や棒グラフなどでモニター１４１に表示したり、複数のランプの点燈制御や単独のランプの点滅間隔を重なりの面積によって変えたりするなどすると、重なり具合を別途知ることができてさらによい。
【０４０１】
また、図３（ａ）にはないが、モニター１４１とは別にファインダーのような画像を確認できる別の手段がある場合、そちらにモニター１４１と同じ警告通知を表示したり、ファインダー内部にランプを組み込んでおき、通知する方法も考えられる。
【０４０２】
また、図３（ａ）、図３（ｂ）では示していないが、図２のスピーカ８０を使って警告通知を行っても良い。重なりがある場合に警告ブザーを鳴らしたり、「重なっています」などの音声を出力したりなどして、警告通知を行う。この場合にもランプと同様の効果が期待できる。スピーカを使う場合、光と違って指向性があまりないので、一つのスピーカで撮影者も被写体も両方重なり状態を知ることができるという利点がある。
【０４０３】
以上のＳ８−１からＳ８Ａ−２の処理で、図５のＳ８の重なりに関する処理が行える。
【０４０４】
図２２は、図５のＳ８の処理、すなわち重なりに関する処理の別の一方法を説明するフローチャート図である。
【０４０５】
Ｐ７０を経たＳ８−１では、シャッターチャンス通知手段１４が、重なり検出手段８（Ｓ７）から得られる情報に基づいて重なりがあるかどうかを判断し、重なりがある場合はＰ８０へ処理が抜け、無い場合はＳ８Ｂ−２へ処理が進む。
【０４０６】
Ｓ８Ｂ−２では、シャッターチャンス通知手段１４が、第１の被写体と第２の被写体に重なりがないことをユーザー（撮影者）あるいは被写体あるいはその両方に通知して、Ｐ８０へ処理が抜ける。
【０４０７】
この通知は、実際には、重なりが無いことを通知するというより、重なりがないことによる副次的な操作、具体的には第２の被写体を記録するシャッターチャンスであることを通知するような使われたかたが最も一般的である。その場合、その通知は、主に撮影者に対するものとなる。
【０４０８】
シャッターチャンスの通知方法に関しては、図２１で説明したような方法がほぼそのまま使える。例えば、図１３（ｃ）のメッセージを「シャッターチャンスです！」などと変えるなどすればよい。なお、図１３（ｃ）の重なり部分は、この時は存在しないので、当然、表示も不要である。その他、ランプ、スピーカについても、色や出力する音の内容などは多少変わるが、通知手法としては同様に利用できる。
【０４０９】
シャッターチャンスであることが分かれば、撮影者はシャッターを切ることで重なりのない状態で撮影／記録することができ、また、被写体もシャッターを切られるかもしれない準備（例えば目線の方向や顔の表情など）を行うことができるという利点が出てくる。
【０４１０】
以上のＳ８−１からＳ８Ｂ−２の処理で、図５のＳ８の重なりに関する処理が行える。
【０４１１】
図２３は、図５のＳ８の処理、すなわち重なりに関する処理のさらに別の一方法を説明するフローチャート図である。
【０４１２】
Ｐ７０を経たＳ８−１では、自動シャッター手段１５が、重なり検出手段８（Ｓ７）から得られる情報に基づいて重なりがあるかどうかを判断し、重なりがある場合はＰ８０へ処理が抜け、無い場合はＳ８Ｃ−２へ処理が進む。
【０４１３】
Ｓ８Ｃ−２では、自動シャッター手段１５が、シャッターボタンが押されているかどうかを判断し、押されていればＳ８Ｃ−３へ進み、押されていなければＰ８０へ処理が抜ける。
【０４１４】
Ｓ８Ｃ−３では、自動シャッター手段１５が、第２被写体画像の記録を第２被写体画像取得手段３へ指示して、Ｐ８０へ処理が抜ける。第２被写体画像取得手段３は、指示に従い、撮影画像を主記憶７４、外部記憶７５などに記録する。
【０４１５】
これによって、被写体同士が重なっていない時にシャッターボタンが押されていれば、自動的に撮影画像を記録することができるようになるという効果が出てくる。同時に、誤って重なっている状態で撮影画像を記録してしまうことを防ぐ効果も出てくる。
【０４１６】
実際の使われ方としては、被写体の様子などを見て、今なら撮影画像を記録しても良いと思ったら撮影者がシャッターボタンを押すが、その時点で必ずしも記録される訳ではなく、重なりがある場合は記録されない。すなわち、自動シャッター手段１５が、重なりがあると判断した場合には、撮影者がシャッターボタンを押しても第２被写体画像取得手段３による記録動作が行われないように、第２被写体画像の記録を禁止する。
【０４１７】
なお、記録されない場合は、その旨を表示やランプ、スピーカなどの通知手段で撮影者などに知らせた方が、シャッターを押したが撮影されていないことが分かってよい。
【０４１８】
そして、被写体が動くなどして、重なりがない状態になった時に、再度シャッターボタンが押されれば、今度は記録される。記録されたことが分かるように、表示やランプ、スピーカなどの通知手段で撮影者などに知らせるとよい。
【０４１９】
シャッターボタンを毎度押すのではなく、押しっぱなしにするならば、重なっている状態から重なりがなくなった瞬間に自動的に記録されることになる。但し、重なりがなくなった瞬間だとまだ被写体が静止しておらず撮影画像がぶれてしまったり、被写体が撮影される状態（被写体が他所を向いている時など）になっていない場合があるので、その場合は自動的に記録するまでに少し時間をあけると良い。
【０４２０】
以上のＳ８−１からＳ８Ｃ−３の処理で、図５のＳ８の重なりに関する処理が行える。
【０４２１】
図２４は、図５のＳ８の処理、すなわち重なりに関する処理のさらに別の一方法を説明するフローチャート図である。
【０４２２】
Ｐ７０を経たＳ８−１では、重なり回避方法算出手段１１が、重なり検出手段８（Ｓ７）から得られる情報に基づいて重なりがあるかどうかを判断し、重なりがある場合はＳ８Ｄ−２へ進み、無い場合はＰ８０へ処理が抜ける。
【０４２３】
Ｓ８Ｄ−２では、重なり回避方法算出手段１１が、第１、第２被写体領域の重心位置をそれぞれ計算して、Ｓ８Ｄ−３へ処理が進む。重心位置とは、簡単に言えばその領域の中心位置であり、正確に言えば、重心位置からある画素までの距離と方向をベクトルし、全ての領域内の画素のベクトルの和が０となる状態である。重心位置の求め方についても、一般的な画像処理の本などに載っているので、ここでは割愛する。
【０４２４】
Ｓ８Ｄ−３では、重なり回避方法算出手段１１が、Ｓ８Ｄ−２で求めた第１、第２被写体領域の重心位置から、第２の被写体が移動する方向について、両者の重心位置の間の距離が最も離れる方向（第１被写体領域の重心位置から第２被写体領域の重心位置へ向かう方向）を求めて、Ｓ８Ｄ−４へ処理が進む。
【０４２５】
例えば、Ｓ８Ｄ−２で得られた第１被写体領域の重心位置が（Ｘｇ１、Ｙｇ１）、第２被写体領域の重心位置が（Ｘｇ２、Ｙｇ２）の時、最も距離が離れる方向は、ベクトル形式で表現すれば
（Ｘｇ２−Ｘｇ１、Ｙｇ２−Ｙｇ１）
となる。
【０４２６】
但し、Ｘｇ２＝Ｘｇ１、Ｙｇ２＝Ｙｇ１の時は、第１の被写体と第２の被写体の重心位置が重なっているので、どの方向でもよい。
【０４２７】
図２５は、図１２の重なり状態で最も重心位置が離れる方向を求めた例である。第１被写体領域１１２の重心位置１３２と第２被写体領域１３０の重心位置１３３との間で最も重心位置が離れる方向は、重心位置１３２から重心位置１３３へ向かう矢印１３４が示す方向である。
【０４２８】
Ｓ８Ｄ−４では、重なり回避方法通知手段１２が、Ｓ８Ｄ−３で求められる方向を、重なりを少なくする回避方法としてユーザーあるいは被写体あるいは両方に通知して、Ｐ８０へ処理が抜ける。
【０４２９】
図２６（ａ）は、回避方法をモニター１４１上で通知している状態を示す説明図である。Ｓ８Ｄ−３で図２５のように右方向に第２の被写体が動いた方が重なりが少なくなることが求められたので、第２の被写体を右方向へ動かすことを示す矢印を合成画像に重ねて表示している。この矢印も、既に説明した重なり部分の表示のように、色や点滅などで目立つように表示した方が分かりやすくてよい。
【０４３０】
重なり状態を示すだけだと、どのように被写体が動いたら重なりが少なくなるかをすぐに判断しにくいが、被写体の移動方向を矢印などで示すことで、どのように動いたら良いかが非常に分かりやすくなるという利点が出てくる。
【０４３１】
なお、矢印の方向の角度θｄは、Ｓ８Ｄ−３で求められる方向ベクトルより、
θｄ＝ａｒｃｔａｎ（（Ｙｇ２−Ｙｇ１）／（Ｘｇ２−Ｘｇ１））、（０≠Ｘｇ２−Ｘｇ１）
θｄ＝π／２、（０＝Ｘｇ２−Ｘｇ１、０≦Ｙｇ２−Ｙｇ１）
θｄ＝−π／２、（０＝Ｘｇ２−Ｘｇ１、０＞Ｙｇ２−Ｙｇ１）
で求められる。
【０４３２】
ここで表示する矢印は方向が重要なので、Ｓ８Ｄ−３で求めた方向ベクトルの大きさは無視してよい。但し、表示する矢印の長さに何か意味を持たせてもよい。例えば、被写体同士が重なっている面積が分かるのならば、矢印の長さや太さをその面積に比例させてもよい。重なりが大きいほど、矢印も長く（あるいは太く）なり、重なり具合が直感的に分かりやすくなる。また矢印が大きいので撮影者なども重なりを無くさないといけないという気になりやすいという効果が出てくる。
【０４３３】
なお、Ｓ８Ｄ−３で求められる方向はあらゆる方向を取れるが、被写体の動きを指示するのにそれほど正確な方向は必要無いので、求めたθｄに最も近い方向を、上下左右の４方向、あるいは斜め方向も加えた８方向の中から選ぶなどしてもよい。
【０４３４】
４方向や８方向に絞った場合、言葉でも通知しやすくなるので、図２６（ａ）の上のメッセージのように、「右方向に被写体が動いた方が、重なりが無くなります」と通知してもよい。また、これらのメッセージをスピーカで流してもよい。
【０４３５】
また、矢印やメッセージでなく、ランプを使って移動方向を通知してもよい。その場合、上下左右の４方向や８方向などの方向を示すことができるように複数の方向ランプが必要になる場合もある。例えば、モニター１４１の周囲に方向ランプを配置してもよい。
【０４３６】
また、これらの通知は重なり状態の通知などと同様、撮影者だけでなく、被写体に通知してもよい。その効果については、既に説明したものと同様である。
【０４３７】
なお、ここでは被写体の重心位置を利用したが、これ以外にも様々な方法が考えられる。例えば、被写体領域の画素値をＸ軸やＹ軸に投影して、各軸方向のどの辺に位置するかをおおまかに求める。投影結果から、重心位置や重なり範囲を求めることができるので、それらから、上下左右のどちらの方向に移動すればよいかを求めることもできる。上下方向と左右方向を組み合わせれば、斜め方向の移動方向を求めることもできる。
【０４３８】
以上のＳ８−１からＳ８Ｄ−４の処理で、図５のＳ８の重なりに関する処理が行える。
【０４３９】
図２７は、図５のＳ８の処理、すなわち重なりに関する処理のさらに別の一方法を説明するフローチャート図である。
【０４４０】
Ｐ７０を経たＳ８−１では、重なり回避方法算出手段１１が、重なり検出手段８（Ｓ７）から得られる情報に基づいて重なりがあるかどうかを判断し、重なりがある場合はＳ８Ｅ−２へ進み、無い場合はＰ８０へ処理が抜ける。
【０４４１】
Ｓ８Ｅ−２では、重なり回避方法算出手段１１が、第２の被写体を各方向に動かした時の重なり量を予測して、Ｓ８Ｅ−３へ処理が進む。
【０４４２】
まず、現在、図１２の第１被写体領域１１２、第２被写体領域１３０の状態であり、重なりあう領域は領域１３１であるとする。この状態から、第２被写体領域１３０を上下左右に所定量、動かしてみる。
【０４４３】
図２８（ａ）は、点線で表示されている第２被写体領域１３０を左に動かして、黒く塗りつぶされている領域１５０に動かしてみた状態を説明する図である。同様に、図２８（ｂ）は右に動かしてみた状態、図２８（ｃ）は上に動かしてみた状態、図２８（ｄ）は下に動かしてみた状態を説明する図である。
【０４４４】
これらの移動した第２被写体領域と第１被写体領域の重なりを求めた重なり画像が、図２９（ａ）から図２９（ｄ）である。重なりのある領域は黒く塗りつぶして示してある。移動した第２被写体領域と第１被写体領域は点線で示してある。
【０４４５】
図２９（ａ）の重なり領域は、図１２の重なり領域と比べて増えてしまっている。図２９（ｂ）の重なり領域は、無くなっている。図２９（ｃ）と図２９（ｄ）の重なり領域は、図１２の重なり領域１３１とあまり変わらない。
【０４４６】
なお、ここでは４方向で重なり量を予想したが、必要とする精度や処理量などを考えて、それ以外の方向数にしてももちろん構わない。また、移動量も所定の値としていたが、これを１方向あたり、複数の値で重なり量を求めるという方法も考えられる。
【０４４７】
Ｓ８Ｅ−３では、重なり回避方法算出手段１１が、Ｓ８Ｅ−２で得られた各方向に動かした時の重なり量の予測のうち、最も重なり量が少なくなる方向を抽出して、Ｓ８Ｅ−４へ処理が進む。
【０４４８】
なお、Ｓ８Ｅ−２で説明したような手法を用いて、各方向の移動量をいろいろ変えて重なり量を求める場合、それぞれ別個に考えて最も少ない重なりの方向や位置を選ぶ方法も考えられるし、その方向の全ての移動量の重なり量の和で比較したり、あるいは平均的な重なり量で比較したり、といった方法も考えられる。
【０４４９】
図２９（ａ）から図２９（ｄ）の中で最も重なりが少ないのは図２９（ｂ）なので、第２の被写体を右方向に動かした方が（４方向のうちで）最も重なりが少なくなると予想される。
【０４５０】
Ｓ８Ｅ−４では、重なり回避方法通知手段１２が、Ｓ８Ｅ−３で求められる方向を、重なりを少なくする回避方法としてユーザーあるいは被写体あるいは両方に通知して、Ｐ８０へ処理が抜ける。
【０４５１】
ここの処理、通知方法については、Ｓ８Ｄ−４とほぼ同様である。例えば、図２６（ａ）のような通知結果となる。
【０４５２】
Ｓ８Ｄ−４との違いを言えば、Ｓ８Ｄ−２からＳ８Ｄ−４の処理では方向しか求めていないが、Ｓ８Ｅ−２からＳ８Ｅ−４の処理では、第２の被写体の移動先を仮定して方向を決めているので、方向だけでなく、どの程度動けば良いのかを示すことも可能である。表示の仕方としては、例えば、移動方向を示す矢印の開始点と終了点を、第２の被写体の現在位置と、最小限の移動量で重なりが最も少なくなる位置とにすればよい。これにより、第２の被写体がどのくらい動けばよいかがはっきり分かるという効果が出てくる。
【０４５３】
また、矢印だけでなく、被写体の移動先の位置を直接示す方法もある。図２６（ｂ）は最小限の移動量で重なりが無くなる移動先を示した例である。移動先の第２の被写体を点線で示している。
【０４５４】
以上のＳ８−１からＳ８Ｅ−４の処理で、図５のＳ８の重なりに関する処理が行える。
【０４５５】
なお、図２１〜２７の処理は必ずしも排他的な処理ではなく、任意に組み合わせて処理することも可能である。組み合わせの例として、次のような利用シーンが可能となる。
【０４５６】
『被写体同士が重なっている時は「重なっています」と警告がなされ、この時にシャッターボタンを押しても撮影画像は記録されない。そして警告と一緒に、被写体がどちらの方向に動いたら良いかが図２６（ａ）のように示される。それに従って被写体が動き、重なりがなくなったらシャッターチャンスランプが点燈する。シャッターチャンスランプが点燈している間にシャッターボタンを押したら撮影画像が記録される。』
次に、図３０は、図５のＳ９の処理、すなわち重ね画像を生成する処理の一方法を説明するフローチャート図である。
【０４５７】
Ｐ８０を経たＳ９−１では、重ね画像生成手段９が、生成する重ね画像の最初の画素位置をカレント画素に設定してＳ９−２へ処理が進む。最初の画素位置は、例えば左上などの隅から始まることが多い。
【０４５８】
なお、「画素位置」は、画像上の特定の位置を表し、左上隅を原点、右方向を＋Ｘ軸、下方向を＋Ｙ軸としたＸ−Ｙ座標系で表現されることが多い。画素位置は、画像を表すメモリ上のアドレスに対応し、画素値はそのアドレスのメモリの値である。
【０４５９】
Ｓ９−２では、重ね画像生成手段９が、カレント画素位置は存在するかどうかを判断し、存在するならばＳ９−３へ処理が進み、存在しないならばＰ９０へ処理が抜ける。
【０４６０】
Ｓ９−３では、重ね画像生成手段９が、カレント画素位置が第１被写体領域内かどうかを判断し、第１被写体領域内ならばＳ９−４へ処理が進み、そうでないならばＳ９−５へ処理が進む。
【０４６１】
第１被写体領域内かどうかは、被写体領域抽出手段７（Ｓ６）から得られる第１被写体領域画像上でカレント画素位置の画素値が黒（０）かどうかで判断できる。
【０４６２】
なお、第１被写体領域であるかどうかで特に処理を変えない場合は、Ｓ９−３，Ｓ９−４は省いて、Ｓ９−２からＳ９−５へ進めばよい。
【０４６３】
Ｓ９−４では、重ね画像生成手段９が、設定に応じた画素値を計算して、重ね画像のカレント画素位置の画素値として書き込む。
【０４６４】
上記の設定とは、つまりどのような重ね画像を合成するかということである。例えば、図１１（ｂ）のように第１被写体を半透明で合成するのか、図１１（ａ）のように不透明で第１被写体をそのまま上書きで合成するのか、などである。
【０４６５】
もし半透明で合成するのならば、第１被写体画像のカレント画素位置の画素値Ｐ１と補正画像生成手段５（Ｓ５）から得られる補正背景画像のカレント画素位置の画素値Ｐｂを得て、所定の透過率Ａ（０．０から１．０の間の値）で合成画素値（Ｐ１×Ａ＋Ｐｂ×（１−Ａ））を求めればよい。そのまま上書きするのならば、透過率Ａを１．０としてＰ１をそのまま書き込めばよい。
【０４６６】
Ｓ９−５では、重ね画像生成手段９が、Ｓ９−３でカレント画素位置が第１被写体領域内ではないと判断した場合に、カレント画素位置が第２被写体領域内かどうかを続いて判断し、第２被写体領域内ならばＳ９−６へ処理が進み、そうでないならばＳ９−７へ処理が進む。ここでの処理は、第１被写体領域が第２被写体領域に変わるだけで、Ｓ９−３と同様である。
【０４６７】
Ｓ９−６では、重ね画像生成手段９が、設定に応じた合成画素を生成して、重ね画像のカレント画素位置の画素値として書き込む。ここでの処理は、第１被写体領域（画像）が第２被写体領域（画像）に変わるだけで、Ｓ９−４と同様である。
【０４６８】
Ｓ９−７では、重ね画像生成手段９が、Ｓ９−５でカレント画素位置が第２被写体領域内ではないと判断した場合に、第１被写体画像のカレント画素位置の画素値を重ね画像のカレント画素位置の画素値として書き込む。すなわち、この場合のカレント画素位置は、第１被写体領域内でも第２被写体領域内でもないので、結局、背景部分に相当する。
【０４６９】
なお、ここでは背景部分の画像を第１被写体画像から取得しているが、補正背景画像から取得することも可能である。ただ、第１被写体領域と背景部分の境界部分が、補正背景画像を使うより第１被写体画像を使った方が自然な境界部分が得られるという利点がある。また、Ｓ６での第１、第２被写体領域の抽出が間違っていたとしても、境界が自然なので間違いが目立たないという効果も出てくる。
【０４７０】
Ｓ９−８では、重ね画像生成手段９が、カレント画素位置を次の画素位置に設定して、Ｓ９−２へ処理が戻る。
【０４７１】
以上のＳ９−１からＳ９−８の処理で、図５のＳ９の重ね画像生成に関する処理が行える。
【０４７２】
なお、上記の処理ではＳ９−４やＳ９−７で第１被写体画像や補正背景画像を処理しているが、生成する重ね画像にＳ９−１の前に最初に第１被写体画像または補正背景画像を全画素コピーしてしまい、その後、各画素位置の処理で第１被写体領域および／または第２被写体領域だけを処理する方法も考えられる。全画素コピーの方が処理手順は単純になるが、処理時間は若干増えるかもしれない。
【０４７３】
また、第１被写体領域と第２被写体領域とが重なったとしても、重ね画像の生成をそのまま許可する形態も考えられる。この場合には、図５のフローチャートにおいて、Ｓ７，Ｓ８が省略されるようにすれば、処理が簡単になる。ただし、前述どおり、重なり領域を目立たせる処理や、重なりがあることを警告する処理を実行しても構わない。
【０４７４】
重要なのは、本発明の画像合成方法では、第１被写体領域と第２被写体領域とを独立して抽出することができるので、第１被写体領域と第２被写体領域とが重なりを持った重ね画像を生成する場合に、第１被写体と第２被写体のどちらを優先して合成すればよいかを決めることができるということである。
【０４７５】
例えば、第１被写体を優先するように重ね画像生成手段９が設定されたとすると、図３１に示すように、第１被写体と第２被写体との重なり領域において、第１被写体（人物（１））を第２被写体（人物（２））の上になるように重ねた重ね画像が得られる。図３０のフローチャートで説明すると、Ｓ９−４で、重ね画像生成手段９が上記の透過率Ａ、すなわち合成割合を１．０（１００％）として、第１被写体画像の画素値Ｐ１をそのままカレント画素位置に書き込む処理が行われる。
【０４７６】
一方、第２被写体を優先するように重ね画像生成手段９が設定されたとすると、図３２に示すように、第１被写体と第２被写体との重なり領域において、第１被写体（人物（１））を第２被写体（人物（２））の下になるように重ねた重ね画像が得られる。これを実現するには、図３０のフローチャートでＳ９−３の処理とＳ９−５の処理とを入れ替えるのが簡単である。
【０４７７】
つまり、カレント画素位置が第２被写体領域内かどうかの判断を先に、重ね画像生成手段９が行うようにし、その結果、カレント画素位置が第２被写体領域内ならば、同様に第２被写体画像の合成割合を１．０として、第２被写体画像の画素値をそのままカレント画素位置に書き込む処理を行えばよい。
【０４７８】
なお、このような処理は、背景画像を使わずに、第１被写体画像と第２被写体画像だけで合成処理するやり方では不可能である。なぜなら、第１被写体画像と第２被写体画像だけでは、第１被写体領域と第２被写体領域とを独立して抽出することができず、一塊に統合された領域としてしか抽出できないからである。
【０４７９】
なお、ここでは合成画像の大きさを基準画像の大きさにしているが、これより小さくしたり、大きくしたりすることも可能である。例えば図６（ｃ）や図８（ｃ）で補正画像を生成する際、一部を切り捨ててしまっていたが、補正画像の大きさを大きくして切り捨てないようにすれば、合成画像を大きくする時のために、切り捨てずに残した画像を合成に使い、それによって背景を広げることも可能となる。いわゆるパノラマ画像合成のようなことが可能となる効果が出てくる。
【０４８０】
また、例えば、第１被写体画像と背景画像、第２被写体画像と背景画像の間では共通した背景部分を持っていて、第１被写体画像と第２被写体画像で共通した背景部分を持たない場合、合成画像では第１被写体と第２被写体の間の背景が存在しない場合も出てきてしまうかもしれないが、背景画像も使うことで、存在しない部分を埋める合成画像を生成できる効果も出てくる。この場合、例えば、第１被写体画像、背景画像、第２被写体画像の順で端がそれぞれ重なった長い合成画像が生成される（第１被写体画像と第２被写体画像とは、本発明の処理により、合成画像上では位置の重なりは無い）。
【０４８１】
図１１（ｂ）は、第１被写体領域だけを半透明に合成した重ね画像である。図１１（ｃ）は、第２被写体領域だけを半透明に合成した重ね画像である。図１１（ａ）は、両方とも半透明にはせず、どちらも上書きして生成した重ね画像である。なお、図では示していないが、両方とも半透明にして合成する方法も考えられる。
【０４８２】
どの合成方法をとるかは目的によるので、ユーザーがそのときの目的に応じた合成方法を選択できるようにすれば良い。
【０４８３】
例えば、背景画像、第１被写体画像を既に撮影／記録してあり、第２被写体画像を重なり無く撮影しようとする段階では、第１の被写体の詳細な画像は必要なく、大体どの辺に存在し、重なりがあるかどうかが分かればよいのだから、半透明の合成で構わない。また、第２の被写体は、撮影する瞬間にどういう表情をしているとかの詳細が分からないとうまくシャッターが切れないので、半透明ではなく上書きで合成する方が良い。従って、図１１（ｂ）のような合成方法が向いている。
【０４８４】
また、合成する被写体の領域が分かった方が撮りやすいというユーザーにとっては、撮影中は両者を半透明で合成した方が良い場合や、第２の被写体だけを半透明にした方が良い場合もあるかもしれない。
【０４８５】
また、第２の被写体の撮影／記録が済んで、背景画像、第１被写体画像、第２被写体画像を使って、最終的な合成画像を合成したい場合は、半透明な被写体では困るので、どちらも上書きで合成する必要がある。従って、図１１（ａ）のような合成方法が向いている。
【０４８６】
また、被写体領域取得手段７（Ｓ６）から得られる被写体領域が既に膨張されていれば、被写体だけでなく、その周囲の背景部分も一緒に合成してしまうが、既に補正画像生成手段５（Ｓ５）で背景部分は一致するように補正処理されているので、実際の被写体の輪郭の領域よりも多少、抽出する被写体領域が大きめになって背景部分まで含んでしまっていても、合成境界で不自然になることはないという効果が出てくる。
【０４８７】
なお、被写体領域を膨張させて処理するのであれば、合成境界をより自然に見せるように、外部も含めた被写体領域の合成境界付近、あるいは被写体領域内部だけの合成境界付近で、透明度を徐々に変化させて合成させるという方法もある。例えば、被写体領域の外部にいくに従って、背景部分の画像の割合を強くし、被写体領域の内部にいくに従って、被写体領域部分の画像の割合を強くする、といった具合である。
【０４８８】
これにより、たとえ合成境界付近で補正誤差による多少の背景のずれがあったとしても、不自然さを目立たなくすることができるという効果が出てくる。補正誤差でなく、そもそも被写体領域の抽出が間違っている場合や、撮影時間のずれなどに起因する背景部分の画像の変化（例えば、風で木が動いた、日が陰った、関係無い人が通った、など）があったとしても、同様に、不自然さを目立たなくすることができるという効果が出てくる。
【０４８９】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【０４９０】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０４９１】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク，ハードディスク，光ディスク，光磁気ディスク，磁気テープ，不揮発性のメモリカード，等を用いることができる。
【０４９２】
また、上記プログラムコードは、通信ネットワークのような伝送媒体を介して、他のコンピュータシステムから画像合成装置の主記憶７４または外部記憶７５へダウンロードされるものであってもよい。
【０４９３】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０４９４】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０４９５】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードを格納することになる。
【０４９６】
本発明は上述した各実施形態に限らず、請求項に示した範囲で種々の変更が可能である。
【０４９７】
【発明の効果】
本発明に係る画像合成装置は、以上のように、背景の画像である背景画像と、前記背景の少なくとも一部と第１の被写体を含む画像である第１被写体画像と、前記背景の少なくとも一部と第２の被写体を含む画像である第２被写体画像との間での、背景の相対的な移動量、回転量、拡大縮小率、歪補正量のいずれかもしくは組み合わせからなる補正量を算出する、あるいは算出して記録しておいた補正量を読み出す背景補正量算出手段と、背景画像、第１被写体画像、第２被写体画像のいずれかを基準画像とし、他の２画像を被写体以外の背景の少なくとも一部が重なるように、前記背景補正量算出手段から得られる補正量で補正し、基準画像と補正した他の１つあるいは２つの画像を重ねた画像を生成する重ね画像生成手段と、を有する。
【０４９８】
これにより、二つの画像間の背景のずれを補正して合成することができるので、被写体など明らかに異なる領域を除いた以外の部分（すなわち背景部分）は、どのように重ねても合成結果がほぼ一致し、合成結果が不自然とならないという効果が出てくる。例えば被写体領域だけを主に合成しようとした時、被写体領域の抽出や指定が多少不正確であっても、被写体領域の周りの背景部分が合成先の画像の部分とずれがないので、不正確な領域の内外が連続した風景として合成され、見た目の不自然さを軽減するという効果が出てくる。
【０４９９】
また、これにより、たとえ被写体領域の抽出が画素単位で正確であったとしても、課題の項で説明した通り、１画素より細かいレベルでの不自然さは従来技術の方法では出てしまうが、本発明では、背景部分を合わせてから合成しているので、輪郭の画素の周囲の画素は、同じ背景部分の位置の画素となり、合成してもほぼ自然なつながりとなる。このように、１画素より細かいレベルでの不自然さを防ぐ、あるいは軽減するという効果が出てくる。
【０５００】
また、背景のずれを補正して合成するので、背景画像や第１／第２被写体画像の撮影時にカメラなどを三脚などで固定する必要がなく、手などで大体の方向を合わせておけばよく、撮影が簡単になるという効果が出てくる。
【０５０１】
さらに、第１被写体画像と第２被写体画像の間では背景部分に重なりがなくても、第１被写体画像と第２被写体画像の間の補正量を算出することができる。これにより、第１被写体画像の背景部分と第２被写体画像の背景部分の間の背景が抜けていても、その抜けている背景部分を背景画像の背景が埋めていれば、背景部分に重なりの無い第１被写体画像と第２被写体画像を、背景が繋がった状態で合成することができる効果が出てくる。
【０５０２】
さらに、背景画像、第１被写体画像および第２被写体画像のそれぞれから必要な背景部分を取り出して、互いの不足部分を補うことでつなげた背景の上に、第１被写体および第２被写体を合成した重ね画像を作成することもできる。
【０５０３】
本発明に係る画像合成装置は、以上のように、被写体や風景を撮像する撮像手段を有し、背景画像、または第１被写体画像、または第２被写体画像は、前記撮像手段の出力に基づいて生成されてもよい。
【０５０４】
これによって、ユーザーが被写体や風景を撮影したその場で、重ね画像を生成することができるため、ユーザーにとっての利便性が向上する。また、重ね画像を生成した結果、もし被写体同士の重なりがあるなどの不都合があれば、その場で撮影し直すことができるという効果が出てくる。
【０５０５】
本発明に係る画像合成装置は、以上のように、第１被写体画像と第２被写体画像のうち、先に撮影した方を基準画像としてもよい。
【０５０６】
このように、第１被写体画像と第２被写体画像のうち、先に撮影した方を基準画像とすることで、撮影し直しを繰り返す場合に、処理量・処理時間を減らすことができるという効果が出てくる。
【０５０７】
本発明に係る画像合成装置は、以上のように、基準画像の直前あるいは直後の順で背景画像を撮影してもよい。
【０５０８】
これにより、再度撮影し直す際の被写体や撮影者の微調整などの手間を減らし、重なりなどの不具合の少ない画像を撮影し易くなるという効果が出てくる。また、撮影し易くなる効果だけでなく、重ね画像を効率よく生成することができ、ユーザーの使い勝手が向上する効果が出てくる。
【０５０９】
本発明に係る画像合成装置は、以上のように、前記重ね画像生成手段において、基準画像と補正した他の１つあるいは２つの画像とを、それぞれ所定の透過率で重ねてもよい。
【０５１０】
これを使って、例えば、補正された被写体画像中の被写体領域だけを基準画像に重ねる時、被写体領域内は不透明（すなわち補正画像中の被写体の画像そのまま）で重ね、被写体領域周辺は被写体領域から離れるに従い基準画像の割合が強くなるように重ねる。すると、被写体領域、すなわち抽出した被写体の輪郭が間違っていたとしても、その周辺の画素は、補正画像から基準画像に徐々に変わっているので、間違いが目立たなくなるという効果が出てくる。
【０５１１】
また、例えば被写体領域だけを半分の透過度で重ねる、などの合成表示をすることで、表示されている画像のどの部分が以前に撮影した合成対象部分で、どの部分が今撮影している被写体の画像なのかを、判別しやすくするという効果も出てくる。それにより、被写体同士の重なりなどがある場合も、今撮影している被写体の位置を判別しやすくなるという効果も出てくる。
【０５１２】
本発明に係る画像合成装置は、以上のように、前記重ね画像生成手段において、基準画像と補正した他の１つあるいは２つの画像の間の差分画像中の差のある領域を、元の画素値と異なる画素値の画像として生成してもよい。
【０５１３】
これによって、二つの画像間で一致しない部分がユーザーに分かりやすくなるという効果が出てくる。例えば、第１や第２の被写体の領域は、基準画像上と補正画像上では、片方は被写体の画像、他方は背景の画像となるので、差分画像中の差のある領域として抽出される。抽出された領域を半透明にしたり、反転表示したり、目立つような色の画素値とすることで、被写体の領域がユーザーに分かりやすく、もし被写体同士に重なりなどがあれば、それも分かり易くなるという効果が出てくる。
【０５１４】
本発明に係る画像合成装置は、以上のように、基準画像と補正した他の１つあるいは２つの画像の間の差分画像中から、第１の被写体の領域と第２の被写体の領域を抽出する被写体領域抽出手段を有し、前記重ね画像生成手段において、基準画像と補正した他の１つあるいは２つの画像とを重ねる代わりに、基準画像と前記被写体領域抽出手段から得られる領域内の補正した他の１つあるいは２つの画像とを重ねることを特徴とする。
【０５１５】
これによって、基準画像上や補正された背景画像上に、補正された被写体画像中の被写体領域のみを合成することできるという効果が出てくる。あるいは、補正された被写体画像上や補正された背景画像上に、基準画像中の被写体領域のみを合成したり、補正された背景画像上に基準画像中の被写体領域と補正された被写体画像中の被写体領域を合成したり、基準画像としての背景画像上に補正された被写体画像中の被写体領域を合成したりするということもできる。
【０５１６】
また、被写体領域の透過率を変えるなどして合成するならば、どの領域を合成しようとしているかがユーザーに分かり易く、もし被写体同士に重なりなどがあれば、それもさらに分かり易くなるという効果が出てくる。さらに、それによって、どうすれば重なりが起きないようになるかをユーザーが判断する材料を与える等、撮影を補助することができるという効果が出てくる。
【０５１７】
また、背景画像、第１被写体画像および第２被写体画像の３枚を用いると、第１の被写体の領域または第２の被写体の領域の抽出が容易になるという効果が出てくる。さらに、第１の被写体の領域または第２の被写体の領域をそれぞれ抽出できるので、各被写体に重なりがある場合に、どちらを優先して合成するか、すなわち重なり部分において、第１の被写体が第２の被写体の上になるように合成するか、下になるように合成するかを決めることができるという効果も出てくる。
【０５１８】
本発明に係る画像合成装置は、以上のように、前記被写体領域抽出手段から得られる第１の被写体の領域と第２の被写体の領域の重なりを検出する重なり検出手段を有することを特徴とする。
【０５１９】
これによって、被写体同士が重なり合っている部分があるかどうかをユーザーが判別しやすくなるという効果が出てくる。それによって、重なりが起きないように撮影を補助する効果については、前述したものと同様である。
【０５２０】
本発明に係る画像合成装置は、以上のように、前記重なり検出手段において重なりが検出される時、重なりが存在することを、ユーザーあるいは被写体あるいは両方に警告する重なり警告手段を有してもよい。
【０５２１】
これによって、被写体同士が重なり合っている場合に、重なり警告手段の動作によって警告されるので、ユーザーがそれに気づかずに撮影／記録したり合成処理したりということを防ぐことができ、さらに被写体にも位置調整等が必要であることを即時に知らせることができるという撮影補助の効果が出てくる。
【０５２２】
本発明に係る画像合成装置は、以上のように、前記重なり検出手段において重なりが検出されない時、重なりが存在しないことを、ユーザーあるいは被写体あるいは両方に通知するシャッターチャンス通知手段を有してもよい。
【０５２３】
これによって、被写体同士が重なり合っていない時をユーザーが知ることができるので、撮影や撮影画像記録、合成のタイミングをそれに合わせて行えば、被写体同士が重ならずに合成することができるという撮影補助の効果が出てくる。
【０５２４】
また、被写体にも、シャッターチャンスであることを通知できるので、ポーズや視線などの備えを即座に行えるという撮影補助の効果も得られる。
【０５２５】
本発明に係る画像合成装置は、以上のように、被写体や風景を撮像する撮像手段を有し、前記重なり検出手段で重なりが検出されない時に、前記撮像手段から得られる画像を背景画像、または第１被写体画像、または第２被写体画像として記録する指示を生成する自動シャッター手段を有してもよい。
【０５２６】
これによって、被写体同士が重なり合っていない時に自動的に撮影が行われるので、ユーザー自身が重なりがあるかどうかを判別してシャッターを押さなくても良いという撮影補助の効果が出てくる。
【０５２７】
本発明に係る画像合成装置は、以上のように、被写体や風景を撮像する撮像手段を有し、前記重なり検出手段で重なりが検出される時に、前記撮像手段から得られる画像を、背景画像、あるいは第１被写体画像、あるいは第２被写体画像として記録することを禁止する指示を生成する自動シャッター手段を有してもよい。
【０５２８】
これによって、被写体同士が重なり合ってる時は撮影が行われないので、ユーザーが誤って重なりがある状態で撮影／記録してしまうことを防ぐ撮影補助の効果が出てくる。
【０５２９】
本発明に係る画像合成装置は、以上のように、前記重なり検出手段において、第１の被写体の領域と第２の被写体の領域が重なり合う重なり領域を抽出してもよい。
【０５３０】
これによって、被写体同士が重なり合っている部分があるとしたらどの部分が重なっているかを表示などで通知すれば、ユーザーが判別しやすくなるという効果が出てくる。また、それによって、カメラや撮影中の被写体がどの方向、位置にどのくらい動けばよいかが判別しやすくなるという撮影補助の効果が出てくる。
【０５３１】
本発明に係る画像合成装置は、以上のように、前記重ね画像生成手段において、前記重なり検出手段が抽出した重なり領域を元の画素値と異なる画素値の画像として生成してもよい。
【０５３２】
これによって、重なり領域がユーザーや被写体に判別しやすくなるという撮影補助の効果が出てくる。
【０５３３】
本発明に係る画像合成装置は、以上のように、前記重なり検出手段で重なりが検出される場合、重なりを減らす第１の被写体または第２の被写体の位置あるいはその位置の方向を算出する重なり回避方法算出手段と、前記重なり回避方法算出手段から得られる第１の被写体または第２の被写体の位置あるいはその位置の方向を、ユーザーあるいは被写体あるいは両方に知らせる重なり回避方法通知手段と、を有してもよい。
【０５３４】
これによって、重なりがある場合に、カメラや撮影中の被写体がどの方向、位置に動けばよいかがユーザーが判断しなくても済むという撮影補助の効果が出てくる。
【０５３５】
本発明に係る画像合成方法は、以上のように、背景の画像である背景画像と、前記背景の少なくとも一部と第１の被写体を含む画像である第１被写体画像と、前記背景の少なくとも一部と第２の被写体を含む画像である第２被写体画像との間での、背景の相対的な移動量、回転量、拡大縮小率、歪補正量のいずれかもしくは組み合わせからなる補正量を算出する、あるいは算出して記録しておいた補正量を読み出す背景補正量算出ステップと、背景画像、第１被写体画像、第２被写体画像のいずれかを基準画像とし、他の２画像を被写体以外の背景の少なくとも一部が重なるように、前記背景補正量算出ステップから得られる補正量で補正し、基準画像と補正した他の１つあるいは２つの画像を重ねた画像を生成する重ね画像生成ステップとを有する。
【０５３６】
これによる種々の効果は、前述したとおりである。
【０５３７】
本発明に係る画像合成プログラムは、以上のように、上記画像合成装置が備える各手段として、コンピュータを機能させてもよい。
【０５３８】
本発明に係る画像合成プログラムは、以上のように、上記画像合成方法が備える各ステップをコンピュータに実行させてもよい。
【０５３９】
本発明に係る記録媒体は、以上のように、上記画像合成プログラムを記録してもよい。
【０５４０】
これにより、上記記録媒体、またはネットワークを介して、一般的なコンピュータに合成画像生成表示プログラムをインストールすることによって、該コンピュータを用いて上記の画像合成方法を実現する、言い換えれば、該コンピュータを画像合成装置として機能させることができる。
【図面の簡単な説明】
【図１】 本発明の画像合成装置の機能的な構成を示すブロック図である。
【図２】 上記画像合成装置の各手段を具体的に実現する装置の構成例を説明するブロック図である。
【図３】 （ａ）は、上記画像合成装置の背面の外観例を示す模式的な斜視図であり、（ｂ）は、上記画像合成装置の前面の外観例を示す模式的な斜視図である。
【図４】 画像データのデータ構造例を説明する説明図である。
【図５】 画像合成方法全体の流れを示すフローチャート図である。
【図６】 （ａ）は、背景画像の例を示す説明図、（ｂ）は、上記背景画像中の参照ブロックの配置を説明する説明図、（ｃ）は、上記背景画像を補正した補正背景画像を説明する説明図、（ｄ）は、上記補正背景画像のマスク画像を説明する説明図である。
【図７】 （ａ）は、第１被写体画像の例を示す説明図、（ｂ）は、上記第１被写体画像中の残ったマッチングブロックの配置を説明する説明図である。
【図８】 （ａ）は、第２被写体画像の例を示す説明図、（ｂ）は、上記第２被写体画像中の残ったマッチングブロックの配置を説明する説明図、（ｃ）は、上記第２被写体画像を補正した補正第２被写体画像を説明する説明図、（ｄ）は、上記補正第２被写体画像のマスク画像を説明する説明図である。
【図９】 （ａ）は、第１被写体画像と補正背景画像の差分画像例を示す説明図、（ｂ）は、上記差分画像から生成したラベル画像例を示す説明図、（ｃ）は、上記ラベル画像からノイズ部分を除去したラベル画像例を示す説明図、（ｄ）は、上記ラベル画像から第１被写体領域を抽出した第１被写体領域画像例を示す説明図である。
【図１０】 （ａ）は、第２被写体画像と補正背景画像の差分画像例を示す説明図、（ｂ）は、上記差分画像から生成したラベル画像例を示す説明図、（ｃ）は、上記ラベル画像からノイズ部分を除去したラベル画像例を示す説明図、（ｄ）は、上記ラベル画像から第２被写体領域を抽出した第２被写体領域画像例を示す説明図である。
【図１１】 （ａ）は、図９（ｄ）の第１被写体領域部分と図１０（ｄ）の第２被写体領域部分と背景部分を重ねて合成した重ね画像例を示す説明図、（ｂ）は、第１被写体領域部分を半透明にして重ねて合成した重ね画像例を示す説明図、（ｃ）は、第２被写体領域部分を半透明にして重ねて合成した重ね画像例を示す説明図である。
【図１２】 図９（ｄ）の第１被写体領域と図２０（ｂ）の第２被写体領域の重なり画像例を示す説明図である。
【図１３】 （ａ）は、図９（ｄ）の第１被写体領域部分と図２０（ｂ）の第２被写体領域部分と背景部分を重ねて合成し、重なり部分を目立つように表示させた重ね画像例を示す説明図、（ｂ）は、上記第１被写体領域部分を半透明にして重ねて合成した重ね画像例を示す説明図、（ｃ）は、重なりの警告メッセージを表示させた例を示す説明図である。
【図１４】 第２被写体画像を取得する処理の一方法を説明するフローチャート図である。
【図１５】 背景補正量を算出する処理の一方法を説明するフローチャート図である。
【図１６】 （ａ）は、ブロックマッチングを説明する参照画像の例を示す説明図、（ｂ）は、ブロックマッチングを説明する探索画像の例を示す説明図である。
【図１７】 背景画像、第２被写体画像の補正画像を生成し、第１被写体画像との差分画像を生成する処理の一方法を説明するフローチャート図である。
【図１８】 （ａ）は、回転している第２被写体画像の例を示す説明図、（ｂ）は、上記第２被写体画像中の残ったマッチングブロックの配置を説明する説明図、（ｃ）は、上記第２被写体画像を補正した補正第２被写体画像を説明する説明図、（ｄ）は、補正第２被写体画像画像のマスク画像を説明する説明図である。
【図１９】 被写体領域を抽出する処理の一方法を説明するフローチャート図である。
【図２０】 （ａ）は、図７（ａ）の第１被写体と被写体領域同士が重なる第２被写体画像の例を示す説明図、（ｂ）は、上記第２被写体画像から抽出した第２被写体領域画像の例を示す説明図である。
【図２１】 被写体領域の重なりを警告する処理の一方法を説明するフローチャート図である。
【図２２】 被写体領域に重なりが無い時に、シャッターチャンスを通知する処理の一方法を説明するフローチャート図である。
【図２３】 被写体領域に重なりが無い時に、自動シャッターを行う処理の一方法を説明するフローチャート図である。
【図２４】 被写体領域に重なりがある時に、重なりがなくなる方向を通知する処理の一方法を説明するフローチャート図である。
【図２５】 被写体領域に重なりがなくなる方向を説明する説明図である。
【図２６】 （ａ）は、被写体領域に重なりがある時に、重なりがなくなる方向を通知する例を説明する説明図、（ｂ）は、被写体領域に重なりがある時に、重なりがなくなる位置と方向を通知する例を説明する説明図である。
【図２７】 被写体領域に重なりがある時に、重なりがなくなる位置を通知する処理の一方法を説明するフローチャート図である。
【図２８】 （ａ）〜（ｄ）は、第２被写体領域を上下左右に動かした例をそれぞれ説明する説明図である。
【図２９】 （ａ）〜（ｄ）は、図９（ｄ）の第１被写体領域と図２８（ａ）〜（ｄ）の各第２被写体領域との重なり領域を説明する説明図である。
【図３０】 重なり画像を生成する処理の一方法を説明するフローチャート図である。
【図３１】 第1の被写体を優先して重ね画像を生成した場合の表示例を示す説明図である。
【図３２】 第２の被写体を優先して重ね画像を生成した場合の表示例を示す説明図である。
【符号の説明】
１ 第１被写体画像取得手段
２ 背景画像取得手段
３ 第２被写体画像取得手段
４ 背景補正量算出手段
５ 補正画像生成手段
６ 差分画像生成手段
７ 被写体領域抽出手段
８ 重なり検出手段
９ 重ね画像生成手段
１０ 重ね画像表示手段
１１ 重なり回避方法算出手段
１２ 重なり回避方法通地位手段
１３ 重なり警告手段
１４ シャッターチャンス通知手段
１５ 自動シャッター手段
１６ 撮像手段
７４ 主記憶（記録媒体）
７５ 外部記憶（記録媒体）
１１２ 領域（第１被写体領域）
１２２ 領域（第２被写体領域）
１３０ 第２被写体領域
１３１ 領域（重なり領域）
１４０ 本体（画像合成装置）
１４１ 表示部兼タブレット
１４３ シャッターボタン

Claims (16)

1. 背景の画像である背景画像と、前記背景の少なくとも一部と第１の被写体を含む画像である第１被写体画像と、前記背景の少なくとも一部と第２の被写体を含む画像である第２被写体画像との間での、背景の相対的な移動量、回転量、拡大縮小率、歪補正量のいずれかもしくは組み合わせからなる補正量を算出する、あるいは算出して記録しておいた補正量を読み出す背景補正量算出手段と、
   背景画像、第１被写体画像、第２被写体画像のいずれかを基準画像とし、他の２画像を被写体以外の背景の少なくとも一部が重なるように、前記背景補正量算出手段から得られる補正量で補正し、基準画像と補正した他の１つあるいは２つの画像を重ねた画像を生成する重ね画像生成手段と、
   基準画像と補正した他の１つあるいは２つの画像の間の差分画像中から、第１の被写体の領域と第２の被写体の領域を抽出する被写体領域抽出手段と、
   前記被写体領域抽出手段から得られる第１の被写体の領域と第２の被写体の領域の重なりを検出する重なり検出手段とを有し、
   前記重ね画像生成手段において、基準画像と補正した他の１つあるいは２つの画像とを重ねる代わりに、基準画像と前記被写体領域抽出手段から得られる領域内の補正した他の１つあるいは２つの画像とを重ねる
   ことを特徴とする画像合成装置。
2. 被写体や風景を撮像する撮像手段を有し、
   背景画像、または第１被写体画像、または第２被写体画像は、前記撮像手段の出力に基づいて生成され、
   第１被写体画像と第２被写体画像のうち、先に撮影した方を基準画像とする
   ことを特徴とする請求項１に記載の画像合成装置。
3. 基準画像の直前あるいは直後の順で背景画像を撮影する
   ことを特徴とする請求項２に記載の画像合成装置。
4. 前記重ね画像生成手段において、
   基準画像と補正した他の１つあるいは２つの画像とを、それぞれ所定の透過率で重ねる
   ことを特徴とする請求項１に記載の画像合成装置。
5. 前記重ね画像生成手段において、基準画像と補正した他の１つあるいは２つの画像の間の差分画像中の差のある領域を、ユーザが識別できるように、元の画素値と異なる画素値に変更する
   ことを特徴とする請求項１に記載の画像合成装置。
6. 前記第１の被写体または第２の被写体の撮像中に、前記重なり検出手段において重なりが検出される時、重なりが存在することを、ユーザーあるいは撮像中の第１の被写体または第２の被写体あるいは両方に警告する重なり警告手段
   を有することを特徴とする請求項１に記載の画像合成装置。
7. 前記第１の被写体または第２の被写体の撮像中に、前記重なり検出手段において重なりが検出されない時、重なりが存在しないことを、ユーザーあるいは撮像中の第１の被写体または第２の被写体あるいは両方に通知するシャッターチャンス通知手段
   を有することを特徴とする請求項１に記載の画像合成装置。
8. 被写体や風景を撮像する撮像手段を有し、
   前記重なり検出手段で重なりが検出されない時に、前記撮像手段から得られる画像を背景画像、または第１被写体画像、または第２被写体画像として記録する指示を生成する自動シャッター手段を有すること
   を特徴とする請求項１に記載の画像合成装置。
9. 被写体や風景を撮像する撮像手段を有し、
   前記重なり検出手段で重なりが検出される時に、前記撮像手段から得られる画像を、背景画像、あるいは第１被写体画像、あるいは第２被写体画像として記録することを禁止する指示を生成する自動シャッター手段を有すること
   を特徴とする請求項１に記載の画像合成装置。
10. 前記重なり検出手段において、第１の被写体の領域と第２の被写体の領域が重なり合う重なり領域を抽出する
    ことを特徴とする請求項１に記載の画像合成装置。
11. 前記重ね画像生成手段において、
    前記重なり検出手段が抽出した重なり領域を、ユーザが識別できるように、元の画素値と異なる画素値に変更することを特徴とする請求項１０に記載の画像合成装置。
12. 前記第１の被写体または第２の被写体の撮像中に、前記重なり検出手段で重なりが検出される場合、重なりを減らす第１の被写体または第２の被写体の位置あるいはその位置の方向を算出する重なり回避方法算出手段と、
    前記重なり回避方法算出手段から得られる第１の被写体または第２の被写体の位置あるいはその位置の方向を、ユーザーあるいは撮像中の第１の被写体または第２の被写体あるいは両方に知らせる重なり回避方法通知手段と、
    を有することを特徴とする請求項１から１１のいずれか１項に記載の画像合成装置。
13. 背景の画像である背景画像と、前記背景の少なくとも一部と第１の被写体を含む画像である第１被写体画像と、前記背景の少なくとも一部と第２の被写体を含む画像である第２被写体画像との間での、背景の相対的な移動量、回転量、拡大縮小率、歪補正量のいずれかもしくは組み合わせからなる補正量を算出する、あるいは算出して記録しておいた補正量を読み出す背景補正量算出ステップと、
    背景画像、第１被写体画像、第２被写体画像のいずれかを基準画像とし、他の２画像を被写体以外の背景の少なくとも一部が重なるように、前記背景補正量算出ステップから得られる補正量で補正し、基準画像と補正した他の１つあるいは２つの画像を重ねた画像を生成する重ね画像生成ステップと、
    基準画像と補正した他の１つあるいは２つの画像の間の差分画像中から、第１の被写体の領域と第２の被写体の領域を抽出する被写体領域抽出ステップと、
    前記被写体領域抽出手段から得られる第１の被写体の領域と第２の被写体の領域の重なりを検出する重なり検出ステップとを有し、
    前記重ね画像生成ステップにおいて、基準画像と補正した他の１つあるいは２つの画像とを重ねる代わりに、基準画像と前記被写体領域抽出ステップから得られる領域内の補正した他の１つあるいは２つの画像とを重ねる
    ことを特徴とする画像合成方法。
14. 請求項１から１２のいずれか１項に記載の画像合成装置が備える各手段として、コンピュータを機能させるための画像合成プログラム。
15. 請求項１３に記載の画像合成方法が備える各ステップを、コンピュータに実行させるための画像合成プログラム。
16. 請求項１４または１５に記載の画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images