WO2004015987A1

WO2004015987A1 - 画像合成装置、画像合成方法、画像合成プログラム、および画像合成プログラムを記録した記録媒体

Info

Publication number: WO2004015987A1
Application number: PCT/JP2003/008510
Authority: WO
Inventors: Masashi Hirosawa
Original assignee: Sharp Kabushiki Kaisha
Priority date: 2002-08-09
Filing date: 2003-07-03
Publication date: 2004-02-19
Also published as: AU2003246268A1; CN1682528A; US7623733B2; CN100477745C; US20060078224A1

Abstract

　画像合成装置は、第１被写体画像取得手段（１）、第２被写体画像取得手段（３）、背景画像取得手段（２）によって、第１被写体画像、第２被写体画像、背景画像の３つの画像を取得し、その内の１つを基準画像として、背景補正量算出手段（４）、補正画像生成手段（５）によって背景部分が一致する２枚の補正画像を生成する。重ね画像生成手段（９）は、基準画像と２枚の補正画像の１つまたは２つを重ねた画像を生成する。これにより、重ね合わせる画像同士は、背景が一致しているので、別々に撮影した第１の被写体および第２の被写体を、背景に対して違和感無く合成することができる。

Description

明細書画像合成装置、画像合成方法、画像合成プログラム、および画像合成プログラムを記録した記録媒体

技術分野

本発明は、別々に撮影された複数の被写体を、同時に存在するかのように一枚の画像に合成し、またその際、被写体同士が重なりなく撮影合成ができるように補助を行う装置および方法およびプログラムおよびプログラム媒体に関する。

背景技術

フィルムカメラやデジタル力メラで、例えば二人で並んで写真を撮る際、三脚を使ってセルフタイマーで撮影するか、通りがかりの人などに頼んで撮影してもらうしかない。

しかし、三脚を持ち歩くのは大変であり、また、見ず知らずの他人に頼むのも気が引けるとレヽぅ問題がある。

それに対して、特開 2 0 0 0— 3 1 6 1 2 5号公報（ 2 0 0 0年 1 1 月 1 4 日公開）では、同一場所で撮影した複数枚の画像から被写体の镇域を抽出し、被写体の画像を背景と合成したりしなかったりすることで背景のみの画像や別の画像の被写体が同時に存在するかのような画像を合成することができる画像合成装置が開示されている。

また、特開 2 0 0 1 — 3 3 3 3 2 7号公報（ 2 0 0 1年 1 1月 3 0 日公開）では、撮影済みの参照画像中の指定された領域（被写体領域）を撮影中の画像に重ねてモニター画面またはフアインダー内に表示させることができると共に、被写体領域内の被写体を撮影中の画像に合成した合成画像の画像データを作成することができるデジタルカメラおよび画像処理方法が開示されている。

しかしながら、これら従来技術では、大きく 2つの問題が出てくる。 1つ目の問題は、参照画像中の被写体領域を単に切り出して別の画像と重ね合わせるだけでは、被写体領域の指定が不正確な場合に（ 1 ) 合成結果の被写体が欠けたり、（ 2 ) 余計なものが合成されたり、（ 3 ) 指定が正確であっても合成境界が微妙に不自然になったりするという点である。

例えば、（ 1 ) の、実際の被写体領域より参照画像中で指定した被写体領域（以下、指定被写体領域と呼ぶ）が欠けている場合は、合成画像上でもその被写体は欠けているので、明らかに不自然となる。

また、（ 2 ) の、実際の被写体領域より参照画像中の指定被写体領域が大きすぎる場合は、参照画像上での被写体周囲の背景も含んでしまつていることになる。上でいう「余計なもの」とは、この含んでしまっている背景部分のことである。特開 2 0 0 1 - 3 3 3 3 2 7号公報で説明される合成方法では、参照画像と撮影画像を違う場所で撮影することもありえるので、指定被写体領域に含まれてしまっている背景画像（参照画像上の背景）と、合成画像上でのその周囲の背景（撮影画像上の背景）とは異なることがある。この場合、合成画像上では、指定被写体領域で背景が突然変わるため、不自然な合成画像となる。

仮に、同じ場所、同じ背景でどちらも撮影されたとしても、特開 2 0 0 1 — 3 3 3 3 2 7号公報で説明される合成方法では、参照画像中の指定被写体領域を撮影画像上の任意の位置に配置 ' 合成できるので、指定被写体領域に含まれてしまっている背景画像（参照画像上の背景）と、撮影画像上での合成位置周囲の背景（撮影画像の背景）とが、同じ位置の背景とは限らず、同様に合成結果は不自然となる。

特開 2 0 0 1 — 3 3 3 3 2 7号公報のように、参照画像中の指定被写体領域に対し、ユーザがタブレツトなどを使ってその輪郭を指定する場合、人間が輪郭を判断しながら指定するので指定被写体領域の指定が大きく間違うことは少ないが、 1 、 2画素ないし数画素程度の誤りが出てくる可能性はある。もし、 1画素の単位で人手で正確に指定しようとすると、大変な労力が必要となる。

また、（ 3 ) の、指定が正確であっても合成境界が微妙に不自然になる場合には、（ 1 ) 、（ 2 ) のような指定被写体領域が画素単位で正確であったとしても、指定被写体領域の合成結果として、その輪郭の画素が撮影画像の背景と馴染まない場合をも含んでいる。

これは、指定被写体領域の輪郭は、画素単位の指定では精度が充分でなく、実際は 1画素よりももつと細かい単位でないと表現できないためである。すなわち、輪郭の画素は、本来は被写体部分が（ 0. X) 画素分、背景部分が（ 1. 0— 0. X) 画素分となっており、画素値としては、被写体部分の画素値と背景部分の画素値とが割合に応じて足された値、すなわち平均化された値となっている。

このため、被写体部分と背景部分との割合は、平均化された画素値からは逆算できないので、結局、合成する時は画素単位で扱うしかない。その結果、合成画像の輪郭の画素値には、参照画像の背景の値が含まれてしまい、周囲の撮影画像の背景と馴染まなくなってしまう。以上の（ 1 ) 〜（ 3 ) の問題は、特開 2 0 0 0— 3 1 6 1 2 5号公報に開示された合成方法によっても解決できない。同公報には、同一場所または互いに近くの場所で撮影した複数枚の画像を重ねる前に位置合わせを行うことが開示されている。

しかしながら、例えば同じ背景を使って 2人が交互にお互いを撮影する場合、カメラの向きの違いによつて撮影される背景の位置が移動するだけではなく、カメラの傾きによる画像の回転や、撮影者と被写体との距離のずれによる画像の拡大縮小や、撮影者の背丈の違いによってカメラの仰角が変わることによる画像の歪みが発生する。

このため、重ね合わせようとする画像の位置合わせを単に行うだけでは、上記（ 1 ) 〜（ 3 ) の問題が解消されず、合成結果は不自然になつてしまう。

2つ目の問題は、参照画像中の被写体領域と、別の被写体の含まれる撮影画像とを合成することを目的に撮影を行おうとすると、撮影時の被写体の位置に気をつけないと、それぞれの画像中の被写体の領域が合成画像上で互いに重なってしまったり、どちらかの被写体が合成画像からはみ出てしまう場合が出てくるという点である。

この問題に対して、特開 2 0 0 0— 3 1 6 1 2 5号公報には、撮影済みの画像を使った合成方法が主に説明されているだけであり、被写体同士の重なりや合成画像からのはみだしを防ぐ撮影方法などには触れられていない。

また、特開 2 0 0 1— 3 3 3 3 2 7号公報の画像処理方法によれば、参照画像中の被写体領域（ユーザがタブレツトなどを使って輪郭を指定する）と撮影中の画像とを重ねて表示することができるので、合成する場合の参照画像中の被写体領域と撮影中の画像中の被写体領域とに関して、被写体同士が重なるかどうかや、被写体領域が合成画像からはみだすかどうかを、撮影時に知ることができる。被写体の重なりやはみだしがある場合は、被写体やカメラを動かすことで撮影中の画像中の被写体の位置を変更することができ、重なりやはみだしが起こらない画像を撮影 ·記録することができるようになる。

しかし、被写体領域の認識処理や、被写体領域同士が重なっているかどうか、合成画像から被写体領域がはみだしているかどうかの判断処理など、高度な処理を人間自身がしなければならないという不便さがある。また、参照画像中の被写体の領域は手で指定しなければいけないという不便さもある。

本発明は、上記課題に鑑みなされたもので、第 1の目的は、合成結果が不自然とならないような合成を行う画像合成装置（画像合成方法）を提供することであり、第 2の目的は、別々に撮影された複数の被写体を、同時に存在するかのように一枚の画像に合成する際、合成画像上で被写体同士の重なりが起きないように撮影を補助する画像合成装置（画像合成方法）を提供することである。発明の開示

本発明に係る第 1の画像合成装置は、上記目的を達成するために、背景の画像である背景画像と、前記背景の少なくとも一部と第 1の被写体を含む画像である第 1被写体画像と、前記背景の少なくとも一部と第 2 の被写体を含む画像である第 2被写体画像との間での、背景の相対的な移動量、回転量、拡大縮小率、歪補正量のいずれかもしくは組み合わせからなる補正量を算出する、あるいは算出して記録しておいた補正量を読み出す背景補正量算出手段と、背景画像、第 1被写体画像、第 2被写体画像のいずれかを基準画像とし、他の 2画像を被写体以外の背景の少なくとも一部が重なるように、前記背景補正量算出手段から得られる補正量で補正し、基準画像と捕正した他の 1つあるいは 2つの画像を重ねた画像を生成する重ね画像生成手段とを含んでいる。

上記の構成において、「第 1の被写体」、「第 2の被写体」とは、合成を行おうとしている対象であり、一般には人物であることが多いが物などの場合もある。厳密には、「第 1の被写体」は、背景画像と第 1被写体画像との間で、背景部分が少なくとも一部重なるようにした時に、画素値が一致しない領域、すなわち変化がある領域は全て「第 1の被写体の領域」となる可能性を持つ。したがって、背景画像は第 1被写体画像との比較処理によって、「第 1の被写体の領域」を抽出する目的で取得される。（なお、背景画像には、第 1被写体画像および第 2被写体画像の 2画像間で、重なる背景部分が存在しない場合に、その存在しない背景部分を埋めるという目的で使われる場合もある。）

但し、背景部分で、風で木の葉が揺れたなどの小さな変化でも変化がある領域となってしまうので、小さな変化や小さな領域はある程度無視する方が、「第 1の被写体の領域」を的確に抽出でき、より自然な重ね画像を得ることができる。「第 2の被写体」についても同様である。

なお、例えば被写体が人物の場合、被写体は必ずしも一人であるとは限らず、複数の人物をまとめて「第 1の被写体」や「第 2の被写体」とする場合もある。つまり、複数人であっても、合成の処理の単位として PC漏 00細 510

7

まとめて扱うものは一つの「被写体」となる。なお、人物でなく、物であっても同様である。

また、被写体は、必ずしも一つの領域であるとは限らず、複数の領域からなる場合もある。「第 1」、「第 2」は、異なるコマ画像として単に区別する為につけたものであり、撮影の順番などを表すものではなく、本質的な違いはない。また、例えば、人物が服や物などを持っていて、

「第 1、第 2の被写体を含まない背景だけの画像」にそれらが現れないのならば、それらも被写体に含まれる。

「第 1被写体画像」、「第 2被写体画像」は、上記の「第 1 の被写体」、「第 2の被写体」を含む別々の画像であり、一般には、カメラなどでその被写体を撮影した画像である。伹し、画像上に被写体のみしか写っておらず、背景画像と共通する背景部分が全く写っていない場合は、合成に適さないので、少なくとも一部は背景画像と共通する背景部分が写っている必要がある。また、通常は、第 1被写体画像、第 2被写体画像は、同じ背景を使って、すなわちカメラをあまり動かさないで撮影する場合が多い。

なお、被写体を撮影するカメラは、画像を静止画として記録するスチルカメラである必要はなく、画像を動画として記録するビデオ力メラであってもよい。ビデオカメラで静止画としての重ね画像を生成する場合、撮影した動画を構成する 1 フレームの画像を被写体画像として取り出し、合成に用いることになる。

「背景」とは、風景から「第 1 の被写体」、「第²の被写体」を除いた部分である。

「背景画像」とは、第 1被写体画像、第 2被写体画像のそれぞれの背景部分の画像が少なくとも一部含まれている画像であり、第 1の被写体、第 2の被写体は写っていないものである。通常は、第 1被写体画像、第 2被写体画像と同じ背景を使って、すなわちカメラをあまり動かさないで、第の被写体、第 2の被写体にカメラの前から外れてもらって撮影する場合が多い。

「第 1、第 2の被写体以外の背景」とは、第 1被写体画像、第 2被写体画像から第 1被写体の領域、第 2被写体の領域を除いた残りの部分でめる。

「移動量」は、基準画像と背景の少なくとも一部が重なる位置へ、他の画像を平行移動させる量だが、回転や拡大縮小の中心の対応点の移動量と言ってもよい。

「歪補正量」とは、カメラやレンズの位置や方向が変わったことによる撮影画像の変化のうち、平行移動、回転、拡大縮小では補正できない残りの変化を補正する為の補正量である。例えば、高い建物を撮影した時に、上の方が遠近法の効果により同じ大きさであっても小さく写ってしまう「あおり」などとよばれる効果などを補正する場合などがこれに含まれる。

「重ね画像生成手段」は、重ね画像を生成するが、必ずしも一つの画像データとして生成しなくてもよく、他の手段の画像データと合わせて合成したかのように見えるのでも構わない。例えば、表示手段上にある画像を表示する際、その画像に上書きする形で別の画像を一部表示すれば、見た目には 2つの画像データから 1つの合成画像データを生成し、その合成画像データを表示しているかのように見えるが、実際は、 2つの画像データに基づく画像がそれぞれ存在するだけで、合成画像データは存在していない。

背景補正量算出手段による補正量の算出には、例えば、ブロックマツチングなど、 2つの画像間での部分的な位置の対応を算出する手法を採用することができる。これらの手法などを利用して、第 1被写体画像、第 2被写体画像、背景画像の中の 2つの画像間での対応を求めれば、背景部分に一致するところがあれば、その部分の位置的な対応を算出することができる。被写体部分は他の画像中には存在しないので、その部分は間違った対応が得られる。背景部分の正しい対応と被写体部分の間違つた対応の中から、統計的な手法を使うなどして背景部分の正しい対応だけを得る。残った正しい対応から、背景部分の相対的な移動量、回転量、拡大縮小率、歪補正量のいずれかもしくは組み合わせからなる補正量が算出できる。

重ね画像生成手段は、背景補正量算出手段により算出された補正量に基づき、基準画像に合わせて他の 2画像を背景部分が一致するように補正した画像を作る。求めた補正量は 2つの画像間の関係を意味し、例えば、 Aと Bの関係， Bと Cの関係がそれぞれわかれば、 Aと Cの関係も分かるように、 3つの画像のうちいずれを基準画像に選んでも、背景補正量算出手段により、その画像と他の 2画像との関係は補正量として算出できる。

そして、重ね画像生成手段によって、捕正した 1つあるいは 2つの画像を基準画像に重ねた画像を生成する。画像の重ね方としては、 3つの画像の位置的に対応する画素の画像データを、 0〜 1の範囲で比例配分した任意の比率で混合すればよい。例えば、背景画像の比率を 0、第 1 被写体画像の比率を 1、第 2被写体画像の比率を 0 とすれば、その画素には、第 1被写体画像の画像データのみが書き込まれる。また、 3つの画像の混合比率を 1 ： 1 ： 1 とすれば、その画素には、 3つの画像の画像データを均等に合成した画像データが書き込まれる。

なお、混合比率をどう設定するかは、本発明にとって本質的ではなく、どのような重ね画像を表示ないし出力したいかというユーザの目的次第である。

以上の処理によって、本発明の重要な特徴として、第 1の被写体と第 2の被写体とを、背景部分を一致させた状態で一枚の画像上に合成することができる。

なお、背景画像を基準画像とした場合には、補正した第 1被写体画像および補正した第 2被写体画像から抽出された少なくとも「第 1 の被写体の領域」および「第 2の被写体の領域」力 S、背景画像に合成される。

「第 iの被写体の領域」および「第 2の被写体の領域」以外の各背景部分については、前述のように、背景画像の対応する画素に所定の比率で合成してもよいし、全く合成しなくてもよい。

また、第 1被写体画像および第 2被写体画像の一方を基準画像とした場合には、補正した背景画像との比較処理によって、補正した他方の被写体画像から抽出した被写体の領域を基準画像に合成するだけで、重ね画像を生成してもよいし、基準画像の背景部分に、背景画像の対応する画素を 0〜 1の間の適当な比率で合成してもよい。

このように、基準画像と他の補正した画像を 1つ重ねるか、あるいは 2つ重ねるかについては、種々のヴァリエーションがある。

以上のとおり、二つの画像間の背景のずれを補正して合成することができるので、これによつて、被写体など明らかに異なる領域を除いた以 1 1

外の部分（すなわち背景部分）は、どのように重ねても合成結果がほぼ一致し、合成結果が不自然とならないという効果が出てくる。例えば被写体領域だけを主に合成しようとした時、被写体領域の抽出や指定が多少不正確であっても、被写体領域の周りの背景部分が合成先の画像の部分とずれや歪みがないので、不正確な領域の内外が連続した風景として合成され、見た目の不自然さを軽減するという効果が出てくる。

被写体領域の抽出が画素単位で正確であったとしても、課題の項で説明した通り、 1画素より細かいレベルでの不自然さは従来技術の方法では出てしまうが、本発明では、背景部分を合わせてから合成しているので、輪郭の画素の周囲の画素は、同じ背景部分の位置の画素なので、合成してもほぼ自然なつながりとなる。このように、 1画素より細かいレベルでの不自然さを防ぐ、あるいは軽減するという効果が出てくる。

また、背景のずれを補正して合成するので、背景画像や第 1 /第 2被写体画像の撮影時にカメラなどを三脚などで固定する必要がなく、手などで大体の方向を合わせておけばよく、撮影が簡単になるという効果が出てくる。

また、背景画像を使わず、第 1 /第 2被写体画像だけで処理する場合、第 i被写体画像と第 2被写体画像の背景部分に重なり（一致部分）がない場合、背景補正量算出手段で補正量を算出することができなくなってしまう。背景画像を使う場合、第 1被写体画像と第 2被写体画像の間では背景部分に重なりがなくても、背景画像と第 1被写体画像の背景部分に重なりがあり、背景画像と第 2被写体画像の背景部分に重なりがあれば、第 1被写体画像と第 2被写体画像の間の補正量を算出することができる。これにより、第 1被写体画像の背景部分と第 2被写体画像の背景部分の間の背景が抜けていても、その抜けている背景部分を背景画像の背景が埋めていれば、背景部分に重なりの無い第 1被写体画像と第 2被写体画像を、背景が繋がった状態で合成することができる効果が出てくる。

また、背景画像を利用して、第 1被写体画像と第 2被写体画像の間の補正量を算出した後、背景画像、第 1被写体画像および第 2被写体画像のそれぞれから必要な背景部分を取り出して、互いの不足部分を補うことでつなげた背景の上に、第 1被写体および第 2被写体を合成した重ね画像を作成することができる。

また、本発明に係る第 1の画像合成装置は、基準画像と補正した他の 1つあるいは 2つの画像の間の差分画像中から、第 1の被写体の領域と第 2の被写体の領域を抽出する被写体領域抽出手段をさらに含み、前記重ね画像生成手段が、基準画像と補正した他の 1つあるいは 2つの画像とを重ねる代わりに、基準画像と前記被写体領域抽出手段から得られる領域内の補正した他の 1つあるいは 2つの画像とを重ねる構成とすることもできる。

ここで、「被写体の領域」とは、被写体が背景と分離される境界で区切られる領域である。例えば、人物が服や物などを持っていて、背景画像にそれらが現れないのならば、それらも被写体であり、被写体領域に含まれる。なお、被写体の領域は、必ずしも繋がった一塊の領域とは限らず、複数の領域に分かれていることもある。

「前記被写体領域抽出手段から得られる領域内の ' · ' 画像を重ねる」とは、その領域以外は何も画像を生成しないということではなく、それ以外の領域は基準画像などで埋めることを意味する。背景部分は一致するように補正しているのだから、差分として現れるのは主に被写体部分となる。従って、被写体領域抽出手段で、差分画像に含まれている被写体領域を抽出することができる。このとき、差分画像からノイズなどを除去する（例えば、差分の画素値が閾値以下のものを除く）などの処理を施すと、被写体領域をより正確に抽出することができる。

重ね画像を生成する際、各画素位置の画素値を決めるが、その画素位置が被写体領域抽出手段から得られる被写体領域内の場合のみ、被写体の画像を重ねるようにする。

これによつて、基準画像上や補正された背景画像上に、補正された被写体画像中の被写体領域のみを合成することできるという効果が出てくる。あるいは、補正された被写体画像上や補正された背景画像上に、基準画像中の被写体領域のみを合成したり、補正された背景画像上に基準画像中の被写体領域と補正された被写体画像中の被写体領域を合成したり、基準画像としての背景画像上に補正された被写体画像中の被写体領域を合成したりするということもできる。

また、被写体領域の透過率を変えるなどして合成するならば、どの領域を合成しようとしているかがユーザに分かり易く、もし被写体同士に重なりなどがあれば、それもさらに分かり易くなるという効果が出てくる。さらに、それによつて、重なりが起きないように撮影を補助することができるという効果が出てくる。

なお、重なりがある場合は、被写体やカメラを動かすなどして、重なりの無い状態で撮影し直すのが良い訳だが、この場合の補助とは、例えば、重なりが起きるかどうかをユーザに認識し易くすることや、どのくらい被写体やカメラを動かせば重なりが解消できそうかを、ユーザが判断する材料（ここでは合成画像）を与えること、などになる。

なお、背景画像を使わず、第 1被写体画像と第 2被写体画像だけで、背景補正量を算出してどちらかを捕正し、差分画像を生成し、差分領域を求めることは、背景部分に適当量の重なりがあれば、可能である。その時、第 1の被写体の領域と第 2の被写体の領域に重なりが無ければ、差分領域は、第 1の被写体の輪郭を持つ領域（ここでは説明の為、「第 1領域」と呼ぶことにする）と、第 2の被写体の輪郭を持つ領域（同様に「第 2領域」と呼ぶことにする）との 2つの独立した領域として求まる。

この時、 1つの被写体画像中で考えれば、第 1領域と第 2領域の、どちらかが被写体部分で、もう片方は背景部分であることは間違いない (ちなみに、差分領域の周囲は一致する背景部分）。例えば、第 1被写体画像であれば、どちらかが第 1の被写体部分で、もう片方は背景部分である。あるいは第 1領域中で考えれば、第 1被写体画像中の第 1領域と、第 2被写体画像中の第 1領域との、どちらかが被写体部分で、もう片方は背景部分である。

しかし、どちらが被写体部分で、どちらが背景部分であるかは、第 1 被写体画像および第 2被写体画像だけから作成した差分画像を使っているだけでは判別できない。

これに対し、背景画像を使う場合、どちらが被写体部分でどちらが背景部分であるかが簡単に判別できる効果が出てくる。例えば背景画像を基準画像とすると、背景画像と補正された第 1被写体画像から求められる被写体領域は、第 1領域だけとなる。この場合、当然、補正された第 1被写体画像中の第 1領域は、被写体部分であり、背景画像中の第 1領域は背景部分である。第 2被写体画像に関しても同様である。差分画像から第 1領域と第 2領域が同時に検出されることはないので、どちらが被写体部分でどちらが背景部分かはすぐに判別できる。

このように、背景画像、第 1被写体画像および第 2被写体画像の 3枚を用いると、第 1の被写体の領域または第 2の被写体の領域の抽出が容易になるという効果が出てくる。さらに、第 1 の被写体の領域または第 2の被写体の領域をそれぞれ抽出できるので、各被写体に重なりがある場合に、どちらを優先して合成するか、すなわち重なり部分において、第ェの被写体が第 2の被写体の上になるように合成するか、下になるように合成するかを決めることができるという効果も出てくる。

本発明に係る第 2の画像合成装置は、上記目的を達成するために、背景と第 1の被写体とを含む画像である第 1被写体画像と、上記背景の少なくとも一部と第 2の被写体とを含む画像である第 2被写体画像との間での、背景部分の相対的な移動量、回転量、拡大縮小率、歪捕正量のいずれかもしくは組み合わせからなる補正量を算出する、あるいは予め算出しておいた補正量を読み出す背景補正量算出手段と、第 1被写体画像、第 2被写体画像のどちらかを基準画像とし、他方の画像を、被写体以外の背景の部分が少なくとも一部重なるように前記背景補正量算出手段から得られる補正量で補正し、基準画像と補正した画像を重ねた画像を生成する重ね画像生成手段とを含んでいる。

上記の構成において、「第 1の被写体」、「第 2の被写体」とは、合成を行おうとしている対象であり、一般には人物であることが多いが物などの場合もある。厳密には、「被写体」は、第 1被写体画像と第 2被写体画像との間で、背景部分が少なくとも一部重なるようにした時に、画素値が一致しない領域、すなわち変化がある領域は全て「被写体の領域」となる可能性を持つ。

但し、背景部分で、風で木の葉が揺れたなどの小さな変化でも変化がある領域となってしまうので、小さな変化や小さな領域はある程度無視する方が、「被写体の領域」を的確に抽出でき、より自然な重ね画像を得ることができる。

なお、例えば被写体が人物の場合、被写体は必ずしも一人であるとは限らず、複数の人物をまとめて「第 1の被写体」や「第 2の被写体」とする場合もある。つまり、複数人であっても、合成の処理の単位としてまとめて扱うものは一つの「被写体」となる。なお、人物でなく、物であっても同様である。

「第 1被写体画像」、「第 2被写体画像」は、上記の「第 1 の被写体」、「第 2の被写体」を含む別々の画像であり、一般には、カメラなどでその被写体を撮影した画像である。但し、画像上に被写体のみしか写っておらず、互いに共通する背景部分が全く写っていない場合は、合成に適さないので、少なくとも一部は互いに共通する背景部分が写っている必要がある。また、通常は、第 1被写体画像、第 2被写体画像は、同じ背景を使って、すなわちカメラをあまり動かさないで撮影する場合が多い。

なお、被写体を撮影するカメラは、画像を静止画として記録するスチルカメラである必要はなく、画像を動画として記録するビデオカメラであってもよい。ビデオカメラで静止画としての重ね画像を生成する場合、撮影した動画を構成する 1 フレームの画像を被写体画像として取り出し- 合成に用いることになる。

「背景の部分」とは、第 1被写体画像、第 2被写体画像から「第 1の被写体」、「第 2の被写体」を除いた部分である。

「移動量」、「歪補正量」は、第 1の画像合成装置において説明したとおりである。

背景補正量算出手段による補正量の算出には、例えば、ブロックマツチングなど、 2つの画像間での部分的な位置の対応を算出する手法を採用することができる。これらの手法などを利用して、第 1被写体画像、第 2被写体画像の 2つの画像間の対応を求めれば、背景部分に一致するところがあれば、その部分の位置的な対応を算出することができる。被写体部分は他の画像中には存在しないので、その部分は間違った対応が得られる。背景部分の正しい対応と被写体部分の間違った対応の中から、統計的な手法を使うなどして背景部分の正しい対応だけを得る。残った正しい対応から、背景部分の相対的な移動量、回転量、拡大縮小率、歪補正量のいずれかもしくは組み合わせからなる捕正量が算出できる。

重ね画像生成手段は、背景補正量算出手段により算出された補正量に基づき、基準画像に合わせて他方の画像を背景部分が一致するように捕正した画像を作る。そして、重ね画像生成手段は、基準画像に補正した画像を重ねた画像を生成する。

画像の重ね方としては、 2つの画像の位置的に対応する画素の画像データを、 0〜 1の範囲で比例配分した任意の比率で混合すればよい。例えば、第 1被写体画像の比率を 1、第 2被写体画像の比率を 0 とすれば. その画素には、第 1被写体画像の画像データのみが書き込まれる。また. 2つの画像の混合比率を 1 ： 1 とすれば、その画素には、 2つの画像の画像データを均等に合成した画像データが書き込まれる。

なお、混合比率をどう設定するかは、本発明にとって本質的ではなく . どのような重ね画像を表示ないし出力したいかというユーザの目的次第である。

以上の処理によって、第 1の被写体と第 2の被写体とを背景部分を一致させた状態で一枚の画像上に合成することができる。

二つの画像間の背景のずれや歪みを補正して合成することができるので、これによつて、被写体など明らかに異なる領域を除いた以外の部分

(すなわち背景部分）は、どのように重ねても合成結果がほぼ一致し、合成結果が不自然とならないという効果が出てくる。例えば被写体領域だけを主に合成しようとした時、被写体領域の抽出や指定が多少不正確であっても、被写体領域の周りの背景部分が合成先の画像の部分とずれや歪みがないので、不正確な領域の内外が連続した風景として合成され. 見た目の不自然さを軽減するという効果が出てくる。

被写体領域の抽出が画素単位で正確であったとしても、課題の項で説明した通り、 1画素より細かいレベルでの不自然さは従来技術の方法では出てしまうが、本発明では、背景部分のずれや歪みを無くしてから合成しているので、輪郭の画素の周囲の画素は、同じ背景部分の位置の画素なので、合成してもほぼ自然なつながりとなる。このように、 1画素より細かいレベルでの不自然さを防ぐ、あるいは軽減するという効果が出てくる。

また、背景のずれや歪みを補正して合成するので、第 1、第 2被写体画像の撮影時にカメラなどを三脚などで固定する必要がなく、手などで大体の方向を合わせておけばよく、撮影が簡単になるという効果が出てくる。

なお、背景補正量算出手段の動作である、「背景部分の相対的な移動量、回転量、拡大縮小率、歪補正量のいずれかもしくは組み合わせからなる補正量を算出する」を「背景部分の相対的な移動量に、相対的な回転量、拡大縮小率または歪補正量のいずれかもしくは複数を組み合わせた補正量を算出する」としてもよい。これにより、補正の精度が一層向上し、より自然な合成結果を得ることができる。

さらに、背景補正量算出手段の上記 2種類の動作をユーザが入力手段を介して選択的に切り換えられるようにすれば、補正の精度を重視したい場合と、処理速度または処理負担軽減を重視したい場合とを使い分けることができ、画像合成装置の操作性が向上する。

また、本発明に係る第 2の画像合成装置では、基準画像と補正した画像の間の差分画像中から、第 1の被写体の領域と第 2の被写体の領域を抽出する被写体領域抽出手段をさらに含み、前記重ね画像生成手段が、基準画像と補正した画像とを重ねる代わりに、基準画像または捕正した画像と前記被写体領域抽出手段から得られる領域内の画像とを重ねるようにすることもできる。

ここで、「被写体の領域」とは、被写体が背景と分離される境界で区切られる領域である。例えば、第 1被写体画像中で人物が服や物などを持っていて、第 2被写体画像中でそれらが現れないのならば、それらも被写体であり、被写体領域に含まれる。なお、被写体の領域は、必ずしも繋がった一塊の領域とは限らず、複数の領域に分かれていることもある。

「前記被写体領域抽出手段から得られる領域内の ' · ' 画像を重ねる」とは、その領域以外は何も画像を生成しないということではなく、それ以外の領域は基準画像などで埋めることを意味する。

背景部分は一致するように捕正しているのだから、差分として現れるのは主に被写体部分となる。従って、被写体領域抽出手段で、差分画像に含まれている被写体領域を抽出することができる。このとき、差分画像からノイズなどを除去する（例えば、差分の画素値が閾値以下のものを除く）などの処理を施すと、被写体領域をより正確に抽出することができる。

重ね画像を生成する際、各画素位置の画素値を決めるが、その画素位置が被写体領域抽出手段から得られる被写体領域内の場合のみ、被写体 PC雇睡 08510

2 1

の画像を重ねるようにする。

これによつて、基準画像上に、捕正された被写体画像中の被写体領域のみを合成することできるという効果が出てくる。あるいは、補正された被写体画像上に、基準画像中の被写体領域のみを合成することができるという効果.も出てくる。

なお、重ね画像生成手段における被写体領域の透過率を変える処理と組み合わせることで、どの領域を合成しょうとしているかがユーザに分かり易くなり、合成の結果として被写体同士に重なりなどが生じる場合には、それもさらに分かり易くなるという効果が出てくる。さらに、それによって、重なりが起きないように撮影を捕助することができるという効果が出てくる。

なお、重なりがある場合は、被写体やカメラを動かすなどして、重なりの無い状態で撮影し直すのが良い訳だが、この場合の補助とは、例えば、重なりが起きるかどうかをユーザに認識し易くすることや、どのくらい被写体や力メラを動かせば重なりが解消できそうかを、ユーザが判断する材料（ここでは合成画像）を与えること、などになる。

本発明のさらに他の目的、特徴、および優れた点は、以下に示す記載によって十分わかるであろう。また、本発明の利益は、添付図面を参照した次の説明で明白になるであろう。

図面の簡単な説明図 1は、本発明の第 1の画像合成装置の機能的な構成を示すプロック図である。

図 2は、上記画像合成装置の各手段を具体的に実現する装置の構成例を説明するプロック図である。

図 3 ( a ) は、上記画像合成装置の背面の外観例を示す模式的な斜視図であり、図 3 ( b ) は、上記画像合成装置の前面の外観例を示す模式的な斜視図である。

図 4は、画像データのデータ構造例を説明する説明図である。

図 5は、画像合成方法全体の流れを示すフローチャート図である。図 6 ( a ) は、背景画像の例を示す説明図、図 6 ( b ) は、上記背景画像中の参照ブロックの配置を説明する説明図、図 6 ( c ) は、上記背景画像を補正した補正背景画像を説明する説明図、図 6 ( d ) は、上記補正背景画像のマスク画像を説明する説明図である。

図 7 ( a ) は、第 1被写体画像の例を示す説明図、図 7 ( b ) は、上記第 1被写体画像中の残ったマツチングブ口ックの配置を説明する説明図である。

図 8 ( a ) は、第 2被写体画像の例を示す説明図、図 8 ( b ) は、上記第 2被写体画像中の残ったマッチングプロックの配置を説明する説明図、図 8 ( c ) は、上記第 2被写体画像を補正した補正第 2被写体画像を説明する説明図、図 8 ( d ) は、上記捕正第 2被写体画像のマスク画像を説明する説明図である。

図 9 ( a ) は、第 1被写体画像と補正背景画像の差分画像例を示す説明図、図 9 ( b ) は、上記差分画像から生成したラベル画像例を示す説明図、図 9 ( c ) は、上記ラベル画像からノイズ部分を除去したラベル画像例を示す説明図、図 9 ( d ) は、上記ラベル画像から第 1被写体領域を抽出した第 1被写体領域画像例を示す説明図である。

図 1 0 ( a ) は、第 2被写体画像と補正背景画像の差分画像例を示す o

23

説明図、図 1 0 ( b ) は、上記差分画像から生成したラベル画像例を示す説明図、図 1 0 ( c ) は、上記ラベル画像からノイズ部分を除去したラベル画像例を示す説明図、図 1 0 ( d ) は、上記ラベル画像から第 2 被写体領域を抽出した第 2被写体領域画像例を示す説明図である。図 1 1 ( a ) は、図 9 ( d ) の第 1被写体領域部分と図 1 0 ( d ) の第 2被写体領域部分と背景部分を重ねて合成した重ね画像例を示す説明図、図 1 1 ( b ) は、第 1被写体領域部分を半透明にして重ねて合成した重ね画像例を示す説明図、図 1 1 ( c ) は、第 2被写体領域部分を半透明にして重ねて合成した重ね画像例を示す説明図である。

図 1 2は、図 9 ( d ) の第 1被写体領域と図 2 0 ( b ) の第 2被写体領域の重なり画像例を示す説明図である。図 1 3 ( a ) は、図 9 ( d ) の第 1被写体領域部分と図 2 0 ( b ) の第 2被写体領域部分と背景部分を重ねて合成し、重なり部分を目立つように表示させた重ね画像例を示す説明図、図 1 3 ( b ) は、上記第 1被

L5 写体領域部分を半透明にして重ねて合成した重ね画像例を示す説明図、図 1 3 ( c ) は、重なりの警告メッセージを表示させた例を示す説明図である。

図 1 4は、第 2被写体画像を取得する処理の一方法を説明するフ口一チヤ一ト図である。図 1 5は、背景補正量を算出する処理の一方法を説明するフローチヤ一ト図である。図 1 6 ( a ) は、ブロックマッチングを説明する参照画像の例を示す説明図、図 1 6 ( b ) は、プロックマッチングを説明する探索画像の例を示す説明図である。図 1 7は、背景画像、第 2被写体画像の補正画像を生成し、第 1被写体画像との差分画像を生成する処理の一方法を説明するフローチャート図である。

図 1 8 ( a ) は、回転している第 2被写体画像の例を示す説明図、図 1 8 ( b ) は、上記第 2被写体画像中の残ったマッチングブロックの配置を説明する説明図、図 1 8 ( c ) は、上記第 2被写体画像を補正した補正第 2被写体画像を説明する説明図、図 1 8 ( d ) は、補正第 2被写体画像画像のマスク画像を説明する説明図である。

図 1 9は、被写体領域を抽出する処理の一方法を説明するフ口一チヤート図である。

図 2 0 ( a ) は、図 7 ( a ) の第 1被写体と被写体領域同士が重なる第 2被写体画像の例を示す説明図、図 2 0 ( b ) は、上記第 2被写体画像から抽出した第 2被写体領域画像の例を示す説明図である。

図 2 1は、被写体領域の重なりを警告する処理の一方法を説明するフローチヤ—ト図である。図 2 2は、被写体領域に重なりが無い時に、シャッターチャンスを通知する処理の一方法を説明するフローチャート図である。

図 2 3は、被写体領域に重なりが無い時に、自動シャッターを行う処理の一方法を説明するフローチャート図である。

図 2 4は、被写体領域に重なりがある時に、重なりがなくなる方向を通知する処理の一方法を説明するフローチャート図である。

図 2 5は、被写体領域に重なりがなくなる方向を説明する説明図である。

図 2 6 ( a ) は、被写体領域に重なりがある時に、重なりがなくなる方向を通知する例を説明する説明図、'図 2 6 ( b ) は、被写体領域に重なりがある時に、重なりがなくなる位置と方向を通知する例を説明する説明図である。

図 2 7は、被写体領域に重なりがある時に、重なりがなくなる位置を通知する処理の一方法を説明するフローチヤ一ト図である。

図 2 8 ( a ) 〜図 2 8 ( d ) は、第 2被写体領域を上下左右に動かした例をそれぞれ説明する説明図である。

図 2 9 ( a ) 〜図 2 9 ( d ) は、図 9 ( d ) の第 1被写体領域と図 2 8 ( a ) 〜図 2 8 ( d ) の各第 2被写体領域との重なり領域を説明する説明図である。

図 3 0は、重なり画像を生成する処理の一方法を説明するフローチヤ一ト図である。

図 3 1は、第 1の被写体を優先して重ね画像を生成した場合の表示例を示す説明図である。

図 3 2は、第 2の被写体を優先して重ね画像を生成した場合の表示例を示す説明図である。

図 3 3は、本発明の第 2の画像合成装置の機能的な構成を示すプロック図である。

図 3 4は、第 2の画像合成装置の各手段を具体的に実現する装置の構成例を説明するブロック図である。

図 3 5 ( a ) は、第 2の画像合成装置の背面の外観例を示す模式的な斜視図、図 3 5 ( b ) は、第 2の画像合成装置の前面の外観例を示す模式的な斜視図である。

図 3 6は、第 2の画像合成装置における画像合成方法全体の流れを示すフローチヤ一ト図である。

図 3 7 ( a ) は、第 1被写体画像の例を示す説明図、図 3 7 ( b ) は、図 3 7 ( a ) の第 1被写体画像中の参照マッチングブロックの配置を説明する説明図である。

図 3 8 ( a ) は、第 2被写体画像の例を示す説明図、図 3 8 ( b ) は、図 3 8 ( a ) の第 2被写体画像中の検出されたマッチングブロックの配置を説明する説明図、図 3 8 ( c ) は、図 3 8 ( a ) の第 2被写体画像を捕正した補正第 2被写体画像を説明する説明図、図 3 8 ( d ) は、図 3 8 ( c ) の補正第 2被写体画像のマスク画像を説明する説明図である。図 3 9 ( a ) は、図 3 7 ( a ) の第 1被写体画像と図 3 8 ( c ) の補正第 2被写体画像の差分画像例を示す説明図、図 3 9 ( b ) は、図 3 9 ( a ) の差分画像から生成したラベル画像例を示す説明図、図 3 9 ( c ) は、図 3 9 ( b ) のラベル画像からノイズ部分を除去したラベル画像例を示す説明図である。

図 4 0 ( a ) は、図 3 7 ( a ) の第 1被写体画像に図 4 9 ( d ) の第 2被写体領域部分を重ねて合成した重ね画像例を示す説明図、図 4 0 ( b ) は、図 3 7 ( a ) の第 1被写体画像に、図 4 9 ( b ) の第 1被写体領域部分を半透明にして重ね、図 4 9 ( d ) の第 2被写体領域部分を重ねて合成した重ね画像例を示す説明図、図 4 0 ( c ) は、図 3 7 ( a ) の第 1被写体画像に、図 4 9 ( d ) の第 2被写体領域部分を半透明にして重ねて合成した重ね画像例を示す説明図である。

図 4 1は、図 3 7 ( a ) の第 1被写体と被写体領域同士が重なる第 2 被写体画像の例を示す説明図である。

図 4 2 ( a ) は、図 3 7 ( a ) の第 1被写体画像と図 4 1の第 2被写体画像の補正画像との差分画像例を示す説明図、図 4 2 ( b ) は、図 4 2 ( a ) の差分画像から生成したラベル画像例を示す説明図、図 4 2 ( c ) は、図 4 2 ( b ) のラベル画像からノイズ部分を除去したラベル画像例を示す説明図である。

図 4 3は、図 4 2 ( c ) の被写体領域部分を半分の透過率で重ねて合成し、重なりの警告メッセージを表示させた例を示す説明図である。

図 4 4は、第 2被写体画像を取得する処理の一方法を説明するフ口一チヤ一ト図である。

図 4 5は、背景補正量を算出する処理の一方法を説明するフローチヤート図である。

図 4 6は、第 2被写体画像の補正画像を生成し、第 1被写体画像との差分画像を生成する処理の一方法を説明するフローチャート図である。

図 4 7 ( a ) は、回転している第 2被写体画像の例を示す説明図、図 4 7 ( b ) は、図 4 7 ( a ) の第 2被写体画像中の検出されたマツチングブロックの配置を説明する説明図、図 4 7 ( c ) は、図 4 7 ( a ) の第 2被写体画像を補正した補正第 2被写体画像を説明する説明図、図 4 7 ( d ) は、図 4 7 ( c ) の補正第 2被写体画像画像のマスク画像を説明する説明図である。

図 4 8は、被写体領域を抽出する処理の一方法を説明するフローチヤト図である。

図 4 9 ( a ) は、図 3 7 ( a ) の第 1被写体画像中の第 1被写体領域の画像を示す説明図、図 4 9 ( b ) は、図 3 8 ( a ) の第 2被写体画像中の第 1被写体領域の画像を示す説明図、図 4 9 ( c ) は、図 3 7 ( a ) の第 1被写体画像中の第 2被写体領域の画像を示す説明図、図 4 9 ( d ) は、図 3 8 ( a ) の第 2被写体画像中の第 2被写体領域の画像を示す説明図である。

図 5 0は、被写体領域の重なりを警告する処理の一方法を説明するフローチャート図である。

図 5 1は、被写体領域に重なりが無い時に、シャッターチャンスを通知する処理の一方法を説明するフローチヤ一ト図である。

図 5 2は、被写体領域に重なりが無い時に、自動シャッターを行う処理の一方法を説明するフローチヤ一ト図である。

図 5 3は、重なり画像を生成する処理の一方法を説明するフローチヤ一ト図である。

発明を実施するための最良の形態

以下、実施例および比較例により、本発明をさらに詳細に説明するが、本発明はこれらにより何ら限定されるものではない。

〔実施の形態 1〕

以下、本発明の実施の形態を図面を参照して説明する。

まず、言葉の定義について説明しておく。

「第 1の被写体」、「第 2の被写体」とは、合成を行おうとしている対象であり、一般には人物であることが多いが物などの場合もある。厳密には、「第 1の被写体」は、背景画像と第 1被写体画像との間で、背景部分が少なくとも一部重なるようにした時に、画素値が一致しない領域、すなわち変化がある領域は全て「第 1の被写体の領域」となる可能性を持つ。但し、背景部分で風で木の葉が揺れたなどの小さな変化でも変化がある領域となってしまうので、小さな変化や小さな領域はある程度無視する方が好ましい。「第 2の被写体」についても同様である。

なお、例えば被写体が人物の場合、被写体は必ずしも一人であるとは限らず、複数の人物をまとめて「第 1の被写体」や「第 2の被写体」とする場合もある。つまり、複数人であっても、合成の処理の単位としてまとめて扱うものは一つの「被写体」となる。

なお、人物でなく、物であっても同様である。また、被写体は、必ずしも一つの領域であるとは限らず、複数の領域からなる場合もある。「第 1」、「第 2」は、異なるコマ画像として単に区別する為につけたものであり、撮影の順番などを表すものではなく、本質的な違いはない。また、例えば、人物が服や物などを持っていて、「第 1、第 2 の被写体を含まない背景だけの画像」にそれらが現れないのならば、それらも被写体に含まれる。

「第 1被写体画像」、「第 2被写体画像」は、上記の「第 1 の被写体 J 、「第 2の被写体」を含む別々の画像であり、一般には、カメラなどでその被写体を別々に撮影した画像である。但し、画像上に被写体のみしか写っておらず、背景画像と共通する背景部分が全く写っていない場合は、その共通する背景部分を元にした位置合わせができないので、合成に適さない。したがって、少なくとも一部は（合成した被写体の周囲を自然にするために、より好ましくは、合成しょうとする被写体の周囲において）背景画像と共通する背景部分が写っている必要がある。また、通常は、第 1被写体画像、第 2被写体画像は、同じ背景を使って、すなわちカメラをあまり動かさないで撮影する場合が多い。

「背景部分」とは、風景から「第 1 の被写体」、「第 2の被写体」を除いた部分である。「背景画像」とは、第 1被写体画像、第 2被写体画像のそれぞれの背景部分の画像が少なくとも一部含まれている画像であり、第 1の被写体、第 2の被写体は写っていないものである。通常は、第 1被写体画像、第 2被写体画像と同じ背景を使って、すなわちカメラをあまり動かさないで、第丄の被写体、第 2の被写体にカメラの前から外れてもらって撮影する場合が多い。

なお、第 1被写体画像および第 2被写体画像には、背景画像と位置合わせできる程度に、背景画像と共通する背景部分をそれぞれ含んでいればよい。したがって、第 1被写体画像および第 2被写体画像の背景部分同士の関係は、完全一致の場合、部分一致の場合、完全不一致の場合のあらゆる場合を含む。

「第 1、第 2の被写体以外の背景部分」とは、第 1被写体画像、第 2 被写体画像から第 1被写体領域、第 2被写体領域を除いた残りの部分である。

「移動量」は、平行移動させる量だが、回転や拡大縮小の中心の対応点の移動量と言ってもよい。

「重ね画像生成手段」は、重ね画像を生成するが、必ずしも一つの画像として生成しなくてもよく、他の手段と合わせて（他の手段との協働 PC蘭難 08510

3 1

で）合成したかのように見えるのでも構わない。例えば、表示手段上にある画像を表示する際、その画像に上書きする形で別の画像を一部表示すれば、見た目には 2つの画像から合成画像を生成し、その合成画像を表示しているかのように見えるが、実際は、 2つの画像がそれぞれ存在するだけで、合成画像は存在していない。

「画素値」とは、画素の値であり、一般に所定のビット数を使って表される。例えば、白黒二値の場合は 1 ビットで表現され、 2 5 6階調のモノクロの場合、 8 ビット、赤、緑、青の各色 2 5 6階調の力ラーの場合、 2 4 ビットで表現される。カラーの場合、赤、緑、青の光の 3原色に分解されて表現されることが多い。

なお、似た言葉として、「濃度値」、「輝度値」などがある。これは目的によって使い分けているだけであり、「濃度値」は主に画素を印刷する場合、「輝度値」は主にディスプレイ上に表示する場合に使われるが、ここでは目的は限定していないので、「画素値」と表現することにする。

「透過率」とは、複数の画素の画素値に所定の割合の値を掛けて、その和を新たな画素値とする処理において、掛ける「所定の割合の値」のことである。通常、 0以上、 1以下の値である。また、 1つの新たな画素値で使われる各画素の透過率の和は 1 とする場合が多い。「透過率」でなく、「不透明度」と言う場合もある。「透明度」は 1から「不透明度」を引いた値である。

「所定の透過率」には、固定された値、領域に応じて変わる値、領域の境界付近で徐々に変わる値なども含まれる。

「差分画像」とは、二つの画像中の同じ位置の画素値を比較して、そ難 08510

3 2

の差の値を画素値として作成する画像のことである。一般には、差の値は絶対値をとることが多い。

「元の画素値と異なる画素値」とは、例えば、透過率を変えて半透明にしたり、画素値の明暗や色相などを逆にして反転表示させたり、赤や白、黒などの目立つ色にしたり、などを実現するような画素値である。また、領域の境界部分と内部とで、上記のように画素値を変えてみたり、境界部分を点線で囲ってみたり、点滅表示（時間的に画素値を変化させる）させてみたり、というような場合も含む。

「被写体の領域」とは、被写体が背景と分離される境界で区切られる領域である。例えば、第 1被写体画像中で人物が服や物などを持っていて、背景画像にそれらが現れないのならば、それらも被写体であり、被写体の領域に含まれる。なお、被写体の領域は、必ずしも繋がった一塊の領域とは限らず、複数の領域に分かれていることもある。

「前記被写体領域抽出手段から得られる領域のみを重ねる」とは、その領域以外は何も画像を生成しないということではなく、それ以外の領域は基準画像などで埋めることを意味する。

「警告」には、表示手段などに文字や画像で警告することも含まれるし、ランプなどによる光やスピーカなどによる音声、バイブレータなどによる振動など、ユーザや被写体が感知できる方法ならば何でも含まれる。

「通知」は、「警告」同様、ユーザや被写体が感知できる方法ならば何でも含まれる。

「フレーム（枠）」とは、画像全体の矩形をさす。被写体が画像の端 (外形輪郭）に一部かかっているような場合、フレーム（枠）にかかる、とカフレーム（枠）から切れる、などと表現することもある。

図 1は、本発明の実施の一形態に係る画像合成方法を実施する画像合成装置を示す構成図である。

すなわち、画像合成装置の要部を、第 1被写体画像取得手段 1、背景画像取得手段 2、第 2被写体画像取得手段 3、背景補正量算出手段 4、補正画像生成手段 5、差分画像生成手段 6、被写体領域抽出手段 7、重なり検出手段 8、重ね画像生成手段 9、重ね画像表示手段 1 0、重なり回避方法算出手段 1 1、重なり回避方法通知手段 1 2、重なり警告手段 1 3、シャツターチヤンス通知手段 1 4、自動シャツタ一手段 1 5、撮像手段 1 6の主要な機能プロックに展開して示すことができる。

図 2は、図 1の各手段 1〜 1 6を具体的に実現する装置の構成例である。

C P U ( central proces s ing uni t ) 7 0は、背景補正量算出手段 4 捕正画像生成手段 5、差分画像生成手段 6、被写体領域抽出手段 7、重なり検出手段 8、重ね画像生成手段 9、重ね画像表示手段 1 0、重なり回避方法算出手段 1 1、重なり回避方法通知手段 1 2、重なり警告手段 1 3、シャッターチャンス通知手段 1 4、自動シャッター手段 1 5 として機能し、これら各手段 1〜 1 6の処理手順が記述されたプログラムを主記憶 7 4、外部記憶 7 5、通信デバィス 7 7を介したネットワーク先などから得る。

なお、第 1被写体画像取得手段 1、背景画像取得手段 2、第 2被写体画像取得手段 3、撮像手段 1 6についても、撮像素子や、撮像素子が出力する画像データの各種処理に対する内部制御などの為に C P Uなどを使っている場合もある。また、 C P U 7 0は、 C P U 7 0を含めてパス 7 9を通じ相互に接続されたディスプレイ 7 1、撮像素子 7 2、タブレット 7 3、主記憶 7 4、外部記憶 7 5、シャッターポタン 7 6、通信デバィス 7 7、ランプ 7 8、スピーカ 8 0 とデータのやりとりを行ないながら、処理を行なう。

なお、データのやりとりは、バス 7 9を介して行う以外にも、通信ケ一ブルや無線通信装置などデータを送受信できるものを介して行ってもよい。また、各手段 1〜1 6の実現手段としては、 C P Uに限らず、 D S P (digital signal processor)や処理手順が回路として組み込まれているロジック回路などを用いることもできる。

ディスプレイ 7 1は、通常はグラフィックカードなどと組み合わされて実現され、グラフィックカード上に V R AM (video random access memory) を有し、 V R A M上のデータを表示信号に変換して、モニターなどのディスプレイ (表示 Z出力媒体) に送り、ディスプレイは表示信号を画像として表示する。

撮像素子 7 2は、風景等を撮影して画像信号を得るデバイスであり、通常、レンズなどの光学系部品と受光素子およびそれに付随する電子回路などからなる。ここでは、撮像素子 7 2は、 A/D変換器などを通して、デジタル画像データに変換する所まで含んでいるとし、パス 7 9を通じて、第 1被写体画像取得手段 1、背景画像取得手段 2、第 2被写体画像取得手段 3などに撮影した画像データを送るとする。撮像素子として一般的なデバイスとしては、例えば、 C C D ( charge coupled device) などがあるが、その他にも風景等を画像データとして得られるデバイスならば何でも良い。

ユーザの指示を入力する手段として、タブレツト 7 3、シャツターボ o

35

タン 7 6などがあり、ユーザの指示はバス 7 9 を介して各手段 1〜 1 6 に入力される。この他にも各種操作ボタン、マイクによる音声入力など、様々な入力手段が使用可能である。タブレット 7 3は、ペンとペン位置を検出する検出機器からなる。シャッターポタン 7 6は、メカニカルもしくは電子的なスィツチなどからなり、ユーザがボタンを押すことで、通常は、撮像素子 7 2で撮影された画像を主記憶 7 4や外部記憶 7 5などに記録したりする一連の処理を開始させるスタート信号を生成する。王 d†意 7 4【ま、通常 ίま D RAM dynamic random access memory) やフラッシュメモリなどのメモリデバイスで構成される。なお、 C P U内部に含まれるメモリやレジスタなども一種の主記憶として解釈してもよい。

外部記憶 7 5 は、 H D D ( hard disk drive) や P C ( personal computer) カードなどの装脱着可能な記憶手段である。あるいは C P U 7 0 とネットワークを介して有線または無線で接続された他のネット

L5 ワーク機器に取り付けられた主記憶や外部記憶を外部記憶 7 5 として用いることもできる。通信デバイス 7 7は、ネットワークインターフェースカードなどにより実現され、無線や有線などにより接続された他のネットワーク機器とデータをやりとりする。スピーカ 8 0は、パス 7 9などを介して送られて来る音声データを音声信号として解釈し、音声として出力する。出力される音声は、単波長の単純な音の場合もあるし、音楽や人間の音声など複雑な場合もある。出力する音声が予め決まっている場合、送られて来るデータは音声信号ではなく、単なるオン、オフの動作制御信号だけという場合もある。 03 008510

3 6

次に、図 1の各手段 1〜 1 6を各手段間のデータ授受の観点から説明する。

なお、各手段間でのデータのやりとりは、特に注釈なく「 * *手段から得る」、「* *手段へ送る（渡す）」という表現をしている時は、主にバス 7 9を介してデータをやりとりしているとする。その際、直接各手段間でデータのやりとりをする場合もあれば、主記憶 7 4や外部記憶 7 5、通信デパイス 7 7を介したネットワークなどを間に挟んでデータをやりとりする場合もある。

第 1被写体画像取得手段 1は、例えば撮像素子 7 2を含む撮像手段 1 6、主記憶 7 4、外部記憶 7 5などで構成され、第 1被写体画像を、撮像手段 1 6、主記憶 7 4、外部記憶 7 5、通信デバィス 7 7を介したネットワーク先などから得る。なお、第 1被写体画像取得手段 1は、撮像素子 7 2や、撮像素子 7 2が出力する画像データの各種処理に対する内部制御などの為に C P Uなどを含む場合もある。撮像手段 1 6を使う場合は、第 1の被写体が含まれる現在の風景（第 1被写体画像）を撮像素子 7 2で撮影することになり、通常はシャツタ一ボタン 7 6などを押したタイミングなどで撮影し、撮影された画像は、主記憶 Ί 4、外部記憶 7 5、通信デバィス 7 7を介したネットワーク先などに記録される。一方、第 1被写体画像取得手段 1が、主記憶 7 4、外部記憶 7 5、および/または通信デバイス 7 7を介したネットワーク先などから第 1被写体画像を得る場合は、既に撮影されて予め用意してある画像を読み出すことになる。なお、通信デバィス 7 7を介したネットワーク先などにカメラがあり、ネットワークを通して撮影する場合もある。第 1被写体画像は、背景補正量算出手段 4、補正画像生成手段 5、差分画像生成手段 6、被写体領域抽出手段 7、および/ /または重ね画像生成手段 9などに送られる。

背景画像取得手段 2は、例えば撮像素子 7 2を含む撮像手段 1 6、主記憶 7 4、および Zまたは外部記憶 7 5などで構成され、背景画像を、撮像手段 1 6、主記憶 7 4、外部記憶 7 5、および Zまたは通信デバィス 7 7を介したネットワーク先などから得る。なお、背景画像取得手段 2は、上記内部制御などの為に C P Uなどを含む場合もある。画像の中身が違う以外は、画像の取得方法に関しては、第 1被写体画像取得手段 1 と同様である。

なお、背景画像は、背景補正量算出手段 4、補正画像生成手段 5、および/または差分画像生成手段 6に送られる。

第 2被写体画像取得手段 3は、例えば撮像素子 7 2を含む撮像手段 1 6、主記憶 7 4、および Zまたは外部記憶 7 5などで構成され、第 2の被写体が含まれる画像（第 2被写体画像）を、撮像手段 1 6、主記憶 7 4、外部記憶 7 5、および/または通信デバイス 7 7を介したネットヮーク先などから得る。なお、第 2被写体画像取得手段 3は、內部制御などの為に C P Uなどを含む場合もある。画像の中身が違う以外は、画像の取得方法に関しては、第 1被写体画像取得手段 1 と同様である。

第 2被写体画像は、背景補正量算出手段 4、補正画像生成手段 5、差分画像生成手段 6、被写体領域抽出手段 7、および/または重ね画像生成手段 9などに送られる。

背景補正量算出手段 4 としての C P U 7 0は、第 1被写体画像、第 2 被写体画像、および背景画像中の被写体以外の背景の相対的な移動量、回転量、拡大縮小率、歪補正量のいずれかもしくは組み合わせからなる補正量を算出する。

この場合、少なくとも一部共通する背景を持つ 2つの画像同士で、一方を基準画像とし、その基準画像と他の画像との間の補正量が最低限求まればよい。残りの画像についても、前記基準画像または他の画像のどちらか、または双方と少なくとも一部共通する背景を持っていさえすれば、基準画像に対する補正量を最終的に算出することができる。

なお、補正量は相対的なものなので、基準画像と他の画像との間の補正量を直接的でなく、間接的に計算で求めてもよい。例えば、第 1被写体画像が基準画像の時、基準画像と第 2被写体画像の間の補正量、基準画像と背景画像の間の補正量が直接得られなくても、基準画像と背景画像の間の補正量、第 2被写体画像と背景画像の間の補正量を直接得られるならば、その 2つの補正量から基準画像と第 2被写体画像の間の補正量を計算で求めることも可能である。

背景補正量算出手段 4は、算出した補正量を補正画像生成手段 5に送る。なお、予め算出しておいた補正量を背景補正量算出手段 4が読み出す場合は、主記憶 7 4、外部記憶 7 5、および/または通信デバイス 7 7を介したネットワーク先などから捕正量を読み出すことになる。

補正画像生成手段 5 としての C P U 7 0は、第 1被写体画像、第 2被写体画像、背景画像のいずれかを基準画像とし、他の 2画像を被写体以外の背景の部分が重なるように背景補正量算出手段 4から得られる補正量で補正した画像を生成し、差分画像生成手段 6および重ね画像生成手段 9へ送る。なお、予め生成しておいた補正画像を捕正画像生成手段 5 が読み出す場合は、主記憶 7 4、外部記憶 7 5、および Zまたは通信デパイス 7 7を介したネットワーク先などから読み出すことになる。

差分画像生成手段 6 としての C P U 7 0は、補正画像生成手段 5で決めた基準画像と補正画像生成手段 5から得られる補正した他の 1つあるいは 2つの画像の間の差分画像を生成して、生成した差分画像を被写体領域抽出手段 7および重ね画像生成手段 9 へ送る。基準画像は、第 1被写体画像、第 2被写体画像、背景画像のいずれかである。

被写体領域抽出手段 7 としての C P U 7 0は、差分画像生成手段 6から得られる差分画像から第 1、第 2の被写体の領域を抽出して、抽出した領域を重なり検出手段 8および重ね画像生成手段 9 へ送る。

重なり検出手段 8 としての C P U 7 0は、被写体領域抽出手段 7から得られる第 1、第 2の被写体の領域から第 1、第 2の被写体同士の重なりを検出して、重なりが存在するかどうかの情報と重なり領域の情報とを、重ね画像生成手段 9、重なり回避方法算出手段 1 1、重なり警告手段 1 3、シャッターチャンス通知手段 1 4および自動シャツター手段 1 5に送る。

重ね画像生成手段 9 としての C P U 7 0は、第 1被写体画像取得手段 1から得られる第 1被写体画像、第 2被写体画像取得手段 3から得られる第 2被写体画像、背景画像取得手段 2から得られる背景画像、補正画像生成手段 5から得られる捕正画像を、全部あるいは一部重ねた画像を生成し、生成した画像を重ね画像表示手段 1 0に送る。

また、重ね画像生成手段 9は、差分画像生成手段 6から得られる差分画像中の差のある領域を、元の画素値と異なる画素値の画像として生成する場合もある。

また、重ね画像生成手段 9は、被写体領域抽出手段 7から得られる第 1の被写体と第 2の被写体の領域のみを基準画像などに重ねる場合もある。

また、重ね画像生成手段 9は、重なり検出手段 8から得られる重なりの領域を、元の画素値と異なる画素値の画像として生成する場合もある _c 重ね画像表示手段 1 0 としての C P U 7 0は、重ね画像生成手段 9から得られる重ね画像をディスプレイ 7 1などに表示する。

また、重ね画像表示手段 1 0は、重なり回避方法通知手段 1 2から得られる重なり回避方法の情報に応じて、重なり回避方法の表示を行う場合や、重なり警告手段 1 3から得られる警告情報に応じて、警告表示を行う場合や、シャッターチヤンス通知手段 1 4から得られるシャッターチャンス情報に応じて、シャッターチャンスである旨の表示を行う場合や、自動シャッター手段 1 5から得られるシャッター情報に応じて、自動シャッターが行われた旨の表示を行う場合もある。

重なり回避方法算出手段 1 1 としての C P U 7 0は、重なり検出手段 8から得られる重なりに関する情報から、第 1 と第 2の被写体の重なりを減らす、あるいは無くすように、第 1あるいは第 2の被写体の位置あるいはその位置の方向を算出し、その算出した位置や方向を示す情報を重なり回避方法として重なり回避方法通知手段 1 2へ渡す。位置や方向を求める被写体は、第 1あるいは第 2の被写体のどちらでも可能だが、現在撮影中の（あるいは最後に撮影した）被写体の方が利便性がよい。重なり回避方法通知手段 1 2としての C P U 7 0は、重なり回避方法算出手段 1 1から得られた上述の重なり回避方法を、ユーザあるいは被写体あるいは両方に通知する。

通知には、通知内容を文字などにして重ね画像表示手段 1 0に送ってディスプレイ 7 1に表示させたり、ランプ 7 8を使って光で知らせたり、スピーカ 8 0を使って音で知らせたりする種々の形態を採用できる。通知することができるのならば、それ以外のデパイスなどを使っても良い。重なり警告手段 1 3 としての C P U 7 0は、重なり検出手段 8から得られる重なり情報から、重なりが存在する場合、ユーザあるいは被写体あるいは両方に重なりがあることを通知する。通知方法に関しては、重なり回避方法通知手段 1 2の説明と同様である。

シャッターチャンス通知手段 1 4 としての C P U 7 0は、重なり検出手段 8から得られる重なり情報から、重なりが存在しない場合、ユーザあるいは被写体あるいは両方に重なりが無いことを通知する。通知方法に関しては、重なり回避方法通知手段 1 2の説明と同様である。

自動シャッター手段 1 5 としての C P U 7 0は、重なり検出手段 8力、ら得られる重なり情報から、重なりが存在しない場合、第 2被写体画像取得手段 3に対し、撮像手段 1 6から得られる画像を主記憶 7 4や外部記憶 7 5などに記録するように自動的に指示を出す。

ここでは、撮像手段 1 6から得られる画像は、背景画像、第 1被写体画像または第 2被写体画像として主記憶 7 4や外部記憶 7 5などに最終的に記録、保存され、合成されるような使い方を主に想定している。最終的に記録、保存されるまでは、背景画像および第 1被写体画像を撮像手段 1 6から得て、得る毎に記録、保存するが、第 2被写体画像は撮像手段 1 6から得られても、すぐには保存されない。

すなわち、撮像手段 1 6から得た画像を第 2被写体画像とする場合、その得られた第 2被写体画像と保存されている背景画像および第 1被写体画像とを使って、重なり検出や重なり回避などの処理を行い、重ね画像表示手段 1 0などでの各種表示や警告、通知などの処理を行う、という一連の処理を繰り返す。そして、自動シャッター手段 1 5により記録、保存を指示された時、第 2被写体画像が最終的に記録、保存される。

なお、自動シャッター手段 1 5による撮影許可の指示が存在し、かつ、シャッターボタン 7 6がユーザにより押される場合に、第 2被写体画像を記録、保存するようにしてもよい。

また、自動シャッター手段 1 5が、指示を出した結果、撮像画像が記録されたことをユーザあるいは被写体あるいは両方に通知してもよい。通知方法に関しては、重なり回避方法通知手段 1 2の説明と同様である。

また、自動シャツター手段 1 5 としての C P U 7 0は、記録の指示を行うだけでなく、重なり検出手段 8から得られる重なり情報から、重なりが存在する場合、第 2被写体画像取得手段 3に撮像手段 1 6から得られる画像を主記憶 7 4や外部記憶 7 5などに記録するのを禁止するように自動的に指示を出す。この動作は、上述した自動記録する場合の逆となる。

この場合,、自動シャッター手段 1 5による保存禁止の指示が存在する場合、シャッターボタン 7 6がユーザにより押されても、第 2被写体画像は記録、保存されないことになる。

撮像手段 1 6は撮像素子 7 2を主要構成要素として備え、撮像した風景などを画像データとして第 1被写体画像取得手段 1、第 2被写体画像取得手段 3および/または背景画像取得手段 2に送る。

図 3 ( a ) は、本発明に係る画像合成装置の背面からの外観例を示している。本体 1 4 0上に表示部兼タブレット 1 4 1、ランプ 1 4 2、およびシャッターボタン 1 4 3がある。表示部兼タブレツト 1 4 1は入出力装置 (ディスプレイ 7 1およぴタブレット 7 3等）および重ね画像表示手段 1 0に相当する。表示部兼タブレット 1 4 1上には、図 3 ( a ) のように、重ね画像生成手段 9で生成された合成画像や重なり回避方法通知手段 1 2、重なり警告手段 1 3、シャッターチャンス通知手段 1 4、自動シャッター手段 1 5などからの通知/警告情報などが表示される。また、画像合成装置の各種設定メ - ユーなどを表示して、タブレツトを使って指やペンなどで設定を変更したりするのにも使われる。

なお、各種設定などの操作手段として、タブレットだけでなく、ボタン類などがこの他にあってもよい。また、表示部兼タブレット 1 4 1は、本体 1 4 0に対する回転や分離などの方法を用いて、撮影者だけでなく、被写体側でも見られるようになつていてもよレ、。

ランプ 1 4 2は、重なり回避方法通知手段 1 2、重なり警告手段 1 3、シャッターチャンス通知手段 1 4または自動シャッター手段 1 5などからの通知や警告に使われたりする。

シャッターボタン 1 4 3は、第 1被写体画像取得手段 1、背景画像取得手段 2または第 2被写体画像取得手段 3が、撮像手段 1 6から撮影画像を取り込む/記録するタイミングを指示する為に主に使われる。

また、この例では示していないが、内蔵スピーカなどを通知 Z警告手段として使ってもよい。

図 3 ( b ) は、本発明に係る画像合成装置の前面からの外観例を示している。本体 1 4 0前面にレンズ部 1 4 4が存在する。レンズ部 1 4 4 は、撮像手段 1 6の一部である。なお、図 3 ( b ) の例では示していないが、前面に被写体に情報（前記の通知や警告）を伝えられるように、表示部やランプ、スピーカなどがあってもよい。

図 4は、画像データのデータ構造例を説明する説明図である。画像データは画素データの 2次元配列であり、「画素」は、属性として位置と画素値を持つ。ここでは画素値として光の 3原色（赤、緑、青）に対応した R、 G、 Bの値を持つとする。図 4の横に並んだ R、 G、 Bの組で 1画素のデータとなる。但し、色情報を持たないモノクロの輝度情報だけを持つ場合は、 R、 G、 Bの代わりに輝度値を 1画素のデータとして持つとする。

位置は X— Y座標（ x、 y ) で表す。図 4では左上原点とし、右方向を + X方向、下方向を + Y方向とする。

以降では説明の為、位置（x、 y ) の画素を「P ( x、 y ) 」と表すが、画素 P ( x、 y ) の画素値も「画素値 P ( x、 y ) 」あるいは単に「P ( x、 y ) 」と表す場合もある。画素値が R、 G、 Bに分かれている場合、各色毎に計算は行うが、色に関する特別な処理でなければ、同じ計算処理を R、 G、 Bの値毎に行えばよい。従って、以降では共通した計算方法として「画素値 P ( x、 y ) 」を使って説明する。

図 5は、本発明の実施の一形態に係る適応出力方法の一例を示すフロ一チヤ一ト図である。

まずステップ S 1 (以下、「ステップ S」を「 S」と略記する。）では、背景画像取得手段 2が、背景画像を取得し、 S 2へ処理が進む。背景画像は、撮像手段 1 6を使って撮影してもよいし、予め主記憶 7 4、外部記憶 7 5、通信デバイス 7 7を介したネットワーク先などに用意してある画像を読み出してもよい。

次に、 S 2では、第 1被写体画像取得手段 1が、上記背景画像と少なくとも一部共通する背景部分を持つ第 1被写体画像を取得し、連結点 P 2 0 (以下、「連結点 P」を「P」と略記する）を経て S 3 へ処理が進む。第 1被写体画像の取得方法は、背景画像と同様である。なお、 S 1 と S 2の処理の順番は逆でも良い。

S 3では、第 2被写体画像取得手段 3が、上記背景画像または第 1被写体画像と少なくとも一部共通する背景部分を持つ第 2被写体画像を取得し、 P 3 0を経て S 4 へ処理が進む。ここでの処理は後で図 1 4を用いて詳しく説明するが、第 2被写体画像の取得方法自体は、背景画像と同様である。

S 4では、背景補正量算出手段 4が、第 1被写体画像、第 2被写体画像および背景画像から背景補正量を算出して、 P 4 0を経て S 5 へ処理が進む。第 1被写体画像、第 2被写体画像、背景画像はそれぞれ、第 1 被写体画像取得手段 1 ( S 2 ) 、第 2被写体画像取得手段 3 ( S 3 ) 、背景画像取得手段 2 ( S 1 ) から得られる。

なお、以降、第 1被写体画像、第 2被写体画像および背景画像を使う際、特にことわりの無い限り、これらの画像の取得元の手段/ステップは S 4での取得元の手段/ステツプと同じなので、以降はこれらの画像の取得元の手段 Zステップの説明は省く。

S 4の処理の詳細は後で図 1 5を用いて説明する。

S 5では、補正画像生成手段 5が、背景補正量算出手段 4から得た背景捕正量を使って第 1被写体画像、第 2被写体画像および背景画像の内の基準画像以外の 2つの画像を補正し、差分画像生成手段 6が、補正画像生成手段 5で捕正された画像らと基準画像との間の相互の差分画像を生成して、 P 5 0を経て S 6 へ処理が進む。 S 5の処理の詳細は後で図 4 6

1 7を用いて説明する。

S 6では、被写体領域抽出手段 7が、差分画像生成手段 6 ( S 5 ) ら得られる差分画像から、第 1、第 2の被写体の領域（以降、第 1被写体領域、第 2被写体領域と呼ぶ）を抽出して、 P 6 0を経て S 7 へ処理が進む。 S 6の処理の詳細は後で図 1 9を用いて説明する。

S 7では、重なり検出手段 8が、被写体領域抽出手段 7 ( S 6 ) から得られる第 1、第 2の被写体の領域から、それらの領域の重なりに関する情報を得て、 P 7 0を経て S 8 へ処理が進む。 S 7の処理の詳細は後で図を用いて説明する。

S 8では、重なり回避方法算出手段 1 1、重なり回避方法通知手段 1 2、重なり警告手段 1 3、シャッターチヤンス通知手段 1 4、自動シャッター手段 1 5のうちの一つ以上の手段が、重なり検出手段 8 ( S 7 ) から得られる重なりに関する情報に応じて様々な処理を行い、 P 8 0を経て S 9 へ処理が進む。 S 8の処理の詳細は後で図 2 1から図 2 4、図 2 7を用いて説明する。

S 9では、重ね画像生成手段 9が、第 1被写体画像、第 2被写体画像、背景画像、およびそれらの画像を補正画像生成手段 5 ( S 5 ) で補正した画像、被写体領域抽出手段 7 ( S 6 ) から得られる第 1、第 2の被写体の領域、重なり検出手段 8 ( S 8 ) から得られる第 1、第 2の被写体の重なりに関する情報などから、これら複数の画像を重ねる「重ね画像 J を生成して、 P 9 0を経て S 1 0 へ処理が進む。 S 9の処理の詳細は後で図 3 0を用いて説明する。

S 1 0では、重ね画像表示手段 1 0が、重ね画像生成手段 9 ( S 9 ) から得られる重ね画像をディスプレイ 7 1などに表示して、処理を終了する。

これら S 1から S 1 0の処理で、第 1被写体画像、第 2被写体画像および背景画像を使って、第 1 の被写体と第 2の被写体を 1枚の画像上に合成し、また被写体同士の重なり具合に応じて様々な処理が行えるようになる。

詳細な処理やその効果については、後で詳しく説明するとして、まず簡単な例で処理の概要を説明する。

図 6 ( a ) は S 1で得る背景画像の例である。建物とそれに通じる道路が背景の風景として写っており、被写体としての人物は存在しない。

図 7 ( a ) は S 2で得る第 1被写体画像の例である。図 6 ( a ) の背景の手前、左側に第 1の被写体たる人物（ 1 ) が立っている。分かりやすいように人物（ 1 ) の顔部分には「 1」と記しておく。なお、今後、特にことわりなく「右側」「左側」といった場合、図上での「右側」

「左側」という意味だとする。この方向は、撮影者 Zカメラから見た方向だと思えばよい。

図 8 ( a ) は S 3で得る第 2被写体画像の例である。図 6 ( a ) の背景の手前、右側に第 2の被写体たる人物（ 2 ) が立っている。分かりやすいように人物（ 2 ) の顔部分には「 2」と記しておく。

図 6 ( c ) は、図 6 ( a ) の背景画像と図 7 ( a ) の第 1被写体画像との間で背景補正量を求め、第 1被写体画像を基準画像として、背景画像を補正した画像である。同様に、図 8 ( c ) は、図 ⁷ ( a ) の第 1被写体画像と図 8 ( a ) の第 2被写体画像との間で背景補正量を求め、第 1被写体画像を基準画像として、第 2被写体画像を補正した画像である。捕正された画像は実線の枠で囲われた範囲であり、補正のされ方が分かるように、元の図 6 ( a ) の背景画像と図 8 ( a ) の第 2被写体画像の範囲を、それぞれ図 6 ( c ) と図 8 ( c ) 上に点線の枠で示してある。例えば、図 6 ( a ) の背景画像は、図 7 ( a ) の背景の少し右側の風景を撮影して得られている。このため、図 6 ( a ) の背景画像を図 7 ( a ) の背景と重なるように捕正するには、図 6 ( a ) の少し左側の風景を選択する必要がある。従って、図 6 ( c ) は、図 6 ( a ) より少し左側の風景となるように補正されている。元の図 6 ( a ) の範囲は点線で示されている。図 6 ( a ) より左側の風景の画像は存在しないので、図 6 ( c ) では左端の点線から左の部分が空白となっている。逆に図 6 ( a ) の右端の部分は切り捨てられている。

ここでは拡大縮小や回転などの補正はなく、単なる平行移動だけの補正結果になっている。すなわち S 4で得られる背景補正量は、ここでは実線の枠と点線の枠のずれが示す平行移動量となる。

図 9 ( a ) は、 S 5で、図 7 ( a ) の第 1被写体画像と図 6 ( c ) の補正された背景画像との間で生成した差分画像である。同様に、図 1 0

( a ) は、図 8 ( c ) の補正された第 2被写体画像と図 6 ( c ) の補正' された背景画像との間で生成した差分画像である。

差分画像では差分量 0の部分（すなわち、背景の一致部分）は黒い領域で示されている。差分がある部分は、被写体の領域内とノイズ部分であり、被写体の領域部分は背景画像と被写体部分の画像が重なり合った妙な画像になっている。（なお、補正によってどちらかの画像しか画素が存在しない領域（例えば図 6 ( c ) の左側または右側に位置する実線と点線の間の領域）は差分の対象からは外し、差分量は 0 としている）。図 9 ( d ) は、 S 6で、図 9 ( a ) から第 1被写体領域を抽出した結 PC漏 00删 510

49

果である。抽出処理の詳細については後で説明する。図中の黒い人物の形をした領域 1 1 2が第 1被写体領域である。同様に、図 1 0 ( d ) は、図 1 0 ( a ) から第 2被写体領域を抽出した結果である。図中の黒い人物の形をした領域 1 2 2が第 2被写体領域である。

S 7で、図 9 ( d ) と図 1 0 ( d ) の被写体領域同士の重なりを検出するが、この例では重なりは無いので、重なりの図は省略する。

S 8の重なりに関する処理は様々な処理方法があるが、この例では重なりは検出されないので、ここでは説明を簡単にする為に特に処理は行わないことにしておく。

図 1 1 ( a ) は、図 1 0 ( d ) の第 2被写体領域に相当する部分の画像を図 8 ( c ) の補正された第 2被写体画像から抜き出し、図 7 ( a ) の第 1被写体画像に重ねて（上書きして）生成した画像である。これにより、図 1 1 ( a ) では、図 7 ( a ) と図 8 ( a ) の別々に写っていた被写体が同じ画像上に重なりなく並んでいる。重ね方に関しても、様々な処理方法があるので、後で詳しく説明する。図 1 1 ( a ) の画像が重ね画像表示手段 1 0上に合成画像として表示される。

これによつて、別々に撮影された被写体を同時に撮影したかのような画像を合成できるようになる効果が出てくる。

以上の説明により、処理の概要を一通り説明したが、 S 7で被写体領域同士で重なりがある場合の S 8の処理例の概要について説明していないので、以降、簡単に触れておく。

図 2 0 ( a ) は、図 8 ( a ) とは別の第 2被写体画像の例である。図 8 ( a ) と比べると、第 2の被写体が同一の背景に対して少し左に位置している。なお、背景画像、第 1被写体画像は、図 6 ( a ) 、図 7 ( a ) と同じものを使うとする。

図 2 0 ( b ) は、第 2被写体領域を示している。図中の領域 1 3 0が第 2被写体領域である。なお、第 2被写体領域としての領域 1 3 0は、前述と同じく、図 7 ( a ) の第 1被写体画像と図 2 0 ( a ) の第 2被写体画像との間で背景補正量を求め、第 1被写体画像を基準画像として、第 2被写体画像を補正し、その補正した画像と、図 6 ( c ) の捕正された背景画像との間で生成した差分画像から抽出されている。

図 1 2は、 S 7で図 9 ( d ) の領域 1 1 2 と図 2 0 ( b ) の領域 1 3 0 とを用いて検出された、各被写体の重なり領域を示している。図 1 2 中の黒く塗りつぶされている領域 1 3 1が重なっている領域であり、分かりやすいように第 1被写体領域 1 1 2 と第 2被写体領域 1 3 0を点線で示してある。

図 1 3 ( a ) は、 S 8で重なりがある場合に S 9で生成される重ね画像の一例を示している。この場合、第 1被写体画像に第 2の被写体を重ねて上書きした結果、第 1の被写体と第 2の被写体とが重なる重なり領域 1 3 1に相当する部分を目立つように表示している。すなわち、重なり領域 1 3 1 の元の画素値を変更し、例えば黒く塗りつぶす画素値としている。

このように重なり領域 1 3 1 を目立たせた重ね画像を表示することで第 1 の被写体と第 2の被写体とが重なっていることが、ユーザや被写体に分かりやすくなるという撮影補助の効果が出てくる。

以上の説明により、 S 7で被写体領域同士で重なりがある場合の S 8 の処理例の概要について説明した。

なお、これを典型的な利用シーン例で考えると、まず図 6 ( a ) のよ P T脑 03/008510

5 1

うな背景画像をカメラ（画像合成装置）で撮影し、記録する。次に同じ背景で図 7 ( a ) のような第 1 の被写体を撮影し、記録する。最後に同じ背景で図 8 ( a ) のような第 2 の被写体を撮影する。なお、第 1 の被写体と第 2の被写体の撮影は、第 1 の被写体と第 2の被写体が交互に行うことで、第 3者がいなくても二人だけでも撮影が可能である。背景画像の撮影は第 1の被写体でも第 2の被写体でもどちらが行っても良いが、次の撮影を考えると第 2の被写体が撮影した方がスムーズに処理できる。同じ背景で撮影する為にはカメラは動かさない方が良いが、背景にあわせて補正するので、三脚などで固定までしなくても、手で大体同じ位置で同じ方向を向いて撮影すれば良い。なお、被写体の位置関係は図 7 ( a ) 、図 8 ( a ) のような左右でなく、任意の位置関係でよい。

そして、 3つの画像を撮影した後、 S 4から S 1 0 の処理を行い、図 1 1 ( a ) や図 1 3 ( a ) のような表示（や後で説明する警告 Z通知など）を行う。もし、被写体が重なっているなどの表示や通知がある場合、再度、 S 1から S 1 0 の処理を繰り返してもよい。すなわち背景画像、第 1被写体画像、第 2被写体画像を撮影し、重ね画像を生成、表示などする。表示される処理結果に満足がいくまで何度でも繰り返せば良い。しかし、第 2の被写体が位置を移動する場合などは、背景画像と第 1 の被写体画像は必ずしも撮りなおさなくてもよく、第 2の被写体だけ取り直せば済むこともある。その場合は、 S 3から S 1 0を繰り返せばよレ、。

この場合、 S 3の第 2被写体画像取得から S 1 0の表示までを自動的 P T/JP2003/008510

5 2

に繰り返せば、すなわち第 2被写体画像取得をシャッターポタンを押さずに動画を撮影するように連続的に取得し、処理、表示も含めて繰り返すようにすれば、カメラや第 2の被写体の移動などに追従してリアルタィムに処理結果が確認できることになる。従って、第 2の被写体の移動位置が適切かどうか（重なっていないかどう力をリアルタイムに知ることができ、重なりが無い合成結果を得る為の第 2の被写体の撮影が容易になるという利点が出てくる。なお、この繰り返し処理を開始するには、メニューなどから処理開始を選択するなどして、専用モードに入る必要がある。適切な移動位置になったらシャッターボタンを押すことで、第 2被写体画像を決定して (記録し）、この繰り返し処理/専用モードを終了させればよい（終了といっても、最後の合成結果を得る S 1 0までは処理を続けてもよい）。また、背景画像は良いが第 1被写体画像が良く無い場合、例えば、背景の真中に第 1の被写体が位置し、第 2の被写体をどう配置しても第 1 の被写体に重なってしまうカ重ならないようにすると第 2の被写体が重ね画像からフレームアウトしてしまうような場合、 S 2の第 1被写体画像の取得からやり直しても良い。

なお、ここでは第 1被写体画像を基準画像として合成しているので、第 1被写体画像を撮影し直すが、背景画像を基準画像にして、そこに第 1被写体領域と第 2被写体領域の画像を合成する場合は、第 1被写体画像はそのままで背景画像を撮影し直すという方法もある。例えば、基準とする背景画像上に第 1'被写体を背景が合うように配置するとどうしても背景画像の真中に位置してしまう場合、第 2の被写体をその周囲に重なりなく配置するスペースが無い場合がある。その場合、第 i の被写体が真中でなく、端に寄った場所に配置されるように背景画像を撮影し直すことで、第 2の被写体を配置する領域を空けることができるようになる効果が出てくる。

以降では、上で説明した処理の詳細を説明する。

図 1 4は、図 5の S 3の処理、すなわち第 2被写体画像を取得する処理の一方法を説明するフローチャート図である。

P 2 0を経た S 3 — 1では、第 2被写体画像取得手段 3が、第 2被写体画像を取得し、 S 3— 2へ処理が進む。ここでの処理は、図 5の S 1 の背景画像の取得と取得方法自体は同様である。

S 3— 2では、同手段 3が、自動シャッター手段 1 5から画像を記録するように指示があるかどうかを判断し、指示があれば S 3— 3へ進み、指示がなければ P 3 0へ処理が抜ける。

S 3— 3では、同手段 3が、 S 3— 1で取得した第 2被写体画像を主記憶 7 4、外部記憶 7 5などに記録して、 P 3 0へ処理が抜ける。

以上の S 3 — 1から S 3— 3の処理で、図 5の S 3の処理が行われる。なお、自動シャッター手段 1 5以外であっても、撮影者によって手動でシャッターボタンが押されたり、セルフタイマーでシャッターが切られた場合などにも撮影画像を記録してもよいが、それは S l、 S 2、 S 3 - 1の処理に含まれるとする。

図 1 5は、図 5の S 4の処理、すなわち背景補正量を算出する処理の一方法を説明するフローチャート図である。

背景補正量を算出する方法は色々考えられるが、ここではブロックマツチングを使った簡易的な手法について説明する。

P 3 0を経た S 4— 1では、背景補正量算出手段 4が、背景画像をプロック領域に分割する。図 6 ( b ) は図 6 ( a ) の背景画像をブロック領域に分割した状態を説明する説明図である。点線で区切られた矩形が各ブロック領域である。左上'のブロックを「B ( 1， 1 ) 」とし、その右が「B ( 1， 2 ) 」、下が「B ( 2， 1 ) 」というように表現することにする。図 6 ( b ) ではスペースの都合上、例えば B ( 1 , 1 ) のブロックではブロックの左上に「 1 1」と記している。

S 4— 2では、同手段 4が、背景画像のブロックが、第 1被写体画像、第 2被写体画像上でマツチングする位置を求めて、 S 4— 3へ処理が進む。「（ブロック）マッチング」とは、この場合、背景画像の各ブロックと最もブロック内の画像が似ているプロック領域を第 1被写体画像、第 2被写体画像上で探す処理である。

説明の為、ブロックを定義する画像（ここでは背景画像）を「参照画像」と呼び、似ているブロックを探す相手の画像（ここでは第 1被写体画像と第 2被写体画像）を「探索画像」と呼び、参照画像上のブロックを「参照ブロック」、探索画像上のプロックを「探索ブロック」と呼ぶことにする。参照画像上の任意の点（ x、 y ) の画素値を P r ( x、 y ) 、探索画像上の任意の点（ x、 y ) の画素値を P s ( x、 y ) とする。

なお、参照画像は、背景画像に限らず、基準画像や、基準画像とは無関係に第 1被写体画像、第 2被写体画像のどちらかに決めても良いのだが、背景部分の捕正量を求める為にブロックマッチングを行うので、最も背景部分が多い背景画像を参照画像に選んだ方が、探索画像中の背景画像部分とマッチングする確率が高くなる利点がある。

例えば、第 1被写体画像を参照画像とし、第 2被写体画像を探索画像 o

55

とする時、第 2被写体画像上での背景部分（例えば図 8 ( b ) の B ( 4 , 2 ) ) が第 1被写体画像上での被写体部分に相当する場合、対応するブロックを正しく求めることはできなくなってしまう。背景画像を参照画像とすれば、図 8 ( b ) の B ( 4， 2 ) に対応するブロックは、背景画像では図 6 ( b ) の B (4， 2 ) として存在する。今、参照ブロックが正方形で 1辺の大きさが m画素だとする。すると参照ブロック B ( i , j ) の左上の画素の位置は、

(m X ( i 一 1 ) ， m X ( j 一 1 ) ) となり、参照ブロック B ( i , j ) の左上から画素数にして（ d x、 d y ) 離れた画素値は、

P r (m X ( i 一 1 ) + d x、 m X ( j 一 1 ) + d y ) となる。

探索ブロックの左上位置を（ X s、 y s ) とした時、参照ブロック B ( i , j ) と探索ブロックの類似度 S ( x s、 y s ) は次の 2式で求め

L5 られる。

D ( x s 、 y s ; d x、 d y ) = | P s ( x s + d x、 y s + d y ) 一 P r (m X ( i 一 1 ) + d x、 m X ( j - 1 ) + d y |

m— 1 m— 1

S ( x s、 y s ) =∑ ∑ D ( x s、 y s ; d x、 d y )

d x = O d y = 0

D ( x s、 y s ; d x、 d y ) は、参照ブロックと探索ブロックの左上から（ d x、 d y ) 離れたそれぞれの画素値の間の差の絶対値である。そして、 S ( x s、 y s ) は、その差の絶対値をブロック内の全画素に P 霞睡 08510

56

ついて足したものである。もし、参照プロックと探索ブロックが全く同じ画像である（対応する画素値が全て等しい）場合、 S ( X s、 y s ) は 0 となる。似ていない部分が増えると、すなわち画素値の差が大きくなると、 S ( X s 、 y s ) は大きな値となっていく。従って、 S ( X s、 y s ) が小さいほど似たブロックということになる。

S ( X s、 y s ) は、探索ブロックの左上位置を（ X s、 y s ) とした時の類似度なので、（ x s、 y s ) を探索画像上で変えれば、それぞれの場所での類似度が得られる。全ての類似度の中で最小となる類似度の位置（ x s、 y s ) をマッチングした位置とすればよい。マッチングした位置の探索ブロックを「マッチングブロック」と呼ぶ。図 1 6は、このマッチングの様子を説明した図だが、図 1 6 ( a ) の画像を参照画像、図 1 6 ( b ) の画像を探索画像とし、画像の中身としてはカギ括弧型の線がそれぞれ少し位置がずれて存在しているとする。参照画像中の参照プロック 1 0 0は、力ギ括弧型の線のちようど角の部分に位置しているとする。探索画像中の探索ブロックとして、探索プロック 1 0 1、 1 0 2、 1 0 3があったとする。参照ブロック 1 0 0 と探索ブロック 1 0 1、参照プロック 1 0 0 と探索ブロック 1 0 2、参照ブロック 1 0 0 と探索ブロック 1 0 3でそれぞれ類似度を計算すると、探索プロック 1 0 1が最も小さな値となるので、探索プロック 1 0 1 を参照ブロック 1 0 0に対するマッチングブロックとすればよレ、。以上は一つの参照ブロック B ( i ， j ) のマッチングについて説明したが、それぞれの参照ブロックについて、マッチングブロックを求めることができる。図 6 ( b ) の 4 2個の参照ブロックそれぞれに対して、第 1被写体画像、第 2被写体画像のそれぞれで、マッチングブロックを探すとする。

なお、マッチングブロックの類似度の求め方については、ここでは各画素値の差分の絶対値を使ったが、それ以外にも様々な方法があり、いずれの手法を使っても良い。

例えば、相関係数を使う方法や周波数成分を使う方法などもあるし、各種高速化手法などもある。また、参照ブロックの位置や大きさなどの設定の仕方も色々考えられるが、ブロックマッチングの細かな改良方法は本発明の主旨ではないのでここでは省略する。

なお、参照ブロックの大きさについては、あまり小さくしすぎるとブロック内にうまく特徴が捉えきれずマッチング結果の精度が悪くなるが逆に大きくしすぎると被写体や画像のフレーム枠を含んでしまいマッチング結果の精度が悪くなつたり、回転、拡大縮小などの変化に弱くなつたりしてしまうので、適当な大きさにすることが望ましい。

次に、 S 4— 3で、同手段 4が、 S 4— 2で求めたマッチングブロックの中から背景部分に相当する探索プロックだけを抜き出して、 S 4— 4へ処理が進む。

S 4一 3で求めたマッチングブロックは、最も差分が少ない探索ブロックを選んだだけなので、同じ画像であることが保証されてはおらず、たまたま何かの模様などが似ているだけの場合もある。また、そもそも第 1や第 2の被写体の為、参照プロックに相当する画像部分が存在しない場合もあるので、その場合はいいかげんな場所にマツチングプロックが設定されていることになる。

そこで各マッチングプロックから、参照プロックと同じ画像部分ではないと判断されるものを取り除くことが必要となる。残ったマッチングブロックは参照プロックと同じ画像部分であると判断されたものなので、結果的に第 1や第 2の被写体を除いた背景部分だけが残ることになる。マツチングブ口ックの選別手法は色々考えられるが、ここでは最も単純な方法として、類似度 S ( _{X S} 、 y s ) を所定の閾値で判断することにする。すなわち、各マッチングブロックの S ( X s 、 y s ) が閾値を超えていたら、そのマッチングは不正確であるとして取り除くという手法である。 S ( x s 、 y s ) は、プロックの大きさに影響されるので、閾値はブロックの大きさを考慮して決めるのが望ましい。

図 7 ( b ) は、図 7 ( a ) の第 1被写体画像の S 4— 2のマッチング結果から、不正確なマッチングブロックを取り除いた結果である。正しいと判断されたマッチングブロックには、対応する参照ブロックと同じ番号が振ってある。同様に、図 8 ( b ) は図 8 ( a ) の第 2被写体画像の S 4— 2のマッチング結果から、不正確なマッチングプロックを取り除いた結果である。これにより、被写体部分が含まれない、あるいはほとんど含まれない背景部分のマツチングブロックだけが残っているのが分かる。

S 4— 4では、同手段 4が、 S 4— 3で得た背景部分のマッチングプ口ックから、第 1被写体画像および第 2被写体画像の背景補正量を求めて、 P 4 0 へ処理が抜ける。

背景補正量として、例えば回転量 θ、拡大縮小量 R、および/または平行移動量（L x 、 L y ) を求めるのだが、計算方法は色々考えられる。ここでは 2つのプロックを使った最も簡単な方法について説明する。なお、回転量、拡大縮小量、平行移動量以外の歪補正量は、よほど撮影時にカメラを動かすなどしない限り、使わなくても背景部分がほぼ重なり、差分画像でノイズが充分少ない補正ができる場合が多い。回転量、拡大縮小量、平行移動量以外の歪補正量を得るには、最低でも 3点あるいは 4点以上ブロックを使うことが必要であり、透視変換を考慮した計算が必要となるが、パノラマ画像の合成などでも使われている公知の手法（例えば、「共立出版： b i t 1 9 9 4年 1 1月号別冊『コンビユータ . サイエンス』」の P 9 0など）なので、この処理の詳細についてはここでは省略する。

まず、できるだけ互いの距離が離れているマッチングプロックを 2つ選ぶ。なお、 S 4— 3で残ったマッチングブロックが 1つしか無いときは、以降の拡大縮小率、回転量を求める処理は省いて、対応する参照ブロックの位置との差分を平行移動量として求めればよレ、。 S 4— 3で残つたマッチングブロックが 1つも無かったら、背景画像、第 1 /第 2被写体画像などを撮影し直した方が良いと思われるので、その旨の警告を出すなどするとよい。

選び方は色々考えられるが、例えば、

1 ) マッチングブロック中の任意の 2つを選び、その二つのブ口ックの中心位置間の距離を計算する、

2 ) 1 ) の計算を全てのマッチングブロックの組み合わせで行 5 、

3 ) 2 ) の中で最も距離が大きい組み合わせを背景補正量の算出に使う 2つのブロックとして選ぶ、

という方法が考えられる。

ここで、上記 3 ) として挙げたように、互いの距離が最も離れている PC霞睡 08510

6 0

マッチングプロックを使う利点としては、拡大縮小率や回転量などを求める際の精度が良くなることがあげられる。マッチングプロックの位置は画素単位となるので、精度も画素単位となってしまう。例えば、横に 5 0画素離れた位置で上に 1画素分ずれた時の角度は、横に 5画素離れた位置で上に 0 . 1画素分ずれた時の角度と同じになる。しかし、 0 . 1画素のずれはマッチングでは検出できない。従って、 'できるだけ離れたマッチングプロックを使った方が良い。

2つのブロックを使っているのは、単に計算が簡単だからである。もつと多くのプロックを使って平均的な拡大縮小率や回転量などを求めるようにすると、誤差が減少する利点が出てくる。

例えば図 8 ( b ) の例では、互いの距離が最も離れている 2つのマツチングブロックは、ブロック 1 5、 6 1の組み合わせとなる。次に、選んだ 2つのマッチングブロックの中心位置を、探索画像上の座標で表した ( X 1 ' 、 y 1 ' ) 、 ( X 2 ' 、 y 2 ' ) 、それに対応する参照ブロックの中心位置を参照画像上の座標で表した（x l 、 y 1 ) 、

( x 2、 y 2 ) とする。まず、拡大縮小率について求める。

マッチングブロックの中心間の £巨離 L mは、

L m = ( ( X 2 ' — 1 ' ) X ( 2 ' — 1 ' ) + ( y 2 ' — y 1 ' ) X ( y 2 ' - y 1 ' ) ) ^{1 / 2}

参照プロックの中心間の距離 L r は、

L r = ( ( X 2 — 1 ) X ( 2 — 1 ) + ( y 2 — y 1 ) X ( y 2—

y 1 ) ) ^{1 / 2} となり、拡大縮小率 Rは、

R = L r / L m

で求められる。

次に回転量について求める。

マッチングブロックの中心を通る直の傾き Θ mは、

0 m = a r c t a n ( Ύ 2 ― y 1 ) / ( x 2 ― x 1 ' ) )

(但し、 x 2， = x 1 ' の時は θ ιη= πノ 2 ) 、

参照ブロックの中心を通る直線の傾き 0 rは、

6 r = a r c t a n ( ( y 2— y 1 ) / ( x 2— x 1 ) )

(但し、 x 2 = x 1の時は Θ r = π / 2 ) 、

で求められる。なお、 a r c t a nは、 t a nの逆関数とする。

これより、回転量 0は、

θ = Θ r— Θ m

で求められる。

最後に平行移動量であるが、これは対応するプロック同士の中心位置が等しくなればよいので、例えば、 ( X 1 ' 、 y 1 ' ) と ( X 1、 y 1 ) が等しくなるようにすると、平行移動量（L x、 L y ) は、

、L x、 L y ) ^:= 、 x l ― x l、 y l — y 1 )

となる。回転量と拡大縮小量は、どこを中心にしても良いので、ここでは平行移動で一致する点、すなわち対応するプロックの中心を回転中心拡大縮小中心とすることにする。

従って、探索画像中の任意の点（x，， y ' ) を補正された点（X " y " ) に変換する変換式は、 x " = R X ( c o s θ X ( x ' - x 1 ' ) — s i n θ X ( y ' - y 1 ' ) )

+ x 1

y " = R X ( s i n θ X ( x ' - 1 ' ) + c o s θ X ( y，一 y 1 ' ) )

+ y 1

となる。回転量、拡大縮小量、平行移動量と述べたが、正確にはここでは、 Θ 、 R， ( 1 、 y 1 ) 、 ( 1 ' 、 y 1 ' ) のパラメ一タを求めることになる。なお、補正量 Z変換式の表し方は、これに限定される訳ではなく、その他の表し方でもよい。

この変換式は、探索画像上の点（ X ' , y ' ) を補正画像上の点 ( x " , y " ) に変換するものだが、補正画像上の点（X " ， y " ) は、参照画像に（背景部分が）重なるようになるのだから、意味的には、探索画像から参照画像への（背景部分が重なるような）変換とみなせる。従って、この変換式を探索画像上の点 ( X s ， Y s ) を参照画像上の点 ( X r , Y r ) への変換関数 F s r、

( X r， Y r ) = F s r ( X s , Y s )

と表現することにする。

なお、先の式は逆に捕正された点（X " , y " ) から探索画像中の任意の点（ X，， y ' ) への変換式、

x ， = ( 1 / R ) X ( c o s θ X ( X " - X 1 ) + s i η θ X { y — y 1

) ) + x 1 '

y ， = ( 1 / R ) X ( s i n θ X ( x " - 1 ) — s i n θ ( y " ~ y 1

) ) + y 1 '

にも変形できる。これも変換関数 F r _sで表せば、

(X s , Y s ) = F r s (X r , Y r )

となる。変換関数 F r sは変換関数 F s rの逆変換関数とも言う。

図 6 ( a ) 、図 7 ( a ) 、図 8 ( a ) の例では回転や拡大縮小はなく . 単なる平行移動だけであるが、詳細は後で図 6 ( c ) 、図 8 ( c ) で説明する。

以上の S 4— 1から S 4— 4の処理で、図 5の S 4の背景補正量算出の処理が行われる。

図 1 7は、図 5の S 5の処理、すなわち背景画像および第 2被写体画像の補正画像を生成し、第 1被写体画像との差分画像を生成する処理の一方法を説明するフローチャート図である。

S 4で算出した補正量の説明では、背景画像と第 1被写体画像、背景画像と第 2被写体画像との間の補正量を算出した。

変換式の形で書けば、背景画像上の点を（X b , Y b ) 、第 1被写体画像上の点を（X I , Y 1 ) 、第 2被写体画像上の点を（X 2 , Y 2 ) として、

(X I , Y 1 ) = F 1 (X b , Y b )

(X b , Y b ) = F 1 b (X I , Y 1 )

(X 2 , Y 2 ) = F b 2 (X b , Y b )

(X b , Y b ) = F 2 b (X 2 , Y 2 )

が求まったことになる。但し、 F b lは、（X b， Y b ) 力ら（X I , Y 1 ) への変換関数、 F i bはその逆変換関数、 F b 2は、（X b， Y b ) から（X 2， Y 2 ) への変換関数、 F 2 bはその逆変換関数である。

3つの画像のうち 2つの画像間の変換関数（補正量）を求めたので、 3つの画像のうちのいずれの 2画像も相互に変換可能ということになる。従って、捕正を行う際、どの画像に合わせて補正を行うかが問題となる。ここでは後の処理の効率も考えて、第 1被写体画像、すなわち第 1 Z第

2被写体画像の内、先に撮影した被写体画像を基準画像とし、それ以外の背景画像、第 2被写体画像を第 1被写体画像に背景部分が重なるように補正することにする。

例えば、被写体同士に重なりがあるなどの理由で撮影し直す場合を考える。第 1 Z第 2被写体画像をこの順に撮影したとし、第 1被写体画像を基準画像にしたとすると、被写体同士に重なりがある場合には、第 2 被写体画像を撮影し直すことになる。このとき、第 1被写体画像と、第 1被写体画像を基準画像として捕正した背景画像とは、撮影し直す必要が無く、そのまま合成画像の作成に使うことができる。

これに対し、後から撮影した第 2被写体画像を基準画像とすると、被写体同士に重なりがある場合に、第 2被写体画像を撮影し直すことになれば、当然、第 2被写体画像を基準に補正した第 1被写体画像および背景画像の補正処理が無駄となり、それぞれを再補正しなければならなレ、。

このように、第 1被写体画像と第 2被写体画像のうち、先に撮影した方を基準画像とすることで、撮影し直しを繰り返す場合に、処理量 ' 処理時間を減らすことができるという効果が出てくる。

第 2被写体画像から第 1被写体画像への変換関数 F 2 1は、上の変換式を組み合わせて、

( X I , Y 1 ) = F 2 1 ( X 2 , Y 2 ) = F b 1 ( F 2 b ( X 2 , Y 2 ) )

となる。逆変換関数 F 1 2も同様の考え方で求められる。

P 4 0を経た S 5— 1では、捕正画像生成手段 5が、背景補正量算出手段 4 ( S 4 ) で得られる補正量を使って、背景画像を第 1被写体画像に背景部分が重なるように補正した画像を生成し、 S 5— 2 へ処理が進む。なお、ここで生成される補正された背景画像を「捕正背景画像」 (図 6 ( c ) 参照）と呼ぶことにする。

補正には、変換関数 F b 1 あるいは逆変換関数 F 1 を使えばよい。一般に、きれいな変換画像を生成する為には、変換画像（ここでは補正背景画像）の画素位置に対応する元画像（ここでは背景画像）の画素位置を求め、その画素位置から変換画像の画素値を求める。この時、使用する変換関数は F 1 bになる。

また、一般に求めた元画像の画素位置は整数値とはならないので、そのままでは求めた元画像の画素位置の画素値は求められない。そこで、通常は何らかの補間を行う。例えば最も一般的な手法として、求めた元画像の画素位置の周囲の整数値の画素位置の 4画素から一次捕間で求める手法がある。一次補間法に関しては、一般的な画像処理の本など（例えば、森北出版：安居院猛、中嶋正之共著「画像情報処理」の P 5 4 ) に載っているので、ここでは詳しい説明を省略する。

図 6 ( c ) は、図 6 ( a ) の背景画像と図 7 ( a ) の第 1被写体画像とから、背景画像が第 1被写体画像の背景部分に重なるように生成した補正背景画像の例である。この例での補正は平行移動だけである。捕正の様子が分かるように、図 6 ( a ) の背景画像の範囲を点線で示してある。図 6 ( a ) の背景画像よりフレーム枠全体が少し左に移動している。 o

6 6

補正の結果、対応する背景画像が存在しない部分が出てくる。例えば、図 6 ( c ) の左端の点線と実線の間の部分は、図 6 ( a ) の背景画像には存在しない部分なので、抜けている。これは、下の道路を示す水平線が左端までいかずに途切れているのでも分かる。その部分は、 S 5— .2 で説明するマスク画像を使って除外するので適当な画素値のままとしておいても問題はない。

S 5— 2では、捕正画像生成手段 5が、補正背景画像のマスク画像を生成して、 S 5— 3へ処理が進む。マスク画像は、補正画像を生成する際、補正画像上の各画素に対応するオリジナル画像上の画素位置が先に説明した式で求められるが、その画素位置がオリジナル画像の範囲に収まっているかどうかで判断して、収まっていればマスク部分として補正画像上の対応する画素の画素値を例えば 0 (黒）にし、収まっていなければ例えば 2 5 5 (白）にすればよい。マスク部分の画素値は 0、 2 5 5に限らず自由に決めてよいが、

L 5 以降では、 0 (黒）、 2 5 5 (白）で説明する。

図 6 ( d ) は、図 6 ( c ) のマスク画像の例である。実線のフレーム枠中の黒く塗りつぶされた範囲がマスク部分である。このマスク部分は、補正された画像中でオリジナルの画像（補正前の画像）が画素を持っている範囲を示している。従って、図 6 ( d ) では、対応する背景画像が存在しない左端部分がマスク部分とはなっておらず、白くなっている。

S 5— 3では、差分画像生成手段 6が、第 1被写体画像と、補正画像生成手段 5 ( S 5 - 1 ) から得られる補正背景画像とそのマスク画像とを用いて、第 1被写体画像と補正背景画像との差分画像を生成して S 5 一 4へ処理が進む。なお、ここで生成される差分画像を「第 1被写体差分画像」と呼ぶことにする。

差分画像を生成するには、ある点（x、 y ) のマスク画像上の点の画素値が 0かどうかを見る。 0 (黒）ならば補正背景画像上に補正された画素が存在するはずなので、差分画像上の点（ x、 y ) の画素値 P d ( X、 y ) は、

P d ( x、 y ) = I P 1 ( x、 y ) 一 P f b ( x、 y ) | より、第 1被写体画像上の画素値 P 1 ( x、 y ) と補正背景画像上の画素値 P f b ( x、 y ) の差の絶対値とする。

ある点（ x、 y ) のマスク画像上の点の画素値が 0 (黒）でないならば、

P d ( X、 y ) = 0

とする。

これらの処理を、点（x、 y ) を差分画像の左上から右下まですべての画素について繰り返せばよい。

図 9 ( a ) は、図 7 ( a ) の第 1被写体画像と図 6 ( c ) の補正背景画像、図 6 ( d ) のマスク画像から生成された第 1被写体差分画像の例である。人物（ 1 ) の領域以外の所は背景が一致している、あるいはマスク範囲外として差分が 0 となり、主に人物（ 1 ) の領域内が、人物 ( 1 ) の画像と背景の画像が交じり合ったような画像となっている。通常、 S 4での補正量の算出の誤差や、補正画像生成の捕間処理などの誤差、背景部分の画像自体の撮影時間の差による微妙な変化などによつて、人物（ 1 ) の領域以外にも小さな差分部分は出てくる。通常は数画素程度の大きさで、差もあまり大きくないことが多い。図 9 ( _a ) でも人物（ 1 ) の領域の周辺に白い部分がいくつか出てきている。 68

S 5 — 4では、補正画像生成手段 5が、背景補正量算出手段 4 ( S 4 ) で得られる補正量を使って、第 2被写体画像を第 1被写体画像に背景部分が重なるように補正した画像を生成し、 S 5— 4へ処理が進む。補正には、変換関数 F 2 1あるいは逆変換関数 F 1 2を使えばよい。极う画像や変換関数が異なる以外は S 5— 1の処理と同様である。なお、ここで生成される補正された第 2被写体画像を「補正第 2被写体画像」と呼ぶことにする。

図 8 ( c ) は、図 8 ( a ) の第 2被写体画像と図 7 ( a ) の第 1被写体画像から生成した補正第 2被写体画像の例である。この例での補正も平行移動だけである。補正の様子が分かるように、図 8 ( a ) の第 2被写体画像の範囲を点線で示してある。図 6 ( a ) の背景画像よりフレーム枠全体が少し右下に移動している。

なお、図 1 8 ( a ) は補正に回転が必要な場合の第 2被写体画像の例である。背景画像、第 1被写体画像は、図 6 ( a ) 、図 7 ( a ) と同じとする。画面全体が図 8 ( a ) と比べて少し左回りに回転している。図 1 8 ( b ) は、図 1 8 ( a ) の第 2被写体画像と図 6 ( a ) の背景画像でブロックマッチングを行った結果である。ブロックは回転などがあっても、回転量やブロックの大きさがそれほど大きくなければ、プロック内での画像変化は少ないので、回転に追従して正確なマツチングがある程度可能である。

図 1 8 ( c ) は、図 1 8 ( b ) のブロックマッチング結果をもとに背景補正量を算出し、補正した第 2被写体画像である。図 7 ( a ) の第 1 被写体画像と背景部分が重なるようになり、回転が補正されているのが分かる。補正の様子がわかるように、図 1 8 ( a ) の画像枠を点線で示してある。

S 5 — 5では、補正画像生成手段 5が、補正第 2被写体画像のマスク画像を生成して、 S 5— 6へ処理が進む。マスク画像の生成の仕方に関しては、 S 5— 2 と同様であ'る。図 8 ( d ) は、図 8 ( c ) のマスク画像の例である。図 1 8 ( b ) の場合のマスク画像は図 1 8 ( d ) のようになる。

なお、拡大縮小や回転の補正量がある場合でも、 S 5— 4、 S 5 - 5 で補正やマスク画像生成を行ってしまえば、後の処理は手順としては変わりないので、以降の説明では、第 2被写体画像は図 1 8 ( a ) は使わず、図 8 ( a ) のものを使う。

S 5 - 6では、差分画像生成手段 6が、補正画像生成手段 5 ( S 5— 1 ) から得られる補正背景画像、捕正画像生成手段 5 ( S 5 - 2 ) から得られる補正背景画像のマスク画像、補正画像生成手段 5 ( S 5— 4 ) から得られる補正第 2被写体画像、補正画像生成手段 5 ( S 5— 5 ) から得られる補正第 2被写体画像のマスク画像を用いて、補正第 2被写体画像と補正背景画像との差分画像を生成して P 5 0へ処理が抜ける。なお、ここで生成される差分画像を「第 2被写体差分画像」（図 1 0 ( a ) 参照）と呼ぶことにする。

差分画像の生成の仕方に関しては、基本的には S 5— 3 と同様であるが、補正背景画像のマスク画像と補正第 2被写体画像のマスク画像のある点（ x、 y ) の画素値がどちらも 0 (黒）の時だけ画像の差分を取る点で、マスク画像の処理が少し異なる。

図 1 0 ( a ) は、図 6 ( c ) の捕正背景画像と図 8 ( c ) の補正第 2 被写体画像から生成された第 2被写体差分画像の例である。第 1被写体が第 2被写体に変わっている以外は、図 9 ( a ) と同様の状態になっている。

以上の S 5— 1から S 5— 6の処理で、図 5の S 5の差分画像生成の処理が行える。

図 1 9は、図 5の S 6の処理、すなわち被写体領域を抽出する処理の一方法を説明するフローチャート図である。

5 0を経た 3 6 — 1では、被写体領域抽出手段 7が、差分画像生成手段 6 ( S 6 ) から得られる差分画像から、「ラベリング画像」（「ラベリング画像」の意味については後で説明する）を生成して、 S 6— 2 へ処理が進む。差分画像は、第 1被写体差分画像と第 2被写体差分画像の二つあるので、ラベリング画像もそれぞれ作成される。どちらもラベリング画像を生成する処理手順は一緒なので、以降では「差分画像」という言葉に「第 1被写体差分画像」、「第 2被写体差分画像」が含まれるとして説明する。

まず準備として、差分画像から 2値画像を生成する。 2値画像の生成方法も色々考えられるが、例えば、差分画像中の各画素値を所定の閾値と比較して、閾値より大きければ黒、以下ならば白、などとしてやればよい。差分画像が R， G， Bの画素値からなる場合は、 R'， G, Bの画素値を足した値と閾値を比較すればよい。

図 9 ( b ) は、図 9 ( a ) の第 1被写体差分画像から生成した 2値画像の例である。黒い領域が領域 1 1 0から 1 1 5の 6つ存在し、大きな人型の領域 1 1 2以外は小さな領域である。同様に、図 1 0 ( b ) は、図 1 0 ( a ) の第 2被写体差分画像から生成した 2値画像の例である。黒い領域が領域 1 2 0から 1 2 5の 6つ存在し、大きな人型の領域 1 2 2以外は小さな領域である。

次に、生成した 2値画像からラベリング画像を生成するが、一般に「ラベリング画像」とは、 2値画像中の白画素同士あるいは黒画素同士が連結している塊を見つけ、その塊に番号（「ラベリング値」と以降、呼ぶ）を振っていく処理により生成される画像である。多くの場合、出力されるラベリング画像は多値のモノクロ画像であり、各塊の領域の画素値は全て振られたラベリング値になっている。

なお、同じラベリング値を持つ画素の領域を「ラベル領域」と以降呼ぶことにする。連結している塊を見つけ、その塊にラベリング値を振つていく処理手順の詳細については、一般的な画像処理の本など（例えば、昭晃堂：昭和 6 2年発行「画像処理ハンドブック」 P 3 1 8 ) に載っているので、ここでは省略し、処理結果例を示す。

2値画像とラベリング画像とは、 2値か多値の違いなので、ラベリング面像例は図 9 ( b ) と図 1 0 ( b ) で説明する。図 9 ( b ) の領域 1 1 0から 1 1 5の番号の後に「 1 1 0 ( 1 ) 」などと括弧書きで番号がついているが、これが各領域のラベリング値である。図 1 0 ( b ) についても同様である。これ以外の領域はラベリング値 0が捩られているとする。

なお、ラベリング画像図 9 ( b ) 、図 1 0 ( b ) は、紙面上で多値画像を図示するのが難しいので 2値画像のように示してあるが、実際はラベリング値による多値画像になっているので、表示する必要はないが実際に画像として表示した場合は図 9 ( b ) と図 1 0 ( b ) とは異なる見え方をする。

S 6— 2では、被写体領域抽出手段 7が、 S 6— 1で得られるラベリング画像中の「ノイズ」的な領域を除去して、 S 6 — 3 へ処理が進む。

「ノイズ」とは目的のデータ以外の部分を一般に指し、ここでは人型の領域以外の領域を指す。

ノイズ除去にも様々な方法があるが、簡単な方法として、例えばある閾値以下の面積のラベル領域は除くという方法がある。これには、まず各ラベル領域の面積を求める。面積を求めるには、全画素を走査し、ある特定のラベリング値を持つ画素がいくつ存在するか数えればよい。全ラベリング値について面積（画素数）を求めたら、それらの内、所定の閾値以下の面積（画素数）のラベル領域は除去する。除去処理は、具体的には、そのラベル領域をラベリング値 0にしてしまうカ新たなラベリング画像を作成し、そこにノイズ以外のラベル領域をコピーする、でもよい。

図 9 ( c ) は、図 9 ( ) のラベリング画像からノイズ除去した結果である。人型の領域 1 1 2以外はノイズとして除去されてしまっている。同様に、図 1 0 ( c ) は、図 1 0 ( b ) のラベリング画像からノィズ除去した結果である。人型の領域 1 2 2以外はノイズとして除去されてしまっている。

S 6— 3では、被写体領域抽出手段 7が、 S 6— 2で得られるノイズ除去されたラベリング画像から被写体の領域を抽出して、 P 6 0 へ処理が抜ける。

被写体の領域を画像処理だけで完全に正確に抽出することは一般に難しく、人間の知識や人工知能的な高度な処理が一般に必要とされる。領域を抽出する手法の 1つである「スネーク」などもあるが、完璧ではない。しかし、重なり検出処理や合成処理に使える程度の領域を推定することはある程度できる。

例えば、第 1や第 2の被写体の人数がプログラム中などに固定値または変数として設定されているならば、ノイズ除去されたラベリング画像中からラベル領域を面積が大きい順に人数分、抽出すれば良い。あるいは所定の閾値以上の面積をもつ領域を全て被写体領域などとしてもよい _c また、完全自動化が難しいなら、どの領域が被写体領域であるかを、タブレツトゃマウスなどの入力手段を使ってユーザに指定してもらう方法も考えられる。指定方法も、被写体領域の輪郭まで指定してもらう方法と、輪郭はラベリング画像の各ラベル領域の輪郭を使い、どのラベル領域が被写体領域であるかどうかを指定してもらう方法などが考えられる。

ここでは、所定の閾値以上の面積をもつ領域を全て被写体領域とすることにするが、図 9 ( c ) や図 1 0 ( c ) では、既にノィズ除去の段階で大きな領域が一つになってしまっているので、処理結果図 9 ( d ) 、図 1 0 ( d ) は、図 9 ( c ) 、図 1 0 ( c ) と見た目は同じである。また、図 9 ( b ) や図 1 0 ( b ) ではたまたま人型の領域がうまく一つのラベル領域となっているが、画像によっては、一人の被写体であつても複数のラベル領域に分かれてしまうことがある。例えば、被写体領域中の真中辺りの画素が、背景と似たような色や明るさの画素の場合、差分画像中のその部分の画素値が小さいので、被写体領域の真中辺りが背景と認識されてしまい、被写体領域が上下や左右に分断されて抽出されてしまうことがある。その場合、後の被写体の重なり検出や合成処理などでうまく処理できない場合が出てくる可能性がある。

そこで、ラベリング画像のラベル領域を膨張させて、距離的に近いラベル領域を同じラベル镇域として統合してしまう処理を入れるという方法もある。さらに銃合にスネークを利用する方法も考えられる。膨張やスネークの処理手順の詳細については、一般的な画像処理の本など（例えば、昭晃堂：昭和 6 2年発行「画像処理ハンドブック」 P 3 2 0、または K a s s A . , e t a 1 . , "S n a k e s ： A c t i v e C o n t o u r M o d e l s ", I n t . J . C o m p u t . V i s i o n , p p . 3 2 1 - 3 3 1 ( 1 9 8 8 ) ) に載っているので、ここでは省略する。

また、距離的に近いラベル領域の統合に使わなくても、重なりがあることを見逃す危険性を減らすことに使う為に、抽出した被写体領域を一定量膨張させるという方法もある。

なお、ここでは、膨張や統合は特に行わない処理例で説明している。以上の S 6— 1から S 6— 3の処理で、図 5の S 6の被写体領域抽出処理が行える。

次に、図 5の S 7の処理の詳細の一例について説明する。

S 7では、重なり検出手段 8が、被写体領域抽出手段 7 ( S 6 ) から得られる第 1被写体領域、第 2被写体領域について、両者の領域に重なりがあるかどうか検出し、重なりがある場合は重なる領域を抽出する。しかし、実際のところ、重なりがあるかどうかを検出するには、重なる領域を抽出し、重なる領域が存在するかどうかを検出するのが簡単なので、まずは重なる領域を抽出する。

その手法として、ある画素の位置（x、 y ) が、第 1被写体領域と第 2被写体領域の両方に属しているかどうかを判断し、両方に属していればその画素値を例えば 0 (黒）、両方に属していなければ 2 5 5 (白）などとし、位置（x、 y ) を全画素位置について走査すれば、結果的に重なり画像が生成できる。

ある画素の位置（x、 y ) 、第 1被写体領域と第 2被写体領域の両方に属しているかどうかを判断するには、 S 6から得られる第 1被写体領域を含む画像と第 2被写体領域を含む画像中の（ x、 y ) 位置の画素を見て、両方とも被写体領域の画素であるかどうか（例えば、先の例ではラベリング値 0でなければ被写体領域の画素）で判断できる。

生成される重なり画像中に 0 (黒）の画素値を持つ画素が存在するかどうかを見て、存在すれば重なりが存在し、無ければ重なりが存在しないことになる。

なお、重なり検出手段 8は、重なりに関する情報ということで、重なりがあるかないかだけでなく、重なっている領域についても出力する。つまり、生成した重なり画像も出力することになる。

図 9 ( c ) 、図 1 0 ( c ) の例では、重なりが無いので特に重なり画像は示していないが、この場合、重なり検出手段 8は、重なりが無いと判断する。

重なりがある例を、図 2 0 ( a ) の第 2被写体画像で説明する。なお. 背景画像、第 1被写体画像は、図 6 ( a ) 、図 7 ( a ) を使うとする。

図 2 0 ( b ) は、図 2 0 ( a ) から生成した第 2被写体領域画像である。第 2被写体領域 1 3 0は、図 1 0 ( d ) の領域 1 2 2 と比べると、少し左に寄っている。図 2 0 ( b ) と図 9 ( d ) の第 1被写体領域画像から作られる重なり画像が、図 1 2である。重なっている領域 1 3 1は黒く塗りつぶされている。重なり具合が分かりやすいように、図 1 2では第 1被写体領域 1 1 2 と第 2被写体領域 1 3 0を点線で示している (実際の重なり画像中にはこの点線は存在しない）。図 1 2の場合は、重なり検出手段 8は、重なりがあると判断する。

次に、図 2 1は、図 5の S 8の処理、すなわち重なりに関する処理の一方法を説明するフローチャート図である。重なりに関する別の処理方法に関しては、後で図 2 2、 2 3、 2 4、 2 7を使って説明する。

P 7 0を経た S 8— 1では、重なり警告手段 1 3が、重なり検出手段 8 ( S 7 ) から得られる情報に基づいて重なりがあるかどうかを判断し、重なりがある場合は S 8 A— 2へ進み、無い場合は P 8 0へ処理が抜ける。

S 8 A— 2では、重なり警告手段 1 3が、第 1の被写体と第 2の被写体とに重なりがあることをユーザ（撮影者）あるいは被写体あるいはその両方に警告して、 P 8 0へ処理が抜ける。

警告の通知の仕方としては色々考えられる。

例えば、合成画像を利用して通知する場合、重なり領域を目立つように合成画像に重ねて表示すればよい。図 1 3 ( a ) 、図 1 3 ( b ) はこれを説明する例である。二つの画像の違いは第 1被写体（人物（ 1 ) ) の画像合成方法の違いだけである。

図 1 3 ( a ) 、図 1 3 ( b ) では、図 1 2の重なり領域 1 3 1が、合成画像上に重ねて表示されている。領域 1 3 1の部分の画素値を変更して赤などの目立つ色で塗りつぶすとさらに良い。あるいは、領域 1 3 1 の領域やその輪郭等を点滅させて表示させても良い。

図 1 3 ( c ) は、さらに文字で警告を行っている例である。図 1 3 ( c ) の上の方に合成画像に重ねて警告ウィンドウを出し、その中で「被写体が重なっています！」というメッセージを表示している。これも目立つような配色にしたり、点滅させたりしてもよい。

これら合成画像に対する上書きは、重なり警告手段 1 3 の指示により、重ね画像生成手段 9に対して行っても良いし、重ね画像表示手段 1 0に対して行ってもよい。警告ウインドゥを点滅などさせる場合は元の合成画像を残しておく必要があるかもしれないので、重ね画像表示手段 1 0 に対して、例えば主記憶 7 4または外部記憶 7 5から警告ウインドウのデータを間歇的に読み出して与える等して行った方がよい場合が多い。

これらの警告表示を図 3 ( a ) のモニター 1 4 1上に表示すれば、撮影しながら重なり状態を確認することができて、撮影に便利である。この時、撮影者は被写体（人物（ 2 ) ) に対して、「重なっているからもつと右の方に動いてくれ」などと、次に撮影した画像を第 2被写体画像などとして使う場合に、重なり状態を解消するような指示を行うことができるとレヽぅ利点がある。

なお、次に撮影した画像を第 2被写体画像などとして使う場合とは、ユーザがメニューやシャッターボタン 1 4 3で第 2被写体画像の記録 (メモリ書き込み）を指示する場合か、先に説明したように、第 2被写体画像を動画的に撮影し補正重ね画像をほぼリアルタイムに表示する繰り返し処理の専用モードになっている場合などが考えられる。

また、図 3 ( a ) のモニター 1 4 1は撮影者の方を向いているが、被写体の方にモニターを向けることができる装置ならば、重なり具合を被写体も確認することができ、撮影者に指示されなくても、被写体が自発的に重なりを解消するように動くこともできるようになる。モニター 1 4 1 とは別のモニターを用意して、それを被写体が見られるようにするのでもよい。 PC蘭画 08510

7 8

また、先に専用モードとして説明したように図 5の S 3から S 1 0の処理を線り返すのならば、現在の重なり状態がほぼリアルタイムで分かるので、被写体の移動によって重なりが解消できたかどうかがほぼリァルタイムで分かり、撮影が便利で効率よくできる。図 5の S 3から S 1 0の処理は、充分速い C P Uやロジック回路などを使えば、それほど時間は必要ない。実使用上は、 1秒に 1回程度以上の速さの繰り返し処理を実現できれば、ほぼリアルタイムの表示と言って良い。なお、繰り返し処理の場合、第 2被写体画像を更新しつづけるが、 S 5で差分画像を生成する際、基準画像を第 1被写体画像にしたのは、繰り返し処理時に処理量を減らすことができる利点があるからである。つまり、第 2被写体画像を基準画像にすると、背景補正量の計算や差分画像生成、被写体領域検出などの処理を第 1被写体画像、背景画像も含めて全て行わなければいけないが、第 1被写体画像を基準画像にすると、第 1被写体画像と背景画像間での間の処理は 1回で済み、第 2被写体画像に関連する処理だけを繰り返し行えばよいことになる。また、重なり領域を合成画像に重ねて表示した結果、被写体同士の重なり具合と合成画像のフレーム枠との関係を見て、被写体がどう動いても重なりが生じたり、被写体がフレームァゥトしてしまうと判断できれば、もう一度、第 1被写体画像や背景画像の撮影からやり直した方が良いという判断を行うこともできるようになる。また、警告の通知の仕方として、図 3 ( a ) のランプ 1 4 2を点燈ぁるいは点滅させることで知らせることもできる。警告なので、ランプの色は赤やオレンジなどの色にしておくと分かりやすい。ランプの点滅などは一般にモニター 1 4 1に撮影者が注目していなくても気づきやすいという利点がある。

また、図 1 3 ( b ) のような重なり領域を合成画像に重ねて表示せず. ランプだけで知らせてもよい。この場合、どのくらい重なっているかはすぐには分かりにくいが、重なりがあるかないかだけ分かれば、後は被写体が移動するなどして警告通知が無くなるかどうかを見ていれば重なりの無い合成画像を得るという目的は達せられるので、ランプだけでもよい。これにより、重なり部分を表示させる処理が省けるという利点が出てくる。

なお、重なりの面積を数字や棒グラフなどでモニター 1 4 1に表示したり、複数のランプの点燈制御や単独のランプの点滅間隔を重なりの面積によって変えたりするなどすると、重なり具合を別途知ることができてさらによ、。

また、図 3 ( a ) にはないが、モニター 1 4 1 とは別にファインダーのような画像を確認できる別の手段がある場合、そちらにモニター 1 4 1 と同じ警告通知を表示したり、ファインダー内部にランプを組み込んでおき、通知する方法も考えられる。

また、図 3 ( a ) 、図 3 ( b ) では示していないが、図 2のスピーカ 8 0を使って警告通知を行っても良い。重なりがある場合に警告ブザーを鳴らしたり、「重なっています」などの音声を出力したりなどして、警告通知を行う。この場合にもランプと同様の効果が期待できる。スピ一力を使う場合、光と違って指向性があまりないので、一つのスピーカで撮影者も被写体も両方重なり状態を知ることができるという利点がある。

以上の S 8— 1 から S 8 A— 2の処理で、図 5の S 8の重なりに関する処理が行える。

図 2 2は、図 5の S 8の処理、すなわち重なりに関する処理の別の一方法を説明するフローチャート図である。

P 7 0 を経た S 8— 1では、シャッターチャンス通知手段 1 4が、重なり検出手段 8 ( S 7 ) から得られる情報に基づいて重なりがあるかどうかを判斬し、重なりがある場合は P 8 0へ処理が抜け、無い場合は S 8 B - 2へ処理が進む。

S 8 B— 2では、シャッターチャンス通知手段 1 4が、第 1の被写体と第 2の被写体に重なりがないことをユーザ（撮影者）あるいは被写体あるいはその両方に通知して、 P 8 0へ処理が抜ける。

この通知は、実際には、重なりが無いことを通知するというより、重なりがないことによる副次的な操作、具体的には第 2の被写体を記録するシャッターチャンスであることを通知するような使われたかたが最も一般的である。その場合、その通知は、主に撮影者に対するものとなる。

シャッターチャンスの通知方法に関しては、図 2 1で説明したような方法がほぼそのまま使える。例えば、図 1 3 ( c ) のメッセージを「シャッターチヤンスです！」などと変えるなどすればよレ、。なお、図 1 3 ( c ) の重なり部分は、この時は存在しないので、当然、表示も不要である。その他、ランプ、スピーカについても、色や出力する音の内容などは多少変わるが、通知手法としては同様に利用できる。

シャッターチャンスであることが分かれば、撮影者はシャッターを切ることで重なりのない状態で撮影/記録することができ、また、被写体もシャッターを切られるかもしれない準備（例えば目線の方向や顔の表情など）を行うことができるという利点が出てくる。以上の S 8— 1から S 8 B— 2の処理で、図 5の S 8の重なりに関する処理が行える。

図 2 3は、図 5の S 8の処理、すなわち重なりに関する処理のさらに別の一方法を説明するフローチャート図である。

P 7 0を経た S 8— 1では、自動シャッター手段 1 5が、重なり検出手段 8 ( S 7 ) から得られる情報に基づいて重なりがあるかどうかを判断し、重なりがある場合は P 8 0へ処理が抜け、無い場合は S 8 C— 2 へ処理が進む。

S 8 C— 2では、自動シャッター手段 1 5が、シャッターボタンが押されているかどうかを判断し、押されていれば S 8 C— 3へ進み、押されていなければ P 8 0へ処理が抜ける。

S 8 C— 3では、自動シャツター手段 1 5が、第 2被写体画像の記録を第 2被写体画像取得手段 3へ指示して、 P 8 0へ処理が抜ける。第 2 被写体画像取得手段 3は、指示に従い、撮影画像を主記憶 7 4、外部記憶 7 5などに記録する。

これによつて、被写体同士が重なっていない時にシャッターボタンが押されていれば、自動的に撮影画像を記録することができるようになるという効果が出てくる。同時に、誤って重なっている状態で撮影画像を記録してしまうことを防ぐ効果も出てくる。

実際の使われ方としては、被写体の様子などを見て、今なら撮影画像を記録しても良いと思ったら撮影者がシャッターボタンを押すが、その時点で必ずしも記録される訳ではなく、重なりがある場合は記録されない。すなわち、自動シャツター手段 1 5が、重なりがあると判断した場合には、撮影者がシャッターポタンを押しても第 2被写体画像取得手段 8510

8 2

3による記録動作が行われないように、第 2被写体画像の記録を禁止する。

なお、記録されない場合は、その旨を表示やランプ、スピーカなどの通知手段で撮影者などに知らせた方が、シャッターを押したが撮影されていないことが分かってよい。

そして、被写体が動くなどして、重なりがない状態になった時に、再度シャッターポタンが押されれば、今度は記録される。記録されたことが分かるように、表示やランプ、スピーカなどの通知手段で撮影者などに知らせるとよい。

シャッターボタンを毎度押すのではなく、押しつぱなしにするならば、重なっている状態から重なりがなくなった瞬間に自動的に記録されることになる。但し、重なりがなくなった瞬間だとまだ被写体が静止しておらず撮影画像がぶれてしまったり、被写体が撮影される状態（被写体が他所を向いている時など）になっていない場合があるので、その場合は自動的に記録するまでに少し時間をあけると良い。

以上の S 8 — 1から S 8 C一 3の処理で、図 5の S 8の重なりに関する処理が行える。

図 2 4は、図 5の S 8の処理、すなわち重なりに関する処理のさらに別の一方法を説明するフローチャート図である。

P 7 0を経た S 8— 1では、重なり回避方法算出手段 1 1が、重なり検出手段 8 ( S 7 ) から得られる情報に基づいて重なりがあるかどうかを判断し、重なりがある場合は S 8 D— 2へ進み、無い場合は P 8 0へ処理が抜ける。

S 8 D— 2では、重なり回避方法算出手段 1 1が、第 1、第 2被写体領域の重心位置をそれぞれ計算して、 S 8 D— 3へ処理が進む。重心位置とは、簡単に言えばその領域の中心位置であり、正確に言えば、重心位置からある画素までの距離と方向をべクトルし、全ての領域内の画素のべクトルの和が 0 となる状態である。重心位置の求め方についても、一般的な画像処理の本などに载つているので、ここでは割愛する。

S 8 D— 3では、重なり回避方法算出手段 1 1が、 S 8 D _ 2で求めた第 1、第 2被写体領域の重心位置から、第 2の被写体が移動する方向について、両者の重心位置の間の距離が最も離れる方向（第 1被写体領域の重心位置から第 2被写体領域の重心位置へ向かう方向）を求めて、 S 8 D - へ処理が進む。

例えば、 S 8 D— 2で得られた第 1被写体領域の重心位置が（X g l 、 Y g 1 ) 、第 2被写体領域の重心位置が（X g 2、 Y g 2 ) の時、最も距離が離れる方向は、ベタトル形式で表現すれば

(X g 2— X g l、 Y g 2 - Y g 1 )

となる。

伹し、 X g 2 =X g l、 Y g 2 = Y g 1の時は、第 1の被写体と第 2 の被写体の重心位置が重なっているので、どの方向でもよレ、。

図 2 5は、図 1 2の重なり状態で最も重心位置が離れる方向を求めた例である。第 1被写体領域 1 1 2の重心位置 1 3 2 と第 2被写体領域 1 3 0の重心位置 1 3 3 との間で最も重心位置が離れる方向は、重心位置 1 3 2から重心位置 1 3 3へ向かう矢印 1 3 4が示す方向である。

S 8 D - では、重なり回避方法通知手段 1 2が、 S 8 D— 3で求められる方向を、重なりを少なくする回避方法としてユーザあるいは被写体あるいは両方に通知して、 P 8 0へ処理が抜ける。 84

図 2 6 ( a ) は、回避方法をモニター 1 4 1上で通知している状態を示す説明図である。 S 8 D— 3で図 2 5のように右方向に第 2の被写体が動いた方が重なりが少なくなることが求められたので、第 2の被写体を右方向へ動かすことを示す矢印を合成画像に重ねて表示している。この矢印も、既に説明した重なり部分の表示のように、色や点滅などで目立つように表示した方が分かりやすくてよい。

重なり状態を示すだけだと、どのように被写体が動いたら重なりが少なくなるかをすぐに判断しにくいが、被写体の移動方向を矢印などで示すことで、どのように動いたら良いかが非常に分かりやすくなるという利点が出てくる。

なお、矢印の方向の角度 0 dは、 S 8 D— 3で求められる方向べタトルより、

Θ d = a r c t a n ( (Y g 2 - Y g 1 ) / (X g 2 - X g 1 ) ).. ( 0≠ X g 2 - X g l )

Θ d = π / 2 _N ( 0 =X g 2— X g l、 0≤Y g 2 -Y g 1 ) Θ d = - π / 2 , ( 0 =X g 2— X g l、 0 >Y g 2—Y g l ) で求められる。

ここで表示する矢印は方向が重要なので、 S 8 D— 3で求めた方向べクトルの大きさは無視してよい。但し、表示する矢印の長さに何か意味を持たせてもよい。例えば、被写体同士が重なっている面積が分かるのならば、矢印の長さや太さをその面積に比例させてもよい。重なりが大きレ、ほど、矢印も長く（あるいは太く）なり、重なり具合が直感的に分かりやすくなる。また矢印が大きいので撮影者なども重なりを無くさなレ、といけないという気になりやすいという効果が出てくる。なお、 S 8 D— 3で求められる方向はあらゆる方向を取れるが、被写体の動きを指示するのにそれほど正確な方向は必要無いので、求めた 0 dに最も近い方向を、上下左右の 4方向、あるいは斜め方向も加えた 8 方向の中から選ぶなどしてもよい。

4方向や 8方向に絞った場合、言葉でも通知しやすくなるので、図 2

6 ( a ) の上のメッセージのように、「右方向に被写体が動いた方が、重なりが無くなります」と通知してもよレ、。また、これらのメッセージをスピーカで流してもよい。

また、矢印やメッセージでなく、ランプを使って移動方向を通知してもよい。その場合、上下左右の 4方向や 8方向などの方向を示すことができるように複数の方向ランプが必要になる場合もある。例えば、モニター 1 4 1の周囲に方向ランプを配置してもよい。

また、これらの通知は重なり状態の通知などと同様、撮影者だけでなく、被写体に通知してもよい。その効果については、既に説明したものと同様である。

なお、ここでは被写体の重心位置を利用したが、これ以外にも様々な方法が考えられる。例えば、被写体領域の画素値を X軸や Y軸に投影して、各軸方向のどの辺に位置するかをおおまかに求める。投影結果から. 重心位置や重なり範囲を求めることができるので、それらから、上下左右のどちらの方向に移動すればよいかを求めることもできる。上下方向と左右方向を組み合わせれば、斜め方向の移動方向を求めることもできる。

以上の S 8 — 1から S 8 D— 4の処理で、図 5の S 8の重なりに関する処理が行える。 8 6

図 2 7は、図 5の S 8の処理、すなわち重なりに関する処理のさらに別の一方法を説明するフローチャート図である。

P 7 0を経た S 8 — 1では、重なり回避方法算出手段 1 1が、重なり検出手段 8 ( S 7 ) から得られる情報に基づいて重なりがあるかどうかを判断し、重なりがある場合は S 8 E— 2へ進み、無い場合は P 8 0 へ処理が抜ける。

S 8 E— 2では、重なり回避方法算出手段 1 1が、第 2の被写体を各方向に動かした時の重なり量を予測して、 S 8 E— 3 へ処理が進む。

まず、現在、図 1 2の第 1被写体領域 1 1 2、第 2被写体領域 1 3 0 の状態であり、重なりあう領域は領域 1 3 1であるとする。この状態から、第 2被写体領域 1 3 0を上下左右に所定量、動かしてみる。

図 2 8 ( a ) は、点線で表示されている第 2被写体領域 1 3 0を左に動かして、黒く塗りつぶされている領域 1 5 0に動かしてみた状態を説明する図である。同様に、図 2 8 ( b ) は右に動かしてみた状態、図 2 8 ( c ) は上に動かしてみた状態、図 2 8 ( d ) は下に動かしてみた状態を説明する図である。

これらの移動した第 2被写体領域と第 1被写体領域の重なりを求めた重なり画像が、図 2 9 ( a ) から図 2 9 ( d ) である。重なりのある領域は黒く塗りつぶして示してある。移動した第 2被写体領域と第 1被写体領域は点線で示してある。

図 2 9 ( a ) の重なり領域は、図 1 2の重なり領域と比べて増えてしまっている。図 2 9 ( b ) の重なり領域は、無くなつている。図 2 9 ( c ) と図 2 9 ( d ) の重なり領域は、図 1 2の重なり領域 1 3 1 とあまり変わらない。なお、ここでは 4方向で重なり量を予想したが、必要とする精度ゃ処理量などを考えて、それ以外の方向数にしてももちろん構わない。また. 移動量も所定の値としていたが、これを 1方向あたり、複数の値で重なり量を求めるという方法も考えられる。

S 8 E— 3では、重なり回避方法算出手段 1 1が、 S 8 E— 2で得られた各方向に動かした時の重なり量の予測のうち、最も重なり量が少なくなる方向を抽出して、 S 8 E— 4 へ処理が進む。

なお、 S 8 E— 2で説明したような手法を用いて、各方向の移動量をいろいろ変えて重なり量を求める場合、それぞれ別個に考えて最も少ない重なりの方向や位置を選ぶ方法も考えられるし、その方向の全ての移動量の重なり量の和で比較したり、あるいは平均的な重なり量で比較したり、といった方法も考えられる。

図 2 9 ( a ) から図 2 9 ( d ) の中で最も重なりが少ないのは図 2 9 ( b ) なので、第 2の被写体を右方向に動かした方が（ 4方向のうちで）最も重なりが少なくなると予想される。

S 8 E— 4では、重なり回避方法通知手段 1 2力 S 、 S 8 E— 3で求められる方向を、重なりを少なくする回避方法としてユーザあるいは被写体あるいは両方に通知して、 P 8 0へ処理が抜ける。

ここの処理、通知方法については、 S 8 D— 4 とほぼ同様である。例えば、図 2 6 ( a ) のような通知結果となる。

S 8 D - 4 との違いを言えば、 S 8 D— 2から S 8 D— 4の処理では方向しか求めていないが、 S 8 E— 2から S 8 E— 4の処理では、第 2 の被写体の移動先を仮定して方向を決めているので、方向だけでなく、どの程度動けば良いのかを示すことも可能である。表示の仕方としては. 例えば、移動方向を示す矢印の開始点と終了点を、第 2の被写体の現在位置と、最小限の移動量で重なりが最も少なくなる位置とにすればよい。これにより、第 2の被写体がどのくらい動けばよいかがはっきり分かるという効果が出てくる。

また、矢印だけでなく、被写体の移動先の位置を直接示す方法もある。図 2 6 ( b ) は最小限の移動量で重なりが無くなる移動先を示した例である。移動先の第 2の被写体を点線で示している。

以上の S 8 — 1から S 8 E— 4の処理で、図 5の S 8の重なりに関する処理が行える。

なお、図 2 1〜 2 7の処理は必ずしも排他的な処理ではなく、任意に組み合わせて処理することも可能である。組み合わせの例として、次のような利用シーンが可能となる。

『被写体同士が重なっている時は「重なっています」と警告がなされ、この時にシャツタ一ボタンを押しても撮影画像は記録されない。そして警告と一緒に、被写体がどちらの方向に動いたら良いかが図 2 6 ( a ) のように示される。それに従って被写体が動き、重なりがなくなったらシャッターチャンスランプが点燈する。シャッターチャンスランプが点燈している間にシャッターポタンを押したら撮影画像が記録される。』次に、図 3 0は、図 5の S 9の処理、すなわち重ね画像を生成する処理の一方法を説明するフローチヤ一ト図である。

P 8 0を経た S 9— 1では、重ね画像生成手段 9が、生成する重ね画像の最初の画素位置を力レント画素に設定して S 9— 2 へ処理が進む。最初の画素位置は、例えば左上などの隅から始まることが多い。

なお、「画素位置」は、画像上の特定の位置を表し、左上隅を原点、 P 漏謹 08510

89

右方向を + X軸、下方向を + Y軸とした X— Y座標系で表現されることが多い。画素位置は、画像を表すメモリ上のアドレスに対応し、画素値はそのァドレスのメモリの値である。

S 9— 2では、重ね画像生成手段 9が、カレント画素位置は存在するかどうかを判断し、存在するならば S 9 _ 3へ処理が進み、存在しないならば P 9 0へ処理が抜ける。

S 9— 3では、重ね画像生成手段 9が、カレント画素位置が第 1被写体領域内かどうかを判断し、第 1被写体領域内ならば S 9 - 4へ処理が進み、そうでないならば S 9— 5へ処理が進む。

第 1被写体領域内かどうかは、被写体領域抽出手段 7 ( S 6 ) から得られる第 1被写体領域画像上でカレント画素位置の画素値が黒（ 0 ) かどうかで判断できる。

なお、第 1被写体領域であるかどうかで特に処理を変えない場合は、 S 9— 3， S 9— 4は省いて、 S 9— 2力ら S 9— 5へ進めばよい。

S 9— 4では、重ね画像生成手段 9が、設定に応じた画素値を計算して、重ね画像のカレント画素位置の画素値として書き込む。

上記の設定とは、つまりどのような重ね画像を合成するかということである。例えば、図 1 1 ( b ) のように第 1被写体を半透明で合成するのか、図 1 1 ( a ) のように不透明で第 1被写体をそのまま上書きで合成するのか、などである。

もし半透明で合成するのならば、第 1被写体画像の力レント画素位置の画素値 P 1 と捕正画像生成手段 5 ( S 5 ) から得られる補正背景画像のカレント画素位置の画素値 P bを得て、所定の透過率 A ( 0. 0から 1. 0の間の値）で合成画素値（P l XA+ P b X ( 1 — A) ) を求め PC霞睡 08510

9 0

れぱよい。そのまま上書きするのならば、透過率 Aを 1 . 0 として P 1 をそのまま書き込めばよレ、。

S 9一 5では、重ね画像生成手段 9が、 S 9— 3でカレント画素位置が第 1被写体領域内ではないと判断した場合に、カレント画素位置が第 2被写体領域内かどうかを続いて判断し、第 2被写体領域内ならば S 9 一 6へ処理が進み、そうでないならば S 9— 7へ処理が進む。ここでの処理は、第 1被写体領域が第 2被写体領域に変わるだけで、 S 9— 3 と同様である。

S 9 - 6では、重ね画像生成手段 9が、設定に応じた合成画素を生成して、重ね画像のカレント画素位置の画素値として書き込む。ここでの処理は、第 1被写体領域（画像）が第 2被写体領域（画像）に変わるだけで、 S 9— 4と同様である。

S 9一 7では、重ね画像生成手段 9が、 S 9— 5でカレント画素位置が第 2被写体領域内ではないと判断した場合に、第 1被写体画像の力レント画素位置の画素値を重ね画像の力レント画素位置の画素値として書き込む。すなわち、この場合のカレント画素位置は、第 1被写体領域内でも第 2被写体領域内でもないので、結局、背景部分に相当する。なお、ここでは背景部分の画像を第 1被写体画像から取得している力補正背景画像から取得することも可能である。ただ、第 1被写体領域と背景部分の境界部分が、補正背景画像を使うより第 1被写体画像を使つた方が自然な境界部分が得られるという利点がある。また、 S 6での第 1 , 第 2被写体領域の抽出が間違っていたとしても、境界が自然なので間違いが目立たないという効果も出てくる。

S 9— 8では、重ね画像生成手段 9が、カレント画素位置を次の画素 PC漏 003趣 510

9 1

位置に設定して、 S 9— 2へ処理が戻る。

以上の S 9— 1から S 9— 8の処理で、図 5の S 9の重ね画像生成に関する処理が行える。

なお、上記の処理では S 9— 4や S 9— 7で第 1被写体画像や補正背景画像を処理しているが、生成する重ね画像に S 9— 1の前に最初に第 1被写体画像または補正背景画像を全画素コピーしてしまい、その後、各画素位置の処理で第 1被写体領域および Zまたは第 2被写体領域だけを処理する方法も考えられる。全画素コピーの方が処理手順は単純になるが、処理時間は若干増えるかもしれない。また、第 1被写体領域と第 2被写体領域とが重なったとしても、重ね画像の生成をそのまま許可する形態も考えられる。この場合には、図 5 のフローチャートにおいて、 S 7， S 8が省略されるようにすれば、処理が簡単になる。ただし、前述どおり、重なり領域を目立たせる処理や、重なりがあることを警告する処理を実行しても構わない。

重要なのは、本発明の画像合成方法では、第 1被写体領域と第 2被写体領域とを独立して抽出することができるので、第 1被写体領域と第 2 被写体領域とが重なりを持った重ね画像を生成する場合に、第 1被写体と第 2被写体のどちらを優先して合成すればよいかを決めることができるということである。例えば、第 1被写体を優先するように重ね画像生成手段 9が設定されたとすると、図 3 1に示すように、第 1被写体と第 2被写体との重なり領域において、第 1被写体 (人物 ( 1 ) ) を第 2被写体 (人物 ( 2 ) ) の上になるように重ねた重ね画像が得られる。図 3 0のフローチヤ一トで説明すると、 S 9— 4で、重ね画像生成手段 9が上記の透過率 A、す P T/JP2003/008510

9 2

なわち合成割合を 1 . 0 ( 1 0 0 % ) として、第 1被写体画像の画素値 P 1をそのままカレント画素位置に書き込む処理が行われる。

一方、第 2被写体を優先するように重ね画像生成手段 9が設定されたとすると、図 3 2に示すように、第 1被写体と第 2被写体との重なり領域において、第 1被写体（人物（ 1 ) ) を第 2被写体（人物（ 2 ) ) の下になるように重ねた重ね画像が得られる。これを実現するには、図 3 0のフローチャートで S 9— 3の処理と S 9— 5の処理とを入れ替えるのが簡単である。つまり、カレント画素位置が第 2被写体領域内かどうかの判断を先に、重ね画像生成手段 9が行うようにし、その結果、カレント画素位置が第 2被写体領域内ならば、同様に第 2被写体画像の合成割合を 1 . 0 として、第 2被写体画像の画素値をそのまま力レント画素位置に書き込む処理を行えばよい。

なお、このような処理は、背景画像を使わずに、第 1被写体画像と第 2被写体画像だけで合成処理するやり方では不可能である。なぜなら、第 1被写体画像と第 2被写体画像だけでは、第 1被写体領域と第 2被写体領域とを独立して抽出することができず、一塊に統合された領域としてしか抽出できないからである。なお、ここでは合成画像の大きさを基準画像の大きさにしているが、これより小さくしたり、大きくしたりすることも可能である。例えば図 6 ( c ) や図 8 ( c ) で補正画像を生成する際、一部を切り捨ててしまつていたが、捕正画像の大きさを大きくして切り捨てないようにすれば、合成画像を大きくする時のために、切り捨てずに残した画像を合成に使い、それによつて背景を広、ることも可能となる。いわゆるパノラマ画像合成のようなことが可能となる効果が出てくる。

また、例えば、第 1被写体画像と背景画像、第 2被写体画像と背景画像の間では共通した背景部分を持っていて、第 1被写体画像と第 2被写体画像で共通した背景部分を持たない場合、合成画像では第 1被写体と第 2被写体の間の背景が存在しない場合も出てきてしまうかもしれないが、背景画像も使うことで、存在しない部分を埋める合成画像を生成できる効果も出てくる。この場合、例えば、第 1被写体画像、背景画像、第 2被写体画像の順で端がそれぞれ重なった長い合成画像が生成される (第 1被写体画像と第 2被写体画像とは、本発明の処理により、合成画像上では位置の重なりは無い）。

図 1 1 ( b ) は、第 1被写体領域だけを半透明に合成した重ね画像である。図 1 1 ( c ) は、第 2被写体領域だけを半透明に合成した重ね画像である。図 1 1 ( a ) は、両方とも半透明にはせず、どちらも上書きして生成した重ね画像である。なお、図では示していないが、両方とも半透明にして合成する方法も考えられる。

どの合成方法をとるかは目的によるので、ユーザがそのときの目的に応じた合成方法を選択できるようにすれば良い。

例えば、背景画像、第 1被写体画像を既に撮影/記録してあり、第 2 被写体画像を重なり無く撮影しょうとする段階では、第 1 の被写体の詳細な画像は必要なく、大体どの辺に存在し、重なりがあるかどうかが分かればよいのだから、半透明の合成で構わない。また、第 2の被写体は、撮影する瞬間にどういう表情をしているとかの詳細が分からないとうまくシャッターが切れないので、半透明ではなく上書きで合成する方が良い。従って、図 1 1 ( b ) のような合成方法が向いている。また、合成する被写体の領域が分かった方が撮りやすいというユーザにとつては、撮影中は両者を半透明で合成した方が良い場合や、第 2の被写体だけを半透明にした方が良い場合もあるかもしれない。

また、第 2の被写体の撮影/記録が済んで、背景画像、第 1被写体画像、第 2被写体画像を使って、最終的な合成画像を合成したい場合は、半透明な被写体では困るので、どちらも上書きで合成する必要がある。従って、図 1 1 ( a ) のような合成方法が向いている。

また、被写体領域取得手段 7 ( S 6 ) から得られる被写体領域が既に膨張されていれば、被写体だけでなく、その周囲の背景部分も一緒に合成してしまうが、既に補正画像生成手段 5 ( S 5 ) で背景部分は一致するように補正処理されているので、実際の被写体の輪郭の領域よりも多少、抽出する被写体領域が大きめになって背景部分まで含んでしまつていても、合成境界で不自然になることはないという効果が出てくる。

なお、被写体領域を膨張させて処理するのであれば、合成境界をより自然に見せるように、外部も含めた被写体領域の合成境界付近、あるいは被写体領域内部だけの合成境界付近で、透明度を徐々に変化させて合成させるという方法もある。例えば、被写体領域の外部にいくに従って. 背景部分の画像の割合を強くし、被写体領域の内部にいくに従って、被写体領域部分の画像の割合を強くする、といった具合である。

これにより、たとえ合成境界付近で補正誤差による多少の背景のずれがあったとしても、不自然さを目立たなくすることができるという効果が出てくる。補正誤差でなく、そもそも被写体領域の抽出が間違っている場合や、撮影時間のずれなどに起因する背景部分の画像の変化（例えば、風で木が動いた、日が陰った、関係無い人が通った、など）があつたとしても、同様に、不自然さを目立たなくすることができるという効果が出てくる。

また、本発明の目的は、前述した実施形態の機能を実現するソフトゥエアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（または C P Uや M P U ) が記憶媒体に格納されたプログラムコードを読み出し実行することによつても、達成されることは言うまでもない。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フロツビディスク，ハードディスク，光ディスク，光磁気ディスク，磁気テープ，不揮発性のメモリカード，等を用いることができる。

また、上記プログラムコードは、通信ネットワークのような伝送媒体を介して、他のコンピュータシステムから画像合成装置の主記憶 7 4または外部記憶 7 5へダウンロードされるものであってもよい。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働している O S (ォペレ一ティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンビユータに揷入された機能拡張ボードゃコンピュータに接続された機能拡張ュニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードゃ機能拡張ュニットに備わる C P Uなどが実際の処理の一部または全部を行い、その処理によつて前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードを格納することになる本発明は上述した実施形態に限らず、請求の範囲に示した範囲で種々の変更が可能である。

以上のように、本発明に係る第 1の画像合成装置は、背景の画像である背景画像と、前記背景の少なくとも一部と第 1の被写体を含む画像である第 1被写体画像と、前記背景の少なくとも一部と第 2の被写体を含む画像である第 2被写体画像との間での、背景の相対的な移動量、回転量、拡大縮小率、歪補正量のいずれかもしくは組み合わせからなる補正量を算出する、あるいは算出して記録しておいた補正量を読み出す背景補正量算出手段と、背景画像、第 1被写体画像、第 2被写体画像のいずれかを基準画像とし、他の 2画像を被写体以外の背景の少なくとも一部が重なるように、前記背景補正量算出手段から得られる捕正量で捕正し、基準画像と補正した他の 1つあるいは 2つの画像を重ねた画像を生成する重ね画像生成手段とを含んでいる。

これにより、二つの画像間の背景のずれを補正して合成することができるので、被写体など明らかに異なる領域を除いた以外の部分（すなわち背景部分）は、どのように重ねても合成結果がほぼ一致し、合成結果が不自然とならないという効果が出てくる。例えば被写体領域だけを主に合成しようとした時、被写体領域の抽出や指定が多少不正確であっても、被写体領域の周りの背景部分が合成先の画像の部分とずれがないので、不正確な領域の内外が連続した風景として合成され、見た目の不自然さを軽減するという効果が出てくる。

また、これにより、たとえ被写体領域の抽出が画素単位で正確であつたとしても、課題の項で説明した通り、 1画素より細かいレベルでの不自然さは従来技術の方法では出てしまうが、本発明では、背景部分を合わせてから合成しているので、輪郭の画素の周囲の画素は、同じ背景部分の位置の画素となり、合成してもほぼ自然なつながりとなる。このように、 1画素より細かいレベルでの不自然さを防ぐ、あるいは軽減するという効果が出てくる。

また、背景のずれを補正して合成するので、背景画像や第 1 第 2被写体画像の撮影時にカメラなどを三脚などで固定する必要がなく、手などで大体の方向を合わせておけばよく、撮影が簡単になるという効果が出てくる。

さらに、第 1被写体画像と第 2被写体画像の間では背景部分に重なりがなくても、第 1被写体画像と第 2被写体画像の間の補正量を算出することができる。これにより、第 1被写体画像の背景部分と第 2被写体画像の背景部分の間の背景が抜けていても、その抜けている背景部分を背景画像の背景が埋めていれば、背景部分に重なりの無い第 1被写体画像と第 2被写体画像を、背景が繋がった状態で合成することができる効果が出てくる。

さらに、背景画像、第 1被写体画像および第 2被写体画像のそれぞれから必要な背景部分を取り出して、互いの不足部分を補うことでつなげた背景の上に、第 1被写体および第 2被写体を合成した重ね画像を作成することもできる。

また、本発明に係る第 1の画像合成装置は、被写体や風景を撮像する撮像手段をさらに含み、背景画像、または第 1被写体画像、または第 2 被写体画像は、前記撮像手段の出力に基づいて生成される構成とすることもできる。

上記の構成によれば、重ね画像を生成する画像合成装置が、撮像手段を具備することで、ユーザが被写体や風景を撮影したその場で、重ね画像を生成することができるため、ユーザにとつての利便性が向上する。また、重ね画像を生成した結果、もし被写体同士の重なりがあるなどの不都合があれば、その場で撮影し直すことができるという効果が出てくる。

なお、撮像手段から得られる画像は、通常、画像合成装置に内蔵されているか否かを問わない主記憶や外部記憶などに記録し、シャッターボタンなどを利用して記録するタイミングをユーザが指示する。そして、記録された画像を背景画像、または第 1被写体画像、または第 2被写体画像として、合成処理に利用することになる。

また、本発明に係る第 1の画像合成装置は、第 1被写体画像と第 2被写体画像のうち、先に撮影した方を基準画像とする構成とすることもできる。

上記の構成において、例えば、第 1被写体画像、第 2被写体画像の順に撮影したとすると、第 1被写体画像を基準画像する。背景画像はとりあえずどの順番でもよいとする。第 1被写体画像を基準画像として、背景画像、第 2被写体画像を捕正する。この際、第 1被写体画像（基準画像）と背景画像、第 2被写体画像と背景画像の間で、背景部分の移動量などの補正量を背景補正量算出手段が算出する。重ね画像生成手段は、その補正量を使って補正を行い、第 1被写体画像（基準画像）、補正された背景画像、補正された第 2被写体画像の 3つの画像を使って、合成画像を合成する。

この時点で、被写体同士に重なりがあるなどの理由で撮影し直す場合には、第 2被写体画像のみを撮影し直し、再度、合成画像を生成する。この際、第 1被写体画像（基準画像）、補正された背景画像は、再作成する必要はないので、先に合成画像を作成した時のものをそのまま使うことができる。第 2被写体画像は変わっているので、第 1被写体画像を基準画像として、第 2被写体画像を改めて補正する。これにより、補正された新たな第 2被写体画像が生成される。第 1被写体画像（基準画像）、補正された背景画像、新たに補正された第 2被写体画像の 3つの画像を使って、合成画像を合成する。

撮影し直しを操り返す場合は、上記の処理を繰り返せばよい。もし、後から撮影する第 2被写体画像を基準画像とすると、合成に必要な画像は、補正された第 1被写体画像、補正された背景画像、第 2被写体画像 (基準画像）の 3つの画像となる。第 2被写体画像を撮影し直すと、基準画像が変わるので、補正処理を全てやり直さなければいけなくなる。具体的には、補正された第 1被写体画像、補正された背景画像を再度生成しなければいけなくなる。

このように、第 1被写体画像と第 2被写体画像のうち、先に撮影した方を基準画像とすることで、撮影し直しを繰り返す場合に、処理量 · 処理時間を減らすことができるという効果が出てくる。なお、第 1の被写体と第 2の被写体を合成する場合、背景画像を基準画像とし、背景画像上に第 1 と第 2の被写体の領域の画像を置いて合成するより、第 1被写体画像上に第 2の被写体の領域の画像を置いて合成する（あるいはその逆）方が、合成する領域が少なくて処理量 · 処理時間を減らすことができるという効果が出てくる。

また、その場合、合成する領域が少なくなる分、合成結果が不自然となる可能性を減らすことができるという効果が出てくる。合成結果が不自然となる場合とは、例えば、被写体の領域を実際の被写体の輪郭より小さくしてしまうと、合成された被写体が欠けてしまうといったことや, 前述した輪郭などが不自然となってしまう場合などのことである。

また、本発明に係る第 1の画像合成装置では、基準画像の直前あるいは直後の順で背景画像を撮影する構成とすることもできる。

上記の構成において、例えば、背景画像、第 1被写体画像、第 2被写体画像の順、あるいは、第 1被写体画像、背景画像、第 2被写体画像の順に撮影した場合には、第 1被写体画像を基準画像とする。これにより . もし、被写体同士の重なりなどで、第 2被写体画像を撮影し直す場合でも、第 2の被写体はまだその場にいる可能性が高いので、カメラや第 2 の被写体が動くなどして微調整して撮影し直すことが容易にできる。上記と異なり、例えば、第 1被写体画像、第 2被写体画像、背景画像の順に撮影される場合（第 1被写体画像を基準画像とする）を考えてみると、第 2被写体画像を撮影する時点では第 2の被写体が背景の前に存在している状態だが、背景画像を撮影する時には第 2の被写体に背景の前からどいてもらう必要がある。もし、被写体同士の重なりなどで、第 2被写体画像を撮影し直すとすれば、第 2の被写体はすでにどいてしまつているので、再度、背景の前に立ってもらわなければいけない問題がある。また、たとえ第 2の被写体が少し右に動けば重なりが無くなることが分かっていたとしても、先に第 2被写体画像を撮影したの時の位置がすぐには分からないので、少し右に動いた位置がどこなのかもすぐには分からない問題がある。

このように、再度撮影し直す際の被写体や撮影者の微調整などの手間を減らし、重なりなどの不具合の少ない画像を撮影し易くなるという効果が出てくる。

また、撮影し易くなる効果だけでなく、処理に関しても効果が出てくる。

本発明の画像合成手法では、背景画像の撮影順に関係無く、結局 3枚の画像が揃わなければ合成画像は作成できないのだが、合成画像を作成する際、補正画像の作成以外の処理も考えると、処理手順に違いが出てくる。

最初の例の順番では、第 2被写体画像を撮影する前に、背景画像を補正すること以外の処理として、例えば後で説明する第 1の被写体の領域抽出などの処理も可能となる。抽出された領域は、合成や重なり検出などに使われる。高速連写をするのでもない限り、 2枚目の画像を撮影してから 3枚目の画像（第 2被写体画像）を撮影するまでには、通常、多少の時間間隔があるので、これらの処理をする時間も充分にある。 2枚目の画像を撮影した後に 3枚目の画像（第 2被写体画像）を撮影した時合成や重なり検出などの処理に抽出された第 1の被写体の領域などを即座に使うことができ、 3枚目の画像（第 2被写体画像）を撮影した後にかかる処理時間を少なくすることができる効果が出てくる。ユーザから PC漏難 08510

1 0 2

すれば、合成装置の反応が早くなるという効果となる。後の例の順番（背景画像が最後）の場合、背景画像が未取得であるため、第 1の被写体の領域抽出などの処理は 2枚目の'画像を撮影した時点ではできず、 3枚目の背景画像を撮影した後でしかできないので、 3枚目の画像を撮影した後にかかる処理時間は大きくなつてしまう。また、本発明に係る第 1の画像合成装置は、前記重ね画像生成手段が、基準画像と補正した他の 1つあるいは 2つの画像とを、それぞれ所定の透過率で重ねる構成とすることもできる。ここで、「所定の透過率」は、固定された値でもよいし、領域に応じて変化させる値や、領域の境界付近で徐々に変化させる値などでもよい。前記重ね画像生成手段は、重ね画像の画素位置を決め、基準画像上の画素位置の画素値と補正した他の画像上の画素位置の画素値とを得て、その二つの画素値に所定の透過率をそれぞれ掛け合わせた値の合計を重ね画像の画素値とする。この処理を重ね画像の全ての画素位置で行う。また、透過率を画素位置によって変えれば、場所によって基準画像の割合を強くしたり、補正画像の割合を強くしたりできる。

これを使って、例えば、補正された被写体画像中の被写体領域だけを基準画像に重ねる時、被写体領域内.は不透明（すなわち補正画像中の被写体の画像そのまま）で重ね、被写体領域周辺は被写体領域から離れるに従い基準画像の割合が強くなるように重ねる。すると、被写体領域、すなわち抽出した被写体の輪郭が間違っていたとしても、その周辺の画素は、補正画像から基準画像に徐々に変わっているので、間違いが目立たなくなるという効果が出てくる。

また、例えば被写体領域だけを半分の透過度で重ねる、などの合成表示をすることで、表示されている画像のどの部分が以前に撮影した合成対象部分で、どの部分が今撮影している被写体の画像なのかを、判別しやすくするという効果も出てくる。

また、人間は、常識（画像理解）を使うことで、画像中の背景部分と被写体部分（輪郭）を区別する能力を通常、持っている。被写体領域を半分の透過度で重ねて表示しても、その能力は一般に有効である。

従って、被写体領域を半分の透過度で重ねて表示することで、複数の被写体の領域が重なっている場合でも、それぞれの被写体の領域を前記能力で区別することができ、それらが合成画像上で位置的に重なっているかどうかを容易に判断することができる。

第 1被写体画像と第 2被写体画像を左右に並べて見比べることでも重なりがあるかどうかを判断することは不可能ではないが、その際は、それぞれの画像中の被写体領域を前記能力で区別し、それぞれの画像の背景部分の重なりを考慮して、区別した被写体領域同士が重なるかどうかを頭の中で計算して判断しなければいけない。この一連の作業を頭の中だけで正確に行うことは、合成画像中の被写体領域を区別する先の方法と比べると、難しい。

つまり、背景部分が重なるような位置合わせを機械に行わせることで、人間の高度な画像理解能力を使って、被写体領域同士が重なっているかどうかを判断し易い状況を作り出しているといえる。このように、被写体領域を半分の透過度で重ねて表示することで、被写体同士の重なりなどがある場合も、今撮影している被写体の位置を判別しやすくなるという効果も出てくる。

なお、ここで記載した構成を、前記した各構成と、必要に応じて任意に組み合わせてもよい。

また、本発明に係る第 1の画像合成装置は、前記重ね画像生成手段が、基準画像と補正した他の 1つあるいは 2つの画像の間の差分画像中の差のある領域を、元の画素値と異なる画素値の画像として生成する構成とすることもできる。

ここで、「差分画像」とは、二つの画像中の同じ位置の画素値を比較して、その差の値を画素値として作成する画像のことである。一般には、差の値は絶対値をとることが多い。

「元の画素値と異なる画素値」とは、例えば、透過率を変えて半透明にしたり、画素値の明暗や色相などを逆にして反転表示させたり、赤や白、黒などの目立つ色にしたり、などを実現するような画素値である。また、領域の境界部分と内部とで、前述したように画素値を変えてみたり、境界部分を点線で囲ってみたり、点滅表示（時間的に画素値を変化させる）させてみたり、というような場合も含む。

上記の構成によれば、基準画像と補正した他の画像との間で、同じ画素位置の画素値を得て、その差がある場合はその画素位置の重ね画像の画素値を他の領域とは異なる画素値とする。この処理を全ての画素位置で行うことで、差分部分の領域を元の画素値と異なる画素値の画像として生成することができる。

これによつて、二つの画像間で一致しない部分がユーザに分かりやすくなるという効果が出てくる。例えば、第 1や第 2の被写体の領域は、基準画像上と補正画像上では、片方は被写体の画像、他方は背景の画像となるので、差分画像中の差のある領域として抽出される。抽出された領域を半透明にしたり、反転表示したり、目立つような色の画素値とすることで、被写体の領域がユーザに分かりやすく、もし被写体同士に重なりなどがあれば、それも分かり易くなるという効果が出てくる。

本発明に係る第 1の画像合成装置は、基準画像と補正した他の 1つあるいは 2つの画像の間の差分画像中から、第 1の被写体の領域と第 2の被写体の領域を抽出する被写体領域抽出手段をさらに含み、前記重ね画像生成手段において、基準画像と補正した他の 1つあるいは 2つの画像とを重ねる代わりに、基準画像と前記被写体領域抽出手段から得られる領域内の補正した他の 1つあるいは 2つの画像とを重ねる構成とすることもできる。

また、被写体領域の透過率を変えるなどして合成するならば、どの領域を合成しようとしているかがユーザに分かり易く、もし被写体同士に重なりなどがあれば、それもさらに分かり易くなるという効果が出てくる。さらに、それによつて、どうすれば重なりが起きないようになる力をユーザが判断する材料を与える等、撮影を補助することができるという効果が出てくる。また、背景画像、第 1被写体画像および第 2被写体画像の 3枚を用いると、第 1の被写体の領域または第 2の被写体の領域の抽出が容易になるという効果が出てくる。さらに、第 1の被写体の領域または第 2の被写体の領域をそれぞれ抽出できるので、各被写体に重なりがある場合に、どちらを優先して合成するか、すなわち重なり部分において、第 1の被写体が第 2の被写体の上になるように合成するか、下になるように合成するかを決めることができるという効果も出てくる。

また、本発明に係る第 1の画像合成装置は、前記被写体領域抽出手段から得られる第 1の被写体の領域と第 2の被写体の領域の重なりを検出する重なり検出手段をさらに含んでいる構成とすることもできる。

上記の構成によれば、被写体領域抽出手段から第 1の被写体の領域と第 2の被写体の領域が得られるので、重なり検出手段が、ある画素位置について、第 1の被写体の領域と第 2の被写体の領域の両方に含まれる画素位置かどうかを調べることによって、両方に含まれる画素位置が存在する場合に、重なりがあると判断できる。

その判断処理に好適な手法としては、例えば、それぞれの領域を被写体領域抽出手段または重なり検出手段が画像として生成し、被写体領域の画素の画素値を所定の値に設定する。そして、重なり検出手段が、各画素位置において、両方の画像の同じ画素位置の画素値が、設定した所定の値かどうかを判断すれば、重なりがあるかどうかを的確に判断できる。

これによつて、被写体同士が重なり合つている部分があるかどうかをユーザが判別しやすくなるという効果が出てくる。それによつて、重なりが起きないように撮影を捕助する効果については、前述したものと同様である。

また、本発明に係る第 1 の画像合成装置は、前記重なり検出手段において重なりが検出される時、重なりが存在することを、ユーザあるいは被写体あるいは両方に警告する重なり警告手段をさらに含んでいる構成とすることもできる。

ここで、「警告」には、表示手段などに文字や画像で警告することも含まれるし、ランプなどによる光やスピーカなどによる音声、パイブレータなどによる振動など、ユーザや被写体が感知できる方法ならば何でも含まれる。

これによつて、被写体同士が重なり合つている場合に、重なり警告手段の動作によって警告されるので、ユーザがそれに気づかずに撮影/記録したり合成処理したりということを防ぐことができ、さらに被写体にも位置調整等が必要であることを即時に知らせることができるという撮影補助の効果が出てくる。

また、本発明に係る第 1 の画像合成装置は、前記重なり検出手段において重なりが検出されない時、重なりが存在しないことを、ユーザあるいは被写体あるいは両方に通知するシャツタ一チャンス通知手段をさらに含んでいる構成とすることもできる。

ここで、「通知」には、「警告」同様、ユーザや被写体が感知できる方法ならば何でも含まれる。

これによつて、被写体同士が重なり合つていない時をユーザが知ることができるので、撮影や撮影画像記録、合成のタイミングをそれに合わ o

1 0 8

せて行えば、被写体同士が重ならずに合成することができるという撮影補助の効果が出てくる。

また、被写体にも、シャッターチャンスであることを通知できるので、ポーズや視線などの備えを即座に行えるという撮影補助の効果も得られる。

また、本発明に係る第 1の画像合成装置は、被写体や風景を撮像する撮像手段と、前記重なり検出手段で重なりが検出されない時に、前記撮像手段から得られる画像を背景画像、または第 1被写体画像、または第 2被写体画像として記録する指示を生成する自動シャツター手段とをさらに含んでいる構成とすることもできる。

上記の構成において、撮影画像を背景画像や第 1被写体画像、第 2被写体画像として記録するというのは、例えば、主記憶や外部記憶に記録するなどで実現される。したがって、自動シャッター手段は、第 1の被写体の領域と第 2の被写体の領域とに重なりが無いという信号を重なり

L5 検出手段から入力したときに、主記憶や外部記憶に対する記録制御処理の指示を出力する。そして、背景補正量算出手段や重ね画像生成手段は、主記憶や外部記憶に記録されている画像を読み込むことで、背景画像や第 1被写体画像、第 2被写体画像を得ることができるようになる。なお、自動シャッター手段が自動的に指示を出しても、即座に画像が記録されるとは限らない。例えば、同時にシャッターボタンも押されていると力、自動記録モードになっているなどの状態でないと記録されないようにしてもよい。

これによつて、被写体同士が重なり合っていない時に自動的に撮影が行われるので、ユーザ自身が重なりがあるかどうかを判別してシャツタ一を押さなくても良いという撮影補助の効果が出てくる。

また、本発明に係る第 1 の画像合成装置は、被写体や風景を撮像する撮像手段と、前記重なり検出手段で重なりが検出される時に、前記撮像手段から得られる画像を、背景画像、あるいは第 1被写体画像、あるいは第 2被写体画像として記録することを禁止する指示を生成する自動シャッター手段とをさらに含んでいる構成とすることもできる。

上記の構成によれば、自動シャッター手段は、重なり検出手段から重なりがあるという信号を得たら、撮像手段から得られる画像を主記憶や外部記憶などに記録することを禁止する指示を出力する。この結果、例えば、シャッターポタンが押されたとしても、撮像手段から得られる画像は記録されない。なお、この禁止処理は、自動禁止モードになっているなどの状態でないと行われないようにしてもよい。

これによつて、被写体同士が重なり合つている時は撮影が行われないので、ユーザが誤って重なりがある状態で撮影/記録してしまうことを防ぐ撮影補助の効果が出てくる。

また、本発明に係る第 1 の画像合成装置は、前記重なり検出手段が、第 1の被写体の領域と第 2の被写体の領域とが重なり合う重なり領域を抽出する構成とすることもできる。

上記の構成によれば、重なり検出手段で、重なりがあるかどうか検出する際に、例えば先に説明した画像を使うなどして、重なり領域も同時に抽出できる。この抽出した重なり領域を利用して、被写体同士が重なり合っている部分がある場合に、どの部分が重なっているかを表示などで通知することができる。 P2003/008510

1 1 0

これにより、重なり領域をユーザが判別しやすくなるという効果が出てくる。また、それによつて、カメラや撮影中の被写体がどの方向、位置にどのくらい動けばよいかが判別しゃすくなるという撮影補助の効果が出てくる。

なお、背景画像を使わず、第 1被写体画像と第 2被写体画像だけで、背景補正量を算出してどちらかを補正し、差分画像を生成し、差分領域を求めることは、背景部分に適当量の重なりがあれば、可能である。その時、第 1の被写体の領域と第 2の被写体の領域に重なりが無ければ、差分領域は、第 1領域と、第 2領域との 2つの独立した領域として求まる。しかし、重なりがある場合、第 1領域と第 2領域は独立せず、交じり合った 1つの領域として抽出されてしまう。従って、第 1被写体画像および第 2被写体画像だけから重なっている領域を抽出することは難しい

これに対し、背景画像を使う場合は、例えば基準画像を背景画像に取るなどすれば、差分画像中には、第 1領域か第 2領域のどちらかしか存在せず、第 1領域と第 2領域は別個に抽出される。同時に抽出されることはない。従って、第 1領域と第 2領域が重なり合っていても、問題なく第 1領域と第 2領域を求めるこができる。従って、重なり領域も求めることができる。このように、背景画像も使うことで、被写体に重なりがあっても、重なり領域を求めることができる効果が出てくる。また、本発明に係る第 1の画像合成装置は、前記重ね画像生成手段が、前記重なり検出手段にて抽出された重なり領域を元の画素値と異なる画素値の画像として生成する構成とすることもできる。上記の構成によれば、重ね画像生成手段が重ね画像を生成する際、各画素位置の画素値を決めるが、その画素位置が重なり検出手段から得られる重なり領域内の場合 (例えば、重なり領域を黒画像として生成した場合、重なり画像の画素位置の画素値が黒であると判定する処理が簡便）は、他の領域とは異なる画素値とする。特に、その領域の境界線や内部を赤などの目立つ色で描画したり、境界線を点滅表示させたり、半透明にして背景が透けるような画素値とすることが好ましい。

これによって、重なり領域がユーザや被写体に判別しゃすくなるという撮影補助の効果が出てくる。

また、本発明に係る第 1の画像合成装置は、前記重なり検出手段で重なりが検出される場合、重なりを減らす第 1 の被写体または第 2の被写体の位置あるいはその位置の方向を算出する重なり回避方法算出手段と . 前記重なり回避方法算出手段から得られる第 1 の被写体または第 2の被写体の位置あるいはその位置の方向を、ユーザあるいは被写体あるいは両方に知らせる重なり回避方法通知手段とをさらに含んでいる構成とすることもできる。

ここで、被写体領域抽出手段から第 1の被写体の領域と第 2の被写体の領域の情報が得られ、それらの領域情報から重なり検出手段で重なりに関する情報が得られることは、既に説明したとおりである。

従って、被写体の領域の位置を被写体領域抽出手段から得た位置と異なる位置にして、重なり検出手段で重なりがどのくらいあるかを調べれば、その位置に被写体が動いたときの重なり量が予測できる。被写体の領域の位置を色々な位置にしてみて、それぞれの重なり量を予測し、最も重なりが少ない位置や方向を重なりを減らす位置や方向としてユーザや被写体に通知する。

あるいは、もっと簡単に処理するのならば、一般に被写体間の距離が離れれば重なりは減るはずなのだから、得られた被写体領域から、被写体間の距離が離れる方向を計算することができる。

得られた重なりが少なくなる位置や方向を、例えば表示で通知する場合、重ね画像を生成する際、各種合成処理を行った後に、矢印などを上書きして生成すればよい。

これによつて、重なりがある場合に、カメラや撮影中の被写体がどの方向、位置に動けばよいかがユーザが判断しなくても済むという撮影捕助の効果が出てくる。

なお、重なりが少ない位置や方向を算出する被写体は、第 1 7第 2の被写体のどちらでもよいが、先に撮影した被写体は、既にカメラの前から立ち退いており、後で撮影した被写体が、通常、カメラの前に立っていると考えられる。したがって、後で撮影した被写体について位置や方向を算出すれば、その算出結果に基づいて、重なりが少なくなる方向へ被写体が即座に移動すればよいので、使い勝手が良くなる。

本発明に係る第 1の画像合成方法は、背景の画像である背景画像と、前記背景の少なくとも一部と第 1の被写体を含む画像である第 1被写体画像と、前記背景の少なくとも一部と第 2の被写体を含む画像である第 2被写体画像との間での、背景の相対的な移動量、回転量、拡大縮小率、歪捕正量のいずれかもしくは組み合わせからなる捕正量を算出する、あるいは算出して記録しておいた補正量を読み出す背景補正量算出ステップと、背景画像、第 1被写体画像、第 2被写体画像のいずれかを基準画像とし、他の 2画像を被写体以外の背景の少なくとも一部が重なるよう 1 1 3

に、前記背景補正量算出ステップから得られる補正量で補正し、基準画像と捕正した他の 1つあるいは 2つの画像を重ねた画像を生成する重ね画像生成ステップとを含んでいる。

これによる種々の作用効果は、前述したとおりである。

本発明に係る第 1 の画像合成プログラムは、上記第 1 の画像合成装置が備える各手段として、コンピュータを機能させる構成である。

本発明に係る第 1の画像合成プログラムは、上記第 1の画像合成方法が備える各ステップをコンピュータに実行させる構成である。

本発明に係る第 1の記録媒体は、上記第 1 の画像合成プログラムを記録した構成である。

これにより、上記記録媒体、またはネットワークを介して、一般的なコンピュータに画像合成プログラムをインストールすることによって、該コンピュータを用いて上記の画像合成方法を実現する、言い換えれば、該コンピュータを画像合成装置として機能させることができる。

〔実施の形態 2〕

以下、本発明の実施のその他の形態を図面を参照して説明する。実施の形態 1では、第 1被写体画像および第 2被写体画像に加えて、各被写体画像と少なくとも一部共通する背景部分が写っていて被写体は写っていない背景画像を利用していたが、実施の形態 2では、背景画像を利用しないで画像合成する構成について説明する。

ここでも、まず、言葉の定義について説明しておく。

「第 1の被写体」、「第 2の被写体」とは、合成を行おうとしている対象であり、一般には人物であることが多いが物などの場合もある。厳密には、「被写体」は、第 1被写体画像と第 2被写体画像との間で、背景部分が少なくとも一部重なるようにした時に、画素値が一致しない領域、すなわち変化がある領域は全て「被写体の領域」となる可能性を持つ。但し、背景部分で、風で木の葉が揺れたなどの小さな変化でも変化がある領域となってしまうので、小さな変化や小さな領域はある程度無視する方が好ましい。

なお、人物でなく、物であっても同様である。また、被写体は、必ずしも一つの領域であるとは限らず、複数の領域からなる場合もある。「第 1」、「第 2」は、異なるコマ画像として単に区別する為につけたものであり、撮影の順番などを表すものではなく、本質的な違いはない。また、例えば、人物が服や物などを持っていて、「第 1の被写体または第 2の被写体を含まない背景だけの画像」にそれらが現れないのならば、それらも被写体に含まれる。

「第 1被写体画像」、「第 2被写体画像」は、上記の「第 1の被写体」、「第 2の被写体」を含む別々の画像であり、一般には、カメラなどでその被写体を別々に撮影した画像である。但し、画像上に被写体のみしか写っておらず、互いに共通する背景部分が全く写っていない場合は、その共通する背景部分を元にした位置合わせができないので、合成に適さない。したがって、少なくとも一部は（合成した被写体の周囲を自然にするために、より好ましくは、合成しょうとする被写体の周囲において）互いに共通する背景部分が写っている必要がある。また、通常は、第 1被写体画像、第 2被写体画像は、同じ背景を使って、すなわちカメラをあまり動かさないで撮影する場合が多い。

「背景部分」とは、第 1被写体画像、第 2被写体画像から「第 1の被写体」、「第 2の被写体」をそれぞれ除いた部分である。

「移動量」、「歪補正量」、および「重ね画像生成手段」は、実施の形態 1で説明したものと同じであるので、説明を省略する。

「画素値」、「濃度値」、「輝度値」、「透過率」、「不透明度」、「所定の透過率」、「差分画像」、および「元の画素値と異なる画素値」についても、実施の形態 1で説明したものと同じであるので、説明を省略する。

「被写体の領域」とは、被写体が背景と分離される境界で区切られる領域である。例えば、第 1被写体画像中で人物が服や物などを持っていて、第 2被写体画像中でそれらが現れないのならば、それらも被写体であり、被写体の領域に含まれる。なお、被写体の領域は、必ずしも繋がつた一塊の領域とは限らず、複数の領域に分かれていることもある。

「特徴」とは、その領域の画像の持つ性質などであり、特徴量として数値化して表現できる性質が好ましい。特徴量としては、例えば、各色の画素値や、その色相、彩度、明度のほか、画像の模様や構造を表す統計量として、同時生起行列や差分銃計量、ランレングス行列、パワースぺクトル、それらの第 2次統計量、高次統計量などがある。

「第 1の被写体あるいは第 2の被写体の領域」とは、差分画像などから抽出される被写体の領域で、第 1の被写体の領域かあるいは第 2の被写体の領域かの区別がついていなくてもよい領域である。

「合成しょうとしている被写体」とは、合成処理の過程で求められる被写体のことではなく、実際に（カメラの前に）存在する被写体のことであり、第 1被写体画像および第 2被写体画像のどちらか一方に定めた基準画像に対して、ユーザが合成しようとしている被写体のことである。但し、上述した通り、合成の処理の単位としてまとめて扱うものは一つの「被写体」なので、 1つの被写体が複数の人物/物であることもあり X.る。

「警告」、「通知」、および「フレーム（枠）」についても、実施の形態 1で説明したものと同じであるので、説明を省略する。

図 3 3は、本発明の実施の一形態に係る画像合成方法を実施する画像合成装置を示す構成図である。

すなわち、画像合成装置の要部を、撮像手段 2 1、第 1被写体画像取得手段 2 2、第 2被写体画像取得手段 2 3、背景補正量算出手段 2 4、補正画像生成手段 2 5、差分画像生成手段 2 6、被写体領域抽出手段 2 7、重なり検出手段 2 8、重ね画像生成手段 2 9、重ね画像表示手段 3 0、重なり警告手段 3 1 、シャッターチヤンス通知手段 3 2、自動シャッター手段 3 3の主要な機能プロックに展開して示すことができる。図 3 4は、図 3 3の各手段 2 1〜 3 3を具体的に実現する装置の構成例である。

C P U ( central proces s ing uni t ) 9 0は、背景補正量算出手段 2 4、捕正画像生成手段 2 5、差分画像生成手段 2 6、被写体領域抽出手段 2 7、重なり検出手段 2 8、重ね画像生成手段 2 9、重ね画像表示手 2003/008510

117

段 3 0、重なり警告手段 3 1、シャッターチヤンス通知手段 3 2、自動シャッター手段 3 3 として機能し、これら各手段 2 4〜 3 3の処理手順が記述されたプログラムを主記憶 7 4、外部記憶 7 5、通信デバイス 7 7を介したネッ 1、ワーク先などから得る。

なお、撮像手段 2 1、第 1被写体画像取得手段 2 2、第 2被写体画像取得手段 2 3、についても、撮像素子や、撮像素子が出力する画像データの各種処理に対する内部制御などの為に C P Uなどを使っている場合もある。

また、 C P U 9 0は、 C P U 9 0を含めてバス 7 9を通じ相互に接続されたディスプレイ 7 1、撮像素子 7 2、タブレット 7 3、主記憶 7 4、外部記憶 7 5、シャッターボタン 7 6、通信デバィス 7 7、ランプ 7 8、スピーカ 8 0 とデータのやりとりを行いながら、処理を行う。なお、データのやりとりは、バス 7 9を介して行う以外にも、通信ケ一ブルや無線通信装置などデータを送受信できるものを介して行ってもよい。また、各手段 2 1〜 3 3の実現手段としては、 C P Uに限らず、 D S P (digital signal processor)や処理手順が回路として組み込まれているロジック回路などを用いることもできる。

ディスプレイ 7 1は、通常はグラフィックカードなどと組み合わされて実現され、グラフィックカード上に V RAM (video random access memory) を有し、 V R A M上のデータを表示信号に変換して、モニターなどのディスプレイ (表示/出力媒体) に送り、ディスプレイは表示信号を画像として表示する。撮像素子 7 2は、風景等を撮影して画像信号を得るデバイスであり、通常、レンズなどの光学系部品と受光素子およびそれに付随する電子回難 08510

118

路などからなる。ここでは、撮像素子 7 2は、出力信号を AZD変換器などを通して、デジタル画像データに変換する所まで含んでいるとし、バス 7 9を通じて、第 1被写体画像取得手段 2 2、第 2被写体画像取得手段 2 3などに撮影した画像の画像データを送るとする。撮像素子として一般的なデバイスとしては、例えば、 C C D ( charge coupled device) などがあるが、その他にも風景等を画像データとして得られるデパイスならば何でも良い。ユーザの指示を入力する手段として、タブレット 7 3、シャツターボタン 7 6などがあり、ユーザの指示はバス 7 9を介して各手段 2 1〜 3 3に入力される。この他にも各種操作ボタン、マイクによる音声入力など、様々な入力手段が使用可能である。タブレット 7 3は、ペンとペン位置を検出する検出機器からなる。シャッターボタン 7 6は、メカ二力ルもしくは電子的なスィツチなどからなり、ユーザがボタンを押すことで、通常は、撮像素子 7 2で撮影された画像を主記憶 7 4や外部記憶 7 5などに記録したりする一連の処理を開始させるスタ一ト信号を生成する。

主記憶 7 4は、通常は D RAM (dynamic random access memory) やフラッシュメモリなどのメモリデバイスで構成される。なお、 C P U内部に含まれるメモリやレジスタなども一種の主記憶として解釈してもよい o

外部記憶 7 5 は、 H D D ( hard disk drive) や P C ( personal computer) カードなどの装脱着可能な記憶手段である。あるいは C P U 9 0とネットワークを介して有線または無線で接続された他のネットワーク機器に取り付けられた主記憶や外部記憶を外部記憶 7 5 として用 P 霞睡 08510

1 1 9

いることもできる。

通信デバイス 7 7は、ネットワークインターフエ一スカードなどにより実現され、無線や有線などにより接続された他のネットワーク機器とデータをやりとりする。

スピーカ 8 0は、バス 7 9などを介して送られて来る音声データを音声信号として解釈し、音声として出力する。出力される音声は、単波長の単純な音の場合もあるし、音楽や人間の音声など複雑な場合もある。出力する音声が予め決まっている場合、送られて来るデータは音声信号ではなく、単なるオン、オフの動作制御信号だけという場合もある。次に、図 3 3の各手段 2 1〜 3 3を各手段間のデータ授受の観点から説明する。

なお、各手段間でのデータのやりとりは、特に注釈なく「* *手段から得る」、「* *手段へ送る（渡す）」という表現をしている時は、主にバス 7 9を介してデータをやりとりしているとする。その際、直接各手段間でデータのやりとりをする場合もあれば、主記憶 7 4や外部記憶 7 5、通信デバィス 7 7を介したネットワークなどを間に挟んでデータをやりとりする場合もある。

撮像手段 2 1は主に撮像素子 7 2からなり、撮像した風景などを画像データとして第 1被写体画像取得手段 2 2、第 2被写体画像取得手段 2 3に送る。

第 1被写体画像取得手段 2 2は、例えば撮像手段 2 1、主記憶 7 4、および/または外部記憶 7 5などで構成され、第 1被写体画像を、撮像手段 2 1、主記憶 7 4、外部記憶 7 5、および Zまたは通信デバイス 7 7を介したネットワーク先などから得る。なお、第 1被写体画像取得手段 2 2は、内部制御などの為に C P Uなどを含む場合もある。

撮像手段 2 1 を使う場合は、第 1の被写体が含まれる現在の風景（第 1被写体画像）を撮像素子 7 2で撮影することになり、通常はシャツタ一ボタン 7 6などを押したタイミングなどで撮影し、撮影された画像は、主記憶 7 4、外部記憶 7 5、および/または通信デバイス 7 7を介したネットワーク先などに記録される。

—方、第 1被写体画像取得手段 2 2が、主記憶 7 4、外部記憶 7 5、および Zまたは通信デバィス 7 7を介したネットワーク先などから第 1 被写体画像を得る場合は、既に撮影されて予め用意してある画像を読み出すことになる。なお、通信デバイス 7 7を介したネットワーク先などにカメラがあり、ネットワークを通して撮影する場合もある。

第 1被写体画像は、背景補正量算出手段 2 4、補正画像生成手段 2 5 . 差分画像生成手段 2 6、被写体領域抽出手段 2 7、および Zまたは重ね画像生成手段 2 9などに送られる。

第 2被写体画像取得手段 2 3は、例えば撮像手段 2 1、主記憶 7 4、および Zまたは外部記憶 7 5などで構成され、第 2の被写体が含まれる画像（以降、「第 2被写体画像」と呼ぶ）を、撮像手段 2 1、主記憶 7 4、外部記憶 Ί 5、および/または通信デバィス 7 7を介したネットヮーク先などから得る。なお、第 2被写体画像取得手段 2 3は、内部制御などの為に C P Uなどを含む場合もある。画像の中身が違う以外は、画像の取得方法に関しては、第 1被写体画像取得手段 2 2 と同様である。

第 2被写体画像は、背景補正量算出手段 2 4、補正画像生成手段 2 5 . 差分画像生成手段 2 6、被写体領域抽出手段 2 7、および/または重ね画像生成手段 2 9などに送られる。 P T脑 03/008510

121

背景補正量算出手段 2 4としての C P U 9 0は、第 1被写体画像およぴ第 2被写体画像中の被写体以外の背景の相対的な移動量、回転量、拡大縮小率、歪補正量のいずれかもしくは任意の組み合わせからなる補正量を算出する。第 1被写体画像および第 2被写体画像の一方（基準画像）と他方の画像との間の補正量が最低限求まればよい。背景補正量算出手段 2 4は、算出した補正量を補正画像生成手段 2 5 に送る。なお、予め算出しておいた補正量を背景補正量算出手段 2 4が読み出す場合は、主記憶 7 4、外部記憶 7 5、および/または通信デバイス 7 7を介したネットワーク先などから捕正量を読み出すことになる。補正画像生成手段 2 5 としての C P U 9 0は、第 1被写体画像、第 2 被写体画像のどちらかを基準画像とし、他方の画像を被写体以外の背景の部分が重なるように背景捕正量算出手段 2 4から得られる補正量で補正した画像（以下、補正画像と呼ぶ）を生成し、差分画像生成手段 2 6 および重ね画像生成手段 2 9へ送る。なお、予め生成しておいた捕正画像を補正画像生成手段 2 5が読み出す場合は、主記憶 7 4、外部記憶 7 5、および/または通信デバィス 7 7を介したネットワーク先などから読み出すことになる。差分画像生成手段 2 6 としての C P U 9 0は、補正画像生成手段 2 5 で決めた基準画像と補正画像生成手段 2 5から得られる補正画像との間の差分画像を生成して、生成した差分画像を被写体領域抽出手段 2 7および重ね画像生成手段 2 9へ送る。

被写体領域抽出手段 2 7 としての C P U 9 0は、差分画像生成手段 2 6から得られる差分画像から第 1、第 2の被写体の領域を抽出して、抽出した領域を重なり検出手段 2 8および重ね画像生成手段 2 9へ送る。重なり検出手段 2 8 としての C P U 9 0は、被写体領域抽出手段 2 7 から得られる第 1、第 2の被写体の領域から第 1、第 2の被写体同士の重なりを検出して、重なりが存在するかどうかの情報と重なり領域の情報とを、重ね画像生成手段 2 9、重なり警告手段 3 1、シャッターチヤンス通知手段 3 2および自動シャッター手段 3 3に送る。

重ね画像生成手段 2 9 としての C P U 9 0は、第 1被写体画像取得手段 2 2から得られる第 1被写体画像、第 2被写体画像取得手段 2 3から得られる第 2被写体画像、補正画像生成手段 2 5から得られる補正画像を、全部あるいは一部重ねた画像を生成し、生成した画像を重ね画像表示手段 3 0に送る。

また、重ね画像生成手段 2 9は、差分画像生成手段 2 6から得られる差分画像画像中の差のある領域を、元の画素値と異なる画素値の画像として生成する場合もある。

また、重ね画像生成手段 2 9は、被写体領域抽出手段 2 7から得られる第 iの被写体と第 2の被写体の領域のみを基準画像などに重ねる場合もある。

また、重ね画像生成手段 2 9は、重なり検出手段 2 8から得られる重なりの領域を元の画素値と異なる画素値の画像として生成する場合もある。

重ね画像表示手段 3 0 としての C P U 9 0は、重ね画像生成手段 2 9 から得られる重ね画像をディスプレイ 7 1などに表示する。

また、重ね画像表示手段 3 0は、重なり警告手段 3 1から得られる警告情報に応じて、警告表示を行う場合や、シャッターチャンス通知手段 3 2から得られるシャッターチャンス情報に応じて、シャッターチャンスである旨の表示を行う場合や、自動シャツター手段 3 3から得られるシャッター情報に応じて、自動シャツターが行われた旨の表示を行う場合もある。

重なり警告手段 3 1 としての C P U 9 0は、重なり検出手段 2 8から 5 得られる重なり情報から、重なりが存在する場合、ユーザあるいは被写体あるいは両方に重なりがあることを通知する。

通知には、通知内容を文字などにして重ね画像表示手段 3 0に送ってディスプレイ 7 1 に表示させたり、ランプ 7 8を使って光で知らせたり . スピー力 8 0を使って音で知らせたりする等の種々の形態を採用できる, L0 通知することができるのならば、それ以外のデバイスなどを使っても良い

シャッターチャンス通知手段 3 2 としての C P U 9 0は、重なり検出手段 2 8から得られる重なり情報から、重なりが存在しない場合、ユーザあるいは被写体あるいは両方に重なりが無いことを通知する。通知方

L 5 法に関しては、重なり警告手段 3 1 の説明と同様である。

自動シャッター手段 3 3 としての C P U 9 0は、重なり検出手段 2 8 から得られる重なり情報から、重なりが存在しない場合、第 2被写体画像取得手段 2 3に対し、撮像手段 2 1から得られる画像を主記憶 7 4や外部記憶 7 5などに記録するように自動的に指示を出す。

:0 ここでは、撮像手段 2 1から得られる画像は、第 1被写体画像または第 2被写体画像として主記憶 7 4や外部記憶 7 5などに最終的に記録、保存され、合成されるような使い方を主に想定している。例えば、第 1 の被写体を先に撮影した後で、第 2の被写体を撮影するとするとき、第 1被写体画像を撮像手段 2 1から得た場合には、得る毎に記録、保存す 08510

1 2 4

るが、第 2被写体画像は撮像手段 2 1から得られても、すぐには保存されない。

すなわち、撮像手段 2 1から得た画像を第 2被写体画像とする場合、その得られた第 2被写体画像と保存されている第 1被写体画像とを使つて、重なり検出などの処理を行い、重ね画像表示手段 3 0などでの各種表示や警告、通知などの処理を行う、という一連の処理を繰り返す。そして、自動シャツター手段 3 3により記録、保存を指示された時、第 2 被写体画像が最終的に記録、保存される。

なお、自動シャッター手段 3 3による指示が存在し、かつ、シャツタ一ポタン 1 4 3がユーザにより押される場合に、第 2被写体画像を記録、保存するようにしてもよい。

また、自動シャッタ一手段 3 3が、指示を出した結果、撮像画像が記録されたことをユーザあるいは被写体あるいは両方に通知してもよい。通知方法に関しては、重なり警告手段 3 1の説明と同様である。また、自動シャツター手段 3 3 としての C P U 9 0は、記録の指示を行うだけでなく、重なり検出手段 2 8から得られる重なり情報から、重なりが存在する場合、第 2被写体画像取得手段 2 3に撮像手段 2 1から得られる画像を主記憶 7 4や外部記憶 7 5などに記録するのを禁止するように自動的に指示を出す。この動作は、上述した自動記録する場合の逆となる。この場合、自動シャッター手段 3 3による保存禁止の指示が存在する場合、シャッターポタン 1 4 3がユーザにより押されても、第 2被写体画像は記録、保存されないことになる。図 3 5 ( a ) は、本発明に係る画像合成装置の背面からの外観例を示している。本体 1 4 0上に表示部兼タブレット 1 4 1、ランプ 1 4 2、およびシャッターポタン 1 4 3がある。

表示部兼タブレツト 1 4 1は入出力装置（ディスプレイ 7 1およびタプレツト 7 3等）および重ね画像表示手段 3 0に相当する。表示部兼タブレット 1 4 1上には、図 3 5 ( a ) のように、重ね画像生成手段 2 9 で生成された合成画像重なり警告手段 3 1、シャッターチャンス通知手段 3 2、自動シャツター手段 3 3などからの通知 Z警告情報などが表示される。また、画像合成装置の各種設定メニューなどを表示して、タブレットを使って指やペンなどで設定を変更したりするのにも使われる。なお、各種設定などの操作手段として、タブレットだけでなく、ボタン類などがこの他にあってもよい。また、表示部兼タブレット 1 4 1は, 本体 1 4 0に対する回転や分離などの方法を用いて、撮影者だけでなく . 被写体側でも見られるようになつていてもよレ、。

ランプ 1 4 2は、重なり警告手段 3 1、シャッターチヤンス通知手段 3 2または自動シャツター手段 3 3などからの通知や警告に使われたりする。

シャッターボタン 1 4 3は、第 1被写体画像取得手段 2 2または第 2 被写体画像取得手段 2 3が撮像手段 2 1から撮影画像を取り込む/記録するタイミングを指示する為に主に使われる。

また、この例では示していないが、内蔵スピーカなどを通知/警告手段として使ってもよい。

図 3 5 ( b ) は、本発明に係る画像合成装置の前面からの外観例を示している。本体 1 4 0前面にレンズ部 1 4 4が存在する。レンズ部 1 4 4は、撮像手段 2 1の一部である。なお、図 3 5 ( b ) の例では示していないが、前面に被写体に情報（前記の通知や警告）を伝えられるように、表示部やランプ、スピーカなどがあってもよい。

画像データや、画素値については、実施の形態 1において図 4を用いて説明したものと同じであるので、説明を省略する。

図 3 6は、本発明の実施の一形態に係る画像合成方法の一例を示すフローチャート図である。

まずステップ S 1 1 (以下、「ステップ S」を「 S」と略記する。）では、第 1被写体画像取得手段 2 2が、第 1被写体画像を取得し、連結点 p 2 0 (以下、「連結点 p」を「 p」と略記する）を経て S 1 2へ処理が進む。第 1被写体画像は、撮像手段 2 1を使って撮影してもよいし、予め主記憶 7 4、外部記憶 7 5または通信デパイス 7 7を介したネットワーク先などに用意してある画像を読み出してもよい。

S 1 2では、第 2被写体画像取得手段 2 3が、上記第 1被写体画像と少なくとも一部共通する背景部分を持つ第 2被写体画像を取得し、 p 3 0を経て S 1 3へ処理が進む。ここでの処理は後で図 4 4を用いて詳しく説明するが、第 2被写体画像の取得方法自体は、第 1被写体画像と同様である。なお、 S 1 1 と S 1 2の処理の順番は逆でも良いが、後に撮影する方を基準画像とすると、撮影時の合成画像の表示に違和感が少ない効果が出てくる。

S 1 3では、背景補正量算出手段 2 4が、第 1被写体画像および第 2 被写体画像から背景捕正量を算出して、 p 4 0を経て S 1 4へ処理が進む。第 1被写体画像、第 2被写体画像はそれぞれ、第 1被写体画像取得手段 2 2 ( S 1 1 ) 、第 2被写体画像取得手段 2 3 ( S 1 2 ) から得られる。なお、以降、第 1被写体画像、第 2被写体画像を使う際、特にことわりの無い限り、これらの画像の取得元の手段 /ステップは S 1 3での取得元の手段ノステップと同じなので、以降はこれらの画像の取得元の手段 Zステップの説明は省く。

S 1 3の処理の詳細は後で図 4 5を用いて説明する。

S 1 4では、捕正画像生成手段 2 5が、背景補正量算出手段 2 4から得た背景補正量を使って基準画像以外の第 1被写体画像または第 2被写体画像を補正し、差分画像生成手段 2 6が、補正画像生成手段 2 5で捕正された画像と基準画像との間の差分画像を生成して、 p 5 0を経て S 1 5へ処理が進む。 S 1 4の処理の詳細は後で図 4 6を用いて説明する。

S 1 5では、被写体領域抽出手段 2 7が、差分画像生成手段 2 6 ( S 1 4 ) から得られる差分画像から、第 1、第 2の被写体の領域（以降、第 1被写体領域、第 2被写体領域と呼ぶ）を抽出し、重なり検出手段 2 8が被写体同士の重なりを検出して、 p 6 0を経て S 1 6へ処理が進む。 S 1 5の処理の詳細は後で図 4 8を用いて説明する。

S 1 6では、重なり警告手段 3 1、シャッターチャンス通知手段 3 2、自動シャッター手段 3 3のうちの一つ以上の手段が、重なり検出手段 2 8 ( S 1 5 ) から得られる重なりに関する情報に応じて様々な処理を行レ、、 P 7 0を経て S 1 7へ処理が進む。 S 1 6の処理の詳細は後で図 5 0から図 5 2を用いて説明する。

S 1 7では、重ね画像生成手段 2 9が、第 1被写体画像、第 2被写体画像、およびそれらの内の基準画像ではない方の] S像を補正画像生成手段 2 5 ( S 1 4 ) で補正した画像、被写体領域抽出手段 2 7 ( S 1 5 ) から得られる第 i、第 2被写体領域、重なり検出手段 2 8 ( S 1 6 ) か 03008510

128

ら得られる第 1、第 2の被写体の重なりに関する情報などから、これら 2枚の画像を重ねる「重ね画像」を生成して、 p 8 0を経て S 1 8へ処理が進む。 S 1 7の処理の詳細は後で図 5 3を用いて説明する。

S 1 7では、重ね画像表示手段 3 0が、重ね画像生成手段 2 9 ( S 1 7 ) から得られる重ね画像をディスプレイ 7 1などに表示して、処理を終了する。

これら S 1 1から S 1 7の処理で、第 1被写体画像、第 2被写体画像を使って、第 1の被写体と第 2の被写体を 1枚の画像上に合成し、また被写体同士の重なり具合に応じて様々な処理が行えるようになる。詳細な処理やその効果については、後で詳しく説明するとして、まず簡単な例で処理の概要を説明する。図 3 7 ( a ) は S 1 1で得る第 1被写体画像の例である。背景の手前、左側に第 1の被写体たる人物（ 1 ) が立っている。分かりやすいように人物（ 1 ) の顏部分には「 1」と記しておく。なお、今後、特にことわりなく「右側」「左側」といった場合、図上での「右側」「左側」という意味だとする。この方向は、撮影者 Zカメラから見た方向だと思えばよい。

図 3 8 ( a ) は S 1 2で得る第 2被写体画像の例である。背景の手前、右側に第 2の被写体たる人物（ 2 ) が立っている。分かりやすいように人物（ 2 ) の顔部分には「 2」と記しておく。

図 3 8 ( c ) は、図 3 7 ( a ) の第 1被写体画像と図 3 8 ( a ) の第 2被写体画像との間で背景捕正量を求め、第 1被写体画像を基準面像として、その背景補正量を用いて第 2被写体画像を補正した画像である。捕正された画像は実線の枠で囲われた範囲であり、補正のされ方が分かるように、元の図 3 8 ( a ) の第 2被写体画像と図 3 7 ( a ) の第 1 被写体画像の範囲を図 3 8 ( c ) 上に点線の枠で示してある。図 3 8 ( a ) の背景は、図 3 7 ( a ) の背景の少し左上側の風景を撮影して得られている。このため、図 3 8 ( a ) の第 2被写体画像を図 3 7 ( a ) 5 の第 1被写体画像の背景と重なるよ 'うに捕正するには、図 3 8 ( a ) の少し右下側の風景を選択する必要がある。従って、図 3 8 ( c ) は、図 3 8 ( a ) より少し右下側の風景となるように補正されている。元の図 3 8 ( a ) の範囲は点線で示されている。図 3 8 ( a ) より右下側の風景の画像は存在しないので、図 3 8 ( c ) では右端の点線から右にはみ 0 出した部分、および下端の点線から下にはみ出した部分が空白となっている。逆に図 3 8 ( a ) の左上側の部分は切り捨てられている。

ここでは拡大縮小や回転などの補正はなく、単なる平行移動だけの補正結果になっている。すなわち S 1 3で得られる背景補正量は、ここでは実線の枠と点線の枠のずれが示す平行移動量となる。

L5 図 3 9 ( a ) は、 S 1 4で、図 3 7 ( a ) の第 1被写体画像と図 3 8

( c ) の補正された第 2被写体画像との間で生成した差分画像である。差分画像では差分量 0の部分（すなわち、背景の一致部分）は黒い領域で示されている。差分がある部分は、被写体の領域内とノイズ部分であり、被写体の領域部分は背景部分と被写体部分の画像が重なり合った妙 !0 な画像になっている。（なお、補正によってどちらかの画像しか画素が存在しない領域（例えば図 3 8 ( c ) の右下側に位置する実線と点線の間の逆 L字領域）は差分の対象からは外し、差分量は 0 としている）。

S 1 6の重なりに関する処理は様々な処理方法があるが、この例では重なりは検出されないので、ここでは説明を簡単にする為に特に処理は行わないことにしておく。

図 4 0 ( a ) は、後述する図 4 9 ( d ) に示す第 2被写体領域に相当する部分の画像を、図 3 7 ( a ) の第 1被写体画像（基準画像）に重ねて（上書きして）生成した画像である。図 3 7 ( a ) と図 3 8 ( a ) の別々に写っていた被写体が同じ画像上に重なりなく並んでいる。重ね方に関しても、様々な処理方法があるので、後で詳しく説明する。図 4 0 ( a ) の画像が重ね画像表示手段 3 0上に合成画像として表示される。これによつて、別々に撮影された被写体を同時に撮影したかのような画像を合成できるようになる効果が出てくる。

以上の説明により、処理の概要を一通り説明したが、 S 1 5で被写体領域同士で重なりがある場合の S 1 6の処理例の概要について説明していないので、以降、簡単に触れておく。

図 4 1は、図 3 8 ( a ) とは別の第 2被写体画像の例である。図 3 8 ( a ) と比べると、第 2の被写体が同一の背景に対して少し左に位置している。なお、第 1被写体画像は図 3 7 ( a ) と同じものを使うとする図 4 2 ( c ) は、第 1被写体領域と第 2被写体領域との合わさった領域を示している。図中の領域 2 0 2が第 1被写体領域と第 2被写体領域とで構成されている。ここでは、同じ背景に対する第 1、第 2の被写体の各位置の関係で、第 1被写体領域と第 2被写体領域とに重なりが生じたため、領域 2 0 2が結合された領域として示されている。

図 4 3は、 S 1 6で重なりがある場合に S 1 7で生成される重ね画像の一例を示した図である。領域 2 0 2は、第 1被写体領域と第 2被写体領域とが結合された 1つの領域として扱われるので、一括して半透明に表示されている。また、重ね画像に上書きして、第 1の被写体と第 2の 03 008510

1 3 1

被写体が重なっていることを示すメッセージが表示されている。

この重ね画像（含むメッセージ）を表示することで、第 1の被写体と第 2の被写体が重なっていることが、ユーザや被写体に分かりやすくなるという効果が出てくる。

以上の説明により、 S 1 5で被写体領域同士で重なりがある場合の S 1 6の処理例の概要について説明した。

なお、これを典型的な利用シーン例で考えると、まず図 3 7 ( a ) のような第 1 の被写体をカメラ（画像合成装置）で撮影し、記録する。次に同じ背景で図 3 8 ( a ) のような第 2の被写体を撮影する。なお、第 1の被写体と第 2の被写体の撮影は、第 1の被写体と第 2の被写体が交互に行うことで、第 3者がいなくても二人だけでも撮影が可能である。同じ背景で撮影する為にはカメラは動かさない方が良いが、背景にあわせて補正するので、三脚などで固定までしなくても、手で大体同じ位置で同じ方向を向いて撮影すれば良い。なお、被写体の位置関係は図 3 7 ( a ) 、図 3 8 ( a ) のような左右だけでなく、任意の位置関係でよい。

そして、 2つの画像を撮影した後、 S 1 3から S 1 7の処理を行い、図 4 0 ( a ) や図 4 3のような表示（や後で説明する警告/通知など）を行う。

もし、被写体が重なっているなどの表示や通知がある場合、再度、 S 1 1から S 1 7の処理を繰り返してもよい。すなわち第 1被写体画像、第 2被写体画像を撮影し、重ね画像を生成、表示などする。表示される処理結果に満足がいくまで何度でも繰り返せば良い。

しかし、第 2の被写体が位置を移動する場合などは、第 1の被写体は必ずしも撮りなおさなくてもよく、第 2の被写体だけ撮り直せば済むこともある。その場合は、 S 1 2から S 1 7を繰り返せばよい。

この場合、 S 1 2の第 2被写体画像取得から S 1 7の表示までを自動的に繰り返せば、すなわち第 2被写体画像取得をシャッターポタンを押さずに動画を撮影するように連続的に取得し、処理、表示も含めて繰り返すようにすれば、カメラや第 2の被写体の移動などに追従してリアルタイムに処理結果が確認できることになる。従って、第 2の被写体の移動位置が適切かどうか（重なっていないかどう力をリアルタイムに知ることができ、重なりが無い合成結果を得る為の第 2の被写体の撮影が容易になるという利点が出てくる。

なお、この繰り返し処理を開始するには、メニューなどから処理開始を選択するなどして、専用モードに入る必要がある。適切な移動位置になったらシャッターボタンを押すことで、第 2被写体画像を決定して (記録し）、この繰り返し処理 Z専用モードを終了させればよい（終了といっても、最後の合成結果を得る S 1 7までは処理を続けてもよい） , また、第 1被写体画像が良くない場合、例えば、背景の真中に第 1 の被写体が位置し、第 2の被写体をどう配置しても第 1の被写体に重なつてしまうか、重ならないようにすると第 2の被写体が重ね画像からフレームアウトしてしまうような場合、 S 1 1 の第 1被写体画像の取得からやり直しても良い。

以降では、上で説明した処理の詳細を説明する。

図 4 4は、図 3 6の S 1 2の処理、すなわち第 2被写体画像を取得する処理の一方法を説明するフローチヤ一ト図である。

p 2 0を経た S 1 2— 1では、第 2被写体画像取得手段 2 3が、第 2 被写体画像を取得し、 S 1 2— 2へ処理が進む。ここでの処理は、図 3 6の S 1 1の第 1被写体画像の取得と取得方法自体は同様である。

S 1 2— 2では、同手段 2 3が、自動シャッター手段 3 3から画像を記録するように指示があるかどうかを判断し、指示があれば S 1 2 - 3 へ処理が進み、指示がなければ P 3 0へ抜ける。

S 1 2— 3では、同手段 2 3が、 S 1 2— 1で取得した第 2被写体画像を主記憶 7 4、外部記憶 7 5などに記録して、 P 3 0へ処理が抜ける。以上の S 1 2— 1力、ら S 1 2— 3の処理で、図 3 6の S 1 2の処理が行われる。

なお、自動シャツター手段 3 3以外であっても、撮影者によつて手動でシャッターボタンが押されたり、セルフタイマーでシャッターが切られた場合などにも撮影画像を記録してもよいが、それは S 1 1、 S 1 2 一 1の処理に含まれるとする。

図 4 5は、図 3 6の S 1 3の処理、すなわち背景補正量を算出する処理の一方法を説明するフローチャート図である。

p 3 0を経た S 1 3 _ 1では、背景補正量算出手段 2 4が、第 1被写体画像をブロック領域に分割する。図 3 7 ( b ) は図 3 7 ( a ) の第 1 被写体画像をプロック領域に分割した状態を説明する説明図である。点線で区切られた矩形が各ブロック領域である。左上のブロックを「 B ( 1 , 1 ) J とし、その右が「B ( 1 , 2 ) 」、下が「： B ( 2 , 1 ) 」というように表現することにする。図 3 7 ( b ) ではスペースの都合上、例えば B ( 1 , 1 ) のプロックではプロックの左上に「 1 1」と記して難 08510

1 3 4

いる。

S I 3— 2では、第 1被写体画像のブロックが、第 2被写体画像上でマッチングする位置を、同手段 2 4が求めて、 S 1 3— 3へ処理が進む。「（ブロック）マッチング」とは、この場合、第 1被写体画像の各プロックと最もブロック内の画像が似ているブロック領域を第 2被写体画像上で探す処理である。なお、マッチングの詳細については、実施の形態 1で説明したものと同じであるので、その説明を省略する。ここでは、「参照画像」と称したブロックを定義する画像が第 1被写体画像となり、「探索画像」と称した、似ているブロックを探す相手の画像が第 2被写体画像となる。なお、背景捕正量は相対的なものなので、上記とは逆に、参照画像と探索画像を、第 2被写体画像と第 1被写体画像として良い。次に、 S 1 3— 3で、同手段 2 4が、 S 1 3 — 2で求めたマッチングブロックの中から背景部分に相当する探索ブロックだけを抜き出して、

S 1 3— 4へ処理が進む。

S 1 3 - 2で求めたマツチングブ口ックは、最も差分が少ない探索ブロックを選んだだけなので、同じ画像であることが保証されてはおらず、たまたま何かの模様などが似ているだけの場合もある。また、そもそも第 1 の被写体の為、参照ブロック自体が背景部分でなかったり、参照ブロックは背景部分だが、第 2の被写体の為、参照ブロックに相当する画像部分が第 2被写体画像上に存在しない場合もあるので、その場合はいいかげんな場所にマッチングプロックが設定されていることになる。そこで各マッチングプロックから、参照プロックと同じ画像部分ではないと判断されるものを取り除くことが必要となる。残ったマッチング 1 3 5

ブロックは参照ブロックと同じ画像部分であると判断されたものなので、結果的に第 1や第 2の被写体を除いた背景部分だけが残ることになる。

マツチングブ口ックの選別手法は色々考えられるが、ここでは最も単純な方法として、類似度 S ( x s 、 y s ) を所定の閾値で判断することにする。すなわち、各マッチングブロックの S ( X s 、 y s ) が閾値を超えていたら、そのマッチングは不正確であるとして取り除くという手法である。 S ( x s、 y s ) は、ブロックの大きさに影響されるので、閾値はブロックの大きさを考慮して決めるのが望ましい。

図 3 8 ( b ) は、図 3 8 ( a ) の第 2被写体画像の S 1 3— 2のマツチング結果から、不正確なマツチングブロックを取り除いた結果である。正しいと判断されたマッチングプロックには、対応する参照プロックと同じ番号が振ってある。これにより、被写体部分が含まれない、あるいはほとんど含まれない背景部分のマッチングブロックだけが残っているのが分かる。

しかも、残ったマッチングブロックは、第 1被写体画像と第 2被写体画像とに共通して写り込んだ同一の背景部分であると判断できる。もし、第 1被写体画像と第 2被写体画像とが共通する背景部分を全く持っていないとすると、 S 1 3— 3の処理の結果、残るマッチングプロックは 0 となる。

S 1 3— 4では、同手段 2 4が、 S 1 3— 3で得た背景部分のマッチングブロックから、第 2被写体画像の背景補正量を求めて、 p 4 0へ処理が抜ける。

なお、背景補正量として、例えば回転量 0 、拡大縮小量 R、および/ または平行移動量を求めることや、その計算方法の説明等は、既に実施の形態 1で説明しているので、ここでは説明を省略する（ S 1 3— 3で残ったマッチングブロックが 1つしか無いときや、残ったマッチングブロックが 1つも無かった場合の対応も同じである）。また、探索画像中の任意の点（χ ' , y ' ) を補正された点（X " ， y " ) に変換する変換式等（変換関数 F s rあるいは逆変換関数 F r s等）のについても同じであるので、ここでは説明を省略する。

図 3 7 ( a ) 、図 3 8 ( a ) の例では回転や拡大縮小はなく、単なる平行移動だけであるが、詳細は後で図 3 8 ( c ) で説明する。

以上の S 1 3— 1から S 1 3— 4の処理で、図 3 6の S 1 3の背景補正量算出の処理が行われる。

図 4 6は、図 3 6の S 1 4の処理、すなわち第 2被写体画像の補正画像を生成し、第 1被写体画像との差分画像を生成する処理の一方法を説明するフローチヤ一ト図である。

p 4 0を経た S 1 4— 1では、補正画像生成手段 2 5が、背景捕正量算出手段 2 4 ( S 1 3 ) で得られる補正量を使って、第 2被写体画像を第 1被写体画像に背景部分が重なるように補正した画像を生成し、 S 1 4一 2へ処理が進む。なお、ここで生成される補正された第 2被写体画像を「補正第 2被写体画像」（図 3 8 ( c ) 参照）と呼ぶことにする。補正には、変換関数 F s r あるいは逆変換関数 F r s を使えばよい。一般に、きれいな変換画像を生成する為には、変換画像（ここでは捕正第 2被写体画像）の画素位置に対応する元画像（ここでは第 2被写体画像）の画素位置を求め、その画素位置から変換画像の画素値を求める。この時、使用する変換関数は F s r になる。

また、一般に求めた元画像の画素位置は整数値とはならないので、そのままでは求めた元画像の画素位置の画素値は求められない。そこで、通常は何らかの補間を行う。例えば最も一般的な手法として、求めた元画像の画素位置の周囲の整数値の画素位置の 4画素から一次補間で求める手法がある。一次補間法に関しては、一般的な画像処理の本など（例えば、森北出版：安居院猛、中嶋正之共著「画像情報処理」の P 5 4 ) に載っているので、ここでは詳しい説明を省略する。

図 3 8 ( c ) は、図 3 8 ( a ) の第 2被写体画像と図 3 7 ( a ) の第 1被写体画像とから、第 2被写体画像が第 1被写体画像の背景部分に重なるように生成した補正第 2被写体画像の例である。この例での捕正は平行移動だけである。補正の様子が分かるように、図 3 8 ( a ) の第 2 被写体画像の範囲を点線で示してある。図 3 8 ( a ) の第 2被写体画像よりフレーム枠全体が少し右下に移動している。

補正の結果、対応する第 2被写体画像が存在しない部分が出てくる。例えば、図 3 8 ( c ) の右端の点線と実線の間の部分は、図 3 8 ( a ) の第 2被写体画像には存在しない部分なので、抜けている。これは、下の道路を示す水平線が右端までいかずに途切れているのでも分かる。その部分は、 S 1 4— 2で説明するマスク画像を使って除外するので適当な画素値のままとしておいても問題はない。

なお、図 4 7 ( a ) は補正に回転が必要な場合の第 2被写体画像の例である。第 1被写体画像は、図 3 7 ( a ) と同じとする。画面全体が図 3 8 ( a ) と比べて少し左回りに回転している。

図 4 7 ( b ) は、図 4 7 ( a ) の第 2被写体画像と図 3 7 ( a ) の第 1被写体画像とでプロックマツチングを行った結果である。ブロックは回転などがあっても、回転量やブロックの大きさがそれほど大きくなければ、ブロック内での画像変化は少ないので、回転に追従して正確なマツチングがある程度可能である。

図 4 7 ( c ) は、図 4 7 ( b ) のブロックマツチング結果をもとに背景補正量を算出し、補正した第 2被写体画像である。図 3 7 ( a ) の第 1被写体画像と背景部分が重なるようになり、回転が補正されているのが分かる。補正の様子がわかるように、図 4 7 ( a ) の画像枠を点線で示してある。

S 1 4 _ 2では、補正画像生成手段 2 5が、補正第 2被写体画像のマスク画像を生成して、 S 1 4— 3へ処理が進む。

マスク画像は、補正画像を生成する際、補正画像上の各画素に対応するオリジナル画像上の画素位置が先に説明した式で求められるが、その画素位置がオリジナル画像の範囲に収まっているかどうかで判断して、収まっていればマスク部分として補正画像上の対応する画素の画素値を例えば 0 (黒）にし、収まっていなければ例えば 2 5 5 (白）にすればよい。マスク部分の画素値は 0、 2 5 5に限らず自由に決めてよいが、以降では、 0 (黒）、 2 5 5 (白）で説明する。

図 3 8 ( d ) は、図 3 8 ( c ) のマスク画像の例である。実線のフレーム枠中の黒く塗りつぶされた範囲がマスク部分である。このマスク部分は、補正された画像中でオリジナルの画像（補正前の画像）が画素を持っている範囲を示している。従って、図 3 8 ( d ) では、対応する第 2被写体画像が存在しない右下端部分がマスク部分とはなっておらず、白くなつている。

S 1 4— 3では、差分画像生成手段 2 6が、第 1被写体画像と、捕正画像生成手段 2 5 ( S 1 4 - 1 ) から得られる補正第 2被写体画像とそのマスク画像とを用いて、第 1被写体画像と補正第 2被写体画像との差' 分画像を生成して S 1 4一 4へ処理が進む。

差分画像を生成するには、ある点（x、 y ) のマスク画像上の点の画素値が 0かどうかを見る。 0 (黒）ならば補正第 2被写体画像上に補正された画素が存在するはずなので、差分画像上の点（x、 y ) の画素値 P d ( X、 y ) は、

P d ( x、 y ) = I P 1 ( x、 y ) — P f 2 ( x、 y ) |

より、第 1被写体画像上の画素値 P 1 ( x、 y ) と補正第 2被写体画像上の画素値 P f 2 ( x、 y ) の差の絶対値とする。

ある点（x、 y ) のマスク画像上の点の画素値が 0 (黒）でないならば、

P d ( X、 y ) = 0

とする。

図 3 9 ( a ) は、図 3 7 ( a ) の第 1被写体画像と図 3 8 ( c ) の捕正第 2被写体画像、図 3 8 ( d ) のマスク画像から生成された差分画像の例である。人物（ 1 ) と人物（ 2 ) の領域以外の所は背景が一致している、あるいはマスク範囲外として差分が 0 となる。この結果、主に人物（ 1 ) の領域と人物（ 2 ) の領域内がそれぞれ、人物（ 1 ) の画像と背景の画像、人物（ 2 ) の画像と背景の画像が交じり合ったような画像となっている。

通常、 S 1 3での補正量の算出の誤差や、捕正画像生成の補間処理などの誤差、背景部分の画像自体の撮影時間の差による微妙な変化などによって、人物（ 1 ) の領域と人物（ 2 ) の領域以外にも小さな差分部分は出てくる。通常は数画素程度の大きさで、差もあまり大きくないことが多い。図 3 9 ( a ) でも人物（ 1 ) の領域と人物（ 2 ) の領域の周辺に白い部分がいくつか出てきている。

一方、図 4 7 ( b ) の場合のマスク画像は図 4 7 ( d ) のようになる _c なお、拡大縮小や回転の補正量がある場合でも、 S 1 4— 1、 S 1 4— 2で補正やマスク画像生成を行ってしまえば、後の処理は手順としては変わりないので、以降の説明では、第 2被写体画像は図 4 7 ( a ) は使わず、図 3 8 ( a ) のものを使う。

以上の S 1 4— 1から S 1 4— 3の処理で、図 3 6の S 1 4の差分画像生成の処理が行える。

図 4 8は、図 3 6の S 1 5の処理、すなわち被写体領域を抽出する処理の一方法を説明するフローチャート図である。

p 5 0を経た S 1 5— 1では、被写体領域抽出手段 2 7が、差分画像生成手段 2 6 ( S 1 5 ) から得られる差分画像から、「ラベリング画像」（「ラベリング画像」の意味は実施の形態 1にて説明ずみである）を生成して、 S 1 5— 2へ処理が進む。

まず準備として、差分画像から 2値画像を生成する。 2値画像の生成方法も色々考えられるが、例えば、差分画像中の各画素値を所定の閾値と比較して、閾値より大きければ黒、以下ならば白、などとしてやればよい。差分画像が R, G, Bの画素値からなる場合は、 R, G, Bの画素値を足した値と閾値を比較すればよい。

図 3 9 ( b ) は、図 3 9 ( a ) の差分画像から生成した 2値画像の例である。黒い領域が領域 1 1 0から 1 1 6の 7つ存在し、大きな人型の領域 1 1 2、 1 1 3以外は小さな領域である。

次に、生成した 2値画像からラベリング画像を生成する。 2値画像とラベリング画像とは、 2値か多値かの違いなので、ラベリング画像例は図 3 9 ( b ) で説明する。図 3 9 ( b ) の領域 1 1 0力ら 1 1 6の番号の後に「 1 1 0 ( 1 ) 」などと括弧書きで番号がついているが、これが各領域のラベリング値である。これ以外の領域はラベリング値 0が振られているとする。

なお、ラベリング画像図 3 9 ( b ) は、紙面上で多値画像を図示するのが難しいので 2値画像のように示してあるが、実際はラベリング値による多値画像になっているので、表示する必要はないが実際に画像として表示した場合は図 3 9 ( b ) とは異なる見え方をする。

S 1 5 _ 2では、被写体領域抽出手段 2 7が、 S 1 5— 1で得られるラベリング画像中の「ノイズ」的な領域を除去して、 S 1 5— 3へ処理が進む。「ノイズ」とは目的のデータ以外の部分を一般に指し、ここでは人型の領域以外の領域を指す。

ノイズ除去にも様々な方法があるが、簡単な方法として、例えばある閾値以下の面積のラベル領域は除くという方法がある。これには、まず各ラベル領域の面積を求める。面積を求めるには、全画素を走査し、ある特定のラベリング値を持つ画素がいくつ存在するか数えればよい。全ラベリング値について面積（画素数）を求めたら、それらの内、所定の閾値以下の面積（画素数）のラベル領域は除去する。除去処理は、具体的には、そのラベル領域をラベリング値 0にしてしまう力、新たなラベリング画像を作成し、そこにノイズ以外のラベル領域をコピーする、でもよい。図 3 9 ( c ) は、図 3 9 ( b ) のラベリング画像からノイズ除去した結果である。人型の領域 1 1 2、 1 1 3以外はノイズとして除去されてしまっている。 .

なお、被写体以外のラベル領域を除去するノィズ除去処理の完全自動化が難しいなら、例えば、どの領域が被写体領域であるかを、タブレツトゃマウスなどの入力手段を使ってユーザに指定してもらう方法も考えられる。指定方法も、被写体領域の輪郭まで指定してもらう方法と、輪郭はラベリング画像の各ラベル領域の輪郭を使い、どのラベル領域が被写体領域であるかどうかを指定してもらう方法などが考えられる。

また、図 3 9 ( b ) ではたまたま一人の領域がうまく一つのラベル領域となっているが、画像によっては、一人の被写体であっても複数のラベル領域に分かれてしまうことがある。例えば、被写体領域中の真中辺りの画素が、背景と似たような色や明るさの画素の場合、差分画像中のその部分の画素値が小さいので、被写体領域の真中辺りが背景と認識されてしまい、被写体領域が上下や左右に分断されて抽出されてしまうことがある。その場合、後の被写体の重なり検出や合成処理などでうまく処理できない場合が出てくる可能性がある。

そこで、既に実施の形態 1 にて説明したように、ラベリング画像のラベル領域を膨張させて、距離的に近いラベル領域を同じラベル領域として統合してしまう処理を入れるという方法もある。さらに、領域を抽出する手法の 1つである「スネーク」を統合に利用する方法も考えられる。

また、距離的に近いラベル領域の統合に使わなくても、第 1、第 2の被写体領域同士に重なりがあることを見逃す危険性を減らすことに使う為に、抽出した被写体領域を一定量膨張させるという方法もある。なお、ここでは、膨張や統合は特に行わない処理例で説明している。

S 1 5— 3では、重なり検出手段 2 8が、 S 1 5— 2で得られるノィズ除去されたラベリング画像から被写体同士の重なりがあるかどうかを検出し、重なりが検出されなければ S 1 5— 4へ進み、重なりが検出されれば S 1 5— 5 へ進む。

重なりの検出方法には様々な方法が考えられるが、ここでは簡単に求められる方法として、撮影 Z合成したい被写体の数と、ノイズ除去されたラベリング画像中の被写体の領域数とを使う方法について説明する。

まず、撮影/合成したい被写体の数は予めプログラムや外部記憶、ュ一ザ入力などによって指定されているとする。例えば、カメラに「 2集団撮影モード」（被写体数 2 ) 、「 3集団撮影モード」（被写体数 3 ) などのモード設定があり、これをユーザが設定する。

なお、ここでは「被写体の数」は領域として一塊になっている人物などの数である。例えば、第 1 の被写体、第 2の被写体としてそれぞれ 1 人ずつならば、被写体の数は 2 となる。第 1の被写体は 1人として、もし、第 2の被写体が 2人の場合、その 2人がくっつきあって写る場合は、一塊の領域となっているので、第 2の被写体を 1 とし、被写体の数は合計 2 となるが、 2人が距離を空けて離れている場合は、一塊の領域となつていないので、第 2の被写体を 2 とし、被写体の数は合計 3 となる。被写体の領域数は、ノィズ除去されたラベリング画像中の異なるラベル値の領域数を数えればよい（ラベリング値 0の部分は除く）。

そこで、重なり検出手段 2 8は、得られた撮影/合成したい被写体の数と、ノィズ除去されたラベリング画像中の被写体の領域数とがー致するかどうかを見て、一致するならば被写体同士が重なっていないと判断 0

1 4 4 ' し、一致しない場合は被写体同士が重なっていると判断する。この重なり検出手段 2 8による判断の原理は次の通りである。説明を簡単にする為、ここでは撮影/合成したい被写体の数は 2 とする。もし被写体同士が重なっていないならば、当然、第 1の被写体の領域と第 2の被写体の領域は分離しているはずである。従って、被写体同士が重なっていない場合、ノィズ除去した後の被写体の領域の数は 2 となるはずである。

もし被写体同士が重なっているのならば、第 1の被写体の領域と第 2 の被写体の領域は重なっている部分で統合されるため、分離していないはずである。従って、被写体同士が重なっている場合、ノイズ除去した後の被写体の領域の数は 1 となるはずである。

撮影/合成したい被写体の数が 3でも同様の考え方で、もし被写体同士が重なっていないならば、それぞれの領域は分離されているので、ノィズ除去した後の被写体の領域の数は 3 となるはずである。もし被写体同士が重なっているのならば、 3つの被写体の領域の少なくともいずれか一組は重なっている部分で統合されるため、分離していないはずである。従って、被写体同士が重なっている場合、ノィズ除去した後の被写体の領域の数は 1あるいは 2 となるはずである。図 3 7 ( a ) 、図 3 8 ( a ) ではそれぞれ被写体となる人物が 1人なので、撮影 Z合成したい被写体の数は 2で設定されているとする。図 3 9 ( c ) では、領域の数は、人型の領域 1 1 2、 1 1 3の 2つなので、得られた撮影/合成したい被写体の数と、ノイズ除去されたラベリング画像中の被写体の镇域数とがー致する。従って、この場合、重なり検出手段 2 8は被写体同士が重なっていないと判断する。 08510

1 4 5

重なりがある例として、第 2被写体画像の図 4 1 を使う場合を考える。第 1被写体画像は図 3 7 ( a ) をそのまま使う。これらから生成された差分画像が図 4 2 ( a ) である。図 4 2 ( a ) では、被写体同士が重なつてしまい、重なった腕の部分は、第 1の被写体と第 2の被写体の画像が交じり合った画像となり、それ以外の被写体の部分は、第 1の被写体と背景部分、第 2の被写体と背景部分の画像が交じり合った画像となつている。図 4 2 ( a ) のラベリング画像が図 4 2 ( b ) であり、図 4 2 ( b ) からノイズ除去を施したものが図 4 2 ( c ) である。図 4 2 ( c ) では、第 1の被写体と第 2の被写体の領域は腕の部分で結合されてしまっているので、 1塊の領域 2 0 2 しか残らない。この場合、ノィズ除去されたラベリング画像中の被写体の領域数は 1 となるので、撮影/合成したい被写体の数と一致せず、重なりがあると判断されることになる。なお、重なり検出の方法として、第 1の被写体と第 2の被写体の輪郭を正確に求めて、その輪郭同士が重なっているかどうかで判断する方法もある。輪郭が正確に求まるのならば、重なりの検出を行うことも可能であり、さらに重なり領域を使った表示、重なり回避などの様々な処理を行うことも可能である。しかし、被写体の領域を画像処理だけで完全に正確に抽出することは一般に難しく、人間の知識や人工知能的な高度な処理が一般に必要とされる。領域を抽出する手法の 1つである「スネーク」などもあるが、完璧ではない。なお、第 1被写体画像おょぴ第 2被写体画像に加えて、各被写体画像と少なくとも一部共通する背景部分が写っていて被写体は写つていない背景画像を利用するのであれば、重なりの有無にかかわらず、 P T脑 03/008510

1 4 6

被写体の領域を抽出することができる。これに対し、第 1被写体画像と第 2被写体画像からだけで、重なりがあるかもしれない被写体の輪郭を正確に抽出するのは難しい。従って、ここでは上述した簡単な方法で重なりの有無だけを検出することにする。

S 1 5— 4では、被写体領域抽出手段 2 7が、ノィズ除去されたラベリング画像中の被写体の領域について、どちらが第 1被写体領域で、どちらが補正第 2被写体領域なのかを判断して、 p 6 0へ抜ける。上述の背景画像を用いる方法では、背景画像と第 1被写体画像との差分画像、背景画像と第 2被写体画像との差分画像を使っているので、被写体領域はそれぞれ抽出できる。抽出された被写体領域は、それぞれ第 1被写体領域と第 2被写体領域となる。つまり、第 1被写体領域と第 2 被写体領域とは独立して抽出できる。

しかし、本発明では背景画像を使わないので、第 1被写体画像と第 2 被写体画像との差分画像からは、第 1被写体の領域と第 2被写体領域は独立して抽出できず、第 1被写体領域と第 2被写体領域とが混ざった形でしか抽出できない。つまり、図 3 9 ( c ) のようなノイズ除去されたラベリング画像からは、被写体領域 1 1 2、 1 1 3が 2つ得られるだけで、 2つの領域 1 1 2、 1 1 3のうち、どちらが第 1被写体領域でどちらが第 2被写体領域なのかは、これだけでは被写体領域抽出手段 2 7が判断できない。

どちらが第 1被写体領域か第 2被写体領域か判断できないというのは、見方を変えると、第 1、第 2の被写体の画像か背景部分の画像かを被写体領域抽出手段 2 7が判断できない、ということでもある。例えば、第 1被写体画像（図 3 7 ( a ) ) と第 2被写体画像（図 3 8 ( a ) ) から、図 3 9 ( c ) の領域 1 1 2、 1 1 3に相当する範囲をそれぞれ抜き出したのが図 4 9 ( a ) 〜（ d ) である。すなわち、図 4 9 ( a ) は、第 1被写体画像の領域 1 1 2の範囲、図 4 9 ( b ) は、第 2 5 被写体画像の領域 1 1 2の範囲、図 4 9 ( c ) は、第 1被写体画像の領域 1 1 3の範囲、図 4 9 ( d ) は、第 2被写体画像の領域 1 1 3の範囲である。

背景部分以外は、第 1被写体画像中には第 1 の被写体だけ、第 2被写体画像中には第 2の被写体だけが写っていることが前提なので、実際に L0 は、「図 4 9 ( a ) が第 1の被写体の画像で図 4 9 ( d ) が第 2の被写体の画像」、あるいは「図 4 9 ( b ) が第 1 の被写体の画像で図 4 9 ( c ) が第 2の被写体の画像」のどちらかが正しいことなる。従って、第 1被写体領域と第 2被写体領域を区別するには、図 4 9 ( a ) 、（ d ) と図 4 9 ( b ) 、 ( c ) のどちらが被写体範囲の画像か L5 を識別すればよい。

どちらが被写体範囲の画像かを識別するには様々な方法が考えられるが、例えば、被写体や背景の特徴が予めわかっているのならば、それを利用して区別する方法がある。

例えば、被写体が人物であることが分かっているのならば、被写体範 !0 囲の画像には肌色が多く含まれている可能性が高い。従って、肌色が多く含まれる方を被写体範囲の画像とすればよい。

色の認識の仕方にも様々な方法があるが、例えば、図 3 6の R、 G、 Bの画素値から、色相 H、彩度 S、明度 I を求め、主に色相 Hを使って認識する方法がある。色相 H、彩度 S、明度 I の求め方には各種方式があり、一般的な画像処理の本など（例えば、東京大学出版会、 1 9 9 1 年発行「画像解析ハンドブック」 P 4 8 5〜 4 9 1 ) に载つているので、ここでは詳細は省略するが、例えば同書籍中の「H S I 6角錐カラーモデルによる変換」方法では、色相 Hは 0から 2 πの値域を持つ。

具体的には、被写体領域抽出手段 2 7が標準となる肌色の Ηの範囲を決める。次に、同手段 2 7が図 4 9 ( a ) 〜（ d ) の領域の各画素の H を求め、標準となる肌色の Hの範囲に入っていれば、肌色としてカウントする。続いて、同手段 2 7が図 4 9 ( a ) 、 ( d ) の肌色のカウント数と、図 4 9 ( b ) 、 ( c ) の肌色のカウント数のどちらが多いか比較し、多い方が被写体範囲の画像とすればよい。

特徴量を使って、どちらが被写体範囲の画像かを識別する方法として、肌色を使う以外にも、例えば、周囲の背景部分と似ているかどうかで識別する方法がある。

この場合、まず、被写体領域抽出手段 2 7が被写体領域中の特徴量 (後述）を第 1被写体画像、第 2被写体画像で求める。次に、同手段 2 7が被写体領域の周囲の領域（例えば周囲 2 0 ドットなど）の特徴量を求める。被写体領域の周囲は背景部分であり、背景部分は重なるように補正しているので、これは片方だけでも良い場合もある。そして、同手段 2 7が、背景部分の特徴量と近い特徴量をもつ方を背景部分の画像、近くない方を被写体領域の画像と判断すればよい。

上記の特徴量としては、上述したような R、 G、 Bの画素値や、色相 H、彩度 S、明度 I の他にも、テクスチャなども利用可能である。テクスチヤを特徴量として求める方法は様々考案されているが、例えば、明度 I のヒストグラムなどがある。これは、ある領域中の画素に対して、全体の和が 1 . 0 となるように正規化された明度 I のヒストグラム P ( i ) 、（ i = 0、 1 、 · · · -、 n — 1 ) 、を取り、平均、分散（ σ 0 2 ) 、歪度 T s、尖度 T kを、被写体領域抽出手段 2 7が以下の式によつて求める。なお、（X 0 Y) は、 Xの Y乗を意味する。

n一 1

∑ X Ρ ( i )

0

n - 1

σ ί 2 = ∑ ( ( ) Φ 2 ) X Ρ ( i )

0

η - 1

Τ s = (∑ ( ( ) ø 3 ) X Ρ ( i ) ) ( σ ø 3 )

= 0

η

Τ k = (∑ ( ( β ) 4 ) X Ρ ( i ) ) ( σ ø 4 )

0

以上の 4つの値を特徴量として使う。

特徴量としては、その他にも、同時生起行列や差分統計量、ランレンダス行列、パワースぺクトル、それらの第 2次統計量、高次統計量を使う方法などがあるが、一般的な画像処理の本など（例えば、東京大学出版会、 1 9 9 1年発行「画像解析ハンドブック」 Ρ 5 1 7〜 5 3 8 ) に載っているので、ここでは詳細は省略する。

これにより、図 4 9の場合、図 4 9 ( a ) 、（ d ) が、被写体領域抽出手段 2 7によって被写体範囲の画像と判断されたとする。すると、領域 1 1 2が第 1被写体領域、領域 1 1 3が第 2被写体領域となる。

なお、ここでの処理は、 S 1 5— 3で被写体同士の重なりが無い場合に実行される処理なので、図 3 9 ( c ) のように第 1の被写体と第 2の被写体が完全に分離した状態になっているはずである。図 4 2 ( c ) のように、第 1の被写体と第 2の被写体が統合した状態にはなっていないはずである。

S 1 5— 5では、 S 1 5 _ 3で、撮影 Z合成したい被写体の数と、ノィズ除去されたラベリング画像中の被写体の領域数とが一致しなかったため、被写体領域抽出手段 2 7が、ノィズ除去されたラベリング画像中の被写体の領域を、第 1被写体領域と第 2被写体領域が統合された領域 (以降、「被写体統合領域」と呼ぶ）と定めて、 p 6 0へ処理が抜ける ( この場合、被写体領域抽出手段 2 7によって第 1被写体領域と第 2被写体領域を独立して抽出することはあきらめ、統合された領域として処理する。なお、上述したように、第 1の被写体と第 2の被写体の輪郭を正確に求められる場合は、 S 1 5— 3や S 1 5— 5の処理を行わず、 S 1 5 _ 4の処理を行えばよレヽ。

以上の S 1 5— 1から S 1 5— 5の処理で、図 3 6の S 1 5の被写体領域抽出処理が行われる。

図 5 0は、図 3 6の S 1 6の処理、すなわち重なりに関する処理の一方法を説明するフローチャート図である。重なりに関する別の処理方法に関しては、後で図 5 1、 2 3を使って説明する。

p 6 0を経た S 1 6— 1では、重なり警告手段 3 1において、重なり検出手段 2 8 ( S 1 5 ) から得られる重なりがあるかどうかの情報から重なりがある場合は S 1 6 A— 2へ処理が進み、無い場合は p 7 ◦へ抜ける。

S 1 6 A— 2では、重なり警告手段 3 1が、第 1の被写体と第 2の被写体に重なりがあることをユーザ（撮影者）あるいは被写体あるいはその両方に警告して、 p 7 0へ抜ける。

警告の通知の仕方としては色々考えられる。

例えば、合成画像を利用して通知する場合、重なりのある被写体領域を目立つように合成画像に重ねて表示すればよい。図 4 3はこれを説明する例である。

図 4 3では、図 4 2 ( c ) の領域 2 0 2、すなわち第 1 の被写体と第 2の被写体の重なり合った領域が、合成画像上に重ねて半透明で表示されている。領域 2 0 2の部分を赤などの目立つ色のフィルタをかける (領域 2 0 2に色セロハンを当てるイメージ）とさらに良い。あるいは. 領域 2 0 2の領域やその枠を点滅させて表示させても良い。これらの合成方法については、後で図 5 3で説明する。

図 4 3では、さらに文字で警告を行っている例である。図 4 3の上の方に合成画像に重ねて警告ウィンドウを出し、その中で「被写体が重なつています！」というメッセージを表示している。これも目立つような配色にしたり、点滅させたりしてもよい。

合成画像に対する上書きは、重なり警告手段 3 1の指示により、重ね画像生成手段 2 9で行っても良いし、重ね画像表示手段 3 0で行っても良い。警告ウインドゥを点滅などさせる場合は元の合成画像を残しておく必要があるかもしれないので、重ね画像表示手段 3 0に対して、例えば主記憶 7 4または外部記憶 7 5から警告ウィンドゥのデータを間歇的に読み出して与える等して行った方がよい場合が多い。 T JP2003/008510

1 5 2

これらの警告表示を図 3 5 ( a ) のモニター 1 4 1上に表示すれば、撮影しながら重なり状態を確認、することができて、撮影に便利である。この時、撮影者は被写体 (人物 ( 2 ) ) に対して、「重なっているからもっと右の方に動いてくれ」などと、次に撮影した画像を第 2被写体画像などとして使う場合に、重なり状態を解消するような指示を行うことができるという利点がある。なお、次に撮影した画像を第 2被写体画像などとして使う場合とは、ユーザがメニューゃシャッターボタンで第 2被写体画像の記録（メモリ書き込み）を指示する場合か、先に説明したように、第 2被写体画像を動画的に撮影し補正重ね画像をほぼリアルタイムに表示する繰り返し処理の専用モードになっている場合などが考えられる。また、図 3 5 ( a ) のモニタ一 1 4 1は撮影者の方を向いているが、被写体の方にモニターを向けることができる装置ならば、重なり状態を被写体も確認することができ、撮影者に指示されなくても、被写体が自発的に重なりを解消するように動くこともできるようになる。モニター

1 4 1 とは別のモニターを用意して、それを被写体が見られるようにするのでもよレ、。また、先に専用モードとして説明したように図 3 6 の S 1 3から S 1 7の処理を繰り返すのならば、現在の重なり状態がほぼリアルタイムで分かるので、被写体の移動によつて重なりが解消できたかどうかがほぼリアルタイムで分かり、撮影が便利で効率よくできる。図 3 6の S 1 3 から S 1 7の処理は、充分速い C P Uやロジック回路などを使えば、それほど時間は必要ない。実使用上は、 1秒に 1回程度以上の速さの繰り返し処理を実現できれば、ほぼリアルタイムの表示と言って良い。なお、 S 1 4で補正画像を生成する際、第 1被写体画像を基準画像にすると、合成画像も第 1被写体画像がベースとなる。モニター 1 4 1 に写る背景の範囲は第 1被写体画像の背景の範囲となる。上述したリアルタイムに繰り返し処理を行う場合、カメラを振ると撮影される背景の範囲が変わるが、撮影される画像は第 2被写体画像であって、第 1被写体画像ではない。従って、モニタ一 1 4 1 に写る背景の範囲は、第 1被写体画像の背景の範囲のまま変わらない。このため、撮影している範囲がモニター 1 4 1 に写らないノ反映されないというのは、ユーザにとって違和感がある。

これに対し、第 2被写体画像を基準画像にすると、モニター 1 4 1 に写る背景の範囲は第 2被写体画像の背景の範囲となる。上述したリアルタイムに繰り返し処理を行う場合、カメラを振ると撮影される背景の範囲が変わり、撮影される画像は第 2被写体画像（基準画像）なので、モ二ター 1 4 1 に写る背景の範囲は、撮影中の背景の範囲となる。これにより、撮影している範囲がモニター 1 4 1 に写る Z反映されるので、ュ一ザにとつて違和感が少ないという効果が出てくる。

また、重なり合った被写体領域を合成画像と重ねて表示した結果、重なり具合と合成画像のフレーム枠との関係を見て、被写体がどう動いても重なりが生じたり、 -被写体がフレームァゥトしてしまうとユーザが判断できれば、もう一度、第 1被写体画像の撮影からやり直した方が良いという判断を行うこともできるようになる。

また、警告の通知の仕方として、図 3 5 ( a ) のランプ 1 4 2を点燈あるいは点滅させることで知らせることもできる。警告なので、ランプの色は赤やオレンジなどの色にしておくと分かりやすい。ランプの点滅などは一般にモニタ一 1 4 1に撮影者が注目していなくても気づきやすいとレヽぅ利点がある。

また、図 4 3のように被写体の重ね画像を表示せず、重なりがあることだけを、警告メッセージやランプで知らせてもよい。この場合、どのくらい重なっているかはすぐには分からないが、重なりがあるかないかだけ分かれば、後は被写体が移動するなどして警告通知が無くなるかどうかを見ていれば重なりの無い合成画像を得るという目的は達せられる。従って、警告メッセージやランプで重なりがあることを知らせるだけにすることにより、重なり部分を表示させる処理が省けるという利点が出てくる。

また、図 3 5 ( a ) ではランプ 1 4 2を撮影者側のみ見られるような配置にしているが、もちろん、被写体側からも分かるように、図 3 5 ( b ) の本体 1 4 0の前面側につけてもよい。効果については、モニタ一を被写体が見られる場合と同様である。

また、図 3 5 ( a ) にはないが、モニター 1 4 1 とは別にファインダ一のような画像を確認できる別の手段がある場合、そちらにモニター 1 4 1 と同じ警告通知を表示したり、フアインダー内部にランプを組み込んでおき、通知する方法も考えられる。

また、図 3 5 ( a ) 、図 3 5 ( b ) では示していないが、図 3 4 のスピ一力 8 0を使って警告通知を行っても良い。重なりがある場合に警告ブザーを鳴らしたり、「重なっています」などの音声を出力したりなどして、警告通知を行う。この場合にもランプと同様の効果が期待できる。スピーカを使う場合、光と違って指向性があまりないので、一つのスピ一力で撮影者も被写体も両方重なり状態を知ることができるという利点がある。

以上の S 1 6— 1から S 1 6 A— 2の処理で、図 3 6の S 1 6の重なりに関する処理が行える。

図 5 1 は、図 3 6の S 1 6の処理、すなわち重なりに関する処理の別の一方法を説明するフローチャート図である。

p 6 0を経た S 1 6— 1では、シャッターチャンス通知手段 3 2が、重なり検出手段 2 8 ( S 1 5 ) から得られる情報に基づいて重なりがあるかどうかを判断し、重なりがある場合は p 7 0へ処理が抜け、無い場合は S 1 6 B— 2へ処理が進む。

S 1 6 B— 2では、シャッターチャンス通知手段 3 2が、第 1 の被写体と第 2の被写体に重なりがないことをユーザ（撮影者）あるいは被写体あるいはその両方に通知して、 p 7 0へ抜ける。

この通知は、実際には、重なりが無いことを通知するというより、重なりがないことによる副次的な操作、具体的には第 2被写体を記録するシャッターチャンスであることを通知するような使われ方が最も一般的である。その場合、その通知は、主に撮影者に対するものとなる。

シャッターチャンスの通知方法に関しては、図 5 0で説明したような方法がほぼそのまま使える。例えば、図 4 3のメッセージを「シャツタ一チャンスです！」などと変えるなどすればよい。その他、ランプ、スピー力についても、色や出力する音の内容などは多少変わるが、通知手法としては同様に利用できる。

シャッターチヤンスであることが分かれば、撮影者はシャッターを切ることで被写体同士に重なりのない状態で撮影/記録することができ、また、被写体もシャッターを切られるかもしれない準備（例えば目線の方向や顔の表情など）を行うことができるという利点が出てくる。

以上の S 1 6— 1 力ら S 1 6 B— 2の処理で、図 3 6の S 1 6の重なりに関する処理が行える。

図 5 2は、図 3 6の S 1 6の処理、すなわち重なりに関する処理のさらに別の一方法を説明するフローチャート図である。

p 6 0を経た S 1 6 _ 1では、自動シャツター手段 3 3が、重なり検出手段 2 8 ( S 1 5 ) から得られる情報に基づいて重なりがあるかどうかを判断し、重なりがある場合は P 7 0へ処理が抜け、無い場合は S 1 6 C - 2へ処理が進む。

S 1 6 C— 2では、自動シャッター手段 3 3が、シャッターボタンが押されているかどうかを判断し、押されていれば S 1 6 C— 3へ進み、押されていなければ p 7 0へ抜ける。

S 1 6 C— 3では、自動シャツター手段 3 3が、第 2被写体画像の記録を第 2被写体画像取得手段 2 3へ指示して、 p 7 0へ処理が抜ける。第 2被写体画像取得手段 2 3は、指示に従い、撮影画像を主記憶 7 4、外部記憶 7 5などに記録する。

これによつて、被写体同士が重なっていない時にシャッターポタンが押されていれば、自動的に撮影画像を記録することができるようになるという効果が出てくる。同時に、誤って重なっている状態で撮影画像を記録してしまうことを防ぐ効果も出てくる。

実際の使われ方としては、被写体の様子などを見て、今なら撮影画像を記録しても良いと思ったら撮影者がシャッターポタンを押すが、その時点で必ずしも記録される訳ではなく、重なりがある場合は記録されない。すなわち、自動シャッター手段 3 3が、重なりがあると判断した場合には、撮影者がシャッターボタンを押しても第 2被写体画像取得手段 2 3による記録動作が行われないように、第 2被写体画像の記録を禁止する。

なお、記録されない場合は、その旨を表示やランプ、スピーカなどの 5 通知手段で撮影者などに知らせた方が、シャッターを押したが撮影されてないことが分かってよい。

そして、被写体が動くなどして、重なりがない状態になった時に、再度シャッターボタンが押されれば、今度は記録される。記録されたことが分かるように、表示やランプ、スピーカなどの通知手段で撮影者など L 0 に知らせるとよい。

シャッターボタンを毎度押すのではなく、押しっぱなしにするならば重なっている状態から重なりがなくなった瞬間に自動的に記録されることになる。但し、重なりがなくなった瞬間だとまだ被写体が静止しておらず撮影画像がぶれてしまったり、被写体が撮影される状態（被写体が .5 他所を向いている時など）になっていない場合があるので、その場合は自動的に記録するまでに少し時間をあけると良い。

以上の S 1 6— 1力、ら S 1 6 C— 3の処理で、図 3 6の S 1 6の重なりに関する処理が行える。

なお、図 5 0〜 2 3の処理は必ずしも排他的な処理ではなく、任意に :0 組み合わせて処理することも可能である。組み合わせの例として、次のような利用シーンが可能となる。

『被写体同士が重なっている時は「重なっています」と警告がなされ. この時にシャッターポタンを押しても撮影画像は記録されない。警告に応じて被写体が動き、重なりがなくなったらシャッターチヤンスランプ o

1 5 8

が点燈する。シャッターチヤンスランプが点燈している間にシャッターボタンを押したら撮影画像が記録される。』

次に、図 5 3は、図 3 6の S 1 7の処理、すなわち重ね画像を生成する処理の一方法を説明するフローチヤ一ト図である。

p 7 0を経た S 1 7— 1では、重ね画像生成手段 2 9が、生成する重ね画像の最初の画素位置を力レント画素に設定して S 1 7— 2 へ処理が進む。最初の画素位置は、例えば左上などの隅から始まることが多い。なお、「画素位置」は、画像上の特定の位置を表し、左上隅を原点、右方向を + X軸、下方向を + Y軸とした X— Y座標系で表現されることが多い。画素位置は、画像を表すメモリ上のアドレスに対応し、画素値はそのァドレスのメモリの値である。

S 1 7— 2では、重ね画像生成手段 2 9が、カレント画素位置は存在するかどうかを判断し、存在するならば S 1 7— 3 へ処理が進み、存在しないならば！） 8 0 へ抜ける。

L 5 S 1 7 - 3では、重ね画像生成手段 2 9が、カレント画素位置が被写体統合領域内かどうかを判断し、被写体統合領域内ならば S 1 7— 4 へ処理が進み、そうでないならば S 1 7 - 5へ処理が進む。被写体統合領域内かどうかは、重なり検出手段 2 8 ( S 1 5 - 5 ) で被写体統合領域が得られ、かつ、被写体統合領域画像中のカレント画素位置が黒（ 0 ) かどうかで判断できる。

S 1 7 - 4では、重ね画像生成手段 2 9が、設定に応じた合成画素を生成して、重ね画像のカレント画素位置の画素値として書き込む。

設定とは、つまりどのような合成画像を合成するかということである例えば、図 4 0 ( b ) のように第 1の被写体を半透明で合成するのか、図 4 0 ( a ) のように不透明で第 1の被写体をそのまま上書きで合成するのか、図 4 3のように第 1の被写体も第 2の被写体も半透明で合成するのか、などである。ここでは、被写体統合領域内を扱っているので、実質的には、その領域の合成割合（透過率）に関する設定となる。

合成割合（透過率）が決まれば、第 1被写体画像のカレント画素位置の画素値 P 1 と補正画像生成手段 2 5 ( S 1 4 ) から得られる補正第 2 被写体画像の力レント画素位置の画素値 P f 2を得て、所定の透過率 A ( 0. 0力ら 1 . 0の間の値）で合成画素値（P 1 X ( 1 - A) + P f 2 X A) を求めればよい。

例えば図 4 3のような被写体統合領域内を半透明とするには、透過率 Aを 0. 5 とすればよい。

S 1 7— 5では、 S 1 7— 3でカレント画素が被写体統合領域に属さないと判断された場合に、重ね画像生成手段 2 9が、カレント画素位置が第 1被写体領域内かどうかを判断し、第 1被写体領域内ならば S 1 7 一 6へ処理が進み、そうでないならば S 1 7— 7へ処理が進む。

第 1被写体領域内かどうかは、被写体領域抽出手段 2 7 ( S 1 5 ) から得られる第 1被写体領域画像を使い、カレント画素 ί立置が黒（ 0 ) かどうかで判断できる。なお、被写体統合領域が存在する場合は、第 1被写体領域は存在しないことが分かっているので、第 1被写体領域内かどうか判断せずに（ S 1 7— 5を省略）、直接、 S 1 7— 7へ処理を進めてもよい。

なお、第 1被写体領域であるかどうかで特に処理を変えない場合は、 S 1 7 - 5 , S 1 7— 6は省いて、 S 1 7— 3力ら S 1 7— 7へ進めばよい。 S 1 7 _ 6では、重ね画像生成手段 2 9が、設定に応じた合成画素を生成して、重ね画像のカレント画素位置の画素値として書き込む。ここでの処理は、被写体統合領域（画像）が第 1被写体領域（画像）に変わるだけで、 S 1 7— 4と同様である。

図 4 0 ( b ) のように第 1の被写体を半透明で合成するのなら、第 1 の被写体の透過率を 0. 5 とすればよく、図 4 0 ( a ) のように不透明で第 1の被写体をそのまま上書きで合成するのならば、第 1の被写体の透過率を 0. 0 とすればよい。

S 1 7— 7では、 S 1 7— 5でカレント画素が第 1被写体領域にも属さないと判断された場合に、重ね画像生成手段 2 9が、カレント画素位置が第 2被写体領域内かどうかを判断し、第 2被写体領域内ならば S 1 7— 8へ進み、そうでないならば S 1 7— 9へ処理が進む。ここでの処理は、第 1被写体領域が第 2被写体領域に変わるだけで、 S 1 7— 5 と同様である。

S 1 7— 8では、重ね画像生成手段 2 9が、設定に応じた合成画素を生成して、重ね画像のカレント画素位置の画素値として書き込む。ここでの処理は、第 1被写体領域が第 2被写体領域に変わるだけで、 S 1 7 — 6 と同様である。

S 1 7— 9では、 S 1 7— 7でカレント画素が第 2被写体領域にも属さないと判断された場合に、重ね画像生成手段 2 9が、第 1被写体画像 (基準画像）の力レント画素位置の画素値を重ね画像の力レント画素位置の画素値として書き込む。すなわち、この場合のカレント画素位置は被写体統合領域内でも第 1被写体領域内でも第 2被写体領域内でもないので、結局、背景部分に相当する。 S 1 7— 1 0では、重ね画像生成手段 2 9が、カレント画素位置を次の画素位置に設定して、 S 1 7— 2へ処理が戻る。

以上の S 1 7— 1力ら S 1 7 - 1 0の処理で、図 3 6の S 1 7の重ね画像生成に関する処理が行われる。

なお、上記の処理では S 1 7— 4や S 1 7— 6、 S 1 7— 9で第 1被写体画像や補正第 2被写体画像を処理しているが、生成する重ね画像に、 S 1 7 - 1の前に最初に、第 1被写体画像または補正第 2被写体画像を全画素コピーしてしまい、その後、各画素位置の処理で第 1被写体領域および/または第 2被写体領域だけを処理する方法も考えられる。全画素コピーの方が処理手順は単純になるが、処理時間は若干増えるかもしれない。

なお、ここでは合成画像の大きさを基準画像の大きさにしているが、これより小さくしたり、大きくしたりすることも可能である。例えば図3 8 ( c ) で補正画像を生成する際、一部を切り捨ててしまっていたが、補正画像の大きさを大きくして切り捨てないようにすれば、合成画像を大きくする時のために、切り捨てずに残した画像を合成に使い、それによって背景を広げることも可能となる。いわゆるパノラマ画像合成のようなことが可能となる効果が出てくる。

図 4 0 ( b ) は、第 1被写体領域だけを半透明に合成した重ね画像である。図 4 0 ( c ) は、第 2被写体領域だけを半透明に合成した重ね画像である。図 4 0 ( a ) は、両方とも半透明にはせず、どちらも上書きして生成した重ね画像である。また、図 4 3は、両方とも半透明にして合成した重ね画像である。

例えば、第 1被写体画像を既に撮影/記録してあり、第 2被写体画像を重なり無く撮影する場合などのためには、第 1の被写体の詳細な画像は必要なく、第 1 の被写体が大体どの辺に存在し、第 2の被写体と重なりがあるかどうかが分かればよいので、半透明の合成で構わない。また, • 第 2の被写体は、撮影する瞬間にどういう表情をしているとかの詳細が分からないとうまくシャッターを切れないので、半透明ではなく上書きで合成する方が良い。従って、図 4 0 ( b ) のような合成方法が向いてレヽる。

また、既に説明したように、合成画像の背景の範囲が撮影.中の画像

(第 2被写体）の背景の範囲となる方が違和感が少ないなら、第 2被写体画像を基準画像にして、かつ、第 2の被写体を撮影中であることが分かり易いように図 4 0 ( b ) のように合成する方が向いている。

また、合成する被写体の領域が分かった方が撮りやすいというユーザにとつては、撮影中は両者を半透明で合成した方が良い場合や、第 2の被写体だけを半透明にした方が良い場合もあるかもしれない。

また、第 2の被写体の撮影記録が済んで、第 1被写体画像、第 2被写体画像を使って、最終的な合成画像を作成したい場合は、半透明な被写体では困るので、どちらも上書きで合成する必要がある。従って、図 4 0 ( a ) のような合成方法が向いている。

また、被写体領域抽出手段 2 7 ( S 1 5 ) から得られる被写体領域が. 前述したように既に膨張されていれば、被写体だけでなく、その周囲の背景部分も一緒に合成してしまうが、既に補正画像生成手段 2 5 ( S 1 4 ) で背景部分は一致するように捕正処理されているので、実際の被写体の輪郭の領域よりも多少、抽出する被写体領域が大きめになって背景部分まで含んでしまっていても、合成境界で不自然になることはないという効果が出てくる。

これにより、もし合成境界付近で補正誤差による多少の背景のずれがあつたとしても、不自然さを目立たなくすることができるという効果が出てくる。補正誤差でなく、そもそも被写体領域の抽出が間違っている場合や、撮影時間のずれなどに起因する背景部分の画像の変化（例えば. 風で木が動いた、日が陰った、関係無い人が通った、など）があったとしても、同様に、不自然さを目立たなくすることができるという効果が出てくる。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。プログラムコードを供給するための記憶媒体としては、例えば、フロツビディスク，ハードディスク，光ディスク，光磁気ディスク，磁気テープ，不揮発性のメモリカード，等を用いることができる。

また、上記プログラムコードは、通信ネットワークのような伝送媒体を介して、他のコンピュータシステムから画像合成装置の主記憶 7 4または外部 f己憶 7 5へダウンロードされるものであってもよい。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプロダラムコードの指示に基づき、コンピュータ上で稼働している O S (ォペレ一ティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンビユータに挿入された機能拡張ボードゃコンピュータに接続された機能拡張ュニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードゃ機能拡張ュニットに備わる C P Uなどが実際の処理の一部または全部を行い、その処理によつて前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチヤ一トに対応するプログラムコードを格納することになる。本発明は上述した実施形態に限らず、請求の範囲に示した範囲で種々の変更が可能である。

以上のように、本発明に係る第 2の画像合成装置は、背景と第 1 の被写体とを含む画像である第 1被写体画像と、上記背景の少なくとも一部と第 2の被写体とを含む画像である第 2被写体画像との間での、背景部分の相対的な移動量、回転量、拡大縮小率、歪補正量のいずれかもしくは組み合わせからなる補正量を算出する、あるいは予め算出しておいた補正量を読み出す背景補正量算出手段と、第 1被写体画像、第 2被写体画像のどちらかを基準画像とし、他方の画像を、被写体以外の背景の部分が少なくとも一部重なるように前記背景補正量算出手段から得られる補正量で捕正し、基準画像と捕正した画像を重ねた画像を生成する重ね画像生成手段とを含んでいる。

これにより、二つの画像間の背景のずれや歪みを補正して合成することができるので、これによつて、被写体など明らかに異なる領域を除いた以外の部分（すなわち背景部分）は、どのように重ねても合成結果がほぼ一致し、合成結果が不自然とならないという効果が出てくる。例えば被写体領域だけを主に合成しようとした時、被写体領域の抽出や指定が多少不正確であっても、被写体領域の周りの背景部分が合成先の画像の部分とずれがないので、不正確な領域の内外が連続した風景として合成され、見た目の不自然さを軽減するという効果が出てくる。

また、これにより、たとえ被写体領域の抽出が画素単位で正確であつたとしても、課題の項で説明した通り、 1画素より細かいレベルでの不自然さは従来技術の方法では出てしまうが、本発明では、背景部分のずれゃ歪みを無くしてから合成しているので、輪郭の画素の周囲の画素は. 同じ背景部分の位置の画素となり、合成してもほぼ自然なつながりとなる。このように、 1画素より細かいレベルでの不自然さを防ぐ、あるレヽは軽減するという効果が出てくる。

また、本発明に係る第 2の画像合成装置は、被写体や風景を撮像する撮像手段をさらに含み、第 1被写体画像または第 2被写体画像は、前記撮像手段の出力に基づいて生成される構成とすることもできる。

上記の構成によれば、重ね画像を生成する画像合成装置が、撮像手段を具備することで、ユーザが被写体や風景を撮影したその場で、重ね画像を生成することができるため、ユーザにとっての利便性が向上する。また、重ね画像を生成した結果、もし被写体同士の重なりがあるなどの不都合があれば、その場で撮影し直すことができるという効果が出てくる。

なお、撮像手段から得られる画像は、通常、画像合成装置に内蔵されているか否かを問わない主記憶や外部記憶などに記録し、シャッターボタンなどを利用して記録するタイミングをユーザが指示する。そして、記録された画像を第 1被写体画像、または第 2被写体画像として、合成処理に利用することになる。

また、本発明に係る第 2の画像合成装置は、第 1被写体画像と第 2被写体画像のうち、後に撮影した方を基準画像とする構成とすることもできる。

上記の構成によれば、例えば、第 1被写体画像、第 2被写体画像の順に撮影したとすると、第 2被写体画像を基準画像にする。そして、第 2 被写体画像を基準画像として、第 1被写体画像を捕正する。この際、第 2被写体画像（基準画像）と第 1被写体画像の間で、背景部分の移動量などの補正量を算出し、その補正量を使って第 1被写体画像の補正を行う。第 2被写体画像（基準画像）、補正された第 1被写体画像を使って、合成画像を合成する。そして合成画像の表示などを行う。

この結果、表示される合成画像は、直前に撮影したばかりの、あるいは合成画像をリアルタイム表示する形態では現在撮影中の第 2被写体画像の背景の範囲となるので、撮影者にとっては違和感が無いという効果が出てくる。 '

もし第 1被写体画像を基準画像とすると、合成画像の背景の範囲は、第 1被写体画像の背景の範囲となる。第 1被写体画像の背景の範囲は、カメラの方向などが変わっていて、先ほど撮影した第 2被写体画像の背景の範囲と変わっているかもしれず、撮影者が変わることもある。その場合、後で撮影した背景の範囲と、表示される合成画像の背景の範囲とがー致しないので、撮影者などにとって違和感が出てくる。

さらに、上記の第 2被写体画像の撮影から合成画像の表示をリアルタィムに繰り返すとすると、第 2被写体画像を撮影画像に更新し続けているにも関わらず、合成画像の背景の範囲は第 1被写体の背景の範囲のままなので、この違和感は一層増幅される。

本発明に係る第 2の画像合成装置は、前記重ね画像生成手段が、基準画像と補正した画像とを、それぞれ所定の透過率で重ねる構成とすることもできる。

上記の構成において、「所定の透過率」は、固定された値でもよいし、領域に応じて変化させる値や、領域の境界付近で徐々に変化させる値などでもよレ、

前記重ね画像生成手段は、重ね画像の画素位置を決め、基準画像上の画素位置の画素値と補正した他の画像上の画素位置の画素値とを得て、その二つの画素値を所定の透過率によつて掛け合わせた値を重ね画像の画素値とする。この処理を重ね画像の全ての画素位置で行う。

また、透過率を画素位置によって変えれば、場所によって基準画像の割合を強くしたり、補正画像の割合を強くしたりできる。

これを使って、例えば、補正画像中の被写体領域だけを基準画像に重ねる時、被写体領域内は不透明（すなわち補正画像中の被写体の画像そのまま）で重ね、被写体領域周辺は被写体領域から離れるに従い基準画像の割合が強くなるように重ねる。すると、被写体領域、すなわち抽出した被写体の輪郭が間違っていたとしても、その周辺の画素は、補正画像から基準画像に徐々に変わっているので、間違いが目立たなくなるという効果が出てくる。

また、例えば被写体領域だけを半分の透過度で重ねる、などの合成表示をすることで、表示されている画像のどの部分が以前に撮影した合成対象部分で、どの部分が今撮影している画像なのかをユーザや被写体が判別しゃすくなるという効果も出てくる。

つまり、背景部分が重なるような位置合わせを機械に行わせることで. 人間の高度な画像理解能力を使って、被写体領域同士が重なっているかどうかを判断し易い状況を作り出しているといえる。このように、被写体領域を半分の透過度で重ねて表示することで、被写体同士の重なりなどがある場合も、今撮影している被写体の位置を判別しやすくなるという効果も'出てくる。

本発明に係る第 2の画像合成装置は、前記重ね画像生成手段が、 .基準画像と補正した画像の間の差分画像中の差のある領域を、元の画素値と異なる画素値の画像として生成する構成とすることもできる。

ここで、「差分画像」とは、二つの画像中の同じ位置の画素値を比較して、その差の値を画素値として作成する画像のことである。一般には差の値は絶対値をとることが多い。

これによつて、二つの画像間で一致しない部分がユーザに分かりやすくなるという効果が出てくる。例えば、第 1や第 2の被写体の領域は、基準画像上と補正画像上では、片方は被写体の画像、他方は背景部分の画像となるので、差分画像中の差のある領域として抽出される。抽出された領域を半透明にしたり、反転表示したり、目立つような色の画素値とすることで、被写体の領域がユーザに分かりやすくなるという効果が出てくる。

なお、ここで記載した構成を、前記した各構成と、必要に応じて任意に組み合わせてもよレ、。

本発明に係る第 2の画像合成装置は、基準画像と補正した画像の間の差分画像中から、第 1の被写体の領域と第 2の被写体の領域を抽出する被写体領域抽出手段をさらに含み、前記重ね画像生成手段が、基準画像と補正した画像とを重ねる代わりに、基準画像または補正した画像と前記被写体領域抽出手段から得られる領域内の画像とを重ねる構成とすることもできる。

これによつて、基準画像上に、捕正された被写体画像中の被写体領域のみを合成することできるという効果が出てくる。あるいは、捕正され o

た被写体画像上に、基準画像中の被写体領域のみを合成することができるということもできる。

また、重ね画像生成手段における被写体領域の透過率を変える処理と組み合わせることで、どの領域を合成しょうとしているかがユーザに分かり易く、もし被写体同士に重なりなどがあれば、それもさらに分かり易くなるという効果が出てくる。さらに、それによつて、重なりが起きないように撮影を補助することができるという効果が出てくる。重なりがある場合は、被写体やカメラを動かすなどして、重なりの無い状態で撮影し直すのが良い訳だが、この場合の補助とは、例えば、重なりが起きるかどうかをユーザに認識し易くすることや、どのくらい被写体や力メラを動かせば重なりが解消できそうかを、ユーザが判断する材料（ここでは合成画像）を与えること、などになる。

ί 5 本発明に係る第 2の画像合成装置は、前記被写体領域抽出手段が、第 1被写体画像中あるいは補正された第 1被写体画像中から第 1の被写体の領域内の画像おょぴ第 2の被写体の領域内の画像を抽出すると共に、第 2被写体画像中あるいは補正された第 2被写体画像中から第 1の被写体の領域内の画像おょぴ第 2の被写体の領域内の画像を抽出し、さらに皮膚色を基準として第 1の被写体の画像および第 2の被写体の画像を選別する構成とすることもできる。

上記の構成において、被写体領域抽出手段は、差分画像から抽出した被写体領域が、第 1の被写体の領域あるいは第 2の被写体の領域であることは分かるが、個々の被写体の領域が、第 1の被写体の領域なのか第 2の被写体の領域なのかは分からない。言い方を変えれば、その領域が示している被写体の画像は、第 1被写体画像中に存在するのか、あるいは第 2被写体画像中に存在するのか分からない、ということになる。そこで、被写体が人物であることが分かっているならば、個々の領域中の画素の色を、第 1被写体画像（基準画像）と補正された第 2被写体画像、または第 2被写体画像（基準画像）と補正された第 1被写体画像とでそれぞれ調べる。この場合、いずれにしても、基準画像と補正された画像とのそれぞれについて、被写体領域抽出手段が第 1の被写体の領域内の画像おょぴ第 2の被写体の領域内の画像を抽出するから、合計 4 つの画像部分が抽出されることになる。

この抽出した 4つの画像部分の中には、第 1の被写体の画像部分、第 2の被写体の形をした背景部分、第 1の被写体の形をした背景部分、第 2の被写体の画像部分とが含まれている。そこで、皮膚色を基準にすることで、皮膚色またはそれに近い色を持つ第 1の被写体および第 2の被写体の各画像部分を選り分けることができる。

これによって、抽出した画像部分がどちらの被写体であるかを自動的に簡単に判別できる効果が出てくる。

本発明に係る第 2の画像合成装置は、前記被写体領域抽出手段が、第 1被写体画像中あるいは補正された第 1被写体画像中から第 1の被写体の領域内の画像および第 2の被写体の領域内の画像を抽出すると共に、第 2被写体画像中あるいは補正された第 2被写体画像中から第 1の被写体の領域内の画像および第 2の被写体の領域内の画像を抽出し、さらにその各領域外の画像の特徴を基準として第 1の被写体の画像および第 2 の被写体の画像を選別する構成とすることもできる。上記の構成において、被写体領域抽出手段が 4つの画像部分を抽出する点は、前述のとおりである。但し、第 1の被写体および第 2の被写体の各画像部分を選り分ける基準として、前記のように皮膚色を使うのではなく、各領域外の画像の特徴を使う。

ここで、「特徴」とは、着目した領域の画像の持つ性質、属性などであり、特徴量として数値化して表現できる性質が好ましい。特徴量としては、例えば、各色の画素値や、その色相、彩度、明度のほか、画像の模様や構造を表す統計量として、同時生起行列や差分統計量、ランレンダス行列、パワースぺクトル、それらの第 2次統計量、高次統計量などがある。

個々の領域中、すなわち抽出した画像部分の特徴量を、基準画像と捕正された画像とでそれぞれ求める。またその領域の周囲の領域の特徴量も、基準画像と捕正された画像とでそれぞれ求める。領域中の特徴量とその周囲の領域の特徴量の差を、第 1被写体画像と第 2被写体画像で比較し、差が大きい方を被写体領域の画像とする。

本発明に係る第 2の画像合成装置は、前記被写体領域抽出手段から得られる第 1の被写体あるいは第 2の被写体の領域の数が、合成する被写体の数として設定された値と一致しない時に、第 1の被写体の領域と第 2の被写体の領域が重なっていると判断する重なり検出手段をさらに含んでいる構成とすることもできる。

上記の構成において、「第 1の被写体あるいは第 2の被写体の領域」とは、差分画像などから抽出される被写体の領域で、第 1の被写体の領域かあるレヽは第 2の被写体の領域かの区別がついていなくてもよい領域である。

「合成する被写体」とは、合成処理の過程で求められる被写体のことではなく、実際に存在する被写体のことであり、ユーザが合成しようとしている被写体のことである。但し、上述した通り、合成の処理の単位としてまとめて扱うものは一つの「被写体」なので、 1つの被写体が複数の人物であることもありえる。

また、被写体の数は画像合成装置に固定的に設定しておく形態でもよいが、使い勝手としては、重なり検出手段が重なり検出を行う以前に、撮影者等のユーザの指示に基づいて画像合成装置に設定される形態とすることが好ましい。

差分画像から被写体領域抽出手段によって抽出された被写体領域は、被写体同士が重なっていなければ、互いに分離しており、被写体同士が重なっていれば、第 1の被写体の領域と第 2の被写体の領域とは、連続した領域として一塊に統合されている。従って、抽出された被写体の領域の数と被写体の数（設定値）とを重なり検出手段が比較し、一致すれば被写体同士の重なりは無く、一致しなければ重なりがあると判断する _t その判断結果は、重なりの有無を合成画面やランプなどで撮影者や被写体に通知、警告するのに利用することができる。

これによつて、被写体同士が重なり合つている部分があるかどうかをユーザに判別させやすくすることができるという効果が出てくる。それによって、重なりが起きないように撮影を補助する効果については、前述したものと同様である。

本発明に係る第 2の画像合成装置は、前記重なり検出手段において重なりが検出される時、重なりが存在することを、ユーザあるいは被写体あるいは両方に警告する重なり警告手段をさらに含んでいる構成とすることもできる。

ここで、「警告」には、表示手段などに文字や画像で警告することも含まれるし、ランプなどによる光やスピーカなどによる音声、バイブレータなどによる振動など、ユーザや被写体が感知できる方法ならば何でも含まれる。

本発明に係る第 2の画像合成装置は、前記重なり検出手段において重なりが検出されない時、重なりが存在しないことを、ユーザあるいは被写体あるいは両方に通知するシャッターチヤンス通知手段をさらに含んでいる構成とすることもできる。

これによつて、被写体同士が重なり合つていない時をユーザが知ることができるので、撮影や撮影画像記録、合成のタイミングをそれに合わせて行えば、被写体同士が重ならずに合成することができるという撮影補助の効果が出てくる。

また、被写体にも、シャッターチャンスであることを通知できるので. ポーズや視線などの備えを即座に行えるという撮影補助の効果も得られる。

本発明に係る第 2の画像合成装置は、被写体や風景を撮像する撮像手段と、前記重なり検出手段で重なりが検出されない時に、前記撮像手段から得られる画像を第 1被写体画像、または第 2被写体画像として記録する指示を生成する自動シャッター手段とをさらに含んでいる構成とすることもできる。

上記の構成において、撮影画像を第 1被写体画像、第 2被写体画像として記録するというのは、例えば、主記憶や外部記憶に記録するなどで実現される。したがって、自動シャッター手段は、第 1の被写体の領域と第 2の被写体の領域とに重なりが無いという信号を重なり検出手段から入力したときに、主記憶や外部記憶に対する記録制御処理の指示を出力する。

そして、背景補正量算出手段や重ね画像生成手段は、主記憶や外部記憶に記録されている画像を読み込むことで、第 1被写体画像、第 2被写体画像を得ることができるようになる。

なお、自動シャッター手段が自動的に指示を出しても、即座に画像が記録されるとは限らない。例えば、同時にシャッターボタンも押されていると力自動記録モードになっているなどの状態でないと記録されないようにしてもよレヽ。

これによって、被写体同士が重なり合っていない時に自動的に撮影が行われるので、ユーザ自身が重なりがあるかどうかを判別してシャツタ一を押さなくても良いという撮影補助の効果が出てくる。

本発明に係る第 2の画像合成装置は、被写体や風景を撮像する撮像手段と、前記重なり検出手段で重なりが検出される時に、前記撮像手段から得られる画像を、第 1被写体画像、あるいは第 2被写体画像として記録することを禁止する指示を生成する自動シャツター手段とをさらに含んでいる構成とすることもできる。

上記の構成によれば、自動シャッター手段は、重なり検出手段から重なりがあるという信号を得たら、撮像手段から得られる画像を主記憶や外部記憶などに記録することを禁止する指示を出力する。この結果、例えば、シャッターボタンが押されたとしても、撮像手段から得られる画像は記録されない。なお、この禁止処理は、自動禁止モードになっているなどの状態でないと行われないようにしてもよい。

これによって、被写体同士が重なり合っている時は撮影が行われないので、ユーザが誤って重なりがある状態で撮影 Z記録してしまうことを防ぐ撮影補助の効果が出てくる。

本発明に係る第 2の画像合成方法は、背景と第 1の被写体とを含む画像である第 1被写体画像と、上記背景の少なくとも一部と第 2の被写体とを含む画像である第 2被写体画像との間での、背景部分の相対的な移動量、回転量、拡大縮小率、歪捕正量のいずれかもしくは組み合わせからなる補正量を算出する、あるいは予め算出しておいた捕正量を読み出す背景補正量算出ステップと、第 1被写体画像、第 2被写体画像のどちらかを基準画像とし、他方の画像を被写体以外の背景の部分が少なくとも一部重なるように前記背景補正量算出ステップから得られる補正量で補正し、基準画像と補正した画像を重ねた画像を生成する重ね画像生成ステップとを含んでいる。

これによる種々の作用効果は、前述したとおりである。

本発明に係る第 2の画像合成プログラムは、上記画像合成装置が備える各手段として、コンピュータを機能させる構成である。

本発明に係る第 2の画像合成プログラムは、上記画像合成方法が備える各ステップをコンピュータに実行させる構成である。

本発明に係る第 2の記録媒体は、上記画像合成プログラムを記録した構成である。

なお、本発明は、上述した各実施形態に限定されるものではなく、請求の範囲に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的手段に含まれる。

また、発明を実施するための最良の形態の項においてなした具体的な実施態様または実施例は、あくまでも、本発明の技術内容を明らかにするものであって、そのような具体例にのみ限定して狭義に解釈されるべきものではなく、本発明の精神と次に記載する請求の範囲内で、いろいろと変更して実施することができるものである。産業上の利用の可能性

本発明は、デジタルカメラや撮像機能を有する携帯電話、監視カメラ、 W e bカメラ、スキャナ、コピー機、 F A X、画像編集ソフト等、画像を取り込んだり、画像を加工したりする機器ゃソフト等に用いることができる。

Claims

請求の範囲

1 . 背景の画像である背景画像と、前記背景の少なくとも一部と第 1の被写体を含む画像である第 1被写体画像と、前記背景の少なくとも一部と第 2の被写体を含む画像である第 2被写体画像との間での、背景の相対的な移動量、回転量、. 拡大縮小率、歪補正量のいずれかもしくは組み合わせからなる補正量を算出する、あるいは算出して記録しておいた補正量を読み出す背景補正量算出手段と、

背景画像、第 1被写体画像、第 2被写体画像のいずれかを基準画像とし、他の 2画像を被写体以外の背景の少なくとも一部が重なるように、前記背景補正量算出手段から得られる補正量で補正し、基準画像と補正した他の 1つあるいは 2つの画像を重ねた画像を生成する重ね画像生成手段とを含む画像合成装置。

2 . 被写体や風景を撮像する撮像手段をさらに含み、背景画像、または第 1被写体画像、または第 2被写体画像は、前記撮像手段の出力に基づいて生成される請求の範囲第 1項記載の画像合成装置。

3 . 第 1被写体画像と第 2被写体画像のうち、先に撮影した方を基準画像とする請求の範囲第 2項記載の画像合成装置。

4 . 基準画像の直前あるいは直後の順で背景画像を撮影する請求の範囲第 3項記載の画像合成装置。

5 . 前記重ね画像生成手段が、基準画像と補正した他の 1つあるいは 2 つの画像とを、それぞれ所定の透過率で重ねる請求の範囲第 1項記載の画像合成装置。

6 . 前記重ね画像生成手段が、基準画像と補正した他の 1つあるいは 2 つの画像の間の差分画像中の差のある領域を、元の画素値と異なる画素値の画像として生成する請求の範囲第 1項記載の画像合成装置。

7 . 基準画像と補正した他の 1つあるいは 2つの画像の間の差分画像中から、第 1の被写体の領域と第 2の被写体の領域を抽出する被写体領域抽出手段をさらに含み、

前記重ね画像生成手段が、基準画像と補正した他の 1つあるいは 2つの画像とを重ねる代わりに、基準画像と前記被写体領域抽出手段から得られる領域内の補正した他の 1つあるいは 2つの画像とを重ねる請求の範囲第 1項記載の画像合成装置。

8 . 前記被写体領域抽出手段から得られる第 1の被写体の領域と第 2の被写体の領域の重なりを検出する重なり検出手段をさらに含む請求の範囲第 7項記載の画像合成装置。

9 . .前記重なり検出手段において重なりが検出される時、重なりが存在することを、ユーザあるいは被写体あるいは両方に警告する重なり警告手段をさらに含む請求の範囲第 8項記載の画像合成装置。

1 0 . 前記重なり検出手段において重なりが検出されない時、重なりが存在しないことを、ユーザあるいは被写体あるいは両方に通知するシャッターチヤンス通知手段をさらに含む請求の範囲第 8項記載の画像合成

1 1 . 被写体や風景を撮像する撮像手段と、

前記重なり検出手段で重なりが検出されない時に、前記撮像手段から得られる画像を背景画像、または第 1被写体画像、または第 2被写体画像として記録する指示を生成する自動シャツター手段とをさらに含む請求の範囲第 8項記載の画像合成装置。

1 2 . 被写体や風景を撮像する撮像手段と、

前記重なり検出手段で重なりが検出される時に、前記撮像手段から得られる画像を、背景画像、あるいは第 1被写体画像、あるいは第 2被写体画像として記録することを禁止する指示を生成する自動シャッター手 5 段とをさらに含む請求の範囲第 8項記載の画像合成装置。

1 3 . 前記重なり検出手段が、第 1の被写体の領域と第 2の被写体の領域とが重なり合う重なり領域を抽出する請求の範囲第 8項記載の画像合成装置。

1 4 . 前記重ね画像生成手段が、前記重なり検出手段にて抽出された重 L0 なり領域を元の画素値と異なる画素値の画像として生成する請求の範囲第 1 3項記載の画像合成装置。

1 5 . 前記重なり検出手段で重なりが検出される場合、重なりを減らす第 1の被写体または第 2の被写体の位置あるいはその位置の方向を算出する重なり回避方法算出手段と、

5 前記重なり回避方法算出手段から得られる第 1 の被写体または第 2の被写体の位置あるいはその位置の方向を、ユーザあるいは被写体あるいは両方に知らせる重なり回避方法通知手段とをさらに含む請求の範囲第 8〜第 1 4のいずれか 1項記載の画像合成装置。

1 6 . 背景の画像である背景画像と、前記背景の少なくとも一部と第 1 0 の被写体を含む画像である第 1被写体画像と、前記背景の少なくとも一部と第 2の被写体を含む画像である第 2被写体画像との間での、背景の相対的な移動量、回転量、拡大縮小率、歪補正量のいずれかもしくは組み合わせからなる補正量を算出する、あるいは算出して記録しておいた補正量を読み出す背景補正量算出ステツプと、背景画像、第 1被写体画像、第 2被写体画像のいずれかを基準画像とし、他の 2画像を被写体以外の背景の少なくとも一部が重なるように、前記背景捕正量算出ステップから得られる補正量で補正し、基準画像と補正した他の 1つあるいは 2つの画像を重ねた画像を生成する重ね画像 5 生成ステップとを含む画像合成方法。

1 7 . 背景と第 1の被写体とを含む画像である第 1被写体画像と、上記背景の少なくとも一部と第 2の被写体とを含む画像である第 2被写体画像との間での、背景部分の相対的な移動量、回転量、拡大縮小率、歪補正量のいずれかもしくは組み合わせからなる補正量を算出する、あるい

10 は予め算出しておいた補正量を読み出す背景捕正量算出手段と、

第 1被写体画像、第 2被写体画像のどちらかを基準画像とし、他方の画像を、被写体以外の背景の部分が少なくとも一部重なるように前記背景補正量算出手段から得られる捕正量で補正し、基準画像と補正した画像を重ねた画像を生成する重ね画像生成手段とを含む画像合成装置。

L5 1 8 . 被写体や風景を撮像する撮像手段をさらに含み、第 1被写体画像または第 2被写体画像は、前記撮像手段の出力に基づいて生成される請求の範囲第 1 7項記載の画像合成装置。

1 9 . 第 1被写体画像と第 2被写体画像のうち、後に撮影した方を基準画像とする請求の範囲第 1 8項記載の画像合成装置。

^0 2 0 . 前記重ね画像生成手段が、基準画像と補正した画像とを、それぞれ所定の透過率で重ねる請求の範囲第 1 7項記載の画像合成装置。

2 1 . 前記重ね画像生成手段が、基準画像と補正した画像の間の差分画像中の差のある領域を、元の画素値と異なる画素値の画像として生成する請求の範囲第 1 7項記載の画像合成装置。

2 2 . 基準画像と補正した画像の間の差分画像中から、第 1の被写体の領域と第 2の被写体の領域を抽出する被写体領域抽出手段をさらに含み. 前記重ね画像生成手段が、基準画像と補正した画像とを重ねる代わりに、基準画像または補正した画像と前記被写体領域抽出手段から得られる領域内の画像とを重ねる請求の範囲第 1 7項記載の画像合成装置。

2 3 . 前記被写体領域抽出手段が、第 1被写体画像中あるいは補正された第 1被写体画像中から第 1の被写体の領域内の画像および第 2の被写体の領域内の画像を抽出すると共に、第 2被写体画像中あるいは補正された第 2被写体画像中から第 1の被写体の領域内の画像および第 2の被写体の領域内の画像を抽出し、さらに皮膚色を基準として第 1の被写体の画像および第 2の被写体の画像を選別する請求の範囲第 2 2項記載の画像合成装置。

2 4 . 前記被写体領域抽出手段が、第 1被写体画像中あるいは補正された第 1被写体画像中から第 1の被写体の領域内の画像および第 2の被写体の領域内の画像を抽出すると共に、第 2被写体画像中あるいは補正された第 2被写体画像中から第 1の被写体の領域内の画像および第 2の被写体の領域内の画像を抽出し、さらにその各領域外の画像の特徴を基準と 'して第 1の被写体の画像および第 2の被写体の画像を選別する請求の範囲第 2 2項記載の画像合成装置。

2 5 . 前記被写体領域抽出手段から得られる第 1の被写体あるいは第 2 の被写体の領域の数が、合成する被写体の数として設定された値と一致しない時に、第 1の被写体の領域と第 2の被写体の領域が重なっていると判断する重なり検出手段をさらに含む請求の範囲第 2 2項記載の画像合成装置。

2 6 . 前記重なり検出手段において重なりが検出される時、重なりが存在することを、ユーザあるいは被写体あるいは両方に警告する重なり警告手段をさらに含む請求の範囲第 2 5項記載の画像合成装置。

2 7 . 前記重なり検出手段において重なりが検出されない時、重なりが存在しないことを、ユーザあるいは被写体あるいは両方に通知するシャッターチヤンス通知手段をさらに含む請求の範囲第 2 5項記載の画像合成装置。

2 8 . 被写体や風景を撮像する撮像手段と、

前記重なり検出手段で重なりが検出されない時に、前記撮像手段から得られる画像を第 1被写体画像、または第 2被写体画像として記録する指示を生成する自動シャツター手段とを含む請求の範囲第 2 5項記載の画像合成装置。

2 9 . 被写体や風景を撮像する撮像手段と、

前記重なり検出手段で重なりが検出される時に、前記撮像手段から得られる画像を、第 1被写体画像、あるいは第 2被写体画像とすることを禁止する自動シャッター手段とをさらに含む請求の範囲第 2 5項記載の画像合成装置。

3 0 . 背景と第 1の被写体とを含む画像である第 1被写体画像と、上記背景の少なくとも一部と第 2の被写体とを含む画像である第 2被写体画像との間での、背景部分の相対的な移動量、回転量、拡大縮小率、歪補正量のいずれかもしくは組み合わせからなる補正量を算出する、あるいは予め算出しておいた補正量を読み出す背景補正量算出ステップと、第 1被写体画像、第 2被写体画像のどちらかを基準画像とし、他方の画像を被写体以外の背景の部分が少なくとも一部重なるように前記背景補正量算出ステップから得られる補正量で補正し、基準画像と補正した面像を重ねた画像を生成する重ね画像生成ステップとを含む画像合成方法。

3 1. 請求の範囲第 1〜第 1 4、第 1 7〜第 2 9のいずれか 1項記載の画像合成装置が備える各手段として、コンピュータを機能させるための画像合成プログラム。

3 2. 請求の範囲第 1 5項記載の画像合成装置が備える各手段として、コンピュータを機能させるための画像合成プログラム。

3 3. 請求の範囲第 1 6または第 3 0記載の画像合成方法が備える各ステツプを、コンピュータに実行させるための画像合成プログラム。

3 4. 請求の範囲第 3 1項記載の画像合成プログラムを記録した記録媒体。

3 5 き害青求の範囲第 3 2項記載の画像合成プログラムを記録した記録媒体。

3 6 請求の範囲第 3 3項記載の画像合成プログラムを記録した記録媒体。