JPWO2006095779A1 - 撮影システム - Google Patents

Abstract

被写体を撮影して撮影画像を取得し、その撮影画像における背景が所望の背景に自然に置換された背景置換画像を作成することができる撮影システムを提供する。被写体を撮影して撮影画像を取得するデジタルカメラ１１と、被写体に向けて閃光を発する閃光発光装置１２と、被写体を、その被写体を挟んでデジタルカメラ１１とは反対側に位置する面からの光で照らすＥＬパネル１３０と、閃光発光装置１２およびＥＬパネル１３０によって作られる複数の撮影光条件それぞれの下でデジタルカメラ１１によって共通の被写体が撮影されて得られた複数の撮影画像を取得し、これら複数の撮影画像に基づいて、撮影画像中の被写体と背景とを区別し、その背景を別の背景に置換する背景置換装置として動作するパーソナルコンピュータ２０とを備えた。

Description

本発明は、被写体を撮影して撮影画像を取得し、その撮影画像中の背景を別の背景に置換して背景置換画像を作成する撮影システムに関する。

従来、写真館等では、背景幕を使った撮影が行なわれている。しかし、このような撮影は、十分に背景を作り出すために大きな背景幕が使われ、広い撮影スペースを必要とする。また、背景幕の交換等にも手間がかかり、結果的に撮影コストが高くなる。

そこで、もっと手軽に撮影を楽しむことができるように、従来のような大きな背景幕や広い撮影スペースが不要な、小型の撮影システムの開発が望まれている。このような小型の撮影システムでは、上記のような背景幕の替りに、何らかの仮の背景の前で撮影が行なわれることとなるため、撮影で得られた撮影画像に対して、撮影画像中の背景を、顧客が所望する背景と差替えるという背景置換処理を適用することが考えられる。

このような背景置換処理に関する技術の一例として、例えば、青色等に塗られた背景パネル等を被写体の背後に配置して撮影を行ない、その撮影で得られた撮影画像において、背景パネルの色と同色の部分と、異なる色の部分とを、それぞれ撮影画像中の背景と被写体として区別し、撮影画像中の背景に区別された部分を所望の背景に置換するクロマキー処理と呼ばれる処理が知られている。

このクロマキー処理では、撮影画像中の背景パネル上に被写体の影が写っていると、この影が、被写体と背景との区別を妨げてしまうことがある。そこで、クロマキー処理の対象となる撮影画像を撮影する際には、背景として、面発光する背景パネルを用い、背景パネル上の被写体の影が、この背景パネルが発する光で打ち消された状態で撮影を行なうという技術が提案されている（例えば、特許文献１参照。）。また、この特許文献１では、クロマキー処理において、被写体として区別された部分と所望の背景とを合成する際には、被写体として区別された部分の色調を、その所望の背景の色調に応じた色調に調整することで、その所望の背景の中に被写体が自然に溶け込んで見える合成画像を作成するという処理も提案されている。

また、例えば、屋外等といった、被写体の背後が開けた場所で、被写体に向けた照明を点灯した状態と、その照明を消灯した状態との２つの照明条件それぞれの下で撮影を行なって２つの撮影画像を取得し、これら２つの撮影画像において、互いに輝度が異なっている部分と輝度が同等な部分とを、それぞれ撮影画像中の被写体と背景として区別し、撮影画像中の背景に区別された部分を所望の背景に置換するという技術も知られている（例えば、特許文献２参照。）。
特開２０００−２２４４１０号公報（第３−１０頁、図３） 特開平１０−２１０３４０号公報（第２−３頁、図１）

上記のように撮影画像中の背景を所望の背景と置換するためには、撮影によって得た撮影画像中の被写体と背景とを良好に区別する必要がある。しかしながら、上記の特許文献１の技術や、一般的なクロマキー処理では、撮影画像中の被写体に背景パネルと同じ色の箇所があると、その箇所が背景であると誤認され、被写体の一部までが、上記の所望の背景に置換された不自然な背景置換画像ができてしまう恐れがある。

一方、上記の特許文献２の技術では、撮影画像中の輝度に基づいて被写体と背景との区別が行なわれるので、被写体に背景と同じ色の箇所があったとしてもその箇所が背景であると誤認されてしまう恐れは解消される。しかしながら、写真館等で手軽に撮影を楽しむことができるような、望ましい小型の撮影システムでは、被写体の背後に、背景パネル等の撮影機材が置かれることは避けられず、このような小型の撮影システムに特許文献２の技術を適用すると、被写体に当てた照明がこれらの撮影機材で反射されてしまう。その結果、特許文献２の技術で得られる２つの撮影画像において、被写体以外の部分でも輝度が互いに異なる可能性が生じ、背景の一部が被写体であると誤認され、背景の一部が置換から洩れた不自然な背景置換画像ができてしまう恐れがある。

また、例えば、人物が写っている撮影画像では、その人物の頭部と背景との境界において、頭髪越しに背景が見えていることがある。また、その人物が着ている服に、例えば半透明の布が使われている場合には、その人物と背景との境界において、半透明の布を通して背景が見えていることがある。このように、撮影画像における被写体と背景との境界には、被写体と背景とが区別し難い中間的な部分が含まれている場合がしばしばある。例えば、このような中間的な部分が無理に背景に区別され、所望の背景に置換されてしまうと、被写体の一部が欠けた不自然な背景置換画像が出来上がってしまう。また、このような中間的な部分が無理に被写体に区別されると、この中間的な部分に古い背景が残った不自然な背景置換画像が出来上がってしまう。

本発明は、上記事情に鑑み、被写体を撮影して撮影画像を取得し、その撮影画像における背景が所望の背景に自然に置換された背景置換画像を作成することができる撮影システムを提供することを目的とする。

上記目的を達成する本発明の第１の撮影システムは、被写体を撮影して撮影画像を取得する撮影装置と、
上記被写体に向けて閃光を発する閃光発光装置と、
上記被写体を、その被写体を挟んで上記撮影装置とは反対側に位置する面からの光で照らす照明装置と、
上記閃光発光装置および上記照明装置によって作られる複数の撮影光条件それぞれの下で上記撮影装置によって共通の被写体が撮影されて得られた複数の撮影画像を取得し、その撮影画像に基づいて、撮影画像中の被写体と背景とを区別し、その背景を別の背景に置換する背景置換装置とを備えたことを特徴とする。

上述した背景置換画像を作成するためには、その背景置換画像の元になる、被写体が写っている撮影画像が必要である。しかし、そのような撮影画像は、被写体がきれいに写ることに主眼が置かれた撮影光条件の下で撮影されたものであるため、その撮影画像中の被写体と背景とを、その撮影画像自体に基づいて互いに誤認することなく区別することが困難であることが多い。そこで、観賞者にとって自然に見える背景置換画像を作成するためには、被写体がきれいに写っている撮影画像を含む、互いに異なる複数の撮影光条件それぞれの下で撮影された複数の撮影画像がある方が望ましい。また、複数の撮影光条件は、それぞれ、例えば順光状態あるいは逆光状態等といった極端な条件であることが望ましい。

本発明の第１の撮影システムによれば、上記閃光発光装置と上記照明装置との２つの光源によって、例えば、被写体を撮影装置側から照らす順光状態や、被写体を撮影装置とは反対側から照らす逆光状態等といった様々な極端な撮影光条件を容易に作り出すことができる。つまり、本発明の第１の撮影システムによれば、観賞者にとって自然に見える背景置換画像を作成するために有効な複数の撮影画像を容易に得ることができ、それらの撮影画像を用いて、背景が所望の背景に自然に置換された背景置換画像を作成することができる。

ここで、本発明の第１の撮影システムにおいて、「上記撮影装置が、上記被写体を、所定時間内に複数回撮影することで上記複数の撮影画像を得るものである」という形態は好ましい形態である。

本発明の第１の撮影システムでは、上記の複数の撮影画像において、被写体の位置やポーズが互いに異なってしまっては、撮影画像中の被写体と背景との区別が困難となってしまう。上記の好ましい形態の撮影システムによれば、静物以外の、例えば人物や動物等といった撮影中に動いてしまう可能性のある被写体について、所定時間内に複数回撮影する、つまり連写することにより、被写体の位置やポーズが同一の複数の撮影画像を得ることができる。

また、本発明の第１の撮影システムにおいて、「上記照明装置が、可撓性の発光シートで上記被写体を照らすものである」という形態も好ましい形態である。

このような発光シートは、被写体の背景として設置することが容易なので、このような発光シートを用いれば、本発明の第１の撮影システムを容易に構築することができる。

また、本発明の第１の撮影システムにおいて、「上記照明装置が、上記被写体を挟んで上記撮影装置とは反対側からその被写体の下側まで延びた発光シートで、その被写体を照らすものである」という形態も好ましい。

この好ましい形態の撮影システムによれば、被写体を、背後から下側に至る広い範囲から照らすことができるので、被写体全体を捉えた撮影画像についてもその被写体と背景とを区別し背景を置換することができる。

また、本発明の第１の撮影システムは、「上記照明装置が、分散型エレクトロルミネセンス素子で上記被写体を照らすものである」という形態であっても良い。

上記分散型エレクトロルミネセンス素子は、可撓性でシート形状の発光体であり、上記照明装置の光源として非常に適している。

また、本発明の第１の撮影システムにおいて、「上記照明装置が、上記面の範囲を示すマーカを有するものである」という形態も好ましい形態である。

この好ましい形態の撮影システムによれば、撮影画像中のマーカに基づいて、撮影装置と被写体との位置関係によって生じる、撮影画像の形状の歪みを補正することができる。また、撮影画像中のマーカが示す範囲内の画像のみを有効な画像として取り出すというような画像処理を行なうことで、撮影画像の端などに写りこんだ不要物を除去することができる。

また、本発明の第１の撮影システムにおいて、「上記照明装置が、青から緑の間の色の光で上記被写体を照らすものである」という形態も好ましい形態である。

この好ましい形態の撮影システムによれば、青から緑の間の色の光、即ち、発光波長が４００〜５３０ｎｍの光で上記被写体が照らされ、背景が青から緑の間の色となった撮影画像が得られる。ここで、青から緑の間の色は、人物の肌の色の補色であるため、この好ましい形態の撮影システムによれば、人物を被写体として撮影した際等に、撮影画像中の被写体と背景とを高い確度で区別することができる。また、補色であることから、被写体と背景との境界付近の画素に対する、後述するような、被写体色と背景色との推定という処理を高い精度で行なうことができる。

また、本発明の第１の撮影システムにおいて、「上記照明装置が、上記閃光発光装置が発する閃光の輝度以下の輝度の光で上記被写体を照らすものである」という形態も好ましい形態である。

この好ましい形態の撮影システムによれば、上記閃光発光装置が閃光を発したときには、上記照明装置の有無に関わらず、上記被写体が上記の閃光による順光状態で撮影され、好ましい品質の撮影画像を得ることができる。

また、本発明の第１の撮影システムは、「上記閃光発光装置が、一度閃光を発すると、次に閃光を発するためには所定の準備時間を要するものであり、
上記撮影装置が、上記被写体を、上記準備時間内に複数回撮影することで上記複数の撮影画像を得るものである」という形態であっても良い。

このような形態の撮影装置によれば、上記撮影装置での複数回の撮影の際に上記閃光発光装置を１回だけ発光させることができ、これにより、自然に見える背景置換画像を作成するために有効な、例えば順光状態と逆光状態等といった極端に異なる複数条件下で撮影された複数の撮影画像を容易に得ることができる。

また、本発明の第１の撮影システムにおいて、「上記照明装置が、上記面からの光を透過させるカラーフィルタを備えたものである」という形態や、
「上記照明装置が、上記面からの光を透過させる、その光の色と同じ色のカラーフィルタを備えたものである」という形態は好ましい形態である。

これらの好ましい形態の撮影システムによれば、撮影画像中の主たる背景色は、上記閃光発光装置の閃光による照明の有無によらず上記カラーフィルタの色となる。そのため、その閃光とは明確に色が異なるカラーフィルタを用いること等により、例えば、撮影画像中の被写体に閃光の色が写り込んでしまったような場合であっても、撮影画像中の被写体と背景とを一層確実に区別することができる。また、後者の形態では、上記面からの光に対する上記カラーフィルタによる光量の減衰を抑えることができる。

また、本発明の第１の撮影システムにおいて、「上記照明装置が、上記被写体側から上記面に向かう光の反射を防止する反射防止膜を備えたものである」という形態も好ましい形態である。

この好ましい形態の撮影システムによれば、上記反射防止膜によって上記面における上記閃光の反射を防止することにより、上記被写体と上記面との双方がその閃光を反射して撮影画像中においてその閃光の色という同色に発色してしまうことが確実に回避される。これにより、撮影画像中の被写体と背景とを一層確実に区別することができる。

また、本発明の第１の撮影システムにおいて、「上記背景置換装置が、上記撮影画像における上記面の範囲を、その面からの光の有無によって認識し、その範囲内の画像部分を使って撮影画像中の被写体と背景とを区別するものである」という形態も好ましい。

この好ましい形態の撮影システムによれば、撮影画像中の上記画像部分のみを有効な画像として取り出すというような画像処理を行なうことで、撮影画像の端などに写りこんだ不要物を除去することができる。

上記目的を達成する本発明の第２の撮影システムは、被写体を撮影して撮影画像を取得する撮影装置と、
光に関する複数の撮影条件を作る撮影条件作成部と、
上記撮影条件作成部で作成された複数の撮影条件それぞれの下で、上記撮影装置によって共通の被写体が撮影されて得られた複数の撮影画像を取得し、その撮影画像に基づいて、撮影画像中の被写体領域と背景領域と境界領域とを区別し、その区別した３つの領域に基づいて撮影画像中の背景を別の背景と置換する背景置換装置とを備えたことを特徴とする。

本発明の第２の撮影システムによれば、上記撮影条件作成部によって、例えば、被写体を撮影装置側から照らす順光状態や、被写体を撮影装置とは反対側から照らす逆光状態等といった、光に関する複数の撮影条件を作り出し、これら複数の撮影条件それぞれの下で得られる複数の撮影画像に基づいて撮影画像中の被写体領域と背景領域と境界領域とを区別することができる。これにより、例えば人物の頭髪越しに背景が見えている部分等といった、被写体とも背景とも区別し難い部分が、被写体領域や背景領域とは別の境界領域に区別される。そして、その境界領域については、境界領域用の適切な置換処理を施すことにより、観賞者にとって自然に見える背景置換画像を作成することができる。つまり、本発明の第２の撮影システムによれば、被写体を撮影して撮影画像を取得し、その撮影画像における背景が所望の背景に自然に置換された背景置換画像を作成することができる。

ここで、本発明の第２の撮影システムにおいて、「上記撮影条件作成部は、上記被写体の明るさと、上記被写体を挟んで上記撮影装置とは反対側に位置する背景の明るさとの相違の程度を変更して上記複数の撮影条件を作成するものであり、
上記背景置換装置が、上記被写体領域と上記背景領域と上記境界領域とを、上記複数の撮影画像の相互間における明るさの変化量に基づいて区別するものである」という形態も好ましい形態である。

ここで、上記にいう「上記被写体の明るさと、上記被写体を挟んで上記撮影装置とは反対側に位置する背景の明るさとの相違の程度」とは、上記被写体の明るさと上記背景の明るさとの差であっても良く、あるいは、上記被写体の明るさと上記背景の明るさとの比であっても良い。

この好ましい形態の撮影システムによれば、上記撮影条件作成部によって、例えば、被写体を照らす照明の明るさを変更したり、背景自体を発光させてその背景自体の明るさを変更したりする等というような方法により、この撮影システム内における、被写体の明るさと背景の明るさとの差や比等といった相違の程度を変更して、上記複数の撮影条件が作成される。そして、この好ましい形態の撮影システムによれば、上記被写体と上記背景との明るさの相違の程度が互いに異なる複数の撮影条件それぞれの下で得られる複数の撮影画像において、互いに明るさが同等な部分と、互いに明るさが大きく異なる部分と、互いに明るさが中程度に異なる部分とを区別することで、この撮影画像中の被写体領域と背景領域と境界領域とを適確に区別することができる。

また、本発明の第２の撮影システムにおいて、「上記撮影条件作成部は、上記被写体の明るさと、上記被写体を挟んで上記撮影装置とは反対側に位置する背景の明るさとの相違の程度を変更して上記複数の撮影条件を作成するものであり、
上記背景置換装置が、上記被写体領域と上記背景領域と上記境界領域とを、上記被写体と上記背景との明るさの相違に基づいて区別するものである」という形態も好ましい形態である。

この好ましい形態の撮影システムによれば、例えば、被写体と背景との明るさの相違の程度が極端に大きいという撮影条件を作成し、その撮影条件の下で得られる撮影画像を、相対的に明るい領域と、相対的に暗い領域と、中間的な明るさの領域とに区別することで、撮影画像中の被写体領域と背景領域と境界領域とを適確に区別することができる。

以上では、上記被写体の明るさと、上記被写体を挟んで上記撮影装置とは反対側に位置する背景の明るさとの相違の程度を変更して上記複数の撮影条件を作成する撮影条件作成部を備えた２つの形態について説明したが、以下では、これら２つの形態を、「明るさ変更型の撮影システム」と総称する。

本発明の第２の撮影システムにおいて、「前記撮影条件作成部が、前記被写体を挟んで前記撮影装置とは反対側に位置する面からの光で前記被写体を照らす照明装置を有し、その照明装置で該被写体を照らす光の明るさを変更して前記複数の撮影条件を作成するものであり、
前記背景置換装置が、前記被写体領域と前記背景領域と前記境界領域とを、前記複数の撮影画像の相互間における明るさの変化量、および前記被写体と前記背景との明るさの相違のうち少なくとも一方に基づいて区別するものである」という形態は、「明るさ変更型の撮影システム」の一例である。

この形態の撮影システムによれば、上記照明装置が背景の明るさを変更する役割を果たし、この照明装置で背景の明るさを変更することにより、被写体と背景との明るさの相違の程度が互いに異なる複数の撮影条件を小空間で容易に作成することができる。

また、本発明の第２の撮影システムにおいて、「上記撮影条件作成部が、上記被写体を上記撮影装置側から閃光で照らす閃光発光装置と、上記被写体を挟んで上記撮影装置とは反対側に位置する面からの光で上記被写体を照らす照明装置とを有し、上記被写体をその閃光発光装置およびその照明装置のそれぞれで順次に照らして上記複数の撮影条件を作成するものであり、
上記背景置換装置が、上記被写体領域と上記背景領域と上記境界領域とを、上記複数の撮影画像の相互間における明るさの変化量、および上記被写体と上記背景との明るさの相違のうち少なくとも一方に基づいて区別するものである」という形態、および、
「上記撮影条件作成部が、上記被写体を上記撮影装置側から閃光で照らす閃光発光装置と、上記被写体を挟んで上記撮影装置とは反対側に位置する面からの光で上記被写体を照らす照明装置とを有し、その照明装置による照明の定常的な存在と、その閃光発光装置の閃光による照明の有無とによって上記複数の撮影条件を作成するものであり、
上記背景置換装置が、上記被写体領域と上記背景領域と上記境界領域とを、上記複数の撮影画像の相互間における明るさの変化量、および上記被写体と上記背景との明るさの相違のうち少なくとも一方に基づいて区別するものである」という形態も、「明るさ変更型の撮影システム」の一例である。

これらの形態の撮影システムでは、上記閃光発光装置が被写体の明るさを変更する役割を果たし、上記照明装置が背景の明るさを変更する役割を果たす。前者の形態の撮影システムによれば、被写体を上記閃光発光装置および上記照明装置のそれぞれで順次に照らして被写体と背景との双方の明るさを変更することにより、被写体と背景との明るさの相違の程度が互いに異なる複数の撮影条件を作成することができる。また、後者の形態の撮影システムによれば、上記照明装置による照明の定常的な存在によって背景の明るさを維持しつつ、上記閃光発光装置の閃光による照明の有無によって被写体の明るさを変更することにより、被写体と背景との明るさの相違の程度が互いに異なる複数の撮影条件を作成することができる。

また、本発明の第２の撮影システムにおいて、「上記撮影条件作成部が、上記被写体を上記撮影装置側から閃光で照らす、その閃光の偏光状態を変える機能を持った閃光発光装置と、上記被写体を挟んで上記撮影装置とは反対側に位置する、偏光状態の違いによって反射光の明るさが異なる背景パネルとを有し、その閃光発光装置による、互いに偏光状態が異なる複数回の閃光によって上記複数の撮影条件を作成するものであり、
上記背景置換装置が、上記被写体領域と上記背景領域と上記境界領域とを、上記複数の撮影画像の相互間における明るさの変化量、および上記被写体と上記背景との明るさの相違のうち少なくとも一方に基づいて区別するものである」という形態も、「明るさ変更型の撮影システム」の一例である。

この形態の撮影システムでは、上記閃光発光装置と上記背景パネルとの双方が、背景の明るさを変更する役割を果たす。この形態の撮影システムによれば、上記閃光発光装置が、互いに偏光状態が異なる複数回の閃光を発し、上記背景パネルにおける反射光の明るさが、各閃光の偏光状態に応じて変わることにより、背景の明るさが変更される。これにより、被写体と背景との明るさの相違の程度が互いに異なる複数の撮影条件を作成することができる。

また、本発明の第２の撮影システムにおいて、「上記撮影条件作成部は、上記被写体を挟んで上記撮影装置とは反対側に位置する背景の色を変更して上記複数の撮影条件を作成するものであり、
上記背景置換装置が、上記被写体領域と上記背景領域と上記境界領域とを、上記複数の撮影画像の相互間における色の変化量に基づいて区別するものである」という形態は好ましい形態である。

この好ましい形態の撮影システムによれば、上記背景の色が互いに異なる複数の撮影条件それぞれの下で得られる複数の撮影画像において、互いに色が同等な部分と、互いに色が大きく異なる部分と、互いに色が中程度に異なる部分とを区別することで、この撮影画像中の被写体領域と背景領域と境界領域とを適確に区別することができる。

また、本発明の第２の撮影システムにおいて、「前記撮影条件作成部が、前記被写体を挟んで前記撮影装置とは反対側に位置する、色が変わる機能を持った背景パネルを有し、その背景パネルの色を変更して前記複数の撮影条件を作成するものであり、
前記背景置換装置が、前記被写体領域と前記背景領域と前記境界領域とを、前記複数の撮影画像の相互間における色の変化量に基づいて区別するものである」という形態は、上記背景の色が互いに異なる複数の撮影条件それぞれの下で、複数の撮影画像を得る撮影システムの典型的な例である。

この形態の撮影システムによれば、上記背景パネルによって、小空間内で複数の望ましい撮影条件を容易に作ることができる。

また、本発明の第２の撮影システムにおいて、「上記撮影条件作成部が、上記被写体を上記撮影装置側から閃光で照らす閃光発光装置と、上記被写体を挟んで上記撮影装置とは反対側に位置する面からの、上記閃光の輝度以下の輝度の光で上記被写体を照らす照明装置とを有し、その照明装置による照明の定常的な存在と、その閃光発光装置の閃光による照明の有無とによって上記複数の撮影条件を作成するものであり、
上記撮影装置が、上記閃光発光装置の閃光による照明が無いという撮影条件の下で撮影を行なう時には、その閃光発光装置の閃光による照明が有るという撮影条件の下で撮影を行なう時よりも、光に対する感度を上げて撮影を行なうものであり、
上記背景置換装置が、上記被写体領域と上記背景領域と上記境界領域とを、上記複数の撮影画像の相互間における明るさの変化量、および上記被写体と上記背景との明るさの相違のうち少なくとも一方に基づいて区別するものである」という形態は好ましい形態である。

上記閃光による順光状態での撮影では、例えば、上記照明装置による定常的な照明に比べて光量が圧倒的に多い閃光で被写体を照らすことにより、被写体へのその定常的な照明の写り込みを回避することができる。そのような撮影では、上記撮影装置における光に対する感度は、閃光の光量に応じて低めの感度である必要があるが、その低めの感度のままでは、上記定常的な照明のみによる逆光状態での撮影の際に感度不足となってしまう。上記の好ましい形態の撮影システムによれば、上記閃光の有無に応じて上記撮影装置の光に対する感度が適切に切り換えられるので、上記のような順光状態および逆光状態それぞれについて適切な感度での撮影が可能となる。

また、本発明の第２の撮影システムにおいて、「上記背景置換装置が、上記別の背景として、被写体を照らす光の条件を表わす光情報が付与された背景を用いて、上記撮影画像中の背景を置換するものであり、
上記撮影条件作成部が、上記被写体を上記撮影装置側から、互いに異なる複数の発光条件のうち、上記別の背景に付与された光情報が表わす条件に相当する発光条件の光で照らす発光装置を有し、その発光装置による照明を上記複数の撮影条件のうちの少なくとも１つの撮影条件で用いるものである」という形態も好ましい形態である。

例えば、置換用の背景が画像中で右側から光が差している画像である場合に、被写体が正面や左側から照らされて写っていては置換後の画像は不自然なものとなってしまう。また、例えば、置換用の背景が夕景や曇天等といった暗い画像である場合に、被写体が明るい光で照らされて写っていては置換後の画像は不自然なものとなってしまう。上記の好ましい形態の撮影システムによれば、上記発光装置によって置換用の背景に応じた方向や明るさ等といった適切な発光条件の光で被写体を照らすことができるので、置換後の画像を一層自然な画像とすることができる。

以上、説明したように、本発明によれば、被写体を撮影して撮影画像を取得し、その撮影画像における背景が所望の背景に自然に置換された背景置換画像を作成することができる撮影システムを提供することができる。

本発明の撮影システムの一実施形態を示す図である。 分散型エレクトロルミネセンス素子を使ったタイプの照明装置の別例を示す図である。 図１の撮影システムで実行される処理の流れを示すフローチャートである。 順光状態における撮影と逆光状態における撮影との別例を示す図である。 図１に示すパーソナルコンピュータのハードウェア構成図である。 で図１および図５に示すパーソナルコンピュータを、本発明にいう背景置換装置の一例として動作させるための背景置換プログラムが記憶されたＣＤ−ＲＯＭを示す概念図ある。 図６に示す背景置換プログラムが図１および図３に示すパーソナルコンピュータにインストールされ、このパーソナルコンピュータが本発明にいう背景置換装置の一例として動作するときの機能を表わす機能ブロック図である。 図７に１つのブロックで示す画像補正部の詳細を示す図である。 台形歪みが生じた順光撮影画像の一例を示す模式図である。 図９の順光撮影画像における台形歪みが補正された状態を示す模式図である。 図１０に示す、台形歪みが補正された順光撮影画像に基づいて作成された有効画像を示す模式図である。 図８の画像補正部によって画像補正処理が施された、補正済みの逆光撮影画像を示す模式図である。 画像補正部の別例を示す図である。 図１３に１つのブロックで示す有効画像作成部７２３’の詳細を示す図である。 有効画像の作成に使われる逆光撮影画像の一例を示す図である。 図１５に示す逆光撮影画像が拡大された状態を示す図である。 拡大された逆光撮影画像を構成する各画素の明るさについてのヒストグラムの一例を示す図である。 図１４の２値化部７２３ｃ’によって２値化処理が施された逆光撮影画像を示す図である。 補正済みの順光撮影画像の一例を示す図である。 補正済みの逆光撮影画像の一例を示す図である。 図１９中のエリアＡ１の拡大図である。 図２０中のエリアＡ２の拡大図である。 図７に１つのブロックで示す置換処理部の詳細を示す図である。 図２３に１つのブロックで示すマスク作成部の詳細を示す図である。 補正済みの逆光撮影画像を構成する各画素の明るさについてのヒストグラムの様々な例を示す図である。 図２２に示す逆光撮影画像の拡大図において、初期被写体マスクに設定された領域と初期背景マスクに設定された領域を示す図である。 図２６に示す初期被写体マスクと初期背景マスクとを示す図である。 初期被写体マスクと初期背景マスクとを、図１９に示す補正済みの順光撮影画像全体に重ねて示した図である。 図２７に示す初期被写体マスクと初期背景マスクとが、それぞれ境界領域から離れる方向に縮小される様子を示す図である。 最終的に完成された被写体マスクと背景マスクとを、図１９に示す補正済みの順光撮影画像全体に重ねて示した図である。 図２３に１つのブロックで示す色推定部の詳細を示す図である。 図３１に１つのブロックで示す背景色推定部の詳細を示す図である。 ある画素について背景色を推定する際に、その画素を中心に探索範囲が設定される様子を示す図である。 ある画素について背景色を推定するために用いられる領域の一例を示す図である。 図３１に１つのブロックで示す被写体色推定部の詳細を示す図である。 ある画素について被写体色を推定する際に、その画素を中心に探索範囲が設定される様子を示す図である。 ある画素について被写体色を推定するために用いられる領域の一例を示す図である。 補正済みの順光撮影画像における境界領域内のある画素について被写体色を探索する際の探索方法を示す図である。 補正済みの順光撮影画像における境界領域内のある画素について合成色が求められる様子を示す図である。 背景置換画像の一例を示す図である。 補正済みの順光撮影画像において、非背景マスクで定義される領域内のある画素について被写体色を推定する際に、その画素を中心に探索範囲が設定される様子を示す図である。 ある画素について被写体色を推定するために用いられる領域の一例を示す図である。 補正済みの順光撮影画像における、非背景マスクで定義される領域内のある画素について被写体色を探索する際の探索方法を示す図である。 本発明の撮影システムの第２実施形態を示す図である。 図４４の撮影システムで実行される作業の流れを示すフローチャートである。 本発明の撮影システムの第３実施形態を示す図である。 図４６の撮影システムで実行される作業の流れを示すフローチャートである。 １回目の撮影に基づく、補正済みの撮影画像の一例を示す図である。 ２回目の撮影に基づく、補正済み撮影画像の一例を示す図である。 本発明の第３実施形態における背景置換画像の作成処理で作成されるヒストグラムの一例を示す図である。 本発明の撮影システムの第４実施形態を示す図である。 図５１に示す照明パネルの内部構造を示す図である。 図５１の撮影システムで実行される作業の流れを示すフローチャートである。 １回目の撮影に基づく、補正済みの撮影画像の一例を示す図である。 ２回目の撮影に基づく、補正済み撮影画像の一例を示す図である。 本発明の第４実施形態における背景置換画像の作成処理で作成されるヒストグラムの一例を示す図である。 本発明の撮影システムの第５実施形態を示す図である。 図５７の撮影システムで実行される作業の流れを示すフローチャートである。 １回目の撮影に基づく、補正済みの撮影画像の一例を示す図である。 ２回目の撮影に基づく、補正済み撮影画像の一例を示す図である。 本発明の第４実施形態における背景置換画像の作成処理で作成されるヒストグラムの一例を示す図である。 本発明の撮影システムの第６実施形態を示す図である。 図６２の撮影システムで実行される作業の流れを示すフローチャートである。 １回目の撮影に基づく、補正済みの撮影画像の一例を示す図である。 ２回目の撮影に基づく、補正済み撮影画像の一例を示す図である。 本発明の第４実施形態における背景置換画像の作成処理で作成されるヒストグラムの一例を示す図である。 本発明の撮影システムの第７実施形態を示す図である。

以下図面を参照して本発明の実施の形態を説明する。

まず、本発明の第１実施形態について説明する。

図１は、本発明の撮影システムの第１実施形態を示す図である。

この図１に示す撮影システム１は、被写体を撮影して撮影画像を取得する撮影スタジオ１０と、その撮影画像における被写体と背景とを区別して、撮影画像中の背景を所望の背景に置換して背景置換画像を作成する、本発明にいう背景置換装置の一例として動作するパーソナルコンピュータ２０と、プリンタ３０と、サーバ４０とを備えている。また、撮影スタジオ１０は、デジタルカメラ１１と、閃光発光装置１２と、ＥＬ（エレクトロルミネセンス）パネル１３０と、このＥＬパネル用の電源１４を備えている。ここで、デジタルカメラ１１、閃光発光装置１２、およびＥＬパネル１３０が、それぞれ本発明にいう撮影装置、閃光発光装置、照明装置の各一例に相当する。

デジタルカメラ１１は、連写機能を有しており、撮影者がシャッタボタンを１回押すと、短時間の間に自動で被写体Ｐを２回撮影する。１回毎の撮影によって得られた撮影画像はデジタルカメラ１１内のメモリに一時的に保管されるが、撮影システム１では、デジタルカメラ１１がパーソナルコンピュータ２０に接続されており、２回の撮影が終了した時点で、この２回の撮影で得られた撮影画像は、このパーソナルコンピュータ２０に直ちに送られる。また、デジタルカメラ１１は閃光発光装置１２にも接続されており、デジタルカメラ１１は、閃光発光装置１２に対して閃光を発するように指示する閃光指示信号を、その閃光発光装置１２に撮影の度に発信する。

ここで、本実施形態では、撮影スタジオ１０について省スペース化が図られており、デジタルカメラ１１は被写体を近距離から若干見下ろし気味に撮影することとなる。その結果、デジタルカメラ１１で撮影される撮影画像には、画像の幅が、下に向かうほど狭まる、いわゆる台形歪みが生じている可能性が高い。本実施形態では、この台形歪みは、パーソナルコンピュータ２０において補正される。

閃光発光装置１２は、デジタルカメラ１１から閃光指示信号を受けて被写体Ｐに向かって閃光を発する。ここで、この閃光発光装置１２は、１回発光する度に充電される必要があり、１回発光すると、次に発光できるようになるまで時間がかかる。デジタルカメラ１１からは、上記の２回の撮影の際、撮影の度に上記の閃光指示信号が発信されるが、閃光発光装置１２は１回目の撮影の時だけ閃光を発し、２回目の撮影時には、充電が間に合わないために、閃光発光装置１２は消灯したままでいることとなる。また、この閃光発光装置１２が発する閃光は、発光の輝度がおよそ２０００ｃｄ／ｍ^２という高輝度の光である。

ＥＬパネル１３０は、被写体Ｐが載る載置面１３１ａと被写体Ｐの背後の面１３１ｂとが透明な筐体１３１、および、その筐体１３１内に収納された分散型ＥＬ素子１３２からなる。また、電源１４は、この分散型ＥＬ素子１３２に駆動電圧を印加する電源である。ここで、分散型ＥＬ素子１３２が、本発明にいう分散型エレクトロルミネセンス素子の一例に相当する。また、筐体１３１の、被写体Ｐの背後の面１３１ｂの四隅にはこの面１３１ｂの範囲を示す４つのマーカ１３１ｃが配置されている。これら４つのマーカ１３１ｃは、撮影の際に被写体Ｐとともに撮影画像に写り、その撮影画像に対する、上記の台形歪みの補正等に利用されるものであり、本発明にいうマーカの一例に相当する。

分散型ＥＬ素子１３２は、蛍光体粉末が高誘電率のバインダー中に分散されたものが、可撓性のプラスチックを基板とした２枚のシート形状の電極の間に挟み込まれて構成されたシート状の面発光光源である。この分散型ＥＬ素子１３２は、それら２枚の電極間に、電源１４から交流電圧が印加されることにより発光する。

この分散型ＥＬ素子１３２は、厚みが数百μｍ〜１ｍｍという非常に薄くて軽い光源であり、筐体１３１の内部のように、厚みに余裕のない場所に容易に設置することができる。この他、分散型ＥＬ素子１３２には、発光時の発熱が２℃程度と軽微である、発光開始から最高輝度に達するまでの応答速度が速い、発光の寿命がほぼ一定しており計画的な交換が可能、局所発光が可能、衝撃や振動に強い、消費電力が５０Ｗ／ｍ^２（周波数が５０Ｈｚの交流電力印加時）と小さい等、性能面での様々な利点がある。さらに、分散型ＥＬ素子１３２には、簡単な製造工程で製造することができるため製造コストが安いという経済面での利点もある。

また、一般的な分散型ＥＬ素子は、製造時に発光色の異なる複数の蛍光体粉末をさらに混合することで発光色を白色を含む様々な色に調整することが可能であるが、本実施形態における分散型ＥＬ素子１３２では、このような色調整のための蛍光体粉末は未混合である。この結果、この分散型ＥＬ素子１３２は、発光波長が４００ｎｍ〜５３０ｎｍの間に２つ以上の発光ピークを有することとなる。この光は、分散型ＥＬ素子本来の、青から緑の間の色の光であり、本実施形態における分散型ＥＬ素子１３２は、上記の２つ以上の発光ピークからなる青緑色の光を発光する。ここで、青緑色は、人物の肌の色の補色であるため、本実施形態の撮影システム１によれば、人物を被写体として撮影した際等に、撮影画像中の被写体と背景とを高い確度で区別することができる、背景が青緑色の撮影画像が得られる。さらに、補色であることから、被写体と背景との境界付近の画素に対する、後述するような、被写体色と背景色との推定という処理を高い精度で行なうことができる。また、上記の色調整のための蛍光体粉末は発光色の輝度を低下させる傾向があるが、本実施形態における分散型ＥＬ素子１３２は、このような蛍光体粉末が未混合であるので分散型ＥＬ素子本来の輝度で発光することとなる。

尚、本実施形態では、本発明にいう分散型エレクトロルミネセンス素子を使ったタイプの照明装置の一例として、筐体１３１の内部に分散型ＥＬ素子１３２が単純に収納されたＥＬパネル１３０を例示したが、本発明はこれに限るものではない。以下、このタイプの照明装置の別例について説明する。ここで、以下では、この別例について、図１に示すＥＬパネル１３０との相違点に注目して説明する。

図２は、分散型エレクトロルミネセンス素子を使ったタイプの照明装置の別例を示す図である。

この図２に示す別例は、図１示すＥＬパネル１３０に、２つの構成要素が追加された構成となっている。即ち、この別例は、分散型ＥＬ素子１３２の表面に、この分散型ＥＬ素子１３２の発光色と同じ青緑色のカラーフィルタ１３２ａが貼付され、筐体１３１（図１参照）の被写体Ｐが載る載置面１３１ａと被写体Ｐの背後の面１３１ｂとのそれぞれに、光の反射を防止する反射防止膜１３１ｄが貼付された構成となっている。ここで、カラーフィルタ１３２ａおよび反射防止膜１３１ｄは、それぞれ本発明にいうカラーフィルタおよび反射防止膜の各一例に相当する。

上記のカラーフィルタ１３２ａによれば、分散型ＥＬ素子１３２の発光光よりも光量が圧倒的に勝る上記の閃光下の撮影であっても被写体の背景の色は、その閃光の色である白色とは確実に異なる青緑色となる。そのため、例えば、撮影画像中の被写体に閃光の色が写り込んでしまったような場合であっても、その撮影画像中で被写体と背景とが閃光の色という同色に発色してしまうことが確実に回避される。また、上記の反射防止膜１３１ｄによれば、上記の閃光発光装置１２が発した閃光が、被写体と載置面１３１ａや背後の面１３１ｂとで反射して、被写体と背景とが撮影画像中においてその閃光の色という同色に発色してしまうことが確実に回避される。図２に示すこのような構成により、撮影画像中の被写体と背景との、後述するような区別が一層確実に行なわれることとなる。

再び、図１に戻って説明を続ける。

電源１４は、分散型ＥＬ素子１３２に印加する交流電圧を、周波数について５０Ｈｚ〜１０ｋＨｚの間、大きさについて４０Ｖ〜３００Ｖの間で調整することができる。分散型ＥＬ素子１３２の発光の輝度は、印加される交流電圧の大きさにほぼ比例する。本実施形態の撮影スタジオ１０では、電源１４において、交流電圧が、周波数については１．２ｋＨｚ〜１．５ｋＨｚのうちのいずれかの周波数、大きさについては１３０Ｖ〜２００Ｖのうちのいずれかの大きさに調整されており、その結果、分散型ＥＬ素子１３２の発光の輝度が、５００ｃｄ／ｍ^２〜６００ｃｄ／ｍ^２のうちのいずれかの輝度に調整されている。

ここで、本実施形態の撮影スタジオ１０では、デジタルカメラ１１による撮影は、ＥＬパネル１３０が常時点灯した状態で行なわれる。また、上述したように、１回目の撮影は閃光発光装置１２が閃光を発した状態で行なわれ、２回目の撮影は閃光発光装置１２が消えた状態で行なわれる。ここで、上記のように、閃光発光装置１２が発する閃光の輝度は、ＥＬパネル１３０が点灯したときの輝度よりもかなり高い。この結果、１回目の撮影では、ＥＬパネル１３０の輝度よりも高い輝度の閃光が、デジタルカメラ１１側から被写体Ｐを照らすという順光状態での撮影による、被写体Ｐがきれいに写った順光撮影画像が取得される。また、この１回目の撮影に連続して行なわれる２回目の撮影では、ＥＬパネル１３０からの光のみが被写体Ｐを後方から照らすという逆光状態での撮影による、被写体Ｐの像がシャドウ側に偏り、ＥＬパネル１３０の像がハイライト側に偏った逆光撮影画像が取得される。

この撮影スタジオ１０における閃光発光装置１２とＥＬパネル１３０とを合わせたものが、本発明にいう撮影条件作成部の一例に相当し、ここでは、ＥＬパネル１３０による照明の定常的な存在と、閃光発光装置１２の閃光による照明の有無とによって複数（本実施形態では２つ）の撮影条件が作成される。

パーソナルコンピュータ２０は、上述したように本発明にいう背景置換装置の一例として動作するものである。このパーソナルコンピュータ２０は、デジタルカメラ１１から渡された上記の２つの撮影画像に対して、上記の台形歪みについての補正を含む画像補正処理を施し、さらに、この補正済みの撮影画像に基づいて背景置換画像を作成するという背景置換処理を行なう。この画像補正処理と背景置換処理とについては後述する。

このパーソナルコンピュータ２０は、外観構成上、フレキシブルディスク（以降、ＦＤと呼ぶ）やＣＤ−ＲＯＭの装填口を有し、その装填口に装填されたＦＤやＣＤ−ＲＯＭへのアクセス機能を有する本体装置２１０、その本体装置２１０からの指示に応じて表示画面２２０ａ上に画像を表示する画像表示装置２２０、本体装置２１０にキー操作に応じた各種の情報を入力するキーボード２３０、表示画面２２０ａ上の任意の位置を指定することにより、その位置に表示された、例えばアイコン等に応じた指示を入力するマウス２４０、および、デジタルカメラ等で撮影画像の記憶に用いられる小型記憶メディアが装填され、その小型記憶メディアをアクセスするメディアドライブ２５０を備えている。

プリンタ３０は、パーソナルコンピュータ２０から送られてくる画像をプリントするものであり、撮影システム１では、パーソナルコンピュータ２０が背景置換処理によって作成した背景置換画像をプリントする役割を担っている。

サーバ４０には、パーソナルコンピュータ２０で実行される背景置換処理で使用される複数種類の背景が格納されている。このサーバ４０内の背景は、表示画面２２０ａ上に表示されることによって顧客に提示される。また、この撮影システム１では、サーバ４０内に格納されている背景以外にも、上記のＣＤ−ＲＯＭや上記の小型記憶メディア等といった何らかの入力用記憶媒体を介して提供される背景も、表示画面２２０ａを通じて顧客に提示される。顧客は、表示画面２２０ａ上に表示されたそれらの背景の中から所望の背景を選ぶ。

次に、この図１に示す撮影システム１で実行される作業の流れについて説明する。尚、以下の説明では、図１に示す要素については特に図番を断らずに図１中の符号を使って参照する。

図３は、図１の撮影システムで実行される作業の流れを示すフローチャートである。

この図３のフローチャートが示す作業は、撮影スタジオ１０において、被写体Ｐ、デジタルカメラ１１、および閃光発光装置１２がそれぞれ適当な位置に配置されていることを前提として行なわれる。

まず、電源１４から分散型ＥＬ素子１３２に電圧が印加され、ＥＬパネル１３０が点灯する（ステップＳ１０１）。次に、撮影者が、ピントや露光の調節等を行なった後にデジタルカメラ１１のシャッタボタンを押すと、被写体Ｐに対する撮影が２回連続して行なわれる。まず１回目の撮影では、デジタルカメラ１１から発信される閃光指示信号に応じて閃光発光装置１２がＥＬパネル１３０の照明よりも高輝度の閃光を発し、この閃光による順光状態で被写体Ｐが撮影される（ステップＳ１０２）。続いて、２回目の撮影が、閃光発光装置１２が消灯した状態、即ち、ＥＬパネル１３０のみの照明による逆光状態で行なわれる（ステップＳ１０３）。ステップＳ１０２およびステップＳ１０３の処理でそれぞれ得られた、順光撮影画像と逆光撮影画像との２つの撮影画像は、デジタルカメラ１１内のメモリに一時的に保管される。

尚、本実施形態では、以上に説明したステップＳ１０１〜ステップＳ１０３の処理は、撮影スタジオ１０において行なわれる、写真館の店員等といった人手による撮影処理であるが、本発明はこれに限るものではない。本発明の撮影システムは、例えば、ＥＬパネルやデジタルカメラの動作がパーソナルコンピュータ等で制御され、ＥＬパネルの点灯やデジタルカメラによる撮影が、人手を経ることなく自動で行なわれるもの等であっても良い。このことは、後述する他の実施形態についても同様に当てはまる。

また、本実施形態では、順光状態における撮影と逆光状態における撮影とが単純に実行される例を示したが、本発明はこれに限るものではなく、本発明の撮影システムは、順光状態における撮影と逆光状態における撮影とが、例えば、以下に説明するように行なわれるもの等であっても良い。

図４は、順光状態における撮影と逆光状態における撮影との別例を示す図である。

この図４に示す撮影処理では、被写体を背後から照らすＥＬパネルが点灯されると（ステップＳ１０１）、順光状態における撮影（ステップＳ１０２’）と逆光状態における撮影（ステップＳ１０３’）とが順次に実行される。ただし、この図４の例では、順光状態における撮影（ステップＳ１０２’）は、ＥＬパネルの発光光の被写体への写り込みを確実に回避するために、ＥＬパネルの発光光に比べて光量が圧倒的に多い閃光下で実行され、さらに、その撮影は、そのような閃光下で適切に実行されるように、閃光の光量に応じた低めの感度で行なわれる。一方、逆光状態における撮影（ステップＳ１０３’）は、そのような低めの感度では感度不足となりＥＬパネルの発光光を捉え切れないので、ＥＬパネルの発光光の光量に応じた高めの感度で行なわれる。このように、この図４に示す撮影処理によれば、順光状態における撮影において、ＥＬパネルの発光光の被写体への写り込みが回避されるとともに、各状態における適切な感度での撮影が可能となる。

再び、図３に戻って説明を続ける。

ステップＳ１０３の処理によって、２回目の撮影が行なわれ、その撮影で得られた撮影画像の、デジタルカメラ１１内のメモリへの保管が終了すると、２回の撮影で得られ、そのメモリに一時的に保管された２つの撮影画像が直ちにパーソナルコンピュータ２０に渡される。また、パーソナルコンピュータ２０に対する操作を受けて、顧客が所望する背景がサーバ４０あるいは何らかの入力用記憶媒体から読み出される。（ステップＳ１０４）。続いて、２つの撮影画像に、上記の台形歪みについての補正を含む後述の画像補正処理が施される。（ステップＳ１０５）。さらに、この補正済みの撮影画像に基づいて背景置換画像を作成するという後述の背景置換処理が実行される（ステップＳ１０６）。そして、この背景置換処理で作成された背景置換画像を表わす画像データが、まず画像表示装置２２０に転送され、さらに、プリンタ３０と、顧客が希望する出力用記憶媒体とのうちの少なくとも１つに転送される（ステップＳ１０７）。続いて、画像表示装置２２０において、背景置換画像が、転送されてきた画像データに基づいて表示画面２２０ａ上に表示され（ステップＳ１０８）、さらに、画像データがプリンタ３０に転送された場合には、プリンタ３０において、その画像データに基づいて背景置換画像がプリントされる（ステップＳ１０９）。

ここで、ステップＳ１０４〜ステップＳ１０８の処理は、パーソナルコンピュータ２０において実行される処理であり、以下では、これらの処理を実行するパーソナルコンピュータ２０と、それらの処理の詳細に注目して説明する。

まず、このパーソナルコンピュータ２０の内部構成について説明する。

図５は、図１に示すパーソナルコンピュータのハードウェア構成図である。

この図５に示すように、本体装置２１０の内部には、各種プログラムを実行するＣＰＵ２１１、ハードディスク装置２１３に格納されたプログラムが読み出されＣＰＵ２１１での実行のために展開される主メモリ２１２、各種プログラムやデータ等が保存されたハードディスク装置２１３、ＦＤ５２０が装填され、その装填されたＦＤ５２０をアクセスするＦＤドライブ２１４、ＣＤ−ＲＯＭ５１０をアクセスするＣＤ−ＲＯＭドライブ２１５、図１のサーバ４０やデジタルカメラ１１と接続され、これらの機器から置換用の背景や撮影画像等を受け取る入力インタフェース２１６、および、図１のプリンタ３０と接続され、背景置換画像等を出力する出力インタフェース２１７が内蔵されており、これらの各種要素と、さらに図１にも示す画像表示装置２２０、キーボード２３０、マウス２４０、および、小型記憶メディア５３０をアクセスするメディアドライブ２５０は、バス２６０を介して相互に接続されている。

ここで、ＣＤ−ＲＯＭ５１０には、パーソナルコンピュータ２０を、本発明にいう背景置換装置の一例として動作させるための背景置換プログラムが記憶される。そして、その背景置換プログラムが記憶されたＣＤ−ＲＯＭ５１０がＣＤ−ＲＯＭドライブ２１５に装填されると、そのＣＤ−ＲＯＭ５１０に記憶された背景置換プログラムがこのパーソナルコンピュータ２０にアップロードされてハードディスク装置２１３に書き込まれる。これにより、パーソナルコンピュータ２０は背景置換装置として動作する。

次に、この背景置換プログラムについて説明する。

図６は、図１および図５に示すパーソナルコンピュータを、本発明にいう背景置換装置の一例として動作させるための背景置換プログラムが記憶されたＣＤ−ＲＯＭを示す概念図である。

図６に示すＣＤ−ＲＯＭ５１０には背景置換プログラム６００が記憶されている。

この背景置換プログラム６００は、画像取得部６１０、画像補正部６２０、置換処理部６３０、画像データ転送部６４０、および画像表示部６５０で構成されている。

この背景置換プログラム６００の各部の詳細については、本発明にいう背景置換装置の一例の各部の作用と併せて説明する。尚、以下の説明では、図１、図５、および図６に示す要素については特に図番を断らずに各図中の符号を使って参照する。

図７は、図６に示す背景置換プログラムが図１および図５に示すパーソナルコンピュータにインストールされ、このパーソナルコンピュータが本発明にいう背景置換装置の一例として動作するときの機能を表わす機能ブロック図である。また、この図７には、図１にも示す、デジタルカメラ１１、閃光発光装置１２、およびＥＬパネル１３０からなる撮影スタジオ１０と、プリンタ３０と、サーバ４０も示されている。

この図７に示す背景置換装置７００は、上述したように、撮影スタジオ１０のデジタルカメラ１１によって順光および逆光それぞれの下で撮影された順光撮影画像と逆光撮影画像とを取得して、これらの２つの撮影画像のうち、逆光撮影画像に基づいて、順光撮影画像における被写体と背景とを区別して、その背景を所望の背景に置換するという背景置換処理を実行するものであり、画像取得部７１０、画像補正部７２０、置換処理部７３０、画像データ転送部７４０、および画像表示部７５０を備えている。

画像取得部７１０は、まず、デジタルカメラ１１で撮影され、そのデジタルカメラ１１から渡される２つの撮影画像を受け取る。また、この画像取得部７１０は、顧客が所望する背景を、サーバ４０から、あるいは、ＣＤ−ＲＯＭや小型記憶メディア等といった入力用記憶媒体５４０から読み出す。この画像取得部７１０は、実質的には、パーソナルコンピュータ２０のＣＰＵ２１１が、背景置換プログラム６００の画像取得部６１０に従って、入力インタフェース２１６、ＦＤドライブ２１４、ＣＤ−ＲＯＭドライブ２１５、およびメディアドライブ２５０を制御することによって構成される。

画像補正部７２０は、画像取得部７１０で受け取られた２つの撮影画像に、台形歪みについての補正を含む後述の画像補正処理を施すものであり、実質的には、パーソナルコンピュータ２０のＣＰＵ２１１が、背景置換プログラム６００の画像補正部６２０に従って動作することによって構成される。この画像補正部７２０の詳細については、画像補正処理の詳細とともに別図を参照して後述する。

置換処理部７３０は、画像補正部７２０での画像補正処理を経た２つの撮影画像に基づいて背景置換画像を作成するという後述の背景置換処理を行なうものであり、実質的には、パーソナルコンピュータ２０のＣＰＵ２１１が、背景置換プログラム６００の置換処理部６３０に従って動作することによって構成される。この画像補正部７２０の詳細については、背景置換処理の詳細とともに別図を参照して後述する。

画像データ転送部７４０は、置換処理部７３０で作成された背景置換画像を表わす画像データを、プリンタ３０および顧客が希望する出力用記憶媒体５５０のうちの少なくとも一方と、この背景置換装置７００の画像表示部７５０とに転送する。この画像データ転送部７４０は、実質的には、パーソナルコンピュータ２０のＣＰＵ２１１が、背景置換プログラム６００の画像データ転送部６４０に従って、出力インタフェース２１７、ＦＤドライブ２１４、ＣＤ−ＲＯＭドライブ２１５、およびメディアドライブ２５０を制御することによって構成される。

画像表示部７５０は、画像データ転送部７４０から転送されてくる画像データに基づく背景置換画像を、表示画面２２０ａに表示するものであり、実質的には、パーソナルコンピュータ２０のＣＰＵ２１１が、背景置換プログラム６００の画像表示部６５０に従って画像表示装置２２０を制御することによって構成される。

また、上記の画像データ転送部７４０からプリンタ３０に背景置換画像を表わす画像データが出力された場合には、プリンタ３０において、この画像データに基づく背景置換画像がプリントされ、上記の画像データ転送部７４０から何らかの出力用記憶媒体５５０に背景置換画像を表わす画像データが出力された場合には、この画像データがその出力用記憶媒体５５０に書き込まれる。そして、背景置換画像がプリントされたプリント紙と、背景置換画像を表わす画像データが書き込まれた出力用記憶媒体５５０との両方、あるいは一方が、顧客の希望に応じて提供される。

次に、図７において、それぞれ１つのブロックで示されている画像補正部７２０および置換処理部７３０の詳細について以下に説明する。

先ず、画像補正部７２０について説明する。

図８は、図７に１つのブロックで示す画像補正部の詳細を示す図である。尚、以下の説明では、図７に示す要素については特に図番を断らずに図中の符号を使って参照する。

この図８に示す画像補正部７２０は、上述したように、画像取得部７１０で受け取られた順光撮影画像と逆光撮影画像とに、台形歪みについての補正を含む画像補正処理を実行するものであり、マーカ検出部７２１、台形補正処理部７２２、有効画像作成部７２３、および色補正部７２４を備えている。

以下では、この画像補正部７２０の各要素の作用について、上記の台形歪みが生じた順光撮影画像を例として参照しながら説明する。

図９は、台形歪みが生じた順光撮影画像の一例を示す模式図である。

この図９には、画像の幅が、下に向かうほど狭まる台形歪みが生じた撮影画像が模式的に示されている。

まず、マーカ検出部７２１が、撮影画像に写っている４つのマーカ１３１ｃを検出する。本来、これら４つのマーカ１３１ｂを結ぶと長方形が形成されるはずであるが、図９の例では台形歪みのために、４つのマーカ１３１ｂを結ぶと台形になってしまう。

台形補正処理部７２２は、マーカ検出部７２１が検出した４つのマーカ１３１ｃを結んでできる図形が本来の長方形となるように、撮影画像全体に適当な変形を施すことで台形歪みを補正する。

図１０は、図９の順光撮影画像における台形歪みが補正された状態を示す模式図である。

背景置換処理に供する撮影画像としては、被写体と背景との区別の容易さ等の点から、背景がＥＬパネル１３０における発光面のみであることが望ましい。しかしながら、本実施形態では、撮影スタジオ１０について省スペース化が図られていることから、ＥＬパネル１３０の大きさに限界があり、撮影画像には、図９や図１０に示すように、ＥＬパネル１３０の発光面以外の不要な部分が背景として写ってしまう。

有効画像作成部７２３は、台形補正処理部７２２による補正処理を経た撮影画像から、４つのマーカ１３１ｃで決まる有効範囲Ｅ１の外側の画像が削除された有効画像を作成する。

図１１は、図１０に示す、台形歪みが補正された順光撮影画像に基づいて作成された有効画像を示す模式図である。

有効画像作成部７２３によって、この図１１に示すような、被写体Ｐの背景が、ＥＬパネル１３０の発光面のみである有効画像が作成されると、次に、色補正部７２４が、この有効画像に対して、例えば人物の目についての赤目補正や、画像全体の色合いを好ましい色合いに補正する等といった色補正処理を施す。

以上、図９〜図１１の順光撮影画像を参照して、画像補正部７２０で行なわれる画像補正処理について説明したが、本実施形態では、順光撮影画像とともに撮影された逆光撮影画像にも、順光撮影画像に施された画像補正処理と全く同じ処理が施される。ただし、この逆光撮影画像では、被写体は黒くつぶれて写ることとなるので、上記の色補正部７２４での処理は、この逆光撮影画像に対しては除外される。

図１２は、図８の画像補正部によって画像補正処理が施された、補正済みの逆光撮影画像を示す模式図である。

この図１２に示すように、補正済みの逆光撮影画像は、被写体Ｐの領域がシャドウ側に偏り、背景としてＥＬパネル１３０が写っている領域がハイライト側に偏った画像となっている。ここで、上記の図９〜図１１の順光撮影画像では、ＥＬパネル１３０の発光の輝度が閃光発光装置１２が発する閃光の輝度よりも低いため、ＥＬパネル１３０の発光面は実際の発光色よりも白っぽく写るのに対し、この図１２に示す逆光撮影画像では、ＥＬパネル１３０の実際の発光色である青緑色に写る。

このように、図１２に示す補正済みの逆光撮影画像では、被写体Ｐの領域と、背景領域とでは、明るさが大きく異なるので両者を容易に区別することができる。また、補正済みの逆光撮影画像では、画像中の被写体Ｐの位置や輪郭は、補正済みの順光撮影画像における被写体の位置や輪郭とほぼ同じになる。そこで、本実施形態では、図７の置換処理部７３０において、まず、補正済みの逆光撮影画像について被写体Ｐと背景との区別を行ない、その区別を補正済みの順光撮影画像にそのまま適用することで、この順光撮影画像における被写体Ｐと背景とを区別する。そして、この置換処理部７３０では、順光撮影画像における背景を、顧客が所望する背景と置換して背景置換画像を作成する。

ここで、この置換処理部７３０の詳細について説明する前に、上記の画像補正部７２０の別例について説明する。この別例は、撮影画像からＥＬパネル１３０の発光面以外の不要な部分の除去に、撮影画像中のマーカ１３１ｃが不要である点が上記の画像補正部７２０と異なる。また、以下では、説明の簡単化のために、対象とする撮影画像には上述した台形歪みが生じないことを前提として説明する。

図１３は、画像補正部の別例を示す図である。

この図１３に示す画像補正部７２０’は、撮影画像から不要な部分が除去された有効画像を上記のマーカを使わずに作成する有効画像作成部７２３’と、図８と同じ色補正部７２４とを備えている。以下、この図１３の有効画像作成部７２３’に注目して説明する。

図１４は、図１３に１つのブロックで示す有効画像作成部７２３’の詳細を示す図である。

この有効画像作成部７２３’は、画像拡大部７２３ａ’、ヒストグラム作成部７２３ｂ’、２値化部７２３ｃ’、直線検出部７２３ｄ’、および画像切出部７２３ｅ’を備えている。

この有効画像作成部７２３’は、逆光撮影画像および順光撮影画像それぞれに共通の、有効画像の範囲を決定するのに逆光撮影画像を用いる。

画像拡大部７２３ａ’は、その逆光撮影画像を、次のように拡大する。

図１５は、有効画像の作成に使われる逆光撮影画像の一例を示す図であり、図１６は、図１５に示す逆光撮影画像が拡大された状態を示す図である。

図１５には、ＥＬパネル１３０の発光面以外の不要な部分や被写体Ｐがシャドウ側に偏った逆光撮影画像が示されている。上記の画像拡大部７２３ａ’は、逆光撮影画像の上下左右に黒色の画素を複数画素分だけ追加することで、この逆光撮影画像を拡大して、図１６に示すような、ＥＬパネル１３０の発光面の周囲がシャドウ側の色の画素で囲まれた状態の画像を作成する。

次に、図１４のヒストグラム作成部７２３ｂ’は、その拡大された画像について、次のような各画素の明るさについてのヒストグラムを作成する。

図１７は、拡大された逆光撮影画像を構成する各画素の明るさについてのヒストグラムの一例を示す図である。

この図１７には、各画素の輝度を、多数の輝度範囲に振り分け、各輝度範囲についてどれだけの画素が振り分けられたかを頻度で示したヒストグラムＨＧが示されており、このヒストグラムＨＧでは、横軸ＨＧ＿１に輝度がとられ、縦軸Ｈ１＿２に頻度がとられている。逆光撮影画像について作成されたこのようなヒストグラムＨＧには、図１７に示すように、シャドウ側と、ハイライト側とに２つのピークＨＰ１，ＨＰ２が現れる。シャドウ側のピークＨＰ１は、逆光撮影画像における上記の不要な部分や被写体領域の画素が振り分けられて現れるものであり、ハイライト側のピークＨＰ２は、この逆光撮影画像におけるＥＬパネル１３０の発光面の画素が振り分けられて現れるものである。

このようなヒストグラムＨＧが作成されると、図１４の２値化部７２３ｃ’は、まず、ヒストグラムＨＧにおけるシャドウ側のピークＨＰ１において、頻度が所定頻度以上となる輝度の上限である閾値ＨＳを計算する。次に、２値化部７２３ｃ’は、上記の拡大された逆光撮影画像の各画素について、閾値ＨＳ以上の輝度に対応する画素に「１」の画素値を割り当て、閾値ＨＳに満たない輝度に対応する画素には「０」の画素値を割り当てるという２値化処理を実行する。

図１８は、図１４の２値化部７２３ｃ’によって２値化処理が施された逆光撮影画像を示す図である。この図１８では、被写体Ｐを含む、ＥＬパネル１３０の発光面以外の領域の画素に「０」の画素値が割り当てられた様子が斜線で示されている。

このような２値化処理が終了すると、次に、図１４の直線検出部７２３ｄ’は、２値化処理が施された逆光撮影画像において、「１」の画素値を有する画素と、「０」の画素値を有する画素との境界における直線部分を検出する。上記の図１８には、ＥＬパネル１３０の発光面の領域を囲む４本の直線ＳＬ１，ＳＬ２，ＳＬ３，ＳＬ４が検出された様子が示されている。

このような直線が検出されると、図１４の画像切出部７２３ｅ’が、図１５に示す拡大前の逆光撮影画像から、上記の４本の直線ＳＬ１，ＳＬ２，ＳＬ３，ＳＬ４で囲まれた範囲に対応する画像部分を有効画像として切り出す。そして、この画像切出部７２３ｅ’は、順光撮影画像からも、上記の４本の直線ＳＬ１，ＳＬ２，ＳＬ３，ＳＬ４で囲まれた範囲に対応する画像部分を有効画像として切り出す。

以上に説明した一連の処理によっても、図１１や図１２に示す、マーカを使って作成された有効画像とほぼ同様の有効画像を得ることができる。

再び、本発明の第１実施形態についての説明に戻る。

図７の画像補正部７２０において、図１１や図１２に示すような、順光および逆光それぞれについての有効画像（補正済みの順光撮影画像および補正済みの逆光撮影画像）が得られると、置換処理部７３０では、上述したように、補正済みの逆光撮影画像について被写体Ｐと背景との区別が行なわれ、その区別が補正済みの順光撮影画像にそのまま適用されて、この順光撮影画像における被写体Ｐと背景とが区別される。そして、この置換処理部７３０は、順光撮影画像における背景を、顧客が所望する背景と置換して背景置換画像を作成する。

次に、この置換処理部７３０の詳細について、補正済みの逆光撮影画像における被写体と背景との区別から、背景置換画像の作成に至る背景置換処理に注目して説明する。

ここで、以下の説明では、上記の補正済みの順光撮影画像および補正済みの逆光撮影画像それぞれの一例として、次の画像を参照する。

図１９は、補正済みの順光撮影画像の一例を示す図であり、図２０は、補正済みの逆光撮影画像の一例を示す図である。

これら図１９および図２０には、人物の被写体Ｐ’が写っている。ただし、図２０に示す撮影画像は、逆光で撮影されたものであるために、被写体Ｐ’の領域がシャドウ側に偏り、背景としてＥＬパネル１３０が写っている領域がハイライト側に偏った画像となっている。ここで、被写体Ｐ’と背景との境界周辺の様子を、図１９中のエリアＡ１と、この図１９中のエリアＡ１に対応する図２０中のエリアＡ２とについて別図に示す。

図２１は、図１９中のエリアＡ１の拡大図であり、図２２は、図２０中のエリアＡ２の拡大図である。

これら図２１および図２２には、被写体Ｐ’の頭髪越しに背景のＥＬパネル１３０が見えている様子が示されている。一般に、撮影画像中には、被写体の一部越しに背景が見えている部分がしばしば見られるが、このような部分は、図１９〜図２２の例に示すように、撮影画像中の被写体と背景との境界周辺に存在する。

ここで、図２１および図２２は、説明の便宜上、人物の頭髪の一本に至るまで詳細に見える理想的な状態で示されている。しかし、実際の撮影画像では、解像度の制約により、画像を構成する画素が一本の頭髪等といった微細な被写体よりも大きくなる。そのため、例えば、図２１および図２２に示す、頭髪越しに背景のＥＬパネル１３０が見えている部分の画像等は、頭髪という微細な被写体の色と、その背後に見える背景の色とが合成された合成色を有する画素が集まって構成されることとなる。そのため、このような部分では、被写体と背景との単純な区別は不可能となっている。

図７の置換処理部７３０は、例えば図１９に示すような、補正済みの順光撮影画像の背景を、顧客が所望する背景に置換する際には、まず、この補正済みの順光撮影画像を、被写体領域と、背景領域と、これら２つの領域に挟まれた境界領域とに区別する。置換処理部７３０は、この補正済みの順光撮影画像における被写体領域についてはそのまま残し、背景領域を、顧客が所望する別の背景と置換する。

このとき、図２１に示すように被写体の一部越しに背景が見えていている部分、即ち、微細な被写体色と背景色とが合成された合成色を有する画素によって構成される部分は、上記のように被写体と背景とに単純に区別することが不可能であることから、置換処理部７３０によって上記の境界領域に区別される。

置換処理部７３０は、補正済みの順光撮影画像における上記の境界領域内の全ての画素が、上記のような合成色を有しているという前提のもとに、各画素の色の合成の元となった被写体色と、背景色とを推定し、さらに両者の合成比を推定する。ただし、実際の境界領域には、合成色を有する画素の他にも、背景色のみを有する画素や、被写体色のみを有する画素も含まれる。置換処理部７３０では、処理対象の画素が、背景色のみを有する画素である場合には、その画素の色に占める被写体色の割合が「０」となる合成比が推定され、処理対象の画素が、被写体色のみを有する画素である場合には、その画素の色に占める被写体色の割合が「１」となる合成比が推定される。

そして、置換処理部７３０は、上記の境界領域内の各画素の色を、推定された被写体色と、上記の顧客が所望する別の背景色とが、推定された合成比で合成されてなる合成色に置き換える。この処理では、境界領域中の、背景色のみを有する画素の色は上記の別の背景色に置換され、被写体色のみを有する画素の色はそのまま維持され、さらに、被写体の一部越しに背景が見えていている部分の画素の色は上記の合成色に置換される。この処理の結果、境界領域中に、被写体の一部越しに背景が見えていている部分が含まれていたとしても、その被写体の一部越しに、上記の顧客が所望する別の背景が見えているという自然な背景置換画像が作成される。

以下、この置換処理部７３０の詳細について説明する。

図２３は、図７に１つのブロックで示す置換処理部の詳細を示す図である。尚、以下の説明でも、図７に示す要素については特に図番を断らずに図７中の符号を使って参照する。

この置換処理部７３０は、上述した背景置換処理を実行するものであり、マスク作成部７３１、色推定部７３２、および背景置換画像作成部７３３を備えている。

まず、これら各構成要素の概要について説明する。

マスク作成部７３１は、上記の補正済みの逆光撮影画像において、この逆光撮影画像中で、被写体色の画素のみが存在する範囲を定義する被写体マスクと、背景色の画素のみが存在する範囲を定義する背景マスクとを作成する。ここで、これら２つのマスクは、それぞれのマスクが定義する範囲内に、例えば図２２に示すような、被写体越しに背景が見えている部分の画素が含まれないように、互いに隙間を開けて作成される。

色推定部７３２は、マスク作成部７３１が作成した被写体マスクと背景マスクとを、上記の補正済みの順光撮影画像に適用して、まず、この順光撮影画像において、これら２つのマスク間に開いた隙間、即ち、境界領域を認識する。そして、この境界領域内の全ての画素が合成色を有しているという前提のもとに、各画素の色の合成の元となった被写体色と、背景色とを推定し、さらに両者の合成比を推定する。

背景置換画像作成部７３３は、まず、上記の補正済みの順光撮影画像において、被写体マスクで定義される領域についてはそのまま残し、背景マスクで定義される領域を、顧客が所望する別の背景と置換する。次に、境界領域内の各画素について、顧客が所望する背景の色と、上記の色推定部７３２で推定された被写体色とを、色推定部７３２で推定された合成比で合成して合成色を求め、各画素の色をその合成色に置換する。これにより、上記の補正済みの順光撮影画像の背景が、顧客が所望する別の背景に自然に置換された背景置換画像が作成される。

このように作成された背景置換画像を表わす画像データが、図７の画像データ転送部７４０から、各出力デバイスや出力用記憶媒体５５０（図７参照）に転送される。

次に、置換処理部７３０の各構成要素の詳細について説明する。

まず、マスク作成部７３１の詳細について説明する。

図２４は、図２３に１つのブロックで示すマスク作成部の詳細を示す図である。

このマスク作成部７３１は、ヒストグラム作成部７３１ａ、閾値計算部７３１ｂ、被写体マスク設定部７３１ｃ、背景マスク設定部７３１ｄ、被写体マスク縮小部７３１ｅ、および背景マスク縮小部７３１ｆを備えている。

ヒストグラム作成部７３１ａは、上記の補正済みの逆光撮影画像を構成する各画素の明るさについてのヒストグラムを作成する。

図２５は、補正済みの逆光撮影画像を構成する各画素の明るさについてのヒストグラムの様々な例を示す図である。

この図２５のパート（ａ）には、逆光撮影画像を構成する各画素の輝度を、多数の輝度範囲に振り分け、各輝度範囲についてどれだけの画素が振り分けられたかを頻度で示した輝度ヒストグラムＨ１が示されており、この輝度ヒストグラムＨ１では、横軸Ｈ１＿１に輝度がとられ、縦軸Ｈ１＿２に頻度がとられている。

ここで、本実施形態では上記の順光撮影画像および逆光撮影画像は、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）の３色で色を定義するＲＧＢ色空間上の座標、即ち、このＲＧＢ色空間におけるＲ値、Ｇ値、およびＢ値で各画素の色が表わされている。各画素の色を表わすＲ値、Ｇ値、およびＢ値それぞれには、その画素の明るさが反映されているので、逆光撮影画像を構成する各画素の明るさについてのヒストグラムを、これらＲ値、Ｇ値、およびＢ値のうちのいずれかを用いて作成することもできる。

図２５のパート（ｂ）には、逆光撮影画像を構成する各画素のＲ値を、Ｒ値の多数の範囲に振り分け、各範囲についてどれだけの画素が振り分けられたかを頻度で示したＲ値ヒストグラムＨ２が示されており、図２５のパート（ｃ）には、逆光撮影画像を構成する各画素のＧ値を、Ｇ値の多数の範囲に振り分け、各範囲についてどれだけの画素が振り分けられたかを頻度で示したＧ値ヒストグラムＨ３が示されており、図２５のパート（ｄ）には、逆光撮影画像を構成する各画素のＢ値を、Ｂ値の多数の範囲に振り分け、各範囲についてどれだけの画素が振り分けられたかを頻度で示したＢ値ヒストグラムＨ４が示されている。図２５のパート（ｂ）に示すＲ値ヒストグラムＨ２では、横軸Ｈ２＿１にＲ値がとられ、図２５のパート（ｃ）に示すＧ値ヒストグラムＨ３では、横軸Ｈ３＿１にＧ値がとられ、図２５のパート（ｄ）に示すＢ値ヒストグラムＨ４では、横軸Ｈ４＿１にＢ値がとられている。また、これら３つのヒストグラムの縦軸Ｈ２＿２，Ｈ３＿２，Ｈ４＿２には、頻度がとられている。

本実施形態では、逆光撮影画像では、被写体の背景が、ＥＬパネル１３０の発光色である青緑色に写ることから、この逆光撮影画像の各画素の明るさは、Ｒ値、Ｇ値、およびＢ値のうち、Ｇ値に最も良く反映される。そこで、図２４のヒストグラム作成部７３１ａは、図２５に示す４つのヒストグラムのうち、図２５のパート（ｃ）に示すＧ値ヒストグラムＨ３を作成するように構成されている。

ここで、このＧ値ヒストグラムＨ３には、他の３つのヒストグラムと同様に、シャドウ側と、ハイライト側とに２つのピークＰｋ１，Ｐｋ２が現れる。シャドウ側のピークＰｋ１は、補正済みの逆光撮影画像における被写体領域の画素が振り分けられて現れるものであり、ハイライト側のピークＰｋ２は、この逆光撮影画像における背景領域の画素が振り分けられて現れるものである。

図２４に示す閾値計算部７３１ｂは、このヒストグラム作成部７３１ａが作成したＧ値ヒストグラムにおける２つのピークＰｋ１，Ｐｋ２それぞれに基づいて、次の２つの閾値を計算する。図２５のパート（ｃ）に示すようにシャドウ側のピークＰｋ１からは、このピークＰｋ１において、頻度が所定頻度以上となるＧ値の上限である第１の閾値Ｓｒ１が計算される。また、ハイライト側のピークＰｋ２からは、このピークＰｋ２において、頻度が所定頻度以上となるＧ値の下限である第２の閾値Ｓｒ２が計算される。

そして、図２４に示す被写体マスク設定部７３１ｃは、上記の補正済みの逆光撮影画像を構成する複数の画素のうち、Ｇ値が第１の閾値Ｓｒ１以下となる画素からなる領域を初期被写体マスクに設定し、背景マスク設定部７３１ｄは、Ｇ値が第２の閾値Ｓｒ２以上となる画素からなる領域を初期背景マスクに設定する。

図２６は、図２２に示す逆光撮影画像の拡大図において、初期被写体マスクに設定された領域と初期背景マスクに設定された領域を示す図である。

この図２６における右側のハッチング部分は、図２２の拡大図において被写体Ｐ’の頭髪が、背景が見えないほどに集まっていて、逆光撮影によってシャドウ側に大きく偏って写っている部分であり、その部分の画素のＧ値が上記の第１の閾値Ｓｒ１を下回っている。その結果、この図２６における右側のハッチング部分は、被写体マスク設定部７３１ｃによって初期被写体マスクＭ１に設定される。

また、図２６における左側のハッチング部分は、図２２の拡大図において背景のＥＬパネル１３０のみが写っている、ハイライト側に大きく偏った部分であり、その部分の画素のＧ値は上記の第２の閾値Ｓｒ２を上回っている。その結果、この図２６における左側のハッチング部分は、背景マスク設定部７３１ｄによって初期背景マスクＭ２に設定される。

一方、図２６において左右いずれのハッチング部分にも属していない部分は、頭髪越しに背景が見えている部分であり、その部分のＧ値は、上記の第１の閾値Ｓｒ１を上回り、上記の第２の閾値Ｓｒ２を下回る。その結果、この図２６において左右いずれのハッチング部分にも属していない部分は、初期被写体マスクＭ１と初期背景マスクＭ２との間にあって、両方のマスクの外側となる境界領域Ｍ３として残される。

図２７は、図２６に示す初期被写体マスクと初期背景マスクとを示す図であり、図２８は、初期被写体マスクと初期背景マスクとを、図１９に示す補正済みの順光撮影画像全体に重ねて示した図である。

図２７および図２８に示すように、初期被写体マスクＭ１と初期背景マスクＭ２とはかなり接近しており、境界領域Ｍ３が非常に狭くなっている。ここで、上述したように、補正済みの逆光撮影画像では、画像中の被写体の位置や輪郭は、補正済みの順光撮影画像における被写体の位置や輪郭とほぼ同じになる。しかし、撮影のタイミングが若干ずれているため、２つの撮影画像の間で、被写体の位置や輪郭が若干ずれる可能性もある。そのような場合には、境界領域Ｍ３が狭いと、補正済みの順光撮影画像において、図２１に示すような、被写体の一部を透かして背景が見えている部分が境界領域Ｍ３に完全には含まれず、２つのマスクのいずれか一方に含まれてしまう恐れが生じる。このような初期被写体マスクＭ１と、初期背景マスクＭ２とに基づいて、背景の置換が行なわれると、被写体の一部を透かして背景が見えている部分に、古い背景が残ってしまったり、あるいは、そのような部分が全て新しい背景に置換されて、被写体の一部が欠けてしまったりするという問題が発生してしまう恐れがある。

このような問題を回避するために、本実施形態では、図２４に示す被写体マスク縮小部７３１ｅによって初期被写体マスクＭ１を境界領域Ｍ３から離れる方向に縮小し、背景マスク縮小部７３１ｆによって初期背景マスクＭ２を境界領域Ｍ３から離れる方向に縮小する。これにより、境界領域Ｍ３が広げられ、被写体の一部を透かして背景が見えている部分が境界領域Ｍ３に完全に含まれるようになる。

図２９は、図２７に示す初期被写体マスクと初期背景マスクとが、それぞれ境界領域から離れる方向に縮小される様子を示す図である。

この図２９に示すように、初期被写体マスクＭ１の輪郭Ｌ１が所定数の画素分だけ、境界領域Ｍ３から離れる方向に移動されることによって初期被写体マスクＭ１が縮小され、同様に、初期背景マスクＭ２の輪郭Ｌ２が所定数の画素分だけ、境界領域Ｍ３から離れる方向に移動されることによって初期背景マスクＭ２が縮小される。ここで、本実施形態では、２つのマスクの輪郭の移動量として５画素が採用されている。このようなマスクの縮小を経て、最終的な被写体マスクＭ１’および背景マスクＭ２’が完成される。

図３０は、最終的に完成された被写体マスクと背景マスクとを、図１９に示す補正済みの順光撮影画像全体に重ねて示した図である。

最終的に完成された被写体マスクＭ１’と背景マスクＭ２’との間、即ち、最終的な境界領域Ｍ３’は、図２８に示す境界領域Ｍ３に比べて１０画素分広くなっており、図３０に示すように、この最終的な境界領域Ｍ３’に、被写体の一部を透かして背景が見えている部分が十分に含まれることとなる。

以上で、図２３の置換処理部７３０が備えるマスク作成部７３１についての説明を終了し、次に、この置換処理部７３０が備える色推定部７３２の詳細について説明する。

図３１は、図２３に１つのブロックで示す色推定部の詳細を示す図である。

この色推定部７３２は、背景色推定部７３２ａ、被写体色推定部７３２ｂ、および合成比推定部７３２ｃを備えている。

まず、背景色推定部７３２ａについて説明する。

図３２は、図３１に１つのブロックで示す背景色推定部の詳細を示す図である。

この背景色推定部７３２ａは、補正済みの順光撮影画像における、上記の最終的な境界領域内の各画素について、その画素の色を構成している背景色を推定するものであり、探索範囲設定部７３２ａ＿１、背景領域確認部７３２ａ＿２、および背景色計算部７３２ａ＿３を備えている。

この背景色推定部７３２ａは、境界領域内のある画素について背景色を推定する際には、背景マスクで定義される領域内の画素の中から、ある程度その画素の近くに位置する複数の画素を探索し、探索された複数の画素の色の平均色を、その画素についての背景色として求める。

探索範囲設定部７３２ａ＿１は、背景色を推定する画素を中心とした正方形状の探索範囲を次のように設定する。

図３３は、ある画素について背景色を推定する際に、その画素を中心に探索範囲が設定される様子を示す図である。

境界領域内のある画素Ｇについて探索範囲を設定するに当たり、探索範囲設定部７３２ａ＿１は、まず、この画素Ｇを中心とした正方形状の所定の初期範囲Ｔ１から出発して徐々に探索範囲を拡張する。そして、探索範囲設定部７３２ａ＿１は、背景マスクＭ２’で定義される領域の画素が、所定数を超えて探索範囲に含まれるようになったところで拡張を止め、そのときの探索範囲Ｔ１’を、背景色推定のための探索範囲として設定する。

探索範囲が設定されると、図３２に示す背景領域確認部７３２ａ＿２が、画素Ｇについて背景色を推定するために用いる領域として、補正済みの順光撮影画像における次の領域を確認する。

図３４は、ある画素について背景色を推定するために用いられる領域の一例を示す図である。

この図３４に示すように、画素Ｇについて背景色を推定するために用いられる領域として、補正済みの順光撮影画像において、背景マスクで定義される領域であり、かつ探索範囲設定部７３２ａ＿１によって設定された探索範囲Ｔ１’内となる領域Ｂ１が確認される。

このように、画素Ｇについて背景色を推定するために用いられる領域Ｂ１が確認されると、図３２に示す背景色計算部７３２ａ＿３が、この領域Ｂ１内の複数の画素の平均色、即ち、複数の画素のＲ値、Ｇ値、およびＢ値それぞれの平均値を計算する。そして、その計算結果が表わす色を、その画素Ｇについての背景色として採用する。

以上に説明した背景色推定部７３２ａは、上記の探索範囲の設定から平均色の計算に至るまでの処理を、補正済みの順光撮影画像における境界領域内の全ての画素について実行する。

次に、図３１に示す被写体色推定部７３２ｂについて説明する。

図３５は、図３１に１つのブロックで示す被写体色推定部の詳細を示す図である。

この被写体色推定部７３２ｂは、補正済みの順光撮影画像における、上記の最終的な境界領域内の各画素について、その画素の色を構成している被写体色を推定するものであり、探索範囲設定部７３２ｂ＿１、被写体領域確認部７３２ｂ＿２、画素色確認部７３２ｂ＿３、および被写体色探索部７３２ｂ＿４を備えている。

この被写体色推定部７３２ｂは、境界領域内のある画素について被写体色を推定する際には、被写体マスクで定義される領域内の画素の中から、ある程度その画素の近くに位置する複数の画素を探索し、探索された複数の画素の色の中から、後述の探索方法によって、その画素についての被写体色を探索する。

探索範囲設定部７３２ｂ＿１は、被写体色を推定する画素を中心とした正方形状の探索範囲を次のように設定する。

図３６は、ある画素について被写体色を推定する際に、その画素を中心に探索範囲が設定される様子を示す図である。

境界領域内のある画素Ｇについて探索範囲を設定するに当たり、探索範囲設定部７３２ｂ＿１は、まず、この画素Ｇを中心とした正方形状の所定の初期範囲Ｔ２から出発して徐々に探索範囲を拡張する。そして、探索範囲設定部７３２ｂ＿１は、被写体マスクＭ１’で定義される領域の画素が、所定数を超えて探索範囲に含まれるようになったところで拡張を止め、そのときの探索範囲Ｔ２’を、被写体色推定のための探索範囲として設定する。

探索範囲が設定されると、図３５に示す被写体領域確認部７３２ｂ＿２が、画素Ｇについて被写体色を推定するために用いる領域として、補正済みの順光撮影画像における次の領域を確認する。

図３７は、ある画素について被写体色を推定するために用いられる領域の一例を示す図である。

この図３７に示すように、画素Ｇについて被写体色を推定するために用いられる領域として、補正済みの順光撮影画像において、被写体マスクで定義される領域であり、かつ探索範囲設定部７３２ｂ＿１によって設定された探索範囲Ｔ２’内となる領域Ｂ２が確認される。

このように、画素Ｇについて被写体色を推定するために用いられる領域Ｂ２が確認されると、まず、図３５に示す画素色確認部７３２ｂ＿３が、その画素Ｇの色を確認し、次に、図３５に示す被写体色探索部７３２ｂ＿４が、上記の領域Ｂ２内の複数の画素の色の中から、以下のような探索方法によって、その画素Ｇについての被写体色を探索する。

図３８は、補正済みの順光撮影画像における境界領域内のある画素について被写体色を探索する際の探索方法を示す図である。

図３８には、補正済みの順光撮影画像における境界領域内のある画素について、図３１の背景色推定部７３２ａで推定された背景色Ｃ１と、図３５の画素色確認部７３２ｂ＿３で確認されたその画素の色Ｃ２とを、ＲＧＢ色空間上で結ぶ直線ＣＬ１が示されている。

上述したように、補正済みの順光撮影画像における境界領域内の画素の色は、撮影時に被写体の一部越しに背景が見えて、背景色と被写体色とが合成された合成色となっている可能性がある。仮に、今、被写体色を探索しようとしている画素の色がこのような合成色となっている場合には、合成色である画素の色Ｃ２と、その色Ｃ２の元となった背景色Ｃ１と被写体色とはＲＧＢ色空間上の直線上に並ぶ。

そこで、図３５に示す被写体色探索部７３２ｂ＿４は、まず、上記の領域Ｂ２内の複数の画素の色の中から、上記の直線ＣＬ１の延長線上に並ぶ色Ｃ３を探索する。

このような色Ｃ３が複数存在する場合には、この直線ＣＬ１の延長線上で、画素の色Ｃ２に最も近い色が、背景色Ｃ１とともにその画素の色Ｃ２の元となった可能性が最も高い。そこで、被写体色探索部７３２ｂ＿４は、上記の直線ＣＬ１の延長線上に並ぶ色Ｃ３が複数存在する場合には、これらの色Ｃ３の中から、画素の色Ｃ２に最も近い色を、この画素についての被写体色Ｃ４として採用する。

以上に説明した被写体色推定部７３２ｂは、上記の探索範囲の設定から被写体色の探索に至るまでの処理を、補正済みの順光撮影画像における境界領域内の全ての画素について実行する。

以上で、図３１に示す被写体色推定部７３２ｂについての説明を終了し、次に、この図３１に示す合成比推定部７３２ｃについて説明する。尚、この合成比推定部７３２ｃについての説明では上記の図３８を参照する。

この合成比推定部７３２ｃは、図３８に示すように、背景色推定部７３２ａで推定された背景色Ｃ１と、被写体色推定部７３２ｂで推定された被写体色Ｃ４とを、ＲＧＢ色空間上で結ぶ線分の長さに対する、背景色Ｃ１と、その画素の色Ｃ２とを結ぶ線分の長さの割合を、背景色Ｃ１と被写体色Ｃ４とで画素の色Ｃ２を合成するときの合成比αとして算出する。また、この合成比推定部７３２ｃは、このような合成比αの算出を、補正済みの順光撮影画像における境界領域内の全ての画素について実行する。

以上で、図２３の置換処理部７３０が備える色推定部７３２の詳細についての説明を終了し、次に、この置換処理部７３０が備える背景置換画像作成部７３３の詳細について説明する。

この背景置換画像作成部７３３は、上述したように、まず、上記の補正済みの順光撮影画像において、被写体マスクで定義される領域についてはそのまま残し、背景マスクで定義される領域を、顧客が所望する別の背景と置換する。

そして、この背景置換画像作成部７３３は、境界領域内の各画素については、顧客が所望する背景の色と、色推定部７３２で推定された被写体色とを、色推定部７３２で推定された合成比で合成して合成色を求める。

図３９は、補正済みの順光撮影画像における境界領域内のある画素について合成色が求められる様子を示す図である。

この図３９には、ＲＧＢ色空間上で、推定された背景色Ｃ１と、その画素の色Ｃ２と、推定された被写体色Ｃ４とを結ぶ、図３８にも示した直線ＣＬ１が示されている。ここで、画素の色Ｃ２は、背景色Ｃ１と被写体色Ｃ４とを結ぶ直線を、合成比α：（１−合成比α）で分割する点であるといえる。そこで、背景置換画像作成部７３３は、この図３９に示すように、別の背景色Ｃ５と、推定された被写体色Ｃ４とを結ぶ直線ＣＬ２を、合成比α：（１−合成比α）で分割する点を合成色Ｃ６として採用する。

この図３９を参照して説明した方法で、境界領域内の全ての画素について合成色が求められると、背景置換画像作成部７３３は、この全ての画素の色を、各画素について求められた合成色に置換することにより、補正済みの順光撮影画像の背景が、顧客が所望する別の背景に置換された背景置換画像を完成させる。

ここで、補正済みの順光撮影画像における境界領域内には、図３０等からもわかるように、被写体の一部越しに背景が見えている部分以外にも、被写体のみで占められた部分や、背景のみで占められた部分も含まれる。被写体のみで占められた部分の画素の色は被写体そのものの色であり、背景が別の背景に置換されたとしても、その画素の色は維持される必要がある。また、背景のみで占められた部分の画素の色は背景そのものの色であり、背景が別の背景に置換されたときには、その画素の色は、その別の背景色に完全に置換される必要がある。

本実施形態では、背景色や被写体色や合成比の推定対象の画素が、被写体のみで占められた部分の画素であった場合には、図３７に示す領域Ｂ２のような、その画素について被写体色を推定するために用いられる領域内のほとんどの画素の色が、推定対象の画素の色と同じ被写体そのものの色となる。その結果、このような画素については、合成比αがほぼ「１」となり、背景が置換される際には、この合成比αに基づいて合成色が求められるので、その画素の色である被写体そのものの色が維持される。

一方、背景色や被写体色や合成比の推定対象の画素が、背景のみで占められた部分の画素であった場合には、その画素の色が、その画素について推定される背景色と同じ背景そのものの色となる。その結果、このような画素については、合成比αがほぼ「０」となり、背景が置換される際には、この合成比αに基づいて、その画素の色は、別の背景色に完全に置換されることとなる。

結局、本実施形態では、背景色や被写体色や合成比の推定対象の画素が、被写体の一部越しに背景が見えている部分の画素であった場合に、合成比αが「０」と「１」との間の値を持つこととなり、背景が置換される際に、被写体色と、別の背景色との合成が行なわれて、自然な背景置換画像が作成される。

図４０は、背景置換画像の一例を示す図である。

この図４０には、図１９に示す補正済みの順光撮影画像の背景を別の背景に置換して作成された背景置換画像における、図１９中のエリアＡ１と同じ部分が拡大された拡大図が示されている。

背景置換画像作成部７３３で作成される背景置換画像は、境界領域内の画素の色が上記の合成色に置換された画像であり、この背景置換画像から、観賞者は、この図４０に示すような、被写体Ｐ’の頭髪越しに、置換された別の背景ＴＢが透けている状態を認識することとなる。つまり、この背景置換画像作成部７３３で作成される背景置換画像は、背景が別の背景に自然に置換された画像となる。

以上、図１〜図４０を参照して説明したように、本実施形態の撮影システム１によれば、まず、画像中の背景と被写体とで明るさが大きく異なり、背景と被写体とを互いに誤認することなく区別できる補正済みの逆光撮影画像に基づいて、補正済みの順光撮影画像における背景と被写体とが区別される。このため、この補正済みの順光撮影画像の背景が別の背景に置換されるときに、被写体の一部が誤って背景に置換されてしまったり、背景置換画像の中に、古い背景が残ってしまったりする等といった不具合が抑制されて、背景が所望の背景に自然に置換された背景置換画像を作成することができる。

また、本実施形態の撮影システム１によれば、補正済みの順光撮影画像における、被写体領域と背景領域との境界領域が認識され、背景を置換する際には、この境界領域内の画素の色が、置換される別の背景色と被写体色とが適切に合成された合成色に置換される。これにより、例えば、被写体の一部越しに背景が見えている部分があったとしても、背景を置換すると、この被写体の一部越しに別の背景が見えているといった自然な背景置換画像を作成することができる。

尚、上記では、本発明にいう背景置換装置の一例として、補正済みの逆光撮影画像中で被写体が占めている範囲を定義する被写体マスクと、背景が占めている範囲を定義する背景マスクとの２つのマスクを作成し、これら２つのマスクを用いて、補正済みの順光撮影画像における背景の置換を行なう背景置換装置７００を例示したが、本発明はこれに限るものではない。本発明の背景置換装置は、例えば、以下に説明するように、上記の背景マスクのみを作成し、この背景マスクのみを用いて、補正済みの順光撮影画像における背景の置換を行なうもの等であっても良い。

以下に、背景マスクのみを用いた背景置換の方法の一例について説明する。尚、ここでの背景マスクは、図２３に示すマスク作成部７３１が行なう背景マスクの作成と同じ方法で作成されたものであるとして、背景マスクの作成については重複説明を省略する。

この背景マスクのみを用いた背景置換では、まず、この背景マスクに基づいて、補正済みの順光撮影画像において、背景マスクで定義される領域を除いた領域を定義する非背景マスクが作成される。この非背景マスクが定義する領域は、上記の被写体マスクが定義する領域と、境界領域とを合わせた領域になる。そして、この非背景マスクが定義する領域内の全ての画素について、背景色と、被写体色と、両者の合成比の推定が行なわれる。尚、ここでの背景色は、図３１に示す背景色推定部７３２ａが行なう推定方法と同じ方法によって推定されるものであるとして、背景色の推定については重複説明を省略する。以下では、主に、被写体色の推定方法に注目して説明する。

図４１は、補正済みの順光撮影画像において、非背景マスクで定義される領域内のある画素について被写体色を推定する際に、その画素を中心に探索範囲が設定される様子を示す図である。ここで、この図４１では、図２９に示す被写体マスクＭ１’ が定義する領域と、境界領域Ｍ３とを合わせた領域が、上記の非背景マスクＭ４が定義する領域の一例として挙げられている。

非背景マスクＭ４が定義する領域内のある画素Ｇについて探索範囲を設定するに当たっては、まず、この画素Ｇを中心とした正方形状の所定の初期範囲Ｔ３から出発して徐々に探索範囲が拡張される。そして、補正済みの順光撮影画像において非背景マスクＭ４で定義される領域の画素が、所定数を超えて探索範囲に含まれるようになったところで拡張が止められ、そのときの探索範囲Ｔ３’が、被写体色推定のための探索範囲として設定される。

探索範囲が設定されると、画素Ｇについて被写体色を推定するために用いる領域として、補正済みの順光撮影画像における次の領域が確認される。

図４２は、ある画素について被写体色を推定するために用いられる領域の一例を示す図である。

この図４２に示すように、画素Ｇについて被写体色を推定するために用いられる領域として、補正済みの順光撮影画像において、非背景マスクで定義される領域であり、かつ上記のように設定された探索範囲Ｔ３’内となる領域Ｂ３が確認される。

このように、画素Ｇについて被写体色を推定するために用いられる領域Ｂ３が確認されると、まず、その画素Ｇの色が確認され、次に、上記の領域Ｂ３内の複数の画素の色の中から、以下のような探索方法によって、その画素Ｇについての被写体色が探索される。

図４３は、補正済みの順光撮影画像における、非背景マスクで定義される領域内のある画素について被写体色を探索する際の探索方法を示す図である。

図４３には、補正済みの順光撮影画像における境界領域内のある画素について、推定された背景色Ｃ７と、その画素の色Ｃ８とを、ＲＧＢ色空間上で結ぶ直線ＣＬ３が示されている。

ここで、補正済みの順光撮影画像における非背景マスクで定義される領域には、上述したような境界領域が含まれている。そして、この境界領域には被写体の一部越しに背景が見えている部分が含まれている可能性があり、そのような部分の画素の色は、背景色と被写体色とを合成した合成色となっている。仮に、今、被写体色を探索しようとしている画素の色がこのような合成色となっている場合には、合成色である画素の色Ｃ８と、その色Ｃ８の元となった背景色Ｃ７と被写体色とはＲＧＢ色空間上の直線上に並ぶ。

そこで、まず、上記の領域Ｂ３内の複数の画素の色の中から、上記の直線ＣＬ３の延長線上に並ぶ色Ｃ９を探索する。このような色Ｃ９が複数存在する場合、これら複数の色Ｃ９のうちの１つの色が被写体色として採用される。

ここで、非背景マスクで定義される領域内には、上記の合成色を有する画素や、背景色のみを有する画素等といった、被写体色以外の色を有する画素が含まれる。このため、上記の複数の色Ｃ９のうちでは、画素の色Ｃ８から最も遠い色が、背景色Ｃ７とともにその画素の色Ｃ８の元となった被写体色である可能性が高い。

そこで、この非背景マスクで定義される領域内の画素の色の中から被写体色を探索する方法では、上記の直線ＣＬ３の延長線上に複数の色Ｃ９が並んだ場合には、これらの色Ｃ９の中から、画素の色Ｃ７に最も遠い色を、この画素についての被写体色Ｃ１０として採用する。

このように被写体色が推定されると、この図４３に示すように、背景色推定部７３２ａで推定された背景色Ｃ７と、被写体色推定部７３２ｂで推定された被写体色Ｃ１０とを、ＲＧＢ色空間上で結ぶ線分の長さに対する、背景色Ｃ７と、その画素の色Ｃ８とを結ぶ線分の長さの割合を、背景色Ｃ７と被写体色Ｃ１０とで画素の色Ｃ８を合成するときの合成比αとして算出する。

そして、背景マスクのみを用いた背景置換では、以上に説明した探索範囲の設定から合成比の算出に至るまでの処理が、補正済みの順光撮影画像における、非背景マスクで定義される領域内の全ての画素について実行される。

以上説明した、背景色と被写体色と合成比との推定が終了すると、まず、補正済みの順光撮影画像における、背景マスクで定義される領域が、顧客が所望する別の背景に置換される。次に、補正済みの順光撮影画像における、非背景マスクで定義される領域内の全ての画素について、上記の図３９を参照して説明した方法で合成色が求められ、この非背景マスクで定義される領域内の全ての画素の色が合成色に置換されて、背景置換画像が完成される。

ここで、この非背景マスクで定義される領域内の、被写体のみで占められた部分の画素については、合成比αがほぼ「１」となり、背景が置換される際にも、その画素における被写体そのものの色が維持される。また、非背景マスクで定義される領域内の、背景のみで占められた部分の画素については、合成比αがほぼ「０」となり、背景が置換される際には、その画素の色が、別の背景色に完全に置換される。

以上、図４１〜図４３を参照して説明した、背景マスクのみを用いた背景置換によっても、上記の図１〜図４０を参照して説明した、撮影システム１と同様に、撮影画像における背景が所望の背景に自然に置換された背景置換画像を作成することができる。

次に、本発明の第２実施形態について説明する。

この第２実施形態は、上記の第１実施形態とは、撮影システムのうちの撮影スタジオの構成と、その撮影スタジオにおいて行なわれる撮影処理が異なっている。以下では、第２実施形態における、第１実施形態との相違点に注目して説明し、その他の、第１実施形態と同等な点については重複説明を省略する。

図４４は、本発明の撮影システムの第２実施形態を示す図である。

尚、この図４４では、図１と同等な構成要素については、図１と同じ符号が付され、この図４４を参照した以下の説明では、これらの構成要素についての重複説明を省略する。

この図４４に示す撮影システム２の撮影スタジオ５０では、ＥＬパネル１３０用の電源１５がデジタルカメラ１６に接続されている。

デジタルカメラ１６は、上述した第１実施形態と同様に、撮影者によって１回シャッタボタンが押下されると２回の撮影を連続して実行する。このとき、デジタルカメラ１６は、撮影の度に、まず、電源１５に向けて、その電源１５に対してＥＬパネル１３０を点灯させるように指示するパネル点灯指示信号を発信し、続いて、閃光発光装置１２に向けて、その閃光発光装置１２に対して閃光を発するように指示する閃光指示信号を発信する。

閃光発光装置１２は、１回目の閃光指示信号に応じて閃光を発するが、２回目の閃光指示信号には応じきれず消灯したままとなる。

ここで、電源１５は、上記のパネル点灯指示信号が２回連続して入力されるとＥＬパネル１３０を点灯させるように構成されている。

次に、このような撮影システム２で実行される作業の流れについて説明する。尚、以下の説明では、図４４に示す要素については特に図番を断らずに図４４中の符号を使って参照する。

図４５は、図４４の撮影システムで実行される作業の流れを示すフローチャートである。

尚、この図４５では、図３のフローチャートと同等な作業については、図３と同じ符号が付され、この図４５を参照した以下の説明では、これらの作業についての重複説明を省略する。

この図４５のフローチャートが示す作業は、撮影スタジオ５０において、被写体Ｐ、デジタルカメラ１６、および閃光発光装置１２がそれぞれ適当な位置に配置されており、また、ＥＬパネル１３０が消灯していることを前提として行なわれる。

撮影者が、ピントや露光の調節等を行なった後にデジタルカメラ１６のシャッタボタンを押すと、被写体Ｐに対する撮影が２回連続して行なわれる。まず１回目の撮影では、デジタルカメラ１６から発信される閃光指示信号に応じて閃光発光装置１２が閃光を発し、この閃光による順光状態で被写体Ｐが撮影される（ステップＳ２０１）。２回目の撮影の時には、まず、２回目のパネル点灯指示信号に応じて電源１５がＥＬパネル１３０を点灯させる（ステップＳ２０２）。そして、閃光発光装置１２が消灯しており、ＥＬパネル１３０を点灯している状態、即ち、ＥＬパネル１３０のみの照明による逆光状態で撮影が行なわれる（ステップＳ２０３）。

本実施形態において、このような撮影を行なう撮影スタジオ５０が、被写体を閃光発光装置１２およびＥＬパネル１３０のそれぞれで順次に照らして複数（本実施形態では２つ）の撮影条件を作成する、本発明にいう撮影条件作成部の一例に相当する。

上記のステップＳ２０３の処理によって、２回目の撮影が終了すると、デジタルカメラ１６内のメモリに一時的に保管された２つの撮影画像が直ちにパーソナルコンピュータ２０に渡される。そして、その後、これらの２つの撮影画像に基づいて、第１実施形態と同様の背景置換処理によって背景置換画像が作成され、表示画面２２０ａに表示される。また、この背景置換画像を表わす画像データに基づく、プリンタ３０でのプリント、および、顧客が希望する出力用記憶媒体への、その画像データの書込みのうちの少なくとも一方が実行される。

以上、図４４および図４５を参照して説明した、本発明の第２実施形態の撮影システム２でも、第１実施形態の撮影システム１と同様に、撮影画像における背景が所望の背景に自然に置換された背景置換画像を作成することができる。

次に、本発明の第３実施形態について説明する。

この第３実施形態は、撮影スタジオの構成と、その撮影スタジオにおいて行なわれる撮影処理と、背景置換装置として動作しているパーソナルコンピュータで実行される処理が、上記の第１実施形態とは部分的に異なる。以下では、第１実施形態との相違点に注目して説明し、同等な点については重複説明を省略する。

図４６は、本発明の撮影システムの第３実施形態を示す図である。

尚、この図４６では、図１に示す第１実施形態と同等な構成要素については、図１と同じ符号が付され、この図４６を参照した以下の説明では、これらの構成要素についての重複説明を省略する。

ここで、この図４６の撮影システム３には、図１に示す第１実施形態とは異なり、デジタルカメラおよびＥＬパネル用の電源として、図４４に示す第２実施形態における、点灯指示信号を発信するデジタルカメラ１６や点灯指示信号に応じて動作する電源１５と同等なデジタルカメラおよび電源が備えられている。図４６では、これらのデジタルカメラおよび電源については、図４４と同じ符号を付し重複説明を省略する。

以下、第１実施形態および第２実施形態の双方と本実施形態との相違点である、この図４６に示す撮影システム３の撮影スタジオ５５が備えている、閃光発光装置１７およびＥＬパネル１８０に注目して説明する。

撮影スタジオ５５が備えている閃光発光装置１７では、極めて短時間で充電が完了する。このため、この閃光発光装置１７は、デジタルカメラ１６によって上記のような連写が行なわれる際には、撮影の度に発信される閃光指示信号全てに応じて閃光を発することとなる。

また、撮影スタジオ５５が備えているＥＬパネル１８０では、筐体１３１内に収納された分散型ＥＬ素子１８１は、赤色の蛍光体粉末によって発光色が調整されている。このため、ＥＬパネル１８０の色は、消灯時には薄い赤色となり、発光時には、分散型ＥＬ素子の発光色である青緑色が調整された青色となる。このＥＬパネル１８０が、本発明にいう「色が変わる機能を持った背景パネル」の一例に相当する。

このような撮影システム３で実行される作業の流れについて説明する。尚、以下の説明では、図４６に示す要素については特に図番を断らずに図４６中の符号を使って参照する。

図４７は、図４６の撮影システムで実行される作業の流れを示すフローチャートである。

尚、この図４７では、図３のフローチャートと同等な作業については、図３と同じ符号が付され、この図４７を参照した以下の説明では、これらの作業についての重複説明を省略する。

この図４７のフローチャートが示す作業は、撮影スタジオ５０において、被写体Ｐ、デジタルカメラ１６、および閃光発光装置１７がそれぞれ適当な位置に配置されており、また、ＥＬパネル１３０が消灯していることを前提として行なわれる。

撮影者が、ピントや露光の調節等を行なった後にデジタルカメラ１６のシャッタボタンを押すと、被写体Ｐに対する撮影が２回連続して行なわれる。１回目の撮影では、デジタルカメラ１６から発信される閃光指示信号に応じて閃光発光装置１７が閃光を発し、この閃光による順光状態で被写体Ｐが撮影される（ステップＳ３０１）。また、この１回目の撮影（ステップＳ３０１）では、ＥＬパネル１８０が消灯しているため、被写体Ｐの背景が薄い赤色に写る。２回目の撮影の時には、まず、２回目のパネル点灯指示信号に応じて電源１５がＥＬパネル１８０を点灯させる（ステップＳ３０２）。そして、本実施形態では、２回目の撮影の時にも閃光発光装置１７が閃光を発し、この２回目の撮影が、その閃光とＥＬパネル１８０からの光の下で行なわれる（ステップＳ３０３）。閃光発光装置１７が発する閃光は、ＥＬパネル１８０の光よりも高輝度であり、この２回目の撮影も、その高輝度の閃光で、デジタルカメラ１６側から被写体Ｐが照らされるという順光状態での撮影となる。ただし、このときにはＥＬパネル１８０が発光しているため、被写体Ｐの背景が、青緑色が調整された青色に写る。つまり、この図４７におけるステップＳ３０１〜ステップＳ３０３の処理によって、背景の色が互いに異なる２つの撮影画像が得られる。

本実施形態では、上記のような撮影を行なう撮影スタジオ５５が、このＥＬパネル１８０の色を変更して複数（本実施形態では２つ）の撮影条件を作成する、本発明にいう撮影条件作成部の一例に相当する。

背景の色が互いに異なる２つの撮影画像が得られると、これら２つの撮影画像が、パーソナルコンピュータ２０に渡され（ステップＳ１０４）、各撮影画像に、次のような画像補正処理が施される（ステップＳ３０４）。

このステップＳ３０４で行なわれる画像補正処理は、上記の第１実施形態において、撮影画像に施される画像補正処理と同じであり、台形歪みの補正と、撮影画像からの不要部分の除去による有効画像の作成と、赤目補正や、画像全体の色合いを好ましい色合いに補正する等といった色補正処理である。ただし、上記の第１実施形態では、補正対象の２つの撮影画像のうちの１つが被写体の領域がシャドウ側に偏った逆光撮影画像であるため、この逆光撮影画像については上記の色補正処理が除外される。これに対し、この第３実施形態において、画像補正処理の対象となる２つの撮影画像は、２つとも順光撮影画像であるため、このステップＳ３０４の処理では、これら２つの撮影画像に対して、この色補正処理も含んだ、全く同じ内容の画像補正処理が施される。

次に、ステップＳ３０４の処理による補正済みの２つの撮影画像に基づいて、背景置換画像が作成され（ステップＳ３０５）、作成された背景置換画像の出力が行なわれる。

以下では、このステップＳ３０５で行なわれる、即ち、本実施形態における背景置換画像の作成処理について説明する。

まず、上記の補正済みの２つの撮影画像の例を以下に示す。

図４８は、１回目の撮影に基づく、補正済みの撮影画像の一例を示す図であり、図４９は、２回目の撮影に基づく、補正済み撮影画像の一例を示す図である。

これら図４８および図４９に示すように、２つの撮影画像は、背景に写っているＥＬパネル１８０の色以外は、ほぼ同じ画像である。即ち、前者の補正済み撮影画像（以降、第１撮影画像と呼ぶ）では、ＥＬパネル１８０が消灯しているため、背景の色が薄い赤色であり、後者の補正済み撮影画像（第２撮影画像と呼ぶ）では、ＥＬパネル１８０が点灯しているため、背景の色は青緑色が調整された青色である。

ここで、本実施形態における背景置換画像の作成処理では、まず、第１撮影画像を構成する各画素の、第２撮影画像において対応する位置の画素に対する色の変化量についてのヒストグラムが作成される。

図５０は、本発明の第３実施形態における背景置換画像の作成処理で作成されるヒストグラムの一例を示す図である。

本実施形態では、上記の色の変化量として、第１撮影画像を構成する各画素の、第２撮影画像において対応する位置の画素に対する色相の変化量が採用されている。図５０には、第１撮影画像を構成する各画素における上記の色相の変化量を、多数の範囲に振り分け、各範囲についてどれだけの画素が振り分けられたかを頻度で示した色相変化のヒストグラムＨ５が示されており、この色相変化のヒストグラムＨ５では、横軸Ｈ５＿１に色相の変化量がとられ、縦軸Ｈ５＿２に頻度がとられている。

本実施形態における背景置換画像の作成処理では、この色相変化のヒストグラムＨ５における２つのピークＰｋ３，Ｐｋ４それぞれに基づいて、次の２つの閾値が計算される。図５０に示すように色相の変化量が少ない図中左側のピークＰｋ３からは、このピークＰｋ３において、頻度が所定頻度以上となる色相の変化量の上限である第１の閾値Ｓｒ３が計算される。また、色相の変化量が多い図中右側のピークＰｋ４からは、このピークＰｋ４において、頻度が所定頻度以上となる色相の変化量の下限である第２の閾値Ｓｒ４が計算される。

そして、この背景置換画像の作成処理では、上記の第１撮影画像中の、色相の変化量が第１の閾値Ｓｒ３以下となる画素の領域を定義する初期被写体マスクが設定され、色相の変化量が第２の閾値Ｓｒ４以上となる画素の領域を定義する初期背景マスクが設定される。

本実施形態では、このように２つの初期マスクが設定されると、その後、これら２つの初期マスクを用いて背景置換画像が作成されるが、これら２つの初期マスクを用いた、この後の処理は、上述した第１実施形態における２つの初期マスクを用いた処理と同様な処理となるので重複説明を省略する。

このように作成された背景置換画像は、表示画面２２０ａに表示され、また、この背景置換画像を表わす画像データに基づく、プリンタ３０でのプリント、および、顧客が希望する出力用記憶媒体への、その画像データの書込みのうちの少なくとも一方が実行される。

以上、図４６〜図５０を参照して説明した、本発明の第３実施形態の撮影システム３でも、第１実施形態の撮影システム１と同様に、撮影画像における背景が所望の背景に自然に置換された背景置換画像を作成することができる。

尚、上記に説明した本発明の第３実施形態の撮影システム３では、図４７のフローチャートに示したように、２回の撮影が、いずれの回も閃光発光装置１７による閃光下で実行される。しかし、例えば乳幼児やペット等といった、瞬間的な閃光に驚いてしまうような被写体を撮影するに当たっては、このような閃光は無い方が好ましい。

上記の第３実施形態の撮影システム３では、閃光発光装置１７の電源を落とす、あるいはデジタルカメラ１１と閃光発光装置１７とを繋ぐケーブルを外す等といった方法で撮影時の閃光を無くし、その閃光に替えて、例えば高輝度の照明光や日光等といった定常的な光で被写体を照らす等といった簡単な工夫により、上記のような閃光が無い方が好ましい被写体に対処することができる。このような方法によれば、閃光が無い状態でも図４７のフローチャートでの撮影で得られるのと同様な、背景色が互いに異なる２枚の撮影画像が得られるので、後は、図４８〜図５０を参照して説明した方法により、被写体領域と背景領域と境界領域とを区別して、背景が所望の背景に自然に置換された背景置換画像を作成することができる。

次に、本発明の第４実施形態について説明する。

この第４実施形態は、撮影スタジオの構成と、その撮影スタジオにおいて行なわれる撮影処理と、背景置換装置として動作しているパーソナルコンピュータで実行される処理が、上記の第１実施形態とは部分的に異なる。以下では、第１実施形態との相違点に注目して説明し、同等な点については重複説明を省略する。

図５１は、本発明の撮影システムの第４実施形態を示す図である。

尚、この図５１では、図１に示す第１実施形態と同等な構成要素については、図１と同じ符号が付され、この図５１を参照した以下の説明では、これらの構成要素についての重複説明を省略する。

ここで、この図５１の撮影システム４には、図１に示す第１実施形態とは異なり、閃光発光装置として、図４６に示す第３実施形態における閃光発光装置１７と同等な、充電時間の短い閃光発光装置が備えられている。図５１では、この閃光発光装置については、図４６と同じ符号を付し重複説明を省略する。

以下、第１実施形態および第３実施形態の双方と本実施形態との相違点である、この図５１に示す撮影システム４の撮影スタジオ６０が備えている、照明パネル１９０、その照明パネル１９０用の電源８１、およびデジタルカメラ８２に注目して説明する。

この図５１に示す撮影システム４の撮影スタジオ６０は、被写体Ｐを背後から照らす、本発明にいう照明装置の一例として、後述の照明パネル１９０を備えている。さらに、撮影スタジオ６０は、その照明パネル１９０用の電源８１と、シャッタボタンの１回の押下について２回撮影を行なうとともに、撮影の度に、閃光発光装置１７に向かって上記の閃光指示信号を発信し、電源８１に向かって、照明パネル１９０を点灯するように指示する点灯指示信号を発信するデジタルカメラ８２を備えている。ここで、電源８１は、点灯指示信号が２回連続して入力されると照明パネル１９０を点灯させるように構成されている。

図５２は、図５１に示す照明パネルの内部構造を示す図である。

この照明パネル１９０は、被写体Ｐが載る載置面１９１ａと被写体Ｐの背後の面１９１ｂとを有する筐体１９１、および、その筐体１９１内に並べられて収納された複数の蛍光灯１９２からなる。ここで、筐体１９１の２つの面１９１ａ，１９１ｂは、蛍光灯１９２の光を拡散させて、被写体Ｐを一様に照らす拡散板の役割を担っている。また、被写体Ｐの背後の面１９１ｂの四隅には４つのマーカ１９１ｃが配置されている。これら４つのマーカ１９１ｃが果たす役割は、上述した第１実施形態におけるマーカ１３１ｃが果たす役割と同じであるので重複説明を省略する。

以上、図５１および図５２を参照して説明した、撮影システム４で実行される作業の流れについて説明する。尚、以下の説明では、図５１および図５２に示す要素については特に図番を断らずに各図中の符号を使って参照する。

図５３は、図５１の撮影システムで実行される作業の流れを示すフローチャートである。

尚、この図５３では、図３のフローチャートと同等な作業については、図３と同じ符号が付され、この図５３を参照した以下の説明では、これらの作業についての重複説明を省略する。

この図５３のフローチャートが示す作業は、撮影スタジオ６０において、被写体Ｐ、デジタルカメラ８２、および閃光発光装置１７がそれぞれ適当な位置に配置されており、また、照明パネル１９０が消灯していることを前提として行なわれる。

撮影者が、ピントや露光の調節等を行なった後にデジタルカメラ８２のシャッタボタンを押すと、被写体Ｐに対する撮影が２回連続して行なわれる。１回目の撮影では、デジタルカメラ８２から発信される閃光指示信号に応じて閃光発光装置１７が閃光を発し、この閃光による順光状態で被写体Ｐが撮影される（ステップＳ４０１）。また、この１回目の撮影（ステップＳ４０１）では、照明パネル１９０が消灯しているため、被写体Ｐの背景が暗く写る。２回目の撮影の時には、まず、２回目の点灯指示信号に応じて電源１５が照明パネル１９０を点灯させる（ステップＳ４０２）。そして、本実施形態では、２回目の撮影の時にも閃光発光装置１７が閃光を発し、この２回目の撮影が、その閃光と照明パネル１９０からの光の下で行なわれる（ステップＳ４０３）。この２回目の撮影も、デジタルカメラ８２側から高輝度の閃光で被写体Ｐが照らされるので、順光状態での撮影となる。ただし、このときには照明パネル１９０が発光しているため、被写体Ｐの背景が明るく写る。つまり、この図５３におけるステップＳ４０１〜ステップＳ４０３の処理によって、背景の明るさが互いに異なる２つの撮影画像が得られる。

本実施形態において、このような撮影を行なう撮影スタジオ６０が、照明パネル１９０で被写体を照らす光の明るさを変更して複数（本実施形態では２つ）の撮影条件を作成する、本発明にいう撮影条件作成部の一例に相当する。

背景の明るさが互いに異なる２つの撮影画像が得られると、これら２つの撮影画像が、パーソナルコンピュータ２０に渡され（ステップＳ１０４）、これら２つの撮影画像に対して、上記の第３実施形態と同様に、上記の色補正処理も含んだ、全く同じ内容の画像補正処理が施される（ステップＳ４０４）。

次に、ステップＳ４０４の処理による補正済みの２つの撮影画像に基づいて、背景置換画像が作成され（ステップＳ４０５）、作成された背景置換画像の出力が行なわれる。

以下では、このステップＳ４０５で行なわれる、即ち、本実施形態における背景置換画像の作成処理について説明する。

まず、上記の補正済みの２つの撮影画像の例を以下に示す。

図５４は、１回目の撮影に基づく、補正済みの撮影画像の一例を示す図であり、図５５は、２回目の撮影に基づく、補正済み撮影画像の一例を示す図である。

これら図５４および図５５に示すように、２つの撮影画像は、背景に写っている照明パネル１９０の明るさ以外は、ほぼ同じ画像である。即ち、前者の補正済み撮影画像（以降、第１撮影画像と呼ぶ）では、照明パネル１９０が消灯しているため、背景が暗く、後者の補正済み撮影画像（第２撮影画像と呼ぶ）では、照明パネル１９０が点灯しているため、背景が明るくなっている。

ここで、本実施形態における背景置換画像の作成処理では、まず、第１撮影画像を構成する各画素の、第２撮影画像において対応する位置の画素に対する明るさの変化量についてのヒストグラムが作成される。

図５６は、本発明の第４実施形態における背景置換画像の作成処理で作成されるヒストグラムの一例を示す図である。

本実施形態では、上記の明るさの変化量として、第１撮影画像を構成する各画素の、第２撮影画像において対応する位置の画素に対する輝度の変化量が採用されている。図５６には、第１撮影画像を構成する各画素における上記の輝度の変化量を、多数の範囲に振り分け、各範囲についてどれだけの画素が振り分けられたかを頻度で示した輝度変化のヒストグラムＨ６が示されており、この輝度変化のヒストグラムＨ６では、横軸Ｈ６＿１に輝度の変化量がとられ、縦軸Ｈ６＿２に頻度がとられている。

本実施形態における背景置換画像の作成処理では、この輝度変化のヒストグラムＨ６における２つのピークＰｋ５，Ｐｋ６それぞれに基づいて、次の２つの閾値が計算される。図５６に示すように輝度の変化量が少ない図中左側のピークＰｋ５からは、このピークＰｋ５において、頻度が所定頻度以上となる輝度の変化量の上限である第１の閾値Ｓｒ５が計算される。また、輝度の変化量が多い図中右側のピークＰｋ６からは、このピークＰｋ６において、頻度が所定頻度以上となる輝度の変化量の下限である第２の閾値Ｓｒ６が計算される。

そして、この背景置換画像の作成処理では、上記の第１撮影画像中の、輝度の変化量が第１の閾値Ｓｒ５以下となる画素の領域を定義する初期被写体マスクが設定され、輝度の変化量が第２の閾値Ｓｒ６以上となる画素の領域を定義する初期背景マスクが設定される。

本実施形態では、このように２つの初期マスクが設定されると、その後、これら２つの初期マスクを用いて背景置換画像が作成されるが、これら２つの初期マスクを用いた、この後の処理は、上述した第１実施形態における２つの初期マスクを用いた処理と同様な処理となるので重複説明を省略する。

このように作成された背景置換画像は、表示画面２２０ａに表示され、また、この背景置換画像を表わす画像データに基づく、プリンタ３０でのプリント、および、顧客が希望する出力用記憶媒体への、その画像データの書込みのうちの少なくとも一方が実行される。

以上、図５１〜図５６を参照して説明した、本発明の第４実施形態の撮影システム４でも、第１実施形態の撮影システム１と同様に、撮影画像における背景が所望の背景に自然に置換された背景置換画像を作成することができる。

次に、本発明の第５実施形態について説明する。

この第５実施形態は、撮影スタジオの構成と、背景置換装置として動作しているパーソナルコンピュータで実行される処理が、上記の第１実施形態とは部分的に異なる。以下では、第１実施形態との相違点に注目して説明し、同等な点については重複説明を省略する。

図５７は、本発明の撮影システムの第５実施形態を示す図である。

尚、この図５７では、図１に示す第１実施形態と同等な構成要素については、図１と同じ符号が付され、この図５７を参照した以下の説明では、これらの構成要素についての重複説明を省略する。

ここで、この図５７の撮影システム５には、図１に示す第１実施形態とは異なり、図５１に示す第４実施形態における照明パネル１９０と同等な照明パネルが備えられている。図５７では、この照明パネルについては、図５１と同じ符号を付し重複説明を省略する。

この図５７に示す撮影システム５の撮影スタジオ６５は、図１に示す第１実施形態と同等な閃光発光装置１２を備えている。この閃光発光装置１２は、上述したように、充電に時間がかかるため、デジタルカメラ１１が上記のような連写を行なう際には、１回目の撮影のときにのみ閃光を発し、２回目の撮影のときには消灯したままとなる。

また、この撮影スタジオ６５が備えている、照明パネル１９０用の電源８３は、人手によって操作されるものである。

このような撮影システム５で実行される作業の流れについて説明する。尚、以下の説明では、図５７に示す要素については特に図番を断らずに図５７中の符号を使って参照する。

図５８は、図５７の撮影システムで実行される作業の流れを示すフローチャートである。

尚、この図５８では、図３のフローチャートと同等な作業については、図３と同じ符号が付され、この図５８を参照した以下の説明では、これらの作業についての重複説明を省略する。

この図５８のフローチャートが示す作業は、撮影スタジオ６５において、被写体Ｐ、デジタルカメラ１１、および閃光発光装置１２がそれぞれ適当な位置に配置されていることを前提として行なわれる。

まず、電源８３が操作されて、その電源８３から照明パネル１９０に電圧が印加され、照明パネル１９０が点灯する（ステップＳ５０１）。その後、撮影スタジオ６５では、閃光発光装置１２が発する、照明パネル１９０の照明よりも高輝度の閃光による順光状態での撮影（ステップＳ５０２）と、照明パネル１９０のみの照明による逆光状態での撮影（ステップＳ５０３）とが連続して行なわれる。

本実施形態において、このような撮影を行なう撮影スタジオ６５が、照明パネル１９０による照明の定常的な存在と、閃光発光装置１２の閃光による照明の有無とによって複数（本実施形態では２つ）の撮影条件を作成する、本発明にいう撮影条件作成部の一例に相当する。

ここで、照明パネル１９０の発光時の輝度は、閃光発光装置１２からの閃光の影響を打ち消す程度に強い。この結果、上記の順光状態での撮影（ステップＳ５０２）と逆光状態での撮影（ステップＳ５０３）とで、背景の明るさは互いにほぼ同等で、被写体の明るさが互いに異なる２つの撮影画像が得られる。

ステップＳ５０１〜ステップＳ５０３の処理によって、順光撮影画像と逆光撮影画像という２つの撮影画像が得られると、これら２つの撮影画像が、パーソナルコンピュータ２０に渡される（ステップＳ１０４）。そして、上記の第１実施形態と同様に、順光撮影画像に対しては、台形歪みの補正と、撮影画像からの不要部分の除去による有効画像の作成と、赤目補正や、画像全体の色合いを好ましい色合いに補正する等といった色補正処理が施され、逆光撮影画像に対しては、色補正処理を除いて、順光撮影画像に対して施される画像補正処理と全く同じ画像補正処理が施される（ステップＳ１０５）。

次に、ステップＳ１０５の処理による補正済みの２つの撮影画像に基づいて、背景置換画像が作成され（ステップＳ５０４）、作成された背景置換画像の出力が行なわれる。

以下では、このステップＳ５０４で行なわれる、即ち、本実施形態における背景置換画像の作成処理について説明する。

まず、上記の補正済みの２つの撮影画像の例を以下に示す。

図５９は、１回目の撮影に基づく、補正済みの撮影画像の一例を示す図であり、図６０は、２回目の撮影に基づく、補正済み撮影画像の一例を示す図である。

これら図５９および図６０に示すように、２つの撮影画像は、被写体Ｐの明るさ以外は、ほぼ同じ画像である。即ち、前者の補正済み撮影画像（以降、第１撮影画像と呼ぶ）は、順光状態で得られた撮影画像であるため、画像中の被写体が明るく、後者の補正済み撮影画像（第２撮影画像と呼ぶ）は、逆光状態で得られた撮影画像であるため、画像中の被写体が暗くなっている。

ここで、本実施形態における背景置換画像の作成処理では、まず、第１撮影画像を構成する各画素の、第２撮影画像において対応する位置の画素に対する明るさの変化量についてのヒストグラムが作成される。

図６１は、本発明の第５実施形態における背景置換画像の作成処理で作成されるヒストグラムの一例を示す図である。

本実施形態では、上記の明るさの変化量として、第１撮影画像を構成する各画素の、第２撮影画像において対応する位置の画素に対する輝度の変化量が採用されている。図６１には、第１撮影画像を構成する各画素における上記の輝度の変化量を、多数の範囲に振り分け、各範囲についてどれだけの画素が振り分けられたかを頻度で示した輝度変化のヒストグラムＨ７が示されており、この輝度変化のヒストグラムＨ７では、横軸Ｈ７＿１に輝度の変化量がとられ、縦軸Ｈ７＿２に頻度がとられている。

本実施形態における背景置換画像の作成処理では、この輝度変化のヒストグラムＨ７における２つのピークＰｋ７，Ｐｋ８それぞれに基づいて、次の２つの閾値が計算される。図６１に示すように輝度の変化量が少ない図中左側のピークＰｋ７からは、このピークＰｋ７において、頻度が所定頻度以上となる輝度の変化量の上限である第１の閾値Ｓｒ７が計算される。また、輝度の変化量が多い図中右側のピークＰｋ８からは、このピークＰｋ８において、頻度が所定頻度以上となる輝度の変化量の下限である第２の閾値Ｓｒ８が計算される。

そして、この背景置換画像の作成処理では、上記の第１撮影画像中の、輝度の変化量が第１の閾値Ｓｒ７以下となる画素の領域を定義する初期背景マスクが設定され、輝度の変化量が第２の閾値Ｓｒ８以上となる画素の領域を定義する初期被写体マスクが設定される。

本実施形態では、このように２つの初期マスクが設定されると、その後、これら２つの初期マスクを用いて背景置換画像が作成されるが、これら２つの初期マスクを用いた、この後の処理は、上述した第１実施形態における２つの初期マスクを用いた処理と同様な処理となるので重複説明を省略する。

このように作成された背景置換画像は、表示画面２２０ａに表示され、また、この背景置換画像を表わす画像データに基づく、プリンタ３０でのプリント、および、顧客が希望する出力用記憶媒体への、その画像データの書込みのうちの少なくとも一方が実行される。

以上、図５７〜図６１を参照して説明した、本発明の第５実施形態の撮影システム５でも、第１実施形態の撮影システム１と同様に、撮影画像における背景が所望の背景に自然に置換された背景置換画像を作成することができる。

次に、本発明の第６実施形態について説明する。

この第６実施形態は、撮影スタジオの構成と、その撮影スタジオにおいて行なわれる撮影処理と、背景置換装置として動作しているパーソナルコンピュータで実行される処理が、上記の第１実施形態とは部分的に異なる。以下では、第１実施形態との相違点に注目して説明し、同等な点については重複説明を省略する。

図６２は、本発明の撮影システムの第６実施形態を示す図である。

尚、この図６２では、図１に示す第１実施形態と同等な構成要素については、図１と同じ符号が付され、この図６２を参照した以下の説明では、これらの構成要素についての重複説明を省略する。

以下、第１実施形態と本実施形態との相違点である、この図６２に示す撮影システム６の撮影スタジオ９０が備えている閃光発光装置８４、デジタルカメラ８５、および背景パネル８６に注目して説明する。

この撮影スタジオ９０は、閃光の偏光状態を変える偏光板８４ａを有する、充電時間の短い閃光発光装置８４を備えている。この閃光発光装置８４の偏光板８４ａは、基本的には、閃光を、第１の向きの直線偏光に変える。ただし、後述の偏光切換信号を受信すると、閃光を、第１の向きに直交した第２の向きの直線偏光に変える。

この撮影スタジオ９０が備えているデジタルカメラ８５は、上述した第１実施形態と同様に、撮影者によって１回シャッタボタンが押下されると２回の撮影を連続して実行する。このとき、デジタルカメラ８５は、撮影の度に、閃光発光装置８４の本体８４ｂに向けて、その本体８４ｂに対して閃光を発するように指示する閃光指示信号を発信する。ただし、２回目に閃光指示信号を発信するときには、まず、閃光発光装置８４の偏光板８４ａに向けて、その偏光板８４ａに対して閃光の偏光状態を変えるように指示する偏光切換信号を発信した後に、閃光指示信号を発信する。これにより、閃光発光装置８４は、１回目の撮影時には、第１の向きに偏光した閃光を発し、２回目の撮影時には、第２の向きに偏光した閃光を発することとなる。

また、この撮影スタジオ９０は、被写体Ｐが載る載置面８６ａと、被写体Ｐの背後の面８６ｂとのそれぞれにおいて、偏光状態の違いによって反射光の明るさが異なる背景パネル８６を備えている。この背景パネル８６の２つの面８６ａ，８６ｂは、ともに、第１の向きに偏光した光を弱く反射し、第２の向きに偏光した光を強く反射する。また、被写体Ｐの背後の面８６ｂの四隅には４つのマーカ８６ｃが配置されている。これら４つのマーカ８６ｃが果たす役割は、上述した第１実施形態におけるマーカ１３１ｃが果たす役割と同じであるので重複説明を省略する。

ここで、本実施形態における閃光発光装置８４が、本発明にいう「閃光の偏光状態を変える機能を持った閃光発光装置」の一例に相当し、背景パネル８６が、本発明にいう「偏光状態の違いによって反射光の明るさが異なる背景パネル」の一例に相当する。

このような撮影システム６で実行される作業の流れについて説明する。尚、以下の説明では、図６２に示す要素については特に図番を断らずに図６２中の符号を使って参照する。

図６３は、図６２の撮影システムで実行される作業の流れを示すフローチャートである。

尚、この図６３では、図３のフローチャートと同等な作業については、図３と同じ符号が付され、この図６３を参照した以下の説明では、これらの作業についての重複説明を省略する。

この図６３のフローチャートが示す作業は、撮影スタジオ９０において、被写体Ｐ、デジタルカメラ８５、および閃光発光装置８４がそれぞれ適当な位置に配置されていることを前提として行なわれる。

撮影者が、ピントや露光の調節等を行なった後にデジタルカメラ８５のシャッタボタンを押すと、被写体Ｐに対する撮影が２回連続して行なわれる。１回目の撮影では、デジタルカメラ８５から発信される閃光指示信号に応じて閃光発光装置８４が閃光を発し、被写体Ｐが撮影される（ステップＳ６０１）。また、この１回目の撮影（ステップＳ６０１）では、閃光が第１の向きに偏光した光であり、背景パネル８６がこの閃光を弱く反射するので、被写体Ｐの背景が暗く写る。２回目の撮影の時には、まず、上記の偏光切換信号に応じて、閃光発光装置８４の偏光板８４ａが、閃光を第２の向きの直線偏光に変えるようにセットされる（ステップＳ６０２）。そして、閃光指示信号に応じて閃光発光装置８４が閃光を発し、２回目の撮影が行なわれる（ステップＳ６０３）。この２回目の撮影（ステップＳ６０３）では、閃光が第２の向きに偏光した光であり、背景パネル８６がこの閃光を強く反射するので、被写体Ｐの背景が明るく写る。つまり、この図６３におけるステップＳ６０１〜ステップＳ６０３の処理によって、背景の明るさが互いに異なる２つの撮影画像が得られる。

本実施形態において、このような撮影を行なう撮影スタジオ９０が、閃光発光装置８４による、互いに偏光状態が異なる複数回の閃光（本実施形態では２回）によって複数（本実施形態では２つ）の撮影条件を作成する、本発明にいう撮影条件作成部の一例に相当する。

背景の明るさが互いに異なる２つの撮影画像が得られると、これら２つの撮影画像が、パーソナルコンピュータ２０に渡され（ステップＳ１０４）、これら２つの撮影画像に対して、上記の第３および第４実施形態と同様に、上記の色補正処理も含んだ、全く同じ内容の画像補正処理が施される（ステップＳ６０４）。

次に、ステップＳ６０４の処理による補正済みの２つの撮影画像に基づいて、背景置換画像が作成され（ステップＳ６０５）、作成された背景置換画像の出力が行なわれる。

以下では、このステップＳ６０５で行なわれる、即ち、本実施形態における背景置換画像の作成処理について説明する。

まず、上記の補正済みの２つの撮影画像の例を以下に示す。

図６４は、１回目の撮影に基づく、補正済みの撮影画像の一例を示す図であり、図６５は、２回目の撮影に基づく、補正済み撮影画像の一例を示す図である。

これら図６４および図６５に示すように、２つの撮影画像は、背景に写っている背景パネル８６の明るさ以外は、ほぼ同じ画像である。即ち、前者の補正済み撮影画像（以降、第１撮影画像と呼ぶ）では、背景パネル８６が撮影時の閃光を弱く反射したため、背景が暗く、後者の補正済み撮影画像（第２撮影画像と呼ぶ）では、背景パネル８６が撮影時の閃光を強く反射したため、背景が明るくなっている。

ここで、本実施形態における背景置換画像の作成処理では、まず、第１撮影画像を構成する各画素の、第２撮影画像において対応する位置の画素に対する明るさの変化量についてのヒストグラムが作成される。

図６６は、本発明の第６実施形態における背景置換画像の作成処理で作成されるヒストグラムの一例を示す図である。

本実施形態では、上記の明るさの変化量として、第１撮影画像を構成する各画素の、第２撮影画像において対応する位置の画素に対する輝度の変化量が採用されている。図６６には、第１撮影画像を構成する各画素における上記の輝度の変化量を、多数の範囲に振り分け、各範囲についてどれだけの画素が振り分けられたかを頻度で示した輝度変化のヒストグラムＨ８が示されており、この輝度変化のヒストグラムＨ８では、横軸Ｈ８＿１に輝度の変化量がとられ、縦軸Ｈ８＿２に頻度がとられている。

本実施形態における背景置換画像の作成処理では、この輝度変化のヒストグラムＨ８における２つのピークＰｋ９，Ｐｋ１０それぞれに基づいて、次の２つの閾値が計算される。図６６に示すように輝度の変化量が少ない図中左側のピークＰｋ９からは、このピークＰｋ９において、頻度が所定頻度以上となる輝度の変化量の上限である第１の閾値Ｓｒ９が計算される。また、輝度の変化量が多い図中右側のピークＰｋ１０からは、このピークＰｋ１０において、頻度が所定頻度以上となる輝度の変化量の下限である第２の閾値Ｓｒ１０が計算される。

そして、この背景置換画像の作成処理では、上記の第１撮影画像中の、輝度の変化量が第１の閾値Ｓｒ９以下となる画素の領域を定義する初期被写体マスクが設定され、輝度の変化量が第２の閾値Ｓｒ１０以上となる画素の領域を定義する初期背景マスクが設定される。

本実施形態では、このように２つの初期マスクが設定されると、その後、これら２つの初期マスクを用いて背景置換画像が作成されるが、これら２つの初期マスクを用いた、この後の処理は、上述した第１実施形態における２つの初期マスクを用いた処理と同様な処理となるので重複説明を省略する。

このように作成された背景置換画像は、表示画面２２０ａに表示され、また、この背景置換画像を表わす画像データに基づく、プリンタ３０でのプリント、および、顧客が希望する出力用記憶媒体への、その画像データの書込みのうちの少なくとも一方が実行される。

以上、図６２〜図６６を参照して説明した、本発明の第６実施形態の撮影システム６でも、第１実施形態の撮影システム１と同様に、撮影画像における背景が所望の背景に自然に置換された背景置換画像を作成することができる。

次に、本発明の第７実施形態について説明する。

この第７実施形態は、撮影スタジオの構成が、上記の第１実施形態とは部分的に異なる。以下では、第１実施形態との相違点に注目して説明し、同等な点については重複説明を省略する。

図６７は、本発明の撮影システムの第７実施形態を示す図である。

尚、この図６７では、図１に示す第１実施形態と同等な構成要素については、図１と同じ符号が付され、この図６７を参照した以下の説明では、これらの構成要素についての重複説明を省略する。

以下、第１実施形態と本実施形態との相違点である、この図６７に示す撮影システム７の撮影スタジオ９５が備えているデジタルカメラ８７および３つの閃光発光装置８８ａ，８８ｂ，８８ｃに注目して説明する。

この撮影スタジオ９５は、閃光の光量が可変の３つの閃光発光装置８８ａ，８８ｂ，８８ｃを備えている。これら３つの閃光発光装置８８ａ，８８ｂ，８８ｃは、パーソナルコンピュータ２０に接続されている。ここで、これら３つの閃光発光装置８８ａ，８８ｂ，８８ｃを合わせたものが、本発明にいう発光装置の一例に相当する。

本実施形態では、サーバ４０に格納されている複数の置換用の背景それぞれには、被写体を照らす光の方向や明るさといった条件を表わす光情報が付与されている。この光情報が、本発明にいう「光情報」の一例に相当する。

例えば、画像中の右側から光が差している背景については、被写体を右側からの光で照らすという条件を表わす光情報が付与される。また、例えば、夕景や曇天等といった暗い背景については、被写体を暗めの光で照らすという条件を表わす光情報が付与される。

パーソナルコンピュータ２０において、撮影画像中の背景と置換する、顧客が所望する別の背景が決定されると、３つの閃光発光装置８８ａ，８８ｂ，８８ｃそれぞれにおけるオン/オフ状態や光量等といった発光条件が、その決定された置換用の背景に付与された光情報が表わす条件を最大限実現できるような発光条件に決定される。そして、パーソナルコンピュータ２０から各閃光発光装置に対して、それぞれ決定された発光条件が示すオン／オフ状態や光量で閃光を発するように指示する指示信号が送られる。

デジタルカメラ８７は、上述した第１実施形態と同様に、撮影者によって１回シャッタボタンが押下されると２回の撮影を連続して実行する。このとき、デジタルカメラ８７は、撮影の度に、各閃光発光装置に向けて、閃光を発するように指示する閃光指示信号を発信する。これにより、３つの閃光発光装置８８ａ，８８ｂ，８８ｃは、それぞれ１回目の撮影時に、パーソナルコンピュータ２０から指示されたオン／オフ状態や光量で閃光を発する。その結果、その１回目の撮影によって、置換用の背景に応じた閃光で被写体が照らされた順光撮影画像が得られる。そして、その順光撮影画像を使って背景置換画像が作成することにより、背景に適した自然な光で照らされた被写体が写った自然な背景置換画像が容易に作成されることとなる。

尚、上記では、本発明の撮影システムの一実施形態として、１回目の撮影時に閃光発光装置１２が閃光を発し、２回目の撮影時には閃光発光装置１２が消灯していることにより、順光撮影と逆光撮影とをこの順序で連続して行なうという撮影システム１を挙げて説明したが、本発明はこれに限るものではなく、本発明の撮影システムは、例えば、順光撮影と逆光撮影とをこの順序とは逆の順序で連続して行なうというものであっても良い。このような形態の撮影システムは、例えば、上記の実施形態において、デジタルカメラから閃光発光装置に向けて１回の撮影の度に発信される、閃光発光装置に閃光を発するように指示する指示信号を、１回目の撮影時には遮断し、２回目の撮影時には通過させる遮断回路等を、上記の実施形態においてデジタルカメラと閃光発光装置とを繋ぐ上記の指示信号の伝送ライン上に設置することにより構築される。

また、上記では、本発明にいう閃光発光装置の一例として、１回発光すると、次に発光できるようになるまで充電に時間がかかり、撮影が２回連続して行なわれるときには、１回目の撮影時にのみ閃光を発するという閃光発光装置１２を挙げて説明したが、本発明はこれに限るものではない。本発明の閃光発光装置は、例えば、充電が極めて短時間で済み、撮影が２回連続して行なわれるときに、２回とも閃光を発することができるような高速型の閃光発光装置であっても良い。ただし、このような高速型の閃光発光装置を用いる場合にも、不要な指示信号を遮断する上記のような遮断回路等が必要となる。

また、上記では、本発明にいう撮影装置の一例としてデジタルカメラ１１を挙げて説明したが、本発明はこれに限るものではなく、本発明の撮影装置は、フィルム上に画像を撮影するフィルムカメラ等であっても良い。この場合、フィルム上の撮影画像は、例えばフィルムスキャナ等で画像データとして読み取られて、背景置換装置として動作するパーソナルコンピュータ２０に供給されることとなる。

また、上記では、本発明の撮影システムの一実施形態として、デジタルカメラ１１が、背景置換装置として動作するパーソナルコンピュータ２０に接続されており、このデジタルカメラ１１で得られた撮影画像が、撮影後に直ちにこのパーソナルコンピュータ２０に渡されるという撮影システム１を挙げて説明したが、本発明はこれに限るものではない。本発明の撮影システムは、例えば、撮影画像がデジタルカメラにおいて小型記憶メディアに記憶され、その小型記憶メディアが、人手で、背景置換装置として動作するパーソナルコンピュータにセットされることによって、撮影画像がこのパーソナルコンピュータに渡されるというもの等であっても良い。

また、上記では、本発明にいう「色が変わる機能を持った背景パネル」の一例として、ＥＬパネルを例示して説明したが、本発明はこれに限るものではなく、本発明にいう「色が変わる機能を持った背景パネル」は、例えば、発光色の互いに異なる複数種類のＬＥＤや発光色の互いに異なる複数種類の蛍光灯等といった、発光色の互いに異なる複数種類の光源の、それぞれが均一に分布した２次元的な配列が、各光源の光を拡散させる拡散板で覆われてなるパネル光源等であっても良い。このパネル光源は、発光させる光源の種類を切り換えることで色を変更する。

また、上記では本発明にいう照明装置の一例として、分散型ＥＬ素子を光源とするＥＬパネルと、蛍光灯を光源とする照明パネルとを例示したが、本発明はこれらに限るものではなく、本発明の照明装置は、例えば、ＬＥＤや冷陰極管等を光源としたもの等であっても良い。

また、上記では、本発明にいう背景置換装置の一例として、補正済みの逆光撮影画像を構成する各画素の明るさについてのヒストグラムとして、各画素の色を表わすＲ値、Ｇ値、およびＢ値のうちのＧ値についてのヒストグラムを作成する背景置換装置７００を例示したが、本発明はこれに限るものではない。本発明の背景置換装置は、Ｒ値についてのヒストグラムを作成するものであっても良く、あるいは、Ｂ値についてのヒストグラムを作成するものであっても良く、あるいは、各画素の輝度についてのヒストグラムを作成するものであっても良い。

また、上記では、本発明にいう背景置換装置の一例として、２つの撮影画像のうちの１つの撮影画像を構成する各画素の、もう一方の撮影画像において対応する位置の画素に対する色の変化量についてのヒストグラムとして、色相の変化量についてのヒストグラムを作成する例を示したが、本発明はこれに限るものではない。本発明の背景置換装置は、２つの撮影画像のうちの１つの撮影画像を構成する各画素の、もう一方の撮影画像において対応する位置の画素に対する色の変化量についてのヒストグラムとして、Ｒ値の変化量についてのヒストグラムを作成するものであっても良く、あるいは、Ｇ値の変化量についてのヒストグラムを作成するものであっても良く、あるいは、Ｂ値の変化量についてのヒストグラムを作成するものであっても良い。

また、上記では、本発明にいう背景置換装置の一例として、２つの撮影画像のうちの１つの撮影画像を構成する各画素の、もう一方の撮影画像において対応する位置の画素に対する明るさの変化量についてのヒストグラムとして、輝度の変化量についてのヒストグラムを作成する例を示したが、本発明はこれに限るものではない。本発明の背景置換装置は、２つの撮影画像のうちの１つの撮影画像を構成する各画素の、もう一方の撮影画像において対応する位置の画素に対する明るさの変化量についてのヒストグラムとして、Ｒ値の変化量についてのヒストグラムを作成するものであっても良く、あるいは、Ｇ値の変化量についてのヒストグラムを作成するものであっても良く、あるいは、Ｂ値の変化量についてのヒストグラムを作成するものであっても良い。

Claims (24)

1. 被写体を撮影して撮影画像を取得する撮影装置と、
   前記被写体に向けて閃光を発する閃光発光装置と、
   前記被写体を、該被写体を挟んで前記撮影装置とは反対側に位置する面からの光で照らす照明装置と、
   前記閃光発光装置および前記照明装置によって作られる複数の撮影光条件それぞれの下で前記撮影装置によって共通の被写体が撮影されて得られた複数の撮影画像を取得し、該撮影画像に基づいて、撮影画像中の被写体と背景とを区別し、該背景を別の背景に置換する背景置換装置とを備えたことを特徴とする撮影システム。
2. 前記撮影装置が、前記被写体を、所定時間内に複数回撮影することで前記複数の撮影画像を得るものであることを特徴とする請求項１記載の撮影システム。
3. 前記照明装置が、可撓性の発光シートで前記被写体を照らすものであることを特徴とする請求項１記載の撮影システム。
4. 前記照明装置が、前記被写体を挟んで前記撮影装置とは反対側から該被写体の下側まで延びた発光シートで、該被写体を照らすものであることを特徴とする請求項１記載の撮影システム。
5. 前記照明装置が、分散型エレクトロルミネセンス素子で前記被写体を照らすものであることを特徴とする請求項１記載の撮影システム。
6. 前記照明装置が、前記面の範囲を示すマーカを有するものであることを特徴とする請求項１記載の撮影システム。
7. 前記照明装置が、青から緑の間の色の光で前記被写体を照らすものであることを特徴とする請求項１記載の撮影システム。
8. 前記照明装置が、前記閃光発光装置が発する閃光の輝度以下の輝度の光で前記被写体を照らすものであることを特徴とする請求項１記載の撮影システム。
9. 前記閃光発光装置が、一度閃光を発すると、次に閃光を発するためには所定の準備時間を要するものであり、
   前記撮影装置が、前記被写体を、前記準備時間内に複数回撮影することで前記複数の撮影画像を得るものであることを特徴とする請求項１記載の撮影システム。
10. 前記照明装置が、前記面からの光を透過させるカラーフィルタを備えたものであることを特徴とする請求項１記載の撮影システム。
11. 前記照明装置が、前記面からの光を透過させる、該光の色と同じ色のカラーフィルタを備えたものであることを特徴とする請求項１記載の撮影システム。
12. 前記照明装置が、前記被写体側から前記面に向かう光の反射を防止する反射防止膜を備えたものであることを特徴とする請求項１記載の撮影システム。
13. 前記背景置換装置が、前記撮影画像における前記面の範囲を、該面からの光の有無によって認識し、その範囲内の画像部分を使って撮影画像中の被写体と背景とを区別するものであることを特徴とする請求項１記載の撮影システム。
14. 被写体を撮影して撮影画像を取得する撮影装置と、
    光に関する複数の撮影条件を作る撮影条件作成部と、
    前記撮影条件作成部で作成された複数の撮影条件それぞれの下で、前記撮影装置によって共通の被写体が撮影されて得られた複数の撮影画像を取得し、該撮影画像に基づいて、撮影画像中の被写体領域と背景領域と境界領域とを区別し、その区別した３つの領域に基づいて撮影画像中の背景を別の背景と置換する背景置換装置とを備えたことを特徴とする撮影システム。
15. 前記撮影条件作成部は、前記被写体の明るさと、前記被写体を挟んで前記撮影装置とは反対側に位置する背景の明るさとの相違の程度を変更して前記複数の撮影条件を作成するものであり、
    前記背景置換装置が、前記被写体領域と前記背景領域と前記境界領域とを、前記複数の撮影画像の相互間における明るさの変化量に基づいて区別するものであることを特徴とする請求項１４記載の撮影システム。
16. 前記撮影条件作成部は、前記被写体の明るさと、前記被写体を挟んで前記撮影装置とは反対側に位置する背景の明るさとの相違の程度を変更して前記複数の撮影条件を作成するものであり、
    前記背景置換装置が、前記被写体領域と前記背景領域と前記境界領域とを、前記被写体と前記背景との明るさの相違に基づいて区別するものであることを特徴とする請求項１４記載の撮影システム。
17. 前記撮影条件作成部が、前記被写体を挟んで前記撮影装置とは反対側に位置する面からの光で前記被写体を照らす照明装置を有し、その照明装置で該被写体を照らす光の明るさを変更して前記複数の撮影条件を作成するものであり、
    前記背景置換装置が、前記被写体領域と前記背景領域と前記境界領域とを、前記複数の撮影画像の相互間における明るさの変化量、および前記被写体と前記背景との明るさの相違のうち少なくとも一方に基づいて区別するものであることを特徴とする請求項１４記載の撮影システム。
18. 前記撮影条件作成部が、前記被写体を前記撮影装置側から閃光で照らす閃光発光装置と、前記被写体を挟んで前記撮影装置とは反対側に位置する面からの光で前記被写体を照らす照明装置とを有し、前記被写体を該閃光発光装置および該照明装置のそれぞれで順次に照らして前記複数の撮影条件を作成するものであり、
    前記背景置換装置が、前記被写体領域と前記背景領域と前記境界領域とを、前記複数の撮影画像の相互間における明るさの変化量、および前記被写体と前記背景との明るさの相違のうち少なくとも一方に基づいて区別するものであることを特徴とする請求項１４記載の撮影システム。
19. 前記撮影条件作成部が、前記被写体を前記撮影装置側から閃光で照らす閃光発光装置と、前記被写体を挟んで前記撮影装置とは反対側に位置する面からの光で前記被写体を照らす照明装置とを有し、該照明装置による照明の定常的な存在と、該閃光発光装置の閃光による照明の有無とによって前記複数の撮影条件を作成するものであり、
    前記背景置換装置が、前記被写体領域と前記背景領域と前記境界領域とを、前記複数の撮影画像の相互間における明るさの変化量、および前記被写体と前記背景との明るさの相違のうち少なくとも一方に基づいて区別するものであることを特徴とする請求項１４記載の撮影システム。
20. 前記撮影条件作成部が、前記被写体を前記撮影装置側から閃光で照らす、該閃光の偏光状態を変える機能を持った閃光発光装置と、前記被写体を挟んで前記撮影装置とは反対側に位置する、偏光状態の違いによって反射光の明るさが異なる背景パネルとを有し、該閃光発光装置による、互いに偏光状態が異なる複数回の閃光によって前記複数の撮影条件を作成するものであり、
    前記背景置換装置が、前記被写体領域と前記背景領域と前記境界領域とを、前記複数の撮影画像の相互間における明るさの変化量、および前記被写体と前記背景との明るさの相違のうち少なくとも一方に基づいて区別するものであることを特徴とする請求項１４記載の撮影システム。
21. 前記撮影条件作成部は、前記被写体を挟んで前記撮影装置とは反対側に位置する背景の色を変更して前記複数の撮影条件を作成するものであり、
    前記背景置換装置が、前記被写体領域と前記背景領域と前記境界領域とを、前記複数の撮影画像の相互間における色の変化量に基づいて区別するものであることを特徴とする請求項１４記載の撮影システム。
22. 前記撮影条件作成部が、前記被写体を挟んで前記撮影装置とは反対側に位置する、色が変わる機能を持った背景パネルを有し、その背景パネルの色を変更して前記複数の撮影条件を作成するものであり、
    前記背景置換装置が、前記被写体領域と前記背景領域と前記境界領域とを、前記複数の撮影画像の相互間における色の変化量に基づいて区別するものであることを特徴とする請求項１４記載の撮影システム。
23. 前記撮影条件作成部が、前記被写体を前記撮影装置側から閃光で照らす閃光発光装置と、前記被写体を挟んで前記撮影装置とは反対側に位置する面からの、前記閃光の輝度以下の輝度の光で前記被写体を照らす照明装置とを有し、該照明装置による照明の定常的な存在と、該閃光発光装置の閃光による照明の有無とによって前記複数の撮影条件を作成するものであり、
    前記撮影装置が、前記閃光発光装置の閃光による照明が無いという撮影条件の下で撮影を行なう時には、該閃光発光装置の閃光による照明が有るという撮影条件の下で撮影を行なう時よりも、光に対する感度を上げて撮影を行なうものであり、
    前記背景置換装置が、前記被写体領域と前記背景領域と前記境界領域とを、前記複数の撮影画像の相互間における明るさの変化量、および前記被写体と前記背景との明るさの相違のうち少なくとも一方に基づいて区別するものであることを特徴とする請求項１４記載の撮影システム。
24. 前記背景置換装置が、前記別の背景として、被写体を照らす光の条件を表わす光情報が付与された背景を用いて、前記撮影画像中の背景を置換するものであり、
    前記撮影条件作成部が、前記被写体を前記撮影装置側から、互いに異なる複数の発光条件のうち、前記別の背景に付与された光情報が表わす条件に相当する発光条件の光で照らす発光装置を有し、該発光装置による照明を前記複数の撮影条件のうちの少なくとも１つの撮影条件で用いるものであることを特徴とする請求項１４記載の撮影システム。

Images