WO2006095779A1

WO2006095779A1 - 撮影システム

Info

Publication number: WO2006095779A1
Application number: PCT/JP2006/304488
Authority: WO
Inventors: Toshihiko Kaku; Masashi Shirata; Masahiro Kubo
Original assignee: Fuji Photo Film Co., Ltd.
Priority date: 2005-03-10
Filing date: 2006-03-08
Publication date: 2006-09-14
Also published as: US7974467B2; EP1909493A4; JPWO2006095779A1; JP4689662B2; EP1909493B1; US20070200938A1; EP1909493A1

Abstract

被写体を撮影して撮影画像を取得し、その撮影画像における背景が所望の背景に自然に置換された背景置換画像を作成することができる撮影システムを提供する。被写体を撮影して撮影画像を取得するデジタルカメラ１１と、被写体に向けて閃光を発する閃光発光装置１２と、被写体を、その被写体を挟んでデジタルカメラ１１とは反対側に位置する面からの光で照らすＥＬパネル１３０と、閃光発光装置１２およびＥＬパネル１３０によって作られる複数の撮影光条件それぞれの下でデジタルカメラ１１によって共通の被写体が撮影されて得られた複数の撮影画像を取得し、これら複数の撮影画像に基づいて、撮影画像中の被写体と背景とを区別し、その背景を別の背景に置換する背景置換装置として動作するパーソナルコンピュータ２０とを備えた。

Description

明細書

撮影システム

技術分野

[0001] 本発明は、被写体を撮影して撮影画像を取得し、その撮影画像中の背景を別の背景に置換して背景置換画像を作成する撮影システムに関する。

背景技術

[0002] 従来、写真館等では、背景幕を使った撮影が行なわれて、る。しかし、このような撮影は、十分に背景を作り出すために大きな背景幕が使われ、広い撮影スペースを必要とする。また、背景幕の交換等にも手間がかかり、結果的に撮影コストが高くなる。

[0003] そこで、もっと手軽に撮影を楽しむことができるように、従来のような大きな背景幕や広い撮影スペースが不要な、小型の撮影システムの開発が望まれている。このような小型の撮影システムでは、上記のような背景幕の替りに、何らかの仮の背景の前で撮影が行なわれることとなるため、撮影で得られた撮影画像に対して、撮影画像中の背景を、顧客が所望する背景と差替えるという背景置換処理を適用することが考えられる。

[0004] このような背景置換処理に関する技術の一例として、例えば、青色等に塗られた背景パネル等を被写体の背後に配置して撮影を行なヽ、その撮影で得られた撮影画像において、背景パネルの色と同色の部分と、異なる色の部分とを、それぞれ撮影画像中の背景と被写体として区別し、撮影画像中の背景に区別された部分を所望の背景に置換するクロマキ一処理と呼ばれる処理が知られている。

[0005] このクロマキ一処理では、撮影画像中の背景パネル上に被写体の影が写っていると、この影が、被写体と背景との区別を妨げてしまうことがある。そこで、クロマキー処理の対象となる撮影画像を撮影する際には、背景として、面発光する背景パネルを用い、背景パネル上の被写体の影が、この背景パネルが発する光で打ち消された状態で撮影を行なうという技術が提案されている (例えば、特許文献 1参照。 ) oまた、この特許文献 1では、クロマキ一処理において、被写体として区別された部分と所望の背景とを合成する際には、被写体として区別された部分の色調を、その所望の背景の色調に応じた色調に調整することで、その所望の背景の中に被写体が自然に溶け込んで見える合成画像を作成すると!/、う処理も提案されて!、る。

[0006] また、例えば、屋外等といった、被写体の背後が開けた場所で、被写体に向けた照明を点灯した状態と、その照明を消灯した状態との 2つの照明条件それぞれの下で撮影を行なって 2つの撮影画像を取得し、これら 2つの撮影画像において、互いに輝度が異なっている部分と輝度が同等な部分とを、それぞれ撮影画像中の被写体と背景として区別し、撮影画像中の背景に区別された部分を所望の背景に置換するという技術も知られている（例えば、特許文献 2参照。 )₀

特許文献 1 :特開 2000— 224410号公報 (第 3— 10頁、図 3)

特許文献 2：特開平 10— 210340号公報 (第 2— 3頁、図 1)

[0007] 上記のように撮影画像中の背景を所望の背景と置換するためには、撮影によって得た撮影画像中の被写体と背景とを良好に区別する必要がある。し力しながら、上記の特許文献 1の技術や、一般的なクロマキ一処理では、撮影画像中の被写体に背景パネルと同じ色の箇所があると、その箇所が背景であると誤認され、被写体の一部までが、上記の所望の背景に置換された不自然な背景置換画像ができてしまう恐れがある。

[0008] 一方、上記の特許文献 2の技術では、撮影画像中の輝度に基づ!/ヽて被写体と背景との区別が行なわれるので、被写体に背景と同じ色の箇所があつたとしてもその箇所が背景であると誤認されてしまう恐れは解消される。し力しながら、写真館等で手軽に撮影を楽しむことができるような、望ましい小型の撮影システムでは、被写体の背後に、背景パネル等の撮影機材が置かれることは避けられず、このような小型の撮影システムに特許文献 2の技術を適用すると、被写体に当てた照明がこれらの撮影機材で反射されてしまう。その結果、特許文献 2の技術で得られる 2つの撮影画像において、被写体以外の部分でも輝度が互いに異なる可能性が生じ、背景の一部が被写体であると誤認され、背景の一部が置換から洩れた不自然な背景置換画像ができてしまう恐れがある。

[0009] また、例えば、人物が写っている撮影画像では、その人物の頭部と背景との境界において、頭髪越しに背景が見えていることがある。また、その人物が着ている服に、例えば半透明の布が使われている場合には、その人物と背景との境界において、半透明の布を通して背景が見えていることがある。このように、撮影画像における被写体と背景との境界には、被写体と背景とが区別し難い中間的な部分が含まれている場合力 Sしばしばある。例えば、このような中間的な部分が無理に背景に区別され、所望の背景に置換されてしまうと、被写体の一部が欠けた不自然な背景置換画像が出来上がってしまう。また、このような中間的な部分が無理に被写体に区別されると、この中間的な部分に古い背景が残った不自然な背景置換画像が出来上がってしまう。

[0010] 本発明は、上記事情に鑑み、被写体を撮影して撮影画像を取得し、その撮影画像における背景が所望の背景に自然に置換された背景置換画像を作成することができる撮影システムを提供することを目的とする。

発明の開示

[0011] 上記目的を達成する本発明の第 1の撮影システムは、被写体を撮影して撮影画像を取得する撮影装置と、

上記被写体に向けて閃光を発する閃光発光装置と、

上記被写体を、その被写体を挟んで上記撮影装置とは反対側に位置する面からの光で照らす照明装置と、

上記閃光発光装置および上記照明装置によって作られる複数の撮影光条件それぞれの下で上記撮影装置によって共通の被写体が撮影されて得られた複数の撮影画像を取得し、その撮影画像に基づいて、撮影画像中の被写体と背景とを区別し、その背景を別の背景に置換する背景置換装置とを備えたことを特徴とする。

[0012] 上述した背景置換画像を作成するためには、その背景置換画像の元になる、被写体が写っている撮影画像が必要である。しかし、そのような撮影画像は、被写体がきれいに写ることに主眼が置かれた撮影光条件の下で撮影されたものであるため、その撮影画像中の被写体と背景とを、その撮影画像自体に基づヽて互いに誤認することなく区別することが困難であることが多い。そこで、観賞者にとって自然に見える背景置換画像を作成するためには、被写体力 Sきれいに写っている撮影画像を含む、互いに異なる複数の撮影光条件それぞれの下で撮影された複数の撮影画像がある方が望ましい。また、複数の撮影光条件は、それぞれ、例えば順光状態あるいは逆光状態等と、つた極端な条件であることが望ま、。

[0013] 本発明の第 1の撮影システムによれば、上記閃光発光装置と上記照明装置との 2 つの光源によって、例えば、被写体を撮影装置側から照らす順光状態や、被写体を撮影装置とは反対側から照らす逆光状態等と!ヽつた様々な極端な撮影光条件を容易に作り出すことができる。つまり、本発明の第 1の撮影システムによれば、観賞者にとって自然に見える背景置換画像を作成するために有効な複数の撮影画像を容易に得ることができ、それらの撮影画像を用いて、背景が所望の背景に自然に置換された背景置換画像を作成することができる。

[0014] ここで、本発明の第 1の撮影システムにおいて、「上記撮影装置が、上記被写体を、所定時間内に複数回撮影することで上記複数の撮影画像を得るものである」 t 、う形態は好ましい形態である。

[0015] 本発明の第 1の撮影システムでは、上記の複数の撮影画像にぉ、て、被写体の位置やポーズが互いに異なってしまっては、撮影画像中の被写体と背景との区別が困難となってしまう。上記の好ましい形態の撮影システムによれば、静物以外の、例えば人物や動物等と、つた撮影中に動、てしまう可能性のある被写体にっ、て、所定時間内に複数回撮影する、つまり連写することにより、被写体の位置やポーズが同一の複数の撮影画像を得ることができる。

[0016] また、本発明の第 1の撮影システムにおいて、「上記照明装置が、可撓性の発光シートで上記被写体を照らすものである」、う形態も好ま、形態である。

[0017] このような発光シートは、被写体の背景として設置することが容易なので、このような発光シートを用いれば、本発明の第 1の撮影システムを容易に構築することができる

[0018] また、本発明の第 1の撮影システムにおいて、「上記照明装置が、上記被写体を挟んで上記撮影装置とは反対側からその被写体の下側まで延びた発光シートで、その被写体を照らすものである」、う形態も好ま、。

[0019] この好ま、形態の撮影システムによれば、被写体を、背後から下側に至る広ヽ範囲から照らすことができるので、被写体全体を捉えた撮影画像につ!、てもその被写体と背景とを区別し背景を置換することができる。 [0020] また、本発明の第 1の撮影システムは、「上記照明装置が、分散型エレクトロルミネセンス素子で上記被写体を照らすものである」 t ヽぅ形態であっても良ヽ。

[0021] 上記分散型エレクトロルミネセンス素子は、可撓性でシート形状の発光体であり、上記照明装置の光源として非常に適している。

[0022] また、本発明の第 1の撮影システムにおいて、「上記照明装置が、上記面の範囲を示すマーカを有するものである」 t 、う形態も好ま、形態である。

[0023] この好ましい形態の撮影システムによれば、撮影画像中のマーカに基づいて、撮影装置と被写体との位置関係によって生じる、撮影画像の形状の歪みを補正することができる。また、撮影画像中のマーカが示す範囲内の画像のみを有効な画像として取り出すと!、うような画像処理を行なうことで、撮影画像の端などに写りこんだ不要物を除去することができる。

[0024] また、本発明の第 1の撮影システムにおいて、「上記照明装置が、青から緑の間の色の光で上記被写体を照らすものである」 t 、う形態も好ま、形態である。

[0025] この好ましい形態の撮影システムによれば、青力緑の間の色の光、即ち、発光波長が 400〜530nmの光で上記被写体が照らされ、背景が青力も緑の間の色となつた撮影画像が得られる。ここで、青力も緑の間の色は、人物の肌の色の補色であるため、この好ましい形態の撮影システムによれば、人物を被写体として撮影した際等に、撮影画像中の被写体と背景とを高い確度で区別することができる。また、補色であることから、被写体と背景との境界付近の画素に対する、後述するような、被写体色と背景色との推定と、う処理を高、精度で行なうことができる。

[0026] また、本発明の第 1の撮影システムにおいて、「上記照明装置が、上記閃光発光装置が発する閃光の輝度以下の輝度の光で上記被写体を照らすものである」という形態も好ましい形態である。

[0027] この好ましい形態の撮影システムによれば、上記閃光発光装置が閃光を発したときには、上記照明装置の有無に関わらず、上記被写体が上記の閃光による順光状態で撮影され、好ま、品質の撮影画像を得ることができる。

[0028] また、本発明の第 1の撮影システムは、「上記閃光発光装置が、一度閃光を発すると、次に閃光を発するためには所定の準備時間を要するものであり、上記撮影装置が、上記被写体を、上記準備時間内に複数回撮影することで上記複数の撮影画像を得るものである」 t 、う形態であっても良、。

[0029] このような形態の撮影装置によれば、上記撮影装置での複数回の撮影の際に上記閃光発光装置を 1回だけ発光させることができ、これにより、自然に見える背景置換画像を作成するために有効な、例えば順光状態と逆光状態等と!ヽつた極端に異なる複数条件下で撮影された複数の撮影画像を容易に得ることができる。

[0030] また、本発明の第 1の撮影システムにおいて、「上記照明装置が、上記面からの光を透過させるカラーフィルタを備えたものである」 t ヽぅ形態や、

「上記照明装置が、上記面からの光を透過させる、その光の色と同じ色のカラーフィルタを備えたものである」 t 、う形態は好ま、形態である。

[0031] これらの好ま U、形態の撮影システムによれば、撮影画像中の主たる背景色は、上記閃光発光装置の閃光による照明の有無によらず上記カラーフィルタの色となる。そのため、その閃光とは明確に色が異なるカラーフィルタを用いること等により、例えば、撮影画像中の被写体に閃光の色が写り込んでしまったような場合であっても、撮影画像中の被写体と背景とを一層確実に区別することができる。また、後者の形態では、上記面力の光に対する上記カラーフィルタによる光量の減衰を抑えることができる

[0032] また、本発明の第 1の撮影システムにおいて、「上記照明装置が、上記被写体側から上記面に向かう光の反射を防止する反射防止膜を備えたものである」という形態も好ましい形態である。

[0033] この好ましい形態の撮影システムによれば、上記反射防止膜によって上記面における上記閃光の反射を防止することにより、上記被写体と上記面との双方がその閃光を反射して撮影画像中にぉヽてその閃光の色とヽぅ同色に発色してしまうことが確実に回避される。これにより、撮影画像中の被写体と背景とを一層確実に区別することがでさる。

[0034] また、本発明の第 1の撮影システムにおいて、「上記背景置換装置が、上記撮影画像における上記面の範囲を、その面からの光の有無によって認識し、その範囲内の画像部分を使って撮影画像中の被写体と背景とを区別するものである」という形態も好ましい。

[0035] この好ましい形態の撮影システムによれば、撮影画像中の上記画像部分のみを有効な画像として取り出すと、うような画像処理を行なうことで、撮影画像の端などに写りこんだ不要物を除去することができる。

[0036] 上記目的を達成する本発明の第 2の撮影システムは、被写体を撮影して撮影画像を取得する撮影装置と、

光に関する複数の撮影条件を作る撮影条件作成部と、

上記撮影条件作成部で作成された複数の撮影条件それぞれの下で、上記撮影装置によって共通の被写体が撮影されて得られた複数の撮影画像を取得し、その撮影画像に基づいて、撮影画像中の被写体領域と背景領域と境界領域とを区別し、その区別した 3つの領域に基づいて撮影画像中の背景を別の背景と置換する背景置換装置とを備えたことを特徴とする。

[0037] 本発明の第 2の撮影システムによれば、上記撮影条件作成部によって、例えば、被写体を撮影装置側力照らす順光状態や、被写体を撮影装置とは反対側力照らす逆光状態等といった、光に関する複数の撮影条件を作り出し、これら複数の撮影条件それぞれの下で得られる複数の撮影画像に基づいて撮影画像中の被写体領域と背景領域と境界領域とを区別することができる。これにより、例えば人物の頭髪越しに背景が見えている部分等といった、被写体とも背景とも区別し難い部分が、被写体領域や背景領域とは別の境界領域に区別される。そして、その境界領域については、境界領域用の適切な置換処理を施すことにより、観賞者にとって自然に見える背景置換画像を作成することができる。つまり、本発明の第 2の撮影システムによれば、被写体を撮影して撮影画像を取得し、その撮影画像における背景が所望の背景に自然に置換された背景置換画像を作成することができる。

[0038] ここで、本発明の第 2の撮影システムにおいて、「上記撮影条件作成部は、上記被写体の明るさと、上記被写体を挟んで上記撮影装置とは反対側に位置する背景の明るさとの相違の程度を変更して上記複数の撮影条件を作成するものであり、上記背景置換装置が、上記被写体領域と上記背景領域と上記境界領域とを、上記複数の撮影画像の相互間における明るさの変化量に基づいて区別するものである」 t 、う形態も好ま、形態である。

[0039] ここで、上記にいう「上記被写体の明るさと、上記被写体を挟んで上記撮影装置とは反対側に位置する背景の明るさとの相違の程度」とは、上記被写体の明るさと上記背景の明るさとの差であっても良ぐあるいは、上記被写体の明るさと上記背景の明るさとの比であっても良い。

[0040] この好ましい形態の撮影システムによれば、上記撮影条件作成部によって、例えば、被写体を照らす照明の明るさを変更したり、背景自体を発光させてその背景自体の明るさを変更したりする等というような方法により、この撮影システム内における、被写体の明るさと背景の明るさとの差や比等といった相違の程度を変更して、上記複数の撮影条件が作成される。そして、この好ましい形態の撮影システムによれば、上記被写体と上記背景との明るさの相違の程度が互いに異なる複数の撮影条件それぞれの下で得られる複数の撮影画像において、互いに明るさが同等な部分と、互いに明るさが大きく異なる部分と、互いに明るさが中程度に異なる部分とを区別することで、この撮影画像中の被写体領域と背景領域と境界領域とを適確に区別することができる。

[0041] また、本発明の第 2の撮影システムにお、て、「上記撮影条件作成部は、上記被写体の明るさと、上記被写体を挟んで上記撮影装置とは反対側に位置する背景の明るさとの相違の程度を変更して上記複数の撮影条件を作成するものであり、

上記背景置換装置が、上記被写体領域と上記背景領域と上記境界領域とを、上記被写体と上記背景との明るさの相違に基づいて区別するものである」という形態も好ましい形態である。

[0042] この好ま、形態の撮影システムによれば、例えば、被写体と背景との明るさの相違の程度が極端に大きいという撮影条件を作成し、その撮影条件の下で得られる撮影画像を、相対的に明るい領域と、相対的に暗い領域と、中間的な明るさの領域とに区別することで、撮影画像中の被写体領域と背景領域と境界領域とを適確に区別することがでさる。

[0043] 以上では、上記被写体の明るさと、上記被写体を挟んで上記撮影装置とは反対側に位置する背景の明るさとの相違の程度を変更して上記複数の撮影条件を作成する撮影条件作成部を備えた 2つの形態について説明したが、以下では、これら 2つの形態を、「明るさ変更型の撮影システム」と総称する。

[0044] 本発明の第 2の撮影システムにおいて、「前記撮影条件作成部が、前記被写体を挟んで前記撮影装置とは反対側に位置する面からの光で前記被写体を照らす照明装置を有し、その照明装置で該被写体を照らす光の明るさを変更して前記複数の撮影条件を作成するものであり、

前記背景置換装置が、前記被写体領域と前記背景領域と前記境界領域とを、前記複数の撮影画像の相互間における明るさの変化量、および前記被写体と前記背景との明るさの相違のうち少なくとも一方に基づいて区別するものである」という形態は、「明るさ変更型の撮影システム」の一例である。

[0045] この形態の撮影システムによれば、上記照明装置が背景の明るさを変更する役割を果たし、この照明装置で背景の明るさを変更することにより、被写体と背景との明るさの相違の程度が互いに異なる複数の撮影条件を小空間で容易に作成することができる。

[0046] また、本発明の第 2の撮影システムにお、て、「上記撮影条件作成部が、上記被写体を上記撮影装置側から閃光で照らす閃光発光装置と、上記被写体を挟んで上記撮影装置とは反対側に位置する面からの光で上記被写体を照らす照明装置とを有し、上記被写体をその閃光発光装置およびその照明装置のそれぞれで順次に照らして上記複数の撮影条件を作成するものであり、

上記背景置換装置が、上記被写体領域と上記背景領域と上記境界領域とを、上記複数の撮影画像の相互間における明るさの変化量、および上記被写体と上記背景との明るさの相違のうち少なくとも一方に基づいて区別するものである」という形態、および、

「上記撮影条件作成部が、上記被写体を上記撮影装置側から閃光で照らす閃光発光装置と、上記被写体を挟んで上記撮影装置とは反対側に位置する面からの光で上記被写体を照らす照明装置とを有し、その照明装置による照明の定常的な存在と、その閃光発光装置の閃光による照明の有無とによって上記複数の撮影条件を作成するものであり、上記背景置換装置が、上記被写体領域と上記背景領域と上記境界領域とを、上記複数の撮影画像の相互間における明るさの変化量、および上記被写体と上記背景との明るさの相違のうち少なくとも一方に基づいて区別するものである」という形態も、「明るさ変更型の撮影システム」の一例である。

[0047] これらの形態の撮影システムでは、上記閃光発光装置が被写体の明るさを変更する役割を果たし、上記照明装置が背景の明るさを変更する役割を果たす。前者の形態の撮影システムによれば、被写体を上記閃光発光装置および上記照明装置のそれぞれで順次に照らして被写体と背景との双方の明るさを変更することにより、被写体と背景との明るさの相違の程度が互いに異なる複数の撮影条件を作成することができる。また、後者の形態の撮影システムによれば、上記照明装置による照明の定常的な存在によって背景の明るさを維持しつつ、上記閃光発光装置の閃光による照明の有無によって被写体の明るさを変更することにより、被写体と背景との明るさの相違の程度が互いに異なる複数の撮影条件を作成することができる。

[0048] また、本発明の第 2の撮影システムにお、て、「上記撮影条件作成部が、上記被写体を上記撮影装置側から閃光で照らす、その閃光の偏光状態を変える機能を持った閃光発光装置と、上記被写体を挟んで上記撮影装置とは反対側に位置する、偏光状態の違いによって反射光の明るさが異なる背景パネルとを有し、その閃光発光装置による、互いに偏光状態が異なる複数回の閃光によって上記複数の撮影条件を作成するものであり、

上記背景置換装置が、上記被写体領域と上記背景領域と上記境界領域とを、上記複数の撮影画像の相互間における明るさの変化量、および上記被写体と上記背景との明るさの相違のうち少なくとも一方に基づいて区別するものである」という形態も、「明るさ変更型の撮影システム」の一例である。

[0049] この形態の撮影システムでは、上記閃光発光装置と上記背景パネルとの双方が、背景の明るさを変更する役割を果たす。この形態の撮影システムによれば、上記閃光発光装置が、互いに偏光状態が異なる複数回の閃光を発し、上記背景パネルにおける反射光の明るさが、各閃光の偏光状態に応じて変わることにより、背景の明るさが変更される。これにより、被写体と背景との明るさの相違の程度が互いに異なる複数の撮影条件を作成することができる。

[0050] また、本発明の第 2の撮影システムにお、て、「上記撮影条件作成部は、上記被写体を挟んで上記撮影装置とは反対側に位置する背景の色を変更して上記複数の撮影条件を作成するものであり、

上記背景置換装置が、上記被写体領域と上記背景領域と上記境界領域とを、上記複数の撮影画像の相互間における色の変化量に基づいて区別するものである」という形態は好まし、形態である。

[0051] この好ましい形態の撮影システムによれば、上記背景の色が互いに異なる複数の撮影条件それぞれの下で得られる複数の撮影画像において、互いに色が同等な部分と、互いに色が大きく異なる部分と、互いに色が中程度に異なる部分とを区別することで、この撮影画像中の被写体領域と背景領域と境界領域とを適確に区別することができる。

[0052] また、本発明の第 2の撮影システムにお、て、「前記撮影条件作成部が、前記被写体を挟んで前記撮影装置とは反対側に位置する、色が変わる機能を持った背景パネルを有し、その背景パネルの色を変更して前記複数の撮影条件を作成するものであり、

前記背景置換装置が、前記被写体領域と前記背景領域と前記境界領域とを、前記複数の撮影画像の相互間における色の変化量に基づいて区別するものである」という形態は、上記背景の色が互いに異なる複数の撮影条件それぞれの下で、複数の撮影画像を得る撮影システムの典型的な例である。

[0053] この形態の撮影システムによれば、上記背景パネルによって、小空間内で複数の望まヽ撮影条件を容易に作ることができる。

[0054] また、本発明の第 2の撮影システムにお、て、「上記撮影条件作成部が、上記被写体を上記撮影装置側から閃光で照らす閃光発光装置と、上記被写体を挟んで上記撮影装置とは反対側に位置する面からの、上記閃光の輝度以下の輝度の光で上記被写体を照らす照明装置とを有し、その照明装置による照明の定常的な存在と、その閃光発光装置の閃光による照明の有無とによって上記複数の撮影条件を作成するものであり、上記撮影装置が、上記閃光発光装置の閃光による照明が無いという撮影条件の下で撮影を行なう時には、その閃光発光装置の閃光による照明が有るという撮影条件の下で撮影を行なう時よりも、光に対する感度を上げて撮影を行なうものであり、上記背景置換装置が、上記被写体領域と上記背景領域と上記境界領域とを、上記複数の撮影画像の相互間における明るさの変化量、および上記被写体と上記背景との明るさの相違のうち少なくとも一方に基づいて区別するものである」という形態は好ましい形態である。

[0055] 上記閃光による順光状態での撮影では、例えば、上記照明装置による定常的な照明に比べて光量が圧倒的に多、閃光で被写体を照らすことにより、被写体へのその定常的な照明の写り込みを回避することができる。そのような撮影では、上記撮影装置における光に対する感度は、閃光の光量に応じて低めの感度である必要があるが、その低めの感度のままでは、上記定常的な照明のみによる逆光状態での撮影の際に感度不足となってしまう。上記の好ましい形態の撮影システムによれば、上記閃光の有無に応じて上記撮影装置の光に対する感度が適切に切り換えられるので、上記のような順光状態および逆光状態それぞれについて適切な感度での撮影が可能となる。

[0056] また、本発明の第 2の撮影システムにおいて、「上記背景置換装置が、上記別の背景として、被写体を照らす光の条件を表わす光情報が付与された背景を用いて、上記撮影画像中の背景を置換するものであり、

上記撮影条件作成部が、上記被写体を上記撮影装置側から、互いに異なる複数の発光条件のうち、上記別の背景に付与された光情報が表わす条件に相当する発光条件の光で照らす発光装置を有し、その発光装置による照明を上記複数の撮影条件のうちの少なくとも 1つの撮影条件で用いるものである」という形態も好ましい形態である。

[0057] 例えば、置換用の背景が画像中で右側力も光が差して、る画像である場合に、被写体が正面や左側力も照らされて写って、ては置換後の画像は不自然なものとなつてしまう。また、例えば、置換用の背景が夕景ゃ曇天等といった暗い画像である場合に、被写体が明るい光で照らされて写っていては置換後の画像は不自然なものとなつてしまう。上記の好ましい形態の撮影システムによれば、上記発光装置によって置換用の背景に応じた方向や明るさ等といった適切な発光条件の光で被写体を照らすことができるので、置換後の画像を一層自然な画像とすることができる。

[0058] 以上、説明したように、本発明によれば、被写体を撮影して撮影画像を取得し、その撮影画像における背景が所望の背景に自然に置換された背景置換画像を作成することができる撮影システムを提供することができる。

図面の簡単な説明

[0059] [図 1]本発明の撮影システムの一実施形態を示す図である。

[図 2]分散型エレクトロルミネセンス素子を使ったタイプの照明装置の別例を示す図である。

[図 3]図 1の撮影システムで実行される処理の流れを示すフローチャートである。

[図 4]順光状態における撮影と逆光状態における撮影との別例を示す図である。

[図 5]図 1に示すパーソナルコンピュータのハードウェア構成図である。

[図 6]で図 1および図 5に示すパーソナルコンピュータを、本発明にいう背景置換装置の一例として動作させるための背景置換プログラムが記憶された CD— ROMを示す概念図ある。

[図 7]図 6に示す背景置換プログラムが図 1および図 3に示すパーソナルコンピュータにインストールされ、このパーソナルコンピュータが本発明に、う背景置換装置の一例として動作するときの機能を表わす機能ブロック図である。

[図 8]図 7に 1つのブロックで示す画像補正部の詳細を示す図である。

[図 9]台形歪みが生じた順光撮影画像の一例を示す模式図である。

[図 10]図 9の順光撮影画像における台形歪みが補正された状態を示す模式図である

[図 11]図 10に示す、台形歪みが補正された順光撮影画像に基づいて作成された有効画像を示す模式図である。

[図 12]図 8の画像補正部によって画像補正処理が施された、補正済みの逆光撮影画像を示す模式図である。

[図 13]画像補正部の別例を示す図である。 [図 14]図 13に 1つのブロックで示す有効画像作成部 723 'の詳細を示す図である。

[図 15]有効画像の作成に使われる逆光撮影画像の一例を示す図である。

[図 16]図 15に示す逆光撮影画像が拡大された状態を示す図である。

[図 17]拡大された逆光撮影画像を構成する各画素の明るさについてのヒストグラムの一例を示す図である。

[図 18]図 14の 2値ィ匕部 723c'によって 2値ィ匕処理が施された逆光撮影画像を示す図である。

圆 19]補正済みの順光撮影画像の一例を示す図である。

[図 20]補正済みの逆光撮影画像の一例を示す図である。

[図 21]図 19中のエリア A1の拡大図である。

[図 22]図 20中のエリア A2の拡大図である。

[図 23]図 7に 1つのブロックで示す置換処理部の詳細を示す図である。

[図 24]図 23に 1つのブロックで示すマスク作成部の詳細を示す図である。

[図 25]補正済みの逆光撮影画像を構成する各画素の明るさについてのヒストグラムの様々な例を示す図である。

[図 26]図 22に示す逆光撮影画像の拡大図において、初期被写体マスクに設定された領域と初期背景マスクに設定された領域を示す図である。

圆 27]図 26に示す初期被写体マスクと初期背景マスクとを示す図である。

圆 28]初期被写体マスクと初期背景マスクとを、図 19に示す補正済みの順光撮影画像全体に重ねて示した図である。

圆 29]図 27に示す初期被写体マスクと初期背景マスクとが、それぞれ境界領域から離れる方向に縮小される様子を示す図である。

[図 30]最終的に完成された被写体マスクと背景マスクとを、図 19に示す補正済みの順光撮影画像全体に重ねて示した図である。

[図 31]図 23に 1つのブロックで示す色推定部の詳細を示す図である。

[図 32]図 31に 1つのブロックで示す背景色推定部の詳細を示す図である。

圆 33]ある画素について背景色を推定する際に、その画素を中心に探索範囲が設定される様子を示す図である。 [図 34]ある画素につ、て背景色を推定するために用いられる領域の一例を示す図である。

[図 35]図 31に 1つのブロックで示す被写体色推定部の詳細を示す図である。

圆 36]ある画素について被写体色を推定する際に、その画素を中心に探索範囲が設定される様子を示す図である。

[図 37]ある画素につ、て被写体色を推定するために用いられる領域の一例を示す図である。

[図 38]補正済みの順光撮影画像における境界領域内のある画素について被写体色を探索する際の探索方法を示す図である。

[図 39]補正済みの順光撮影画像における境界領域内のある画素について合成色が求められる様子を示す図である。

圆 40]背景置換画像の一例を示す図である。

[図 41]補正済みの順光撮影画像にぉ、て、非背景マスクで定義される領域内のある画素について被写体色を推定する際に、その画素を中心に探索範囲が設定される様子を示す図である。

[図 42]ある画素につ、て被写体色を推定するために用いられる領域の一例を示す図である。

[図 43]補正済みの順光撮影画像における、非背景マスクで定義される領域内のある画素について被写体色を探索する際の探索方法を示す図である。

圆 44]本発明の撮影システムの第 2実施形態を示す図である。

[図 45]図 44の撮影システムで実行される作業の流れを示すフローチャートである。圆 46]本発明の撮影システムの第 3実施形態を示す図である。

[図 47]図 46の撮影システムで実行される作業の流れを示すフローチャートである。

[図 48]1回目の撮影に基づぐ補正済みの撮影画像の一例を示す図である。

[図 49]2回目の撮影に基づぐ補正済み撮影画像の一例を示す図である。

圆 50]本発明の第 3実施形態における背景置換画像の作成処理で作成されるヒストグラムの一例を示す図である。

圆 51]本発明の撮影システムの第 4実施形態を示す図である。 [図 52]図 51に示す照明パネルの内部構造を示す図である。

[図 53]図 51の撮影システムで実行される作業の流れを示すフローチャートである。

[図 54]1回目の撮影に基づぐ補正済みの撮影画像の一例を示す図である。

[図 55]2回目の撮影に基づぐ補正済み撮影画像の一例を示す図である。

[図 56]本発明の第 4実施形態における背景置換画像の作成処理で作成されるヒストグラムの一例を示す図である。

[図 57]本発明の撮影システムの第 5実施形態を示す図である。

[図 58]図 57の撮影システムで実行される作業の流れを示すフローチャートである。

[図 59]1回目の撮影に基づぐ補正済みの撮影画像の一例を示す図である。

[図 60]2回目の撮影に基づぐ補正済み撮影画像の一例を示す図である。

[図 61]本発明の第 4実施形態における背景置換画像の作成処理で作成されるヒストグラムの一例を示す図である。

[図 62]本発明の撮影システムの第 6実施形態を示す図である。

[図 63]図 62の撮影システムで実行される作業の流れを示すフローチャートである。

[図 64]1回目の撮影に基づぐ補正済みの撮影画像の一例を示す図である。

[図 65]2回目の撮影に基づぐ補正済み撮影画像の一例を示す図である。

[図 66]本発明の第 4実施形態における背景置換画像の作成処理で作成されるヒストグラムの一例を示す図である。

[図 67]本発明の撮影システムの第 7実施形態を示す図である。

発明を実施するための最良の形態

[0060] 以下図面を参照して本発明の実施の形態を説明する。

[0061] まず、本発明の第 1実施形態について説明する。

[0062] 図 1は、本発明の撮影システムの第 1実施形態を示す図である。

[0063] この図 1に示す撮影システム 1は、被写体を撮影して撮影画像を取得する撮影スタジォ 10と、その撮影画像における被写体と背景とを区別して、撮影画像中の背景を所望の背景に置換して背景置換画像を作成する、本発明にいう背景置換装置の一例として動作するパーソナルコンピュータ 20と、プリンタ 30と、サーノ 0とを備えている。また、撮影スタジオ 10は、デジタルカメラ 11と、閃光発光装置 12と、 EL (エレクトロルミネセンス）パネル 130と、この ELパネル用の電源 14を備えている。ここで、デジタルカメラ 11、閃光発光装置 12、および ELパネル 130が、それぞれ本発明にいう撮影装置、閃光発光装置、照明装置の各一例に相当する。

[0064] デジタルカメラ 11は、連写機能を有しており、撮影者がシャツタボタンを 1回押すと、短時間の間に自動で被写体 Pを 2回撮影する。 1回毎の撮影によって得られた撮影画像はデジタルカメラ 11内のメモリに一時的に保管される力撮影システム 1では、デジタルカメラ 11がパーソナルコンピュータ 20に接続されており、 2回の撮影が終了した時点で、この 2回の撮影で得られた撮影画像は、このパーソナルコンピュータ 20 に直ちに送られる。また、デジタルカメラ 11は閃光発光装置 12にも接続されており、デジタルカメラ 11は、閃光発光装置 12に対して閃光を発するように指示する閃光指示信号を、その閃光発光装置 12に撮影の度に発信する。

[0065] ここで、本実施形態では、撮影スタジオ 10について省スペース化が図られており、デジタルカメラ 11は被写体を近距離力も若干見下ろし気味に撮影することとなる。その結果、デジタルカメラ 11で撮影される撮影画像には、画像の幅が、下に向かうほど狭まる、いわゆる台形歪みが生じている可能性が高い。本実施形態では、この台形歪みは、パーソナルコンピュータ 20において補正される。

[0066] 閃光発光装置 12は、デジタルカメラ 11から閃光指示信号を受けて被写体 Pに向かつて閃光を発する。ここで、この閃光発光装置 12は、 1回発光する度に充電される必要があり、 1回発光すると、次に発光できるようになるまで時間がかかる。デジタルカメラ 11からは、上記の 2回の撮影の際、撮影の度に上記の閃光指示信号が発信される力閃光発光装置 12は 1回目の撮影の時だけ閃光を発し、 2回目の撮影時には、充電が間に合わないために、閃光発光装置 12は消灯したままでいることとなる。また、この閃光発光装置 12が発する閃光は、発光の輝度がおよそ 2000cdZm²という高輝度の光である。

[0067] ELパネル 130は、被写体 Pが載る載置面 131aと被写体 Pの背後の面 131bとが透明な筐体 131、および、その筐体 131内に収納された分散型 EL素子 132からなる。また、電源 14は、この分散型 EL素子 132に駆動電圧を印加する電源である。ここで、分散型 EL素子 132が、本発明にいう分散型エレクトロルミネセンス素子の一例に相当する。また、筐体 131の、被写体 Pの背後の面 131bの四隅にはこの面 131bの範囲を示す 4つのマーカ 131cが配置されている。これら 4つのマーカ 131cは、撮影の際に被写体 Pとともに撮影画像に写り、その撮影画像に対する、上記の台形歪みの補正等に利用されるものであり、本発明にいうマーカの一例に相当する。

[0068] 分散型 EL素子 132は、蛍光体粉末が高誘電率のバインダー中に分散されたもの力可撓性のプラスチックを基板とした 2枚のシート形状の電極の間に挟み込まれて構成されたシート状の面発光光源である。この分散型 EL素子 132は、それら 2枚の電極間に、電源 14から交流電圧が印加されることにより発光する。

[0069] この分散型 EL素子 132は、厚みが数百/ z m〜lmmという非常に薄くて軽い光源であり、筐体 131の内部のように、厚みに余裕のない場所に容易に設置することができる。この他、分散型 EL素子 132には、発光時の発熱が 2°C程度と軽微である、発光開始力最高輝度に達するまでの応答速度が速い、発光の寿命がほぼ一定しており計画的な交換が可能、局所発光が可能、衝撃や振動に強い、消費電力が 50WZm 2 (周波数が 50Hzの交流電力印加時）と小さい等、性能面での様々な利点がある。さらに、分散型 EL素子 132には、簡単な製造工程で製造することができるため製造コストが安!、と!、う経済面での利点もある。

[0070] また、一般的な分散型 EL素子は、製造時に発光色の異なる複数の蛍光体粉末をさらに混合することで発光色を白色を含む様々な色に調整することが可能であるが、本実施形態における分散型 EL素子 132では、このような色調整のための蛍光体粉末は未混合である。この結果、この分散型 EL素子 132は、発光波長が 400ηπ！〜 53 Onmの間に 2つ以上の発光ピークを有することとなる。この光は、分散型 EL素子本来の、青力も緑の間の色の光であり、本実施形態における分散型 EL素子 132は、上記の 2つ以上の発光ピークからなる青緑色の光を発光する。ここで、青緑色は、人物の肌の色の補色であるため、本実施形態の撮影システム 1によれば、人物を被写体として撮影した際等に、撮影画像中の被写体と背景とを高い確度で区別することができる、背景が青緑色の撮影画像が得られる。さらに、補色であることから、被写体と背景との境界付近の画素に対する、後述するような、被写体色と背景色との推定という処理を高い精度で行なうことができる。また、上記の色調整のための蛍光体粉末は発光色の輝度を低下させる傾向があるが、本実施形態における分散型 EL素子 132は、このような蛍光体粉末が未混合であるので分散型 EL素子本来の輝度で発光することとなる。

[0071] 尚、本実施形態では、本発明にいう分散型エレクトロルミネセンス素子を使ったタイプの照明装置の一例として、筐体 131の内部に分散型 EL素子 132が単純に収納された ELパネル 130を例示した力本発明はこれに限るものではない。以下、このタイプの照明装置の別例について説明する。ここで、以下では、この別例について、図 1 に示す ELパネル 130との相違点に注目して説明する。

[0072] 図 2は、分散型エレクトロルミネセンス素子を使ったタイプの照明装置の別例を示す図である。

[0073] この図 2に示す別例は、図 1示す ELパネル 130に、 2つの構成要素が追加された構成となっている。即ち、この別例は、分散型 EL素子 132の表面に、この分散型 EL 素子 132の発光色と同じ青緑色のカラーフィルタ 132aが貼付され、筐体 131 (図 1参照）の被写体 Pが載る載置面 131aと被写体 Pの背後の面 131bとのそれぞれに、光の反射を防止する反射防止膜 131dが貼付された構成となっている。ここで、カラーフィルタ 132aおよび反射防止膜 131dは、それぞれ本発明にいうカラーフィルタおよび反射防止膜の各一例に相当する。

[0074] 上記のカラーフィルタ 132aによれば、分散型 EL素子 132の発光光よりも光量が圧倒的に勝る上記の閃光下の撮影であっても被写体の背景の色は、その閃光の色である白色とは確実に異なる青緑色となる。そのため、例えば、撮影画像中の被写体に閃光の色が写り込んでしまったような場合であっても、その撮影画像中で被写体と背景とが閃光の色という同色に発色してしまうことが確実に回避される。また、上記の反射防止膜 131dによれば、上記の閃光発光装置 12が発した閃光が、被写体と載置面 131aや背後の面 131bとで反射して、被写体と背景とが撮影画像中においてその閃光の色という同色に発色してしまうことが確実に回避される。図 2に示すこのような構成により、撮影画像中の被写体と背景との、後述するような区別が一層確実に行なわれることとなる。

[0075] 再び、図 1に戻って説明を続ける。 [0076] 電源 14は、分散型 EL素子 132に印加する交流電圧を、周波数について 50Hz〜 10kHzの間、大きさについて 40V〜300Vの間で調整することができる。分散型 EL 素子 132の発光の輝度は、印加される交流電圧の大きさにほぼ比例する。本実施形態の撮影スタジオ 10では、電源 14において、交流電圧が、周波数については 1. 2k Hz〜l. 5kHzのうちのいずれかの周波数、大きさについては 130V〜200Vのうちのいずれかの大きさに調整されており、その結果、分散型 EL素子 132の発光の輝度力 500cdZm²〜600cdZm²のうちの!/、ずれかの輝度に調整されて!、る。

[0077] ここで、本実施形態の撮影スタジオ 10では、デジタルカメラ 11による撮影は、 ELパネル 130が常時点灯した状態で行なわれる。また、上述したように、 1回目の撮影は閃光発光装置 12が閃光を発した状態で行なわれ、 2回目の撮影は閃光発光装置 12 が消えた状態で行なわれる。ここで、上記のように、閃光発光装置 12が発する閃光の輝度は、 ELパネル 130が点灯したときの輝度よりもかなり高い。この結果、 1回目の撮影では、 ELパネル 130の輝度よりも高い輝度の閃光力デジタルカメラ 11側から被写体 Pを照らすという順光状態での撮影による、被写体 Pがきれいに写った順光撮影画像が取得される。また、この 1回目の撮影に連続して行なわれる 2回目の撮影では、 ELパネル 130からの光のみが被写体 Pを後方力も照らすという逆光状態での撮影による、被写体 Pの像がシャドウ側に偏り、 ELパネル 130の像がハイライト側に偏った逆光撮影画像が取得される。

[0078] この撮影スタジオ 10における閃光発光装置 12と ELパネル 130とを合わせたものが、本発明にいう撮影条件作成部の一例に相当し、ここでは、 ELパネル 130による照明の定常的な存在と、閃光発光装置 12の閃光による照明の有無とによって複数 (本実施形態では 2つ)の撮影条件が作成される。

[0079] パーソナルコンピュータ 20は、上述したように本発明に、う背景置換装置の一例として動作するものである。このパーソナルコンピュータ 20は、デジタルカメラ 11から渡された上記の 2つの撮影画像に対して、上記の台形歪みについての補正を含む画像補正処理を施し、さらに、この補正済みの撮影画像に基づいて背景置換画像を作成するとヽぅ背景置換処理を行なう。この画像補正処理と背景置換処理とにつ、ては後述する。 [0080] このパーソナルコンピュータ 20は、外観構成上、フレキシブルディスク（以降、 FDと呼ぶ）や CD— ROMの装填口を有し、その装填口に装填された FDや CD— ROM へのアクセス機能を有する本体装置 210、その本体装置 210からの指示に応じて表示画面 220a上に画像を表示する画像表示装置 220、本体装置 210にキー操作に応じた各種の情報を入力するキーボード 230、表示画面 220a上の任意の位置を指定することにより、その位置に表示された、例えばアイコン等に応じた指示を入力するマウス 240、および、デジタルカメラ等で撮影画像の記憶に用いられる小型記憶メディァが装填され、その小型記憶メディアをアクセスするメディアドライブ 250を備えてヽる。

[0081] プリンタ 30は、パーソナルコンピュータ 20から送られてくる画像をプリントするものであり、撮影システム 1では、パーソナルコンピュータ 20が背景置換処理によって作成した背景置換画像をプリントする役割を担ってヽる。

[0082] サーバ 40には、パーソナルコンピュータ 20で実行される背景置換処理で使用される複数種類の背景が格納されている。このサーノ 0内の背景は、表示画面 220a上に表示されることによって顧客に提示される。また、この撮影システム 1では、サーバ 4 0内に格納されている背景以外にも、上記の CD—ROMや上記の小型記憶メディア等といった何らかの入力用記憶媒体を介して提供される背景も、表示画面 220aを通じて顧客に提示される。顧客は、表示画面 220a上に表示されたそれらの背景の中から所望の背景を選ぶ。

[0083] 次に、この図 1に示す撮影システム 1で実行される作業の流れについて説明する。

尚、以下の説明では、図 1に示す要素については特に図番を断らずに図 1中の符号を使って参照する。

[0084] 図 3は、図 1の撮影システムで実行される作業の流れを示すフローチャートである。

[0085] この図 3のフローチャートが示す作業は、撮影スタジオ 10において、被写体 P、デジタルカメラ 11、および閃光発光装置 12がそれぞれ適当な位置に配置されていることを前提として行なわれる。

[0086] まず、電源 14から分散型 EL素子 132に電圧が印加され、 ELパネル 130が点灯する (ステップ S101)。次に、撮影者が、ピントや露光の調節等を行なった後にデジタルカメラ 11のシャツタボタンを押すと、被写体 Pに対する撮影が 2回連続して行なわれる。まず 1回目の撮影では、デジタルカメラ 11から発信される閃光指示信号に応じて閃光発光装置 12が ELパネル 130の照明よりも高輝度の閃光を発し、この閃光による順光状態で被写体 Pが撮影される (ステップ S102)。続いて、 2回目の撮影が、閃光発光装置 12が消灯した状態、即ち、 ELパネル 130のみの照明による逆光状態で行なわれる（ステップ S 103)。ステップ S 102およびステップ S 103の処理でそれぞれ得られた、順光撮影画像と逆光撮影画像との 2つの撮影画像は、デジタルカメラ 1 1内のメモリに一時的に保管される。

[0087] 尚、本実施形態では、以上に説明したステップ S101〜ステップ S103の処理は、撮影スタジオ 10において行なわれる、写真館の店員等といった人手による撮影処理であるが、本発明はこれに限るものではない。本発明の撮影システムは、例えば、 EL パネルやデジタルカメラの動作がパーソナルコンピュータ等で制御され、 ELパネルの点灯やデジタルカメラによる撮影が、人手を経ることなく自動で行なわれるもの等であっても良い。このことは、後述する他の実施形態についても同様に当てはまる。

[0088] また、本実施形態では、順光状態における撮影と逆光状態における撮影とが単純に実行される例を示したが、本発明はこれに限るものではなぐ本発明の撮影システムは、順光状態における撮影と逆光状態における撮影とが、例えば、以下に説明するように行なわれるもの等であっても良、。

[0089] 図 4は、順光状態における撮影と逆光状態における撮影との別例を示す図である。

[0090] この図 4に示す撮影処理では、被写体を背後から照らす ELパネルが点灯されると（ステップ S101)、順光状態における撮影 (ステップ S102' )と逆光状態における撮影 (ステップ S103' )とが順次に実行される。ただし、この図 4の例では、順光状態における撮影 (ステップ S102' )は、 ELパネルの発光光の被写体への写り込みを確実に回避するために、 ELパネルの発光光に比べて光量が圧倒的に多い閃光下で実行され、さらに、その撮影は、そのような閃光下で適切に実行されるように、閃光の光量に応じた低めの感度で行なわれる。一方、逆光状態における撮影 (ステップ S103' )は、そのような低めの感度では感度不足となり ELパネルの発光光を捉え切れないので、 ELパネルの発光光の光量に応じた高めの感度で行なわれる。このように、この図 4 に示す撮影処理によれば、順光状態における撮影において、 ELパネルの発光光の被写体への写り込みが回避されるとともに、各状態における適切な感度での撮影が可能となる。

[0091] 再び、図 3に戻って説明を続ける。

[0092] ステップ S 103の処理によって、 2回目の撮影が行なわれ、その撮影で得られた撮影画像の、デジタルカメラ 11内のメモリへの保管が終了すると、 2回の撮影で得られ、そのメモリに一時的に保管された 2つの撮影画像が直ちにパーソナルコンピュータ 20に渡される。また、パーソナルコンピュータ 20に対する操作を受けて、顧客が所望する背景がサーバ 40あるいは何らかの入力用記憶媒体力も読み出される。（ステツプ S104)。続いて、 2つの撮影画像に、上記の台形歪みについての補正を含む後述の画像補正処理が施される。（ステップ S 105)。さら〖こ、この補正済みの撮影画像に基づヽて背景置換画像を作成するとヽぅ後述の背景置換処理が実行される (ステツプ S106)。そして、この背景置換処理で作成された背景置換画像を表わす画像データが、まず画像表示装置 220に転送され、さらに、プリンタ 30と、顧客が希望する出力用記憶媒体とのうちの少なくとも 1つに転送される (ステップ S107)。続いて、画像表示装置 220において、背景置換画像が、転送されてきた画像データに基づいて表示画面 220a上に表示され (ステップ S108)、さらに、画像データがプリンタ 30に転送された場合には、プリンタ 30において、その画像データに基づいて背景置換画像がプリントされる（ステップ S109)。

[0093] ここで、ステップ S104〜ステップ S108の処理は、パーソナルコンピュータ 20において実行される処理であり、以下では、これらの処理を実行するパーソナルコンビュータ 20と、それらの処理の詳細に注目して説明する。

[0094] まず、このパーソナルコンピュータ 20の内部構成について説明する。

[0095] 図 5は、図 1に示すパーソナルコンピュータのハードウェア構成図である。

[0096] この図 5に示すように、本体装置 210の内部には、各種プログラムを実行する CPU 211、ハードディスク装置 213に格納されたプログラムが読み出され CPU211での実行のために展開される主メモリ 212、各種プログラムやデータ等が保存されたハードディスク装置 213、 FD520が装填され、その装填された FD520をアクセスする FDドライブ 214、 CD— ROM510をアクセスする CD— ROMドライブ 215、図 1のサーバ 40やデジタルカメラ 11と接続され、これらの機器から置換用の背景や撮影画像等を受け取る入力インタフェース 216、および、図 1のプリンタ 30と接続され、背景置換画像等を出力する出力インタフェース 217が内蔵されており、これらの各種要素と、さらに図 1にも示す画像表示装置 220、キーボード 230、マウス 240、および、小型記憶メディア 530をアクセスするメディアドライブ 250は、バス 260を介して相互に接続されている。

[0097] ここで、 CD— ROM510には、パーソナルコンピュータ 20を、本発明にいう背景置換装置の一例として動作させるための背景置換プログラムが記憶される。そして、その背景置換プログラムが記憶された CD— ROM510が CD— ROMドライブ 215に装填されると、その CD— ROM510に記憶された背景置換プログラムがこのパーソナルコンピュータ 20にアップロードされてハードディスク装置 213に書き込まれる。これにより、パーソナルコンピュータ 20は背景置換装置として動作する。

[0098] 次に、この背景置換プログラムについて説明する。

[0099] 図 6は、図 1および図 5に示すパーソナルコンピュータを、本発明にいう背景置換装置の一例として動作させるための背景置換プログラムが記憶された CD— ROMを示す概念図である。

[0100] 図 6に示す CD— ROM510には背景置換プログラム 600が記憶されている。

[0101] この背景置換プログラム 600は、画像取得部 610、画像補正部 620、置換処理部 6 30、画像データ転送部 640、および画像表示部 650で構成されている。

[0102] この背景置換プログラム 600の各部の詳細については、本発明にいう背景置換装置の一例の各部の作用と併せて説明する。尚、以下の説明では、図 1、図 5、および図 6に示す要素については特に図番を断らずに各図中の符号を使って参照する。

[0103] 図 7は、図 6に示す背景置換プログラムが図 1および図 5に示すパーソナルコンビュータにインストールされ、このパーソナルコンピュータが本発明にいう背景置換装置の一例として動作するときの機能を表わす機能ブロック図である。また、この図 7には、図 1にも示す、デジタルカメラ 11、閃光発光装置 12、および ELパネル 130からなる撮影スタジオ 10と、プリンタ 30と、サーノ 0も示されている。 [0104] この図 7に示す背景置換装置 700は、上述したように、撮影スタジオ 10のデジタルカメラ 11によって順光および逆光それぞれの下で撮影された順光撮影画像と逆光撮影画像とを取得して、これらの 2つの撮影画像のうち、逆光撮影画像に基づいて、順光撮影画像における被写体と背景とを区別して、その背景を所望の背景に置換するという背景置換処理を実行するものであり、画像取得部 710、画像補正部 720、置換処理部 730、画像データ転送部 740、および画像表示部 750を備えている。

[0105] 画像取得部 710は、まず、デジタルカメラ 11で撮影され、そのデジタルカメラ 11から渡される 2つの撮影画像を受け取る。また、この画像取得部 710は、顧客が所望する背景を、サーノ 0から、あるいは、 CD— ROMや小型記憶メディア等といった入力用記憶媒体 540から読み出す。この画像取得部 710は、実質的には、パーソナルコンピュータ 20の CPU211が、背景置換プログラム 600の画像取得部 610に従って、入力インタフェース 216、 FDドライブ 214、 CD— ROMドライブ 215、およびメディアドライブ 250を制御することによって構成される。

[0106] 画像補正部 720は、画像取得部 710で受け取られた 2つの撮影画像に、台形歪みについての補正を含む後述の画像補正処理を施すものであり、実質的には、パーソナルコンピュータ 20の CPU211が、背景置換プログラム 600の画像補正部 620に従つて動作することによって構成される。この画像補正部 720の詳細については、画像補正処理の詳細とともに別図を参照して後述する。

[0107] 置換処理部 730は、画像補正部 720での画像補正処理を経た 2つの撮影画像に基づいて背景置換画像を作成するという後述の背景置換処理を行なうものであり、実質的には、パーソナルコンピュータ 20の CPU211が、背景置換プログラム 600の置換処理部 630に従って動作することによって構成される。この画像補正部 720の詳細については、背景置換処理の詳細とともに別図を参照して後述する。

[0108] 画像データ転送部 740は、置換処理部 730で作成された背景置換画像を表わす画像データを、プリンタ 30および顧客が希望する出力用記憶媒体 550のうちの少なくとも一方と、この背景置換装置 700の画像表示部 750とに転送する。この画像データ転送部 740は、実質的には、パーソナルコンピュータ 20の CPU211が、背景置換プログラム 600の画像データ転送部 640に従って、出力インタフェース 217、 FDドライブ 214、 CD— ROMドライブ 215、およびメディアドライブ 250を制御することによつて構成される。

[0109] 画像表示部 750は、画像データ転送部 740から転送されてくる画像データに基づく背景置換画像を、表示画面 220aに表示するものであり、実質的には、パーソナルコンピュータ 20の CPU211が、背景置換プログラム 600の画像表示部 650に従って画像表示装置 220を制御することによって構成される。

[0110] また、上記の画像データ転送部 740からプリンタ 30に背景置換画像を表わす画像データが出力された場合には、プリンタ 30において、この画像データに基づく背景置換画像がプリントされ、上記の画像データ転送部 740から何らかの出力用記憶媒体 5 50に背景置換画像を表わす画像データが出力された場合には、この画像データがその出力用記憶媒体 550に書き込まれる。そして、背景置換画像がプリントされたプリント紙と、背景置換画像を表わす画像データが書き込まれた出力用記憶媒体 550 との両方、あるいは一方力顧客の希望に応じて提供される。

[0111] 次に、図 7において、それぞれ 1つのブロックで示されている画像補正部 720および置換処理部 730の詳細について以下に説明する。

[0112] 先ず、画像補正部 720について説明する。

[0113] 図 8は、図 7に 1つのブロックで示す画像補正部の詳細を示す図である。尚、以下の説明では、図 7に示す要素については特に図番を断らずに図中の符号を使って参照する。

[0114] この図 8に示す画像補正部 720は、上述したように、画像取得部 710で受け取られた順光撮影画像と逆光撮影画像とに、台形歪みにつ!、ての補正を含む画像補正処理を実行するものであり、マーカ検出部 721、台形補正処理部 722、有効画像作成部 723、および色補正部 724を備えている。

[0115] 以下では、この画像補正部 720の各要素の作用について、上記の台形歪みが生じた順光撮影画像を例として参照しながら説明する。

[0116] 図 9は、台形歪みが生じた順光撮影画像の一例を示す模式図である。

[0117] この図 9には、画像の幅が、下に向力うほど狭まる台形歪みが生じた撮影画像が模式的に示されている。 [0118] まず、マーカ検出部 721が、撮影画像に写っている 4つのマーカ 131cを検出する。本来、これら 4つのマーカ 13 lbを結ぶと長方形が形成されるはずであるが、図 9の例では台形歪みのために、 4つのマーカ 13 lbを結ぶと台形になってしまう。

[0119] 台形補正処理部 722は、マーカ検出部 721が検出した 4つのマーカ 131cを結んでできる図形が本来の長方形となるように、撮影画像全体に適当な変形を施すことで台形歪みを補正する。

[0120] 図 10は、図 9の順光撮影画像における台形歪みが補正された状態を示す模式図である。

[0121] 背景置換処理に供する撮影画像としては、被写体と背景との区別の容易さ等の点から、背景が ELパネル 130における発光面のみであることが望ましい。しかしながら、本実施形態では、撮影スタジオ 10について省スペース化が図られていることから、 ELパネル 130の大きさに限界があり、撮影画像には、図 9や図 10に示すように、 EL パネル 130の発光面以外の不要な部分が背景として写ってしまう。

[0122] 有効画像作成部 723は、台形補正処理部 722による補正処理を経た撮影画像から、 4つのマーカ 131cで決まる有効範囲 E1の外側の画像が削除された有効画像を作成する。

[0123] 図 11は、図 10に示す、台形歪みが補正された順光撮影画像に基づいて作成された有効画像を示す模式図である。

[0124] 有効画像作成部 723によって、この図 11に示すような、被写体 Pの背景が、 ELパネル 130の発光面のみである有効画像が作成されると、次に、色補正部 724が、この有効画像に対して、例えば人物の目についての赤目補正や、画像全体の色合いを好ま、色合いに補正する等と!、つた色補正処理を施す。

[0125] 以上、図 9〜図 11の順光撮影画像を参照して、画像補正部 720で行なわれる画像補正処理について説明したが、本実施形態では、順光撮影画像とともに撮影された逆光撮影画像にも、順光撮影画像に施された画像補正処理と全く同じ処理が施される。ただし、この逆光撮影画像では、被写体は黒くつぶれて写ることとなるので、上記の色補正部 724での処理は、この逆光撮影画像に対しては除外される。

[0126] 図 12は、図 8の画像補正部によって画像補正処理が施された、補正済みの逆光撮影画像を示す模式図である。

[0127] この図 12に示すように、補正済みの逆光撮影画像は、被写体 Pの領域がシャドウ側に偏り、背景として ELパネル 130が写っている領域がハイライト側に偏った画像となつている。ここで、上記の図 9〜図 11の順光撮影画像では、 ELパネル 130の発光の輝度が閃光発光装置 12が発する閃光の輝度よりも低いため、 ELパネル 130の発光面は実際の発光色よりも白っぽく写るのに対し、この図 12に示す逆光撮影画像では、 ELパネル 130の実際の発光色である青緑色に写る。

[0128] このように、図 12に示す補正済みの逆光撮影画像では、被写体 Pの領域と、背景領域とでは、明るさが大きく異なるので両者を容易に区別することができる。また、補正済みの逆光撮影画像では、画像中の被写体 Pの位置や輪郭は、補正済みの順光撮影画像における被写体の位置や輪郭とほぼ同じになる。そこで、本実施形態では、図 7の置換処理部 730において、まず、補正済みの逆光撮影画像について被写体 Pと背景との区別を行ない、その区別を補正済みの順光撮影画像にそのまま適用することで、この順光撮影画像における被写体 Pと背景とを区別する。そして、この置換処理部 730では、順光撮影画像における背景を、顧客が所望する背景と置換して背景置換画像を作成する。

[0129] ここで、この置換処理部 730の詳細について説明する前に、上記の画像補正部 72 0の別例について説明する。この別例は、撮影画像力も ELパネル 130の発光面以外の不要な部分の除去に、撮影画像中のマーカ 131cが不要である点が上記の画像補正部 720と異なる。また、以下では、説明の簡単化のために、対象とする撮影画像には上述した台形歪みが生じないことを前提として説明する。

[0130] 図 13は、画像補正部の別例を示す図である。

[0131] この図 13に示す画像補正部 720'は、撮影画像力も不要な部分が除去された有効画像を上記のマーカを使わずに作成する有効画像作成部 723'と、図 8と同じ色補正部 724とを備えている。以下、この図 13の有効画像作成部 723'に注目して説明する。

[0132] 図 14は、図 13に 1つのブロックで示す有効画像作成部 723'の詳細を示す図である。 [0133] この有効画像作成部 723'は、画像拡大部 723a'、ヒストグラム作成部 723b'、 2値化部 723c'、直線検出部 723d'、および画像切出部 723e'を備えている。

[0134] この有効画像作成部 723 'は、逆光撮影画像および順光撮影画像それぞれに共通の、有効画像の範囲を決定するのに逆光撮影画像を用いる。

[0135] 画像拡大部 723a'は、その逆光撮影画像を、次のように拡大する。

[0136] 図 15は、有効画像の作成に使われる逆光撮影画像の一例を示す図であり、図 16 は、図 15に示す逆光撮影画像が拡大された状態を示す図である。

[0137] 図 15には、 ELパネル 130の発光面以外の不要な部分や被写体 Pがシャドウ側に偏った逆光撮影画像が示されている。上記の画像拡大部 723a'は、逆光撮影画像の上下左右に黒色の画素を複数画素分だけ追加することで、この逆光撮影画像を拡大して、図 16に示すような、 ELパネル 130の発光面の周囲がシャドウ側の色の画素で囲まれた状態の画像を作成する。

[0138] 次に、図 14のヒストグラム作成部 723b'は、その拡大された画像について、次のような各画素の明るさについてのヒストグラムを作成する。

[0139] 図 17は、拡大された逆光撮影画像を構成する各画素の明るさについてのヒストグラムの一例を示す図である。

[0140] この図 17には、各画素の輝度を、多数の輝度範囲に振り分け、各輝度範囲についてどれだけの画素が振り分けられたかを頻度で示したヒストグラム HGが示されており、このヒストグラム HGでは、横軸 HG— 1に輝度がとられ、縦軸 HI— 2に頻度がとられている。逆光撮影画像について作成されたこのようなヒストグラム HGには、図 17に示すように、シャドウ側と、ノ、イライト側とに 2つのピーク HP1, HP2が現れる。シャドウ側のピーク HP1は、逆光撮影画像における上記の不要な部分や被写体領域の画素が振り分けられて現れるものであり、ハイライト側のピーク HP2は、この逆光撮影画像における ELパネル 130の発光面の画素が振り分けられて現れるものである。

[0141] このようなヒストグラム HGが作成されると、図 14の 2値化部 723c，は、まず、ヒストグラム HGにおけるシャドウ側のピーク HP1において、頻度が所定頻度以上となる輝度の上限である閾値 HSを計算する。次に、 2値ィ匕部 723c'は、上記の拡大された逆光撮影画像の各画素につ、て、閾値 HS以上の輝度に対応する画素に「 1」の画素値を割り当て、閾値 HSに満たなヽ輝度に対応する画素には「0」の画素値を割り当てるとヽぅ 2値化処理を実行する。

[0142] 図 18は、図 14の 2値ィ匕部 723c'によって 2値ィ匕処理が施された逆光撮影画像を示す図である。この図 18では、被写体 Pを含む、 ELパネル 130の発光面以外の領域の画素に「0」の画素値が割り当てられた様子が斜線で示されて、る。

[0143] このような 2値ィ匕処理が終了すると、次に、図 14の直線検出部 723d'は、 2値化処理が施された逆光撮影画像において、「1」の画素値を有する画素と、「0」の画素値を有する画素との境界における直線部分を検出する。上記の図 18には、 ELパネル 1 30の発光面の領域を囲む 4本の直線 SL1, SL2, SL3, SL4が検出された様子が示されている。

[0144] このような直線が検出されると、図 14の画像切出部 723e'が、図 15に示す拡大前の逆光撮影画像から、上記の 4本の直線 SL1, SL2, SL3, SL4で囲まれた範囲に対応する画像部分を有効画像として切り出す。そして、この画像切出部 723e'は、順光撮影画像からも、上記の 4本の直線 SL1, SL2, SL3, SL4で囲まれた範囲に対応する画像部分を有効画像として切り出す。

[0145] 以上に説明した一連の処理によっても、図 11や図 12に示す、マーカを使って作成された有効画像とほぼ同様の有効画像を得ることができる。

[0146] 再び、本発明の第 1実施形態についての説明に戻る。

[0147] 図 7の画像補正部 720において、図 11や図 12に示すような、順光および逆光それ

、ての有効画像 (補正済みの順光撮影画像および補正済みの逆光撮影画像）が得られると、置換処理部 730では、上述したように、補正済みの逆光撮影画像について被写体 Pと背景との区別が行なわれ、その区別が補正済みの順光撮影画像にそのまま適用されて、この順光撮影画像における被写体 Pと背景とが区別される。そして、この置換処理部 730は、順光撮影画像における背景を、顧客が所望する背景と置換して背景置換画像を作成する。

[0148] 次に、この置換処理部 730の詳細について、補正済みの逆光撮影画像における被写体と背景との区別から、背景置換画像の作成に至る背景置換処理に注目して説明する。 [0149] ここで、以下の説明では、上記の補正済みの順光撮影画像および補正済みの逆光撮影画像それぞれの一例として、次の画像を参照する。

[0150] 図 19は、補正済みの順光撮影画像の一例を示す図であり、図 20は、補正済みの逆光撮影画像の一例を示す図である。

[0151] これら図 19および図 20には、人物の被写体 P'が写っている。ただし、図 20に示す撮影画像は、逆光で撮影されたものであるために、被写体 P'の領域がシャドウ側に偏り、背景として ELパネル 130が写っている領域がハイライト側に偏った画像となつている。ここで、被写体 P'と背景との境界周辺の様子を、図 19中のエリア A1と、この図 19中のエリア A1に対応する図 20中のエリア A2とについて別図に示す。

[0152] 図 21は、図 19中のエリア A1の拡大図であり、図 22は、図 20中のエリア A2の拡大図である。

[0153] これら図 21および図 22には、被写体 P'の頭髪越しに背景の ELパネル 130が見えている様子が示されている。一般に、撮影画像中には、被写体の一部越しに背景が見えている部分がしばしば見られる力このような部分は、図 19〜図 22の例に示すように、撮影画像中の被写体と背景との境界周辺に存在する。

[0154] ここで、図 21および図 22は、説明の便宜上、人物の頭髪の一本に至るまで詳細に見える理想的な状態で示されている。しかし、実際の撮影画像では、解像度の制約により、画像を構成する画素が一本の頭髪等といった微細な被写体よりも大きくなる。そのため、例えば、図 21および図 22に示す、頭髪越しに背景の ELパネル 130が見えている部分の画像等は、頭髪という微細な被写体の色と、その背後に見える背景の色とが合成された合成色を有する画素が集まって構成されることとなる。そのため、このような部分では、被写体と背景との単純な区別は不可能となっている。

[0155] 図 7の置換処理部 730は、例えば図 19に示すような、補正済みの順光撮影画像の背景を、顧客が所望する背景に置換する際には、まず、この補正済みの順光撮影画像を、被写体領域と、背景領域と、これら 2つの領域に挟まれた境界領域とに区別する。置換処理部 730は、この補正済みの順光撮影画像における被写体領域についてはそのまま残し、背景領域を、顧客が所望する別の背景と置換する。

[0156] このとき、図 21に示すように被写体の一部越しに背景が見えていている部分、即ち、微細な被写体色と背景色とが合成された合成色を有する画素によって構成される部分は、上記のように被写体と背景とに単純に区別することが不可能であることから、置換処理部 730によって上記の境界領域に区別される。

[0157] 置換処理部 730は、補正済みの順光撮影画像における上記の境界領域内の全ての画素が、上記のような合成色を有しているという前提のもとに、各画素の色の合成の元となった被写体色と、背景色とを推定し、さらに両者の合成比を推定する。ただし、実際の境界領域には、合成色を有する画素の他にも、背景色のみを有する画素や、被写体色のみを有する画素も含まれる。置換処理部 730では、処理対象の画素力背景色のみを有する画素である場合には、その画素の色に占める被写体色の割合が「0」となる合成比が推定され、処理対象の画素が、被写体色のみを有する画素である場合には、その画素の色に占める被写体色の割合が「1」となる合成比が推定される。

[0158] そして、置換処理部 730は、上記の境界領域内の各画素の色を、推定された被写体色と、上記の顧客が所望する別の背景色とが、推定された合成比で合成されてなる合成色に置き換える。この処理では、境界領域中の、背景色のみを有する画素の色は上記の別の背景色に置換され、被写体色のみを有する画素の色はそのまま維持され、さらに、被写体の一部越しに背景が見えていている部分の画素の色は上記の合成色に置換される。この処理の結果、境界領域中に、被写体の一部越しに背景が見えていている部分が含まれていたとしても、その被写体の一部越しに、上記の顧客が所望する別の背景が見えて、ると、う自然な背景置換画像が作成される。

[0159] 以下、この置換処理部 730の詳細について説明する。

[0160] 図 23は、図 7に 1つのブロックで示す置換処理部の詳細を示す図である。尚、以下の説明でも、図 7に示す要素については特に図番を断らずに図 7中の符号を使って参照する。

[0161] この置換処理部 730は、上述した背景置換処理を実行するものであり、マスク作成部 731、色推定部 732、および背景置換画像作成部 733を備えている。

[0162] まず、これら各構成要素の概要について説明する。

[0163] マスク作成部 731は、上記の補正済みの逆光撮影画像において、この逆光撮影画像中で、被写体色の画素のみが存在する範囲を定義する被写体マスクと、背景色の画素のみが存在する範囲を定義する背景マスクとを作成する。ここで、これら 2つのマスクは、それぞれのマスクが定義する範囲内に、例えば図 22に示すような、被写体越しに背景が見えて、る部分の画素が含まれな、ように、互いに隙間を開けて作成される。

[0164] 色推定部 732は、マスク作成部 731が作成した被写体マスクと背景マスクとを、上記の補正済みの順光撮影画像に適用して、まず、この順光撮影画像において、これら 2つのマスク間に開いた隙間、即ち、境界領域を認識する。そして、この境界領域内の全ての画素が合成色を有して、ると、う前提のもとに、各画素の色の合成の元となった被写体色と、背景色とを推定し、さらに両者の合成比を推定する。

[0165] 背景置換画像作成部 733は、まず、上記の補正済みの順光撮影画像において、被写体マスクで定義される領域にっ、てはそのまま残し、背景マスクで定義される領域を、顧客が所望する別の背景と置換する。次に、境界領域内の各画素について、顧客が所望する背景の色と、上記の色推定部 732で推定された被写体色とを、色推定部 732で推定された合成比で合成して合成色を求め、各画素の色をその合成色に置換する。これにより、上記の補正済みの順光撮影画像の背景が、顧客が所望する別の背景に自然に置換された背景置換画像が作成される。

[0166] このように作成された背景置換画像を表わす画像データ力図 7の画像データ転送部 740から、各出力デバイスや出力用記憶媒体 550 (図 7参照）に転送される。

[0167] 次に、置換処理部 730の各構成要素の詳細について説明する。

[0168] まず、マスク作成部 731の詳細について説明する。

[0169] 図 24は、図 23に 1つのブロックで示すマスク作成部の詳細を示す図である。

[0170] このマスク作成部 731は、ヒストグラム作成部 731a、閾値計算部 731b、被写体マスク設定部 731c、背景マスク設定部 731d、被写体マスク縮小部 731e、および背景マスク縮小部 73 Ifを備えている。

[0171] ヒストグラム作成部 731aは、上記の補正済みの逆光撮影画像を構成する各画素の明るさについてのヒストグラムを作成する。

[0172] 図 25は、補正済みの逆光撮影画像を構成する各画素の明るさについてのヒストグラムの様々な例を示す図である。

[0173] この図 25のパート（a)には、逆光撮影画像を構成する各画素の輝度を、多数の輝度範囲に振り分け、各輝度範囲についてどれだけの画素が振り分けられた力を頻度で示した輝度ヒストグラム HIが示されており、この輝度ヒストグラム HIでは、横軸 HI —1に輝度がとられ、縦軸 HI— 2に頻度がとられて、る。

[0174] ここで、本実施形態では上記の順光撮影画像および逆光撮影画像は、 R (レッド）、 G (グリーン）、 B (ブルー）の 3色で色を定義する RGB色空間上の座標、即ち、この R GB色空間における R値、 G値、および B値で各画素の色が表わされている。各画素の色を表わす R値、 G値、および B値それぞれには、その画素の明るさが反映されているので、逆光撮影画像を構成する各画素の明るさについてのヒストグラムを、これら R値、 G値、および B値のうちのいずれかを用いて作成することもできる。

[0175] 図 25のパート (b)には、逆光撮影画像を構成する各画素の R値を、 R値の多数の範囲に振り分け、各範囲についてどれだけの画素が振り分けられた力を頻度で示した R値ヒストグラム H2が示されており、図 25のパート（c)には、逆光撮影画像を構成する各画素の G値を、 G値の多数の範囲に振り分け、各範囲についてどれだけの画素が振り分けられたかを頻度で示した G値ヒストグラム H3が示されており、図 25のパ一 Hd)には、逆光撮影画像を構成する各画素の B値を、 B値の多数の範囲に振り分け、各範囲にっ、てどれだけの画素が振り分けられたかを頻度で示した B値ヒストグラム H4が示されている。図 25のパート（b)に示す R値ヒストグラム H2では、横軸 H2 —1に R値がとられ、図 25のパート（c)に示す G値ヒストグラム H3では、横軸 H3— 1 に G値がとられ、図 25のパート（d)に示す B値ヒストグラム H4では、横軸 H4— 1に B 値がとられている。また、これら 3つのヒストグラムの縦軸 H2— 2, H3— 2, H4— 2には、頻度がとられている。

[0176] 本実施形態では、逆光撮影画像では、被写体の背景が、 ELパネル 130の発光色である青緑色に写ることから、この逆光撮影画像の各画素の明るさは、 R値、 G値、および B値のうち、 G値に最も良く反映される。そこで、図 24のヒストグラム作成部 731a は、図 25に示す 4つのヒストグラムのうち、図 25のパート（c)に示す G値ヒストグラム H 3を作成するように構成されて！、る。 [0177] ここで、この G値ヒストグラム H3には、他の 3つのヒストグラムと同様に、シャドウ側と、ハイライト側とに 2つのピーク Pkl, Pk2が現れる。シャドウ側のピーク Pklは、補正済みの逆光撮影画像における被写体領域の画素が振り分けられて現れるものであり、ノ、イライト側のピーク Pk2は、この逆光撮影画像における背景領域の画素が振り分けられて現れるちのである。

[0178] 図 24に示す閾値計算部 731bは、このヒストグラム作成部 73 laが作成した G値ヒストグラムにおける 2つのピーク Pkl, Pk2それぞれに基づいて、次の 2つの閾値を計算する。図 25のパート（c)に示すようにシャドウ側のピーク Pklからは、このピーク Pk 1において、頻度が所定頻度以上となる G値の上限である第 1の閾値 Sriが計算される。また、ハイライト側のピーク Pk2からは、このピーク Pk2において、頻度が所定頻度以上となる G値の下限である第 2の閾値 Sr2が計算される。

[0179] そして、図 24に示す被写体マスク設定部 731cは、上記の補正済みの逆光撮影画像を構成する複数の画素のうち、 G値が第 1の閾値 Sri以下となる画素力なる領域を初期被写体マスクに設定し、背景マスク設定部 731dは、 G値が第 2の閾値 Sr2以上となる画素からなる領域を初期背景マスクに設定する。

[0180] 図 26は、図 22に示す逆光撮影画像の拡大図において、初期被写体マスクに設定された領域と初期背景マスクに設定された領域を示す図である。

[0181] この図 26における右側のハッチング部分は、図 22の拡大図において被写体 P'の頭髪が、背景が見えないほどに集まっていて、逆光撮影によってシャドウ側に大きく偏って写っている部分であり、その部分の画素の G値が上記の第 1の閾値 Sriを下回っている。その結果、この図 26における右側のハッチング部分は、被写体マスク設定部 731cによって初期被写体マスク Mlに設定される。

[0182] また、図 26における左側のハッチング部分は、図 22の拡大図において背景の EL パネル 130のみが写っている、ハイライト側に大きく偏った部分であり、その部分の画素の G値は上記の第 2の閾値 Sr2を上回っている。その結果、この図 26における左側のハッチング部分は、背景マスク設定部 73 Idによって初期背景マスク M2に設定される。

[0183] 一方、図 26において左右いずれのハッチング部分にも属していない部分は、頭髪越しに背景が見えている部分であり、その部分の G値は、上記の第 1の閾値 Sriを上回り、上記の第 2の閾値 Sr2を下回る。その結果、この図 26において左右いずれのノ、ツチング部分にも属していない部分は、初期被写体マスク Mlと初期背景マスク M 2との間にあって、両方のマスクの外側となる境界領域 M3として残される。

[0184] 図 27は、図 26に示す初期被写体マスクと初期背景マスクとを示す図であり、図 28 は、初期被写体マスクと初期背景マスクとを、図 19に示す補正済みの順光撮影画像全体に重ねて示した図である。

[0185] 図 27および図 28に示すように、初期被写体マスク Mlと初期背景マスク M2とはかなり接近しており、境界領域 M3が非常に狭くなつている。ここで、上述したように、補正済みの逆光撮影画像では、画像中の被写体の位置や輪郭は、補正済みの順光撮影画像における被写体の位置や輪郭とほぼ同じになる。しかし、撮影のタイミングが若干ずれているため、 2つの撮影画像の間で、被写体の位置や輪郭が若干ずれる可能性もある。そのような場合には、境界領域 M3が狭いと、補正済みの順光撮影画像において、図 21に示すような、被写体の一部を透力して背景が見えている部分が境界領域 M3に完全には含まれず、 2つのマスクのいずれか一方に含まれてしまう恐れが生じる。このような初期被写体マスク Mlと、初期背景マスク M2とに基づいて、背景の置換が行なわれると、被写体の一部を透力して背景が見えている部分に、古い背景が残ってしまったり、あるいは、そのような部分が全て新しい背景に置換されて、被写体の一部が欠けてしまったりするという問題が発生してしまう恐れがある。

[0186] このような問題を回避するために、本実施形態では、図 24に示す被写体マスク縮小部 731 eによって初期被写体マスク M 1を境界領域 M3から離れる方向に縮小し、背景マスク縮小部 731fによって初期背景マスク M2を境界領域 M3から離れる方向に縮小する。これにより、境界領域 M3が広げられ、被写体の一部を透力して背景が見えている部分が境界領域 M3に完全に含まれるようになる。

[0187] 図 29は、図 27に示す初期被写体マスクと初期背景マスクとが、それぞれ境界領域力離れる方向に縮小される様子を示す図である。

[0188] この図 29に示すように、初期被写体マスク Mlの輪郭 L1が所定数の画素分だけ、境界領域 M3から離れる方向に移動されることによって初期被写体マスク Mlが縮小され、同様に、初期背景マスク M2の輪郭 L2が所定数の画素分だけ、境界領域 M3 力離れる方向に移動されることによって初期背景マスク M2が縮小される。ここで、本実施形態では、 2つのマスクの輪郭の移動量として 5画素が採用されている。このようなマスクの縮小を経て、最終的な被写体マスク Ml 'および背景マスク M2'が完成される。

[0189] 図 30は、最終的に完成された被写体マスクと背景マスクとを、図 19に示す補正済みの順光撮影画像全体に重ねて示した図である。

[0190] 最終的に完成された被写体マスク Ml 'と背景マスク M2'との間、即ち、最終的な境界領域 M3'は、図 28に示す境界領域 M3に比べて 10画素分広くなつており、図 3

0に示すように、この最終的な境界領域 M3'に、被写体の一部を透力して背景が見えて、る部分が十分に含まれることとなる。

[0191] 以上で、図 23の置換処理部 730が備えるマスク作成部 731についての説明を終了し、次に、この置換処理部 730が備える色推定部 732の詳細について説明する。

[0192] 図 31は、図 23に 1つのブロックで示す色推定部の詳細を示す図である。

[0193] この色推定部 732は、背景色推定部 732a、被写体色推定部 732b、および合成比推定部 732cを備えている。

[0194] まず、背景色推定部 732aについて説明する。

[0195] 図 32は、図 31に 1つのブロックで示す背景色推定部の詳細を示す図である。

[0196] この背景色推定部 732aは、補正済みの順光撮影画像における、上記の最終的な境界領域内の各画素について、その画素の色を構成している背景色を推定するものであり、探索範囲設定部 732a— 1、背景領域確認部 732a— 2、および背景色計算部 732a— 3を備えている。

[0197] この背景色推定部 732aは、境界領域内のある画素について背景色を推定する際には、背景マスクで定義される領域内の画素の中から、ある程度その画素の近くに位置する複数の画素を探索し、探索された複数の画素の色の平均色を、その画素についての背景色として求める。

[0198] 探索範囲設定部 732a— 1は、背景色を推定する画素を中心とした正方形状の探索範囲を次のように設定する。 [0199] 図 33は、ある画素について背景色を推定する際に、その画素を中心に探索範囲が設定される様子を示す図である。

[0200] 境界領域内のある画素 Gについて探索範囲を設定するに当たり、探索範囲設定部 732a— 1は、まず、この画素 Gを中心とした正方形状の所定の初期範囲 T1から出発して徐々に探索範囲を拡張する。そして、探索範囲設定部 732a— 1は、背景マスク M2'で定義される領域の画素が、所定数を超えて探索範囲に含まれるようになったところで拡張を止め、そのときの探索範囲 T1 'を、背景色推定のための探索範囲として設定する。

[0201] 探索範囲が設定されると、図 32に示す背景領域確認部 732a— 2が、画素 Gにつ V、て背景色を推定するために用いる領域として、補正済みの順光撮影画像における次の領域を確認する。

[0202] 図 34は、ある画素について背景色を推定するために用いられる領域の一例を示す図である。

[0203] この図 34に示すように、画素 Gについて背景色を推定するために用いられる領域として、補正済みの順光撮影画像において、背景マスクで定義される領域であり、かつ探索範囲設定部 732a— 1によって設定された探索範囲 T1 '内となる領域 B1が確認される。

[0204] このように、画素 Gについて背景色を推定するために用いられる領域 B1が確認されると、図 32に示す背景色計算部 732a— 3が、この領域 B1内の複数の画素の平均色、即ち、複数の画素の R値、 G値、および B値それぞれの平均値を計算する。そして、その計算結果が表わす色を、その画素 Gについての背景色として採用する。

[0205] 以上に説明した背景色推定部 732aは、上記の探索範囲の設定力も平均色の計算に至るまでの処理を、補正済みの順光撮影画像における境界領域内の全ての画素について実行する。

[0206] 次に、図 31に示す被写体色推定部 732bについて説明する。

[0207] 図 35は、図 31に 1つのブロックで示す被写体色推定部の詳細を示す図である。

[0208] この被写体色推定部 732bは、補正済みの順光撮影画像における、上記の最終的な境界領域内の各画素について、その画素の色を構成している被写体色を推定するものであり、探索範囲設定部 732b— 1、被写体領域確認部 732b— 2、画素色確認部 732b— 3、および被写体色探索部 732b— 4を備えて、る。

[0209] この被写体色推定部 732bは、境界領域内のある画素について被写体色を推定する際には、被写体マスクで定義される領域内の画素の中から、ある程度その画素の近くに位置する複数の画素を探索し、探索された複数の画素の色の中から、後述の探索方法によって、その画素についての被写体色を探索する。

[0210] 探索範囲設定部 732b— 1は、被写体色を推定する画素を中心とした正方形状の探索範囲を次のように設定する。

[0211] 図 36は、ある画素について被写体色を推定する際に、その画素を中心に探索範囲が設定される様子を示す図である。

[0212] 境界領域内のある画素 Gについて探索範囲を設定するに当たり、探索範囲設定部 732b— 1は、まず、この画素 Gを中心とした正方形状の所定の初期範囲 T2から出発して徐々に探索範囲を拡張する。そして、探索範囲設定部 732b— 1は、被写体マスク Ml 'で定義される領域の画素が、所定数を超えて探索範囲に含まれるようになつたところで拡張を止め、そのときの探索範囲 T2'を、被写体色推定のための探索範囲として設定する。

[0213] 探索範囲が設定されると、図 35に示す被写体領域確認部 732b— 2が、画素 Gにっ、て被写体色を推定するために用いる領域として、補正済みの順光撮影画像における次の領域を確認する。

[0214] 図 37は、ある画素について被写体色を推定するために用いられる領域の一例を示す図である。

[0215] この図 37に示すように、画素 Gについて被写体色を推定するために用いられる領域として、補正済みの順光撮影画像において、被写体マスクで定義される領域であり、かつ探索範囲設定部 732b— 1によって設定された探索範囲 T2'内となる領域 B2 が確認される。

[0216] このように、画素 Gについて被写体色を推定するために用いられる領域 B2が確認されると、まず、図 35に示す画素色確認部 732b— 3が、その画素 Gの色を確認し、次に、図 35に示す被写体色探索部 732b— 4が、上記の領域 B2内の複数の画素の色の中から、以下のような探索方法によって、その画素 Gについての被写体色を探索する。

[0217] 図 38は、補正済みの順光撮影画像における境界領域内のある画素について被写体色を探索する際の探索方法を示す図である。

[0218] 図 38には、補正済みの順光撮影画像における境界領域内のある画素について、図 31の背景色推定部 732aで推定された背景色 C1と、図 35の画素色確認部 732b

—3で確認されたその画素の色 C2とを、 RGB色空間上で結ぶ直線 CL1が示されている。

[0219] 上述したように、補正済みの順光撮影画像における境界領域内の画素の色は、撮影時に被写体の一部越しに背景が見えて、背景色と被写体色とが合成された合成色となっている可能性がある。仮に、今、被写体色を探索しょうとしている画素の色がこのような合成色となっている場合には、合成色である画素の色 C2と、その色 C2の元となった背景色 C1と被写体色とは RGB色空間上の直線上に並ぶ。

[0220] そこで、図 35に示す被写体色探索部 732b— 4は、まず、上記の領域 B2内の複数の画素の色の中から、上記の直線 CL1の延長線上に並ぶ色 C3を探索する。

[0221] このような色 C3が複数存在する場合には、この直線 CL1の延長線上で、画素の色 C2に最も近い色力背景色 C1とともにその画素の色 C2の元となった可能性が最も高い。そこで、被写体色探索部 732b— 4は、上記の直線 CL1の延長線上に並ぶ色 C3が複数存在する場合には、これらの色 C3の中から、画素の色 C2に最も近い色を、この画素についての被写体色 C4として採用する。

[0222] 以上に説明した被写体色推定部 732bは、上記の探索範囲の設定から被写体色の探索に至るまでの処理を、補正済みの順光撮影画像における境界領域内の全ての画素について実行する。

[0223] 以上で、図 31に示す被写体色推定部 732bについての説明を終了し、次に、この図 31に示す合成比推定部 732cについて説明する。尚、この合成比推定部 732cについての説明では上記の図 38を参照する。

[0224] この合成比推定部 732cは、図 38に示すように、背景色推定部 732aで推定された背景色 C1と、被写体色推定部 732bで推定された被写体色 C4とを、 RGB色空間上で結ぶ線分の長さに対する、背景色 C1と、その画素の色 C2とを結ぶ線分の長さの割合を、背景色 C 1と被写体色 C4とで画素の色 C2を合成するときの合成比 ocとして算出する。また、この合成比推定部 732cは、このような合成比 αの算出を、補正済みの順光撮影画像における境界領域内の全ての画素について実行する。

[0225] 以上で、図 23の置換処理部 730が備える色推定部 732の詳細についての説明を終了し、次に、この置換処理部 730が備える背景置換画像作成部 733の詳細について説明する。

[0226] この背景置換画像作成部 733は、上述したように、まず、上記の補正済みの順光撮影画像において、被写体マスクで定義される領域についてはそのまま残し、背景マスクで定義される領域を、顧客が所望する別の背景と置換する。

[0227] そして、この背景置換画像作成部 733は、境界領域内の各画素については、顧客が所望する背景の色と、色推定部 732で推定された被写体色とを、色推定部 732で推定された合成比で合成して合成色を求める。

[0228] 図 39は、補正済みの順光撮影画像における境界領域内のある画素について合成色が求められる様子を示す図である。

[0229] この図 39には、 RGB色空間上で、推定された背景色 C1と、その画素の色 C2と、推定された被写体色 C4とを結ぶ、図 38にも示した直線 CL1が示されている。ここで、画素の色 C2は、背景色 C1と被写体色 C4とを結ぶ直線を、合成比 oc： ( 1 合成比 α )で分割する点であるといえる。そこで、背景置換画像作成部 733は、この図 39に示すように、別の背景色 C5と、推定された被写体色 C4とを結ぶ直線 CL2を、合成比 a： ( 1 合成比 ex )で分割する点を合成色 C6として採用する。

[0230] この図 39を参照して説明した方法で、境界領域内の全ての画素について合成色が求められると、背景置換画像作成部 733は、この全ての画素の色を、各画素につ V、て求められた合成色〖こ置換することにより、補正済みの順光撮影画像の背景が、顧客が所望する別の背景に置換された背景置換画像を完成させる。

[0231] ここで、補正済みの順光撮影画像における境界領域内には、図 30等からもわかるように、被写体の一部越しに背景が見えている部分以外にも、被写体のみで占められた部分や、背景のみで占められた部分も含まれる。被写体のみで占められた部分の画素の色は被写体そのものの色であり、背景が別の背景に置換されたとしても、その画素の色は維持される必要がある。また、背景のみで占められた部分の画素の色は背景そのものの色であり、背景が別の背景に置換されたときには、その画素の色は、その別の背景色に完全に置換される必要がある。

[0232] 本実施形態では、背景色や被写体色や合成比の推定対象の画素が、被写体のみで占められた部分の画素であった場合には、図 37に示す領域 B2のような、その画素につ、て被写体色を推定するために用いられる領域内のほとんどの画素の色力推定対象の画素の色と同じ被写体そのものの色となる。その結果、このような画素については、合成比 aがほぼ「1」となり、背景が置換される際には、この合成比 aに基づいて合成色が求められるので、その画素の色である被写体そのものの色が維持される。

[0233] 一方、背景色や被写体色や合成比の推定対象の画素が、背景のみで占められた部分の画素であった場合には、その画素の色が、その画素について推定される背景色と同じ背景そのものの色となる。その結果、このような画素については、合成比 α がほぼ「0」となり、背景が置換される際には、この合成比 aに基づいて、その画素の色は、別の背景色に完全に置換されることとなる。

[0234] 結局、本実施形態では、背景色や被写体色や合成比の推定対象の画素が、被写体の一部越しに背景が見えている部分の画素であった場合に、合成比 α力「0」と「1 」との間の値を持つこととなり、背景が置換される際に、被写体色と、別の背景色との合成が行なわれて、自然な背景置換画像が作成される。

[0235] 図 40は、背景置換画像の一例を示す図である。

[0236] この図 40には、図 19に示す補正済みの順光撮影画像の背景を別の背景に置換して作成された背景置換画像における、図 19中のエリア A1と同じ部分が拡大された拡大図が示されている。

[0237] 背景置換画像作成部 733で作成される背景置換画像は、境界領域内の画素の色が上記の合成色に置換された画像であり、この背景置換画像から、観賞者は、この図 40に示すような、被写体 P'の頭髪越しに、置換された別の背景 TBが透けている状態を認識することとなる。つまり、この背景置換画像作成部 733で作成される背景置換画像は、背景が別の背景に自然に置換された画像となる。

[0238] 以上、図 1〜図 40を参照して説明したように、本実施形態の撮影システム 1によれば、まず、画像中の背景と被写体とで明るさが大きく異なり、背景と被写体とを互いに誤認することなく区別できる補正済みの逆光撮影画像に基づ、て、補正済みの順光撮影画像における背景と被写体とが区別される。このため、この補正済みの順光撮影画像の背景が別の背景に置換されるときに、被写体の一部が誤って背景に置換されてしまったり、背景置換画像の中に、古い背景が残ってしまったりする等といった不具合が抑制されて、背景が所望の背景に自然に置換された背景置換画像を作成することができる。

[0239] また、本実施形態の撮影システム 1によれば、補正済みの順光撮影画像における、被写体領域と背景領域との境界領域が認識され、背景を置換する際には、この境界領域内の画素の色が、置換される別の背景色と被写体色とが適切に合成された合成色に置換される。これにより、例えば、被写体の一部越しに背景が見えている部分があつたとしても、背景を置換すると、この被写体の一部越しに別の背景が見えている t ヽつた自然な背景置換画像を作成することができる。

[0240] 尚、上記では、本発明にいう背景置換装置の一例として、補正済みの逆光撮影画像中で被写体が占めて、る範囲を定義する被写体マスクと、背景が占めて、る範囲を定義する背景マスクとの 2つのマスクを作成し、これら 2つのマスクを用いて、補正済みの順光撮影画像における背景の置換を行なう背景置換装置 700を例示したが、本発明はこれに限るものではない。本発明の背景置換装置は、例えば、以下に説明するように、上記の背景マスクのみを作成し、この背景マスクのみを用いて、補正済みの順光撮影画像における背景の置換を行なうもの等であっても良い。

[0241] 以下に、背景マスクのみを用いた背景置換の方法の一例について説明する。尚、ここでの背景マスクは、図 23に示すマスク作成部 731が行なう背景マスクの作成と同じ方法で作成されたものであるとして、背景マスクの作成にっ、ては重複説明を省略する。

[0242] この背景マスクのみを用いた背景置換では、まず、この背景マスクに基づいて、補正済みの順光撮影画像にぉヽて、背景マスクで定義される領域を除ヽた領域を定義する非背景マスクが作成される。この非背景マスクが定義する領域は、上記の被写体マスクが定義する領域と、境界領域とを合わせた領域になる。そして、この非背景マスクが定義する領域内の全ての画素について、背景色と、被写体色と、両者の合成比の推定が行なわれる。尚、ここでの背景色は、図 31に示す背景色推定部 732aが行なう推定方法と同じ方法によって推定されるものであるとして、背景色の推定については重複説明を省略する。以下では、主に、被写体色の推定方法に注目して説明する。

[0243] 図 41は、補正済みの順光撮影画像において、非背景マスクで定義される領域内のある画素について被写体色を推定する際に、その画素を中心に探索範囲が設定される様子を示す図である。ここで、この図 41では、図 29に示す被写体マスク Ml '力 S 定義する領域と、境界領域 M3とを合わせた領域が、上記の非背景マスク M4が定義する領域の一例として挙げられて、る。

[0244] 非背景マスク M4が定義する領域内のある画素 Gについて探索範囲を設定するに当たっては、まず、この画素 Gを中心とした正方形状の所定の初期範囲 T3から出発して徐々に探索範囲が拡張される。そして、補正済みの順光撮影画像において非背景マスク M4で定義される領域の画素力所定数を超えて探索範囲に含まれるようになったところで拡張が止められ、そのときの探索範囲 T3'が、被写体色推定のための探索範囲として設定される。

[0245] 探索範囲が設定されると、画素 Gについて被写体色を推定するために用いる領域として、補正済みの順光撮影画像における次の領域が確認される。

[0246] 図 42は、ある画素について被写体色を推定するために用いられる領域の一例を示す図である。

[0247] この図 42に示すように、画素 Gについて被写体色を推定するために用いられる領域として、補正済みの順光撮影画像において、非背景マスクで定義される領域であり、かつ上記のように設定された探索範囲 T3'内となる領域 B3が確認される。

[0248] このように、画素 Gについて被写体色を推定するために用いられる領域 B3が確認されると、まず、その画素 Gの色が確認され、次に、上記の領域 B3内の複数の画素の色の中から、以下のような探索方法によって、その画素 Gについての被写体色が探索される。

[0249] 図 43は、補正済みの順光撮影画像における、非背景マスクで定義される領域内のある画素について被写体色を探索する際の探索方法を示す図である。

[0250] 図 43には、補正済みの順光撮影画像における境界領域内のある画素について、推定された背景色 C7と、その画素の色 C8とを、 RGB色空間上で結ぶ直線 CL3が示されている。

[0251] ここで、補正済みの順光撮影画像における非背景マスクで定義される領域には、上述したような境界領域が含まれている。そして、この境界領域には被写体の一部越しに背景が見えている部分が含まれている可能性があり、そのような部分の画素の色は、背景色と被写体色とを合成した合成色となっている。仮に、今、被写体色を探索しょうとしている画素の色がこのような合成色となっている場合には、合成色である画素の色 C8と、その色 C8の元となった背景色 C7と被写体色とは RGB色空間上の直称上に业ふ。

[0252] そこで、まず、上記の領域 B3内の複数の画素の色の中から、上記の直線 CL3の延長線上に並ぶ色 C9を探索する。このような色 C9が複数存在する場合、これら複数の色 C9のうちの 1つの色が被写体色として採用される。

[0253] ここで、非背景マスクで定義される領域内には、上記の合成色を有する画素や、背景色のみを有する画素等といった、被写体色以外の色を有する画素が含まれる。このため、上記の複数の色 C9のうちでは、画素の色 C8から最も遠い色力背景色 C7 とともにその画素の色 C8の元となった被写体色である可能性が高い。

[0254] そこで、この非背景マスクで定義される領域内の画素の色の中から被写体色を探索する方法では、上記の直線 CL3の延長線上に複数の色 C9が並んだ場合には、これらの色 C9の中から、画素の色 C7に最も遠い色を、この画素についての被写体色 C10として採用する。

[0255] このように被写体色が推定されると、この図 43に示すように、背景色推定部 732aで推定された背景色 C7と、被写体色推定部 732bで推定された被写体色 C10とを、 R GB色空間上で結ぶ線分の長さに対する、背景色 C7と、その画素の色 C8とを結ぶ線分の長さの割合を、背景色 C7と被写体色 C10とで画素の色 C8を合成するときの合成比 αとして算出する。

[0256] そして、背景マスクのみを用いた背景置換では、以上に説明した探索範囲の設定力合成比の算出に至るまでの処理が、補正済みの順光撮影画像における、非背景マスクで定義される領域内の全ての画素について実行される。

[0257] 以上説明した、背景色と被写体色と合成比との推定が終了すると、まず、補正済みの順光撮影画像における、背景マスクで定義される領域が、顧客が所望する別の背景に置換される。次に、補正済みの順光撮影画像における、非背景マスクで定義される領域内の全ての画素について、上記の図 39を参照して説明した方法で合成色が求められ、この非背景マスクで定義される領域内の全ての画素の色が合成色に置換されて、背景置換画像が完成される。

[0258] ここで、この非背景マスクで定義される領域内の、被写体のみで占められた部分の画素については、合成比 αがほぼ「1」となり、背景が置換される際にも、その画素における被写体そのものの色が維持される。また、非背景マスクで定義される領域内の、背景のみで占められた部分の画素については、合成比 aがほぼ「0」となり、背景が置換される際には、その画素の色が、別の背景色に完全に置換される。

[0259] 以上、図 41〜図 43を参照して説明した、背景マスクのみを用いた背景置換によつても、上記の図 1〜図 40を参照して説明した、撮影システム 1と同様に、撮影画像における背景が所望の背景に自然に置換された背景置換画像を作成することができる

[0260] 次に、本発明の第 2実施形態について説明する。

[0261] この第 2実施形態は、上記の第 1実施形態とは、撮影システムのうちの撮影スタジオの構成と、その撮影スタジオにおいて行なわれる撮影処理が異なっている。以下では、第 2実施形態における、第 1実施形態との相違点に注目して説明し、その他の、第 1実施形態と同等な点については重複説明を省略する。

[0262] 図 44は、本発明の撮影システムの第 2実施形態を示す図である。

[0263] 尚、この図 44では、図 1と同等な構成要素については、図 1と同じ符号が付され、この図 44を参照した以下の説明では、これらの構成要素についての重複説明を省略する。 [0264] この図 44に示す撮影システム 2の撮影スタジオ 50では、 ELパネル 130用の電源 1 5がデジタルカメラ 16に接続されている。

[0265] デジタルカメラ 16は、上述した第 1実施形態と同様に、撮影者によって 1回シャツタボタンが押下されると 2回の撮影を連続して実行する。このとき、デジタルカメラ 16は、撮影の度に、まず、電源 15に向けて、その電源 15に対して ELパネル 130を点灯させるように指示するパネル点灯指示信号を発信し、続いて、閃光発光装置 12に向けて、その閃光発光装置 12に対して閃光を発するように指示する閃光指示信号を発信する。

[0266] 閃光発光装置 12は、 1回目の閃光指示信号に応じて閃光を発するが、 2回目の閃光指示信号には応じきれず消灯したままとなる。

[0267] ここで、電源 15は、上記のパネル点灯指示信号が 2回連続して入力されると ELパネル 130を点灯させるように構成されて！、る。

[0268] 次に、このような撮影システム 2で実行される作業の流れについて説明する。尚、以下の説明では、図 44に示す要素については特に図番を断らずに図 44中の符号を使って参照する。

[0269] 図 45は、図 44の撮影システムで実行される作業の流れを示すフローチャートである。

[0270] 尚、この図 45では、図 3のフローチャートと同等な作業については、図 3と同じ符号が付され、この図 45を参照した以下の説明では、これらの作業についての重複説明を省略する。

[0271] この図 45のフローチャートが示す作業は、撮影スタジオ 50において、被写体 P、デジタルカメラ 16、および閃光発光装置 12がそれぞれ適当な位置に配置されており、また、 ELパネル 130が消灯していることを前提として行なわれる。

[0272] 撮影者が、ピントや露光の調節等を行なった後にデジタルカメラ 16のシャツタボタンを押すと、被写体 Pに対する撮影が 2回連続して行なわれる。まず 1回目の撮影では、デジタルカメラ 16から発信される閃光指示信号に応じて閃光発光装置 12が閃光を発し、この閃光による順光状態で被写体 Pが撮影される (ステップ S201)。 2回目の撮影の時には、まず、 2回目のパネル点灯指示信号に応じて電源 15が ELパネル 130 を点灯させる（ステップ S202)。そして、閃光発光装置 12が消灯しており、 ELパネル 130を点灯している状態、即ち、 ELパネル 130のみの照明による逆光状態で撮影が行なわれる（ステップ S 203)。

[0273] 本実施形態において、このような撮影を行なう撮影スタジオ 50が、被写体を閃光発光装置 12および ELパネル 130のそれぞれで順次に照らして複数 (本実施形態では 2つ)の撮影条件を作成する、本発明にいう撮影条件作成部の一例に相当する。

[0274] 上記のステップ S203の処理によって、 2回目の撮影が終了すると、デジタルカメラ 1 6内のメモリに一時的に保管された 2つの撮影画像が直ちにパーソナルコンピュータ 20に渡される。そして、その後、これらの 2つの撮影画像に基づいて、第 1実施形態と同様の背景置換処理によって背景置換画像が作成され、表示画面 220aに表示される。また、この背景置換画像を表わす画像データに基づぐプリンタ 30でのプリント、および、顧客が希望する出力用記憶媒体への、その画像データの書込みのうちの少なくとも一方が実行される。

[0275] 以上、図 44および図 45を参照して説明した、本発明の第 2実施形態の撮影システム 2でも、第 1実施形態の撮影システム 1と同様に、撮影画像における背景が所望の背景に自然に置換された背景置換画像を作成することができる。

[0276] 次に、本発明の第 3実施形態について説明する。

[0277] この第 3実施形態は、撮影スタジオの構成と、その撮影スタジオにおヽて行なわれる撮影処理と、背景置換装置として動作しているパーソナルコンピュータで実行される処理が、上記の第 1実施形態とは部分的に異なる。以下では、第 1実施形態との相違点に注目して説明し、同等な点については重複説明を省略する。

[0278] 図 46は、本発明の撮影システムの第 3実施形態を示す図である。

[0279] 尚、この図 46では、図 1に示す第 1実施形態と同等な構成要素については、図 1と同じ符号が付され、この図 46を参照した以下の説明では、これらの構成要素についての重複説明を省略する。

[0280] ここで、この図 46の撮影システム 3には、図 1に示す第 1実施形態とは異なり、デジタルカメラおよび ELパネル用の電源として、図 44に示す第 2実施形態における、点灯指示信号を発信するデジタルカメラ 16や点灯指示信号に応じて動作する電源 15 と同等なデジタルカメラおよび電源が備えられている。図 46では、これらのデジタルカメラおよび電源については、図 44と同じ符号を付し重複説明を省略する。

[0281] 以下、第 1実施形態および第 2実施形態の双方と本実施形態との相違点である、この図 46に示す撮影システム 3の撮影スタジオ 55が備えて、る、閃光発光装置 17および ELパネル 180に注目して説明する。

[0282] 撮影スタジオ 55が備えている閃光発光装置 17では、極めて短時間で充電が完了する。このため、この閃光発光装置 17は、デジタルカメラ 16によって上記のような連写が行なわれる際には、撮影の度に発信される閃光指示信号全てに応じて閃光を発することとなる。

[0283] また、撮影スタジオ 55が備えている ELパネル 180では、筐体 131内に収納された分散型 EL素子 181は、赤色の蛍光体粉末によって発光色が調整されている。このため、 ELパネル 180の色は、消灯時には薄い赤色となり、発光時には、分散型 EL素子の発光色である青緑色が調整された青色となる。この ELパネル 180が、本発明にいう「色が変わる機能を持った背景パネル」の一例に相当する。

[0284] このような撮影システム 3で実行される作業の流れについて説明する。尚、以下の説明では、図 46に示す要素については特に図番を断らずに図 46中の符号を使って参照する。

[0285] 図 47は、図 46の撮影システムで実行される作業の流れを示すフローチャートである。

[0286] 尚、この図 47では、図 3のフローチャートと同等な作業については、図 3と同じ符号が付され、この図 47を参照した以下の説明では、これらの作業についての重複説明を省略する。

[0287] この図 47のフローチャートが示す作業は、撮影スタジオ 50において、被写体 P、デジタルカメラ 16、および閃光発光装置 17がそれぞれ適当な位置に配置されており、また、 ELパネル 130が消灯していることを前提として行なわれる。

[0288] 撮影者が、ピントや露光の調節等を行なった後にデジタルカメラ 16のシャツタボタンを押すと、被写体 Pに対する撮影が 2回連続して行なわれる。 1回目の撮影では、デジタルカメラ 16から発信される閃光指示信号に応じて閃光発光装置 17が閃光を発し、この閃光による順光状態で被写体 Pが撮影される (ステップ S301)。また、この 1回目の撮影 (ステップ S301)では、 ELパネル 180が消灯しているため、被写体 Pの背景が薄い赤色に写る。 2回目の撮影の時には、まず、 2回目のパネル点灯指示信号に応じて電源 15が ELパネル 180を点灯させる（ステップ S302)。そして、本実施形態では、 2回目の撮影の時にも閃光発光装置 17が閃光を発し、この 2回目の撮影が、その閃光と ELパネル 180からの光の下で行なわれる（ステップ S303)。閃光発光装置 17が発する閃光は、 ELパネル 180の光よりも高輝度であり、この 2回目の撮影も、その高輝度の閃光で、デジタルカメラ 16側から被写体 Pが照らされるという順光状態での撮影となる。ただし、このときには ELパネル 180が発光しているため、被写体 Pの背景が、青緑色が調整された青色に写る。つまり、この図 47におけるステップ S301〜ステップ S303の処理によって、背景の色が互いに異なる 2つの撮影画像が得られる。

[0289] 本実施形態では、上記のような撮影を行なう撮影スタジオ 55が、この ELパネル 18 0の色を変更して複数 (本実施形態では 2つ）の撮影条件を作成する、本発明にヽぅ撮影条件作成部の一例に相当する。

[0290] 背景の色が互いに異なる 2つの撮影画像が得られると、これら 2つの撮影画像が、パーソナルコンピュータ 20に渡され (ステップ S 104)、各撮影画像に、次のような画像補正処理が施される (ステップ S304)。

[0291] このステップ S304で行なわれる画像補正処理は、上記の第 1実施形態において、撮影画像に施される画像補正処理と同じであり、台形歪みの補正と、撮影画像からの不要部分の除去による有効画像の作成と、赤目補正や、画像全体の色合いを好ましい色合いに補正する等といった色補正処理である。ただし、上記の第 1実施形態では、補正対象の 2つの撮影画像のうちの 1つが被写体の領域がシャドウ側に偏った逆光撮影画像であるため、この逆光撮影画像にっ、ては上記の色補正処理が除外される。これに対し、この第 3実施形態において、画像補正処理の対象となる 2つの撮影画像は、 2つとも順光撮影画像であるため、このステップ S304の処理では、これら 2つの撮影画像に対して、この色補正処理も含んだ、全く同じ内容の画像補正処理が施される。 [0292] 次に、ステップ S304の処理による補正済みの 2つの撮影画像に基づいて、背景置換画像が作成され (ステップ S305)、作成された背景置換画像の出力が行なわれる

[0293] 以下では、このステップ S305で行なわれる、即ち、本実施形態における背景置換画像の作成処理にっヽて説明する。

[0294] まず、上記の補正済みの 2つの撮影画像の例を以下に示す。

[0295] 図 48は、 1回目の撮影に基づぐ補正済みの撮影画像の一例を示す図であり、図 4 9は、 2回目の撮影に基づぐ補正済み撮影画像の一例を示す図である。

[0296] これら図 48および図 49に示すように、 2つの撮影画像は、背景に写っている ELパネル 180の色以外は、ほぼ同じ画像である。即ち、前者の補正済み撮影画像 (以降、第 1撮影画像と呼ぶ)では、 ELパネル 180が消灯しているため、背景の色が薄い赤色であり、後者の補正済み撮影画像 (第 2撮影画像と呼ぶ)では、 ELパネル 180が点灯して、るため、背景の色は青緑色が調整された青色である。

[0297] ここで、本実施形態における背景置換画像の作成処理では、まず、第 1撮影画像を構成する各画素の、第 2撮影画像において対応する位置の画素に対する色の変化量にっ、てのヒストグラムが作成される。

[0298] 図 50は、本発明の第 3実施形態における背景置換画像の作成処理で作成されるヒストグラムの一例を示す図である。

[0299] 本実施形態では、上記の色の変化量として、第 1撮影画像を構成する各画素の、第 2撮影画像において対応する位置の画素に対する色相の変化量が採用されている。図 50には、第 1撮影画像を構成する各画素における上記の色相の変化量を、多数の範囲に振り分け、各範囲についてどれだけの画素が振り分けられた力を頻度で示した色相変化のヒストグラム H5が示されており、この色相変化のヒストグラム H5では、横軸 H5—1に色相の変化量がとられ、縦軸 H5— 2に頻度がとられている。

[0300] 本実施形態における背景置換画像の作成処理では、この色相変化のヒストグラム H 5における 2つのピーク Pk3, Pk4それぞれに基づいて、次の 2つの閾値が計算される。図 50に示すように色相の変化量が少ない図中左側のピーク Pk3からは、このピーク Pk3において、頻度が所定頻度以上となる色相の変化量の上限である第 1の閾値 Sr3が計算される。また、色相の変化量が多い図中右側のピーク Pk4からは、このピーク Pk4において、頻度が所定頻度以上となる色相の変化量の下限である第 2の閾値 Sr4が計算される。

[0301] そして、この背景置換画像の作成処理では、上記の第 1撮影画像中の、色相の変化量が第 1の閾値 Sr3以下となる画素の領域を定義する初期被写体マスクが設定され、色相の変化量が第 2の閾値 Sr4以上となる画素の領域を定義する初期背景マスクが設定される。

[0302] 本実施形態では、このように 2つの初期マスクが設定されると、その後、これら 2つの初期マスクを用いて背景置換画像が作成されるが、これら 2つの初期マスクを用いた、この後の処理は、上述した第 1実施形態における 2つの初期マスクを用いた処理と同様な処理となるので重複説明を省略する。

[0303] このように作成された背景置換画像は、表示画面 220aに表示され、また、この背景置換画像を表わす画像データに基づぐプリンタ 30でのプリント、および、顧客が希望する出力用記憶媒体への、その画像データの書込みのうちの少なくとも一方が実行される。

[0304] 以上、図 46〜図 50を参照して説明した、本発明の第 3実施形態の撮影システム 3 でも、第 1実施形態の撮影システム 1と同様に、撮影画像における背景が所望の背景に自然に置換された背景置換画像を作成することができる。

[0305] 尚、上記に説明した本発明の第 3実施形態の撮影システム 3では、図 47のフローチヤートに示したように、 2回の撮影が、いずれの回も閃光発光装置 17による閃光下で実行される。しかし、例えば乳幼児やペット等といった、瞬間的な閃光に驚いてしまうような被写体を撮影するに当たっては、このような閃光は無い方が好ましい。

[0306] 上記の第 3実施形態の撮影システム 3では、閃光発光装置 17の電源を落とす、あるいはデジタルカメラ 11と閃光発光装置 17とを繋ぐケーブルを外す等と、つた方法で撮影時の閃光を無くし、その閃光に替えて、例えば高輝度の照明光や日光等といつた定常的な光で被写体を照らす等といった簡単な工夫により、上記のような閃光が無い方が好ましい被写体に対処することができる。このような方法によれば、閃光が無い状態でも図 47のフローチャートでの撮影で得られるのと同様な、背景色が互いに異なる 2枚の撮影画像が得られるので、後は、図 48〜図 50を参照して説明した方法により、被写体領域と背景領域と境界領域とを区別して、背景が所望の背景に自然に置換された背景置換画像を作成することができる。

[0307] 次に、本発明の第 4実施形態について説明する。

[0308] この第 4実施形態は、撮影スタジオの構成と、その撮影スタジオにおヽて行なわれる撮影処理と、背景置換装置として動作しているパーソナルコンピュータで実行される処理が、上記の第 1実施形態とは部分的に異なる。以下では、第 1実施形態との相違点に注目して説明し、同等な点については重複説明を省略する。

[0309] 図 51は、本発明の撮影システムの第 4実施形態を示す図である。

[0310] 尚、この図 51では、図 1に示す第 1実施形態と同等な構成要素については、図 1と同じ符号が付され、この図 51を参照した以下の説明では、これらの構成要素についての重複説明を省略する。

[0311] ここで、この図 51の撮影システム 4には、図 1に示す第 1実施形態とは異なり、閃光発光装置として、図 46に示す第 3実施形態における閃光発光装置 17と同等な、充電時間の短い閃光発光装置が備えられている。図 51では、この閃光発光装置については、図 46と同じ符号を付し重複説明を省略する。

[0312] 以下、第 1実施形態および第 3実施形態の双方と本実施形態との相違点である、この図 51に示す撮影システム 4の撮影スタジオ 60が備えている、照明パネル 190、その照明パネル 190用の電源 81、およびデジタルカメラ 82に注目して説明する。

[0313] この図 51に示す撮影システム 4の撮影スタジオ 60は、被写体 Pを背後から照らす、本発明にいう照明装置の一例として、後述の照明パネル 190を備えている。さらに、撮影スタジオ 60は、その照明パネル 190用の電源 81と、シャツタボタンの 1回の押下について 2回撮影を行なうとともに、撮影の度に、閃光発光装置 17に向力つて上記の閃光指示信号を発信し、電源 81に向かって、照明パネル 190を点灯するように指示する点灯指示信号を発信するデジタルカメラ 82を備えている。ここで、電源 81は、点灯指示信号が 2回連続して入力されると照明パネル 190を点灯させるように構成されている。

[0314] 図 52は、図 51に示す照明パネルの内部構造を示す図である。 [0315] この照明パネル 190は、被写体 Pが載る載置面 191aと被写体 Pの背後の面 191b とを有する筐体 191、および、その筐体 191内に並べられて収納された複数の蛍光灯 192力もなる。ここで、筐体 191の 2つの面 191a, 191bは、蛍光灯 192の光を拡散させて、被写体 Pを一様に照らす拡散板の役割を担っている。また、被写体 Pの背後の面 191bの四隅には 4つのマーカ 191cが配置されている。これら 4つのマーカ 1 91cが果たす役割は、上述した第 1実施形態におけるマーカ 131cが果たす役割と同じであるので重複説明を省略する。

[0316] 以上、図 51および図 52を参照して説明した、撮影システム 4で実行される作業の流れについて説明する。尚、以下の説明では、図 51および図 52に示す要素については特に図番を断らずに各図中の符号を使って参照する。

[0317] 図 53は、図 51の撮影システムで実行される作業の流れを示すフローチャートである。

[0318] 尚、この図 53では、図 3のフローチャートと同等な作業については、図 3と同じ符号が付され、この図 53を参照した以下の説明では、これらの作業についての重複説明を省略する。

[0319] この図 53のフローチャートが示す作業は、撮影スタジオ 60において、被写体 P、デジタルカメラ 82、および閃光発光装置 17がそれぞれ適当な位置に配置されており、また、照明パネル 190が消灯していることを前提として行なわれる。

[0320] 撮影者が、ピントや露光の調節等を行なった後にデジタルカメラ 82のシャツタボタンを押すと、被写体 Pに対する撮影が 2回連続して行なわれる。 1回目の撮影では、デジタルカメラ 82から発信される閃光指示信号に応じて閃光発光装置 17が閃光を発し、この閃光による順光状態で被写体 Pが撮影される (ステップ S401)。また、この 1回目の撮影 (ステップ S401)では、照明パネル 190が消灯しているため、被写体 Pの背景が暗く写る。 2回目の撮影の時には、まず、 2回目の点灯指示信号に応じて電源 1 5が照明パネル 190を点灯させる (ステップ S402)。そして、本実施形態では、 2回目の撮影の時にも閃光発光装置 17が閃光を発し、この 2回目の撮影が、その閃光と照明パネル 190からの光の下で行なわれる（ステップ S403)。この 2回目の撮影も、デジタルカメラ 82側力も高輝度の閃光で被写体 Pが照らされるので、順光状態での撮影となる。ただし、このときには照明パネル 190が発光しているため、被写体 Pの背景が明るく写る。つまり、この図 53におけるステップ S401〜ステップ S403の処理によつて、背景の明るさが互いに異なる 2つの撮影画像が得られる。

[0321] 本実施形態にぉ、て、このような撮影を行なう撮影スタジオ 60が、照明パネル 190 で被写体を照らす光の明るさを変更して複数 (本実施形態では 2つ)の撮影条件を作成する、本発明にいう撮影条件作成部の一例に相当する。

[0322] 背景の明るさが互いに異なる 2つの撮影画像が得られると、これら 2つの撮影画像 1S パーソナルコンピュータ 20に渡され (ステップ S104)、これら 2つの撮影画像に対して、上記の第 3実施形態と同様に、上記の色補正処理も含んだ、全く同じ内容の画像補正処理が施される (ステップ S404)。

[0323] 次に、ステップ S404の処理による補正済みの 2つの撮影画像に基づ、て、背景置換画像が作成され (ステップ S405)、作成された背景置換画像の出力が行なわれる

[0324] 以下では、このステップ S405で行なわれる、即ち、本実施形態における背景置換画像の作成処理にっヽて説明する。

[0325] まず、上記の補正済みの 2つの撮影画像の例を以下に示す。

[0326] 図 54は、 1回目の撮影に基づぐ補正済みの撮影画像の一例を示す図であり、図 5

5は、 2回目の撮影に基づぐ補正済み撮影画像の一例を示す図である。

[0327] これら図 54および図 55に示すように、 2つの撮影画像は、背景に写っている照明パネル 190の明るさ以外は、ほぼ同じ画像である。即ち、前者の補正済み撮影画像（以降、第 1撮影画像と呼ぶ)では、照明パネル 190が消灯しているため、背景が暗ぐ後者の補正済み撮影画像 (第 2撮影画像と呼ぶ)では、照明パネル 190が点灯しているため、背景が明るくなつている。

[0328] ここで、本実施形態における背景置換画像の作成処理では、まず、第 1撮影画像を構成する各画素の、第 2撮影画像において対応する位置の画素に対する明るさの変化量にっ、てのヒストグラムが作成される。

[0329] 図 56は、本発明の第 4実施形態における背景置換画像の作成処理で作成されるヒストグラムの一例を示す図である。 [0330] 本実施形態では、上記の明るさの変化量として、第 1撮影画像を構成する各画素の、第 2撮影画像において対応する位置の画素に対する輝度の変化量が採用されている。図 56には、第 1撮影画像を構成する各画素における上記の輝度の変化量を、多数の範囲に振り分け、各範囲についてどれだけの画素が振り分けられた力を頻度で示した輝度変化のヒストグラム H6が示されており、この輝度変化のヒストグラム H6 では、横軸 H6—1に輝度の変化量がとられ、縦軸 H6— 2に頻度がとられている。

[0331] 本実施形態における背景置換画像の作成処理では、この輝度変化のヒストグラム H 6における 2つのピーク Pk5, Pk6それぞれに基づいて、次の 2つの閾値が計算される。図 56に示すように輝度の変化量が少ない図中左側のピーク Pk5からは、このピーク Pk5において、頻度が所定頻度以上となる輝度の変化量の上限である第 1の閾値 Sr5が計算される。また、輝度の変化量が多い図中右側のピーク Pk6からは、このピーク Pk6において、頻度が所定頻度以上となる輝度の変化量の下限である第 2の閾値 Sr6が計算される。

[0332] そして、この背景置換画像の作成処理では、上記の第 1撮影画像中の、輝度の変化量が第 1の閾値 Sr5以下となる画素の領域を定義する初期被写体マスクが設定され、輝度の変化量が第 2の閾値 Sr6以上となる画素の領域を定義する初期背景マスクが設定される。

[0333] 本実施形態では、このように 2つの初期マスクが設定されると、その後、これら 2つの初期マスクを用いて背景置換画像が作成されるが、これら 2つの初期マスクを用いた、この後の処理は、上述した第 1実施形態における 2つの初期マスクを用いた処理と同様な処理となるので重複説明を省略する。

[0334] このように作成された背景置換画像は、表示画面 220aに表示され、また、この背景置換画像を表わす画像データに基づぐプリンタ 30でのプリント、および、顧客が希望する出力用記憶媒体への、その画像データの書込みのうちの少なくとも一方が実行される。

[0335] 以上、図 51〜図 56を参照して説明した、本発明の第 4実施形態の撮影システム 4 でも、第 1実施形態の撮影システム 1と同様に、撮影画像における背景が所望の背景に自然に置換された背景置換画像を作成することができる。 [0336] 次に、本発明の第 5実施形態について説明する。

[0337] この第 5実施形態は、撮影スタジオの構成と、背景置換装置として動作して!/ヽるパ一ソナルコンピュータで実行される処理が、上記の第 1実施形態とは部分的に異なる

。以下では、第 1実施形態との相違点に注目して説明し、同等な点については重複説明を省略する。

[0338] 図 57は、本発明の撮影システムの第 5実施形態を示す図である。

[0339] 尚、この図 57では、図 1に示す第 1実施形態と同等な構成要素については、図 1と同じ符号が付され、この図 57を参照した以下の説明では、これらの構成要素についての重複説明を省略する。

[0340] ここで、この図 57の撮影システム 5には、図 1に示す第 1実施形態とは異なり、図 51 に示す第 4実施形態における照明パネル 190と同等な照明パネルが備えられている

。図 57では、この照明パネルについては、図 51と同じ符号を付し重複説明を省略する。

[0341] この図 57に示す撮影システム 5の撮影スタジオ 65は、図 1に示す第 1実施形態と同等な閃光発光装置 12を備えている。この閃光発光装置 12は、上述したように、充電に時間がかかるため、デジタルカメラ 11が上記のような連写を行なう際には、 1回目の撮影のときにのみ閃光を発し、 2回目の撮影のときには消灯したままとなる。

[0342] また、この撮影スタジオ 65が備えている、照明パネル 190用の電源 83は、人手によつて操作されるものである。

[0343] このような撮影システム 5で実行される作業の流れについて説明する。尚、以下の説明では、図 57に示す要素については特に図番を断らずに図 57中の符号を使って参照する。

[0344] 図 58は、図 57の撮影システムで実行される作業の流れを示すフローチャートである。

[0345] 尚、この図 58では、図 3のフローチャートと同等な作業については、図 3と同じ符号が付され、この図 58を参照した以下の説明では、これらの作業についての重複説明を省略する。

[0346] この図 58のフローチャートが示す作業は、撮影スタジオ 65において、被写体 P、デジタルカメラ 11、および閃光発光装置 12がそれぞれ適当な位置に配置されてヽることを前提として行なわれる。

[0347] まず、電源 83が操作されて、その電源 83から照明パネル 190に電圧が印加され、照明パネル 190が点灯する (ステップ S501)。その後、撮影スタジオ 65では、閃光発光装置 12が発する、照明パネル 190の照明よりも高輝度の閃光による順光状態での撮影 (ステップ S502)と、照明パネル 190のみの照明による逆光状態での撮影 (ステップ S 503)とが連続して行なわれる。

[0348] 本実施形態において、このような撮影を行なう撮影スタジオ 65が、照明パネル 190 による照明の定常的な存在と、閃光発光装置 12の閃光による照明の有無とによって複数 (本実施形態では 2つ)の撮影条件を作成する、本発明に！ヽぅ撮影条件作成部の一例に相当する。

[0349] ここで、照明パネル 190の発光時の輝度は、閃光発光装置 12からの閃光の影響を打ち消す程度に強い。この結果、上記の順光状態での撮影 (ステップ S 502)と逆光状態での撮影 (ステップ S503)とで、背景の明るさは互いにほぼ同等で、被写体の明るさが互いに異なる 2つの撮影画像が得られる。

[0350] ステップ S501〜ステップ S503の処理によって、順光撮影画像と逆光撮影画像という 2つの撮影画像が得られると、これら 2つの撮影画像が、パーソナルコンピュータ 20に渡される (ステップ S104)。そして、上記の第 1実施形態と同様に、順光撮影画像に対しては、台形歪みの補正と、撮影画像からの不要部分の除去による有効画像の作成と、赤目補正や、画像全体の色合いを好ましい色合いに補正する等といった色補正処理が施され、逆光撮影画像に対しては、色補正処理を除いて、順光撮影画像に対して施される画像補正処理と全く同じ画像補正処理が施される (ステップ S 105)。

[0351] 次に、ステップ S 105の処理による補正済みの 2つの撮影画像に基づいて、背景置換画像が作成され (ステップ S504)、作成された背景置換画像の出力が行なわれる

[0352] 以下では、このステップ S504で行なわれる、即ち、本実施形態における背景置換画像の作成処理にっヽて説明する。 [0353] まず、上記の補正済みの 2つの撮影画像の例を以下に示す。

[0354] 図 59は、 1回目の撮影に基づぐ補正済みの撮影画像の一例を示す図であり、図 6 0は、 2回目の撮影に基づぐ補正済み撮影画像の一例を示す図である。

[0355] これら図 59および図 60に示すように、 2つの撮影画像は、被写体 Pの明るさ以外は、ほぼ同じ画像である。即ち、前者の補正済み撮影画像 (以降、第 1撮影画像と呼ぶ )は、順光状態で得られた撮影画像であるため、画像中の被写体が明るぐ後者の補正済み撮影画像 (第 2撮影画像と呼ぶ)は、逆光状態で得られた撮影画像であるため、画像中の被写体が暗くなつている。

[0356] ここで、本実施形態における背景置換画像の作成処理では、まず、第 1撮影画像を構成する各画素の、第 2撮影画像において対応する位置の画素に対する明るさの変化量にっ、てのヒストグラムが作成される。

[0357] 図 61は、本発明の第 5実施形態における背景置換画像の作成処理で作成されるヒストグラムの一例を示す図である。

[0358] 本実施形態では、上記の明るさの変化量として、第 1撮影画像を構成する各画素の、第 2撮影画像において対応する位置の画素に対する輝度の変化量が採用されている。図 61には、第 1撮影画像を構成する各画素における上記の輝度の変化量を、多数の範囲に振り分け、各範囲についてどれだけの画素が振り分けられた力を頻度で示した輝度変化のヒストグラム H7が示されており、この輝度変化のヒストグラム H7 では、横軸 H7—1に輝度の変化量がとられ、縦軸 H7— 2に頻度がとられている。

[0359] 本実施形態における背景置換画像の作成処理では、この輝度変化のヒストグラム H 7における 2つのピーク Pk7, Pk8それぞれに基づいて、次の 2つの閾値が計算される。図 61に示すように輝度の変化量が少ない図中左側のピーク Pk7からは、このピーク Pk7において、頻度が所定頻度以上となる輝度の変化量の上限である第 1の閾値 Sr7が計算される。また、輝度の変化量が多い図中右側のピーク Pk8からは、このピーク Pk8において、頻度が所定頻度以上となる輝度の変化量の下限である第 2の閾値 Sr8が計算される。

[0360] そして、この背景置換画像の作成処理では、上記の第 1撮影画像中の、輝度の変化量が第 1の閾値 Sr7以下となる画素の領域を定義する初期背景マスクが設定され、輝度の変化量が第 2の閾値 Sr8以上となる画素の領域を定義する初期被写体マスクが設定される。

[0361] 本実施形態では、このように 2つの初期マスクが設定されると、その後、これら 2つの初期マスクを用いて背景置換画像が作成されるが、これら 2つの初期マスクを用いた、この後の処理は、上述した第 1実施形態における 2つの初期マスクを用いた処理と同様な処理となるので重複説明を省略する。

[0362] このように作成された背景置換画像は、表示画面 220aに表示され、また、この背景置換画像を表わす画像データに基づぐプリンタ 30でのプリント、および、顧客が希望する出力用記憶媒体への、その画像データの書込みのうちの少なくとも一方が実行される。

[0363] 以上、図 57〜図 61を参照して説明した、本発明の第 5実施形態の撮影システム 5 でも、第 1実施形態の撮影システム 1と同様に、撮影画像における背景が所望の背景に自然に置換された背景置換画像を作成することができる。

[0364] 次に、本発明の第 6実施形態について説明する。

[0365] この第 6実施形態は、撮影スタジオの構成と、その撮影スタジオにおヽて行なわれる撮影処理と、背景置換装置として動作しているパーソナルコンピュータで実行される処理が、上記の第 1実施形態とは部分的に異なる。以下では、第 1実施形態との相違点に注目して説明し、同等な点については重複説明を省略する。

[0366] 図 62は、本発明の撮影システムの第 6実施形態を示す図である。

[0367] 尚、この図 62では、図 1に示す第 1実施形態と同等な構成要素については、図 1と同じ符号が付され、この図 62を参照した以下の説明では、これらの構成要素についての重複説明を省略する。

[0368] 以下、第 1実施形態と本実施形態との相違点である、この図 62に示す撮影システム 6の撮影スタジオ 90が備えている閃光発光装置 84、デジタルカメラ 85、および背景パネル 86に注目して説明する。

[0369] この撮影スタジオ 90は、閃光の偏光状態を変える偏光板 84aを有する、充電時間の短い閃光発光装置 84を備えている。この閃光発光装置 84の偏光板 84aは、基本的には、閃光を、第 1の向きの直線偏光に変える。ただし、後述の偏光切換信号を受信すると、閃光を、第 1の向きに直交した第 2の向きの直線偏光に変える。

[0370] この撮影スタジオ 90が備えているデジタルカメラ 85は、上述した第 1実施形態と同様に、撮影者によって 1回シャツタボタンが押下されると 2回の撮影を連続して実行する。このとき、デジタルカメラ 85は、撮影の度に、閃光発光装置 84の本体 84bに向けて、その本体 84bに対して閃光を発するように指示する閃光指示信号を発信する。ただし、 2回目に閃光指示信号を発信するときには、まず、閃光発光装置 84の偏光板 84aに向けて、その偏光板 84aに対して閃光の偏光状態を変えるように指示する偏光切換信号を発信した後に、閃光指示信号を発信する。これにより、閃光発光装置 8 4は、 1回目の撮影時には、第 1の向きに偏光した閃光を発し、 2回目の撮影時には、第 2の向きに偏光した閃光を発することとなる。

[0371] また、この撮影スタジオ 90は、被写体 Pが載る載置面 86aと、被写体 Pの背後の面 8 6bとのそれぞれにおいて、偏光状態の違いによって反射光の明るさが異なる背景パネノレ 86を備えて!/ヽる。この背景ノネノレ 86の 2つの面 86a, 86bは、ともに、第 1の向きに偏光した光を弱く反射し、第 2の向きに偏光した光を強く反射する。また、被写体 P の背後の面 86bの四隅には 4つのマーカ 86cが配置されている。これら 4つのマーカ 86cが果たす役割は、上述した第 1実施形態におけるマーカ 131cが果たす役割と同じであるので重複説明を省略する。

[0372] ここで、本実施形態における閃光発光装置 84が、本発明にいう「閃光の偏光状態を変える機能を持った閃光発光装置」の一例に相当し、背景パネル 86が、本発明にいう「偏光状態の違いによって反射光の明るさが異なる背景パネル」の一例に相当する。

[0373] このような撮影システム 6で実行される作業の流れについて説明する。尚、以下の説明では、図 62に示す要素については特に図番を断らずに図 62中の符号を使って参照する。

[0374] 図 63は、図 62の撮影システムで実行される作業の流れを示すフローチャートである。

[0375] 尚、この図 63では、図 3のフローチャートと同等な作業については、図 3と同じ符号が付され、この図 63を参照した以下の説明では、これらの作業についての重複説明を省略する。

[0376] この図 63のフローチャートが示す作業は、撮影スタジオ 90において、被写体 P、デジタルカメラ 85、および閃光発光装置 84がそれぞれ適当な位置に配置されていることを前提として行なわれる。

[0377] 撮影者が、ピントや露光の調節等を行なった後にデジタルカメラ 85のシャツタボタンを押すと、被写体 Pに対する撮影が 2回連続して行なわれる。 1回目の撮影では、デジタルカメラ 85から発信される閃光指示信号に応じて閃光発光装置 84が閃光を発し、被写体 Pが撮影される (ステップ S601)。また、この 1回目の撮影 (ステップ S601) では、閃光が第 1の向きに偏光した光であり、背景パネル 86がこの閃光を弱く反射するので、被写体 Pの背景が暗く写る。 2回目の撮影の時には、まず、上記の偏光切換信号に応じて、閃光発光装置 84の偏光板 84aが、閃光を第 2の向きの直線偏光に変えるようにセットされる (ステップ S602)。そして、閃光指示信号に応じて閃光発光装置 84が閃光を発し、 2回目の撮影が行なわれる (ステップ S603)。この 2回目の撮影 (ステップ S603)では、閃光が第 2の向きに偏光した光であり、背景パネル 86がこの閃光を強く反射するので、被写体 Pの背景が明るく写る。つまり、この図 63におけるステップ S601〜ステップ S603の処理によって、背景の明るさが互いに異なる 2つの撮影画像が得られる。

[0378] 本実施形態において、このような撮影を行なう撮影スタジオ 90が、閃光発光装置 8 4による、互いに偏光状態が異なる複数回の閃光 (本実施形態では 2回）によって複数 (本実施形態では 2つ)の撮影条件を作成する、本発明に!ヽぅ撮影条件作成部の一例に相当する。

[0379] 背景の明るさが互いに異なる 2つの撮影画像が得られると、これら 2つの撮影画像 1S パーソナルコンピュータ 20に渡され (ステップ S104)、これら 2つの撮影画像に対して、上記の第 3および第 4実施形態と同様に、上記の色補正処理も含んだ、全く同じ内容の画像補正処理が施される (ステップ S604)。

[0380] 次に、ステップ S604の処理による補正済みの 2つの撮影画像に基づ、て、背景置換画像が作成され (ステップ S605)、作成された背景置換画像の出力が行なわれる [0381] 以下では、このステップ S605で行なわれる、即ち、本実施形態における背景置換画像の作成処理にっヽて説明する。

[0382] まず、上記の補正済みの 2つの撮影画像の例を以下に示す。

[0383] 図 64は、 1回目の撮影に基づぐ補正済みの撮影画像の一例を示す図であり、図 6 5は、 2回目の撮影に基づぐ補正済み撮影画像の一例を示す図である。

[0384] これら図 64および図 65に示すように、 2つの撮影画像は、背景に写っている背景パネル 86の明るさ以外は、ほぼ同じ画像である。即ち、前者の補正済み撮影画像（以降、第 1撮影画像と呼ぶ)では、背景パネル 86が撮影時の閃光を弱く反射したため、背景が暗ぐ後者の補正済み撮影画像 (第 2撮影画像と呼ぶ)では、背景パネル 86が撮影時の閃光を強く反射したため、背景が明るくなつている。

[0385] ここで、本実施形態における背景置換画像の作成処理では、まず、第 1撮影画像を構成する各画素の、第 2撮影画像において対応する位置の画素に対する明るさの変化量にっ、てのヒストグラムが作成される。

[0386] 図 66は、本発明の第 6実施形態における背景置換画像の作成処理で作成されるヒストグラムの一例を示す図である。

[0387] 本実施形態では、上記の明るさの変化量として、第 1撮影画像を構成する各画素の、第 2撮影画像において対応する位置の画素に対する輝度の変化量が採用されている。図 66には、第 1撮影画像を構成する各画素における上記の輝度の変化量を、多数の範囲に振り分け、各範囲についてどれだけの画素が振り分けられた力を頻度で示した輝度変化のヒストグラム H8が示されており、この輝度変化のヒストグラム H8 では、横軸 H8—1に輝度の変化量がとられ、縦軸 H8— 2に頻度がとられている。

[0388] 本実施形態における背景置換画像の作成処理では、この輝度変化のヒストグラム H 8における 2つのピーク Pk9, PklOそれぞれに基づいて、次の 2つの閾値が計算される。図 66に示すように輝度の変化量が少ない図中左側のピーク Pk9からは、このピーク Pk9において、頻度が所定頻度以上となる輝度の変化量の上限である第 1の閾値 Sr9が計算される。また、輝度の変化量が多い図中右側のピーク PklOからは、このピーク PklOにおいて、頻度が所定頻度以上となる輝度の変化量の下限である第 2の閾値 SrlOが計算される。 [0389] そして、この背景置換画像の作成処理では、上記の第 1撮影画像中の、輝度の変化量が第 1の閾値 Sr9以下となる画素の領域を定義する初期被写体マスクが設定され、輝度の変化量が第 2の閾値 SrlO以上となる画素の領域を定義する初期背景マスクが設定される。

[0390] 本実施形態では、このように 2つの初期マスクが設定されると、その後、これら 2つの初期マスクを用いて背景置換画像が作成されるが、これら 2つの初期マスクを用いた、この後の処理は、上述した第 1実施形態における 2つの初期マスクを用いた処理と同様な処理となるので重複説明を省略する。

[0391] このように作成された背景置換画像は、表示画面 220aに表示され、また、この背景置換画像を表わす画像データに基づぐプリンタ 30でのプリント、および、顧客が希望する出力用記憶媒体への、その画像データの書込みのうちの少なくとも一方が実行される。

[0392] 以上、図 62〜図 66を参照して説明した、本発明の第 6実施形態の撮影システム 6 でも、第 1実施形態の撮影システム 1と同様に、撮影画像における背景が所望の背景に自然に置換された背景置換画像を作成することができる。

[0393] 次に、本発明の第 7実施形態について説明する。

[0394] この第 7実施形態は、撮影スタジオの構成が、上記の第 1実施形態とは部分的に異なる。以下では、第 1実施形態との相違点に注目して説明し、同等な点については重複説明を省略する。

[0395] 図 67は、本発明の撮影システムの第 7実施形態を示す図である。

[0396] 尚、この図 67では、図 1に示す第 1実施形態と同等な構成要素については、図 1と同じ符号が付され、この図 67を参照した以下の説明では、これらの構成要素についての重複説明を省略する。

[0397] 以下、第 1実施形態と本実施形態との相違点である、この図 67に示す撮影システム 7の撮影スタジオ 95が備えているデジタルカメラ 87および 3つの閃光発光装置 88 a, 88b, 88cに注目して説明する。

[0398] この撮影スタジオ 95は、閃光の光量が可変の 3つの閃光発光装置 88a, 88b, 88c を備えている。これら 3つの閃光発光装置 88a, 88b, 88cは、パーソナルコンビユータ 20に接続されている。ここで、これら 3つの閃光発光装置 88a, 88b, 88cを合わせたもの力本発明にいう発光装置の一例に相当する。

[0399] 本実施形態では、サーバ 40に格納されている複数の置換用の背景それぞれには

、被写体を照らす光の方向や明るさといった条件を表わす光情報が付与されている

。この光情報が、本発明にいう「光情報」の一例に相当する。

[0400] 例えば、画像中の右側から光が差して!/、る背景にっ、ては、被写体を右側からの光で照らすという条件を表わす光情報が付与される。また、例えば、夕景ゃ曇天等と

V、つた喑、背景にっ、ては、被写体を暗めの光で照らすと、う条件を表わす光情報が付与される。

[0401] パーソナルコンピュータ 20において、撮影画像中の背景と置換する、顧客が所望する別の背景が決定されると、 3つの閃光発光装置 88a, 88b, 88cそれぞれにおけるオン/オフ状態や光量等といった発光条件が、その決定された置換用の背景に付与された光情報が表わす条件を最大限実現できるような発光条件に決定される。そして、パーソナルコンピュータ 20から各閃光発光装置に対して、それぞれ決定された発光条件が示すオン Zオフ状態や光量で閃光を発するように指示する指示信号が送られる。

[0402] デジタルカメラ 87は、上述した第 1実施形態と同様に、撮影者によって 1回シャツタボタンが押下されると 2回の撮影を連続して実行する。このとき、デジタルカメラ 87は、撮影の度に、各閃光発光装置に向けて、閃光を発するように指示する閃光指示信号を発信する。これにより、 3つの閃光発光装置 88a, 88b, 88cは、それぞれ 1回目の撮影時に、パーソナルコンピュータ 20から指示されたオン Zオフ状態や光量で閃光を発する。その結果、その 1回目の撮影によって、置換用の背景に応じた閃光で被写体が照らされた順光撮影画像が得られる。そして、その順光撮影画像を使って背景置換画像が作成することにより、背景に適した自然な光で照らされた被写体が写った自然な背景置換画像が容易に作成されることとなる。

[0403] 尚、上記では、本発明の撮影システムの一実施形態として、 1回目の撮影時に閃光発光装置 12が閃光を発し、 2回目の撮影時には閃光発光装置 12が消灯していることにより、順光撮影と逆光撮影とをこの順序で連続して行なうとヽぅ撮影システム 1を挙げて説明したが、本発明はこれに限るものではなぐ本発明の撮影システムは、例えば、順光撮影と逆光撮影とをこの順序とは逆の順序で連続して行なうと!、うものであっても良い。このような形態の撮影システムは、例えば、上記の実施形態において

、デジタルカメラ力閃光発光装置に向けて 1回の撮影の度に発信される、閃光発光装置に閃光を発するように指示する指示信号を、 1回目の撮影時には遮断し、 2回目の撮影時には通過させる遮断回路等を、上記の実施形態にぉ、てデジタルカメラと閃光発光装置とを繋ぐ上記の指示信号の伝送ライン上に設置することにより構築される。

[0404] また、上記では、本発明にいう閃光発光装置の一例として、 1回発光すると、次に発光できるようになるまで充電に時間がかかり、撮影が 2回連続して行なわれるときには、 1回目の撮影時にのみ閃光を発するという閃光発光装置 12を挙げて説明したが、本発明はこれに限るものではない。本発明の閃光発光装置は、例えば、充電が極めて短時間で済み、撮影が 2回連続して行なわれるときに、 2回とも閃光を発することができるような高速型の閃光発光装置であっても良い。ただし、このような高速型の閃光発光装置を用いる場合にも、不要な指示信号を遮断する上記のような遮断回路等が必要となる。

[0405] また、上記では、本発明に、う撮影装置の一例としてデジタルカメラ 11を挙げて説明したが、本発明はこれに限るものではなぐ本発明の撮影装置は、フィルム上に画像を撮影するフィルムカメラ等であっても良い。この場合、フィルム上の撮影画像は、例えばフィルムスキャナ等で画像データとして読み取られて、背景置換装置として動作するパーソナルコンピュータ 20に供給されることとなる。

[0406] また、上記では、本発明の撮影システムの一実施形態として、デジタルカメラ 11が、背景置換装置として動作するパーソナルコンピュータ 20に接続されており、このデジタルカメラ 11で得られた撮影画像力撮影後に直ちにこのパーソナルコンピュータ 2 0に渡されるという撮影システム 1を挙げて説明した力本発明はこれに限るものではない。本発明の撮影システムは、例えば、撮影画像がデジタルカメラにおいて小型記憶メディアに記憶され、その小型記憶メディアが、人手で、背景置換装置として動作するパーソナルコンピュータにセットされることによって、撮影画像力このパーソナルコンピュータに渡されると、うもの等であっても良!、。

[0407] また、上記では、本発明に、う「色が変わる機能を持った背景パネル」の一例として、 ELパネルを例示して説明した力本発明はこれに限るものではなぐ本発明にいう「色が変わる機能を持った背景パネル」は、例えば、発光色の互いに異なる複数種類の LEDや発光色の互いに異なる複数種類の蛍光灯等と、つた、発光色の互いに異なる複数種類の光源の、それぞれが均一に分布した 2次元的な配列が、各光源の光を拡散させる拡散板で覆われてなるパネル光源等であっても良ヽ。このパネル光源は、発光させる光源の種類を切り換えることで色を変更する。

[0408] また、上記では本発明にいう照明装置の一例として、分散型 EL素子を光源とする E Lパネルと、蛍光灯を光源とする照明パネルとを例示したが、本発明はこれらに限るものではなぐ本発明の照明装置は、例えば、 LEDや冷陰極管等を光源としたもの等であっても良い。

[0409] また、上記では、本発明に、う背景置換装置の一例として、補正済みの逆光撮影画像を構成する各画素の明るさについてのヒストグラムとして、各画素の色を表わす R値、 G値、および B値のうちの G値についてのヒストグラムを作成する背景置換装置 700を例示したが、本発明はこれに限るものではない。本発明の背景置換装置は、 R 値についてのヒストグラムを作成するものであっても良ぐあるいは、 B値についてのヒストグラムを作成するものであっても良ぐあるいは、各画素の輝度についてのヒストグラムを作成するものであっても良い。

[0410] また、上記では、本発明にいう背景置換装置の一例として、 2つの撮影画像のうちの 1つの撮影画像を構成する各画素の、もう一方の撮影画像において対応する位置の画素に対する色の変化量についてのヒストグラムとして、色相の変化量についてのヒストグラムを作成する例を示したが、本発明はこれに限るものではない。本発明の背景置換装置は、 2つの撮影画像のうちの 1つの撮影画像を構成する各画素の、もう一方の撮影画像において対応する位置の画素に対する色の変化量についてのヒストグラムとして、 R値の変化量についてのヒストグラムを作成するものであっても良ぐあるいは、 G値の変化量についてのヒストグラムを作成するものであっても良ぐあるいは、 B値の変化量につ!、てのヒストグラムを作成するものであっても良!、。また、上記では、本発明にいう背景置換装置の一例として、 2つの撮影画像のうちの 1つの撮影画像を構成する各画素の、もう一方の撮影画像において対応する位置の画素に対する明るさの変化量についてのヒストグラムとして、輝度の変化量についてのヒストグラムを作成する例を示した力本発明はこれに限るものではない。本発明の背景置換装置は、 2つの撮影画像のうちの 1つの撮影画像を構成する各画素の、もう一方の撮影画像において対応する位置の画素に対する明るさの変化量についてのヒストグラムとして、 R値の変化量にっ、てのヒストグラムを作成するものであっても良ぐあるいは、 G値の変化量についてのヒストグラムを作成するものであっても良ぐあるいは、 B値の変化量につ!、てのヒストグラムを作成するものであっても良!、。

Claims

請求の範囲

[1] 被写体を撮影して撮影画像を取得する撮影装置と、

前記被写体に向けて閃光を発する閃光発光装置と、

前記被写体を、該被写体を挟んで前記撮影装置とは反対側に位置する面からの光で照らす照明装置と、

前記閃光発光装置および前記照明装置によって作られる複数の撮影光条件それぞれの下で前記撮影装置によって共通の被写体が撮影されて得られた複数の撮影画像を取得し、該撮影画像に基づいて、撮影画像中の被写体と背景とを区別し、該背景を別の背景に置換する背景置換装置とを備えたことを特徴とする撮影システム。

[2] 前記撮影装置が、前記被写体を、所定時間内に複数回撮影することで前記複数の撮影画像を得るものであることを特徴とする請求項 1記載の撮影システム。

[3] 前記照明装置が、可撓性の発光シートで前記被写体を照らすものであることを特徴とする請求項 1記載の撮影システム。

[4] 前記照明装置が、前記被写体を挟んで前記撮影装置とは反対側から該被写体の下側まで延びた発光シートで、該被写体を照らすものであることを特徴とする請求項

1記載の撮影システム。

[5] 前記照明装置が、分散型エレクトロルミネセンス素子で前記被写体を照らすものであることを特徴とする請求項 1記載の撮影システム。

[6] 前記照明装置が、前記面の範囲を示すマーカを有するものであることを特徴とする請求項 1記載の撮影システム。

[7] 前記照明装置が、青から緑の間の色の光で前記被写体を照らすものであることを特徴とする請求項 1記載の撮影システム。

[8] 前記照明装置が、前記閃光発光装置が発する閃光の輝度以下の輝度の光で前記被写体を照らすものであることを特徴とする請求項 1記載の撮影システム。

[9] 前記閃光発光装置が、一度閃光を発すると、次に閃光を発するためには所定の準備時間を要するものであり、

前記撮影装置が、前記被写体を、前記準備時間内に複数回撮影することで前記複数の撮影画像を得るものであることを特徴とする請求項 1記載の撮影システム。

[10] 前記照明装置が、前記面からの光を透過させるカラーフィルタを備えたものであることを特徴とする請求項 1記載の撮影システム。

[11] 前記照明装置が、前記面からの光を透過させる、該光の色と同じ色のカラーフィルタを備えたものであることを特徴とする請求項 1記載の撮影システム。

[12] 前記照明装置が、前記被写体側から前記面に向かう光の反射を防止する反射防止膜を備えたものであることを特徴とする請求項 1記載の撮影システム。

[13] 前記背景置換装置が、前記撮影画像における前記面の範囲を、該面からの光の有無によって認識し、その範囲内の画像部分を使って撮影画像中の被写体と背景とを区別するものであることを特徴とする請求項 1記載の撮影システム。

[14] 被写体を撮影して撮影画像を取得する撮影装置と、

光に関する複数の撮影条件を作る撮影条件作成部と、

前記撮影条件作成部で作成された複数の撮影条件それぞれの下で、前記撮影装置によって共通の被写体が撮影されて得られた複数の撮影画像を取得し、該撮影画像に基づいて、撮影画像中の被写体領域と背景領域と境界領域とを区別し、その区別した 3つの領域に基づいて撮影画像中の背景を別の背景と置換する背景置換装置とを備えたことを特徴とする撮影システム。

[15] 前記撮影条件作成部は、前記被写体の明るさと、前記被写体を挟んで前記撮影装置とは反対側に位置する背景の明るさとの相違の程度を変更して前記複数の撮影条件を作成するものであり、

前記背景置換装置が、前記被写体領域と前記背景領域と前記境界領域とを、前記複数の撮影画像の相互間における明るさの変化量に基づいて区別するものであることを特徴とする請求項 14記載の撮影システム。

[16] 前記撮影条件作成部は、前記被写体の明るさと、前記被写体を挟んで前記撮影装置とは反対側に位置する背景の明るさとの相違の程度を変更して前記複数の撮影条件を作成するものであり、

前記背景置換装置が、前記被写体領域と前記背景領域と前記境界領域とを、前記被写体と前記背景との明るさの相違に基づいて区別するものであることを特徴とする請求項 14記載の撮影システム。

[17] 前記撮影条件作成部が、前記被写体を挟んで前記撮影装置とは反対側に位置する面力の光で前記被写体を照らす照明装置を有し、その照明装置で該被写体を照らす光の明るさを変更して前記複数の撮影条件を作成するものであり、

前記背景置換装置が、前記被写体領域と前記背景領域と前記境界領域とを、前記複数の撮影画像の相互間における明るさの変化量、および前記被写体と前記背景との明るさの相違のうち少なくとも一方に基づいて区別するものであることを特徴とする請求項 14記載の撮影システム。

[18] 前記撮影条件作成部が、前記被写体を前記撮影装置側から閃光で照らす閃光発光装置と、前記被写体を挟んで前記撮影装置とは反対側に位置する面からの光で前記被写体を照らす照明装置とを有し、前記被写体を該閃光発光装置および該照明装置のそれぞれで順次に照らして前記複数の撮影条件を作成するものであり、前記背景置換装置が、前記被写体領域と前記背景領域と前記境界領域とを、前記複数の撮影画像の相互間における明るさの変化量、および前記被写体と前記背景との明るさの相違のうち少なくとも一方に基づいて区別するものであることを特徴とする請求項 14記載の撮影システム。

[19] 前記撮影条件作成部が、前記被写体を前記撮影装置側から閃光で照らす閃光発光装置と、前記被写体を挟んで前記撮影装置とは反対側に位置する面からの光で前記被写体を照らす照明装置とを有し、該照明装置による照明の定常的な存在と、該閃光発光装置の閃光による照明の有無とによって前記複数の撮影条件を作成するものであり、

[20] 前記撮影条件作成部が、前記被写体を前記撮影装置側から閃光で照らす、該閃光の偏光状態を変える機能を持った閃光発光装置と、前記被写体を挟んで前記撮影装置とは反対側に位置する、偏光状態の違いによって反射光の明るさが異なる背景パネルとを有し、該閃光発光装置による、互いに偏光状態が異なる複数回の閃光によって前記複数の撮影条件を作成するものであり、

[21] 前記撮影条件作成部は、前記被写体を挟んで前記撮影装置とは反対側に位置する背景の色を変更して前記複数の撮影条件を作成するものであり、

前記背景置換装置が、前記被写体領域と前記背景領域と前記境界領域とを、前記複数の撮影画像の相互間における色の変化量に基づいて区別するものであることを特徴とする請求項 14記載の撮影システム。

[22] 前記撮影条件作成部が、前記被写体を挟んで前記撮影装置とは反対側に位置する、色が変わる機能を持った背景パネルを有し、その背景パネルの色を変更して前記複数の撮影条件を作成するものであり、

[23] 前記撮影条件作成部が、前記被写体を前記撮影装置側から閃光で照らす閃光発光装置と、前記被写体を挟んで前記撮影装置とは反対側に位置する面からの、前記閃光の輝度以下の輝度の光で前記被写体を照らす照明装置とを有し、該照明装置による照明の定常的な存在と、該閃光発光装置の閃光による照明の有無とによって前記複数の撮影条件を作成するものであり、

前記撮影装置が、前記閃光発光装置の閃光による照明が無いという撮影条件の下で撮影を行なう時には、該閃光発光装置の閃光による照明が有るという撮影条件の下で撮影を行なう時よりも、光に対する感度を上げて撮影を行なうものであり、前記背景置換装置が、前記被写体領域と前記背景領域と前記境界領域とを、前記複数の撮影画像の相互間における明るさの変化量、および前記被写体と前記背景との明るさの相違のうち少なくとも一方に基づいて区別するものであることを特徴とする請求項 14記載の撮影システム。前記背景置換装置が、前記別の背景として、被写体を照らす光の条件を表わす光情報が付与された背景を用いて、前記撮影画像中の背景を置換するものであり、前記撮影条件作成部が、前記被写体を前記撮影装置側から、互いに異なる複数の発光条件のうち、前記別の背景に付与された光情報が表わす条件に相当する発光条件の光で照らす発光装置を有し、該発光装置による照明を前記複数の撮影条件のうちの少なくとも 1つの撮影条件で用いるものであることを特徴とする請求項 14 記載の撮影システム。