以下図面を参照して本発明の実施の形態を説明する。
まず、本発明の第1実施形態について説明する。
図1は、本発明の撮影システムの第1実施形態を示す図である。
この図1に示す撮影システム1は、被写体を撮影して撮影画像を取得する撮影スタジオ10と、その撮影画像における被写体と背景とを区別して、撮影画像中の背景を所望の背景に置換して背景置換画像を作成する、本発明にいう背景置換装置の一例として動作するパーソナルコンピュータ20と、プリンタ30と、サーバ40とを備えている。また、撮影スタジオ10は、デジタルカメラ11と、閃光発光装置12と、EL(エレクトロルミネセンス)パネル130と、このELパネル用の電源14を備えている。ここで、デジタルカメラ11、閃光発光装置12、およびELパネル130が、それぞれ本発明にいう撮影装置、閃光発光装置、照明装置の各一例に相当する。
デジタルカメラ11は、連写機能を有しており、撮影者がシャッタボタンを1回押すと、短時間の間に自動で被写体Pを2回撮影する。1回毎の撮影によって得られた撮影画像はデジタルカメラ11内のメモリに一時的に保管されるが、撮影システム1では、デジタルカメラ11がパーソナルコンピュータ20に接続されており、2回の撮影が終了した時点で、この2回の撮影で得られた撮影画像は、このパーソナルコンピュータ20に直ちに送られる。また、デジタルカメラ11は閃光発光装置12にも接続されており、デジタルカメラ11は、閃光発光装置12に対して閃光を発するように指示する閃光指示信号を、その閃光発光装置12に撮影の度に発信する。
ここで、本実施形態では、撮影スタジオ10について省スペース化が図られており、デジタルカメラ11は被写体を近距離から若干見下ろし気味に撮影することとなる。その結果、デジタルカメラ11で撮影される撮影画像には、画像の幅が、下に向かうほど狭まる、いわゆる台形歪みが生じている可能性が高い。本実施形態では、この台形歪みは、パーソナルコンピュータ20において補正される。
閃光発光装置12は、デジタルカメラ11から閃光指示信号を受けて被写体Pに向かって閃光を発する。ここで、この閃光発光装置12は、1回発光する度に充電される必要があり、1回発光すると、次に発光できるようになるまで時間がかかる。デジタルカメラ11からは、上記の2回の撮影の際、撮影の度に上記の閃光指示信号が発信されるが、閃光発光装置12は1回目の撮影の時だけ閃光を発し、2回目の撮影時には、充電が間に合わないために、閃光発光装置12は消灯したままでいることとなる。また、この閃光発光装置12が発する閃光は、発光の輝度がおよそ2000cd/m2という高輝度の光である。
ELパネル130は、被写体Pが載る載置面131aと被写体Pの背後の面131bとが透明な筐体131、および、その筐体131内に収納された分散型EL素子132からなる。また、電源14は、この分散型EL素子132に駆動電圧を印加する電源である。ここで、分散型EL素子132が、本発明にいう分散型エレクトロルミネセンス素子の一例に相当する。また、筐体131の、被写体Pの背後の面131bの四隅にはこの面131bの範囲を示す4つのマーカ131cが配置されている。これら4つのマーカ131cは、撮影の際に被写体Pとともに撮影画像に写り、その撮影画像に対する、上記の台形歪みの補正等に利用されるものであり、本発明にいうマーカの一例に相当する。
分散型EL素子132は、蛍光体粉末が高誘電率のバインダー中に分散されたものが、可撓性のプラスチックを基板とした2枚のシート形状の電極の間に挟み込まれて構成されたシート状の面発光光源である。この分散型EL素子132は、それら2枚の電極間に、電源14から交流電圧が印加されることにより発光する。
この分散型EL素子132は、厚みが数百μm〜1mmという非常に薄くて軽い光源であり、筐体131の内部のように、厚みに余裕のない場所に容易に設置することができる。この他、分散型EL素子132には、発光時の発熱が2℃程度と軽微である、発光開始から最高輝度に達するまでの応答速度が速い、発光の寿命がほぼ一定しており計画的な交換が可能、局所発光が可能、衝撃や振動に強い、消費電力が50W/m2(周波数が50Hzの交流電力印加時)と小さい等、性能面での様々な利点がある。さらに、分散型EL素子132には、簡単な製造工程で製造することができるため製造コストが安いという経済面での利点もある。
また、一般的な分散型EL素子は、製造時に発光色の異なる複数の蛍光体粉末をさらに混合することで発光色を白色を含む様々な色に調整することが可能であるが、本実施形態における分散型EL素子132では、このような色調整のための蛍光体粉末は未混合である。この結果、この分散型EL素子132は、発光波長が400nm〜530nmの間に2つ以上の発光ピークを有することとなる。この光は、分散型EL素子本来の、青から緑の間の色の光であり、本実施形態における分散型EL素子132は、上記の2つ以上の発光ピークからなる青緑色の光を発光する。ここで、青緑色は、人物の肌の色の補色であるため、本実施形態の撮影システム1によれば、人物を被写体として撮影した際等に、撮影画像中の被写体と背景とを高い確度で区別することができる、背景が青緑色の撮影画像が得られる。さらに、補色であることから、被写体と背景との境界付近の画素に対する、後述するような、被写体色と背景色との推定という処理を高い精度で行なうことができる。また、上記の色調整のための蛍光体粉末は発光色の輝度を低下させる傾向があるが、本実施形態における分散型EL素子132は、このような蛍光体粉末が未混合であるので分散型EL素子本来の輝度で発光することとなる。
尚、本実施形態では、本発明にいう分散型エレクトロルミネセンス素子を使ったタイプの照明装置の一例として、筐体131の内部に分散型EL素子132が単純に収納されたELパネル130を例示したが、本発明はこれに限るものではない。以下、このタイプの照明装置の別例について説明する。ここで、以下では、この別例について、図1に示すELパネル130との相違点に注目して説明する。
図2は、分散型エレクトロルミネセンス素子を使ったタイプの照明装置の別例を示す図である。
この図2に示す別例は、図1示すELパネル130に、2つの構成要素が追加された構成となっている。即ち、この別例は、分散型EL素子132の表面に、この分散型EL素子132の発光色と同じ青緑色のカラーフィルタ132aが貼付され、筐体131(図1参照)の被写体Pが載る載置面131aと被写体Pの背後の面131bとのそれぞれに、光の反射を防止する反射防止膜131dが貼付された構成となっている。ここで、カラーフィルタ132aおよび反射防止膜131dは、それぞれ本発明にいうカラーフィルタおよび反射防止膜の各一例に相当する。
上記のカラーフィルタ132aによれば、分散型EL素子132の発光光よりも光量が圧倒的に勝る上記の閃光下の撮影であっても被写体の背景の色は、その閃光の色である白色とは確実に異なる青緑色となる。そのため、例えば、撮影画像中の被写体に閃光の色が写り込んでしまったような場合であっても、その撮影画像中で被写体と背景とが閃光の色という同色に発色してしまうことが確実に回避される。また、上記の反射防止膜131dによれば、上記の閃光発光装置12が発した閃光が、被写体と載置面131aや背後の面131bとで反射して、被写体と背景とが撮影画像中においてその閃光の色という同色に発色してしまうことが確実に回避される。図2に示すこのような構成により、撮影画像中の被写体と背景との、後述するような区別が一層確実に行なわれることとなる。
再び、図1に戻って説明を続ける。
電源14は、分散型EL素子132に印加する交流電圧を、周波数について50Hz〜10kHzの間、大きさについて40V〜300Vの間で調整することができる。分散型EL素子132の発光の輝度は、印加される交流電圧の大きさにほぼ比例する。本実施形態の撮影スタジオ10では、電源14において、交流電圧が、周波数については1.2kHz〜1.5kHzのうちのいずれかの周波数、大きさについては130V〜200Vのうちのいずれかの大きさに調整されており、その結果、分散型EL素子132の発光の輝度が、500cd/m2〜600cd/m2のうちのいずれかの輝度に調整されている。
ここで、本実施形態の撮影スタジオ10では、デジタルカメラ11による撮影は、ELパネル130が常時点灯した状態で行なわれる。また、上述したように、1回目の撮影は閃光発光装置12が閃光を発した状態で行なわれ、2回目の撮影は閃光発光装置12が消えた状態で行なわれる。ここで、上記のように、閃光発光装置12が発する閃光の輝度は、ELパネル130が点灯したときの輝度よりもかなり高い。この結果、1回目の撮影では、ELパネル130の輝度よりも高い輝度の閃光が、デジタルカメラ11側から被写体Pを照らすという順光状態での撮影による、被写体Pがきれいに写った順光撮影画像が取得される。また、この1回目の撮影に連続して行なわれる2回目の撮影では、ELパネル130からの光のみが被写体Pを後方から照らすという逆光状態での撮影による、被写体Pの像がシャドウ側に偏り、ELパネル130の像がハイライト側に偏った逆光撮影画像が取得される。
この撮影スタジオ10における閃光発光装置12とELパネル130とを合わせたものが、本発明にいう撮影条件作成部の一例に相当し、ここでは、ELパネル130による照明の定常的な存在と、閃光発光装置12の閃光による照明の有無とによって複数(本実施形態では2つ)の撮影条件が作成される。
パーソナルコンピュータ20は、上述したように本発明にいう背景置換装置の一例として動作するものである。このパーソナルコンピュータ20は、デジタルカメラ11から渡された上記の2つの撮影画像に対して、上記の台形歪みについての補正を含む画像補正処理を施し、さらに、この補正済みの撮影画像に基づいて背景置換画像を作成するという背景置換処理を行なう。この画像補正処理と背景置換処理とについては後述する。
このパーソナルコンピュータ20は、外観構成上、フレキシブルディスク(以降、FDと呼ぶ)やCD−ROMの装填口を有し、その装填口に装填されたFDやCD−ROMへのアクセス機能を有する本体装置210、その本体装置210からの指示に応じて表示画面220a上に画像を表示する画像表示装置220、本体装置210にキー操作に応じた各種の情報を入力するキーボード230、表示画面220a上の任意の位置を指定することにより、その位置に表示された、例えばアイコン等に応じた指示を入力するマウス240、および、デジタルカメラ等で撮影画像の記憶に用いられる小型記憶メディアが装填され、その小型記憶メディアをアクセスするメディアドライブ250を備えている。
プリンタ30は、パーソナルコンピュータ20から送られてくる画像をプリントするものであり、撮影システム1では、パーソナルコンピュータ20が背景置換処理によって作成した背景置換画像をプリントする役割を担っている。
サーバ40には、パーソナルコンピュータ20で実行される背景置換処理で使用される複数種類の背景が格納されている。このサーバ40内の背景は、表示画面220a上に表示されることによって顧客に提示される。また、この撮影システム1では、サーバ40内に格納されている背景以外にも、上記のCD−ROMや上記の小型記憶メディア等といった何らかの入力用記憶媒体を介して提供される背景も、表示画面220aを通じて顧客に提示される。顧客は、表示画面220a上に表示されたそれらの背景の中から所望の背景を選ぶ。
次に、この図1に示す撮影システム1で実行される作業の流れについて説明する。尚、以下の説明では、図1に示す要素については特に図番を断らずに図1中の符号を使って参照する。
図3は、図1の撮影システムで実行される作業の流れを示すフローチャートである。
この図3のフローチャートが示す作業は、撮影スタジオ10において、被写体P、デジタルカメラ11、および閃光発光装置12がそれぞれ適当な位置に配置されていることを前提として行なわれる。
まず、電源14から分散型EL素子132に電圧が印加され、ELパネル130が点灯する(ステップS101)。次に、撮影者が、ピントや露光の調節等を行なった後にデジタルカメラ11のシャッタボタンを押すと、被写体Pに対する撮影が2回連続して行なわれる。まず1回目の撮影では、デジタルカメラ11から発信される閃光指示信号に応じて閃光発光装置12がELパネル130の照明よりも高輝度の閃光を発し、この閃光による順光状態で被写体Pが撮影される(ステップS102)。続いて、2回目の撮影が、閃光発光装置12が消灯した状態、即ち、ELパネル130のみの照明による逆光状態で行なわれる(ステップS103)。ステップS102およびステップS103の処理でそれぞれ得られた、順光撮影画像と逆光撮影画像との2つの撮影画像は、デジタルカメラ11内のメモリに一時的に保管される。
尚、本実施形態では、以上に説明したステップS101〜ステップS103の処理は、撮影スタジオ10において行なわれる、写真館の店員等といった人手による撮影処理であるが、本発明はこれに限るものではない。本発明の撮影システムは、例えば、ELパネルやデジタルカメラの動作がパーソナルコンピュータ等で制御され、ELパネルの点灯やデジタルカメラによる撮影が、人手を経ることなく自動で行なわれるもの等であっても良い。このことは、後述する他の実施形態についても同様に当てはまる。
また、本実施形態では、順光状態における撮影と逆光状態における撮影とが単純に実行される例を示したが、本発明はこれに限るものではなく、本発明の撮影システムは、順光状態における撮影と逆光状態における撮影とが、例えば、以下に説明するように行なわれるもの等であっても良い。
図4は、順光状態における撮影と逆光状態における撮影との別例を示す図である。
この図4に示す撮影処理では、被写体を背後から照らすELパネルが点灯されると(ステップS101)、順光状態における撮影(ステップS102’)と逆光状態における撮影(ステップS103’)とが順次に実行される。ただし、この図4の例では、順光状態における撮影(ステップS102’)は、ELパネルの発光光の被写体への写り込みを確実に回避するために、ELパネルの発光光に比べて光量が圧倒的に多い閃光下で実行され、さらに、その撮影は、そのような閃光下で適切に実行されるように、閃光の光量に応じた低めの感度で行なわれる。一方、逆光状態における撮影(ステップS103’)は、そのような低めの感度では感度不足となりELパネルの発光光を捉え切れないので、ELパネルの発光光の光量に応じた高めの感度で行なわれる。このように、この図4に示す撮影処理によれば、順光状態における撮影において、ELパネルの発光光の被写体への写り込みが回避されるとともに、各状態における適切な感度での撮影が可能となる。
再び、図3に戻って説明を続ける。
ステップS103の処理によって、2回目の撮影が行なわれ、その撮影で得られた撮影画像の、デジタルカメラ11内のメモリへの保管が終了すると、2回の撮影で得られ、そのメモリに一時的に保管された2つの撮影画像が直ちにパーソナルコンピュータ20に渡される。また、パーソナルコンピュータ20に対する操作を受けて、顧客が所望する背景がサーバ40あるいは何らかの入力用記憶媒体から読み出される。(ステップS104)。続いて、2つの撮影画像に、上記の台形歪みについての補正を含む後述の画像補正処理が施される。(ステップS105)。さらに、この補正済みの撮影画像に基づいて背景置換画像を作成するという後述の背景置換処理が実行される(ステップS106)。そして、この背景置換処理で作成された背景置換画像を表わす画像データが、まず画像表示装置220に転送され、さらに、プリンタ30と、顧客が希望する出力用記憶媒体とのうちの少なくとも1つに転送される(ステップS107)。続いて、画像表示装置220において、背景置換画像が、転送されてきた画像データに基づいて表示画面220a上に表示され(ステップS108)、さらに、画像データがプリンタ30に転送された場合には、プリンタ30において、その画像データに基づいて背景置換画像がプリントされる(ステップS109)。
ここで、ステップS104〜ステップS108の処理は、パーソナルコンピュータ20において実行される処理であり、以下では、これらの処理を実行するパーソナルコンピュータ20と、それらの処理の詳細に注目して説明する。
まず、このパーソナルコンピュータ20の内部構成について説明する。
図5は、図1に示すパーソナルコンピュータのハードウェア構成図である。
この図5に示すように、本体装置210の内部には、各種プログラムを実行するCPU211、ハードディスク装置213に格納されたプログラムが読み出されCPU211での実行のために展開される主メモリ212、各種プログラムやデータ等が保存されたハードディスク装置213、FD520が装填され、その装填されたFD520をアクセスするFDドライブ214、CD−ROM510をアクセスするCD−ROMドライブ215、図1のサーバ40やデジタルカメラ11と接続され、これらの機器から置換用の背景や撮影画像等を受け取る入力インタフェース216、および、図1のプリンタ30と接続され、背景置換画像等を出力する出力インタフェース217が内蔵されており、これらの各種要素と、さらに図1にも示す画像表示装置220、キーボード230、マウス240、および、小型記憶メディア530をアクセスするメディアドライブ250は、バス260を介して相互に接続されている。
ここで、CD−ROM510には、パーソナルコンピュータ20を、本発明にいう背景置換装置の一例として動作させるための背景置換プログラムが記憶される。そして、その背景置換プログラムが記憶されたCD−ROM510がCD−ROMドライブ215に装填されると、そのCD−ROM510に記憶された背景置換プログラムがこのパーソナルコンピュータ20にアップロードされてハードディスク装置213に書き込まれる。これにより、パーソナルコンピュータ20は背景置換装置として動作する。
次に、この背景置換プログラムについて説明する。
図6は、図1および図5に示すパーソナルコンピュータを、本発明にいう背景置換装置の一例として動作させるための背景置換プログラムが記憶されたCD−ROMを示す概念図である。
図6に示すCD−ROM510には背景置換プログラム600が記憶されている。
この背景置換プログラム600は、画像取得部610、画像補正部620、置換処理部630、画像データ転送部640、および画像表示部650で構成されている。
この背景置換プログラム600の各部の詳細については、本発明にいう背景置換装置の一例の各部の作用と併せて説明する。尚、以下の説明では、図1、図5、および図6に示す要素については特に図番を断らずに各図中の符号を使って参照する。
図7は、図6に示す背景置換プログラムが図1および図5に示すパーソナルコンピュータにインストールされ、このパーソナルコンピュータが本発明にいう背景置換装置の一例として動作するときの機能を表わす機能ブロック図である。また、この図7には、図1にも示す、デジタルカメラ11、閃光発光装置12、およびELパネル130からなる撮影スタジオ10と、プリンタ30と、サーバ40も示されている。
この図7に示す背景置換装置700は、上述したように、撮影スタジオ10のデジタルカメラ11によって順光および逆光それぞれの下で撮影された順光撮影画像と逆光撮影画像とを取得して、これらの2つの撮影画像のうち、逆光撮影画像に基づいて、順光撮影画像における被写体と背景とを区別して、その背景を所望の背景に置換するという背景置換処理を実行するものであり、画像取得部710、画像補正部720、置換処理部730、画像データ転送部740、および画像表示部750を備えている。
画像取得部710は、まず、デジタルカメラ11で撮影され、そのデジタルカメラ11から渡される2つの撮影画像を受け取る。また、この画像取得部710は、顧客が所望する背景を、サーバ40から、あるいは、CD−ROMや小型記憶メディア等といった入力用記憶媒体540から読み出す。この画像取得部710は、実質的には、パーソナルコンピュータ20のCPU211が、背景置換プログラム600の画像取得部610に従って、入力インタフェース216、FDドライブ214、CD−ROMドライブ215、およびメディアドライブ250を制御することによって構成される。
画像補正部720は、画像取得部710で受け取られた2つの撮影画像に、台形歪みについての補正を含む後述の画像補正処理を施すものであり、実質的には、パーソナルコンピュータ20のCPU211が、背景置換プログラム600の画像補正部620に従って動作することによって構成される。この画像補正部720の詳細については、画像補正処理の詳細とともに別図を参照して後述する。
置換処理部730は、画像補正部720での画像補正処理を経た2つの撮影画像に基づいて背景置換画像を作成するという後述の背景置換処理を行なうものであり、実質的には、パーソナルコンピュータ20のCPU211が、背景置換プログラム600の置換処理部630に従って動作することによって構成される。この画像補正部720の詳細については、背景置換処理の詳細とともに別図を参照して後述する。
画像データ転送部740は、置換処理部730で作成された背景置換画像を表わす画像データを、プリンタ30および顧客が希望する出力用記憶媒体550のうちの少なくとも一方と、この背景置換装置700の画像表示部750とに転送する。この画像データ転送部740は、実質的には、パーソナルコンピュータ20のCPU211が、背景置換プログラム600の画像データ転送部640に従って、出力インタフェース217、FDドライブ214、CD−ROMドライブ215、およびメディアドライブ250を制御することによって構成される。
画像表示部750は、画像データ転送部740から転送されてくる画像データに基づく背景置換画像を、表示画面220aに表示するものであり、実質的には、パーソナルコンピュータ20のCPU211が、背景置換プログラム600の画像表示部650に従って画像表示装置220を制御することによって構成される。
また、上記の画像データ転送部740からプリンタ30に背景置換画像を表わす画像データが出力された場合には、プリンタ30において、この画像データに基づく背景置換画像がプリントされ、上記の画像データ転送部740から何らかの出力用記憶媒体550に背景置換画像を表わす画像データが出力された場合には、この画像データがその出力用記憶媒体550に書き込まれる。そして、背景置換画像がプリントされたプリント紙と、背景置換画像を表わす画像データが書き込まれた出力用記憶媒体550との両方、あるいは一方が、顧客の希望に応じて提供される。
次に、図7において、それぞれ1つのブロックで示されている画像補正部720および置換処理部730の詳細について以下に説明する。
先ず、画像補正部720について説明する。
図8は、図7に1つのブロックで示す画像補正部の詳細を示す図である。尚、以下の説明では、図7に示す要素については特に図番を断らずに図中の符号を使って参照する。
この図8に示す画像補正部720は、上述したように、画像取得部710で受け取られた順光撮影画像と逆光撮影画像とに、台形歪みについての補正を含む画像補正処理を実行するものであり、マーカ検出部721、台形補正処理部722、有効画像作成部723、および色補正部724を備えている。
以下では、この画像補正部720の各要素の作用について、上記の台形歪みが生じた順光撮影画像を例として参照しながら説明する。
図9は、台形歪みが生じた順光撮影画像の一例を示す模式図である。
この図9には、画像の幅が、下に向かうほど狭まる台形歪みが生じた撮影画像が模式的に示されている。
まず、マーカ検出部721が、撮影画像に写っている4つのマーカ131cを検出する。本来、これら4つのマーカ131bを結ぶと長方形が形成されるはずであるが、図9の例では台形歪みのために、4つのマーカ131bを結ぶと台形になってしまう。
台形補正処理部722は、マーカ検出部721が検出した4つのマーカ131cを結んでできる図形が本来の長方形となるように、撮影画像全体に適当な変形を施すことで台形歪みを補正する。
図10は、図9の順光撮影画像における台形歪みが補正された状態を示す模式図である。
背景置換処理に供する撮影画像としては、被写体と背景との区別の容易さ等の点から、背景がELパネル130における発光面のみであることが望ましい。しかしながら、本実施形態では、撮影スタジオ10について省スペース化が図られていることから、ELパネル130の大きさに限界があり、撮影画像には、図9や図10に示すように、ELパネル130の発光面以外の不要な部分が背景として写ってしまう。
有効画像作成部723は、台形補正処理部722による補正処理を経た撮影画像から、4つのマーカ131cで決まる有効範囲E1の外側の画像が削除された有効画像を作成する。
図11は、図10に示す、台形歪みが補正された順光撮影画像に基づいて作成された有効画像を示す模式図である。
有効画像作成部723によって、この図11に示すような、被写体Pの背景が、ELパネル130の発光面のみである有効画像が作成されると、次に、色補正部724が、この有効画像に対して、例えば人物の目についての赤目補正や、画像全体の色合いを好ましい色合いに補正する等といった色補正処理を施す。
以上、図9〜図11の順光撮影画像を参照して、画像補正部720で行なわれる画像補正処理について説明したが、本実施形態では、順光撮影画像とともに撮影された逆光撮影画像にも、順光撮影画像に施された画像補正処理と全く同じ処理が施される。ただし、この逆光撮影画像では、被写体は黒くつぶれて写ることとなるので、上記の色補正部724での処理は、この逆光撮影画像に対しては除外される。
図12は、図8の画像補正部によって画像補正処理が施された、補正済みの逆光撮影画像を示す模式図である。
この図12に示すように、補正済みの逆光撮影画像は、被写体Pの領域がシャドウ側に偏り、背景としてELパネル130が写っている領域がハイライト側に偏った画像となっている。ここで、上記の図9〜図11の順光撮影画像では、ELパネル130の発光の輝度が閃光発光装置12が発する閃光の輝度よりも低いため、ELパネル130の発光面は実際の発光色よりも白っぽく写るのに対し、この図12に示す逆光撮影画像では、ELパネル130の実際の発光色である青緑色に写る。
このように、図12に示す補正済みの逆光撮影画像では、被写体Pの領域と、背景領域とでは、明るさが大きく異なるので両者を容易に区別することができる。また、補正済みの逆光撮影画像では、画像中の被写体Pの位置や輪郭は、補正済みの順光撮影画像における被写体の位置や輪郭とほぼ同じになる。そこで、本実施形態では、図7の置換処理部730において、まず、補正済みの逆光撮影画像について被写体Pと背景との区別を行ない、その区別を補正済みの順光撮影画像にそのまま適用することで、この順光撮影画像における被写体Pと背景とを区別する。そして、この置換処理部730では、順光撮影画像における背景を、顧客が所望する背景と置換して背景置換画像を作成する。
ここで、この置換処理部730の詳細について説明する前に、上記の画像補正部720の別例について説明する。この別例は、撮影画像からELパネル130の発光面以外の不要な部分の除去に、撮影画像中のマーカ131cが不要である点が上記の画像補正部720と異なる。また、以下では、説明の簡単化のために、対象とする撮影画像には上述した台形歪みが生じないことを前提として説明する。
図13は、画像補正部の別例を示す図である。
この図13に示す画像補正部720’は、撮影画像から不要な部分が除去された有効画像を上記のマーカを使わずに作成する有効画像作成部723’と、図8と同じ色補正部724とを備えている。以下、この図13の有効画像作成部723’に注目して説明する。
図14は、図13に1つのブロックで示す有効画像作成部723’の詳細を示す図である。
この有効画像作成部723’は、画像拡大部723a’、ヒストグラム作成部723b’、2値化部723c’、直線検出部723d’、および画像切出部723e’を備えている。
この有効画像作成部723’は、逆光撮影画像および順光撮影画像それぞれに共通の、有効画像の範囲を決定するのに逆光撮影画像を用いる。
画像拡大部723a’は、その逆光撮影画像を、次のように拡大する。
図15は、有効画像の作成に使われる逆光撮影画像の一例を示す図であり、図16は、図15に示す逆光撮影画像が拡大された状態を示す図である。
図15には、ELパネル130の発光面以外の不要な部分や被写体Pがシャドウ側に偏った逆光撮影画像が示されている。上記の画像拡大部723a’は、逆光撮影画像の上下左右に黒色の画素を複数画素分だけ追加することで、この逆光撮影画像を拡大して、図16に示すような、ELパネル130の発光面の周囲がシャドウ側の色の画素で囲まれた状態の画像を作成する。
次に、図14のヒストグラム作成部723b’は、その拡大された画像について、次のような各画素の明るさについてのヒストグラムを作成する。
図17は、拡大された逆光撮影画像を構成する各画素の明るさについてのヒストグラムの一例を示す図である。
この図17には、各画素の輝度を、多数の輝度範囲に振り分け、各輝度範囲についてどれだけの画素が振り分けられたかを頻度で示したヒストグラムHGが示されており、このヒストグラムHGでは、横軸HG_1に輝度がとられ、縦軸H1_2に頻度がとられている。逆光撮影画像について作成されたこのようなヒストグラムHGには、図17に示すように、シャドウ側と、ハイライト側とに2つのピークHP1,HP2が現れる。シャドウ側のピークHP1は、逆光撮影画像における上記の不要な部分や被写体領域の画素が振り分けられて現れるものであり、ハイライト側のピークHP2は、この逆光撮影画像におけるELパネル130の発光面の画素が振り分けられて現れるものである。
このようなヒストグラムHGが作成されると、図14の2値化部723c’は、まず、ヒストグラムHGにおけるシャドウ側のピークHP1において、頻度が所定頻度以上となる輝度の上限である閾値HSを計算する。次に、2値化部723c’は、上記の拡大された逆光撮影画像の各画素について、閾値HS以上の輝度に対応する画素に「1」の画素値を割り当て、閾値HSに満たない輝度に対応する画素には「0」の画素値を割り当てるという2値化処理を実行する。
図18は、図14の2値化部723c’によって2値化処理が施された逆光撮影画像を示す図である。この図18では、被写体Pを含む、ELパネル130の発光面以外の領域の画素に「0」の画素値が割り当てられた様子が斜線で示されている。
このような2値化処理が終了すると、次に、図14の直線検出部723d’は、2値化処理が施された逆光撮影画像において、「1」の画素値を有する画素と、「0」の画素値を有する画素との境界における直線部分を検出する。上記の図18には、ELパネル130の発光面の領域を囲む4本の直線SL1,SL2,SL3,SL4が検出された様子が示されている。
このような直線が検出されると、図14の画像切出部723e’が、図15に示す拡大前の逆光撮影画像から、上記の4本の直線SL1,SL2,SL3,SL4で囲まれた範囲に対応する画像部分を有効画像として切り出す。そして、この画像切出部723e’は、順光撮影画像からも、上記の4本の直線SL1,SL2,SL3,SL4で囲まれた範囲に対応する画像部分を有効画像として切り出す。
以上に説明した一連の処理によっても、図11や図12に示す、マーカを使って作成された有効画像とほぼ同様の有効画像を得ることができる。
再び、本発明の第1実施形態についての説明に戻る。
図7の画像補正部720において、図11や図12に示すような、順光および逆光それぞれについての有効画像(補正済みの順光撮影画像および補正済みの逆光撮影画像)が得られると、置換処理部730では、上述したように、補正済みの逆光撮影画像について被写体Pと背景との区別が行なわれ、その区別が補正済みの順光撮影画像にそのまま適用されて、この順光撮影画像における被写体Pと背景とが区別される。そして、この置換処理部730は、順光撮影画像における背景を、顧客が所望する背景と置換して背景置換画像を作成する。
次に、この置換処理部730の詳細について、補正済みの逆光撮影画像における被写体と背景との区別から、背景置換画像の作成に至る背景置換処理に注目して説明する。
ここで、以下の説明では、上記の補正済みの順光撮影画像および補正済みの逆光撮影画像それぞれの一例として、次の画像を参照する。
図19は、補正済みの順光撮影画像の一例を示す図であり、図20は、補正済みの逆光撮影画像の一例を示す図である。
これら図19および図20には、人物の被写体P’が写っている。ただし、図20に示す撮影画像は、逆光で撮影されたものであるために、被写体P’の領域がシャドウ側に偏り、背景としてELパネル130が写っている領域がハイライト側に偏った画像となっている。ここで、被写体P’と背景との境界周辺の様子を、図19中のエリアA1と、この図19中のエリアA1に対応する図20中のエリアA2とについて別図に示す。
図21は、図19中のエリアA1の拡大図であり、図22は、図20中のエリアA2の拡大図である。
これら図21および図22には、被写体P’の頭髪越しに背景のELパネル130が見えている様子が示されている。一般に、撮影画像中には、被写体の一部越しに背景が見えている部分がしばしば見られるが、このような部分は、図19〜図22の例に示すように、撮影画像中の被写体と背景との境界周辺に存在する。
ここで、図21および図22は、説明の便宜上、人物の頭髪の一本に至るまで詳細に見える理想的な状態で示されている。しかし、実際の撮影画像では、解像度の制約により、画像を構成する画素が一本の頭髪等といった微細な被写体よりも大きくなる。そのため、例えば、図21および図22に示す、頭髪越しに背景のELパネル130が見えている部分の画像等は、頭髪という微細な被写体の色と、その背後に見える背景の色とが合成された合成色を有する画素が集まって構成されることとなる。そのため、このような部分では、被写体と背景との単純な区別は不可能となっている。
図7の置換処理部730は、例えば図19に示すような、補正済みの順光撮影画像の背景を、顧客が所望する背景に置換する際には、まず、この補正済みの順光撮影画像を、被写体領域と、背景領域と、これら2つの領域に挟まれた境界領域とに区別する。置換処理部730は、この補正済みの順光撮影画像における被写体領域についてはそのまま残し、背景領域を、顧客が所望する別の背景と置換する。
このとき、図21に示すように被写体の一部越しに背景が見えていている部分、即ち、微細な被写体色と背景色とが合成された合成色を有する画素によって構成される部分は、上記のように被写体と背景とに単純に区別することが不可能であることから、置換処理部730によって上記の境界領域に区別される。
置換処理部730は、補正済みの順光撮影画像における上記の境界領域内の全ての画素が、上記のような合成色を有しているという前提のもとに、各画素の色の合成の元となった被写体色と、背景色とを推定し、さらに両者の合成比を推定する。ただし、実際の境界領域には、合成色を有する画素の他にも、背景色のみを有する画素や、被写体色のみを有する画素も含まれる。置換処理部730では、処理対象の画素が、背景色のみを有する画素である場合には、その画素の色に占める被写体色の割合が「0」となる合成比が推定され、処理対象の画素が、被写体色のみを有する画素である場合には、その画素の色に占める被写体色の割合が「1」となる合成比が推定される。
そして、置換処理部730は、上記の境界領域内の各画素の色を、推定された被写体色と、上記の顧客が所望する別の背景色とが、推定された合成比で合成されてなる合成色に置き換える。この処理では、境界領域中の、背景色のみを有する画素の色は上記の別の背景色に置換され、被写体色のみを有する画素の色はそのまま維持され、さらに、被写体の一部越しに背景が見えていている部分の画素の色は上記の合成色に置換される。この処理の結果、境界領域中に、被写体の一部越しに背景が見えていている部分が含まれていたとしても、その被写体の一部越しに、上記の顧客が所望する別の背景が見えているという自然な背景置換画像が作成される。
以下、この置換処理部730の詳細について説明する。
図23は、図7に1つのブロックで示す置換処理部の詳細を示す図である。尚、以下の説明でも、図7に示す要素については特に図番を断らずに図7中の符号を使って参照する。
この置換処理部730は、上述した背景置換処理を実行するものであり、マスク作成部731、色推定部732、および背景置換画像作成部733を備えている。
まず、これら各構成要素の概要について説明する。
マスク作成部731は、上記の補正済みの逆光撮影画像において、この逆光撮影画像中で、被写体色の画素のみが存在する範囲を定義する被写体マスクと、背景色の画素のみが存在する範囲を定義する背景マスクとを作成する。ここで、これら2つのマスクは、それぞれのマスクが定義する範囲内に、例えば図22に示すような、被写体越しに背景が見えている部分の画素が含まれないように、互いに隙間を開けて作成される。
色推定部732は、マスク作成部731が作成した被写体マスクと背景マスクとを、上記の補正済みの順光撮影画像に適用して、まず、この順光撮影画像において、これら2つのマスク間に開いた隙間、即ち、境界領域を認識する。そして、この境界領域内の全ての画素が合成色を有しているという前提のもとに、各画素の色の合成の元となった被写体色と、背景色とを推定し、さらに両者の合成比を推定する。
背景置換画像作成部733は、まず、上記の補正済みの順光撮影画像において、被写体マスクで定義される領域についてはそのまま残し、背景マスクで定義される領域を、顧客が所望する別の背景と置換する。次に、境界領域内の各画素について、顧客が所望する背景の色と、上記の色推定部732で推定された被写体色とを、色推定部732で推定された合成比で合成して合成色を求め、各画素の色をその合成色に置換する。これにより、上記の補正済みの順光撮影画像の背景が、顧客が所望する別の背景に自然に置換された背景置換画像が作成される。
このように作成された背景置換画像を表わす画像データが、図7の画像データ転送部740から、各出力デバイスや出力用記憶媒体550(図7参照)に転送される。
次に、置換処理部730の各構成要素の詳細について説明する。
まず、マスク作成部731の詳細について説明する。
図24は、図23に1つのブロックで示すマスク作成部の詳細を示す図である。
このマスク作成部731は、ヒストグラム作成部731a、閾値計算部731b、被写体マスク設定部731c、背景マスク設定部731d、被写体マスク縮小部731e、および背景マスク縮小部731fを備えている。
ヒストグラム作成部731aは、上記の補正済みの逆光撮影画像を構成する各画素の明るさについてのヒストグラムを作成する。
図25は、補正済みの逆光撮影画像を構成する各画素の明るさについてのヒストグラムの様々な例を示す図である。
この図25のパート(a)には、逆光撮影画像を構成する各画素の輝度を、多数の輝度範囲に振り分け、各輝度範囲についてどれだけの画素が振り分けられたかを頻度で示した輝度ヒストグラムH1が示されており、この輝度ヒストグラムH1では、横軸H1_1に輝度がとられ、縦軸H1_2に頻度がとられている。
ここで、本実施形態では上記の順光撮影画像および逆光撮影画像は、R(レッド)、G(グリーン)、B(ブルー)の3色で色を定義するRGB色空間上の座標、即ち、このRGB色空間におけるR値、G値、およびB値で各画素の色が表わされている。各画素の色を表わすR値、G値、およびB値それぞれには、その画素の明るさが反映されているので、逆光撮影画像を構成する各画素の明るさについてのヒストグラムを、これらR値、G値、およびB値のうちのいずれかを用いて作成することもできる。
図25のパート(b)には、逆光撮影画像を構成する各画素のR値を、R値の多数の範囲に振り分け、各範囲についてどれだけの画素が振り分けられたかを頻度で示したR値ヒストグラムH2が示されており、図25のパート(c)には、逆光撮影画像を構成する各画素のG値を、G値の多数の範囲に振り分け、各範囲についてどれだけの画素が振り分けられたかを頻度で示したG値ヒストグラムH3が示されており、図25のパート(d)には、逆光撮影画像を構成する各画素のB値を、B値の多数の範囲に振り分け、各範囲についてどれだけの画素が振り分けられたかを頻度で示したB値ヒストグラムH4が示されている。図25のパート(b)に示すR値ヒストグラムH2では、横軸H2_1にR値がとられ、図25のパート(c)に示すG値ヒストグラムH3では、横軸H3_1にG値がとられ、図25のパート(d)に示すB値ヒストグラムH4では、横軸H4_1にB値がとられている。また、これら3つのヒストグラムの縦軸H2_2,H3_2,H4_2には、頻度がとられている。
本実施形態では、逆光撮影画像では、被写体の背景が、ELパネル130の発光色である青緑色に写ることから、この逆光撮影画像の各画素の明るさは、R値、G値、およびB値のうち、G値に最も良く反映される。そこで、図24のヒストグラム作成部731aは、図25に示す4つのヒストグラムのうち、図25のパート(c)に示すG値ヒストグラムH3を作成するように構成されている。
ここで、このG値ヒストグラムH3には、他の3つのヒストグラムと同様に、シャドウ側と、ハイライト側とに2つのピークPk1,Pk2が現れる。シャドウ側のピークPk1は、補正済みの逆光撮影画像における被写体領域の画素が振り分けられて現れるものであり、ハイライト側のピークPk2は、この逆光撮影画像における背景領域の画素が振り分けられて現れるものである。
図24に示す閾値計算部731bは、このヒストグラム作成部731aが作成したG値ヒストグラムにおける2つのピークPk1,Pk2それぞれに基づいて、次の2つの閾値を計算する。図25のパート(c)に示すようにシャドウ側のピークPk1からは、このピークPk1において、頻度が所定頻度以上となるG値の上限である第1の閾値Sr1が計算される。また、ハイライト側のピークPk2からは、このピークPk2において、頻度が所定頻度以上となるG値の下限である第2の閾値Sr2が計算される。
そして、図24に示す被写体マスク設定部731cは、上記の補正済みの逆光撮影画像を構成する複数の画素のうち、G値が第1の閾値Sr1以下となる画素からなる領域を初期被写体マスクに設定し、背景マスク設定部731dは、G値が第2の閾値Sr2以上となる画素からなる領域を初期背景マスクに設定する。
図26は、図22に示す逆光撮影画像の拡大図において、初期被写体マスクに設定された領域と初期背景マスクに設定された領域を示す図である。
この図26における右側のハッチング部分は、図22の拡大図において被写体P’の頭髪が、背景が見えないほどに集まっていて、逆光撮影によってシャドウ側に大きく偏って写っている部分であり、その部分の画素のG値が上記の第1の閾値Sr1を下回っている。その結果、この図26における右側のハッチング部分は、被写体マスク設定部731cによって初期被写体マスクM1に設定される。
また、図26における左側のハッチング部分は、図22の拡大図において背景のELパネル130のみが写っている、ハイライト側に大きく偏った部分であり、その部分の画素のG値は上記の第2の閾値Sr2を上回っている。その結果、この図26における左側のハッチング部分は、背景マスク設定部731dによって初期背景マスクM2に設定される。
一方、図26において左右いずれのハッチング部分にも属していない部分は、頭髪越しに背景が見えている部分であり、その部分のG値は、上記の第1の閾値Sr1を上回り、上記の第2の閾値Sr2を下回る。その結果、この図26において左右いずれのハッチング部分にも属していない部分は、初期被写体マスクM1と初期背景マスクM2との間にあって、両方のマスクの外側となる境界領域M3として残される。
図27は、図26に示す初期被写体マスクと初期背景マスクとを示す図であり、図28は、初期被写体マスクと初期背景マスクとを、図19に示す補正済みの順光撮影画像全体に重ねて示した図である。
図27および図28に示すように、初期被写体マスクM1と初期背景マスクM2とはかなり接近しており、境界領域M3が非常に狭くなっている。ここで、上述したように、補正済みの逆光撮影画像では、画像中の被写体の位置や輪郭は、補正済みの順光撮影画像における被写体の位置や輪郭とほぼ同じになる。しかし、撮影のタイミングが若干ずれているため、2つの撮影画像の間で、被写体の位置や輪郭が若干ずれる可能性もある。そのような場合には、境界領域M3が狭いと、補正済みの順光撮影画像において、図21に示すような、被写体の一部を透かして背景が見えている部分が境界領域M3に完全には含まれず、2つのマスクのいずれか一方に含まれてしまう恐れが生じる。このような初期被写体マスクM1と、初期背景マスクM2とに基づいて、背景の置換が行なわれると、被写体の一部を透かして背景が見えている部分に、古い背景が残ってしまったり、あるいは、そのような部分が全て新しい背景に置換されて、被写体の一部が欠けてしまったりするという問題が発生してしまう恐れがある。
このような問題を回避するために、本実施形態では、図24に示す被写体マスク縮小部731eによって初期被写体マスクM1を境界領域M3から離れる方向に縮小し、背景マスク縮小部731fによって初期背景マスクM2を境界領域M3から離れる方向に縮小する。これにより、境界領域M3が広げられ、被写体の一部を透かして背景が見えている部分が境界領域M3に完全に含まれるようになる。
図29は、図27に示す初期被写体マスクと初期背景マスクとが、それぞれ境界領域から離れる方向に縮小される様子を示す図である。
この図29に示すように、初期被写体マスクM1の輪郭L1が所定数の画素分だけ、境界領域M3から離れる方向に移動されることによって初期被写体マスクM1が縮小され、同様に、初期背景マスクM2の輪郭L2が所定数の画素分だけ、境界領域M3から離れる方向に移動されることによって初期背景マスクM2が縮小される。ここで、本実施形態では、2つのマスクの輪郭の移動量として5画素が採用されている。このようなマスクの縮小を経て、最終的な被写体マスクM1’および背景マスクM2’が完成される。
図30は、最終的に完成された被写体マスクと背景マスクとを、図19に示す補正済みの順光撮影画像全体に重ねて示した図である。
最終的に完成された被写体マスクM1’と背景マスクM2’との間、即ち、最終的な境界領域M3’は、図28に示す境界領域M3に比べて10画素分広くなっており、図30に示すように、この最終的な境界領域M3’に、被写体の一部を透かして背景が見えている部分が十分に含まれることとなる。
以上で、図23の置換処理部730が備えるマスク作成部731についての説明を終了し、次に、この置換処理部730が備える色推定部732の詳細について説明する。
図31は、図23に1つのブロックで示す色推定部の詳細を示す図である。
この色推定部732は、背景色推定部732a、被写体色推定部732b、および合成比推定部732cを備えている。
まず、背景色推定部732aについて説明する。
図32は、図31に1つのブロックで示す背景色推定部の詳細を示す図である。
この背景色推定部732aは、補正済みの順光撮影画像における、上記の最終的な境界領域内の各画素について、その画素の色を構成している背景色を推定するものであり、探索範囲設定部732a_1、背景領域確認部732a_2、および背景色計算部732a_3を備えている。
この背景色推定部732aは、境界領域内のある画素について背景色を推定する際には、背景マスクで定義される領域内の画素の中から、ある程度その画素の近くに位置する複数の画素を探索し、探索された複数の画素の色の平均色を、その画素についての背景色として求める。
探索範囲設定部732a_1は、背景色を推定する画素を中心とした正方形状の探索範囲を次のように設定する。
図33は、ある画素について背景色を推定する際に、その画素を中心に探索範囲が設定される様子を示す図である。
境界領域内のある画素Gについて探索範囲を設定するに当たり、探索範囲設定部732a_1は、まず、この画素Gを中心とした正方形状の所定の初期範囲T1から出発して徐々に探索範囲を拡張する。そして、探索範囲設定部732a_1は、背景マスクM2’で定義される領域の画素が、所定数を超えて探索範囲に含まれるようになったところで拡張を止め、そのときの探索範囲T1’を、背景色推定のための探索範囲として設定する。
探索範囲が設定されると、図32に示す背景領域確認部732a_2が、画素Gについて背景色を推定するために用いる領域として、補正済みの順光撮影画像における次の領域を確認する。
図34は、ある画素について背景色を推定するために用いられる領域の一例を示す図である。
この図34に示すように、画素Gについて背景色を推定するために用いられる領域として、補正済みの順光撮影画像において、背景マスクで定義される領域であり、かつ探索範囲設定部732a_1によって設定された探索範囲T1’内となる領域B1が確認される。
このように、画素Gについて背景色を推定するために用いられる領域B1が確認されると、図32に示す背景色計算部732a_3が、この領域B1内の複数の画素の平均色、即ち、複数の画素のR値、G値、およびB値それぞれの平均値を計算する。そして、その計算結果が表わす色を、その画素Gについての背景色として採用する。
以上に説明した背景色推定部732aは、上記の探索範囲の設定から平均色の計算に至るまでの処理を、補正済みの順光撮影画像における境界領域内の全ての画素について実行する。
次に、図31に示す被写体色推定部732bについて説明する。
図35は、図31に1つのブロックで示す被写体色推定部の詳細を示す図である。
この被写体色推定部732bは、補正済みの順光撮影画像における、上記の最終的な境界領域内の各画素について、その画素の色を構成している被写体色を推定するものであり、探索範囲設定部732b_1、被写体領域確認部732b_2、画素色確認部732b_3、および被写体色探索部732b_4を備えている。
この被写体色推定部732bは、境界領域内のある画素について被写体色を推定する際には、被写体マスクで定義される領域内の画素の中から、ある程度その画素の近くに位置する複数の画素を探索し、探索された複数の画素の色の中から、後述の探索方法によって、その画素についての被写体色を探索する。
探索範囲設定部732b_1は、被写体色を推定する画素を中心とした正方形状の探索範囲を次のように設定する。
図36は、ある画素について被写体色を推定する際に、その画素を中心に探索範囲が設定される様子を示す図である。
境界領域内のある画素Gについて探索範囲を設定するに当たり、探索範囲設定部732b_1は、まず、この画素Gを中心とした正方形状の所定の初期範囲T2から出発して徐々に探索範囲を拡張する。そして、探索範囲設定部732b_1は、被写体マスクM1’で定義される領域の画素が、所定数を超えて探索範囲に含まれるようになったところで拡張を止め、そのときの探索範囲T2’を、被写体色推定のための探索範囲として設定する。
探索範囲が設定されると、図35に示す被写体領域確認部732b_2が、画素Gについて被写体色を推定するために用いる領域として、補正済みの順光撮影画像における次の領域を確認する。
図37は、ある画素について被写体色を推定するために用いられる領域の一例を示す図である。
この図37に示すように、画素Gについて被写体色を推定するために用いられる領域として、補正済みの順光撮影画像において、被写体マスクで定義される領域であり、かつ探索範囲設定部732b_1によって設定された探索範囲T2’内となる領域B2が確認される。
このように、画素Gについて被写体色を推定するために用いられる領域B2が確認されると、まず、図35に示す画素色確認部732b_3が、その画素Gの色を確認し、次に、図35に示す被写体色探索部732b_4が、上記の領域B2内の複数の画素の色の中から、以下のような探索方法によって、その画素Gについての被写体色を探索する。
図38は、補正済みの順光撮影画像における境界領域内のある画素について被写体色を探索する際の探索方法を示す図である。
図38には、補正済みの順光撮影画像における境界領域内のある画素について、図31の背景色推定部732aで推定された背景色C1と、図35の画素色確認部732b_3で確認されたその画素の色C2とを、RGB色空間上で結ぶ直線CL1が示されている。
上述したように、補正済みの順光撮影画像における境界領域内の画素の色は、撮影時に被写体の一部越しに背景が見えて、背景色と被写体色とが合成された合成色となっている可能性がある。仮に、今、被写体色を探索しようとしている画素の色がこのような合成色となっている場合には、合成色である画素の色C2と、その色C2の元となった背景色C1と被写体色とはRGB色空間上の直線上に並ぶ。
そこで、図35に示す被写体色探索部732b_4は、まず、上記の領域B2内の複数の画素の色の中から、上記の直線CL1の延長線上に並ぶ色C3を探索する。
このような色C3が複数存在する場合には、この直線CL1の延長線上で、画素の色C2に最も近い色が、背景色C1とともにその画素の色C2の元となった可能性が最も高い。そこで、被写体色探索部732b_4は、上記の直線CL1の延長線上に並ぶ色C3が複数存在する場合には、これらの色C3の中から、画素の色C2に最も近い色を、この画素についての被写体色C4として採用する。
以上に説明した被写体色推定部732bは、上記の探索範囲の設定から被写体色の探索に至るまでの処理を、補正済みの順光撮影画像における境界領域内の全ての画素について実行する。
以上で、図31に示す被写体色推定部732bについての説明を終了し、次に、この図31に示す合成比推定部732cについて説明する。尚、この合成比推定部732cについての説明では上記の図38を参照する。
この合成比推定部732cは、図38に示すように、背景色推定部732aで推定された背景色C1と、被写体色推定部732bで推定された被写体色C4とを、RGB色空間上で結ぶ線分の長さに対する、背景色C1と、その画素の色C2とを結ぶ線分の長さの割合を、背景色C1と被写体色C4とで画素の色C2を合成するときの合成比αとして算出する。また、この合成比推定部732cは、このような合成比αの算出を、補正済みの順光撮影画像における境界領域内の全ての画素について実行する。
以上で、図23の置換処理部730が備える色推定部732の詳細についての説明を終了し、次に、この置換処理部730が備える背景置換画像作成部733の詳細について説明する。
この背景置換画像作成部733は、上述したように、まず、上記の補正済みの順光撮影画像において、被写体マスクで定義される領域についてはそのまま残し、背景マスクで定義される領域を、顧客が所望する別の背景と置換する。
そして、この背景置換画像作成部733は、境界領域内の各画素については、顧客が所望する背景の色と、色推定部732で推定された被写体色とを、色推定部732で推定された合成比で合成して合成色を求める。
図39は、補正済みの順光撮影画像における境界領域内のある画素について合成色が求められる様子を示す図である。
この図39には、RGB色空間上で、推定された背景色C1と、その画素の色C2と、推定された被写体色C4とを結ぶ、図38にも示した直線CL1が示されている。ここで、画素の色C2は、背景色C1と被写体色C4とを結ぶ直線を、合成比α:(1−合成比α)で分割する点であるといえる。そこで、背景置換画像作成部733は、この図39に示すように、別の背景色C5と、推定された被写体色C4とを結ぶ直線CL2を、合成比α:(1−合成比α)で分割する点を合成色C6として採用する。
この図39を参照して説明した方法で、境界領域内の全ての画素について合成色が求められると、背景置換画像作成部733は、この全ての画素の色を、各画素について求められた合成色に置換することにより、補正済みの順光撮影画像の背景が、顧客が所望する別の背景に置換された背景置換画像を完成させる。
ここで、補正済みの順光撮影画像における境界領域内には、図30等からもわかるように、被写体の一部越しに背景が見えている部分以外にも、被写体のみで占められた部分や、背景のみで占められた部分も含まれる。被写体のみで占められた部分の画素の色は被写体そのものの色であり、背景が別の背景に置換されたとしても、その画素の色は維持される必要がある。また、背景のみで占められた部分の画素の色は背景そのものの色であり、背景が別の背景に置換されたときには、その画素の色は、その別の背景色に完全に置換される必要がある。
本実施形態では、背景色や被写体色や合成比の推定対象の画素が、被写体のみで占められた部分の画素であった場合には、図37に示す領域B2のような、その画素について被写体色を推定するために用いられる領域内のほとんどの画素の色が、推定対象の画素の色と同じ被写体そのものの色となる。その結果、このような画素については、合成比αがほぼ「1」となり、背景が置換される際には、この合成比αに基づいて合成色が求められるので、その画素の色である被写体そのものの色が維持される。
一方、背景色や被写体色や合成比の推定対象の画素が、背景のみで占められた部分の画素であった場合には、その画素の色が、その画素について推定される背景色と同じ背景そのものの色となる。その結果、このような画素については、合成比αがほぼ「0」となり、背景が置換される際には、この合成比αに基づいて、その画素の色は、別の背景色に完全に置換されることとなる。
結局、本実施形態では、背景色や被写体色や合成比の推定対象の画素が、被写体の一部越しに背景が見えている部分の画素であった場合に、合成比αが「0」と「1」との間の値を持つこととなり、背景が置換される際に、被写体色と、別の背景色との合成が行なわれて、自然な背景置換画像が作成される。
図40は、背景置換画像の一例を示す図である。
この図40には、図19に示す補正済みの順光撮影画像の背景を別の背景に置換して作成された背景置換画像における、図19中のエリアA1と同じ部分が拡大された拡大図が示されている。
背景置換画像作成部733で作成される背景置換画像は、境界領域内の画素の色が上記の合成色に置換された画像であり、この背景置換画像から、観賞者は、この図40に示すような、被写体P’の頭髪越しに、置換された別の背景TBが透けている状態を認識することとなる。つまり、この背景置換画像作成部733で作成される背景置換画像は、背景が別の背景に自然に置換された画像となる。
以上、図1〜図40を参照して説明したように、本実施形態の撮影システム1によれば、まず、画像中の背景と被写体とで明るさが大きく異なり、背景と被写体とを互いに誤認することなく区別できる補正済みの逆光撮影画像に基づいて、補正済みの順光撮影画像における背景と被写体とが区別される。このため、この補正済みの順光撮影画像の背景が別の背景に置換されるときに、被写体の一部が誤って背景に置換されてしまったり、背景置換画像の中に、古い背景が残ってしまったりする等といった不具合が抑制されて、背景が所望の背景に自然に置換された背景置換画像を作成することができる。
また、本実施形態の撮影システム1によれば、補正済みの順光撮影画像における、被写体領域と背景領域との境界領域が認識され、背景を置換する際には、この境界領域内の画素の色が、置換される別の背景色と被写体色とが適切に合成された合成色に置換される。これにより、例えば、被写体の一部越しに背景が見えている部分があったとしても、背景を置換すると、この被写体の一部越しに別の背景が見えているといった自然な背景置換画像を作成することができる。
尚、上記では、本発明にいう背景置換装置の一例として、補正済みの逆光撮影画像中で被写体が占めている範囲を定義する被写体マスクと、背景が占めている範囲を定義する背景マスクとの2つのマスクを作成し、これら2つのマスクを用いて、補正済みの順光撮影画像における背景の置換を行なう背景置換装置700を例示したが、本発明はこれに限るものではない。本発明の背景置換装置は、例えば、以下に説明するように、上記の背景マスクのみを作成し、この背景マスクのみを用いて、補正済みの順光撮影画像における背景の置換を行なうもの等であっても良い。
以下に、背景マスクのみを用いた背景置換の方法の一例について説明する。尚、ここでの背景マスクは、図23に示すマスク作成部731が行なう背景マスクの作成と同じ方法で作成されたものであるとして、背景マスクの作成については重複説明を省略する。
この背景マスクのみを用いた背景置換では、まず、この背景マスクに基づいて、補正済みの順光撮影画像において、背景マスクで定義される領域を除いた領域を定義する非背景マスクが作成される。この非背景マスクが定義する領域は、上記の被写体マスクが定義する領域と、境界領域とを合わせた領域になる。そして、この非背景マスクが定義する領域内の全ての画素について、背景色と、被写体色と、両者の合成比の推定が行なわれる。尚、ここでの背景色は、図31に示す背景色推定部732aが行なう推定方法と同じ方法によって推定されるものであるとして、背景色の推定については重複説明を省略する。以下では、主に、被写体色の推定方法に注目して説明する。
図41は、補正済みの順光撮影画像において、非背景マスクで定義される領域内のある画素について被写体色を推定する際に、その画素を中心に探索範囲が設定される様子を示す図である。ここで、この図41では、図29に示す被写体マスクM1’ が定義する領域と、境界領域M3とを合わせた領域が、上記の非背景マスクM4が定義する領域の一例として挙げられている。
非背景マスクM4が定義する領域内のある画素Gについて探索範囲を設定するに当たっては、まず、この画素Gを中心とした正方形状の所定の初期範囲T3から出発して徐々に探索範囲が拡張される。そして、補正済みの順光撮影画像において非背景マスクM4で定義される領域の画素が、所定数を超えて探索範囲に含まれるようになったところで拡張が止められ、そのときの探索範囲T3’が、被写体色推定のための探索範囲として設定される。
探索範囲が設定されると、画素Gについて被写体色を推定するために用いる領域として、補正済みの順光撮影画像における次の領域が確認される。
図42は、ある画素について被写体色を推定するために用いられる領域の一例を示す図である。
この図42に示すように、画素Gについて被写体色を推定するために用いられる領域として、補正済みの順光撮影画像において、非背景マスクで定義される領域であり、かつ上記のように設定された探索範囲T3’内となる領域B3が確認される。
このように、画素Gについて被写体色を推定するために用いられる領域B3が確認されると、まず、その画素Gの色が確認され、次に、上記の領域B3内の複数の画素の色の中から、以下のような探索方法によって、その画素Gについての被写体色が探索される。
図43は、補正済みの順光撮影画像における、非背景マスクで定義される領域内のある画素について被写体色を探索する際の探索方法を示す図である。
図43には、補正済みの順光撮影画像における境界領域内のある画素について、推定された背景色C7と、その画素の色C8とを、RGB色空間上で結ぶ直線CL3が示されている。
ここで、補正済みの順光撮影画像における非背景マスクで定義される領域には、上述したような境界領域が含まれている。そして、この境界領域には被写体の一部越しに背景が見えている部分が含まれている可能性があり、そのような部分の画素の色は、背景色と被写体色とを合成した合成色となっている。仮に、今、被写体色を探索しようとしている画素の色がこのような合成色となっている場合には、合成色である画素の色C8と、その色C8の元となった背景色C7と被写体色とはRGB色空間上の直線上に並ぶ。
そこで、まず、上記の領域B3内の複数の画素の色の中から、上記の直線CL3の延長線上に並ぶ色C9を探索する。このような色C9が複数存在する場合、これら複数の色C9のうちの1つの色が被写体色として採用される。
ここで、非背景マスクで定義される領域内には、上記の合成色を有する画素や、背景色のみを有する画素等といった、被写体色以外の色を有する画素が含まれる。このため、上記の複数の色C9のうちでは、画素の色C8から最も遠い色が、背景色C7とともにその画素の色C8の元となった被写体色である可能性が高い。
そこで、この非背景マスクで定義される領域内の画素の色の中から被写体色を探索する方法では、上記の直線CL3の延長線上に複数の色C9が並んだ場合には、これらの色C9の中から、画素の色C7に最も遠い色を、この画素についての被写体色C10として採用する。
このように被写体色が推定されると、この図43に示すように、背景色推定部732aで推定された背景色C7と、被写体色推定部732bで推定された被写体色C10とを、RGB色空間上で結ぶ線分の長さに対する、背景色C7と、その画素の色C8とを結ぶ線分の長さの割合を、背景色C7と被写体色C10とで画素の色C8を合成するときの合成比αとして算出する。
そして、背景マスクのみを用いた背景置換では、以上に説明した探索範囲の設定から合成比の算出に至るまでの処理が、補正済みの順光撮影画像における、非背景マスクで定義される領域内の全ての画素について実行される。
以上説明した、背景色と被写体色と合成比との推定が終了すると、まず、補正済みの順光撮影画像における、背景マスクで定義される領域が、顧客が所望する別の背景に置換される。次に、補正済みの順光撮影画像における、非背景マスクで定義される領域内の全ての画素について、上記の図39を参照して説明した方法で合成色が求められ、この非背景マスクで定義される領域内の全ての画素の色が合成色に置換されて、背景置換画像が完成される。
ここで、この非背景マスクで定義される領域内の、被写体のみで占められた部分の画素については、合成比αがほぼ「1」となり、背景が置換される際にも、その画素における被写体そのものの色が維持される。また、非背景マスクで定義される領域内の、背景のみで占められた部分の画素については、合成比αがほぼ「0」となり、背景が置換される際には、その画素の色が、別の背景色に完全に置換される。
以上、図41〜図43を参照して説明した、背景マスクのみを用いた背景置換によっても、上記の図1〜図40を参照して説明した、撮影システム1と同様に、撮影画像における背景が所望の背景に自然に置換された背景置換画像を作成することができる。
次に、本発明の第2実施形態について説明する。
この第2実施形態は、上記の第1実施形態とは、撮影システムのうちの撮影スタジオの構成と、その撮影スタジオにおいて行なわれる撮影処理が異なっている。以下では、第2実施形態における、第1実施形態との相違点に注目して説明し、その他の、第1実施形態と同等な点については重複説明を省略する。
図44は、本発明の撮影システムの第2実施形態を示す図である。
尚、この図44では、図1と同等な構成要素については、図1と同じ符号が付され、この図44を参照した以下の説明では、これらの構成要素についての重複説明を省略する。
この図44に示す撮影システム2の撮影スタジオ50では、ELパネル130用の電源15がデジタルカメラ16に接続されている。
デジタルカメラ16は、上述した第1実施形態と同様に、撮影者によって1回シャッタボタンが押下されると2回の撮影を連続して実行する。このとき、デジタルカメラ16は、撮影の度に、まず、電源15に向けて、その電源15に対してELパネル130を点灯させるように指示するパネル点灯指示信号を発信し、続いて、閃光発光装置12に向けて、その閃光発光装置12に対して閃光を発するように指示する閃光指示信号を発信する。
閃光発光装置12は、1回目の閃光指示信号に応じて閃光を発するが、2回目の閃光指示信号には応じきれず消灯したままとなる。
ここで、電源15は、上記のパネル点灯指示信号が2回連続して入力されるとELパネル130を点灯させるように構成されている。
次に、このような撮影システム2で実行される作業の流れについて説明する。尚、以下の説明では、図44に示す要素については特に図番を断らずに図44中の符号を使って参照する。
図45は、図44の撮影システムで実行される作業の流れを示すフローチャートである。
尚、この図45では、図3のフローチャートと同等な作業については、図3と同じ符号が付され、この図45を参照した以下の説明では、これらの作業についての重複説明を省略する。
この図45のフローチャートが示す作業は、撮影スタジオ50において、被写体P、デジタルカメラ16、および閃光発光装置12がそれぞれ適当な位置に配置されており、また、ELパネル130が消灯していることを前提として行なわれる。
撮影者が、ピントや露光の調節等を行なった後にデジタルカメラ16のシャッタボタンを押すと、被写体Pに対する撮影が2回連続して行なわれる。まず1回目の撮影では、デジタルカメラ16から発信される閃光指示信号に応じて閃光発光装置12が閃光を発し、この閃光による順光状態で被写体Pが撮影される(ステップS201)。2回目の撮影の時には、まず、2回目のパネル点灯指示信号に応じて電源15がELパネル130を点灯させる(ステップS202)。そして、閃光発光装置12が消灯しており、ELパネル130を点灯している状態、即ち、ELパネル130のみの照明による逆光状態で撮影が行なわれる(ステップS203)。
本実施形態において、このような撮影を行なう撮影スタジオ50が、被写体を閃光発光装置12およびELパネル130のそれぞれで順次に照らして複数(本実施形態では2つ)の撮影条件を作成する、本発明にいう撮影条件作成部の一例に相当する。
上記のステップS203の処理によって、2回目の撮影が終了すると、デジタルカメラ16内のメモリに一時的に保管された2つの撮影画像が直ちにパーソナルコンピュータ20に渡される。そして、その後、これらの2つの撮影画像に基づいて、第1実施形態と同様の背景置換処理によって背景置換画像が作成され、表示画面220aに表示される。また、この背景置換画像を表わす画像データに基づく、プリンタ30でのプリント、および、顧客が希望する出力用記憶媒体への、その画像データの書込みのうちの少なくとも一方が実行される。
以上、図44および図45を参照して説明した、本発明の第2実施形態の撮影システム2でも、第1実施形態の撮影システム1と同様に、撮影画像における背景が所望の背景に自然に置換された背景置換画像を作成することができる。
次に、本発明の第3実施形態について説明する。
この第3実施形態は、撮影スタジオの構成と、その撮影スタジオにおいて行なわれる撮影処理と、背景置換装置として動作しているパーソナルコンピュータで実行される処理が、上記の第1実施形態とは部分的に異なる。以下では、第1実施形態との相違点に注目して説明し、同等な点については重複説明を省略する。
図46は、本発明の撮影システムの第3実施形態を示す図である。
尚、この図46では、図1に示す第1実施形態と同等な構成要素については、図1と同じ符号が付され、この図46を参照した以下の説明では、これらの構成要素についての重複説明を省略する。
ここで、この図46の撮影システム3には、図1に示す第1実施形態とは異なり、デジタルカメラおよびELパネル用の電源として、図44に示す第2実施形態における、点灯指示信号を発信するデジタルカメラ16や点灯指示信号に応じて動作する電源15と同等なデジタルカメラおよび電源が備えられている。図46では、これらのデジタルカメラおよび電源については、図44と同じ符号を付し重複説明を省略する。
以下、第1実施形態および第2実施形態の双方と本実施形態との相違点である、この図46に示す撮影システム3の撮影スタジオ55が備えている、閃光発光装置17およびELパネル180に注目して説明する。
撮影スタジオ55が備えている閃光発光装置17では、極めて短時間で充電が完了する。このため、この閃光発光装置17は、デジタルカメラ16によって上記のような連写が行なわれる際には、撮影の度に発信される閃光指示信号全てに応じて閃光を発することとなる。
また、撮影スタジオ55が備えているELパネル180では、筐体131内に収納された分散型EL素子181は、赤色の蛍光体粉末によって発光色が調整されている。このため、ELパネル180の色は、消灯時には薄い赤色となり、発光時には、分散型EL素子の発光色である青緑色が調整された青色となる。このELパネル180が、本発明にいう「色が変わる機能を持った背景パネル」の一例に相当する。
このような撮影システム3で実行される作業の流れについて説明する。尚、以下の説明では、図46に示す要素については特に図番を断らずに図46中の符号を使って参照する。
図47は、図46の撮影システムで実行される作業の流れを示すフローチャートである。
尚、この図47では、図3のフローチャートと同等な作業については、図3と同じ符号が付され、この図47を参照した以下の説明では、これらの作業についての重複説明を省略する。
この図47のフローチャートが示す作業は、撮影スタジオ50において、被写体P、デジタルカメラ16、および閃光発光装置17がそれぞれ適当な位置に配置されており、また、ELパネル130が消灯していることを前提として行なわれる。
撮影者が、ピントや露光の調節等を行なった後にデジタルカメラ16のシャッタボタンを押すと、被写体Pに対する撮影が2回連続して行なわれる。1回目の撮影では、デジタルカメラ16から発信される閃光指示信号に応じて閃光発光装置17が閃光を発し、この閃光による順光状態で被写体Pが撮影される(ステップS301)。また、この1回目の撮影(ステップS301)では、ELパネル180が消灯しているため、被写体Pの背景が薄い赤色に写る。2回目の撮影の時には、まず、2回目のパネル点灯指示信号に応じて電源15がELパネル180を点灯させる(ステップS302)。そして、本実施形態では、2回目の撮影の時にも閃光発光装置17が閃光を発し、この2回目の撮影が、その閃光とELパネル180からの光の下で行なわれる(ステップS303)。閃光発光装置17が発する閃光は、ELパネル180の光よりも高輝度であり、この2回目の撮影も、その高輝度の閃光で、デジタルカメラ16側から被写体Pが照らされるという順光状態での撮影となる。ただし、このときにはELパネル180が発光しているため、被写体Pの背景が、青緑色が調整された青色に写る。つまり、この図47におけるステップS301〜ステップS303の処理によって、背景の色が互いに異なる2つの撮影画像が得られる。
本実施形態では、上記のような撮影を行なう撮影スタジオ55が、このELパネル180の色を変更して複数(本実施形態では2つ)の撮影条件を作成する、本発明にいう撮影条件作成部の一例に相当する。
背景の色が互いに異なる2つの撮影画像が得られると、これら2つの撮影画像が、パーソナルコンピュータ20に渡され(ステップS104)、各撮影画像に、次のような画像補正処理が施される(ステップS304)。
このステップS304で行なわれる画像補正処理は、上記の第1実施形態において、撮影画像に施される画像補正処理と同じであり、台形歪みの補正と、撮影画像からの不要部分の除去による有効画像の作成と、赤目補正や、画像全体の色合いを好ましい色合いに補正する等といった色補正処理である。ただし、上記の第1実施形態では、補正対象の2つの撮影画像のうちの1つが被写体の領域がシャドウ側に偏った逆光撮影画像であるため、この逆光撮影画像については上記の色補正処理が除外される。これに対し、この第3実施形態において、画像補正処理の対象となる2つの撮影画像は、2つとも順光撮影画像であるため、このステップS304の処理では、これら2つの撮影画像に対して、この色補正処理も含んだ、全く同じ内容の画像補正処理が施される。
次に、ステップS304の処理による補正済みの2つの撮影画像に基づいて、背景置換画像が作成され(ステップS305)、作成された背景置換画像の出力が行なわれる。
以下では、このステップS305で行なわれる、即ち、本実施形態における背景置換画像の作成処理について説明する。
まず、上記の補正済みの2つの撮影画像の例を以下に示す。
図48は、1回目の撮影に基づく、補正済みの撮影画像の一例を示す図であり、図49は、2回目の撮影に基づく、補正済み撮影画像の一例を示す図である。
これら図48および図49に示すように、2つの撮影画像は、背景に写っているELパネル180の色以外は、ほぼ同じ画像である。即ち、前者の補正済み撮影画像(以降、第1撮影画像と呼ぶ)では、ELパネル180が消灯しているため、背景の色が薄い赤色であり、後者の補正済み撮影画像(第2撮影画像と呼ぶ)では、ELパネル180が点灯しているため、背景の色は青緑色が調整された青色である。
ここで、本実施形態における背景置換画像の作成処理では、まず、第1撮影画像を構成する各画素の、第2撮影画像において対応する位置の画素に対する色の変化量についてのヒストグラムが作成される。
図50は、本発明の第3実施形態における背景置換画像の作成処理で作成されるヒストグラムの一例を示す図である。
本実施形態では、上記の色の変化量として、第1撮影画像を構成する各画素の、第2撮影画像において対応する位置の画素に対する色相の変化量が採用されている。図50には、第1撮影画像を構成する各画素における上記の色相の変化量を、多数の範囲に振り分け、各範囲についてどれだけの画素が振り分けられたかを頻度で示した色相変化のヒストグラムH5が示されており、この色相変化のヒストグラムH5では、横軸H5_1に色相の変化量がとられ、縦軸H5_2に頻度がとられている。
本実施形態における背景置換画像の作成処理では、この色相変化のヒストグラムH5における2つのピークPk3,Pk4それぞれに基づいて、次の2つの閾値が計算される。図50に示すように色相の変化量が少ない図中左側のピークPk3からは、このピークPk3において、頻度が所定頻度以上となる色相の変化量の上限である第1の閾値Sr3が計算される。また、色相の変化量が多い図中右側のピークPk4からは、このピークPk4において、頻度が所定頻度以上となる色相の変化量の下限である第2の閾値Sr4が計算される。
そして、この背景置換画像の作成処理では、上記の第1撮影画像中の、色相の変化量が第1の閾値Sr3以下となる画素の領域を定義する初期被写体マスクが設定され、色相の変化量が第2の閾値Sr4以上となる画素の領域を定義する初期背景マスクが設定される。
本実施形態では、このように2つの初期マスクが設定されると、その後、これら2つの初期マスクを用いて背景置換画像が作成されるが、これら2つの初期マスクを用いた、この後の処理は、上述した第1実施形態における2つの初期マスクを用いた処理と同様な処理となるので重複説明を省略する。
このように作成された背景置換画像は、表示画面220aに表示され、また、この背景置換画像を表わす画像データに基づく、プリンタ30でのプリント、および、顧客が希望する出力用記憶媒体への、その画像データの書込みのうちの少なくとも一方が実行される。
以上、図46〜図50を参照して説明した、本発明の第3実施形態の撮影システム3でも、第1実施形態の撮影システム1と同様に、撮影画像における背景が所望の背景に自然に置換された背景置換画像を作成することができる。
尚、上記に説明した本発明の第3実施形態の撮影システム3では、図47のフローチャートに示したように、2回の撮影が、いずれの回も閃光発光装置17による閃光下で実行される。しかし、例えば乳幼児やペット等といった、瞬間的な閃光に驚いてしまうような被写体を撮影するに当たっては、このような閃光は無い方が好ましい。
上記の第3実施形態の撮影システム3では、閃光発光装置17の電源を落とす、あるいはデジタルカメラ11と閃光発光装置17とを繋ぐケーブルを外す等といった方法で撮影時の閃光を無くし、その閃光に替えて、例えば高輝度の照明光や日光等といった定常的な光で被写体を照らす等といった簡単な工夫により、上記のような閃光が無い方が好ましい被写体に対処することができる。このような方法によれば、閃光が無い状態でも図47のフローチャートでの撮影で得られるのと同様な、背景色が互いに異なる2枚の撮影画像が得られるので、後は、図48〜図50を参照して説明した方法により、被写体領域と背景領域と境界領域とを区別して、背景が所望の背景に自然に置換された背景置換画像を作成することができる。
次に、本発明の第4実施形態について説明する。
この第4実施形態は、撮影スタジオの構成と、その撮影スタジオにおいて行なわれる撮影処理と、背景置換装置として動作しているパーソナルコンピュータで実行される処理が、上記の第1実施形態とは部分的に異なる。以下では、第1実施形態との相違点に注目して説明し、同等な点については重複説明を省略する。
図51は、本発明の撮影システムの第4実施形態を示す図である。
尚、この図51では、図1に示す第1実施形態と同等な構成要素については、図1と同じ符号が付され、この図51を参照した以下の説明では、これらの構成要素についての重複説明を省略する。
ここで、この図51の撮影システム4には、図1に示す第1実施形態とは異なり、閃光発光装置として、図46に示す第3実施形態における閃光発光装置17と同等な、充電時間の短い閃光発光装置が備えられている。図51では、この閃光発光装置については、図46と同じ符号を付し重複説明を省略する。
以下、第1実施形態および第3実施形態の双方と本実施形態との相違点である、この図51に示す撮影システム4の撮影スタジオ60が備えている、照明パネル190、その照明パネル190用の電源81、およびデジタルカメラ82に注目して説明する。
この図51に示す撮影システム4の撮影スタジオ60は、被写体Pを背後から照らす、本発明にいう照明装置の一例として、後述の照明パネル190を備えている。さらに、撮影スタジオ60は、その照明パネル190用の電源81と、シャッタボタンの1回の押下について2回撮影を行なうとともに、撮影の度に、閃光発光装置17に向かって上記の閃光指示信号を発信し、電源81に向かって、照明パネル190を点灯するように指示する点灯指示信号を発信するデジタルカメラ82を備えている。ここで、電源81は、点灯指示信号が2回連続して入力されると照明パネル190を点灯させるように構成されている。
図52は、図51に示す照明パネルの内部構造を示す図である。
この照明パネル190は、被写体Pが載る載置面191aと被写体Pの背後の面191bとを有する筐体191、および、その筐体191内に並べられて収納された複数の蛍光灯192からなる。ここで、筐体191の2つの面191a,191bは、蛍光灯192の光を拡散させて、被写体Pを一様に照らす拡散板の役割を担っている。また、被写体Pの背後の面191bの四隅には4つのマーカ191cが配置されている。これら4つのマーカ191cが果たす役割は、上述した第1実施形態におけるマーカ131cが果たす役割と同じであるので重複説明を省略する。
以上、図51および図52を参照して説明した、撮影システム4で実行される作業の流れについて説明する。尚、以下の説明では、図51および図52に示す要素については特に図番を断らずに各図中の符号を使って参照する。
図53は、図51の撮影システムで実行される作業の流れを示すフローチャートである。
尚、この図53では、図3のフローチャートと同等な作業については、図3と同じ符号が付され、この図53を参照した以下の説明では、これらの作業についての重複説明を省略する。
この図53のフローチャートが示す作業は、撮影スタジオ60において、被写体P、デジタルカメラ82、および閃光発光装置17がそれぞれ適当な位置に配置されており、また、照明パネル190が消灯していることを前提として行なわれる。
撮影者が、ピントや露光の調節等を行なった後にデジタルカメラ82のシャッタボタンを押すと、被写体Pに対する撮影が2回連続して行なわれる。1回目の撮影では、デジタルカメラ82から発信される閃光指示信号に応じて閃光発光装置17が閃光を発し、この閃光による順光状態で被写体Pが撮影される(ステップS401)。また、この1回目の撮影(ステップS401)では、照明パネル190が消灯しているため、被写体Pの背景が暗く写る。2回目の撮影の時には、まず、2回目の点灯指示信号に応じて電源15が照明パネル190を点灯させる(ステップS402)。そして、本実施形態では、2回目の撮影の時にも閃光発光装置17が閃光を発し、この2回目の撮影が、その閃光と照明パネル190からの光の下で行なわれる(ステップS403)。この2回目の撮影も、デジタルカメラ82側から高輝度の閃光で被写体Pが照らされるので、順光状態での撮影となる。ただし、このときには照明パネル190が発光しているため、被写体Pの背景が明るく写る。つまり、この図53におけるステップS401〜ステップS403の処理によって、背景の明るさが互いに異なる2つの撮影画像が得られる。
本実施形態において、このような撮影を行なう撮影スタジオ60が、照明パネル190で被写体を照らす光の明るさを変更して複数(本実施形態では2つ)の撮影条件を作成する、本発明にいう撮影条件作成部の一例に相当する。
背景の明るさが互いに異なる2つの撮影画像が得られると、これら2つの撮影画像が、パーソナルコンピュータ20に渡され(ステップS104)、これら2つの撮影画像に対して、上記の第3実施形態と同様に、上記の色補正処理も含んだ、全く同じ内容の画像補正処理が施される(ステップS404)。
次に、ステップS404の処理による補正済みの2つの撮影画像に基づいて、背景置換画像が作成され(ステップS405)、作成された背景置換画像の出力が行なわれる。
以下では、このステップS405で行なわれる、即ち、本実施形態における背景置換画像の作成処理について説明する。
まず、上記の補正済みの2つの撮影画像の例を以下に示す。
図54は、1回目の撮影に基づく、補正済みの撮影画像の一例を示す図であり、図55は、2回目の撮影に基づく、補正済み撮影画像の一例を示す図である。
これら図54および図55に示すように、2つの撮影画像は、背景に写っている照明パネル190の明るさ以外は、ほぼ同じ画像である。即ち、前者の補正済み撮影画像(以降、第1撮影画像と呼ぶ)では、照明パネル190が消灯しているため、背景が暗く、後者の補正済み撮影画像(第2撮影画像と呼ぶ)では、照明パネル190が点灯しているため、背景が明るくなっている。
ここで、本実施形態における背景置換画像の作成処理では、まず、第1撮影画像を構成する各画素の、第2撮影画像において対応する位置の画素に対する明るさの変化量についてのヒストグラムが作成される。
図56は、本発明の第4実施形態における背景置換画像の作成処理で作成されるヒストグラムの一例を示す図である。
本実施形態では、上記の明るさの変化量として、第1撮影画像を構成する各画素の、第2撮影画像において対応する位置の画素に対する輝度の変化量が採用されている。図56には、第1撮影画像を構成する各画素における上記の輝度の変化量を、多数の範囲に振り分け、各範囲についてどれだけの画素が振り分けられたかを頻度で示した輝度変化のヒストグラムH6が示されており、この輝度変化のヒストグラムH6では、横軸H6_1に輝度の変化量がとられ、縦軸H6_2に頻度がとられている。
本実施形態における背景置換画像の作成処理では、この輝度変化のヒストグラムH6における2つのピークPk5,Pk6それぞれに基づいて、次の2つの閾値が計算される。図56に示すように輝度の変化量が少ない図中左側のピークPk5からは、このピークPk5において、頻度が所定頻度以上となる輝度の変化量の上限である第1の閾値Sr5が計算される。また、輝度の変化量が多い図中右側のピークPk6からは、このピークPk6において、頻度が所定頻度以上となる輝度の変化量の下限である第2の閾値Sr6が計算される。
そして、この背景置換画像の作成処理では、上記の第1撮影画像中の、輝度の変化量が第1の閾値Sr5以下となる画素の領域を定義する初期被写体マスクが設定され、輝度の変化量が第2の閾値Sr6以上となる画素の領域を定義する初期背景マスクが設定される。
本実施形態では、このように2つの初期マスクが設定されると、その後、これら2つの初期マスクを用いて背景置換画像が作成されるが、これら2つの初期マスクを用いた、この後の処理は、上述した第1実施形態における2つの初期マスクを用いた処理と同様な処理となるので重複説明を省略する。
このように作成された背景置換画像は、表示画面220aに表示され、また、この背景置換画像を表わす画像データに基づく、プリンタ30でのプリント、および、顧客が希望する出力用記憶媒体への、その画像データの書込みのうちの少なくとも一方が実行される。
以上、図51〜図56を参照して説明した、本発明の第4実施形態の撮影システム4でも、第1実施形態の撮影システム1と同様に、撮影画像における背景が所望の背景に自然に置換された背景置換画像を作成することができる。
次に、本発明の第5実施形態について説明する。
この第5実施形態は、撮影スタジオの構成と、背景置換装置として動作しているパーソナルコンピュータで実行される処理が、上記の第1実施形態とは部分的に異なる。以下では、第1実施形態との相違点に注目して説明し、同等な点については重複説明を省略する。
図57は、本発明の撮影システムの第5実施形態を示す図である。
尚、この図57では、図1に示す第1実施形態と同等な構成要素については、図1と同じ符号が付され、この図57を参照した以下の説明では、これらの構成要素についての重複説明を省略する。
ここで、この図57の撮影システム5には、図1に示す第1実施形態とは異なり、図51に示す第4実施形態における照明パネル190と同等な照明パネルが備えられている。図57では、この照明パネルについては、図51と同じ符号を付し重複説明を省略する。
この図57に示す撮影システム5の撮影スタジオ65は、図1に示す第1実施形態と同等な閃光発光装置12を備えている。この閃光発光装置12は、上述したように、充電に時間がかかるため、デジタルカメラ11が上記のような連写を行なう際には、1回目の撮影のときにのみ閃光を発し、2回目の撮影のときには消灯したままとなる。
また、この撮影スタジオ65が備えている、照明パネル190用の電源83は、人手によって操作されるものである。
このような撮影システム5で実行される作業の流れについて説明する。尚、以下の説明では、図57に示す要素については特に図番を断らずに図57中の符号を使って参照する。
図58は、図57の撮影システムで実行される作業の流れを示すフローチャートである。
尚、この図58では、図3のフローチャートと同等な作業については、図3と同じ符号が付され、この図58を参照した以下の説明では、これらの作業についての重複説明を省略する。
この図58のフローチャートが示す作業は、撮影スタジオ65において、被写体P、デジタルカメラ11、および閃光発光装置12がそれぞれ適当な位置に配置されていることを前提として行なわれる。
まず、電源83が操作されて、その電源83から照明パネル190に電圧が印加され、照明パネル190が点灯する(ステップS501)。その後、撮影スタジオ65では、閃光発光装置12が発する、照明パネル190の照明よりも高輝度の閃光による順光状態での撮影(ステップS502)と、照明パネル190のみの照明による逆光状態での撮影(ステップS503)とが連続して行なわれる。
本実施形態において、このような撮影を行なう撮影スタジオ65が、照明パネル190による照明の定常的な存在と、閃光発光装置12の閃光による照明の有無とによって複数(本実施形態では2つ)の撮影条件を作成する、本発明にいう撮影条件作成部の一例に相当する。
ここで、照明パネル190の発光時の輝度は、閃光発光装置12からの閃光の影響を打ち消す程度に強い。この結果、上記の順光状態での撮影(ステップS502)と逆光状態での撮影(ステップS503)とで、背景の明るさは互いにほぼ同等で、被写体の明るさが互いに異なる2つの撮影画像が得られる。
ステップS501〜ステップS503の処理によって、順光撮影画像と逆光撮影画像という2つの撮影画像が得られると、これら2つの撮影画像が、パーソナルコンピュータ20に渡される(ステップS104)。そして、上記の第1実施形態と同様に、順光撮影画像に対しては、台形歪みの補正と、撮影画像からの不要部分の除去による有効画像の作成と、赤目補正や、画像全体の色合いを好ましい色合いに補正する等といった色補正処理が施され、逆光撮影画像に対しては、色補正処理を除いて、順光撮影画像に対して施される画像補正処理と全く同じ画像補正処理が施される(ステップS105)。
次に、ステップS105の処理による補正済みの2つの撮影画像に基づいて、背景置換画像が作成され(ステップS504)、作成された背景置換画像の出力が行なわれる。
以下では、このステップS504で行なわれる、即ち、本実施形態における背景置換画像の作成処理について説明する。
まず、上記の補正済みの2つの撮影画像の例を以下に示す。
図59は、1回目の撮影に基づく、補正済みの撮影画像の一例を示す図であり、図60は、2回目の撮影に基づく、補正済み撮影画像の一例を示す図である。
これら図59および図60に示すように、2つの撮影画像は、被写体Pの明るさ以外は、ほぼ同じ画像である。即ち、前者の補正済み撮影画像(以降、第1撮影画像と呼ぶ)は、順光状態で得られた撮影画像であるため、画像中の被写体が明るく、後者の補正済み撮影画像(第2撮影画像と呼ぶ)は、逆光状態で得られた撮影画像であるため、画像中の被写体が暗くなっている。
ここで、本実施形態における背景置換画像の作成処理では、まず、第1撮影画像を構成する各画素の、第2撮影画像において対応する位置の画素に対する明るさの変化量についてのヒストグラムが作成される。
図61は、本発明の第5実施形態における背景置換画像の作成処理で作成されるヒストグラムの一例を示す図である。
本実施形態では、上記の明るさの変化量として、第1撮影画像を構成する各画素の、第2撮影画像において対応する位置の画素に対する輝度の変化量が採用されている。図61には、第1撮影画像を構成する各画素における上記の輝度の変化量を、多数の範囲に振り分け、各範囲についてどれだけの画素が振り分けられたかを頻度で示した輝度変化のヒストグラムH7が示されており、この輝度変化のヒストグラムH7では、横軸H7_1に輝度の変化量がとられ、縦軸H7_2に頻度がとられている。
本実施形態における背景置換画像の作成処理では、この輝度変化のヒストグラムH7における2つのピークPk7,Pk8それぞれに基づいて、次の2つの閾値が計算される。図61に示すように輝度の変化量が少ない図中左側のピークPk7からは、このピークPk7において、頻度が所定頻度以上となる輝度の変化量の上限である第1の閾値Sr7が計算される。また、輝度の変化量が多い図中右側のピークPk8からは、このピークPk8において、頻度が所定頻度以上となる輝度の変化量の下限である第2の閾値Sr8が計算される。
そして、この背景置換画像の作成処理では、上記の第1撮影画像中の、輝度の変化量が第1の閾値Sr7以下となる画素の領域を定義する初期背景マスクが設定され、輝度の変化量が第2の閾値Sr8以上となる画素の領域を定義する初期被写体マスクが設定される。
本実施形態では、このように2つの初期マスクが設定されると、その後、これら2つの初期マスクを用いて背景置換画像が作成されるが、これら2つの初期マスクを用いた、この後の処理は、上述した第1実施形態における2つの初期マスクを用いた処理と同様な処理となるので重複説明を省略する。
このように作成された背景置換画像は、表示画面220aに表示され、また、この背景置換画像を表わす画像データに基づく、プリンタ30でのプリント、および、顧客が希望する出力用記憶媒体への、その画像データの書込みのうちの少なくとも一方が実行される。
以上、図57〜図61を参照して説明した、本発明の第5実施形態の撮影システム5でも、第1実施形態の撮影システム1と同様に、撮影画像における背景が所望の背景に自然に置換された背景置換画像を作成することができる。
次に、本発明の第6実施形態について説明する。
この第6実施形態は、撮影スタジオの構成と、その撮影スタジオにおいて行なわれる撮影処理と、背景置換装置として動作しているパーソナルコンピュータで実行される処理が、上記の第1実施形態とは部分的に異なる。以下では、第1実施形態との相違点に注目して説明し、同等な点については重複説明を省略する。
図62は、本発明の撮影システムの第6実施形態を示す図である。
尚、この図62では、図1に示す第1実施形態と同等な構成要素については、図1と同じ符号が付され、この図62を参照した以下の説明では、これらの構成要素についての重複説明を省略する。
以下、第1実施形態と本実施形態との相違点である、この図62に示す撮影システム6の撮影スタジオ90が備えている閃光発光装置84、デジタルカメラ85、および背景パネル86に注目して説明する。
この撮影スタジオ90は、閃光の偏光状態を変える偏光板84aを有する、充電時間の短い閃光発光装置84を備えている。この閃光発光装置84の偏光板84aは、基本的には、閃光を、第1の向きの直線偏光に変える。ただし、後述の偏光切換信号を受信すると、閃光を、第1の向きに直交した第2の向きの直線偏光に変える。
この撮影スタジオ90が備えているデジタルカメラ85は、上述した第1実施形態と同様に、撮影者によって1回シャッタボタンが押下されると2回の撮影を連続して実行する。このとき、デジタルカメラ85は、撮影の度に、閃光発光装置84の本体84bに向けて、その本体84bに対して閃光を発するように指示する閃光指示信号を発信する。ただし、2回目に閃光指示信号を発信するときには、まず、閃光発光装置84の偏光板84aに向けて、その偏光板84aに対して閃光の偏光状態を変えるように指示する偏光切換信号を発信した後に、閃光指示信号を発信する。これにより、閃光発光装置84は、1回目の撮影時には、第1の向きに偏光した閃光を発し、2回目の撮影時には、第2の向きに偏光した閃光を発することとなる。
また、この撮影スタジオ90は、被写体Pが載る載置面86aと、被写体Pの背後の面86bとのそれぞれにおいて、偏光状態の違いによって反射光の明るさが異なる背景パネル86を備えている。この背景パネル86の2つの面86a,86bは、ともに、第1の向きに偏光した光を弱く反射し、第2の向きに偏光した光を強く反射する。また、被写体Pの背後の面86bの四隅には4つのマーカ86cが配置されている。これら4つのマーカ86cが果たす役割は、上述した第1実施形態におけるマーカ131cが果たす役割と同じであるので重複説明を省略する。
ここで、本実施形態における閃光発光装置84が、本発明にいう「閃光の偏光状態を変える機能を持った閃光発光装置」の一例に相当し、背景パネル86が、本発明にいう「偏光状態の違いによって反射光の明るさが異なる背景パネル」の一例に相当する。
このような撮影システム6で実行される作業の流れについて説明する。尚、以下の説明では、図62に示す要素については特に図番を断らずに図62中の符号を使って参照する。
図63は、図62の撮影システムで実行される作業の流れを示すフローチャートである。
尚、この図63では、図3のフローチャートと同等な作業については、図3と同じ符号が付され、この図63を参照した以下の説明では、これらの作業についての重複説明を省略する。
この図63のフローチャートが示す作業は、撮影スタジオ90において、被写体P、デジタルカメラ85、および閃光発光装置84がそれぞれ適当な位置に配置されていることを前提として行なわれる。
撮影者が、ピントや露光の調節等を行なった後にデジタルカメラ85のシャッタボタンを押すと、被写体Pに対する撮影が2回連続して行なわれる。1回目の撮影では、デジタルカメラ85から発信される閃光指示信号に応じて閃光発光装置84が閃光を発し、被写体Pが撮影される(ステップS601)。また、この1回目の撮影(ステップS601)では、閃光が第1の向きに偏光した光であり、背景パネル86がこの閃光を弱く反射するので、被写体Pの背景が暗く写る。2回目の撮影の時には、まず、上記の偏光切換信号に応じて、閃光発光装置84の偏光板84aが、閃光を第2の向きの直線偏光に変えるようにセットされる(ステップS602)。そして、閃光指示信号に応じて閃光発光装置84が閃光を発し、2回目の撮影が行なわれる(ステップS603)。この2回目の撮影(ステップS603)では、閃光が第2の向きに偏光した光であり、背景パネル86がこの閃光を強く反射するので、被写体Pの背景が明るく写る。つまり、この図63におけるステップS601〜ステップS603の処理によって、背景の明るさが互いに異なる2つの撮影画像が得られる。
本実施形態において、このような撮影を行なう撮影スタジオ90が、閃光発光装置84による、互いに偏光状態が異なる複数回の閃光(本実施形態では2回)によって複数(本実施形態では2つ)の撮影条件を作成する、本発明にいう撮影条件作成部の一例に相当する。
背景の明るさが互いに異なる2つの撮影画像が得られると、これら2つの撮影画像が、パーソナルコンピュータ20に渡され(ステップS104)、これら2つの撮影画像に対して、上記の第3および第4実施形態と同様に、上記の色補正処理も含んだ、全く同じ内容の画像補正処理が施される(ステップS604)。
次に、ステップS604の処理による補正済みの2つの撮影画像に基づいて、背景置換画像が作成され(ステップS605)、作成された背景置換画像の出力が行なわれる。
以下では、このステップS605で行なわれる、即ち、本実施形態における背景置換画像の作成処理について説明する。
まず、上記の補正済みの2つの撮影画像の例を以下に示す。
図64は、1回目の撮影に基づく、補正済みの撮影画像の一例を示す図であり、図65は、2回目の撮影に基づく、補正済み撮影画像の一例を示す図である。
これら図64および図65に示すように、2つの撮影画像は、背景に写っている背景パネル86の明るさ以外は、ほぼ同じ画像である。即ち、前者の補正済み撮影画像(以降、第1撮影画像と呼ぶ)では、背景パネル86が撮影時の閃光を弱く反射したため、背景が暗く、後者の補正済み撮影画像(第2撮影画像と呼ぶ)では、背景パネル86が撮影時の閃光を強く反射したため、背景が明るくなっている。
ここで、本実施形態における背景置換画像の作成処理では、まず、第1撮影画像を構成する各画素の、第2撮影画像において対応する位置の画素に対する明るさの変化量についてのヒストグラムが作成される。
図66は、本発明の第6実施形態における背景置換画像の作成処理で作成されるヒストグラムの一例を示す図である。
本実施形態では、上記の明るさの変化量として、第1撮影画像を構成する各画素の、第2撮影画像において対応する位置の画素に対する輝度の変化量が採用されている。図66には、第1撮影画像を構成する各画素における上記の輝度の変化量を、多数の範囲に振り分け、各範囲についてどれだけの画素が振り分けられたかを頻度で示した輝度変化のヒストグラムH8が示されており、この輝度変化のヒストグラムH8では、横軸H8_1に輝度の変化量がとられ、縦軸H8_2に頻度がとられている。
本実施形態における背景置換画像の作成処理では、この輝度変化のヒストグラムH8における2つのピークPk9,Pk10それぞれに基づいて、次の2つの閾値が計算される。図66に示すように輝度の変化量が少ない図中左側のピークPk9からは、このピークPk9において、頻度が所定頻度以上となる輝度の変化量の上限である第1の閾値Sr9が計算される。また、輝度の変化量が多い図中右側のピークPk10からは、このピークPk10において、頻度が所定頻度以上となる輝度の変化量の下限である第2の閾値Sr10が計算される。
そして、この背景置換画像の作成処理では、上記の第1撮影画像中の、輝度の変化量が第1の閾値Sr9以下となる画素の領域を定義する初期被写体マスクが設定され、輝度の変化量が第2の閾値Sr10以上となる画素の領域を定義する初期背景マスクが設定される。
本実施形態では、このように2つの初期マスクが設定されると、その後、これら2つの初期マスクを用いて背景置換画像が作成されるが、これら2つの初期マスクを用いた、この後の処理は、上述した第1実施形態における2つの初期マスクを用いた処理と同様な処理となるので重複説明を省略する。
このように作成された背景置換画像は、表示画面220aに表示され、また、この背景置換画像を表わす画像データに基づく、プリンタ30でのプリント、および、顧客が希望する出力用記憶媒体への、その画像データの書込みのうちの少なくとも一方が実行される。
以上、図62〜図66を参照して説明した、本発明の第6実施形態の撮影システム6でも、第1実施形態の撮影システム1と同様に、撮影画像における背景が所望の背景に自然に置換された背景置換画像を作成することができる。
次に、本発明の第7実施形態について説明する。
この第7実施形態は、撮影スタジオの構成が、上記の第1実施形態とは部分的に異なる。以下では、第1実施形態との相違点に注目して説明し、同等な点については重複説明を省略する。
図67は、本発明の撮影システムの第7実施形態を示す図である。
尚、この図67では、図1に示す第1実施形態と同等な構成要素については、図1と同じ符号が付され、この図67を参照した以下の説明では、これらの構成要素についての重複説明を省略する。
以下、第1実施形態と本実施形態との相違点である、この図67に示す撮影システム7の撮影スタジオ95が備えているデジタルカメラ87および3つの閃光発光装置88a,88b,88cに注目して説明する。
この撮影スタジオ95は、閃光の光量が可変の3つの閃光発光装置88a,88b,88cを備えている。これら3つの閃光発光装置88a,88b,88cは、パーソナルコンピュータ20に接続されている。ここで、これら3つの閃光発光装置88a,88b,88cを合わせたものが、本発明にいう発光装置の一例に相当する。
本実施形態では、サーバ40に格納されている複数の置換用の背景それぞれには、被写体を照らす光の方向や明るさといった条件を表わす光情報が付与されている。この光情報が、本発明にいう「光情報」の一例に相当する。
例えば、画像中の右側から光が差している背景については、被写体を右側からの光で照らすという条件を表わす光情報が付与される。また、例えば、夕景や曇天等といった暗い背景については、被写体を暗めの光で照らすという条件を表わす光情報が付与される。
パーソナルコンピュータ20において、撮影画像中の背景と置換する、顧客が所望する別の背景が決定されると、3つの閃光発光装置88a,88b,88cそれぞれにおけるオン/オフ状態や光量等といった発光条件が、その決定された置換用の背景に付与された光情報が表わす条件を最大限実現できるような発光条件に決定される。そして、パーソナルコンピュータ20から各閃光発光装置に対して、それぞれ決定された発光条件が示すオン/オフ状態や光量で閃光を発するように指示する指示信号が送られる。
デジタルカメラ87は、上述した第1実施形態と同様に、撮影者によって1回シャッタボタンが押下されると2回の撮影を連続して実行する。このとき、デジタルカメラ87は、撮影の度に、各閃光発光装置に向けて、閃光を発するように指示する閃光指示信号を発信する。これにより、3つの閃光発光装置88a,88b,88cは、それぞれ1回目の撮影時に、パーソナルコンピュータ20から指示されたオン/オフ状態や光量で閃光を発する。その結果、その1回目の撮影によって、置換用の背景に応じた閃光で被写体が照らされた順光撮影画像が得られる。そして、その順光撮影画像を使って背景置換画像が作成することにより、背景に適した自然な光で照らされた被写体が写った自然な背景置換画像が容易に作成されることとなる。
尚、上記では、本発明の撮影システムの一実施形態として、1回目の撮影時に閃光発光装置12が閃光を発し、2回目の撮影時には閃光発光装置12が消灯していることにより、順光撮影と逆光撮影とをこの順序で連続して行なうという撮影システム1を挙げて説明したが、本発明はこれに限るものではなく、本発明の撮影システムは、例えば、順光撮影と逆光撮影とをこの順序とは逆の順序で連続して行なうというものであっても良い。このような形態の撮影システムは、例えば、上記の実施形態において、デジタルカメラから閃光発光装置に向けて1回の撮影の度に発信される、閃光発光装置に閃光を発するように指示する指示信号を、1回目の撮影時には遮断し、2回目の撮影時には通過させる遮断回路等を、上記の実施形態においてデジタルカメラと閃光発光装置とを繋ぐ上記の指示信号の伝送ライン上に設置することにより構築される。
また、上記では、本発明にいう閃光発光装置の一例として、1回発光すると、次に発光できるようになるまで充電に時間がかかり、撮影が2回連続して行なわれるときには、1回目の撮影時にのみ閃光を発するという閃光発光装置12を挙げて説明したが、本発明はこれに限るものではない。本発明の閃光発光装置は、例えば、充電が極めて短時間で済み、撮影が2回連続して行なわれるときに、2回とも閃光を発することができるような高速型の閃光発光装置であっても良い。ただし、このような高速型の閃光発光装置を用いる場合にも、不要な指示信号を遮断する上記のような遮断回路等が必要となる。
また、上記では、本発明にいう撮影装置の一例としてデジタルカメラ11を挙げて説明したが、本発明はこれに限るものではなく、本発明の撮影装置は、フィルム上に画像を撮影するフィルムカメラ等であっても良い。この場合、フィルム上の撮影画像は、例えばフィルムスキャナ等で画像データとして読み取られて、背景置換装置として動作するパーソナルコンピュータ20に供給されることとなる。
また、上記では、本発明の撮影システムの一実施形態として、デジタルカメラ11が、背景置換装置として動作するパーソナルコンピュータ20に接続されており、このデジタルカメラ11で得られた撮影画像が、撮影後に直ちにこのパーソナルコンピュータ20に渡されるという撮影システム1を挙げて説明したが、本発明はこれに限るものではない。本発明の撮影システムは、例えば、撮影画像がデジタルカメラにおいて小型記憶メディアに記憶され、その小型記憶メディアが、人手で、背景置換装置として動作するパーソナルコンピュータにセットされることによって、撮影画像がこのパーソナルコンピュータに渡されるというもの等であっても良い。
また、上記では、本発明にいう「色が変わる機能を持った背景パネル」の一例として、ELパネルを例示して説明したが、本発明はこれに限るものではなく、本発明にいう「色が変わる機能を持った背景パネル」は、例えば、発光色の互いに異なる複数種類のLEDや発光色の互いに異なる複数種類の蛍光灯等といった、発光色の互いに異なる複数種類の光源の、それぞれが均一に分布した2次元的な配列が、各光源の光を拡散させる拡散板で覆われてなるパネル光源等であっても良い。このパネル光源は、発光させる光源の種類を切り換えることで色を変更する。
また、上記では本発明にいう照明装置の一例として、分散型EL素子を光源とするELパネルと、蛍光灯を光源とする照明パネルとを例示したが、本発明はこれらに限るものではなく、本発明の照明装置は、例えば、LEDや冷陰極管等を光源としたもの等であっても良い。
また、上記では、本発明にいう背景置換装置の一例として、補正済みの逆光撮影画像を構成する各画素の明るさについてのヒストグラムとして、各画素の色を表わすR値、G値、およびB値のうちのG値についてのヒストグラムを作成する背景置換装置700を例示したが、本発明はこれに限るものではない。本発明の背景置換装置は、R値についてのヒストグラムを作成するものであっても良く、あるいは、B値についてのヒストグラムを作成するものであっても良く、あるいは、各画素の輝度についてのヒストグラムを作成するものであっても良い。
また、上記では、本発明にいう背景置換装置の一例として、2つの撮影画像のうちの1つの撮影画像を構成する各画素の、もう一方の撮影画像において対応する位置の画素に対する色の変化量についてのヒストグラムとして、色相の変化量についてのヒストグラムを作成する例を示したが、本発明はこれに限るものではない。本発明の背景置換装置は、2つの撮影画像のうちの1つの撮影画像を構成する各画素の、もう一方の撮影画像において対応する位置の画素に対する色の変化量についてのヒストグラムとして、R値の変化量についてのヒストグラムを作成するものであっても良く、あるいは、G値の変化量についてのヒストグラムを作成するものであっても良く、あるいは、B値の変化量についてのヒストグラムを作成するものであっても良い。
また、上記では、本発明にいう背景置換装置の一例として、2つの撮影画像のうちの1つの撮影画像を構成する各画素の、もう一方の撮影画像において対応する位置の画素に対する明るさの変化量についてのヒストグラムとして、輝度の変化量についてのヒストグラムを作成する例を示したが、本発明はこれに限るものではない。本発明の背景置換装置は、2つの撮影画像のうちの1つの撮影画像を構成する各画素の、もう一方の撮影画像において対応する位置の画素に対する明るさの変化量についてのヒストグラムとして、R値の変化量についてのヒストグラムを作成するものであっても良く、あるいは、G値の変化量についてのヒストグラムを作成するものであっても良く、あるいは、B値の変化量についてのヒストグラムを作成するものであっても良い。