JPWO2006095860A1 - 背景置換装置、背景置換プログラム、および背景置換方法 - Google Patents

背景置換装置、背景置換プログラム、および背景置換方法 Download PDF

Info

Publication number
JPWO2006095860A1
JPWO2006095860A1 JP2006527199A JP2006527199A JPWO2006095860A1 JP WO2006095860 A1 JPWO2006095860 A1 JP WO2006095860A1 JP 2006527199 A JP2006527199 A JP 2006527199A JP 2006527199 A JP2006527199 A JP 2006527199A JP WO2006095860 A1 JPWO2006095860 A1 JP WO2006095860A1
Authority
JP
Japan
Prior art keywords
background
color
subject
unit
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006527199A
Other languages
English (en)
Other versions
JP4642764B2 (ja
Inventor
加來　俊彦
俊彦 加來
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2006095860A1 publication Critical patent/JPWO2006095860A1/ja
Application granted granted Critical
Publication of JP4642764B2 publication Critical patent/JP4642764B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/74—Circuits for processing colour signals for obtaining special effects
    • H04N9/75—Chroma key
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/21—Disc-shaped record carriers characterised in that the disc is of read-only, rewritable, or recordable type
    • G11B2220/213—Read-only discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2545—CDs

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Studio Circuits (AREA)
  • Studio Devices (AREA)

Abstract

撮影画像における背景が所望の背景に自然に置換された背景置換画像を作成することができる背景置換装置、背景置換プログラム、および背景置換方法を提供する。複数の撮影条件それぞれの下で共通の被写体が撮影されて得られた複数の撮影画像を取得する画像取得部７１０と、画像取得部７１０で取得された撮影画像に基づいて、撮影画像中の背景領域を他の領域から区別し、撮影画像中の背景領域を除く他の領域における、被写体色と背景色との混合比、およびその被写体色を推定し、推定された被写体色と混合比とを用いて、画像取得部７１０で取得された撮影画像中の背景を別の背景と置換する置換処理部７３０とを備えた。

Description

本発明は、撮影画像中の背景を別の背景に置換して背景置換画像を作成する背景置換装置、コンピュータをその背景置換装置として動作させる背景置換プログラム、および、撮影画像中の背景を別の背景に置換して背景置換画像を作成する背景置換方法に関する。
従来、写真館等では、背景幕を使った撮影が行なわれている。しかし、このような撮影は、十分に背景を作り出すために大きな背景幕が使われ、広い撮影スペースを必要とする。また、背景幕の交換等にも手間がかかり、結果的に撮影コストが高くなる。
そこで、もっと手軽に撮影を楽しむことができるように、従来のような大きな背景幕や広い撮影スペースが不要な、小型の撮影システムの開発が望まれている。このような小型の撮影システムでは、上記のような背景幕の替りに、何らかの仮の背景の前で撮影が行なわれることとなるため、撮影で得られた撮影画像に対して、撮影画像中の背景を、顧客が所望する背景と差替えるという背景置換処理を適用することが考えられる。
このような背景置換処理に関する技術の一例として、例えば、青色等に塗られた背景パネル等を被写体の背後に配置して撮影を行ない、その撮影で得られた撮影画像において、背景パネルの色と同色の部分と、異なる色の部分とを、それぞれ撮影画像中の背景領域と被写体領域として区別し、撮影画像中の背景領域に区別された部分を所望の背景に置換するクロマキー処理と呼ばれる処理が知られている。
このクロマキー処理では、撮影画像中の背景パネル上に被写体の影が写っていると、この影が、被写体領域と背景領域との区別を妨げてしまうことがある。そこで、クロマキー処理の対象となる撮影画像を撮影する際には、背景として、面発光する背景パネルを用い、背景パネル上の被写体の影が、この背景パネルが発する光で打ち消された状態で撮影を行なうという技術が提案されている（例えば、特許文献１参照。）。また、この特許文献１では、クロマキー処理において、被写体領域として区別された部分と所望の背景とを合成する際には、被写体領域として区別された部分の色調を、その所望の背景の色調に応じた色調に調整することで、その所望の背景の中に被写体が自然に溶け込んで見える合成画像を作成するという処理も提案されている。
また、例えば、屋外等といった、被写体の背後が開けた場所で、被写体に向けた照明を点灯した状態と、その照明を消灯した状態との２つの照明条件それぞれの下で撮影を行なって２つの撮影画像を取得し、これら２つの撮影画像において、互いに輝度が異なっている部分と輝度が同等な部分とを、それぞれ撮影画像中の被写体領域と背景領域として区別し、撮影画像中の背景領域に区別された部分を所望の背景に置換するという技術も知られている（例えば、特許文献２参照。）。
特開２０００−２２４４１０号公報（第３−１０頁、図３） 特開平１０−２１０３４０号公報（第２−３頁、図１）
ところで、例えば、人物を被写体として撮影が行なわれる場合、女性の髪やスカーフ等を通して背景が見えている状況で撮影が行なわれることがしばしばある。このため、撮影画像には、被写体の一部越しに背景が見えているものがしばしば見られる。ここで、このような撮影画像について、上記の特許文献１や特許文献２や一般的なクロマキー処理によって背景が置換されると、例えば、被写体の縁の一部が背景とともに別の背景に置換されている画像や、被写体の一部越しに置換前の古い背景が見える画像等といった不自然な背景置換画像がしばしば作成されてしまうことが知られている。
本発明は、上記事情に鑑み、撮影画像における背景が所望の背景に自然に置換された背景置換画像を作成することができる背景置換装置、コンピュータをその背景置換装置として動作させる背景置換プログラム、および、撮影画像における背景が所望の背景に自然に置換された背景置換画像を作成することができる背景置換方法を提供することを目的とする。
上記目的を達成する本発明の第１の背景置換装置は、複数の撮影条件それぞれの下で共通の被写体が撮影されて得られた複数の撮影画像を取得する画像取得部と、
上記画像取得部で取得された撮影画像に基づいて、撮影画像中の被写体領域と背景領域と境界領域とを区別する領域区別部と、
上記境界領域における被写体色と背景色との混合比を決定する混合比決定部と、
上記領域区別部によって区別された３つの領域と上記混合比決定部で決定された混合比とに基づいて上記画像取得部で取得された撮影画像中の背景を別の背景と置換する背景置換部とを備えたことを特徴とする。
被写体の一部越しに背景が見えているという状態が写っている撮影画像では、多くの場合、そのような状態が写っている画像部分は、被写体の色と、その背後に見える背景の色とが混合された混合色を有する画素が集まって構成されている。そのため、撮影画像中の背景領域を別の背景の画像に置換しただけでは、上記のような画像部分に背景の色が残ってしまう。上述したクロマキー処理等によって背景が置換された画像が観賞者に不自然に見えるのはこのためである。
本発明の第１の背景置換装置によれば、撮影画像中の被写体領域と背景領域と境界領域とが区別され、さらに、境界領域における被写体色と背景色との混合比が決定される。そして、撮影画像中の背景が別の背景と置換されるに当たっては、上記境界領域について、例えば、被写体色とその別の背景の色とを上記の混合比で混合する処理等が行われる。この結果、被写体の一部越しに置換後の背景が見えている状態を観賞者に認識させる画像が作成される。つまり、本発明の背景置換装置によれば、撮影画像における背景が所望の背景に自然に置換された背景置換画像を作成することができる。
また、本発明の第１の背景置換装置において、「上記領域区別部が、上記撮影条件における被写体と背景との所定の相違点に基づいて、撮影画像中の被写体領域と背景領域と境界領域とを区別するものである」という形態は好ましい形態である。
例えば被写体を逆光で撮影するという撮影条件においては、被写体と背景との間に、明るさという顕著な相違点が存在する。上記の好ましい形態の背景置換装置によれば、このような相違点に基づいて、撮影画像中の被写体領域と背景領域と境界領域とが容易に区別される。
また、本発明の第１の背景置換装置において、「前記領域区別部が、前記撮影条件における被写体と背景との所定の相違点に基づいて、撮影画像中で被写体側の領域と背景側の領域とを判別し、それら被写体側の領域および背景側の領域それぞれを、少なくとも一方については縮小して前記被写体領域および前記背景領域として扱い、該被写体領域と該背景領域との間の領域を前記境界領域として扱うものである」という形態や、
「上記領域区別部が、上記撮影条件における被写体と背景との所定の相違点に基づいて、撮影画像中で被写体側の領域と背景側の領域とを判別し、上記被写体側の領域を縮小して上記被写体領域として扱い、縮小前の被写体側の領域におけるその被写体領域を除く領域については上記境界領域として扱うものである」という形態や、
「上記領域区別部が、上記撮影条件における被写体と背景との所定の相違点に基づいて、撮影画像中で被写体側の領域と背景側の領域とを判別し、上記背景側の領域を縮小して上記背景領域として扱い、縮小前の背景側の領域におけるその背景領域を除く領域については上記境界領域として扱うものである」という形態も好ましい形態である。
これらの好ましい形態の背景置換装置によれば、上記のような相違点に基づいて、撮影画像中で被写体側の領域と背景側の領域とが一旦判別された後に、それらの領域の両方あるは一方が縮小されることにより、撮影画像中の被写体と背景との境界付近で見られることがある、被写体の一部越しに背景が見えている状態が写った部分が、確実に上記境界領域に含まれるような適切な境界領域が設定される。これにより、上述したような不自然さが確実に抑制される。
また、本発明の第１の背景置換装置は、「上記領域区別部が、上記画像取得部で取得された撮影画像のうちの１つの撮影画像に基づいて撮影画像中の被写体領域と背景領域と境界領域とを区別するものであり、
上記背景置換部は、上記画像取得部で取得された撮影画像のうち、上記領域区別部が領域の区別に用いた撮影画像とは別の撮影画像中の背景を別の背景と置換するものである」という形態であっても良い。
このような形態の背景置換装置の典型的な例としては、例えば、逆光で撮影された逆光撮影画像等といった、１つの撮影画像中で被写体と背景との間に大きな相違点が存在する撮影画像と、その撮影画像と共通の被写体が、被写体がきれいに写るという撮影条件の下で撮影画像とを取得し、まず、前者の撮影画像中の被写体と被写体領域と背景領域と境界領域とを上記の大きな相違点に基づいて区別し、その区別を後者の撮影画像に適用するという装置が挙げられる。
また、本発明の第１の背景置換装置は、「上記混合比決定部が、撮影画像中の上記境界領域における、被写体色と背景色との混合比、および該被写体色を推定するものであり、
上記背景置換部が、上記混合比決定部で推定された被写体色と混合比とを用いて撮影画像中の背景を別の背景と置換するものである」という形態も好ましい形態である。
撮影画像中の上記境界領域における、被写体色と背景色との混合比は、被写体の一部越しに背景が見えている状態における、背景の見え方の程度に相当する。上記の好ましい形態の背景置換装置によれば、混合比とともに被写体色が推定されるので、背景が置換された状態におけるそれらしい混合色が適切に求められ、自然な背景置換画像が作成される。
また、この好ましい形態の背景置換装置において、「上記混合比決定部が、上記被写体色を推定するに当たり、その被写体色の候補として上記被写体領域中の各色を用いて推定するものである」という形態はさらに好ましい形態である。
このさらに好ましい形態の背景置換装置によれば、上記被写体色の候補として、被写体色に近い色を高い確率で含んでいると考えられる上記被写体領域中の各色が用いられる。これにより、高い確度で上記被写体色が推定される。
また、上記の被写体色と混合比を推定するという形態の背景置換装置においては、「上記混合比決定部が、上記境界領域中の各箇所について、上記被写体色および上記混合比を推定するものであって、その被写体色を推定するに当たり、所定色空間内でその被写体色が上記背景色およびその箇所の色と直線的に並ぶという前提で推定するものである」という形態が好ましい形態である。
２つの色が混合された混合色は、例えばＲ（レッド）Ｇ（グリーン）Ｂ（ブルー）色空間等といった色空間内で、その混合色の元となった２つの色と直線的に並ぶと考えられる。上記の好ましい形態の背景置換装置によれば、上記背景色、およびその背景色と上記被写体色との混合色である上記各箇所の色を既知の色として、それら２つの色と直線的に並ぶ色を候補として上記被写体色が推定されるので、その被写体色が高い確度で推定される。
また、上記の被写体色と混合比を推定するという形態の背景置換装置においては、「上記混合比決定部が、上記境界領域中の各箇所について、上記被写体色および上記混合比を推定するものであって、その被写体色を推定するに当たり、その被写体色の候補として上記被写体領域中の各色を用い、その候補のうち、所定色空間内で上記背景色およびその箇所の色と直線的に並んでその箇所の色に最も近い候補を被写体色と推定するものである」という形態も好ましい。
上記各箇所の色は、上記被写体色と上記背景色とが混合された色であるので、その箇所の色と被写体色とはある程度の類似性を有していることが予想される。上記の好ましい形態の背景置換装置によれば、その箇所の色に最も近い候補が被写体色と推定されるので、その被写体色が高い確度で推定される。
また、上記の被写体色と混合比を推定するという形態の背景置換装置においては、「上記混合比決定部が、上記境界領域中の各箇所について、上記被写体色および上記混合比を推定するものであって、上記混合比を推定するに当たり、所定色空間における、上記背景色、その箇所の色、および上記被写体色の相互距離の比に基づいて推定するものである」という形態も好ましい形態である。
この好ましい形態の背景置換装置によれば、上記所定色空間上での上記背景色、上記各箇所の色、および上記被写体色の相互距離の比という、単純な計算で得られる値に基づいて上記混合比が容易に推定される。
また、上記の被写体色と混合比を推定するという形態の背景置換装置においては、「上記背景置換部が、撮影画像中の背景を別の背景と置換するに当たり、その別の背景の色と、上記混合比決定部で推定された被写体色とを、その混合比決定部で推定された混合比で混合することによって背景を置換するものである」という形態も好ましい形態である。
撮影画像中の、被写体越しに背景が見えている状態が写っている部分の色は、多くの場合、上記背景の色と上記被写体色とが混合された混合色であるが、その混合色の混合比には、被写体越しに見えている背景の見え具合が反映されている。この好ましい形態の背景置換装置によれば、上記別の背景の色と、上記被写体色とが、上記混合比で混合されるので、被写体越しの背景の見え具合が、背景置換後の画像で容易に再現される。
また、上記の本発明の第１の背景置換装置において、「前記領域区別部によって区別された領域の修正を、操作を受けて実行し、修正された領域に基づいた背景置換を前記背景置換部に実行させて前記背景置換画像を修正する画像修正部とを備えた」という形態も好ましい形態である。
この好ましい形態の背景置換装置によれば、一旦作成された背景置換画像が、例えば、被写体の縁の一部が背景とともに別の背景に置換されている等といった不自然な画像であったとしても、上記領域区別部によって区別された領域の修正を実行して、例えば、上記のような、背景および被写体双方の要素が含まれている画像部分を背景領域等から外し、そのような特殊な画像部分用の処理を実行することによって、不自然な背景置換画像を自然な背景置換画像に修正することができる。
また、この画像修正部を備えたという形態の背景置換装置は、「上記領域区別部が、上記撮影条件における被写体と背景との所定の相違点に基づいて、撮影画像中で被写体側の領域と背景側の領域とを判別し、それら被写体側の領域および背景側の領域それぞれを所定の縮小量だけ縮小して上記被写体領域および上記背景領域として扱うものであり、
上記画像修正部が、上記領域区別部における上記縮小量を、操作を受けて変更することにより、上記被写体領域および／又は上記背景領域を修正するものである」という形態であっても良く、あるいは、
「上記領域区別部が、上記撮影条件における被写体と背景との所定の相違点に基づいた区別基準によって、上記被写体領域と上記背景領域とを区別するものであり、
上記画像修正部が、上記区別基準を、操作を受けて変更することにより、上記被写体領域および／又は上記背景領域を修正するものである」という形態であっても良い。
これらの形態の背景置換装置によれば、上記被写体領域および／又は上記背景領域が直接に修正されるのではなく、上記縮小量や上記区別基準といった、人間にとって直感的に分かりやすいパラメータが変更されることにより、上記被写体領域および／又は上記背景領域が容易に修正される。
上記目的を達成する本発明の第２の背景置換装置は、複数の撮影条件それぞれの下で共通の被写体が撮影されて得られた複数の撮影画像を取得する画像取得部と、
上記画像取得部で取得された撮影画像に基づいて、撮影画像中の背景領域を他の領域から区別する領域区別部と、
撮影画像中の上記背景領域を除く他の領域における、被写体色と背景色との混合比、およびその被写体色を推定する混合状態推定部と、
上記混合状態推定部で推定された被写体色と混合比とを用いて上記画像取得部で取得された撮影画像中の背景を別の背景と置換する背景置換部とを備えたことを特徴とする。
本発明の第２の背景置換装置によれば、撮影画像中の背景領域が他の領域から区別された後、その撮影画像中の背景領域を除く他の領域における、被写体色と背景色との混合比、およびその被写体色とが推定される。ここで、上記の混合比は、被写体の一部越しに背景が見えているという状態における、背景の見え方の程度に相当する。本発明の背景置換装置によれば、混合比とともに被写体色が推定されるので、背景が置換された状態におけるそれらしい混合色が適切に求められ、自然な背景置換画像が作成される。つまり、本発明の背景置換装置によれば、撮影画像における背景が所望の背景に自然に置換された背景置換画像を作成することができる。
ここで、本発明の第２の背景置換装置において、「上記混合状態推定部が、上記被写体色を推定するに当たり、その被写体色の候補として撮影画像中の各色を用いて推定するものである」という形態は好ましい形態である。
この好ましい形態の背景置換装置によれば、上記被写体色の候補として、被写体色に近い色を高確率で含んでいると考えられる撮影画像中の各色が用いられる。これにより、高い確度で上記被写体色が推定される。
また、本発明の第２の背景置換装置において、「上記混合状態推定部が、上記背景領域を除く他の領域中の各箇所について、上記被写体色および上記混合比を推定するものであって、その被写体色を推定するに当たり、所定色空間内でその被写体色が上記背景色およびその箇所の色と直線的に並ぶという前提で推定するものである」という形態も好ましい形態である。
２つの色が混合された混合色は、例えばＲ（レッド）Ｇ（グリーン）Ｂ（ブルー）色空間等といった色空間内で、その混合色の元となった２つの色と直線的に並ぶと考えられる。上記の好ましい形態の背景置換装置によれば、上記背景色、およびその背景色と上記被写体色との混合色である上記各箇所の色を既知の色として、それら２つの色と直線的に並ぶ色を候補として上記被写体色が推定されるので、その被写体色が高い確度で推定される。
また、本発明の第２の背景置換装置において、「上記混合状態推定部が、上記背景領域を除く他の領域中の各箇所について、上記被写体色および上記混合比を推定するものであって、その被写体色を推定するに当たり、その被写体色の候補として上記背景領域を除く他の領域中の各色を用い、その候補のうち、所定色空間内で上記背景色およびその箇所の色と直線的に並んでその箇所の色から最も遠い候補を被写体色と推定するものである」という形態も好ましい形態である。
上記背景領域を除く他の領域内には、上記被写体色に近い色が高確率で含まれていると考えられるが、その被写体色と上記各箇所の色との間の、他の混合比で混合された紛らわしい色も高確率で含まれていると考えられる。上記の好ましい形態の背景置換装置によれば、上記背景領域を除く他の領域中でその箇所の色から最も遠い候補が被写体色と推定されるので、上記のような紛らわしい色等が回避されて、被写体色が高い確度で推定される。
また、本発明の第２の背景置換装置において、「上記混合状態推定部が、上記背景領域を除く他の領域中の各箇所について、上記被写体色および上記混合比を推定するものであって、その混合比を推定するに当たり、所定色空間における、上記背景色、その箇所の色、および上記被写体色の相互距離の比に基づいて推定するものである」という形態も好ましい。
この好ましい形態の背景置換装置によれば、上記所定色空間上での上記背景色、上記各箇所の色、および上記被写体色の相互距離の比という、単純な計算で得られる値に基づいて上記混合比が容易に推定される。
また、本発明の第２の背景置換装置において、「上記背景置換部が、撮影画像中の背景を別の背景と置換するに当たり、その別の背景の色と、上記混合状態推定部で推定された被写体色とを、その混合状態推定部で推定された混合比で混合することによって背景を置換するものである」という形態も好ましい形態である。
撮影画像中の、被写体越しに背景が見えている状態が写っている部分の色は、多くの場合、上記背景の色と上記被写体色とが混合された混合色であるが、その混合色の混合比には、被写体越しに見えている背景の見え具合が反映されている。この好ましい形態の背景置換装置によれば、上記別の背景の色と、上記被写体色とが、上記混合比で混合されるので、被写体越しの背景の見え具合が、背景置換後の画像で容易に再現される。
また、本発明の背景置換装置において、「上記領域区別部が、上記複数の撮影画像の相互間における明るさの比率に基いて、撮影画像中の背景領域を他の領域から区別するものである」という形態も好ましい形態である。
撮影画像中の背景領域を他の領域から区別する１つの方法として、例えば、その撮影画像中での背景と被写体との明るさの違いに基いて区別するという方法が考えられる。しかし、撮影画像が、例えば明るい照明の下で撮影されたものあった場合、背景と被写体との間で明るさに余り違いが無く、そのような方法による背景領域と他の領域との区別が困難となってしまうことがある。上記の好ましい形態の背景置換装置によれば、撮影画像中の背景領域と他の領域との区別が、上記複数の撮影画像の相互間における明るさの比率に基いて行なわれる。この区別方法によれば、例えば背景の明るさが互いに異なる複数の撮影画像を得ておけば、たとえ１枚の撮影画像において背景と被写体との間で明るさに違いが無かったとしても、背景領域と他の領域とでは、複数の撮影画像の相互間における明るさの比率が異なることとなるので、両者を良好に区別することができる。
また、本発明の背景置換装置において、「上記混合状態推定部で推定された被写体色と混合比とを記憶する記憶部を備え、
上記背景置換部が、上記記憶部が記憶している被写体色と混合比とを用いて上記画像取得部で取得された撮影画像中の背景を別の背景と置換するものである」という形態も好ましい形態である。
この好ましい形態の背景置換装置によれば、例えば、一旦背景を置換した後に、その置換した背景をさらに別の背景に置換する等といった場合に、被写体色と混合比との計算に対する手間を省くことができる。
また、本発明の背景置換装置において、「上記混合状態推定部で推定された被写体色に色が置き換えられた上記他の領域の画像に基いて、その被写体色に対する色補正に使われる補正パラメータを決定する第１のパラメータ決定部と、
上記第１のパラメータ決定部によって決定された補正パラメータを使って、上記混合状態推定部で推定された被写体色に対して色補正を施す第１の色補正部とを備え、
上記背景置換部は、上記第１の色補正部によって色補正が施された被写体色と上記混合比とを用いて上記画像取得部で取得された撮影画像中の背景を別の背景と置換するものである」という形態や、
「上記画像取得部で取得された撮影画像に基いて、上記被写体色に対する色補正に使われる補正パラメータを決定する第２のパラメータ決定部と、
上記第２のパラメータ決定部によって決定された補正パラメータを使って、上記混合状態推定部で推定された被写体色に対して色補正を施す第２の色補正部とを備え、
上記背景置換部は、上記第２の色補正部によって色補正が施された被写体色と上記混合比とを用いて上記画像取得部で取得された撮影画像中の背景を別の背景と置換するものである」という形態や、
「上記被写体色に対する色補正に使われる補正パラメータを、操作に応じたパラメータに決定する第３のパラメータ決定部と、
上記第３のパラメータ決定部によって決定された補正パラメータを使って、上記混合状態推定部で推定された被写体色に対して色補正を施す第３の色補正部とを備え、
上記背景置換部は、上記第３の色補正部によって色補正が施された被写体色と上記混合比とを用いて上記画像取得部で取得された撮影画像中の背景を別の背景と置換するものである」という形態は好ましい形態である。
撮影画像の色合いやホワイトバランスを、一般的に観賞者が好ましいと感じる色合いやホワイトバランスに補正するいわゆるセットアップと呼ばれる色補正が知られている。一見、このようなセットアップ済みの撮影画像について背景の置換を行なえば、背景が置換された高画質の画像が得られるように思われる。しかし、セットアップ済みの撮影画像を用いると、例えば画像中の階調が変更されている等といった理由から、上記混合状態推定部における被写体色の推定が不正確なものとなり、自然な背景の置換が実行できなくなる恐れがある。また、背景置換後の画像に対してセットアップが施されると、置換用の背景の色まで変わってしまう。上記の３種類の好ましい形態では、いずれの形態でも上記混合状態推定部で推定された被写体色に対して色補正が施される。従って、これら３種類の好ましい形態によれば、この色補正として例えばセットアップを採用することで、上記混合状態推定部による被写体色の推定や置換用の背景の色に影響を与えることなく、セットアップを実行することができ、背景が置換された高画質の画像を得ることができる。ここで、セットアップに用いる補正パラメータは、上記の３種類のうちの１番目の形態のように上記被写体色に色が置き換えられた上記他の領域の画像に基いて決定しても良く、２番目の形態のように上記撮影画像に基いて決定しても良く、３番目の形態のようにユーザの操作に応じて決定しても良い。
また、本発明の背景置換装置において、「上記被写体色に対する色補正に使われる補正パラメータを、上記別の背景に応じたパラメータに決定する第４のパラメータ決定部と、
上記第４のパラメータ決定部によって決定された補正パラメータを使って、上記混合状態推定部で推定された被写体色に対して色補正を施す第４の色補正部とを備え、
上記背景置換部は、上記第４の色補正部によって色補正が施された被写体色と混合比とを用いて上記画像取得部で取得された撮影画像中の背景を上記別の背景と置換するものである」という形態も好ましい形態である。
この好ましい形態の背景置換装置によれば、上記混合状態推定部による被写体色の推定や置換用の背景の色に影響を与えることなく、セットアップを実行することができ、背景が置換された高画質の画像を得ることができることに加えて、例えば、上記別の背景として夕景を用いる場合に、その夕景に応じて、上記被写体色をオレンジ色がかった色に補正する等といったセットアップを行なうことによって、背景が一層自然に置換された画像を得ることができる。
また、本発明の背景置換装置において、「上記背景置換部は、上記別の背景として、被写体と背景との画像中における相対関係を表わす関係情報が付与された背景を用いて、上記撮影画像中の背景を置換するとともに、置換後の画像中で被写体と背景との相対関係が、その関連情報が表わす相対関係と同じ相対関係となるように置換するものである」という形態も好ましい。
この好ましい形態の背景置換装置によれば、例えば置換後の画像中における被写体の位置や大きさが上記別の背景に対して自然な位置や大きさとなるように背景の置換を行なうことができるので、背景が一層自然に置換された画像を得ることができる。
上記目的を達成する本発明の第３の背景置換装置は、背景の色が互いに異なる複数の撮影条件それぞれの下で共通の被写体が撮影されて得られた複数の撮影画像を取得する画像取得部と、
上記画像取得部で取得された撮影画像に基づいて、撮影画像中の背景領域を他の領域から区別する領域区別部と、
上記複数の撮影画像に基づいて、撮影画像中の上記背景領域を除く他の領域における、被写体色と背景色との混合比、およびその被写体色を推定する混合状態推定部と、
上記混合状態推定部で推定された被写体色と混合比とを用いて上記画像取得部で取得された撮影画像中の背景を別の背景と置換する背景置換部とを備えたことを特徴とする。
本発明の第３の背景置換装置によれば、各撮影画像中の上記背景領域を除く他の領域における、被写体色と背景色との混合比、およびその被写体色が推定される。ここで、上記の混合比は、被写体の一部越しに背景が見えているという状態における、背景の見え方の程度に相当する。本発明の背景置換装置によれば、混合比とともに被写体色が推定されるので、背景が置換された状態におけるそれらしい混合色が適切に求められ、自然な背景置換画像が作成される。また、本発明の背景置換装置によれば、背景色が互いに異なる複数の撮影画像に基づいて、被写体色と混合比とが推定される。ここで、これら複数の撮影画像は共通の被写体が撮影されて得られたものであるため、これら複数の撮影画像の相互間では被写体色は共通である。これにより、本発明の背景置換装置によれば、例えば、まず複数の撮影画像という複数の推定材料に基づいて１つの被写体色を推定し、そして、推定された被写体色から混合比を推定する等といった、一意的かつ正確な推定方法を用いた被写体色と混合比との推定が可能となる。つまり、本発明の背景置換装置によれば、撮影画像における背景が所望の背景に自然に置換された背景置換画像を作成することができる。
また、本発明の第３の背景置換装置において「上記混合状態推定部が、被写体色と背景色との混合状態が、異なる背景色の下でも同じであるという前提で、上記被写体色と上記混合比とを推定するものである」という形態は好ましい形態である。
このような好ましい形態の背景置換装置によれば、例えば上記混合比が上記複数の撮影画像の相互間で共通であると考えることができるので、その混合比についても、複数の撮影画像という複数の推定材料に基づいて１つの混合比を推定する等といった、一意的かつ正確な推定方法による推定が可能となる。
また、本発明の第３の背景置換装置において「上記混合状態推定部が、上記背景領域を除く他の領域中の各箇所について、上記被写体色および上記混合比を推定するものであって、背景の色が互いに異なる複数の撮影条件それぞれの下で得られた複数の撮影画像それぞれにおける上記背景色とその箇所の色を所定の色空間内で結ぶ各直線を求め、それらの直線の交点に相当する色を上記被写体色と推定するものである」という形態は、本発明の背景置換装置の典型的な形態の一例である。
このような形態の背景置換装置によれば、被写体色を数学的に一意に求め、その被写体色から混合比を容易に求めることができる。
また、本発明の第３の背景置換装置において「上記画像取得部が、背景の色相が互いに異なる複数の撮影条件それぞれの下で撮影されて得られた複数の撮影画像を取得するものである」という形態は好ましい形態である。
このような形態の背景置換装置によれば、上記被写体色と混合比とが精度良く推定される。
また、本発明の第３の背景置換装置において「上記領域区別部が、撮影画像中の上記背景領域を除く他の領域中の被写体領域と境界領域とを区別するものであり、
上記混合状態推定部が、上記境界領域中で、上記被写体色と上記混合比とを推定するものである」という形態も好ましい形態である。
この好ましい形態の背景置換装置によれば、撮影画像中で、上記のような推定処理の対象となる範囲が限定されるので、推定処理が効率的に行なわれることとなる。
また、本発明の第３の背景置換装置において「上記領域区別部が、上記画像取得部で取得された撮影画像中の背景領域を他の領域から、上記複数の撮影画像の相互間における色の変化量に基づいて区別するものである」という形態も好ましく、また、
「上記領域区別部が、上記画像取得部で取得された撮影画像中の背景領域を他の領域から、上記背景と上記被写体との明るさの差に基づいて区別するものである」という形態も好ましい。
これらいずれの形態の背景置換装置によっても上記領域区別部を容易に実現することができる。また、色の変化量に基づいて領域の区別を行なうという前者の形態では、上記被写体色と上記混合比との推定に用いる撮影画像と同じ撮影画像を用いて領域の区別を行なうことができるので、上記のような背景置換処理全体で必要とされる撮影画像の数を節約することができる。また、明るさの差に基づいて領域の区別を行なうという後者の形態では、背景の明るさと被写体の明るさとが互いに異なるという撮影条件の下で上記被写体が撮影されて得られた撮影画像が必要となるが、その撮影画像のみに基づいて上記の領域の区別を行なうことができるので、領域の区別自体の単純化が図られる。
また、上記目的を達成する本発明の第１の背景置換プログラムは、コンピュータに組み込まれ、そのコンピュータ上で、
複数の撮影条件それぞれの下で共通の被写体が撮影されて得られた複数の撮影画像を取得する画像取得部と、
上記画像取得部で取得された撮影画像に基づいて、撮影画像中の被写体領域と背景領域と境界領域とを区別する領域区別部と、
上記境界領域における被写体色と背景色との混合比を決定する混合比決定部と、
上記領域区別部によって区別された３つの領域と上記混合比決定部で決定された混合比とに基づいて上記画像取得部で取得された撮影画像中の背景を別の背景と置換する背景置換部とを構築することを特徴とする。
また、上記目的を達成する本発明の第２の背景置換プログラムは、コンピュータに組み込まれ、そのコンピュータ上で、
複数の撮影条件それぞれの下で共通の被写体が撮影されて得られた複数の撮影画像を取得する画像取得部と、
複数の撮影条件それぞれの下で共通の被写体が撮影されて得られた複数の撮影画像を取得する画像取得部と、
上記画像取得部で取得された撮影画像に基づいて、撮影画像中の背景領域を他の領域から区別する領域区別部と、
撮影画像中の上記背景領域を除く他の領域における、被写体色と背景色との混合比、およびその被写体色を推定する混合状態推定部と、
上記混合状態推定部で推定された被写体色と混合比とを用いて上記画像取得部で取得された撮影画像中の背景を別の背景と置換する背景置換部とを構築することを特徴とする。
また、上記目的を達成する本発明の第３の背景置換プログラムは、コンピュータに組み込まれ、そのコンピュータ上で、
背景の色が互いに異なる複数の撮影条件それぞれの下で共通の被写体が撮影されて得られた複数の撮影画像を取得する画像取得部と、
上記画像取得部で取得された撮影画像に基づいて、撮影画像中の背景領域を他の領域から区別する領域区別部と、
上記複数の撮影画像に基づいて、撮影画像中の上記背景領域を除く他の領域における、被写体色と背景色との混合比、およびその被写体色を推定する混合状態推定部と、
上記混合状態推定部で推定された被写体色と混合比とを用いて上記画像取得部で取得された撮影画像中の背景を別の背景と置換する背景置換部とを構築することを特徴とする。
本発明の第１〜第３の背景置換プログラムによれば、上述した、撮影画像における背景が所望の背景に自然に置換された背景置換画像を作成することができる背景置換装置を容易に実現することができる。
また、上記目的を達成する本発明の第１の背景置換方法は、複数の撮影条件それぞれの下で共通の被写体が撮影されて得られた複数の撮影画像を取得する画像取得過程と、
前記画像取得過程で取得された撮影画像に基づいて、撮影画像中の被写体領域と背景領域と境界領域とを区別する領域区別過程と、
前記境界領域における被写体色と背景色との混合比を決定する混合比決定過程と、
前記領域区別部によって区別された３つの領域と前記混合比決定部で決定された混合比とに基づいて前記画像取得部で取得された撮影画像中の背景を別の背景と置換する背景置換過程とを備えたことを特徴とする。
また、上記目的を達成する本発明の第２の背景置換方法は、複数の撮影条件それぞれの下で共通の被写体が撮影されて得られた複数の撮影画像を取得する画像取得過程と、
上記画像取得過程で取得された撮影画像に基づいて、撮影画像中の背景領域を他の領域から区別する領域区別過程と、
撮影画像中の上記背景領域を除く他の領域における、被写体色と背景色との混合比、およびその被写体色を推定する混合状態推定過程と、
上記混合状態推定過程で推定された被写体色と混合比とを用いて上記画像取得過程で取得された撮影画像中の背景を別の背景と置換する背景置換過程とを備えたことを特徴とする。
また、上記目的を達成する本発明の第３の背景置換方法は、背景の色が互いに異なる複数の撮影条件それぞれの下で共通の被写体が撮影されて得られた複数の撮影画像を取得する画像取得過程と、
上記画像取得過程で取得された撮影画像に基づいて、撮影画像中の背景領域を他の領域から区別する領域区別過程と、
上記複数の撮影画像に基づいて、撮影画像中の上記背景領域を除く他の領域における、被写体色と背景色との混合比、およびその被写体色を推定する混合状態推定過程と、
上記混合状態推定過程で推定された被写体色と混合比とを用いて上記画像取得過程で取得された撮影画像中の背景を別の背景と置換する背景置換過程とを備えたことを特徴とする。
本発明の第１〜第３の背景置換方法によれば、撮影画像における背景が所望の背景に自然に置換された背景置換画像を容易に作成することができる。
なお、上記の本発明の背景置換プログラムおよび本発明の背景置換方法については、ここではその基本形態のみを示すのにとどめるが、これは単に重複を避けるためであり、本発明にいう背景置換プログラムおよび背景置換方法には、前述した背景置換装置の各形態に対応する各種の形態が含まれる。
以上、説明したように、本発明によれば、撮影画像における背景が所望の背景に自然に置換された背景置換画像を作成することができる。
本発明の背景置換装置の一実施形態が適用された撮影システムを示す図である。 図１の撮影システムで実行される、本発明の背景置換方法の一実施形態が適用された作業の流れを示すフローチャートである。 図１に示すパーソナルコンピュータのハードウェア構成図である。 本発明の背景置換プログラムの一実施形態を示す概念図である。 図４に示す背景置換プログラムが図１および図３に示すパーソナルコンピュータにインストールされ、このパーソナルコンピュータが本発明にいう背景置換装置の一実施形態として動作するときの機能を表わす機能ブロック図である。 図５に１つのブロックで示す画像補正部の詳細を示す図である。 台形歪みが生じた順光撮影画像の一例を示す模式図である。 図７の順光撮影画像における台形歪みが補正された状態を示す模式図である。 図８に示す、台形歪みが補正された順光撮影画像に基づいて作成された有効画像を示す模式図である。 図６の画像補正部によって画像補正処理が施された、補正済みの逆光撮影画像を示す模式図である。 補正済みの順光撮影画像の一例を示す図である。 補正済みの逆光撮影画像の一例を示す図である。 図１１中のエリアＡ１の拡大図である。 図１２中のエリアＡ２の拡大図である。 図５に１つのブロックで示す置換処理部の詳細を示す図である。 図１５に１つのブロックで示すマスク作成部の詳細を示す図である。 補正済みの逆光撮影画像を構成する各画素の明るさについてのヒストグラムの様々な例を示す図である。 図１７に示す例とは異なるヒストグラムの例を示す図である。 図１４に示す逆光撮影画像の拡大図において、初期被写体マスクに設定された領域と初期背景マスクに設定された領域を示す図である。 図１９に示す初期被写体マスクと初期背景マスクとを示す図である。 初期被写体マスクと初期背景マスクとを、図１１に示す補正済みの順光撮影画像全体に重ねて示した図である。 図２０に示す初期被写体マスクと初期背景マスクとが、それぞれ境界領域から離れる方向に縮小される様子を示す図である。 最終的に完成された被写体マスクと背景マスクとを、図１１に示す補正済みの順光撮影画像全体に重ねて示した図である。 本実施形態のマスク作成部７３１とは別のマスク作成部を示す図である。 補正済みの逆光撮影画像が分割された様子を示す図である。 図２５に示す３つの小領域Ａｒ１，Ａｒ２，Ａｒ３それぞれについて作成されるヒストグラムの一例を示す図である。 図１５に１つのブロックで示す色推定部の詳細を示す図である。 図２７に１つのブロックで示す背景色推定部の詳細を示す図である。 ある画素について背景色を推定する際に、その画素を中心に探索範囲が設定される様子を示す図である。 ある画素について背景色を推定するために用いられる領域の一例を示す図である。 図２７に１つのブロックで示す被写体色推定部の詳細を示す図である。 ある画素について被写体色を推定する際に、その画素を中心に探索範囲が設定される様子を示す図である。 ある画素について被写体色を推定するために用いられる領域の一例を示す図である。 補正済みの順光撮影画像における境界領域内のある画素について被写体色を探索する際の探索方法を示す図である。 補正済みの順光撮影画像における境界領域内のある画素について合成色が求められる様子を示す図である。 背景置換画像の一例を示す図である。 図５に１つのブロックで示す画像修正部７６０の詳細を示す図である。 図３７に示した画像修正部とは別の画像修正部を示す図である。 被写体マスクＭ１’で定義される領域に近い画素から、被写体色や合成比αの推定が実行される様子を示す模式図である。 見かけ上の輪郭を使った探索範囲の設定の様子を示す模式図である。 補正済みの順光撮影画像において、非背景マスクで定義される領域内のある画素について被写体色を推定する際に、その画素を中心に探索範囲が設定される様子を示す図である。 ある画素について被写体色を推定するために用いられる領域の一例を示す図である。 補正済みの順光撮影画像における、非背景マスクで定義される領域内のある画素について被写体色を探索する際の探索方法を示す図である。 複数の置換用の背景に効率的に対処できる工夫が施された、図１５に示す置換処理部７３０とは別の置換処理部を示す図である。 推定された被写体色に対して色補正処理を施す色補正部を備えた、図１５に示す置換処理部７３０とは別の置換処理部を示す図である。 本発明の背景置換装置の第２実施形態が適用された撮影システムを示す図である。 図４６の撮影システムで実行される、本発明の背景置換方法の第２実施形態が適用された作業の流れを示すフローチャートである。 本発明の背景置換プログラムの第２実施形態を示す概念図である。 図４８に示す背景置換プログラムが図４６に示すパーソナルコンピュータにインストールされ、このパーソナルコンピュータが本発明にいう背景置換装置の第２実施形態として動作するときの機能を表わす機能ブロック図である。 図４９に１つのブロックで示す置換処理部の詳細を示す図である。 図５０に１つのブロックで示す色推定部の詳細を示す図である。 互いに背景色が異なる２つの補正済みの順光撮影画像の間で共通な、境界領域内の各画素の色の元となった被写体色の推定方法を示す図である。
以下図面を参照して本発明の実施の形態を説明する。
図１は、本発明の背景置換装置の第１実施形態が適用された撮影システムを示す図である。
この図１に示す撮影システム１は、被写体を撮影して撮影画像を取得する撮影スタジオ１０と、その撮影画像における被写体と背景とを区別して、撮影画像中の背景を所望の背景に置換して背景置換画像を作成する、本発明の背景置換装置の第１実施形態として動作するパーソナルコンピュータ２０と、プリンタ３０と、サーバ４０とを備えている。また、撮影スタジオ１０は、デジタルカメラ１１と、閃光発光装置１２と、ＥＬ（エレクトロルミネセンス）パネル１３０と、このＥＬパネル用の電源１４を備えている。
デジタルカメラ１１は、連写機能を有しており、撮影者がシャッタボタンを１回押すと、短時間の間に自動で被写体Ｐを２回撮影する。１回毎の撮影によって得られた撮影画像はデジタルカメラ１１内のメモリに一時的に保管されるが、撮影システム１では、デジタルカメラ１１がパーソナルコンピュータ２０に接続されており、２回の撮影が終了した時点で、この２回の撮影で得られた撮影画像は、このパーソナルコンピュータ２０に直ちに送られる。また、デジタルカメラ１１は閃光発光装置１２にも接続されており、デジタルカメラ１１は、閃光発光装置１２に対して閃光を発するように指示する閃光指示信号を、その閃光発光装置１２に撮影の度に発信する。
ここで、本実施形態では、撮影スタジオ１０について省スペース化が図られており、デジタルカメラ１１は被写体を近距離から若干見下ろし気味に撮影することとなる。その結果、デジタルカメラ１１で撮影される撮影画像には、画像の幅が、下に向かうほど狭まる、いわゆる台形歪みが生じている可能性が高い。本実施形態では、この台形歪みは、パーソナルコンピュータ２０において補正される。
閃光発光装置１２は、デジタルカメラ１１から閃光指示信号を受けて被写体Ｐに向かって閃光を発する。ここで、この閃光発光装置１２は、１回発光する度に充電される必要があり、１回発光すると、次に発光できるようになるまで時間がかかる。デジタルカメラ１１からは、上記の２回の撮影の際、撮影の度に上記の閃光指示信号が発信されるが、閃光発光装置１２は１回目の撮影の時だけ閃光を発し、２回目の撮影時には、充電が間に合わないために、閃光発光装置１２は消灯したままでいることとなる。また、この閃光発光装置１２が発する閃光は、発光の輝度がおよそ２０００ｃｄ／ｍ2という高輝度の光である。
ＥＬパネル１３０は、被写体Ｐが載る載置面１３１ａと被写体Ｐの背後の面１３１ｂとが透明な筐体１３１、および、その筐体１３１内に収納された分散型ＥＬ素子１３２からなる。また、電源１４は、この分散型ＥＬ素子１３２に駆動電圧を印加する電源である。また、筐体１３１の、被写体Ｐの背後の面１３１ｂの四隅にはこの面１３１ｂの範囲を示す４つのマーカ１３１ｃが配置されている。これら４つのマーカ１３１ｃは、撮影の際に被写体Ｐとともに撮影画像に写り、その撮影画像に対する、上記の台形歪みの補正等に利用されるものである。
分散型ＥＬ素子１３２は、蛍光体粉末が高誘電率のバインダー中に分散されたものが、可撓性のプラスチックを基板とした２枚のシート形状の電極の間に挟み込まれて構成されたシート状の面発光光源である。この分散型ＥＬ素子１３２は、それら２枚の電極間に、電源１４から交流電圧が印加されることにより発光する。
この分散型ＥＬ素子１３２は、厚みが数百μｍ〜１ｍｍという非常に薄くて軽い光源であり、筐体１３１の内部のように、厚みに余裕のない場所に容易に設置することができる。この他、分散型ＥＬ素子１３２には、発光時の発熱が２℃程度と軽微である、発光開始から最高輝度に達するまでの応答速度が速い、発光の寿命がほぼ一定しており計画的な交換が可能、局所発光が可能、衝撃や振動に強い、消費電力が５０Ｗ／ｍ2（周波数が５０Ｈｚの交流電力印加時）と小さい等、性能面での様々な利点がある。さらに、分散型ＥＬ素子１３２には、簡単な製造工程で製造することができるため製造コストが安いという経済面での利点もある。
また、一般的な分散型ＥＬ素子は、製造時に発光色の異なる複数の蛍光体粉末をさらに混合することで発光色を白色を含む様々な色に調整することが可能であるが、本実施形態における分散型ＥＬ素子１３２では、このような色調整のための蛍光体粉末は未混合である。この結果、この分散型ＥＬ素子１３２は、発光波長が４００ｎｍ〜５３０ｎｍの間に２つ以上の発光ピークを有することとなる。この光は、分散型ＥＬ素子本来の、青から緑の間の色の光であり、本実施形態における分散型ＥＬ素子１３２は、上記の２つ以上の発光ピークからなる青緑色の光を発光する。ここで、青緑色は、人物の肌の色の補色であるため、本実施形態の撮影システム１によれば、人物を被写体として撮影した際等に、撮影画像中の被写体と背景とを高い確度で区別することができる、背景が青緑色の撮影画像が得られる。また、上記の色調整のための蛍光体粉末は発光色の輝度を低下させる傾向があるが、本実施形態における分散型ＥＬ素子１３２は、このような蛍光体粉末が未混合であるので分散型ＥＬ素子本来の輝度で発光することとなる。
電源１４は、分散型ＥＬ素子１３２に印加する交流電圧を、周波数について５０Ｈｚ〜１０ｋＨｚの間、大きさについて４０Ｖ〜３００Ｖの間で調整することができる。分散型ＥＬ素子１３２の発光の輝度は、印加される交流電圧の大きさにほぼ比例する。本実施形態の撮影スタジオ１０では、電源１４において、交流電圧が、周波数については１．２ｋＨｚ〜１．５ｋＨｚのうちのいずれかの周波数、大きさについては１３０Ｖ〜２００Ｖのうちのいずれかの大きさに調整されており、その結果、分散型ＥＬ素子１３２の発光の輝度が、５００ｃｄ／ｍ2〜６００ｃｄ／ｍ2のうちのいずれかの輝度に調整されている。
ここで、本実施形態の撮影スタジオ１０では、デジタルカメラ１１による撮影は、ＥＬパネル１３０が常時点灯した状態で行なわれる。また、上述したように、１回目の撮影は閃光発光装置１２が閃光を発した状態で行なわれ、２回目の撮影は閃光発光装置１２が消えた状態で行なわれる。さらに、この撮影スタジオ１０では、閃光発光装置１２が発する閃光の輝度は、ＥＬパネル１３０が点灯したときの輝度よりもかなり高い。この結果、１回目の撮影では、ＥＬパネル１３０の輝度よりも高い輝度の閃光が、デジタルカメラ１１側から被写体Ｐを照らすという順光状態での撮影による、被写体Ｐがきれいに写った順光撮影画像が取得される。また、この１回目の撮影に連続して行なわれる２回目の撮影では、ＥＬパネル１３０からの光のみが被写体Ｐを後方から照らすという逆光状態での撮影による、被写体Ｐの像がシャドウ側に偏り、背景パネル１３０の像がハイライト側に偏った逆光撮影画像が取得される。
パーソナルコンピュータ２０は、上述したように本発明の背景置換装置の第１実施形態として動作するものである。このパーソナルコンピュータ２０は、デジタルカメラ１１から渡された上記の２つの撮影画像に対して、上記の台形歪みについての補正を含む画像補正処理を施し、さらに、この補正済みの撮影画像に基づいて背景置換画像を作成するという背景置換処理を行なう。この画像補正処理と背景置換処理とについては後述する。
このパーソナルコンピュータ２０は、外観構成上、フレキシブルディスク（以降、ＦＤと呼ぶ）やＣＤ−ＲＯＭの装填口を有し、その装填口に装填されたＦＤやＣＤ−ＲＯＭへのアクセス機能を有する本体装置２１０、その本体装置２１０からの指示に応じて表示画面２２０ａ上に画像を表示する画像表示装置２２０、本体装置２１０にキー操作に応じた各種の情報を入力するキーボード２３０、表示画面２２０ａ上の任意の位置を指定することにより、その位置に表示された、例えばアイコン等に応じた指示を入力するマウス２４０、および、デジタルカメラ等で撮影画像の記憶に用いられる小型記憶メディアが装填され、その小型記憶メディアをアクセスするメディアドライブ２５０を備えている。
プリンタ３０は、パーソナルコンピュータ２０から送られてくる画像をプリントするものであり、撮影システム１では、パーソナルコンピュータ２０が背景置換処理によって作成した背景置換画像をプリントする役割を担っている。
サーバ４０には、パーソナルコンピュータ２０で実行される背景置換処理で使用される複数種類の背景が格納されている。このサーバ４０内の背景は、表示画面２２０ａ上に表示されることによって顧客に提示される。また、この撮影システム１では、サーバ４０内に格納されている背景以外にも、上記のＣＤ−ＲＯＭや上記の小型記憶メディア等といった何らかの入力用記憶媒体を介して提供される背景も、表示画面２２０ａを通じて顧客に提示される。顧客は、表示画面２２０ａ上に表示されたそれらの背景の中から所望の背景を選ぶ。
次に、この図１に示す撮影システム１で実行される、本発明の背景置換方法の一実施形態が適用された作業の流れについて説明する。尚、以下の説明では、図１に示す要素については特に図番を断らずに図１中の符号を使って参照する。
図２は、図１の撮影システムで実行される、本発明の背景置換方法の一実施形態が適用された作業の流れを示すフローチャートである。
この図２のフローチャートが示す作業は、撮影スタジオ１０において、被写体Ｐ、デジタルカメラ１１、および閃光発光装置１２がそれぞれ適当な位置に配置されていることを前提として行なわれる。
まず、電源１４から分散型ＥＬ素子１３２に電圧が印加され、ＥＬパネル１３０が点灯する（ステップＳ１０１）。次に、撮影者が、ピントや露光の調節等を行なった後にデジタルカメラ１１のシャッタボタンを押すと、被写体Ｐに対する撮影が２回連続して行なわれる。まず１回目の撮影では、デジタルカメラ１１から発信される指示信号に応じて閃光発光装置１２がＥＬパネル１３０の照明よりも高輝度の閃光を発し、この閃光による順光状態で被写体Ｐが撮影される（ステップＳ１０２）。続いて、２回目の撮影が、閃光発光装置１２が消灯した状態、即ち、ＥＬパネル１３０のみの照明による逆光状態で行なわれる（ステップＳ１０３）。ステップＳ１０２およびステップＳ１０３の処理でそれぞれ得られた、順光撮影画像と逆光撮影画像との２つの撮影画像は、デジタルカメラ１１内のメモリに一時的に保管される。
以上に説明したステップＳ１０１〜ステップＳ１０３の処理は、撮影スタジオ１０において行なわれる、写真館の店員等といった人手による撮影処理である。
次に、このフローチャートにおけるステップＳ１０４以降の処理について説明するが、この以下に説明する処理のうち、ステップＳ１０４からステップＳ１１０に至る処理が、本発明の背景置換方法の第１実施形態に相当する。
ステップＳ１０３の処理によって、２回目の撮影が行なわれ、その撮影で得られた撮影画像の、デジタルカメラ１１内のメモリへの保管が終了すると、２回の撮影で得られ、そのメモリに一時的に保管された２つの撮影画像が直ちにパーソナルコンピュータ２０に渡される。また、パーソナルコンピュータ２０に対する操作を受けて、顧客が所望する背景がサーバ４０あるいは何らかの入力用記憶媒体から読み出される。（ステップＳ１０４）。このステップＳ１０４で実行される撮影画像および背景の取得処理が、本発明の背景置換方法における画像取得過程の一例に相当する。
続いて、２つの撮影画像に、上記の台形歪みについての補正を含む後述の画像補正処理が施される。（ステップＳ１０５）。
さらに、この補正済みの撮影画像に基づいて背景置換画像を作成するという後述の背景置換処理が実行される（ステップＳ１０６）。ここで、このステップＳ１０４で実行される背景置換処理において、本発明の背景置換方法における領域区別過程と、背景置換過程との各一例が実行される。
次に、上記の背景置換処理（ステップＳ１０６）で作成された背景置換画像を表わす画像データが、まず画像表示装置２２０に転送され（ステップＳ１０７）、画像表示装置２２０において、上記の背景置換画像が、転送されてきた画像データに基づいて表示画面２２０ａ上に表示される（ステップＳ１０８）。また、この表示画面２２０ａ上には、パーソナルコンピュータ２０のオペレータに、現在表示されている背景置換画像について修正の必要があるか否かを問うメッセージが表示される（ステップＳ１０９）。このメッセージに対する回答が、修正が必要である旨を示すものであった場合（ステップＳ１０９におけるＹｅｓ判定）には、この背景置換画像に後述の画像修正が施される（ステップＳ１１０）。
以上に説明したステップＳ１０７からステップＳ１１０に至る処理は、オペレータが、表示画面２２０ａ上の背景置換画像について修正が必要で無い旨を伝える（ステップＳ１０９におけるＮｏ判定）まで繰り返される。本実施形態では、この処理により、最終的に自然な背景置換画像が作成される。そして、この最終的に作成された背景置換画像を表わす画像データが、プリンタ３０と、顧客が希望する出力用記憶媒体とのうちの少なくとも１つに転送される（ステップＳ１１１）。続いて、画像データがプリンタ３０に転送された場合には、プリンタ３０において、その画像データに基づいて背景置換画像がプリントされる（ステップＳ１１２）。
ここで、以上のステップＳ１０４からステップＳ１１０に至る本発明の背景置換方法の一実施形態の各処理の詳細については、本発明の背景置換装置の一実施形態の各部の作用と併せて説明する。
本発明の背景置換方法の一実施形態を含むステップＳ１０４〜ステップＳ１１１の処理は、パーソナルコンピュータ２０において実行される処理であり、以下では、これらの処理を実行するパーソナルコンピュータ２０と、それらの処理の詳細に注目して説明する。
まず、このパーソナルコンピュータ２０の内部構成について説明する。
図３は、図１に示すパーソナルコンピュータのハードウェア構成図である。
この図３に示すように、本体装置２１０の内部には、各種プログラムを実行するＣＰＵ２１１、ハードディスク装置２１３に格納されたプログラムが読み出されＣＰＵ２１１での実行のために展開される主メモリ２１２、各種プログラムやデータ等が保存されたハードディスク装置２１３、ＦＤ５２０が装填され、その装填されたＦＤ５２０をアクセスするＦＤドライブ２１４、ＣＤ−ＲＯＭ５１０をアクセスするＣＤ−ＲＯＭドライブ２１５、図１のサーバ４０やデジタルカメラ１１と接続され、これらの機器から置換用の背景や撮影画像等を受け取る入力インタフェース２１６、および、図１のプリンタ３０と接続され、背景置換画像等を出力する出力インタフェース２１７が内蔵されており、これらの各種要素と、さらに図１にも示す画像表示装置２２０、キーボード２３０、マウス２４０、および、小型記憶メディア５３０をアクセスするメディアドライブ２５０は、バス２６０を介して相互に接続されている。
ここで、上記のＣＤ−ＲＯＭ５１０は、パーソナルコンピュータ２０を、本発明の背景置換装置の一実施形態として動作させるための、本発明の背景置換プログラムの一実施形態が記憶される。
そして、そのＣＤ−ＲＯＭ５１０がＣＤ−ＲＯＭドライブ２１５に装填されると、そのＣＤ−ＲＯＭ５１０に記憶されたプログラムがこのパーソナルコンピュータ２０にアップロードされてハードディスク装置２１３に書き込まれる。これにより、パーソナルコンピュータ２０は背景置換装置として動作する。
次に、本発明の背景置換プログラムの一実施形態について説明する。
図４は、本発明の背景置換プログラムの一実施形態を示す概念図である。
図４に示すＣＤ−ＲＯＭ５１０は、本発明の背景置換プログラムの一実施形態である背景置換プログラム６００が記憶されたものである。
この背景置換プログラム６００は、画像取得部６１０、画像補正部６２０、置換処理部６３０、画像データ転送部６４０、画像表示部６５０、画像修正部６６０で構成されている。
この背景置換プログラム６００の各部の詳細については、本発明の背景置換装置の一実施形態の各部の作用と併せて説明する。尚、以下の説明では、図１、図３、および図４に示す要素については特に図番を断らずに各図中の符号を使って参照する。
図５は、図４に示す背景置換プログラムが図１および図３に示すパーソナルコンピュータにインストールされ、このパーソナルコンピュータが本発明の背景置換装置の一実施形態として動作するときの機能を表わす機能ブロック図である。また、この図５には、図１にも示す、デジタルカメラ１１、閃光発光装置１２、およびＥＬパネル１３０からなる撮影スタジオ１０と、プリンタ３０と、サーバ４０も示されている。
この図５に示す背景置換装置７００は、上述したように、撮影スタジオ１０のデジタルカメラ１１によって順光および逆光それぞれの下で撮影された順光撮影画像と逆光撮影画像とを取得して、これらの２つの撮影画像のうち、逆光撮影画像に基づいて、順光撮影画像における被写体と背景とを区別して、その背景を所望の背景に置換するという背景置換処理を実行するものであり、画像取得部７１０、画像補正部７２０、置換処理部７３０、画像データ転送部７４０、画像表示部７５０、および画像修正部７６０を備えている。
画像取得部７１０は、まず、デジタルカメラ１１で撮影され、そのデジタルカメラ１１から渡される２つの撮影画像を受け取る。また、この画像取得部７１０は、顧客が所望する背景を、サーバ４０から、あるいは、ＣＤ−ＲＯＭや小型記憶メディア等といった入力用記憶媒体５４０から読み出す。この画像取得部７１０は、実質的には、パーソナルコンピュータ２０のＣＰＵ２１１が、背景置換プログラム６００の画像取得部６１０に従って、入力インタフェース２１６、ＦＤドライブ２１４、ＣＤ−ＲＯＭドライブ２１５、およびメディアドライブ２５０を制御することによって構成される。この画像取得部７１０が、本発明の背景置換装置における画像取得部の一例に相当する。また、この画像取得部７１０によって、本発明の背景置換方法における画像取得過程の一例が実行される。
画像補正部７２０は、画像取得部７１０で受け取られた２つの撮影画像に、台形歪みについての補正を含む後述の画像補正処理を施すものであり、実質的には、パーソナルコンピュータ２０のＣＰＵ２１１が、背景置換プログラム６００の画像補正部６２０に従って動作することによって構成される。この画像補正部７２０の詳細については、画像補正処理の詳細とともに別図を参照して後述する。
置換処理部７３０は、画像補正部７２０での画像補正処理を経た２つの撮影画像に基づいて背景置換画像を作成するという後述の背景置換処理を行なうものであり、実質的には、パーソナルコンピュータ２０のＣＰＵ２１１が、背景置換プログラム６００の置換処理部６３０に従って動作することによって構成される。この画像補正部７２０の詳細については、背景置換処理の詳細とともに別図を参照して後述する。この置換処理部７３０が、本発明の背景置換装置における領域区別部と背景置換部とを兼ねた一例に相当する。
画像データ転送部７４０は、置換処理部７３０で作成された背景置換画像を表わす画像データを、プリンタ３０および顧客が希望する出力用記憶媒体５５０のうちの少なくとも一方と、この背景置換装置７００の画像表示部７５０とに転送する。この画像データ転送部７４０は、実質的には、パーソナルコンピュータ２０のＣＰＵ２１１が、背景置換プログラム６００の画像データ転送部６４０に従って、出力インタフェース２１７、ＦＤドライブ２１４、ＣＤ−ＲＯＭドライブ２１５、およびメディアドライブ２５０を制御することによって構成される。
画像表示部７５０は、画像データ転送部７４０から転送されてくる画像データに基づく背景置換画像を、表示画面２２０ａに表示するものであり、実質的には、パーソナルコンピュータ２０のＣＰＵ２１１が、背景置換プログラム６００の画像表示部６５０に従って画像表示装置２２０を制御することによって構成される。
画像修正部７６０は、画像表示部７５０において表示画面２２０ａに表示された背景置換画像に対して、この背景置換装置７００のオペレータからの操作を受けて後述の画像修正を施すものであり、実質的には、パーソナルコンピュータ２０のＣＰＵ２１１が、背景置換プログラム６００の画像修正部６６０に従って動作することによって構成される。この画像修正部７６０の詳細については別図を参照して後述する。この画像修正部７６０が、本発明の背景置換装置における画像修正部の一例に相当する。
また、上記の画像データ転送部７４０からプリンタ３０に、最終的に完成された背景置換画像を表わす画像データが出力された場合には、プリンタ３０において、この画像データに基づく背景置換画像がプリントされ、上記の画像データ転送部７４０から何らかの出力用記憶媒体５５０に背景置換画像を表わす画像データが出力された場合には、この画像データがその出力用記憶媒体５５０に書き込まれる。そして、背景置換画像がプリントされたプリント紙と、背景置換画像を表わす画像データが書き込まれた出力用記憶媒体５５０との両方、あるいは一方が、顧客の希望に応じて提供される。
次に、図５において、それぞれ１つのブロックで示されている画像補正部７２０および置換処理部７３０の詳細について以下に説明する。
先ず、画像補正部７２０について説明する。
図６は、図５に１つのブロックで示す画像補正部の詳細を示す図である。尚、以下の説明では、図５に示す要素については特に図番を断らずに図中の符号を使って参照する。
この図６に示す画像補正部７２０は、上述したように、画像取得部７１０で受け取られた順光撮影画像と逆光撮影画像とに、台形歪みについての補正を含む画像補正処理を実行するものであり、マーカ検出部７２１、台形補正処理部７２２、有効画像切出部７２３、および色補正部７２４を備えている。
以下では、この画像補正部７２０の各要素の作用について、上記の台形歪みが生じた順光撮影画像を例として参照しながら説明する。
図７は、台形歪みが生じた順光撮影画像の一例を示す模式図である。
この図７には、画像の幅が、下に向かうほど狭まる台形歪みが生じた撮影画像が模式的に示されている。
まず、マーカ検出部７２１が、撮影画像に写っている４つのマーカ１３１ｃを検出する。本来、これら４つのマーカ１３１ｂを結ぶと長方形が形成されるはずであるが、図７の例では台形歪みのために、４つのマーカ１３１ｂを結ぶと台形になってしまう。
台形補正処理部７２２は、マーカ検出部７２１が検出した４つのマーカ１３１ｃを結んでできる図形が本来の長方形となるように、撮影画像全体に適当な変形を施すことで台形歪みを補正する。
図８は、図７の順光撮影画像における台形歪みが補正された状態を示す模式図である。
背景置換処理に供する撮影画像としては、被写体と背景との区別の容易さ等の点から、背景がＥＬパネル１３０における発光面のみであることが望ましい。しかしながら、本実施形態では、撮影スタジオ１０について省スペース化が図られていることから、ＥＬパネル１３０の大きさに限界があり、撮影画像には、図７や図８に示すように、ＥＬパネル１３０の発光面以外の不要な部分が背景として写ってしまう。
有効画像作成部７２３は、台形補正処理部７２２による補正処理を経た撮影画像から、４つのマーカ１３１ｃで決まる有効範囲Ｅ１の外側の画像が削除された有効画像を作成する。
図９は、図８に示す、台形歪みが補正された順光撮影画像に基づいて作成された有効画像を示す模式図である。
有効画像作成部７２３によって、この図９に示すような、被写体Ｐの背景が、ＥＬパネル１３０の発光面のみである有効画像が作成されると、次に、色補正部７２４が、この有効画像に対して、例えば人物の目についての赤目補正や、画像全体の色合いを好ましい色合いに補正する等といった色補正処理を施す。
以上、図７〜図９の順光撮影画像を参照して、画像補正部７２０で行なわれる画像補正処理について説明したが、本実施形態では、順光撮影画像とともに撮影された逆光撮影画像にも、順光撮影画像に施された画像補正処理と全く同じ処理が施される。ただし、この逆光撮影画像では、被写体は黒くつぶれて写ることとなるので、上記の色補正部７２４での処理は、この逆光撮影画像に対しては除外される。
図１０は、図６の画像補正部によって画像補正処理が施された、補正済みの逆光撮影画像を示す模式図である。
この図１０に示すように、補正済みの逆光撮影画像は、被写体Ｐの領域がシャドウ側に偏り、背景としてＥＬパネル１３０が写っている領域がハイライト側に偏った画像となっている。ここで、上記の図７〜図９の順光撮影画像では、ＥＬパネル１３０の発光の輝度が閃光発光装置１２が発する閃光の輝度よりも低いため、ＥＬパネル１３０の発光面は実際の発光色よりも白っぽく写るのに対し、この図１０に示す逆光撮影画像では、ＥＬパネル１３０の実際の発光色である青緑色に写る。
このように、図１０に示す補正済みの逆光撮影画像では、被写体Ｐの領域と、背景領域とでは、明るさが大きく異なるので両者を容易に区別することができる。また、補正済みの逆光撮影画像では、画像中の被写体Ｐの位置や輪郭は、補正済みの順光撮影画像における被写体の位置や輪郭とほぼ同じになる。そこで、本実施形態では、図５の置換処理部７３０において、まず、補正済みの逆光撮影画像について被写体Ｐと背景との区別を行ない、その区別を補正済みの順光撮影画像にそのまま適用することで、この順光撮影画像における被写体Ｐと背景とを区別する。そして、この置換処理部７３０では、順光撮影画像における背景を、顧客が所望する背景と置換して背景置換画像を作成する。
次に、この置換処理部７３０の詳細について、補正済みの逆光撮影画像における被写体と背景との区別から、背景置換画像の作成に至る背景置換処理に注目して説明する。
ここで、以下の説明では、上記の補正済みの順光撮影画像および補正済みの逆光撮影画像それぞれの一例として、次の画像を参照する。
図１１は、補正済みの順光撮影画像の一例を示す図であり、図１２は、補正済みの逆光撮影画像の一例を示す図である。
これら図１１および図１２には、人物の被写体Ｐ’が写っている。ただし、図１２に示す撮影画像は、逆光で撮影されたものであるために、被写体Ｐ’の領域がシャドウ側に偏り、背景としてＥＬパネル１３０が写っている領域がハイライト側に偏った画像となっている。ここで、被写体Ｐ’と背景との境界周辺の様子を、図１１中のエリアＡ１と、この図１１中のエリアＡ１に対応する図１２中のエリアＡ２とについて別図に示す。
図１３は、図１１中のエリアＡ１の拡大図であり、図１４は、図１２中のエリアＡ２の拡大図である。
これら図１３および図１４には、被写体Ｐ’の頭髪越しに背景のＥＬパネル１３０が見えている様子が示されている。一般に、撮影画像中には、被写体の一部越しに背景が見えている部分がしばしば見られるが、このような部分は、図１１〜図１４の例に示すように、撮影画像中の被写体と背景との境界周辺に存在する。
ここで、図１３および図１４は、説明の便宜上、人物の頭髪の一本に至るまで詳細に見える理想的な状態で示されている。しかし、実際の撮影画像では、解像度の制約により、画像を構成する画素が一本の頭髪等といった微細な被写体よりも大きくなる。そのため、例えば、図１３および図１４に示す、頭髪越しに背景のＥＬパネル１３０が見えている部分の画像等は、頭髪という微細な被写体の色と、その背後に見える背景の色とが合成された合成色を有する画素が集まって構成されることとなる。そのため、このような部分では、被写体と背景との単純な区別は不可能となっている。
図５の置換処理部７３０は、例えば図１１に示すような、補正済みの順光撮影画像の背景を、顧客が所望する背景に置換する際には、まず、この補正済みの順光撮影画像を、被写体領域と、背景領域と、これら２つの領域に挟まれた境界領域とに区別する。置換処理部７３０は、この補正済みの順光撮影画像における被写体領域についてはそのまま残し、背景領域を、顧客が所望する別の背景と置換する。
このとき、図１３に示すように被写体の一部越しに背景が見えていている部分、即ち、微細な被写体色と背景色とが合成された合成色を有する画素によって構成される部分は、上記のように被写体と背景とに単純に区別することが不可能であることから、置換処理部７３０によって上記の境界領域に区別される。
置換処理部７３０は、補正済みの順光撮影画像における上記の境界領域内の全ての画素が、上記のような合成色を有しているという前提のもとに、各画素の色の合成の元となった被写体色と、背景色とを推定し、さらに両者の合成比を推定する。ただし、実際の境界領域には、合成色を有する画素の他にも、背景色のみを有する画素や、被写体色のみを有する画素も含まれる。置換処理部７３０では、処理対象の画素が、背景色のみを有する画素である場合には、その画素の色に占める被写体色の割合が「０」となる合成比が推定され、処理対象の画素が、被写体色のみを有する画素である場合には、その画素の色に占める被写体色の割合が「１」となる合成比が推定される。
そして、置換処理部７３０は、上記の境界領域内の各画素の色を、推定された被写体色と、上記の顧客が所望する別の背景色とが、推定された合成比で合成されてなる合成色に置き換える。この処理では、境界領域中の、背景色のみを有する画素の色は上記の別の背景色に置換され、被写体色のみを有する画素の色はそのまま維持され、さらに、被写体の一部越しに背景が見えていている部分の画素の色は上記の合成色に置換される。この処理の結果、境界領域中に、被写体の一部越しに背景が見えていている部分が含まれていたとしても、その被写体の一部越しに、上記の顧客が所望する別の背景が見えているという自然な背景置換画像が作成される。
以下、この置換処理部７３０の詳細について説明する。
図１５は、図５に１つのブロックで示す置換処理部の詳細を示す図である。尚、以下の説明でも、図５に示す要素については特に図番を断らずに図５中の符号を使って参照する。
この置換処理部７３０は、上述した背景置換処理を実行するものであり、マスク作成部７３１、色推定部７３２、および背景置換画像作成部７３３を備えている。ここで、マスク作成部７３１が本発明の背景置換装置における領域区別部の一例に相当し、色推定部７３２と背景置換画像作成部７３３とを合わせたものが、本発明の背景置換装置における背景置換部の一例に相当する。また、マスク作成部７３１によって、本発明の背景置換方法における領域区別過程の一例が実行され、色推定部７３２と背景置換画像作成部７３３とを合わせたものによって、本発明の背景置換方法における背景置換過程の一例が実行される。
まず、これら各構成要素の概要について説明する。
マスク作成部７３１は、上記の補正済みの逆光撮影画像において、この逆光撮影画像中で、被写体色の画素のみが存在する範囲を定義する被写体マスクと、背景色の画素のみが存在する範囲を定義する背景マスクとを作成する。ここで、これら２つのマスクは、それぞれのマスクが定義する範囲内に、例えば図１４に示すような、被写体越しに背景が見えている部分の画素が含まれないように、互いに隙間を開けて作成される。
色推定部７３２は、マスク作成部７３１が作成した被写体マスクと背景マスクとを、上記の補正済みの順光撮影画像に適用して、まず、この順光撮影画像において、これら２つのマスク間に開いた隙間、即ち、境界領域を認識する。そして、この境界領域内の全ての画素の色が被写体色と背景色との混合色であるという前提のもとに、各画素の色を構成している被写体色と、背景色とを推定し、さらに両者の合成比を推定する。
背景置換画像作成部７３３は、まず、上記の補正済みの順光撮影画像において、被写体マスクで定義される領域についてはそのまま残し、背景マスクで定義される領域を、顧客が所望する別の背景と置換する。次に、境界領域内の各画素について、顧客が所望する背景の色と、上記の色推定部７３２で推定された被写体色とを、色推定部７３２で推定された合成比で合成して合成色を求め、各画素の色をその合成色に置換する。これにより、上記の補正済みの順光撮影画像の背景が、顧客が所望する別の背景に自然に置換された背景置換画像が作成される。
このように作成された背景置換画像を表わす画像データが、図５の画像データ転送部７４０から、各出力デバイスや出力用記憶媒体５５０（図５参照）に転送される。
次に、置換処理部７３０の各構成要素の詳細について説明する。
まず、マスク作成部７３１の詳細について説明する。
図１６は、図１５に１つのブロックで示すマスク作成部の詳細を示す図である。
このマスク作成部７３１は、ヒストグラム作成部７３１ａ、閾値計算部７３１ｂ、背景マスク設定部７３１ｃ、被写体マスク設定部７３１ｄ、背景マスク縮小部７３１ｅ、および被写体マスク縮小部７３１ｆを備えている。
ヒストグラム作成部７３１ａは、上記の補正済みの逆光撮影画像を構成する各画素の明るさについてのヒストグラムを作成する。
図１７は、補正済みの逆光撮影画像を構成する各画素の明るさについてのヒストグラムの様々な例を示す図である。
この図１７のパート（ａ）には、逆光撮影画像を構成する各画素の輝度を、多数の輝度範囲に振り分け、各輝度範囲についてどれだけの画素が振り分けられたかを頻度で示した輝度ヒストグラムＨ１が示されており、この輝度ヒストグラムＨ１では、横軸Ｈ１＿１に輝度がとられ、縦軸Ｈ１＿２に頻度がとられている。
ここで、本実施形態では上記の順光撮影画像および逆光撮影画像は、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）の３色で色を定義するＲＧＢ色空間上の座標、即ち、このＲＧＢ色空間におけるＲ値、Ｇ値、およびＢ値で各画素の色が表わされている。各画素の色を表わすＲ値、Ｇ値、およびＢ値それぞれには、その画素の明るさが反映されているので、逆光撮影画像を構成する各画素の明るさについてのヒストグラムを、これらＲ値、Ｇ値、およびＢ値のうちのいずれかを用いて作成することもできる。
図１７のパート（ｂ）には、逆光撮影画像を構成する各画素のＲ値を、Ｒ値の多数の範囲に振り分け、各範囲についてどれだけの画素が振り分けられたかを頻度で示したＲ値ヒストグラムＨ２が示されており、図１７のパート（ｃ）には、逆光撮影画像を構成する各画素のＧ値を、Ｇ値の多数の範囲に振り分け、各範囲についてどれだけの画素が振り分けられたかを頻度で示したＧ値ヒストグラムＨ３が示されており、図１７のパート（ｄ）には、逆光撮影画像を構成する各画素のＢ値を、Ｂ値の多数の範囲に振り分け、各範囲についてどれだけの画素が振り分けられたかを頻度で示したＢ値ヒストグラムＨ４が示されている。図１７のパート（ｂ）に示すＲ値ヒストグラムＨ２では、横軸Ｈ２＿１にＲ値がとられ、図１７のパート（ｃ）に示すＧ値ヒストグラムＨ３では、横軸Ｈ３＿１にＧ値がとられ、図１７のパート（ｄ）に示すＢ値ヒストグラムＨ４では、横軸Ｈ４＿１にＢ値がとられている。また、これら３つのヒストグラムの縦軸Ｈ２＿２，Ｈ３＿２，Ｈ４＿２には、頻度がとられている。
本実施形態では、逆光撮影画像では、被写体の背景が、ＥＬパネル１３０の発光色である青緑色に写ることから、この逆光撮影画像の各画素の明るさは、Ｒ値、Ｇ値、およびＢ値のうち、Ｇ値に最も良く反映される。そこで、図１６のヒストグラム作成部７３１ａは、図１７に示す４つのヒストグラムのうち、図１７のパート（ｃ）に示すＧ値ヒストグラムＨ３を作成するように構成されている。
ここで、このＧ値ヒストグラムＨ３には、他の３つのヒストグラムと同様に、シャドウ側と、ハイライト側とに２つのピークＰｋ１，Ｐｋ２が現れる。シャドウ側のピークＰｋ１は、補正済みの逆光撮影画像における被写体領域の画素が振り分けられて現れるものであり、ハイライト側のピークＰｋ２は、この逆光撮影画像における背景領域の画素が振り分けられて現れるものである。
図１６に示す閾値計算部７３１ｂは、このヒストグラム作成部７３１ａが作成したＧ値ヒストグラムにおける２つのピークＰｋ１，Ｐｋ２それぞれに基づいて、次の２つの閾値を計算する。図１７のパート（ｃ）に示すようにシャドウ側のピークＰｋ１からは、このピークＰｋ１において、頻度が所定頻度以上となるＧ値の上限である第１の閾値Ｓｒ１が計算される。また、ハイライト側のピークＰｋ２からは、このピークＰｋ２において、頻度が所定頻度以上となるＧ値の下限である第２の閾値Ｓｒ２が計算される。
そして、図１６に示す被写体マスク設定部７３１ｃは、上記の補正済みの逆光撮影画像を構成する複数の画素のうち、Ｇ値が第１の閾値Ｓｒ１以下となる画素からなる領域を初期被写体マスクに設定し、背景マスク設定部７３１ｄは、Ｇ値が第２の閾値Ｓｒ２以上となる画素からなる領域を初期背景マスクに設定する。
このように、本実施形態では、ヒストグラム作成部７３１ａが作成したＧ値ヒストグラムＨ３における２つのピークＰｋ１，Ｐｋ２それぞれに基づいて２種類のマスクが設定される。ここで、これら２種類のマスクが正確に設定されるには、上記の２つのピークそれぞれがなるべく急峻であることが望ましい。ところが、本実施形態とは異なり、撮影スタジオ内が定常的な照明で照らされている等といった状態では、逆光撮影画像が全体的に明るい画像となってしまい、Ｇ値ヒストグラムにおける２つの急峻なピークが得られなくなる可能性がある。
以下、このような明るい撮影スタジオに対しても２つの急峻なピークが得られる、本実施形態において作成されるヒストグラムとは別のヒストグラムについて説明する。
図１８は、図１７に示す例とは異なるヒストグラムの例を示す図である。
この図１８に示すヒストグラムＨ５は、図１７に示す例とは異なり、上記の補正済みの順光撮影画像と補正済みの逆光撮影画像との双方が使われて、以下のように作成されるものである。まず、これら２つの撮影画像の間で互いに対応する位置にある画素の組全てについて、各組をなす画素相互間の輝度の比率が算出される。そして、各組について算出された輝度の比率が、多数の範囲に振り分けられ、各範囲についてどれだけの組が振り分けられたかが頻度で示されることでヒストグラムＨ５が作成される。この比率のヒストグラムＨ５では、横軸Ｈ５＿１に輝度の比率がとられ、縦軸Ｈ５＿２に頻度がとられている。この各組をなす画素相互間の輝度の比率が、本発明にいう「複数の撮影画像の相互間における明るさの比率」の一例に相当する。
ここで、撮影スタジオにおける、閃光発光装置による閃光の輝度をＬｓ、撮影スタジオ内に定常的に存在している明るい照明の輝度をＬｔ、被写体上あるいはＥＬパネル上の撮影画像中の各画素に相当する位置の反射率をＲｉ、ＥＬパネルによる発光光の輝度をＬｅとすると、この撮影スタジオでの撮影で得られた順光撮影画像と逆光撮影画像とに基いて算出される上記の輝度の比率は以下の式で表わされる。
撮影画像中の被写体領域に相当する画素についての輝度の比率をＮ１とすると、その輝度の比率は次のようになる。
Ｎ１＝（Ｒｉ×Ｌｔ）／（Ｒｉ×（Ｌｓ＋Ｌｔ））＝Ｌｔ／（Ｌｓ＋Ｌｔ）……（１）
この（１）式から、被写体領域内の輝度の比率は、被写体領域内の位置に寄らず、撮影スタジオ内の各装置の仕様に基いて決まる一定値になることがわかる。
また、撮影画像中の背景領域に相当する画素についての輝度の比率をＮ２とすると、その輝度の比率は次のようになる。
Ｎ２＝（Ｒｉ×Ｌｔ＋Ｌｅ）／（Ｒｉ×（Ｌｓ＋Ｌｔ）＋Ｌｅ）……（２）
この（２）式において、Ｒｉは、ＥＬパネルにおける反射率となるが、ＥＬパネル上では反射率は位置に寄らずほぼ一定となるので、この（２）式から、背景領域内の輝度の比率も、背景領域内の位置によらず、撮影スタジオ内の各装置の仕様に基いて決まる一定値になることがわかる。
ただし、被写体領域内の輝度の比率と背景領域内の輝度の比率との間には、ＥＬパネルによる発光光の輝度（Ｌｅ）に起因する差がある。その結果、この比率のヒストグラムＨ５には、図１８に示すように、被写体領域と背景領域とのそれぞれに対応する２つの急峻なピークＰｋ３，Ｐｋ４が現れることとなる。ここで、順光撮影画像と逆光撮影画像との相互間では、被写体領域における輝度の違いが、背景領域における輝度の違いよりも大きくなるので、図１８に示すヒストグラムＨ５では、低比率側のピークＰｋ３が背景領域に対応し、高比率側のピークＰｋ４が被写体領域に対応する。
このように、図１８に示すヒストグラムＨ５では、撮影スタジオ内に定常的に明るい照明が存在していたとしても、２つの急峻なピークが必ず現れる。また、その定常的な照明の輝度が変わったとしても、各ピークの位置が変わるだけで急峻さは変化しないことが上記の（１）式と（２）式とからわかる。
以上で、この輝度の比率のヒストグラムについての説明を終了し、図１７に至る本実施形態の撮影システム１についての説明に戻る。
上述したように、本実施形態では、図１７のパート（ｃ）に示すＧ値ヒストグラムＨ３における２つのピークＰｋ１，Ｐｋ２それぞれに基づいて初期被写体マスクと初期背景マスクとが設定される。
図１９は、図１４に示す逆光撮影画像の拡大図において、初期被写体マスクに設定された領域と初期背景マスクに設定された領域を示す図である。
この図１９における右側のハッチング部分は、図１４の拡大図において被写体Ｐ’の頭髪が、背景が見えないほどに集まっていて、逆光撮影によってシャドウ側に大きく偏って写っている部分であり、その部分の画素のＧ値が上記の第１の閾値Ｓｒ１を下回っている。その結果、この図１８における右側のハッチング部分は、被写体マスク設定部７３１ｃによって初期被写体マスクＭ１に設定される。
また、図１９における左側のハッチング部分は、図１４の拡大図において背景のＥＬパネル１３０のみが写っている、ハイライト側に大きく偏った部分であり、その部分の画素のＧ値は上記の第２の閾値Ｓｒ２を上回っている。その結果、この図１９における左側のハッチング部分は、背景マスク設定部７３１ｄによって初期背景マスクＭ２に設定される。
一方、図１９において左右いずれのハッチング部分にも属していない部分は、頭髪越しに背景が見えている部分であり、その部分のＧ値は、上記の第１の閾値Ｓｒ１を上回り、上記の第２の閾値Ｓｒ２を下回る。その結果、この図１９において左右いずれのハッチング部分にも属していない部分は、初期被写体マスクＭ１と初期背景マスクＭ２との間にあって、両方のマスクの外側となる境界領域Ｍ３として残される。
図２０は、図１９に示す初期被写体マスクと初期背景マスクとを示す図であり、図２１は、初期被写体マスクと初期背景マスクとを、図１１に示す補正済みの順光撮影画像全体に重ねて示した図である。
図２０および図２１に示すように、初期被写体マスクＭ１と初期背景マスクＭ２とはかなり接近しており、境界領域Ｍ３が非常に狭くなっている。ここで、上述したように、補正済みの逆光撮影画像では、画像中の被写体の位置や輪郭は、補正済みの順光撮影画像における被写体の位置や輪郭とほぼ同じになる。しかし、撮影のタイミングが若干ずれているため、２つの撮影画像の間で、被写体の位置や輪郭が若干ずれる可能性もある。そのような場合には、境界領域Ｍ３が狭いと、補正済みの順光撮影画像において、図１３に示すような、被写体の一部を透かして背景が見えている部分が境界領域Ｍ３に完全には含まれず、２つのマスクのいずれか一方に含まれてしまう恐れが生じる。このような初期被写体マスクＭ１と、初期背景マスクＭ２とに基づいて、背景の置換が行なわれると、被写体の一部を透かして背景が見えている部分に、古い背景が残ってしまったり、あるいは、そのような部分が全て新しい背景に置換されて、被写体の一部が欠けてしまったりするという問題が発生してしまう恐れがある。
このような問題を回避するために、本実施形態では、図１６に示す被写体マスク縮小部７３１ｅによって初期被写体マスクＭ１を境界領域Ｍ３から離れる方向に縮小し、背景マスク縮小部７３１ｆによって初期背景マスクＭ２を境界領域Ｍ３から離れる方向に縮小する。これにより、境界領域Ｍ３が広げられ、被写体の一部を透かして背景が見えている部分が境界領域Ｍ３により多く含まれるようになる。
図２２は、図２０に示す初期被写体マスクと初期背景マスクとが、それぞれ境界領域から離れる方向に縮小される様子を示す図である。
この図２２に示すように、初期被写体マスクＭ１の輪郭Ｌ１が所定数の画素分だけ、境界領域Ｍ３から離れる方向に移動されることによって初期被写体マスクＭ１が縮小され、同様に、初期背景マスクＭ２の輪郭Ｌ２が所定数の画素分だけ、境界領域Ｍ３から離れる方向に移動されることによって初期背景マスクＭ２が縮小される。ここで、本実施形態では、２つのマスクの輪郭の移動量として５画素が採用されている。このようなマスクの縮小を経て、最終的な被写体マスクＭ１’および背景マスクＭ２’が完成される。
図２３は、最終的に完成された被写体マスクと背景マスクとを、図１１に示す補正済みの順光撮影画像全体に重ねて示した図である。
最終的に完成された被写体マスクＭ１’と背景マスクＭ２’との間、即ち、最終的な境界領域Ｍ３’は、図２１に示す境界領域Ｍ３に比べて１０画素分広くなっており、図２３に示すように、この最終的な境界領域Ｍ３’に、被写体の一部を透かして背景が見えている部分がかなり含まれることとなる。ここで、上記の最終的に完成された背景マスクＭ２’で定義される領域が、本発明にいう「撮影画像中の背景領域」の一例に相当し、上記の最終的に完成された被写体マスクＭ１’で定義される領域と上記の最終的な境界領域Ｍ３’とを合わせた領域が本発明にいう「撮影画像中の上記背景領域を除く他の領域」の一例に相当する。
以上で、図１５の置換処理部７３０が備えるマスク作成部７３１についての説明を終了し、次に、この置換処理部７３０が備える色推定部７３２の詳細について説明する前に、本実施形態のマスク作成部７３１とは別の、本実施形態とは異なる方法で背景マスクと被写体マスクを作成するマスク作成部について説明する。
例えば、図１に示す撮影スタジオ１０では、ＥＬパネル１３０とデジタルカメラ１１との相対的な位置関係によっては、撮影画像中において、ＥＬパネル１３０が、被写体Ｐの足元に近い下方では上方よりも暗く写ってしまい、マスクの作成に使う補正済みの逆光撮影画像において明るさが高さ方向に不均一になってしまう場合がある。そのような場合には、図１７に示したヒストグラムの背景領域に対応するピークが分散されてしまい、正確な背景マスクの作成が困難となってしまうことがある。以下に説明する、本実施形態のマスク作成部７３１とは別のマスク作成部は、このような事態に対処できるものである。
図２４は、本実施形態のマスク作成部７３１とは別のマスク作成部を示す図である。
この別のマスク作成部７３１’は、画像分割部７３１ａ’、ヒストグラム作成部７３１ｂ’、閾値計算部７３１ｃ’、被写体マスク設定部７３１ｄ’、背景マスク設定部７３１ｅ’、被写体マスク縮小部７３１ｆ’、背景マスク縮小部７３１ｇ’、被写体マスク合成部７３１ｈ’、および背景マスク合成部７３１ｉ’を備えている。
画像分割部７３１ａ’は、上記の補正済みの逆光撮影画像を次のように分割する。
図２５は、補正済みの逆光撮影画像が分割された様子を示す図である。
この図２５には、補正済みの逆光撮影画像が高さ方向に３分割された状態が示されている。上述したように、補正済みの逆光撮影画像における明るさの不均一は、画像の高さ方向に現れる。従って、高さ方向の分割で得られる３つの小領域Ａｒ１，Ａｒ２，Ａｒ３それぞれの内部では、比較的、明るさが均一になっている。
図２４に示すヒストグラム作成部７３１ｂ’は、このような３つの小領域Ａｒ１，Ａｒ２，Ａｒ３それぞれについてヒストグラムの作成を行なう。
図２６は、図２５に示す３つの小領域Ａｒ１，Ａｒ２，Ａｒ３それぞれについて作成されるヒストグラムの一例を示す図である。
図２６のパート（ａ）には、図２５における最上段の小領域Ａｒ１に対応するＧ値のヒストグラムＨ６が示され、パート（ｂ）には、図２５における中段の小領域Ａｒ２に対応するＧ値のヒストグラムＨ７が示され、パート（ｃ）には、図２５における最下段の小領域Ａｒ３に対応するＧ値のヒストグラムＨ８が示されている。この図２６に示すように、３つの小領域Ａｒ１，Ａｒ２，Ａｒ３それぞれについて作成されるヒストグラムでは、背景領域に対応するピークが、ハイライト側に判別可能な急峻さで現れる。
図２４に示す閾値計算部７３１ｃ’は、これら図２６に示す３つのヒストグラムそれぞれについて、上述したような、被写体領域を他の領域から区別するための閾値と背景領域を他の領域から区別するための閾値とを計算する。
さらに、被写体マスク設定部７３１ｄ’および背景マスク設置部７３１ｅ’それぞれは、３つの小領域Ａｒ１，Ａｒ２，Ａｒ３それぞれについて、閾値計算部７３１ｃ’で算出された閾値を用いて上述したような初期被写体マスクおよび初期背景マスクの設定を行なう。また、被写体マスク縮小部７３１ｆ’および背景マスク縮小部７３１ｇ’それぞれは、３つの小領域Ａｒ１，Ａｒ２，Ａｒ３それぞれについて設定された初期被写体マスクおよび初期背景マスクを縮小して、上述したような被写体マスクおよび背景マスクを作成する。
被写体マスク合成部７３１ｈ’は、３つの小領域Ａｒ１，Ａｒ２，Ａｒ３それぞれについて作成された被写体マスクを合成して、逆光撮影画像全体に対応する最終的な被写体マスクを完成する。同様に、背景マスク合成部７３１ｉ’も、３つの小領域Ａｒ１，Ａｒ２，Ａｒ３それぞれについて作成された背景マスクを合成して、逆光撮影画像全体に対応する最終的な背景マスクを完成する。
以上に説明した別のマスク作成部７３１’によれば、補正済みの逆光撮影画像を比較的明るさが均一な小領域に分割し、各小領域について被写体マスクと背景マスクを作成した後に各マスクを合成して最終的な被写体マスクと背景マスクを完成する。このような処理により、マスクの作成に使う補正済みの逆光撮影画像において明るさが高さ方向に不均一になっていたとしても、正確なマスクの作成が可能となる。尚、ここでは、補正済みの逆光撮影画像を小領域に分割するときの分割数の例として、分割数が３つである例を示したが、この分割数は３つ以外であっても良い。
以上で別のマスク作成部７３１’の説明を終了し、再度、図１５の置換処理部７３０についての説明に戻り、この置換処理部７３０が備える色推定部７３２の詳細について説明する。
図２７は、図１５に１つのブロックで示す色推定部の詳細を示す図である。
この色推定部７３２は、背景色推定部７３２ａ、被写体色推定部７３２ｂ、および合成比推定部７３２ｃを備えている。
まず、背景色推定部７３２ａについて説明する。
図２８は、図２７に１つのブロックで示す背景色推定部の詳細を示す図である。
この背景色推定部７３２ａは、補正済みの順光撮影画像における、上記の最終的な境界領域内の各画素について、その画素の色を構成している背景色を推定するものであり、探索範囲設定部７３２ａ＿１、背景領域確認部７３２ａ＿２、および背景色計算部７３２ａ＿３を備えている。
この背景色推定部７３２ａは、境界領域内のある画素について背景色を推定する際には、背景マスクで定義される領域内の画素の中から、ある程度その画素の近くに位置する複数の画素を探索し、探索された複数の画素の色の平均色を、その画素についての背景色として求める。
探索範囲設定部７３２ａ＿１は、背景色を推定する画素を中心とした正方形状の探索範囲を次のように設定する。
図２９は、ある画素について背景色を推定する際に、その画素を中心に探索範囲が設定される様子を示す図である。
境界領域内のある画素Ｇについて探索範囲を設定するに当たり、探索範囲設定部７３２ａ＿１は、まず、この画素Ｇを中心とした正方形状の所定の初期範囲Ｔ１から出発して徐々に探索範囲を拡張する。そして、探索範囲設定部７３２ａ＿１は、背景マスクＭ２’で定義される領域の画素が、所定数を超えて探索範囲に含まれるようになったところで拡張を止め、そのときの探索範囲Ｔ１’を、背景色推定のための探索範囲として設定する。
探索範囲が設定されると、図２４に示す背景領域確認部７３２ａ＿２が、画素Ｇについて背景色を推定するために用いる領域として、補正済みの順光撮影画像における次の領域を確認する。
図３０は、ある画素について背景色を推定するために用いられる領域の一例を示す図である。
この図３０に示すように、画素Ｇについて背景色を推定するために用いられる領域として、補正済みの順光撮影画像において、背景マスクで定義される領域であり、かつ探索範囲設定部７３２ａ＿１によって設定された探索範囲Ｔ１’内となる領域Ｂ１が確認される。
このように、画素Ｇについて背景色を推定するために用いられる領域Ｂ１が確認されると、図２８に示す背景色計算部７３２ａ＿３が、この領域Ｂ１内の複数の画素の平均色、即ち、複数の画素のＲ値、Ｇ値、およびＢ値それぞれの平均値を計算する。そして、その計算結果が表わす色を、その画素Ｇについての背景色として採用する。
以上に説明した背景色推定部７３２ａは、上記の探索範囲の設定から平均色の計算に至るまでの処理を、補正済みの順光撮影画像における境界領域内の全ての画素について実行する。
次に、図２７に示す被写体色推定部７３２ｂについて説明する。
図３１は、図２７に１つのブロックで示す被写体色推定部の詳細を示す図である。
この被写体色推定部７３２ｂは、補正済みの順光撮影画像における、上記の最終的な境界領域内の各画素について、その画素の色を構成している被写体色を推定するものであり、探索範囲設定部７３２ｂ＿１、被写体領域確認部７３２ｂ＿２、画素色確認部７３２ｂ＿３、および被写体色探索部７３２ｂ＿４を備えている。
この被写体色推定部７３２ｂは、境界領域内のある画素について被写体色を推定する際には、被写体マスクで定義される領域内の画素の中から、ある程度その画素の近くに位置する複数の画素を探索し、探索された複数の画素の色の中から、後述の探索方法によって、その画素についての被写体色を探索する。
探索範囲設定部７３２ｂ＿１は、被写体色を推定する画素を中心とした正方形状の探索範囲を次のように設定する。
図３２は、ある画素について被写体色を推定する際に、その画素を中心に探索範囲が設定される様子を示す図である。
境界領域内のある画素Ｇについて探索範囲を設定するに当たり、探索範囲設定部７３２ｂ＿１は、まず、この画素Ｇを中心とした正方形状の所定の初期範囲Ｔ２から出発して徐々に探索範囲を拡張する。そして、探索範囲設定部７３２ｂ＿１は、被写体マスクＭ１’で定義される領域の画素が、所定数を超えて探索範囲に含まれるようになったところで拡張を止め、そのときの探索範囲Ｔ２’を、被写体色推定のための探索範囲として設定する。
探索範囲が設定されると、図３１に示す被写体領域確認部７３２ｂ＿２が、画素Ｇについて被写体色を推定するために用いる領域として、補正済みの順光撮影画像における次の領域を確認する。
図３３は、ある画素について被写体色を推定するために用いられる領域の一例を示す図である。
この図３３に示すように、画素Ｇについて被写体色を推定するために用いられる領域として、補正済みの順光撮影画像において、被写体マスクで定義される領域であり、かつ探索範囲設定部７３２ｂ＿１によって設定された探索範囲Ｔ２’内となる領域Ｂ２が確認される。
このように、画素Ｇについて被写体色を推定するために用いられる領域Ｂ２が確認されると、まず、図３１に示す画素色確認部７３２ｂ＿３が、その画素Ｇの色を確認し、次に、図３１に示す被写体色探索部７３２ｂ＿４が、上記の領域Ｂ２内の複数の画素の色の中から、以下のような探索方法によって、その画素Ｇについての被写体色を探索する。
図３４は、補正済みの順光撮影画像における境界領域内のある画素について被写体色を探索する際の探索方法を示す図である。
図３４には、補正済みの順光撮影画像における境界領域内のある画素について、図２７の背景色推定部７３２ａで推定された背景色Ｃ１と、図２７の画素色確認部７３２ｂ＿３で確認されたその画素の色Ｃ２とを、ＲＧＢ色空間上で結ぶ直線ＣＬ１が示されている。
上述したように、補正済みの順光撮影画像における境界領域内の画素の色は、撮影時に被写体の一部越しに背景が見えて、背景色と被写体色とが合成された合成色となっている可能性がある。仮に、今、被写体色を探索しようとしている画素の色がこのような合成色となっている場合には、合成色である画素の色Ｃ２と、その色Ｃ２の元となった背景色Ｃ１と被写体色とはＲＧＢ色空間上の直線上に並ぶ。
そこで、図３１に示す被写体色探索部７３２ｂ＿４は、まず、上記の領域Ｂ２内の複数の画素の色の中から、上記の直線ＣＬ１の延長線上に並ぶ色Ｃ３を探索する。
このような色Ｃ３が複数存在する場合には、この直線ＣＬ１の延長線上で、画素の色Ｃ２に最も近い色が、背景色Ｃ１とともにその画素の色Ｃ２の元となった可能性が最も高い。そこで、被写体色探索部７３２ｂ＿４は、上記の直線ＣＬ１の延長線上に並ぶ色Ｃ３が複数存在する場合には、これらの色Ｃ３の中から、画素の色Ｃ２に最も近い色を、この画素についての被写体色Ｃ４として採用する。
以上に説明した被写体色推定部７３２ｂは、上記の探索範囲の設定から被写体色の探索に至るまでの処理を、補正済みの順光撮影画像における境界領域内の全ての画素について実行する。
以上で、図２７に示す被写体色推定部７３２ｂについての説明を終了し、次に、この図２７に示す合成比推定部７３２ｃについて説明する。尚、この合成比推定部７３２ｃについての説明では上記の図３４を参照する。
この合成比推定部７３２ｃは、図３４に示すように、背景色推定部７３２ａで推定された背景色Ｃ１と、被写体色推定部７３２ｂで推定された被写体色Ｃ４とを、ＲＧＢ色空間上で結ぶ線分の長さに対する、背景色Ｃ１と、その画素の色Ｃ２とを結ぶ線分の長さの割合を、背景色Ｃ１と被写体色Ｃ４とで画素の色Ｃ２を合成するときの合成比αとして算出する。また、この合成比推定部７３２ｃは、このような合成比αの算出を、補正済みの順光撮影画像における境界領域内の全ての画素について実行する。
以上で、図１５の置換処理部７３０が備える色推定部７３２の詳細についての説明を終了し、次に、この置換処理部７３０が備える背景置換画像作成部７３３の詳細について説明する。
この背景置換画像作成部７３３は、上述したように、まず、上記の補正済みの順光撮影画像において、被写体マスクで定義される領域についてはそのまま残し、背景マスクで定義される領域を、顧客が所望する別の背景と置換する。
そして、この背景置換画像作成部７３３は、境界領域内の各画素については、顧客が所望する背景の色と、色推定部７３２で推定された被写体色とを、色推定部７３２で推定された合成比で合成して合成色を求める。
図３５は、補正済みの順光撮影画像における境界領域内のある画素について合成色が求められる様子を示す図である。
この図３５には、ＲＧＢ色空間上で、推定された背景色Ｃ１と、その画素の色Ｃ２と、推定された被写体色Ｃ４とを結ぶ、図３４にも示した直線ＣＬ１が示されている。ここで、画素の色Ｃ２は、背景色Ｃ１と被写体色Ｃ４とを結ぶ直線を、合成比α：（１−合成比α）で分割する点であるといえる。そこで、背景置換画像作成部７３３は、この図３１に示すように、別の背景色Ｃ５と、推定された被写体色Ｃ４とを結ぶ直線ＣＬ２を、合成比α：（１−合成比α）で分割する点を合成色Ｃ６として採用する。
この図３５を参照して説明した方法で、境界領域内の全ての画素について合成色が求められると、背景置換画像作成部７３３は、この全ての画素の色を、各画素について求められた合成色に置換することにより、補正済みの順光撮影画像の背景が、顧客が所望する別の背景に置換された背景置換画像を完成させる。
ここで、補正済みの順光撮影画像における境界領域内には、図２３等からもわかるように、被写体の一部越しに背景が見えている部分以外にも、被写体のみで占められた部分や、背景のみで占められた部分も含まれる。被写体のみで占められた部分の画素の色は被写体そのものの色であり、背景が別の背景に置換されたとしても、その画素の色は維持される必要がある。また、背景のみで占められた部分の画素の色は背景そのものの色であり、背景が別の背景に置換されたときには、その画素の色は、その別の背景色に完全に置換される必要がある。
本実施形態では、背景色や被写体色や合成比の推定対象の画素が、被写体のみで占められた部分の画素であった場合には、図３３に示す領域Ｂ２のような、その画素について被写体色を推定するために用いられる領域内のほとんどの画素の色が、推定対象の画素の色と同じ被写体そのものの色となる。その結果、このような画素については、合成比αがほぼ「１」となり、背景が置換される際には、この合成比αに基づいて合成色が求められるので、その画素の色である被写体そのものの色が維持される。
一方、背景色や被写体色や合成比の推定対象の画素が、背景のみで占められた部分の画素であった場合には、その画素の色が、その画素について推定される背景色と同じ背景そのものの色となる。その結果、このような画素については、合成比αがほぼ「０」となり、背景が置換される際には、この合成比αに基づいて、その画素の色は、別の背景色に完全に置換されることとなる。
結局、本実施形態では、背景色や被写体色や合成比の推定対象の画素が、被写体の一部越しに背景が見えている部分の画素であった場合に、合成比αが「０」と「１」との間の値を持つこととなり、背景が置換される際に、被写体色と、別の背景色との合成が行なわれて背景置換画像が作成される。
図３６は、背景置換画像の一例を示す図である。
この図３６には、図１１に示す補正済みの順光撮影画像の背景を別の背景に置換して作成された背景置換画像における、図１１中のエリアＡ１と同じ部分が拡大された拡大図が示されている。
背景置換画像作成部７３３で作成される背景置換画像は、境界領域内の画素の色が上記の合成色に置換された画像であり、この背景置換画像から、観賞者は、この図３６に示すような、被写体Ｐ’の頭髪越しに、置換された別の背景ＴＢが透けている状態を認識することとなる。
ここで、繰返しになるが、本実施形態では、補正済みの逆光撮影画像に基づいて作成された初期被写体マスクＭ１および初期背景マスクＭ２が、図１６に示す被写体マスク縮小部７３１ｅおよび背景マスク縮小部７３１ｆによって５画素分だけ境界領域から離れるように縮小されて、被写体マスクＭ１’と、背景マスクＭ２’とが完成される。これにより、補正済みの順光撮影画像と補正済みの逆光撮影画像との間に生じる可能性のある被写体の位置や輪郭のずれによって、撮影画像中で被写体の一部を透かして背景が見えている部分が、上記の境界領域から外れてしまうという不具合の回避が図られている。しかしながら、撮影時の被写体の状況によっては、５画素分の縮小では被写体の位置や輪郭のずれを補いきれない場合がある。そのような場合には、結局、表示画面２２０ａ（図１参照）に表示された背景置換画像中の、被写体の一部を透かして背景が見えている部分において、古い背景が残ってしまったり、あるいは、そのような部分が全て新しい背景に置換されて、被写体の一部が欠けてしまったり等といった問題が発生してしまう。
本実施形態では、背景置換画像中のこのような不自然な部分を修正して、最終的に自然な背景置換画像を得るために、画像修正部７６０（図５参照）が備えられている。
以下、この画像修正部７６０の詳細について説明する。
図３７は、図５に１つのブロックで示す画像修正部７６０の詳細を示す図である。尚、以下の説明では、図１および図５に示す要素については特に図番を断らずに図中の符号を使って参照する。
この図３７には、画像修正部７６０の他に、図１６にも示した被写体マスク縮小部７３１ｅおよび背景マスク縮小部７３１ｆも示されている。
図３７に示す画像修正部７６０は、表示画面２２０ａに表示された背景置換画像中の上記のような不自然な部分を修正するものであり、修正受付部７６１と、修正値入力部７６２と、再置換指示部７６３とを備えている。
上述したように、表示画面２２０ａには、背景置換画像とともに、その背景置換画像について修正の必要があるか否かを問うメッセージが表示される。このとき、この背景置換画像中に上記のような不自然な部分を見たオペレータが、キーボード２３０やマウス２４０を操作して、修正が必要である旨を指示すると、修正受付部７６１が、そのオペレータからの指示を受け付ける。
修正受付部７６１が、修正指示を受け付けると、修正値入力部７６２が、次のような修正値を入力するための入力画面を表示画面２２０ａに表示させる。
即ち、本実施形態では、図１６にも示す被写体マスク縮小部７３１ｅおよび背景マスク縮小部７３１ｆにおける各マスクに対する５画素分の縮小量に替わる新たな縮小量が上記の修正値として扱われ、この縮小量が上記の５画素以上の値に設定されるようになっている。
修正値入力部７６２が表示させた修正値の入力画面では、この縮小量が、オペレータによるキーボード２３０やマウス２４０を操作によって入力される。そして、修正値入力部７６２は、入力された縮小量を被写体マスク縮小部７３１ｅおよび背景マスク縮小部７３１ｆに渡す。被写体マスク縮小部７３１ｅおよび背景マスク縮小部７３１ｆそれぞれは、５画素に替えて、修正値入力部７６２から渡された縮小量で上記の初期被写体マスクＭ１および初期背景マスクＭ２を縮小し直す。これにより、縮小量が５画素であったときよりも広さが狭い新たな被写体マスクおよび背景マスクが作られる。この結果、上記の境界領域が広がり、被写体の一部を透かして背景が見えている部分が、縮小量が５画素であったときよりも多く境界領域に含まれることとなる。
そして、再置換指示部７６３が、上記の新たな被写体マスクおよび背景マスクを用いた、背景の再置換処理を、上述した置換処理部７３０の各部に指示する。
この再置換処理によって作成された新たな背景置換画像は表示画面２２０ａに表示される。そして、以上、説明した画像修正部７６０による画像修正は、表示画面２２０ａに表示される背景置換画像中に、上記のような不自然な部分が認められなくなるまで繰り返される。
以上、図１〜図３７を参照して説明したように、本実施形態の撮影システム１によれば、まず、画像中の背景と被写体とで明るさが大きく異なり、背景と被写体とを互いに誤認することなく区別できる補正済みの逆光撮影画像に基づいて、補正済みの順光撮影画像における背景と被写体とが区別される。このため、この補正済みの順光撮影画像の背景が別の背景に置換されるときに、被写体の一部が誤って背景に置換されてしまったり、背景置換画像の中に、古い背景が残ってしまったりする等といった不具合が抑制されて、背景が所望の背景に自然に置換された背景置換画像を作成することができる。
また、本実施形態の撮影システム１によれば、補正済みの順光撮影画像における、被写体領域と背景領域との境界領域が認識され、背景を置換する際には、この境界領域内の画素の色が、置換される別の背景色と被写体色とが適切に合成された合成色に置換される。これにより、例えば、被写体の一部越しに背景が見えている部分があったとしても、背景を置換すると、この被写体の一部越しに別の背景が見えているといった自然な背景置換画像を作成することができる。
さらに、本実施形態の撮影システム１によれば、背景が所望の背景に置換された背景置換画像に修正を施すことにより、背景が、より自然に置換された背景置換画像を作成することができる。
尚、上記では、本発明の背景置換装置における画像修正部の一例として、上記の初期被写体マスクおよび初期背景マスクについての縮小量を、背景置換画像に対する修正量として扱う画像修正部７６０を挙げて説明したが、本発明はこれに限るものではない。本発明の画像修正部は、例えば、次のようなものであっても良い。
図３８は、図３７に示した画像修正部とは別の画像修正部を示す図である。
尚、以下では、図３７に示した画像修正部７６０との相違点に注目して説明を行ない、図３８では、図３７と同等な構成要素については図３７と同じ符号を付し、重複説明を省略する。また、以下の説明では、図１７のパート（ｃ）に示すＧ値ヒストグラムＨ３を適宜に参照する。
この図３８に示す画像修正部８１０は、上記の画像修正部７６０とは異なり、次のような修正値入力部８１１を備えている。
上記の初期被写体マスクおよび初期背景マスクは、上述したように、補正済みの逆光撮影画像から作成されたＧ値ヒストグラムＨ３から計算される２つの閾値Ｓｒ１，Ｓｒ２に基づいて設定される。即ち、補正済みの逆光撮影画像を構成する複数の画素のうち、Ｇ値が第１の閾値Ｓｒ１以下となる画素からなる領域が初期被写体マスクに設定され、Ｇ値が第２の閾値Ｓｒ２以上となる画素からなる領域が初期背景マスクに設定される。
ここで、この図３８に示す画像修正部８１０では、上記のＧ値ヒストグラムＨ３から計算される２つの閾値Ｓｒ１，Ｓｒ２に替わる新たな２つの閾値が修正値として扱われ、初期被写体マスク用の修正値としては、第１の閾値Ｓｒ１以下の値となる閾値が設定され、初期背景マスク用の修正値としては、第２の閾値Ｓｒ２以上の値となる閾値が設定されるようになっている。ここで、この画像修正部８１０において修正値として扱われる２つの閾値が、本発明にいう「区別基準」の一例に相当する。
修正値入力部８１１が表示画面に表示させる入力画面では、これら２つの閾値が、オペレータによるキーボード２３０やマウス２４０の操作によって入力される。そして、修正値入力部７６２は、入力された２つの閾値を、それぞれ、図１６にも示す被写体マスク設定部７３１ｃと背景マスク設定部７３１ｄとに渡す。これにより、上記の第１の閾値Ｓｒ１および第２の閾値Ｓｒ２を用いて設定される初期被写体マスクおよび初期背景マスクと比べて、形や位置が、境界領域が広がるように異なった新たな初期被写体マスクおよび初期背景マスクが設定される。この結果、最終的な２つのマスクも新たなものとなり、両者間の境界領域には、被写体の一部を透かして背景が見えている部分が、元の２つの初期マスクを用いたときよりも多く含まれることとなる。
つまり、この図３８に示す画像修正部８１０によっても、上記の縮小量を修正値として扱う画像修正部７６０と同等な効果を得ることができる。
ここで、本実施形態では、境界領域内のある画素について被写体色や合成比αを推定する際に設定される探索範囲は、その画素を中心とした範囲であって、被写体マスクＭ１’で定義される領域の画素が所定数を超えて含まれる範囲である。このため、探索範囲は、被写体マスクＭ１’で定義される領域から画素の位置が離れるに従って広くなる。以下、このような探索範囲の拡大が抑えられた、本実施形態とは別の、探索範囲の設定方法について説明する。
まず、この別の設定方法では、境界領域内の、被写体マスクＭ１’で定義される領域に近い画素から、被写体色や合成比αの推定が実行される。
図３９は、被写体マスクＭ１’で定義される領域に近い画素から、被写体色や合成比αの推定が実行される様子を示す模式図である。
この図３９に示すように、この別の設定方法では、被写体マスクＭ１’の輪郭Ｌ３の側から被写体色や合成比αの推定が実行される。ここで、この別の設定方法では、被写体色が推定された画素を、被写体マスクＭ１’で定義される領域内の画素と同等であるとみなす。その結果、境界領域内に、被写体マスクＭ１’の輪郭Ｌ３と同等な見かけ上の輪郭（図中の点線Ｌ３’）が形成される。そして、この見かけ上の輪郭は、推定が進む度に、この図３９に示すように、境界領域内に進出することとなる。
この別の設定方法では、この境界領域内に進出した見かけ上の輪郭（図中の点線Ｌ３’）を使って、探索範囲の設定が行なわれる。
図４０は、見かけ上の輪郭を使った探索範囲の設定の様子を示す模式図である。
この図４０に示すように、この別の設定方法では、被写体色や合成比αを推定する画素Ｇを中心とし、見かけ上の輪郭（図中の点線Ｌ３’）よりも被写体側の領域に画素が所定数を超えて含まれる範囲が探索範囲Ｔ２”として設定される。そして、探索範囲Ｔ２”における、見かけ上の輪郭よりも被写体側の領域Ｂ２’において、被写体色の推定が実行される。この推定には、見かけ上の輪郭よりも被写体側にある画素について既に推定された被写体色が推定の候補として使われる。
このように、推定が進む毎に境界領域内に進出する見かけ上の輪郭よりも被写体側の領域Ｂ２’を推定に利用することで、被写体マスクＭ１’の輪郭Ｌ３から離れた位置の画素についても探索範囲の拡大が抑えられることとなる。
尚、上記では、本発明にいう背景置換装置の一実施形態として、補正済みの逆光撮影画像中で被写体が占めている範囲を定義する被写体マスクと、背景が占めている範囲を定義する背景マスクとの２つのマスクを作成し、これら２つのマスクを用いて、補正済みの順光撮影画像における背景の置換を行なう背景置換装置７００を例示したが、本発明はこれに限るものではない。本発明の背景置換装置は、例えば、以下に説明するように、上記の背景マスクのみを作成し、この背景マスクのみを用いて、補正済みの順光撮影画像における背景の置換を行なうもの等であっても良い。
以下に、背景マスクのみを用いた背景置換の方法の一例について説明する。尚、ここでの背景マスクは、図１５に示すマスク作成部７３１が行なう背景マスクの作成と同じ方法で作成されたものであるとして、背景マスクの作成については重複説明を省略する。
この背景マスクのみを用いた背景置換では、まず、この背景マスクに基づいて、補正済みの順光撮影画像において、背景マスクで定義される領域を除いた領域を定義する非背景マスクが作成される。この非背景マスクが定義する領域は、上記の被写体マスクが定義する領域と、境界領域とを合わせた領域になる。そして、この非背景マスクが定義する領域内の全ての画素について、背景色と、被写体色と、両者の合成比の推定が行なわれる。尚、ここでの背景色は、図２７に示す背景色推定部７３２ａが行なう推定方法と同じ方法によって推定されるものであるとして、背景色の推定については重複説明を省略する。以下では、主に、被写体色の推定方法に注目して説明する。
図４１は、補正済みの順光撮影画像において、非背景マスクで定義される領域内のある画素について被写体色を推定する際に、その画素を中心に探索範囲が設定される様子を示す図である。ここで、この図４１では、図２２に示す被写体マスクＭ１’ が定義する領域と、境界領域Ｍ３とを合わせた領域が、上記の非背景マスクＭ４が定義する領域の一例として挙げられている。また、この非背景マスクＭ４が定義する領域は、本発明にいう「撮影画像中の上記背景領域を除く他の領域」の一例に相当する。
非背景マスクＭ４が定義する領域内のある画素Ｇについて探索範囲を設定するに当たっては、まず、この画素Ｇを中心とした正方形状の所定の初期範囲Ｔ３から出発して徐々に探索範囲が拡張される。そして、補正済みの順光撮影画像において非背景マスクＭ４で定義される領域の画素が、所定数を超えて探索範囲に含まれるようになったところで拡張が止められ、そのときの探索範囲Ｔ３’が、被写体色推定のための探索範囲として設定される。
探索範囲が設定されると、画素Ｇについて被写体色を推定するために用いる領域として、補正済みの順光撮影画像における次の領域が確認される。
図４２は、ある画素について被写体色を推定するために用いられる領域の一例を示す図である。
この図４２に示すように、画素Ｇについて被写体色を推定するために用いられる領域として、補正済みの順光撮影画像において、非背景マスクで定義される領域であり、かつ上記のように設定された探索範囲Ｔ３’内となる領域Ｂ３が確認される。
このように、画素Ｇについて被写体色を推定するために用いられる領域Ｂ３が確認されると、まず、その画素Ｇの色が確認され、次に、上記の領域Ｂ３内の複数の画素の色の中から、以下のような探索方法によって、その画素Ｇについての被写体色が探索される。
図４３は、補正済みの順光撮影画像における、非背景マスクで定義される領域内のある画素について被写体色を探索する際の探索方法を示す図である。
図４３には、補正済みの順光撮影画像における境界領域内のある画素について、推定された背景色Ｃ７と、その画素の色Ｃ８とを、ＲＧＢ色空間上で結ぶ直線ＣＬ３が示されている。
ここで、補正済みの順光撮影画像における非背景マスクで定義される領域には、上述したような境界領域が含まれている。そして、この境界領域には被写体の一部越しに背景が見えている部分が含まれている可能性があり、そのような部分の画素の色は、背景色と被写体色とを合成した合成色となっている。仮に、今、被写体色を探索しようとしている画素の色がこのような合成色となっている場合には、合成色である画素の色Ｃ８と、その色Ｃ８の元となった背景色Ｃ７と被写体色とはＲＧＢ色空間上の直線上に並ぶ。
そこで、まず、上記の領域Ｂ３内の複数の画素の色の中から、上記の直線ＣＬ３の延長線上に並ぶ色Ｃ９を探索する。このような色Ｃ９が複数存在する場合、これら複数の色Ｃ９のうちの１つの色が被写体色として採用される。
ここで、非背景マスクで定義される領域内には、上記の合成色を有する画素や、背景色のみを有する画素等といった、被写体色以外の色を有する画素が含まれる。このため、上記の複数の色Ｃ９のうちでは、画素の色Ｃ８から最も遠い色が、背景色Ｃ７とともにその画素の色Ｃ８の元となった被写体色である可能性が高い。
そこで、この非背景マスクで定義される領域内の画素の色の中から被写体色を探索する方法では、上記の直線ＣＬ３の延長線上に複数の色Ｃ９が並んだ場合には、これらの色Ｃ９の中から、画素の色Ｃ７に最も遠い色を、この画素についての被写体色Ｃ１０として採用する。
このように被写体色が推定されると、この図３７に示すように、背景色推定部７３２ａで推定された背景色Ｃ７と、被写体色推定部７３２ｂで推定された被写体色Ｃ１０とを、ＲＧＢ色空間上で結ぶ線分の長さに対する、背景色Ｃ７と、その画素の色Ｃ８とを結ぶ線分の長さの割合を、背景色Ｃ７と被写体色Ｃ１０とで画素の色Ｃ８を合成するときの合成比αとして算出する。
そして、背景マスクのみを用いた背景置換では、以上に説明した探索範囲の設定から合成比の算出に至るまでの処理が、補正済みの順光撮影画像における、非背景マスクで定義される領域内の全ての画素について実行される。
以上説明した、背景色と被写体色と合成比との推定が終了すると、まず、補正済みの順光撮影画像における、背景マスクで定義される領域が、顧客が所望する別の背景に置換される。次に、補正済みの順光撮影画像における、非背景マスクで定義される領域内の全ての画素について、上記の図３１を参照して説明した方法で合成色が求められ、この非背景マスクで定義される領域内の全ての画素の色が合成色に置換されて、背景置換画像が完成される。
ここで、この非背景マスクで定義される領域内の、被写体のみで占められた部分の画素については、合成比αがほぼ「１」となり、背景が置換される際にも、その画素における被写体そのものの色が維持される。また、非背景マスクで定義される領域内の、背景のみで占められた部分の画素については、合成比αがほぼ「０」となり、背景が置換される際には、その画素の色が、別の背景色に完全に置換される。
以上、図４１〜図４３を参照して説明した、背景マスクのみを用いた背景置換によっても、上記の図１〜図３６を参照して説明した、撮影システム１と同様に、撮影画像における背景が所望の背景に自然に置換された背景置換画像を作成することができる。
また、例えば、上述した被写体マスクと背景マスクとの両方を用いた背景置換では、被写体マスクで定義される領域内にＥＬパネル１３０の発光色の写り込みが存在しているような場合、背景置換の際に、そのＥＬパネル１３０の発光色の写り込みがそのまま残されてしまう可能性がある。しかし、上記の背景マスクのみを用いた背景置換によれば、このような場合であっても、完全な背景色の領域以外の領域が全てが推定対象となるので、そのような写り込みの色が除去された正確な被写体色が推定される。
また、ここまで、被写体マスクと背景マスクとの両方を用いた背景置換と、背景マスクのみを用いた背景置換とのいずれか一方の方法で背景置換を実行する実施形態について説明したが、本発明はこれに限るものではない。
被写体マスクと背景マスクとの両方を用いた背景置換と背景マスクのみを用いた背景置換とでは、ほぼ同様に被写体色を推定することができる。しかし、前者の方法において被写体色の推定に用いられる図３３に示す領域Ｂ２は、後者の方法において被写体色の推定に用いられる図４０に示す領域Ｂ３よりも範囲が狭いため、撮影画像の状況によっては、前者の方法では、図３４に示す直線ＣＬ１の延長線上に並ぶ色Ｃ３等といった被写体色の候補が見つからない場合がある。
そこで、まず、被写体マスクと背景マスクとの両方を用いた背景置換によって被写体色の推定を行ない、その方法では、被写体色の候補が見つからなかった場合には、背景マスクのみを用いた背景置換によって被写体色の推定を行ない、図３３に示す領域Ｂ２よりも範囲が広い、図４０に示す領域Ｂ３をから被写体色の候補を探すといった推定方法が考えられる。
また、上記の２種類の方法それぞれによる被写体色の推定の精度はほぼ同等であるが、撮影画像の状況によっては、いずれか一方の方法が若干高精度となる場合がある。そこで、例えば、これら２種類の方法を次のように組み合わせて、推定精度を高めるということが考えられる。
例えば、上記の２種類の方法それぞれで被写体色と合成比αとを推定した場合、いずれか一方の方法で得られた合成比αのみが「０」や「１」に近い等といった場合、何らかの理由で、その方法による推定の精度がもう一方の方法による推定の精度よりも低くなっている可能性が高い。そこで、上記の２種類の方法それぞれで被写体色と合成比αとを推定し、２つの合成比αのうちの１つの合成比αのみが、「０」に近い所定の第１閾値以下となっているか、あるいは「１」に近い所定の第２閾値以上となっている場合には、もう１つの合成比αに対応する被写体色を採用するという方法が考えられる。
また、上記の２種類の方法の間の平均的な精度での推定結果を得るために、これら２種類の方法それぞれで推定された２種類の被写体色の平均的な色を被写体色として採用するという方法も考えられる。
以上に説明した３通りの推定方法によれば、いずれの方法によっても、被写体マスクと背景マスクとの両方を用いた背景置換と背景マスクのみを用いた背景置換との何れか一方のみで被写体色を推定する場合に比べて推定精度を高めることができる。
尚、ここまで、顧客が所望する置換用の背景が１つであることを前提として説明したが、本発明の背景置換装置は、例えば、顧客が所望する置換用の背景が複数あって、このような複数の置換用の背景に効率的に対処できる次のような構成のものであっても良い。
図４４は、複数の置換用の背景に効率的に対処できる工夫が施された、図１５に示す置換処理部７３０とは別の置換処理部を示す図である。尚、この図４４では、図１５の構成要素と同等な構成要素については図１５と同じ符号を付し重複説明を省略する。
この図４４に示す別の置換処理部７３０’は、図１５に示す置換処理部７３０に、推定された被写体色と合成比αとを記憶する記憶部７３４が追加された構成となっている。この記憶部７３４が、本発明にいう記憶部の一例に相当する。
この別の置換処理部７３０’では、撮影画像について、マスク作成部７３１において背景マスクと被写体マスクが作成され、色推定部７３２において被写体色と合成比αとが推定されると、それら背景マスク、被写体マスク、被写体色、および合成比αが記憶部７３４に記憶される。そして、この別の置換処理部７３０’では、背景置換画像作成部７３３’は、この記憶部７３４に記憶された背景マスク、被写体マスク、被写体色、および合成比αを使って背景置換画像を作成する。
この図４４に示す別の置換処理部７３０’では、一度、背景マスク、被写体マスク、被写体色、および合成比αが求められると、後は、置換用の背景が複数あっても、それらの背景マスク、被写体マスク、被写体色、および合成比αが、全ての置換用の背景に適用される。これにより、例えば、背景置換の度に背景マスク、被写体マスク、被写体色、および合成比αを求める等といった手間が省かれて、効率的に背景置換を作成することができる。
また、上記では、図６に示すように、画像補正部７２０中で、順光撮影画像に基いて作成された有効画像の色に色補正処理を施す色補正部７２４について説明したが、本発明はこれに限るものではない。本発明の背景置換装置は、このような有効画像の色ではなく、以下に説明するように、置換処理部にあって、推定された被写体色に対して色補正処理を施すものであっても良い。
図４５は、推定された被写体色に対して色補正処理を施す色補正部を備えた、図１５に示す置換処理部７３０とは別の置換処理部を示す図である。尚、この図４３では、図１５の構成要素と同等な構成要素については図１５と同じ符号を付し重複説明を省略する。
この図４５に示す別の置換処理部７３０”は、図１５に示す置換処理部７３０に、被写体色に対する色補正に使われる補正パラメータを決定するパラメータ決定部７３５と、パラメータ決定部７３５によって決定された補正パラメータを使って、被写体色に対して色補正を施す色補正部７３６とが追加された構成となっている。ここで、この図４３のパラメータ決定部７３５が、本発明にいう第１のパラメータ決定部と第２のパラメータ決定部と第３のパラメータ決定部と第４のパラメータ決定部とを兼ねた一例に相当し、この図４５の色補正部７３６が、本発明にいう第１の色補正部と第２の色補正部と第３の色補正部と第４の色補正部とを兼ねた一例に相当する。
この別の置換処理部７３０”では、色補正部７３６において、上記の被写体領域で定義される領域内の色と、推定された被写体色とに対して、色合いやホワイトバランスを、一般的に観賞者が好ましいと感じる色合いやホワイトバランスに補正するいわゆるセットアップと呼ばれる色補正が実行される。そして、そのセットアップに使われる補正パラメータ（セットアップパラメータ）が、パラメータ決定部７３５において決定される。
ここで、この図４５に示すパラメータ決定部７３５は、有効画像作成部７２３において順光撮影画像に基いて作成された有効画像に基いてセットアップパラメータを決定する機能と、色推定部７３２において推定された被写体色に境界領域内の色が置き換えられた画像中の背景以外の部分に基いてセットアップパラメータを決定する機能と、セットアップパラメータを操作に応じたパラメータに決定する機能と、置換用の背景に基いてセットアップパラメータを決定する機能とを有している。そして、これら４種類の機能のうちいずれの機能を使ってセットアップパラメータを決定するかは、不図示の操作画面を介したオペレータの操作によって決定される。そして、このパラメータ決定部７３５において決定されたセットアップパラメータを使ったセットアップが、上記のように、被写体領域で定義される領域内の色と、推定された被写体色とに対して施される。
例えば、図１に示す撮影スタジオ１０では、撮影の状況によっては、デジタルカメラ１１における撮影時のホワイトバランスが、ＥＬパネル１３０の発光色である青緑色に影響を受けてしまう場合がある。そのような場合には、例えば人物の顔等が実際以上に青白く写ってしまう。しかし、上記の図４５に示す色補正部７３６におけるセットアップによれば、この人物の顔等の色を好ましい色に補正することができる。
また、図６に示す色補正部７２４のように、順光撮影画像に基いて作成された有効画像の色に色補正処理を施すと、撮影画像の状況によっては、例えば撮影画像中の階調が変更されている等といった理由から、被写体色の推定が不正確なものとなってしまう場合がある。また、背景置換後の画像に対してセットアップが施されると、置換用の背景の色まで変わってしまい顧客が所望した背景とは色合いが異なる背景の画像ができてしまう恐れがある。図４４に示すパラメータ決定部７３５および色補正部７３６によるセットアップによれば、セットアップは、被写体色の推定の後、かつ背景の置換の前に実行されるので、被写体色の推定や置換用の背景の色に影響を与えることなく、セットアップを実行することができ、背景が置換された高画質の画像を得ることができる。
また、この図４５に示す例では、サーバ４０内に格納されている置換用の背景には、被写体と背景との画像中における相対的な位置関係や、画像中における背景に対する被写体の相対的な大きさ等といった相対関係を表わす関係情報が付与されている。そして、この図４５の背景置換画像作成部７３３”は、顧客が所望した置換用の背景を使った背景置換画像を作成する際には、その背景置換画像中で被写体と背景との相対関係が、顧客が所望した置換用の背景に付与されている相対関係と同じ相対関係となるようにその背景置換画像を作成する。このような処理により、例えば背景置換画像中の被写体の位置や大きさが背景に対して自然な位置や大きさとなった、見た目の自然さが高められた背景置換画像を得ることができる。
次に、本発明の第２実施形態について説明する。
この第２実施形態は、上記の第１実施形態とは、撮影システムのうちの撮影スタジオの構成と、その撮影スタジオにおいて行われる撮影処理と、パーソナルコンピュータで行われる背景置換処理が異なっている。以下では、第２実施形態における、第１実施形態との相違点に注目して説明し、その他の、第１実施形態と同等な点については、図面に同一符号を付して重複説明を省略する。
図４６は、本発明の背景置換装置の第２実施形態が適用された撮影システムを示す図である。
この図１に示す撮影システム１００１は、被写体を撮影して撮影画像を取得する撮影スタジオ１０１０と、その撮影画像における被写体と背景とを区別して、撮影画像中の背景を所望の背景に置換して背景置換画像を作成する、本発明の背景置換装置の第２実施形態として動作するパーソナルコンピュータ２０と、プリンタ３０と、サーバ４０とを備えている。また、撮影スタジオ１０１０は、デジタルカメラ１０１１と、閃光発光装置１２と、ＥＬ（エレクトロルミネセンス）パネル１１３０と、このＥＬパネル用の電源１４を備えている。
デジタルカメラ１０１１は、連写機能を有しており、撮影者がシャッタボタンを１回押すと、短時間の間に自動で被写体Ｐを３回撮影する。１回毎の撮影によって得られた撮影画像はデジタルカメラ１０１１内のメモリに一時的に保管されるが、撮影システム１００１では、デジタルカメラ１０１１がパーソナルコンピュータ２０に接続されており、３回の撮影が終了した時点で、この３回の撮影で得られた撮影画像は、このパーソナルコンピュータ２０に直ちに送られる。
また、このデジタルカメラ１０１１には、後述のパネル点灯制御回路１１ａと閃光制御回路１１ｂとが取り付けられており、デジタルカメラ１０１１は、パネル点灯制御回路１１ａを介して上記の電源１４に接続され、また、閃光制御回路１１ｂを介して閃光発光装置１２に接続されている。このデジタルカメラ１０１１は、上記の連写の際には、撮影の度に、まず、ＥＬパネル１１３０用の電源１４に対してＥＬパネル１１３０を点灯させるように指示するパネル点灯指示信号をこの電源１４に向けて発信し、続いて、閃光発光装置１２に対して閃光を発するように指示する閃光指示信号をこの閃光発光装置１２に向けて発信する。ここで、パネル点灯制御回路１１ａは、デジタルカメラ１０１１が上記の連写の際に撮影の度に発信するパネル点灯指示信号を、１回目の撮影時には遮断し、２回目と３回目の撮影時には通過させる。また、閃光制御回路１１ｂは、上記の閃光指示信号を、１回目と２回目の撮影時には通過させ、３回目の撮影時には遮断する。この結果、連写の際、１回目の撮影時には、閃光発光装置１２への閃光指示信号の入力のみが行なわれ、２回目の撮影時には、まず、電源１４にパネル点灯指示信号が入力され、続いて閃光発光装置１２に閃光指示信号が入力され、さらに、３回目の撮影時には、電源１４へのパネル点灯指示信号の入力のみが行なわれる。
閃光発光装置１２は、デジタルカメラ１０１１から閃光指示信号を受けて被写体Ｐに向かって閃光を発する。上述したように、この閃光発光装置１２には、デジタルカメラ１０１１における連写の際の１回目と２回目の撮影時にのみ閃光指示信号が入力される。これにより、閃光発光装置１２は１回目と２回目の撮影時にのみ閃光を発し、３回目の撮影時には消灯したままでいることとなる。
ＥＬパネル１１３０は、被写体Ｐが載る載置面１３１ａと被写体Ｐの背後の面１３１ｂとが透明な筐体１３１、および、その筐体１３１内に収納された分散型ＥＬ素子１１３２からなる。また、電源１４は、この分散型ＥＬ素子１１３２に駆動電圧を印加する電源である。さらに、上述したように、この電源１４には、デジタルカメラ１０１１における連写の際の２回目と３回目の撮影時にパネル点灯指示信号が入力される。この結果、電源１４は２回目の撮影時にＥＬパネル１１３０を点灯させる。また、３回目の撮影時にパネル点灯指示信号が入力されたときには、電源１４は、既に点灯状態にあるＥＬパネル１１３０を点灯させたままにする。
一般的な分散型ＥＬ素子は、製造時に発光色の異なる複数の蛍光体粉末をさらに混合することで発光色を白色を含む様々な色に調整することが可能であるが、本実施形態における分散型ＥＬ素子１１３２は、赤色の蛍光体粉末によって発光色が調整されている。このため、ＥＬパネル１１３０の色は、消灯時には薄い赤色となり、発光時には、分散型ＥＬ素子の発光色である青緑色が調整された青色となる。
ここで、本実施形態の撮影スタジオ１０１０では、デジタルカメラ１０１１による撮影は、上述したように、１回目の撮影はＥＬパネル１１３０が消灯し閃光発光装置１２が閃光を発した状態で行なわれ、２回目の撮影はＥＬパネル１１３０が点灯し閃光発光装置１２が閃光を発した状態で行なわれ、３回目の撮影はＥＬパネル１１３０が点灯し閃光発光装置１２が消えた状態で行なわれる。さらに、この撮影スタジオ１０１０では、閃光発光装置１２が発する閃光の輝度は、ＥＬパネル１１３０が点灯したときの輝度よりもかなり高い。この結果、１回目の撮影だけでなく２回目の撮影でも、高い輝度の閃光が、デジタルカメラ１０１１側から被写体Ｐを照らすという順光状態での撮影による、被写体Ｐがきれいに写った順光撮影画像が取得される。また、上述したように、ＥＬパネル１１３０は、消灯状態では薄い赤色であり、点灯状態では青色に発光する。この結果、１回目の撮影に対応する順光撮影画像は背景が薄い赤色に写り、２回目の撮影での順光撮影画像は背景が青色に写ることとなる。これら背景色が互いに異なる２つの順光撮影画像が、本発明にいう「背景の色が互いに異なる複数の撮影条件それぞれの下で共通の被写体が撮影されて得られた複数の撮影画像」の一例に相当する。また、３回目の撮影では、ＥＬパネル１１３０からの光のみが被写体Ｐを後方から照らすという逆光状態での撮影による、被写体Ｐの像がシャドウ側に偏り、背景パネル１３０の像がハイライト側に偏った逆光撮影画像が取得される。このように、本実施形態では、デジタルカメラ１０１１による連写によって、背景色が互いに異なる２つの順光撮影画像と、１つの逆光撮影画像との３つの撮影画像が得られる。
次に、この図４６に示す撮影システム１００１で実行される、本発明の背景置換方法の第２実施形態が適用された作業の流れについて説明する。尚、以下の説明では、図４６に示す要素については特に図番を断らずに図４６中の符号を使って参照する。
図４７は、図４６の撮影システムで実行される、本発明の背景置換方法の第２実施形態が適用された作業の流れを示すフローチャートである。
この図４７のフローチャートが示す作業は、撮影スタジオ１０１０において、被写体Ｐ、デジタルカメラ１０１１、および閃光発光装置１２がそれぞれ適当な位置に配置され、さらにＥＬパネル１１３０が消灯されていることを前提として行なわれる。
撮影者が、ピントや露光の調節等を行なった後にデジタルカメラ１０１１のシャッタボタンを押すと、被写体Ｐに対する撮影が以下に説明するように３回連続して行なわれる。
まず１回目の撮影では、デジタルカメラ１０１１から発信される閃光指示信号に応じて閃光発光装置１２が閃光を発し、この閃光による順光状態で被写体Ｐが撮影される（ステップＳ２０１）。この１回目の撮影時には、ＥＬパネル１１３０は消灯したままであり、その色は薄い赤色となっている。
２回目の撮影では、まず、デジタルカメラ１０１１から発信されるパネル点灯信号に応じてＥＬパネル１１３０が点灯する（ステップＳ２０２）。次に、デジタルカメラ１０１１から発信される閃光指示信号に応じて閃光発光装置１２が閃光を発し、この閃光による順光状態で被写体Ｐが撮影される（ステップＳ２０３）。この２回目の撮影時には、ＥＬパネル１１３０は青色に発光している。
続く３回目の撮影は、閃光発光装置１２が消灯した状態、即ち、ＥＬパネル１１３０のみの照明による逆光状態で行なわれる（ステップＳ２０４）。
ステップＳ２０２およびステップＳ２０３の処理でそれぞれ得られた、背景色が互いに異なる２つの順光撮影画像と逆光撮影画像との３つの撮影画像は、デジタルカメラ１０１１内のメモリに一時的に保管される。
次に、このフローチャートにおけるステップＳ２０５以降の処理について説明するが、この以下に説明する処理のうち、ステップＳ２０５からステップＳ２０７に至る処理が、本発明の背景置換方法の第２実施形態に相当する。
ステップＳ２０４の処理によって、３回目の撮影が行なわれ、その撮影で得られた撮影画像の、デジタルカメラ１０１１内のメモリへの保管が終了すると、３回の撮影で得られ、そのメモリに一時的に保管された３つの撮影画像が直ちにパーソナルコンピュータ２０に渡される。また、パーソナルコンピュータ２０に対する操作を受けて、顧客が所望する背景がサーバ４０あるいは何らかの入力用記憶媒体から読み出される（ステップＳ２０５）。このステップＳ２０５で実行される撮影画像および背景の取得処理が、本発明の背景置換方法における画像取得過程の一例に相当する。
続いて、３つの撮影画像に、上記の台形歪みについての補正を含む画像補正処理が施される。（ステップＳ２０６）。
さらに、この補正済みの撮影画像に基づいて背景置換画像を作成するという後述の背景置換処理が実行される（ステップＳ２０７）。ここで、このステップＳ２０７で実行される背景置換処理において、本発明の背景置換方法における領域区別過程と、混合状態推定過程と、背景置換過程との各一例が実行される。
ここで、以上のステップＳ２０５からステップＳ２０７に至る本発明の背景置換方法の第２実施形態の各処理の詳細については、本発明の背景置換装置の第２実施形態の各部の作用と併せて説明する。
次に、上記の背景置換処理（ステップＳ２０７）で作成された背景置換画像を表わす画像データが、まず画像表示装置２２０に転送され、さらに、プリンタ３０と、顧客が希望する出力用記憶媒体とのうちの少なくとも１つに転送される（ステップＳ２０８）。続いて、画像表示装置２２０において、背景置換画像が、転送されてきた画像データに基づいて表示画面２２０ａ上に表示され（ステップＳ２０９）、さらに、画像データがプリンタ３０に転送された場合には、プリンタ３０において、その画像データに基づいて背景置換画像がプリントされる（ステップＳ２１０）。
ここで、本発明の背景置換方法の第２実施形態を含むステップＳ２０５〜ステップＳ２０９の処理は、パーソナルコンピュータ２０において実行される処理である。
次に、本発明の背景置換プログラムの第２実施形態について説明する。
図４８は、本発明の背景置換プログラムの第２実施形態を示す概念図である。
図４８に示すＣＤ−ＲＯＭ１５１０は、本発明の背景置換プログラムの第２実施形態である背景置換プログラム１６００が記憶されたものである。
この背景置換プログラム１６００は、画像取得部６１０、画像補正部６２０、置換処理部１６３０、画像データ転送部６４０、および画像表示部６５０で構成されている。
この背景置換プログラム１６００の各部の詳細については、本発明の背景置換装置の第２実施形態の各部の作用と併せて説明する。尚、以下の説明では、図４６および図４８に示す要素については特に図番を断らずに各図中の符号を使って参照する。
図４９は、図４８に示す背景置換プログラムが図４６および図３に示すパーソナルコンピュータにインストールされ、このパーソナルコンピュータが本発明にいう背景置換装置の第２実施形態として動作するときの機能を表わす機能ブロック図である。また、この図４９には、図４６にも示す、デジタルカメラ１０１１、閃光発光装置１２、およびＥＬパネル１１３０からなる撮影スタジオ１０１０と、プリンタ３０と、サーバ４０も示されている。
この図４９に示す背景置換装置１７００は、上述したように、撮影スタジオ１０１０のデジタルカメラ１０１１によって順光の下で撮影された背景色が互いに異なる２つの順光撮影画像と、逆光の下で撮影された逆光撮影画像とを取得して、これらの３つの撮影画像のうち、逆光撮影画像に基づいて、２つの順光撮影画像のうち所定の一方の順光撮影画像における被写体と背景とを区別して、その背景を所望の背景に置換するという背景置換処理を実行するものであり、画像取得部７１０、画像補正部７２０、置換処理部１７３０、画像データ転送部７４０、および画像表示部７５０を備えている。
ここで、以下では、上記の２つの順光撮影画像のうち、連写における１回目の撮影時に得られた順光撮影画像、即ち、背景色が薄い赤色の順光撮影画像について背景置換処理を実行することを前提として説明するが、本発明はこれに限るものではなく、連写における２回目の撮影時に得られた順光撮影画像、即ち、背景色が青色の順光撮影画像について背景置換処理を実行するものであっても良い。
置換処理部１７３０は、画像補正部７２０での画像補正処理を経た３つの撮影画像に基づいて背景置換画像を作成するという後述の背景置換処理を行なうものであり、実質的には、パーソナルコンピュータ２０のＣＰＵ２１１が、背景置換プログラム１６００の置換処理部１６３０に従って動作することによって構成される。この画像補正部１７２０の詳細については、背景置換処理の詳細とともに別図を参照して後述する。この置換処理部１７３０が、本発明の背景置換装置における領域区別部と混合状態推定部と背景置換部とを兼ねた一例に相当する。
次に、図４９において１つのブロックで示されている置換処理部１７３０の詳細について以下に説明する。
置換処理部１７３０は、互いに背景色が異なる２つの補正済みの順光撮影画像のうち、１回目の撮影に対応する補正済みの順光撮影画像について、背景を、顧客が所望する背景に置換する。その際には、置換処理部１７３０は、まず、２つの補正済みの順光撮影画像について、被写体領域と、背景領域と、これら２つの領域に挟まれた境界領域とに区別する。そして、置換処理部１７３０は、１回目の撮影に対応する補正済みの順光撮影画像について、被写体領域についてはそのまま残し、背景領域を、顧客が所望する別の背景と置換する。
置換処理部１７３０は、補正済みの順光撮影画像における上記の境界領域内の全ての画素が、上記のような合成色を有しているという前提のもとに、上記の２つの補正済みの順光撮影画像を用いて、これら２つの補正済みの順光撮影画像の間で共通な、各画素の色の元となった被写体色（本発明にいう被写体色の一例に相当）、および、その被写体色と各背景色との合成比（本発明にいう混合比の一例に相当）を推定する。
そして、置換処理部１７３０は、１回目の撮影に対応する補正済みの順光撮影画像について、上記の境界領域内の各画素の色を、推定された被写体色と、上記の顧客が所望する別の背景色とが、推定された合成比で合成されてなる合成色に置き換える。
図５０は、図４９に１つのブロックで示す置換処理部の詳細を示す図である。尚、以下の説明でも、図４９に示す要素については特に図番を断らずに図４９中の符号を使って参照する。
この置換処理部１７３０は、上述した背景置換処理を実行するものであり、マスク作成部７３１、色推定部１７３２、および背景置換画像作成部７３３を備えている。ここで、マスク作成部７３１、色推定部１７３２、および背景置換画像作成部７３３が、それぞれ本発明にいう領域区別部、混合状態推定部、および背景置換部の各一例に相当する。また、マスク作成部７３１によって、本発明の背景置換方法における領域区別過程の一例が実行され、色推定部１７３２によって、本発明の背景置換方法における混合状態推定過程の一例が実行され、背景置換画像作成部７３３によって、本発明の背景置換方法における背景置換過程の一例が実行される。
まず、これら各構成要素の概要について説明する。
マスク作成部７３１は、上記の補正済みの逆光撮影画像において、この逆光撮影画像中で、被写体色の画素のみが存在する範囲を定義する被写体マスクと、背景色の画素のみが存在する範囲を定義する背景マスクとを作成する。ここで、これら２つのマスクは、それぞれのマスクが定義する範囲内に、例えば図１４に示すような、被写体越しに背景が見えている部分の画素が含まれないように、互いに隙間を開けて作成される。
色推定部１７３２は、マスク作成部７３１が作成した被写体マスクと背景マスクとを、互いに背景の異なる２つの補正済みの順光撮影画像に適用して、まず、これらの順光撮影画像において、これら２つのマスク間に開いた隙間、即ち、境界領域を認識する。そして、この境界領域内の全ての画素の色が被写体色と背景色との混合色であるとともに、異なる背景色の下でも混合状態が同じであるという前提のもとに、上記の２つの補正済みの順光撮影画像を用いて、これら２つの補正済みの順光撮影画像の間で共通な、各画素の色を構成している被写体色、および、その被写体色と各背景色との合成比を推定する。
背景置換画像作成部７３３は、まず、上記の１回目の撮影に対応する補正済みの順光撮影画像において、被写体マスクで定義される領域についてはそのまま残し、背景マスクで定義される領域を、顧客が所望する別の背景と置換する。次に、境界領域内の各画素について、顧客が所望する背景の色と、上記の色推定部１７３２で推定された被写体色とを、色推定部１７３２で推定された合成比で合成して合成色を求め、各画素の色をその合成色に置換する。これにより、上記の補正済みの順光撮影画像の背景が、顧客が所望する別の背景に自然に置換された背景置換画像が作成される。
このように作成された背景置換画像を表わす画像データが、図４９の画像データ転送部７４０から、各出力デバイスや出力用記憶媒体５５０（図４９参照）に転送される。
この第２実施形態においても第１実施形態と同様に、マスク作成部７３１は、背景と被写体との明るさの差に基づいて、被写体マスクＭ１’と背景マスクＭ２’とを作成することにより、撮影画像中の被写体領域と背景領域と境界領域とを区別するものである。しかし、本発明の領域区別部はこの形態に限るものではなく、次のような形態のものであっても良い。
以下、本発明の領域区別部の別例について説明する。
以下に説明する別例は、複数の撮影画像の相互間における色の変化量に基づいて撮影画像中の被写体領域と背景領域と境界領域とを区別するというものである。この別例における基本的な構成は、図１６に示す上記のマスク作成部７３１の構成と同じである。ただし、図１６のヒストグラム作成部７３１ａが、補正済みの逆光撮影画像を構成する各画素の明るさについてのヒストグラムを作成するものであったのとは異なり、この別例では、上記の２つの補正済みの順光撮影画像に基づいて、これら２つの撮影画像の相互間における色の変化量についての次のようなヒストグラムが作成される。
まず、この色の変化量についてのヒストグラムを作成するに当たって、この別例では、２つの補正済みの順光撮影画像のうちの一方を第１撮影画像としてもう一方を第２撮影画像としたとき、第１撮影画像を構成する各画素の、第２撮影画像において対応する位置の画素に対する色相の変化量が、上記の色の変化量を表わす値として採用される。
この別例で作成されるヒストグラムは、第１撮影画像を構成する各画素における色相の変化量を、多数の範囲に振り分け、各範囲についてどれだけの画素が振り分けられたかを頻度で示した色相変化のヒストグラムである。この色相変化のヒストグラムは、例えば、図１７のパート（ａ）に示す輝度のヒストグラムＨ１の横軸Ｈ１＿１を、色相の変化量に置き換えたものとなる。この色相変化のヒストグラムには、色相の変化量が少ない部分と、色相の変化量が多い部分とに２つのピークが現れる。上述したように２つの補正済みの順光撮影画像の間の相違点は背景色のみであるので、色相の変化量が多い部分のピークが、第１撮影画像中の背景領域に対応し、色相の変化量が少ない部分のピークが、第１撮影画像中の被写体領域に対応する。
このような色相変化のヒストグラムが作成されると、上記の別例では、上記のマスク作成部７３１におけるマスク作成の手順と同様の手順によって、色相の変化量が少ない部分のピークに基づいて上記の初期被写体マスクが設定され、色相の変化量が多い部分のピークに基づいて上記の初期背景マスクが設定され、さらに、それぞれの初期マスクが縮小されて、最終的に被写体マスクと背景マスクとが作成されて、これらのマスクによって撮影画像中の被写体領域と背景領域と境界領域とが区別される。
以上に説明した別例によっても、撮影画像中の被写体領域と背景領域と境界領域とが区別されるが、この別例では、マスク作成に２つの撮影画像を用いることから処理の複雑さが若干増す半面、上記のマスク作成部７３１におけるマスク作成で必要とされる上記の補正済みの逆光撮影画像不要となる。つまり、この別例では、図４７のフローチャートにおけるステップＳ２０４の撮影処理も不要となり、このフローチャートが示す処理の例に比べて撮影回数が少なくて済むという利点が生じることとなる。
以上で、この別例についての説明を終了し、次に、この置換処理部１７３０が備える色推定部１７３２の詳細について説明する。
図５１は、図５０に１つのブロックで示す色推定部の詳細を示す図である。
この色推定部１７３２は、背景色推定部７３２ａ、被写体色推定部１７３２ｂ、および合成比推定部１７３２ｃを備えている。
背景色推定部７３２ａについては第１実施形態と同様であるので重複説明は省略する。
背景色推定部７３２ａにおける背景色の推定は、互いに背景色が異なる２つの補正済みの順光撮影画像それぞれについて実行される。
次に、図５１に示す被写体色推定部１７３２ｂについて説明する。
この被写体色推定部１７３２ｂでは、互いに背景色が異なる２つの補正済みの順光撮影画像の間で共通な、境界領域内の各画素の色の元となった被写体色を、上記の背景色推定部７３２ａで２つの補正済みの順光撮影画像それぞれにおける境界領域内の各画素について求められた背景色を用いて次のように推定する。
図５２は、互いに背景色が異なる２つの補正済みの順光撮影画像の間で共通な、境界領域内の各画素の色の元となった被写体色の推定方法を示す図である。
図５２には、まず、上記の２つの補正済みの順光撮影画像のうち、１回目の撮影に対応する補正済みの順光撮影画像における境界領域内のある画素について、図５１の背景色推定部７３２ａで推定された第１の背景色Ｃ１と、その画素の色（第１の画素色）Ｃ２とを、ＲＧＢ色空間上で結ぶ直線ＣＬ１が示されている。さらに、この図５２には、２回目の撮影に対応する補正済みの順光撮影画像において、上記の画素と対応する位置にある画素について、図５１の背景色推定部７３２ａで推定された第２の背景色Ｃ３と、その画素の色（第２の画素色）Ｃ４とを、ＲＧＢ色空間上で結ぶ直線ＣＬ２が示されている。
上述したように、境界領域内の画素の色は、撮影時に被写体の一部越しに背景が見えて、背景色と被写体色とが合成された合成色となっている可能性がある。仮に、ある画素色がこのような合成色となっている場合には、その画素色と、その画素色の元となった背景色と被写体色とはＲＧＢ色空間上の直線上に並ぶ。このとき、上記の２つの補正済みの順光撮影画像は、背景色が互いに異なっている他は共通な画像であるため、両者の間で互いに対応する位置にある画素に含まれる被写体色は共通の色となる。このため、これら互いに対応する位置にある２つの画素それぞれについての、図５２に示されている２本の直線ＣＬ１，ＣＬ２は、それらの画素に含まれる共通な被写体色Ｃ５において交差することとなる。
図５１に示す被写体色推定部１７３２ｂは、上記の２つの補正済みの順光撮影画像において互いに対応する位置にある２つの画素からなる画素ペアのうち、上記の境界領域内の全ての画素ペアについて、図５２に示すような２本の直線ＣＬ１，ＣＬ２の交点を、各画素ペアについての被写体色Ｃ５として求める。従って、第２実施形態では、被写体色Ｃ５が一意に決定され、第１実施形態で行われたような探索は不要である。
以上で、図５１に示す被写体色推定部１７３２ｂについての説明を終了し、次に、この図５１に示す合成比推定部１７３２ｃについて説明する。尚、この合成比推定部１７３２ｃについての説明では上記の図５２を参照する。
この合成比推定部１７３２ｃは、図５２に示すように、上記の１回目の撮影に対応する補正済みの順光撮影画像について、背景色推定部７３２ａで推定された第１の背景色Ｃ１と被写体色推定部１７３２ｂで推定された被写体色Ｃ５とをＲＧＢ色空間上で結ぶ線分の長さに対する、第１の背景色Ｃ１と第１の画素色Ｃ２とを結ぶ線分の長さの割合を、第１の背景色Ｃ１と被写体色Ｃ５とで第１の画素色Ｃ２を合成するときの合成比αとして算出する。また、２回目の撮影に対応する補正済みの順光撮影画像についても、同様に、第２の背景色Ｃ３と被写体色Ｃ５とをＲＧＢ色空間上で結ぶ線分の長さに対する、第２の背景色Ｃ３と第２の画素色Ｃ４とを結ぶ線分の長さの割合を、第２の背景色Ｃ３と被写体色Ｃ５とで第２の画素色Ｃ４を合成するときの合成比α’として算出するとこができる。また、１回目および２回目の撮影が連写で行なわれることから、２つの補正済みの順光撮影画像における背景色と被写体色との混合状態はほぼ同じであり、上記の２つの合成比α，α’もほぼ等しいと考えられる。ただし、本実施形態では、直接に背景が置換される撮影画像として１回目の撮影に対応する補正済みの順光撮影画像が採用されるので、上記のような算出は、この１回目の撮影に対応する補正済みの順光撮影画像についてのみ実行される。
合成比推定部１７３２ｃは、このような合成比αの算出を、上記の２つの補正済みの順光撮影画像における境界領域内の全ての画素ペアについて実行する。
第２実施形態では、以上説明したように推定された被写体色と合成比が用いられることで、第１実施形態と同様に自然な背景置換画像が作成される。
尚、上記では、本発明の背景置換装置における領域区別部の一例として、補正済みの逆光撮影画像を構成する各画素の明るさについてのヒストグラムとして、各画素の色を表わすＲ値、Ｇ値、およびＢ値のうちのＧ値についてのヒストグラムを作成するマスク作成部７３１を例示したが、本発明はこれに限るものではない。本発明の領域区別部は、Ｒ値についてのヒストグラムを作成するものであっても良く、あるいは、Ｂ値についてのヒストグラムを作成するものであっても良く、あるいは、各画素の輝度についてのヒストグラムを作成するものであっても良い。
また、上記では、本発明の背景置換装置における領域区別部の一例として、補正済みの逆光撮影画像という１つの撮影画像に基づいて、撮影画像中の背景領域を他の領域から区別するマスクを作成するマスク作成部７３１を例示したが、本発明はこれに限るものではない。本発明の領域区別部は、例えば、背景の輝度や色が互いに異なる２つの撮影画像に基づいて、撮影画像中の背景領域を他の領域から区別するマスクを作成するもの等であっても良い。その場合には、例えば２つの撮影画像の間で輝度や色の変化量が相対的に大きな部分を他の領域から区別するマスクを作成することにより、撮影画像中の背景領域を他の領域から区別するマスクが作成される。
また、上記では、本発明にいう混合比決定部の一例として、境界領域中のある画素について、まず、その画素の色を構成する被写体色と推定し、次に、そのＲＧＢ色空間における、背景色、画素の色、および被写体色の相互距離の比を合成比と推定する色推定部７３２を例示したが、本発明はこれに限るものではない。本発明の混合比決定部は、例えば、境界領域中のある画素について、その画素と被写体領域との位置関係に応じて合成比を決定する、即ち、被写体領域から遠い画素ほど、被写体色が含まれる割合を下げる等といった方法で合成比を決定するもの等であっても良い。
また、上記では、本発明の背景置換装置における画像修正部の一例について、オペレータによる上記の修正値の入力が行なわれる入力画面について特に言及しなかったが、この入力画面は、例えば、オペレータがキーボードから数値を打込むという形態の入力画面であっても良く、あるいは、例えば、修正値の設定バーが設けられていて、オペレータがその設定バーをマウス操作により動かして修正値を入力するという形態の入力画面等であっても良い。
また、上記では、本発明の背景置換装置における画像修正部の一例として、被写体領域と背景領域とに対する修正による画像修正のみを実行する画像修正部を例示して説明したが、本発明はこれに限るものではなく、本発明の画像修正部は、例えば、上記のような領域の修正に加えて、作成された背景置換画像の各部の色についても修正するものであっても良い。
また、上記では、本発明の背景置換装置における画像修正部の一例として、上記の被写体マスクと背景マスクとを狭めることにより背景置換画像を修正する２つの画像修正部７６０，８１０を例示したが、本発明はこれに限るものではなく、本発明の背景置換装置における画像修正部は、上記の被写体マスクと背景マスクとを広げる、延いては境界領域を狭めることにより背景置換画像を修正するもの等であっても良い。このような修正は、本来は背景が透けていない部分まで、置換後の背景の色が混ざってしまっているような不自然な背景置換画像に対して有効である。このような不自然な背景置換画像は、置換後の背景が、高彩度の色等の強い色を有している場合に生じる恐れがある。
また、上記では、本発明にいう複数の撮影画像を撮影する撮影システムの一実施形態として、１回目の撮影時に閃光発光装置１２が閃光を発し、２回目の撮影時には閃光発光装置１２が消灯していることにより、順光撮影と逆光撮影とをこの順序で連続して行なうという撮影システム１を挙げて説明したが、本発明はこれに限るものではなく、本発明の撮影システムは、例えば、順光撮影と逆光撮影とをこの順序とは逆の順序で連続して行なうというものであっても良い。このような形態の撮影システムは、例えば、上記の実施形態において、デジタルカメラから閃光発光装置に向けて１回の撮影の度に発信される、閃光発光装置に閃光を発するように指示する指示信号を、１回目の撮影時には遮断し、２回目の撮影時には通過させる遮断回路等を、上記の実施形態においてデジタルカメラと閃光発光装置とを繋ぐ上記の指示信号の伝送ライン上に設置することにより構築される。
また、上記では、本発明にいう複数の撮影画像を撮影する撮影システムの一実施形態として、１回発光すると、次に発光できるようになるまで充電に時間がかかり、撮影が２回連続して行なわれるときには、１回目の撮影時にのみ閃光を発するという閃光発光装置１２を備えた撮影システム１挙げて説明したが、本発明はこれに限るものではない。上記の撮影システムは、例えば、充電が極めて短時間で済み、撮影が２回連続して行なわれるときに、２回とも閃光を発することができるような高速型の閃光発光装置を備えた撮影システムであっても良い。ただし、このような撮影システムにも、不要な指示信号を遮断する上記のような遮断回路等が必要となる。

Claims (41)

  1. 複数の撮影条件それぞれの下で共通の被写体が撮影されて得られた複数の撮影画像を取得する画像取得部と、
    前記画像取得部で取得された撮影画像に基づいて、撮影画像中の被写体領域と背景領域と境界領域とを区別する領域区別部と、
    前記境界領域における被写体色と背景色との混合比を決定する混合比決定部と、
    前記領域区別部によって区別された３つの領域と前記混合比決定部で決定された混合比とに基づいて前記画像取得部で取得された撮影画像中の背景を別の背景と置換する背景置換部とを備えたことを特徴とする背景置換装置。
  2. 前記領域区別部が、前記撮影条件における被写体と背景との所定の相違点に基づいて、撮影画像中の被写体領域と背景領域と境界領域とを区別するものであることを特徴とする請求項１記載の背景置換装置。
  3. 前記領域区別部が、前記撮影条件における被写体と背景との所定の相違点に基づいて、撮影画像中で被写体側の領域と背景側の領域とを判別し、それら被写体側の領域および背景側の領域それぞれを、少なくとも一方については縮小して前記被写体領域および前記背景領域として扱い、該被写体領域と該背景領域との間の領域を前記境界領域として扱うものであることを特徴とする請求項１記載の背景置換装置。
  4. 前記領域区別部が、前記撮影条件における被写体と背景との所定の相違点に基づいて、撮影画像中で被写体側の領域と背景側の領域とを判別し、前記被写体側の領域を縮小して前記被写体領域として扱い、縮小前の被写体側の領域における該被写体領域を除く領域部分については前記境界領域の全部又は一部として扱うものであることを特徴とする請求項１記載の背景置換装置。
  5. 前記領域区別部が、前記撮影条件における被写体と背景との所定の相違点に基づいて、撮影画像中で被写体側の領域と背景側の領域とを判別し、前記背景側の領域を縮小して前記背景領域として扱い、縮小前の背景側の領域における該背景領域を除く領域部分については前記境界領域の全部又は一部として扱うものであることを特徴とする請求項１記載の背景置換装置。
  6. 前記領域区別部が、前記画像取得部で取得された撮影画像のうちの１つの撮影画像に基づいて撮影画像中の被写体領域と背景領域と境界領域とを区別するものであり、
    前記背景置換部は、前記画像取得部で取得された撮影画像のうち、前記領域区別部が領域の区別に用いた撮影画像とは別の撮影画像中の背景を別の背景と置換するものであることを特徴とする請求項１記載の背景置換装置。
  7. 前記混合比決定部が、撮影画像中の前記境界領域における、被写体色と背景色との混合比、および該被写体色を推定するものであり、
    前記背景置換部が、前記混合比決定部で推定された被写体色と混合比とを用いて撮影画像中の背景を別の背景と置換するものであることを特徴とする請求項１記載の背景置換装置。
  8. 前記混合比決定部が、前記被写体色を推定するに当たり、該被写体色の候補として前記被写体領域中の各色を用いて推定するものであることを特徴とする請求項７記載の背景置換装置。
  9. 前記混合比決定部が、前記境界領域中の各箇所について、前記被写体色および前記混合比を推定するものであって、該被写体色を推定するに当たり、所定色空間内で該被写体色が前記背景色およびその箇所の色と直線的に並ぶという前提で推定するものであることを特徴とする請求項７記載の背景置換装置。
  10. 前記混合比決定部が、前記境界領域中の各箇所について、前記被写体色および前記混合比を推定するものであって、該被写体色を推定するに当たり、該被写体色の候補として前記被写体領域中の各色を用い、その候補のうち、所定色空間内で前記背景色およびその箇所の色と直線的に並んでその箇所の色に最も近い候補を被写体色と推定するものであることを特徴とする請求項７記載の背景置換装置。
  11. 前記混合比決定部が、前記境界領域中の各箇所について、前記被写体色および前記混合比を推定するものであって、前記混合比を推定するに当たり、所定色空間における、前記背景色、その箇所の色、および前記被写体色の相互距離の比に基づいて推定するものであることを特徴とする請求項７記載の背景置換装置。
  12. 前記背景置換部が、撮影画像中の背景を別の背景と置換するに当たり、その別の背景の色と、前記混合比決定部で推定された被写体色とを、該混合比決定部で推定された混合比で混合することによって背景を置換するものであることを特徴とする請求項７記載の背景置換装置。
  13. 前記領域区別部によって区別された領域の修正を、操作を受けて実行し、修正された領域に基づいた背景置換を前記背景置換部に実行させて前記背景置換画像を修正する画像修正部とを備えたことを特徴とする請求項１記載の背景置換装置。
  14. 前記領域区別部が、前記撮影条件における被写体と背景との所定の相違点に基づいて、撮影画像中で被写体側の領域と背景側の領域とを判別し、それら被写体側の領域および背景側の領域それぞれを所定の縮小量だけ縮小して前記被写体領域および前記背景領域として扱うものであり、
    前記画像修正部が、前記領域区別部における前記縮小量を、操作を受けて変更することにより、前記被写体領域および／又は前記背景領域を修正するものであることを特徴とする請求項１３記載の背景置換装置。
  15. 前記領域区別部が、前記撮影条件における被写体と背景との所定の相違点に基づいた区別基準によって、前記被写体領域と前記背景領域とを区別するものであり、
    前記画像修正部が、前記区別基準を、操作を受けて変更することにより、前記被写体領域および／又は前記背景領域を修正するものであることを特徴とする請求項１３記載の背景置換装置。
  16. 複数の撮影条件それぞれの下で共通の被写体が撮影されて得られた複数の撮影画像を取得する画像取得部と、
    前記画像取得部で取得された撮影画像に基づいて、撮影画像中の背景領域を他の領域から区別する領域区別部と、
    撮影画像中の前記背景領域を除く他の領域における、被写体色と背景色との混合比、および該被写体色を推定する混合状態推定部と、
    前記混合状態推定部で推定された被写体色と混合比とを用いて前記画像取得部で取得された撮影画像中の背景を別の背景と置換する背景置換部とを備えたことを特徴とする背景置換装置。
  17. 前記混合状態推定部が、前記被写体色を推定するに当たり、該被写体色の候補として撮影画像中の各色を用いて推定するものであることを特徴とする請求項１６記載の背景置換装置。
  18. 前記混合状態推定部が、前記背景領域を除く他の領域中の各箇所について、前記被写体色および前記混合比を推定するものであって、該被写体色を推定するに当たり、所定色空間内で該被写体色が前記背景色およびその箇所の色と直線的に並ぶという前提で推定するものであることを特徴とする請求項１６記載の背景置換装置。
  19. 前記混合状態推定部が、前記背景領域を除く他の領域中の各箇所について、前記被写体色および前記混合比を推定するものであって、該被写体色を推定するに当たり、該被写体色の候補として前記背景領域を除く他の領域中の各色を用い、その候補のうち、所定色空間内で前記背景色およびその箇所の色と直線的に並んでその箇所の色から最も遠い候補を被写体色と推定するものであることを特徴とする請求項１６記載の背景置換装置。
  20. 前記混合状態推定部が、前記背景領域を除く他の領域中の各箇所について、前記被写体色および前記混合比を推定するものであって、該混合比を推定するに当たり、所定色空間における、前記背景色、その箇所の色、および前記被写体色の相互距離の比に基づいて推定するものであることを特徴とする請求項１６記載の背景置換装置。
  21. 前記背景置換部が、撮影画像中の背景を別の背景と置換するに当たり、その別の背景の色と、前記混合状態推定部で推定された被写体色とを、該混合状態推定部で推定された混合比で混合することによって背景を置換するものであることを特徴とする請求項１６記載の背景置換装置。
  22. 前記領域区別部が、前記複数の撮影画像の相互間における明るさの比率に基いて、撮影画像中の背景領域を他の領域から区別するものであることを特徴とする請求項１６記載の背景置換装置。
  23. 前記混合状態推定部で推定された被写体色と混合比とを記憶する記憶部を備え、
    前記背景置換部が、前記記憶部が記憶している被写体色と混合比とを用いて前記画像取得部で取得された撮影画像中の背景を別の背景と置換するものであることを特徴とする請求項１６記載の背景置換装置。
  24. 前記混合状態推定部で推定された被写体色に色が置き換えられた前記他の領域の画像に基いて、該被写体色に対する色補正に使われる補正パラメータを決定する第１のパラメータ決定部と、
    前記第１のパラメータ決定部によって決定された補正パラメータを使って、前記混合状態推定部で推定された被写体色に対して色補正を施す第１の色補正部とを備え、
    前記背景置換部は、前記第１の色補正部によって色補正が施された被写体色と前記混合比とを用いて前記画像取得部で取得された撮影画像中の背景を別の背景と置換するものであることを特徴とする請求項１６記載の背景置換装置。
  25. 前記画像取得部で取得された撮影画像に基いて、前記被写体色に対する色補正に使われる補正パラメータを決定する第２のパラメータ決定部と、
    前記第２のパラメータ決定部によって決定された補正パラメータを使って、前記混合状態推定部で推定された被写体色に対して色補正を施す第２の色補正部とを備え、
    前記背景置換部は、前記第２の色補正部によって色補正が施された被写体色と前記混合比とを用いて前記画像取得部で取得された撮影画像中の背景を別の背景と置換するものであることを特徴とする請求項１６記載の背景置換装置。
  26. 前記被写体色に対する色補正に使われる補正パラメータを、操作に応じたパラメータに決定する第３のパラメータ決定部と、
    前記第３のパラメータ決定部によって決定された補正パラメータを使って、前記混合状態推定部で推定された被写体色に対して色補正を施す第３の色補正部とを備え、
    前記背景置換部は、前記第３の色補正部によって色補正が施された被写体色と前記混合比とを用いて前記画像取得部で取得された撮影画像中の背景を別の背景と置換するものであることを特徴とする請求項１６記載の背景置換装置。
  27. 前記被写体色に対する色補正に使われる補正パラメータを、前記別の背景に応じたパラメータに決定する第４のパラメータ決定部と、
    前記第４のパラメータ決定部によって決定された補正パラメータを使って、前記混合状態推定部で推定された被写体色に対して色補正を施す第４の色補正部とを備え、
    前記背景置換部は、前記第４の色補正部によって色補正が施された被写体色と混合比とを用いて前記画像取得部で取得された撮影画像中の背景を前記別の背景と置換するものであることを特徴とする請求項１６記載の背景置換装置。
  28. 前記背景置換部は、前記別の背景として、被写体と背景との画像中における相対関係を表わす関係情報が付与された背景を用いて、前記撮影画像中の背景を置換するとともに、置換後の画像中で被写体と背景との相対関係が、該関連情報が表わす相対関係と同じ相対関係となるように置換するものであることを特徴とする請求項１６記載の背景置換装置。
  29. 背景の色が互いに異なる複数の撮影条件それぞれの下で共通の被写体が撮影されて得られた複数の撮影画像を取得する画像取得部と、
    前記画像取得部で取得された撮影画像に基づいて、撮影画像中の背景領域を他の領域から区別する領域区別部と、
    前記複数の撮影画像に基づいて、撮影画像中の前記背景領域を除く他の領域における、被写体色と背景色との混合比、および該被写体色を推定する混合状態推定部と、
    前記混合状態推定部で推定された被写体色と混合比とを用いて前記画像取得部で取得された撮影画像中の背景を別の背景と置換する背景置換部とを備えたことを特徴とする背景置換装置。
  30. 前記混合状態推定部が、被写体色と背景色との混合状態が、異なる背景色の下でも同じであるという前提で、前記被写体色と前記混合比とを推定するものであることを特徴とする請求項２９記載の背景置換装置。
  31. 前記混合状態推定部が、前記背景領域を除く他の領域中の各箇所について、前記被写体色および前記混合比を推定するものであって、背景の色が互いに異なる複数の撮影条件それぞれの下で得られた複数の撮影画像それぞれにおける前記背景色とその箇所の色を所定の色空間内で結ぶ各直線を求め、それらの直線の交点に相当する色を前記被写体色と推定するものであることを特徴とする請求項２９記載の背景置換装置。
  32. 前記画像取得部が、背景の色相が互いに異なる複数の撮影条件それぞれの下で撮影されて得られた複数の撮影画像を取得するものであることを特徴とする請求項２９記載の背景置換装置。
  33. 前記領域区別部が、撮影画像中の前記背景領域を除く他の領域中の被写体領域と境界領域とを区別するものであり、
    前記混合状態推定部が、前記境界領域中で、前記被写体色と前記混合比とを推定するものであることを特徴とする請求項２９記載の背景置換装置。
  34. 前記領域区別部が、前記画像取得部で取得された撮影画像中の背景領域を他の領域から、前記複数の撮影画像の相互間における色の変化量に基づいて区別するものであることを特徴とする請求項２９記載の背景置換装置。
  35. 前記領域区別部が、前記画像取得部で取得された撮影画像中の背景領域を他の領域から、前記背景と前記被写体との明るさの差に基づいて区別するものであることを特徴とする請求項２９記載の背景置換装置。
  36. コンピュータに組み込まれ、該コンピュータ上で、
    複数の撮影条件それぞれの下で共通の被写体が撮影されて得られた複数の撮影画像を取得する画像取得部と、
    前記画像取得部で取得された撮影画像に基づいて、撮影画像中の被写体領域と背景領域と境界領域とを区別する領域区別部と、
    前記境界領域における被写体色と背景色との混合比を決定する混合比決定部と、
    前記領域区別部によって区別された３つの領域と前記混合比決定部で決定された混合比とに基づいて前記画像取得部で取得された撮影画像中の背景を別の背景と置換する背景置換部とを構築することを特徴とする背景置換プログラム。
  37. コンピュータに組み込まれ、該コンピュータ上で、
    複数の撮影条件それぞれの下で共通の被写体が撮影されて得られた複数の撮影画像を取得する画像取得部と、
    前記画像取得部で取得された撮影画像に基づいて、撮影画像中の背景領域を他の領域から区別する領域区別部と、
    撮影画像中の前記背景領域を除く他の領域における、被写体色と背景色との混合比、および該被写体色を推定する混合状態推定部と、
    前記混合状態推定部で推定された被写体色と混合比とを用いて前記画像取得部で取得された撮影画像中の背景を別の背景と置換する背景置換部とを構築することを特徴とする背景置換プログラム。
  38. コンピュータに組み込まれ、該コンピュータ上で、
    背景の色が互いに異なる複数の撮影条件それぞれの下で共通の被写体が撮影されて得られた複数の撮影画像を取得する画像取得部と、
    前記画像取得部で取得された撮影画像に基づいて、撮影画像中の背景領域を他の領域から区別する領域区別部と、
    前記複数の撮影画像に基づいて、撮影画像中の前記背景領域を除く他の領域における、被写体色と背景色との混合比、および該被写体色を推定する混合状態推定部と、
    前記混合状態推定部で推定された被写体色と混合比とを用いて前記画像取得部で取得された撮影画像中の背景を別の背景と置換する背景置換部とを構築することを特徴とする背景置換プログラム。
  39. 複数の撮影条件それぞれの下で共通の被写体が撮影されて得られた複数の撮影画像を取得する画像取得過程と、
    前記画像取得過程で取得された撮影画像に基づいて、撮影画像中の被写体領域と背景領域と境界領域とを区別する領域区別過程と、
    前記境界領域における被写体色と背景色との混合比を決定する混合比決定過程と、
    前記領域区別部によって区別された３つの領域と前記混合比決定部で決定された混合比とに基づいて前記画像取得部で取得された撮影画像中の背景を別の背景と置換する背景置換過程とを備えたことを特徴とする背景置換方法。
  40. 複数の撮影条件それぞれの下で共通の被写体が撮影されて得られた複数の撮影画像を取得する画像取得過程と、
    前記画像取得過程で取得された撮影画像に基づいて、撮影画像中の背景領域を他の領域から区別する領域区別過程と、
    撮影画像中の前記背景領域を除く他の領域における、被写体色と背景色との混合比、および該被写体色を推定する混合状態推定過程と、
    前記混合状態推定過程で推定された被写体色と混合比とを用いて前記画像取得過程で取得された撮影画像中の背景を別の背景と置換する背景置換過程とを備えたことを特徴とする背景置換方法。
  41. 背景の色が互いに異なる複数の撮影条件それぞれの下で共通の被写体が撮影されて得られた複数の撮影画像を取得する画像取得過程と、
    前記画像取得過程で取得された撮影画像に基づいて、撮影画像中の背景領域を他の領域から区別する領域区別過程と、
    前記複数の撮影画像に基づいて、撮影画像中の前記背景領域を除く他の領域における、被写体色と背景色との混合比、および該被写体色を推定する混合状態推定過程と、
    前記混合状態推定過程で推定された被写体色と混合比とを用いて前記画像取得過程で取得された撮影画像中の背景を別の背景と置換する背景置換過程とを備えたことを特徴とする背景置換方法。
JP2006527199A 2005-03-10 2006-03-10 背景置換装置、背景置換プログラム、および背景置換方法 Expired - Fee Related JP4642764B2 (ja)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
JP2005067933 2005-03-10
JP2005067933 2005-03-10
JP2005069783 2005-03-11
JP2005069783 2005-03-11
JP2005071009 2005-03-14
JP2005071009 2005-03-14
JP2005095173 2005-03-29
JP2005095173 2005-03-29
PCT/JP2006/304764 WO2006095860A1 (ja) 2005-03-10 2006-03-10 背景置換装置、背景置換プログラム、および背景置換方法

Publications (2)

Publication Number Publication Date
JPWO2006095860A1 true JPWO2006095860A1 (ja) 2008-08-21
JP4642764B2 JP4642764B2 (ja) 2011-03-02

Family

ID=36953449

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006527199A Expired - Fee Related JP4642764B2 (ja) 2005-03-10 2006-03-10 背景置換装置、背景置換プログラム、および背景置換方法

Country Status (3)

Country Link
EP (1) EP1858255B1 (ja)
JP (1) JP4642764B2 (ja)
WO (1) WO2006095860A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7574016B2 (en) 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
US8055067B2 (en) 2007-01-18 2011-11-08 DigitalOptics Corporation Europe Limited Color segmentation
US7834894B2 (en) * 2007-04-03 2010-11-16 Lifetouch Inc. Method and apparatus for background replacement in still photographs
JP2010056991A (ja) * 2008-08-29 2010-03-11 Panasonic Corp クロマキー処理装置およびクロマキー処理方法
US8633999B2 (en) 2009-05-29 2014-01-21 DigitalOptics Corporation Europe Limited Methods and apparatuses for foreground, top-of-the-head separation from background
US8605955B2 (en) 2009-06-29 2013-12-10 DigitalOptics Corporation Europe Limited Methods and apparatuses for half-face detection
US8971628B2 (en) 2010-07-26 2015-03-03 Fotonation Limited Face detection using division-generated haar-like features for illumination invariance
US9350924B2 (en) 2014-08-25 2016-05-24 John G. Posa Portable electronic devices with integrated image/video compositing

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0865705A (ja) * 1994-08-25 1996-03-08 Imagica:Kk ソフトクロマキー処理方法
JPH10210340A (ja) * 1997-01-27 1998-08-07 Matsushita Electric Ind Co Ltd 画像撮像装置および画像合成装置
JPH10257518A (ja) * 1997-03-07 1998-09-25 Fuji Photo Film Co Ltd 自動撮影装置および自動撮影方法
JP2000030040A (ja) * 1998-07-14 2000-01-28 Canon Inc 画像処理装置及びコンピュータ読み取り可能な記憶媒体
JP2000224410A (ja) * 1998-08-31 2000-08-11 Hitachi Software Eng Co Ltd 画像合成装置および画像合成方法
JP2003058873A (ja) * 2001-08-13 2003-02-28 Olympus Optical Co Ltd 形状抽出装置および方法、並びに画像切り出し装置および方法
JP2004282167A (ja) * 2003-03-12 2004-10-07 Nippon Telegr & Teleph Corp <Ntt> 画像処理装置及び方法並びにプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU6577194A (en) * 1993-04-29 1994-11-21 Scientific Generics Limited Background separation for still and moving images
JPH0946723A (ja) * 1995-07-28 1997-02-14 Nippon Hoso Kyokai <Nhk> はめ込み合成用映像撮影方法および装置
US5986771A (en) * 1997-09-19 1999-11-16 Eastman Kodak Company Method for computing a control signal for combining digital images
US5937104A (en) * 1997-09-19 1999-08-10 Eastman Kodak Company Combining a first digital image and a second background digital image using a key color control signal and a spatial control signal
US6134346A (en) * 1998-01-16 2000-10-17 Ultimatte Corp Method for removing from an image the background surrounding a selected object
WO1999067949A1 (fr) * 1998-06-22 1999-12-29 Fuji Photo Film Co., Ltd. Imageur et procede
JP3241327B2 (ja) * 1998-08-22 2001-12-25 大聖電機有限会社 クロマキーシステム
US6667774B2 (en) * 2001-11-02 2003-12-23 Imatte, Inc. Method and apparatus for the automatic generation of subject to background transition area boundary lines and subject shadow retention

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0865705A (ja) * 1994-08-25 1996-03-08 Imagica:Kk ソフトクロマキー処理方法
JPH10210340A (ja) * 1997-01-27 1998-08-07 Matsushita Electric Ind Co Ltd 画像撮像装置および画像合成装置
JPH10257518A (ja) * 1997-03-07 1998-09-25 Fuji Photo Film Co Ltd 自動撮影装置および自動撮影方法
JP2000030040A (ja) * 1998-07-14 2000-01-28 Canon Inc 画像処理装置及びコンピュータ読み取り可能な記憶媒体
JP2000224410A (ja) * 1998-08-31 2000-08-11 Hitachi Software Eng Co Ltd 画像合成装置および画像合成方法
JP2003058873A (ja) * 2001-08-13 2003-02-28 Olympus Optical Co Ltd 形状抽出装置および方法、並びに画像切り出し装置および方法
JP2004282167A (ja) * 2003-03-12 2004-10-07 Nippon Telegr & Teleph Corp <Ntt> 画像処理装置及び方法並びにプログラム

Also Published As

Publication number Publication date
EP1858255A1 (en) 2007-11-21
EP1858255B1 (en) 2013-12-25
JP4642764B2 (ja) 2011-03-02
WO2006095860A1 (ja) 2006-09-14
EP1858255A4 (en) 2010-01-13

Similar Documents

Publication Publication Date Title
JP4689662B2 (ja) 撮影システム
JP4642764B2 (ja) 背景置換装置、背景置換プログラム、および背景置換方法
US7835571B2 (en) Background replacing apparatus, background replacing program, and background replacing method
CN108111827B (zh) 图像处理装置、图像处理方法和程序以及成像装置
JP4533168B2 (ja) 撮像装置及びその制御方法
JP2001186323A (ja) 証明写真システム及び画像処理方法
JP2009171318A (ja) 画像処理装置及び画像処理方法並びに撮像装置
JP2008527852A (ja) ディジタル・カメラの画像のホワイト・バランス補正
US20110221773A1 (en) Apparatus, system, and method of sharing drawing data
JP4960840B2 (ja) 画像処理装置および画像処理方法
JP2006350936A (ja) 画像作成装置、及び画像作成用プログラム
JP2006350521A (ja) 画像作成装置、及び画像作成用プログラム
JP4303696B2 (ja) 背景置換装置、背景置換プログラム、背景置換プログラム記憶媒体、および、背景置換方法
JP7207876B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP4638260B2 (ja) 背景置換装置、背景置換プログラム、背景置換プログラム記憶媒体、および、背景置換方法
JP2005217618A (ja) 画像処理方法、画像処理装置及び画像処理プログラム
JP2006277303A (ja) 撮影システム
US9025873B2 (en) Image processing apparatus and control method therefor
JP2021005748A (ja) 情報処理装置、情報処理方法及びプログラム
JP5818515B2 (ja) 画像処理装置、画像処理方法およびそのプログラム
JP2006072743A (ja) キャッチライト合成方法及び装置
JP5854333B2 (ja) 画像出力装置
JPH0546718A (ja) 画像編集装置
JP2010220229A (ja) 撮像装置及びその制御方法
JP6126638B2 (ja) 画像処理装置、画像処理方法およびそのプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080711

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101109

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101201

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131210

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061220

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees