JPH11502693A

JPH11502693A - 画像の背景を置き換える方法

Info

Publication number: JPH11502693A
Application number: JP9526816A
Authority: JP
Inventors: ヤング，イビング; シー．ボウマン，ジョン; ハッジャーマド，イブラハム
Original assignee: ポラロイドコーポレイション
Priority date: 1996-01-25
Filing date: 1996-08-02
Publication date: 1999-03-02
Also published as: WO1997027702A1; AU6843496A; EP0818108A1; CA2212812A1; AU709844B2

Abstract

(57)【要約】本発明は、被写界の可視光線画像の背景に係わらず、写真ブースの必要性がなく身分証明及び他の目的の可視光線画像を撮るのに有用である。可視光線画像の元の背景は予め選択された背景に置き換えられる。被写界の前景と背景域でＩＲ照明の異なる強度の２つのＩＲ画像を各々比較し、２つの画像の対応するピクセル間の光強度差の差分画像を発生する。所定の閾値θに対して差分画像を２進化することにより２進化画像が発生される。接続制約を使用して２進化画像から２進マスクを発生し、次いで２進マスクに差分画像の所定の変調関数を乗算することによりグレイ・スケール・マスクを発生する。グレイ・スケール・マスクをワープさせ、変換マスクを発生する。最後に、変換マスクに可視光線画像を混ぜ、元の背景を予め選択された背景と置き換えることにより、背景を置き換えた可視光線画像を発生する。

Description

【発明の詳細な説明】画像の背景を置き換える方法本出願はヤン他により１９９５年１０月１８日に提出された共願の出願一連番号第０８／５４４、６１５号と一部連続している。発明の背景本発明は、一般にディジタル的に得られた画像の元の背景を新たな背景と置き換える装置と方法に関係する。特に、本発明は画像の背景を置き換えるマスクの発生と応用に関係する。写真的被写界やその画像は全体の被写界内容に対するその重要度を基に異なる部分に分割できる。各被写界で通常、主題事項を表示するある部分と一般状況を与える残りの部分がある。一般に、被写界の前景の部分は背景部分に対して通常目立っているが、背景が被写界の完全な情報内容の全体的理解に不可欠な情報を運んでいる場合も明らかに存在するため、必ずしもそうとは限らない。しかしながら、背景が殆ど意味を持たなくて前景から減じてもよいような種類の被写界もある。これらの大部分は、１人又は複数の人の被写界であって、背景を全く省いてもいいか又は目立たないようにしてもよいような種類のものである。パスポート、身分証明バッジ、運転免許証に要求される公的な設定は、背景が主題に及ぼす何らかの影響を除去しようとするこの種の被写界のいくつかの例にすぎない。「公的な」写真を得るには、スタジオ又は写真店で特別に設計され光を当てている背景を通常必要とする。ここでは、くすんだ特徴のない背景により、主題の顔又は上半身の写真を撮る同様な場面を提供する。この処理は一般的には不便ではないが、自分で自分の写真を撮る自動写真用に設計されたブース又はキオスクで写真を撮るにはそれほど便利ではない。伝統的な自動写真装置では、スタジオ設定の背景と照明は、実際の「写真」を取る専門の写真家に頼るという不便なしに通常真似できる。最近、変更可能な周囲背景を背に主題が写真を取られることを可能とする自動写真装置が工夫され、実際の制御背景を提供する必要性を排除している。代わりに、被写界が撮影され、前景と背景に分離され、元の背景が手近な公的使用に適した望ましいものに置き換えられる、―全てがディジタル画像処理を介して実行される、という方法が提案されている。その後、新たな画像がハード・コピー形式で再生される。本願の親出願は、対応する可視光線画像の前景と背景との間を区別するため２つの赤外（ＩＲ）線照明画像間で差を取ることにより画像の背景を置き換える一般的な方法を開示している。これは、被写界の前景と背景域の各々のＩＲ照射の異なる強度の２つのＩＲ画像を比較し、２つの画像の対応するピクセル間の光強度差を求め、画像の前景と背景域間を区別するマスクを形成する、背景置き換え方法を特に開示している。ついでマスクが被写界の可視光画像に適用され元の背景は予め選択された背景に置き換えられる。本発明の主要な目的は、親出願の背景置き換え装置と方法に使用するマスクの発生と適用である。この目的と他の目的は、以下の説明、図面及び特許請求の範囲から明かである。発明の要約本発明は、可視光線画像の背景に関係なく、写真撮影部屋の必要性がなく身分証明及び他の目的の可視光線画像を撮るのに有用である。可視光線画像の元の背景は予め選択された背景に置き換えられる。被写界の前景と背景域でＩＲ照明の異なる強度の２つのＩＲ画像を各々比較し、２つの画像の対応するピクセル間の光強度差の差分画像を発生する。所定の閾値θに対して差分画像を２進化することにより２進化画像が発生される。接続制約を使用して２進化画像から２進マスクを発生し、次いで２進マスクに差分画像の所定の変調関数を乗算することによりグレイ・スケール・マスクを発生する。グレイ・スケール・マスクをワープさせ、変換マスクを発生する。最後に、変換マスクに可視光線画像を混ぜ、元の背景を予め選択された背景と置き換えることにより、背景を置き換えた可視光線画像を発生する。図面の簡単な説明本発明の上記の特徴と他の特徴は、対応する要素を記述するため全図面を通して同じ参照番号が使用されている添付図面を参照して詳細に記述されている。図１は本明細書で記述する背景置き換え装置を含む写真装置１００の図式表現である。図２は被写界の前部照明ＩＲ画像である。図３は図２と同様な被写界の背景照明ＩＲ画像である。図４は本発明の背景置き換え方法の第１の構成の望ましい段階のブロック線図である。図５は本発明の背景置き換え方法の第２の構成の望ましい段階のブロック線図である。図６は背景と前景域に分割した被写界を図示する。図７は差分画像ＤＩＦＦ（ｉ，ｊ）の値に対する変調関数ｆ（ｘ）の値のプロットである。望ましい実施例の詳細な説明以下の説明は電子ディジタル画像処理の技術に通常の技術を有する技術者に本発明を作成使用させるために与えてある。本説明は発明を実施するため発明者にとって最も良い方法と考えられる物を説明している。本明細書で記述する本発明の一般原理に従って当業者には各種の変更が容易に明らかとなる。用語請求の範囲で記述する本発明をより完全に認識するため、ある種の重要単語を明確に定義する。被写界の画像は前景、近背景、遠背景に分割可能である。前景は、画像の主題、しばしば人間である画像装置に近い物体を含む。能動光源は、被写界へ光を与えるために使用されるランプである。近背景は能動光源により影響される背景の一部で、一方遠背景は能動光源により影響されない背景の一部である。例えば、遠方に山岳域のあるところで人間の写真を撮る場合、能動光源は山岳域の光、すなわち遠背景に影響を与えない。しかしながら、潅木が能動光源の範囲内の主題の後方数フィートのところにある場合、この潅木は近背景に配置されている。背景照明と背景光線と言う用語は、周辺照明に加えて１つ以上の能動光源により照射されている被写界の近背景を指す。じゃま板の使用により前景は能動背景光線によっては照明されない。同様に、前景照明と前景光線と言う用語は、周辺照明に加えて１つ以上の能動光源により照射されている画像の前景または主題を指す。じゃま板の使用により背景は能動前景光線によっては照明されない。前部照明または前部光線と言う用語は、画像の主題を照明するため１個以上の能動光源が撮像装置の光学軸の近くに配置されている場合を指す。境界線はディジタル画像の前景と背景域を分離するピクセルの線として定義される。２個のディジタル画像装置は、装置により撮られる画像が同一の時、同じ仮想空間位置を有する。ディジタル画像装置はＣＣＤ（電荷結合素子）感光アレイのような装置を含むが、これには限定されない。ディジタル画像装置は例えば、電子カメラまたはカムコーダでもよい。ＩＲ背景置き換え方法画像のピクセル間の光線特性を比較することにより、ディジタル的に捕獲した画像の元の背景を所定の置き換え背景と置き換える。考えうる光線特性の一つは光強度である。他には、同時に撮られた同じ被写界の２つの画像間で比較された同じ、すなわち対応する位置のピクセルの強度値の比として定義されるコントラスト比がある。画像の前景と背景域を異なる強度、すなわち異なる照明パターンの光で照射すると、有用な比較モードを与える。画像中の全てのピクセルの比較は、画像の前景と背景域の輪郭を描くために解析可能な情報を与える。しかしながら、いくつかの問題が存在する。光強度の測定は光を測定する物体の反射に直接関係している。例えば、物体が光に照らされて高反射率を示す場合、物体に入射する光の大部分は反射され測定に利用可能である。しかしながら、照らされる物体が低い反射率を有している場合、物体に入射する光のうちの少量のみが反射され測定に利用できるため、問題が発生する。身分証明用に写真を撮影する場合、画像の主題は一般的に人間である。従って、主題の頭髪線が一般的に画像の前景と背景域を分離する境界線を追従する。可視光に対して金髪は高い反射率を示し、黒髪は低い反射率を示すことが知られている。従って、黒髪を有する人間が画像の主題である場合、黒髪に入射する反射可視光の強度は小さく、測定困難であり、強度比較には受け入れられない。反対に、光スペクトルのＩＲ域の光は金髪と黒髪の両方に高反射特性を示す。さらに、市販のＣＣＤのスペクトル強度は約４００から７００ナノメータの範囲の可視光と約７００から１０００ナノメータの近赤外域を含む。従って、近赤外域の能動光源が強度比較には望ましい。ＩＲ背景置き換え方法を保持すると、被写界の背景に係わらず画像が取れる。従って、写真ブースまたは主題の背景の背景幕は必要なくなる。しかしながら、能動及び周辺光線の両方の慎重な解析が必要である。被写界は３つの区域、前景域、近背景域、遠背景域に分割できる。前景域は画像の主題、しばしば人間である画像装置に近くの物体を含む。近背景域は能動光源により影響される背景の一部である。遠背景域は能動光源により影響されない背景の一部である。異なる照明パターンの２つのＩＲ画像で、変化する光線状態の下で上記３つの区域の各々のピクセルの光強度の比較は、被写界の画像の前景と背景域を分離するマスクを作成するのに必要な情報を与える。言い換えると、２つのＩＲ画像の対応する位置のピクセルの強度値のコントラスト比は前景と背景域との間で変化する。２つのＩＲ画像は異なる光線状態の下で同じ被写界を撮られる。図２に示した第１のＩＲ画像は前部赤外線により照射された前部ＩＲ画像ＩＲ_frである。図３に示す第２のＩＲ画像は背景赤外照明により照明された背景ＩＲ画像ＩＲ_bgである。各画像は前景１２２と、能動光源により影響される物体を有する近背景域２０２と能動光源により影響されない物体を有する遠背景域２０４とにさらに分解される背景２００とを含む。図２は前景ＩＲ光線により取られた前景照明ＩＲ画像ＩＲ_frを図示する。もちろん、前景２０２と背景２００の両方を照らす周辺（すなわち非能動）ＩＲ前景背景光線も存在する。前部ＩＲ光線は遠背景の光線に影響を与えることが不可能なため強度「Ａ」の周辺ＩＲ光のみが遠背景の各ピクセルで反射される。例えば、被写界が、後ろの壁が７５フィート先にある大きな建物のロビーに立っている人間である場合、能動ＩＲ光線、すなわち前部ＩＲ光線は後壁の背景を照らさない。前部ＩＲ光線は周辺ＩＲ光線と組み合わされて、周辺ＩＲ光線強度「Ａ」より大きい光強度「Ｂ」の前景１２２と近背景２０２の物体を照明可能である。図３は、能動前部ＩＲ照明なし（すなわち前景１２２に周辺ＩＲ光線のみが存在する）で、周辺ＩＲ光線と組み合わされて、背景２００の近背景域２０２の物体を照明するために作動された１個以上の背景ＩＲ光で、撮った背景照明ＩＲ画像ＩＲ_bgを図示する。周辺ＩＲ光は強度「Ａ」を有する前景及び遠背景域のピクセルから反射され、周辺ＩＲ光線と組み合わされた背景ＩＲ光線は図２の前部光線の強度「Ｂ」より強い強度「Ｃ」を有する近背景域のピクセルから反射される。この望ましい方法では、背景光線の強度は前部光線の強度より強いため、以下の表Ｉに詳細を示す関係は成立する。しかしながら、前部光線が背景光線より大きな強度を与えられている場合、表Ｉには異なる数学関係の組が得られる。画像ＩＲ_frとＩＲ_bgは、ＩＲ撮像装置のシャッタ速度と能動ＩＲ光線を切り替えるのに必要な時間によってのみ制限される一時的な近接場所の同一のＩＲ撮像装置によって撮られるのが望ましい。時間的に可能な限り接近して２枚のＩＲ画像を撮ることにより、主題又は近背景の物体の移動により生じる問題を避けることができる。特に、露出の間の境界線の移動が人間の目によって検出出来ない限り、主題の移動は無視出来る。標準的には、約１秒の１／３０（すなわち電子カメラの標準的なシャッタ速度）の露出間の最大時間差は主題の移動が無視出来ることを保証する。もちろん、画像の主題が静止している場合、２つのＩＲ画像は任意の時間に撮り得る。２つのＩＲ画像を撮ってディジタル形式で保存した後、ピクセル毎に比較され背景から前景の輪郭を描くマスクを作成する。２つのＩＲ画像、一方が前部ＩＲ照明で他方が背景ＩＲ照明、を比較するこの望ましい例では、以下の表Ｉの関係が各画像の各対応するピクセル位置（ｉ，ｊ）に対して支配している、ここでｉとｊは整数である。従って、ＩＲ_bgのあるピクセルがＩＲ_frの同じピクセル位置より大きな強度を有している場合、そのピクセルはマスクでは前景ピクセルとして識別され、ＩＲ_bg のあるピクセルがＩＲ_frの同じピクセル位置と同じ強度を有している場合は、そのピクセルはマスクでは遠背景ピクセルとして識別され、ＩＲ_bgのあるピクセルがＩＲ_frの同じピクセル位置より強度が小さい場合、そのピクセルはマスクでは近背景ピクセルとして識別される。ＩＲ背景置き換え装置例えば身分証明用の主題１２２の写真を撮るため、望ましい背景置き換え装置が写真装置１００（図１参照）に設けられる。写真装置１００は郵便局のようなところに便利に配置可能であり、ここで元の背景は任意の所要の予め選択された背景に置き換えられる。主題１２２はマイクロプロセッサ１０２に接続された制御パネル１１８から写真装置１００を操作する。同一の仮想的空間位置を占める２台の撮像装置１０６と１０８が実装される。撮像装置１０６と１０８の両方がディジタル形式で画像を捕らえることが出来る適合電子カメラである。さらに、撮像装置の一方１０８はＩＲ通過可視不透過フィルタを使用することによりＩＲ画像を捕らえることが可能であり、一方他方の撮像装置１０６はＩＲ不透過可視通過フィルタを用いることにより可視光画像を捕らえることが可能である。写真装置１００は、じゃま板１１４を有する１個以上の背景ＩＲ光１１０、前部ＩＲ光１１６、可視光源１３６、ディスプレイ１１２、ビーム・スプリッタ１３２、プリンタ１０４を含む。前部ＩＲ光１１６、背景ＩＲ光１１０、可視光源１３６は全て能動光源である。前部ＩＲ光１１６は第１強度で近ＩＲ線を放射し、背景ＩＲ光１１０は第１強度より強い第２強度で近ＩＲ線を放射し、可視光源１３６は可視光を放射する。主題１２２は最初に多数の置き換え背景の中から１つを選択し、写真装置１００を作動させて写真撮影処理を開始する。可視光画像のプレビューがディスプレイ１１２に現れ、ユーザーはボタンを押すことにより２つのＩＲ及び１つの可視光画像を撮ることを続行する。背景ＩＲ光１１０を作動させて、第１強度で近ＩＲ光により近背景を照明し、図３に示すような背景照明ＩＲ画像ＩＲ_bgを撮像装置１０８により撮る。１秒の約３０／１（すなわち撮像装置のシャッタ速度）以内に背景ＩＲ光１１０は動作を止め、可視光源１３６が作動され、第１強度より低い第２強度を有する前部ＩＲ光１１６が作動される。この時、撮像装置１０８は図２に示すような前部照明ＩＲ画像ＩＲ_frを撮り、第２撮像装置１０８は可視光画像を撮る。その後すぐに前部ＩＲ光１１６と可視光源１３６は作動を止める。写真装置１００の部品の各々は当業者には良く理解出来るように、マイクロプロセッサ１０２により制御される。マイクロプロセッサ１０２は第１ＩＲ画像、第２ＩＲ画像および可視光画像の記録を収集し記憶する。第１及び第２ＩＲ画像の対応するピクセルの強度間の差はマイクロプロセッサ１０２によって決定されて画像の背景２００域から前景１２２を弁別するマスクを形成する。次いでこのマスクが可視光画像に適用されて、元の背景を新たな予め選択された背景に置き換えることにより修正した可視光画像を作成する。修正した可視光画像の印刷がプリンタ１０４内のスロット又はトレイから引き出される。上記望ましい装置では、主題１２２は主題１２２の各画像のデータ点、すなわちピクセルが影無しで照明されるように配置されている前部ＩＲ光１１６により照明される。理想的には、前部ＩＲ光１１６は撮像装置の光学軸に出来るだけ近接して配置すべきである。本発明の方法と装置の上記望ましい実施例は２つのＩＲ画像、一方は前部ＩＲ光源により照明され、他方は背景ＩＲ光源により照明されたものを使用している。この方法は人物を撮影し背景を置き換えるには最良の結果が得られる。しかしながら、異なった光源状態下で２つの画像間の各対応するピクセルの光強度を比較する一般的な方法には多くの変形が存在する。例えば、光スペクトルの異なる部分を使用して比較すべき画像を露出したり、各種の画像を撮る順序とタイミングを変更可能である。さらに、前部ＩＲ光源は前景ＩＲ光源に置き換え可能である。この特別な場合、第１ＩＲ画像は、周辺光以外に背景ＩＲ照明のない被写界の前景を照明するためのじゃま板により向けられた１個以上の前景ライトを用いて撮られた前景ＩＲ画像ＩＲ_fgである。第２ＩＲ画像は、前景と背景の両方で周辺ＩＲ照明のみで撮られた周辺ＩＲ画像ＩＲ_amである。理想的な場合、各画像の各対応するピクセル位置（ｉ，ｊ）に対して表IIに従ってＩＲ_fgをＩＲ_amと比較することによりマスクのピクセルが作成される、ここでｉとｊは整数である。従って、ＩＲ_fgのあるピクセルがＩＲ_amの同じピクセル位置より大きな強度を有している場合、そのピクセルはマスクでは前景ピクセルとして識別され、ＩＲ_fg のあるピクセルがＩＲ_amの同じピクセル位置より同じか又は低い強度を有している場合、そのピクセルはマスクでは背景ピクセルとして識別される。撮像装置１０６と１０８は、所要の焦点長の上品質テレビジョン・レンズを有し、所要のスペクトル帯へのスペクトル感度を制限するようフィルタされた１個がカラーＣＣＤで１個が白黒ＣＣＤ型式（２個のカラーＣＣＤ型式も受入可能であるが）であることが望ましい。適合するカラー・ビデオ・カメラも望ましく、カメラの一方はＩＲ通過可視光不透過フィルタにより変更されてＩＲ画像を記録可能とする。視野深度、焦点距離等のような写真を撮る際の変数の全ては画像科学の当業者により必要に応じて容易に設定される。ポラロイドの画像科学研究所で本発明を試験するために使用した実験的設定では、マネキンのＩＲ及び可視光画像の両方を撮るために単一の撮像装置を使用した。撮像装置は、フィリップス社のＣＭ８００白黒ＮＴＳＣ形式（６４０×４８０ピクセル）ＣＣＤカメラで、ラッテン（wratten ）２５（赤）、５８（緑）、４７Ｂ（青）フィルタを使用して色分解を行った。赤、緑、及び青画像が試験中に個別に記録された。色バランスはラッテン中性密度フィルタを使用する、及び／又は３色フィルタ露出のランプ電圧を変更することにより調節した。カメラはコンプタールf/1.4 １６ｍｍＦＬレンズを含み、ＩＲ不透過用には１ｍｍＢＧ１８ガラス・フィルタを、可視光不透過用にはラッテン８７Ｂゲル・フィルタを使用した。ディジタル化はデータ・トランスレーションのＤＴ５５−ＬＣフレーム・グラバを７ビットの量子化を使用して行った。ワープ段階が可視及びＩＲ画像間の不整合を修正するため、可視及び赤外カメラに異なる寸法の口径を使用可能である。しかしながら、最良の装置は同一の寸法の口径の可視及び赤外カメラを含む。赤外カメラは大口径を有することが望ましいため、赤外画像の背景は不鮮明となる。極端には、両赤外画像で背景は一様に見えるが、背景が照明されている時にはより明るくなる。ライトの光束は適切な透過率の透明紙を用いて制御可能である。最も重要なことは、使用する赤外カメラはライトが弱い時に小さな光強度変化に敏感に応答すべき点である。試験装置の可視及びＩＲ域両方の前景照明は、カメラ２００の光学軸から１フィート（３０．５ｃｍ）と２フィート（６１ｃｍ）の間でかつ主題から約２．５フィート（７６ｃｍ）に各々配置された３個のタングステン・ハロゲン・ローウェル・プロライト、モデルＰ１−１０（１２５ワット、３２００Ｋ＠１２０ボルト）である。露出はランプの電圧を変化させることにより制御される。適切なＩＲ画像記録の背景照明は、主題の後方からの背景照明を除いた大きな戸の３個のタングステン・ハロゲン・ローウェル・トータ光、モデルＴ１−１０（５００ワット、３２００Ｋ＠１２０ボルト）により与えられる。マスク発生マスク発生は背景置き換えで重要な仕事である。本発明の背景置き換え方法では、画像の前景と背景の間を正確に区別するためにマスクが発生される。ある望ましい実施例では、画像の前景は身分証明用に写真を撮る人物であり、背景は画像のその他全てである。請求の範囲の基本的マスク発生方法は図４のブロック線図に概略的に図示されている。前部照明ＩＲ画像ＩＲ_f（ｉ，ｊ）、背景照明ＩＲ画像ＩＲ_b（ｉ，ｊ）、可視光画像Ｖｍ（ｉ，ｊ）及び所定の置き換え背景Ｂ（ｉ，ｊ）が全て上記のように決定されたと仮定する、ここでｉとｊは各々画像の水平及び垂直座標を表わす整数である。前景ピクセルはＩＲ_f（ｉ，ｊ）＞ＩＲ_b（ｉ，ｊ）という性質を有し、背景ピクセルはピクセルが能動光により照明されているかどうかに応じてＩＲ_f（ｉ，ｊ）＝ＩＲ_b（ｉ，ｊ）又はＩＲ_f（ｉ，ｊ）＜ＩＲ_b（ｉ，ｊ）という性質を有する。標準的な装置では、ＩＲ_f（ｉ，ｊ）とＩＲ_b（ｉ，ｊ）は０ ≦ＩＲ_f（ｉ，ｊ）≦２５５又は０≦ＩＲ_b（ｉ，ｊ）≦２５５として各々表わされる。段階４００でＩＲ_f（ｉ，ｊ）からＩＲ_b（ｉ，ｊ）を減算すると、差分画像ＤＩＦＦ（ｉ，ｊ）が発生し、ここで各ピクセルは−２５５≦ＤＩＦＦ（ｉ，ｊ）≦２５５として表わされる。サンプルの８×８点差分画像ＤＩＦＦ（ｉ，ｊ）のi，ｊ＝０、１．．．７に対する値は以下の通りである。段階４１０でＤＩＦＦ（ｉ，ｊ）は２進化され、ＤＩＦＦの各ピクセルの数値を所定の閾値θと比較し、θより大きい全てのピクセル値を論理高に、θに等しいか又は小さい全てのピクセル値を論理低に設定することにより２進化画像Ｍ_z （ｉ，ｊ）を形成する。この種のピクセル分類は数学的には以下のように記述する：Ｍ_z（ｉ，ｊ）＝１、ＤＩＦＦ（ｉ，ｊ）＞θの場合、Ｍ_z（ｉ，ｊ）＝０その他（1）ここでθは段階４３０の変調関数の計算に関連して以後詳細に説明する所定のパラメータである。上記差分画像ＤＩＦＦの８×８の２進化画像Ｍ_z（ｉ，ｊ）のθ＝５の時の値はｉ，ｊ＝０、１．．．７に対して以下の通りである。 θの変更は２進化画像Ｍ_z（ｉ，ｊ）の外観と値に著しい変化を引き起こすことに注意されたい。上記のθ＝５の２進化画像と下記に示すθ＝１０のときの２進化画像Ｍ_zの値を対比されたい。前景及び背景ピクセルの混合が変化すること、すなわちθ＝５の時よりθ＝１０の時の方が２進化画像Ｍ_zの前景ピクセルが少ないことに注意されたい。一般的に、θが増大するにつれて、前景ピクセルの数は減少する。上記したような、２進化画像Ｍ_zの論理低値は明確な背景ピクセルを指示する。しかしながら、Ｍ_zは雑音のため何らかの誤った前景ピクセルを含み得るため、論理高値は前景ピクセルの可能性を示すのみである。誤った前景ピクセルは前景接続制約を使用して識別し除去可能である。前景接続性制約は連続した前景ピクセルの単一の最大域として、すなわち最大数の隣接前景ピクセルが配置されている区域として前景域を定義する。この区域は上記のθ＝１０のＭ_zに示した点線内のピクセル群として識別され、そして（図６の被写界で）画像は前景６０２と６０４、背景６００から構成される。図６の画像は背景の海６００に取り囲まれた前景の島６０２、６０４として特徴づけられる。標準的な身分証明写真では、前景の島は画像の下中心領域のまわりに配置された隣接する前景ピクセルの大きな群から構成される。従って、主要前景の島６０２の前景ピクセルから分離されたものとして誤った前景ピクセルは容易に識別出来る。これらの誤った前景ピクセルは前景接続制約にしたがって島段階４２０で論理低背景ピクセルに設定される。上記θ＝１０の２進化画像Ｍ_z に前景接続制約を使用して、ピクセルＭ_z（１、１）とＭ_z（２、１）は誤った前景ピクセルとして識別される。これらのピクセルは段階４２０で除去され、画像表示、すなわち２進化マスクＭ_b（ｉ，ｊ）は以下となる：画像の前景と背景域を分離する境界線は一般に鮮明でなくぼんやりしている。例えば、前景主題に属する髪の毛の部分は部分ピクセル幅のみを有する。従って、髪の毛と背景情報の両方を含むピクセルは前景および背景情報の両方をあるパーセンテージで有するものとして考えることが出来る。これらの変調ピクセルは図６に示す前景の縁領域６０４に位置している。前景高平坦部６０２に位置するピクセルは全て１の値を有し、背景６００に位置するピクセルは全て０の値を有し、縁６０４に位置するピクセルは全て０以上で１以下の値を有する。縁領域６０４の各ピクセルの前景及び背景情報の適切なパーセンテージはマスク変調段階４３０で決定され、ここで以下の式にしたがってグレイ・スケール・マスクＭｇが発生される。Ｍ_g（i,j）＝Ｍ_b(i,j)・ｆ(DIFF(i,j)) （2）Ｍ_g（ｉ，ｊ）はグレイ・スケール・マスク、Ｍ_b（ｉ，ｊ）は２進化マスク、ＤＩＦＦ（ｉ，ｊ）は差分画像、ｆ（ＤＩＦＦ（ｉ，ｊ））は０から１までの値で変化する所定の変調関数である。式（２）で、グレイ・スケール・マスクＭ_gは２進化マスクＭ_bに変調関数ｆ（ｘ）＝ｆ（ＤＩＦＦ（ｉ，ｊ））をピクセル毎に乗算して発生される。図７（ここでθ、θＬ、θＨは望ましい構成で示される所定のパラメータ）と関連して取られる望ましい変調関数ｆ（ｘ）は、 f(x)＝0,ifx≦θ_L，＝（x-θ_L）／(θ_H−θ_L),ifθ_L＜x＜θ_H,and （3）＝1,ifx≧θ_H．図７は差分画像値に対するグレイ・スケール・マスク値のプロットで、ｘ＝ＤＩＦＦ（ｉ，ｊ）のｆ（ｘ）は上記の式（３）で定義される。縁領域６０４の各ピクセルはθＬより大きくθＨより小さい値を有する。θ＝１０の２進マスクＭ_b の縁領域６０４を通して配置された前景ピクセルを変調するため、各ピクセルはその値を適当な関数値ｆ（ｘ）により乗算されるＤＩＦＦ（ｉ，ｊ）の対応する位置を有する。もちろん、グレー・スケール・マスクＭ_bの背景６００に位置する全ての背景ピクセルは０のままであるが、各前景ピクセルは変調関数ｆ（ｘ）に従って０と１の間で変調される。変調関数ｆ（ｘ）（図７も参照）に従ってＤＩＦＦがθＨより大きい場合前景高平坦部６０２に位置する全てのピクセルは１のＭ_gグレイ・スケール・マスク値を有する。ＤＩＦＦがθＬより小さいか又はこれに等しい時、Ｍ_gは０である。最後に、ＤＩＦＦがθＬより大きく、θＨより小さい場合、グレイ・スケール・マスクＭ_gは０と１の間で変調される。前景の縁領域６０４は、ＤＩＦＦの値がθとθＨとの間である区域として表わされる。この区域のピクセルは前景と背景情報を含む。変調されたグレイ・スケール・マスクＭ_gは自然に見える背景置き換え結果を作成する。 θは０と２５５以内の間の整数値として経験的に選択される。θの最良値は照明と撮像装置応答特性に応じて変化する。フィリップスのＣＭ８００カメラとタングステン・ライトを含む前述した実験設定では、θ＝１０が実験的に決定された最良の当てはめであった。θは前景の島の寸法と形状を制御する。θが増加するにつれて、前景が減少する。θＬはまた縁領域６０４のピクセルの最小値を指の値は０よりわずかに大きい。もちろん、θＬが減少すると、縁領域６０４のピクセルの最小値が増大する。このように、縁の強度はθＬによって制御される。 θＬが負の無限大に近づくにつれ、前景と背景の間には有効な変調がなくなる、すなわち縁のピクセルの各々のマスク値は大体１である。グレイ・スケール・マスクＭ_gを変調段階４３０で発生した後、Ｍ_gのピクセルを可視光線画像Ｖ_inの対応するピクセルと整合させ、Ｍ_gとＶ_inの対応する点が同じ座標を有する様にする。ワーピング又は画像登録と呼ばれるこの処理は段階４４０で発生し、変換マスクＭ_t（ｉ，ｊ）が生じる。ワーピング・パラメータは当該技術において公知の較正により予め決定される。最後に段階４５０で、変換マスクＭ_tが可視光線画像Ｖ_inに適用され、所定の背景Ｂが元の背景と置き換えられて背景置き換え画像Ｖ_outを発生する。言い換えると、Ｖ_out（i,j）＝Ｍ_g（i,j）Ｖ_in(i,j)＋（１−Ｍ_g(i,j)B(i,j) （4）図５に示す本発明の背景置き換え方法の第２の望ましい構成は、ピクセルの部分幅を有する髪の毛のような小さい特徴に対処する困難を解決する。２進化画像Ｍ_z（ｉ，ｊ）を発生する前述したピクセル分類規約によっては、前景の髪の毛は多分背景と誤分類される。この問題は、ピクセル分類の前に強調段階５０４、５０６でＩＲ画像の詳細を強調することにより克服可能である。しかしながら、段階５０４、５０６は雑音を生じる又は増幅する恐れのある高域フィルタ処理を含む。従って、予備処理段階５００、５０２で低域フィルタ処理により最初にＩＲ画像を予備処理しておくのが最善である。図５で、予備処理されたＩＲ画像は段階５０４、５０６で同様に強調される。強調された前部照明ＩＲ画像、ＩＲ_F _’は次式のように書ける：ＩＲ_f（ｉ，ｊ）＝ＩＲ_f＋αＤＥＴ_f （5）ここでＩＲ_fは前部照明のＩＲ画像、αは強調量を指定する所定のパラメータ、ＤＥＴ_fはＩＲ_f中に存在する詳細度の尺度である。パラメータαは実際には実験的に得られた定数である。ＤＥＴ_fは例えば式（６）のラプラス・フィルタを用いることによりＩＲ_fに存在する詳細を捕まえる又は測定する；ＤＥＴ_f＝max｛- ΔＩＲ_f（ｉ，ｊ）、０｝（6）ここでΔはラプラス演算子である。同様に、背景に対してはＩＲ_b'（ｉ，ｊ）＝ＩＲ_b＋αＤＥＴ_bでＤＥＴ_b＝max｛- ΔＩＲ_b（ｉ，ｊ）、０｝である。ラプラシアンの代わりに他の既知のフィルタを使用可能である。さらに、前景点はＩＲ_f'（ｉ，ｊ）＞ＩＲ_b'（ｉ，ｊ）の性質を有し、背景点はＩＲ_f'（ｉ，ｊ）≦ＩＲ_b'（ｉ，ｊ）の性質を有する。さらに図５の２進化段階４１０のピクセル分類の決定規約は：Ｍ_z（ｉ，ｊ）＝１ＲＥＳ（ｉ，ｊ）＞０の場合＝０、その他（7）ここで残留画像ＲＥＳ＝ＩＲ_f−ＩＲ_b'である。残留画像ＲＥＳの２進化は差分画像の適合閾値選択として解釈可能である。事実、式ＲＥＳ（ｉ，ｊ）＞０はＩＲ_f−ＩＲ_b＞θ_aと書くことができ、ここでθ_aはαによりスケールされた局所忙度（すなわちＤＥＴ_f−ＤＥＴ_b）による空間的な適合である。上述の実施例は本発明の単なる例示であり、本発明の原理の応用を与える限定された数の可能な特定の実施例を表わすものであることを理解すべきである。請求の範囲に示す本発明の要旨と範囲から逸脱することなく当業者によりこれらの原理にしたがって多くのかつ各種の他の配列が容易に工夫出来る。

───────────────────────────────────────────────────── フロントページの続き (72)発明者ハッジャーマド，イブラハムアメリカ合衆国 02145 マサチューセッツ州ソマービル，スクールストリート 262，アパートメントナンバー 12

Claims

【特許請求の範囲】１．被写界の可視光線画像の元の背景を所定の交換背景に置き換えるディジタル処理方法において、第１の強度を有する第１の赤外線で元の背景を照明しつつ最初に被写界の第１赤外画像を作成する段階と、前記第１の赤外画像の各ピクセルで赤外線の強度を測定する段階と、前記第１の赤外線の照明を停止した後、前記第１の強度より弱い第２の強度を有する第２の赤外線で被写界の前景を照明しつつ、被写界の第２赤外画像を２番目に作成する段階と、前記第２の赤外画像の各ピクセルで赤外線の強度を測定する段階と、３番目に可視光線で照明しつつ被写界の可視光画像を作成する段階と、差分画像（ＤＩＦＦ）、２進化画像、２進マスク、及びグレイ・スケール・マスクを発生することにより前記前景を前記元の背景から識別する変換マスクを発生する段階と、前記変換マスクを使用して、前記可視光線画像に前記所定の交換背景を混ぜることにより修正された可視光線画像を作成する段階と、を含む可視光線画像の元の背景を所定の交換背景に置き換えるディジタル処理方法。２．前記変換マスクを発生する段階は、第１の赤外画像から第２の赤外画像を減算することにより差分画像を作成する段階と、前記差分画像を所定のパラメータθと比較し、次いで２進化画像の前記ピクセルがθより大きい時には２進化画像のピクセルを論理高に設定し、他の場合は２進化画像の前記ピクセルを論理低に設定することにより前記元の背景から前記前景を識別する２進化画像を作成する段階と、接続制約に従って２進化画像の誤った前景ピクセルを除去することにより２進化画像から２進マスクを作成する段階と、差分画像の所定の変調関数を２進マスクに適用することにより２進マスクの各ピクセルのどれだけが前景に寄与しているか、２進マスクの各ピクセルのどれだけが背景に寄与しているかを指定するグレイ・スケール・マスクを作成する段階と、グレイ・スケール・マスクと可視光線画像のピクセルごとの画像登録により変換マスクを作成する段階と、を含む請求項１に記載の方法。３．前記グレイ・スケール・マスクのあるピクセルに対する前記所定の変調関数は差分画像の対応するピクセルが所定のパラメータθＨより小さく、所定のパラメータθＬより大きい場合は（ＤＩＦＦ−θＬ）／（θＨ−θＬ）に等しく、差分画像の対応するピクセルがθＬ以下の場合は０、差分画像の対応するピクセルがθＨ以上の場合は１である請求項２に記載の方法。４．前記第２の赤外線は前部ライトから発生する請求項１に記載の方法。５．前記第２の赤外線は１個以上の前景ライトから発生する請求項１に記載の方法。６．前記第２の赤外線は周辺ライトから発生する請求項１に記載の方法。７．前記第３番目は前記第２番目に等しい請求項１に記載の方法。８．前記第１の赤外線は１個以上の背景ライトから発生する請求項１に記載の方法。９．前記第１の赤外線は周辺ライトから発生する請求項１に記載の方法。１０．前記第１の赤外線と前記第２の赤外線の両方は約７００ナノメータから約１０００ナノメータの範囲の波長を有する請求項１に記載の方法。１１．前記第１赤外画像、前記第２赤外画像及び前記可視光線画像を作成するため前記第１回目と前記第２回目の間の差は撮像装置のシャッタ速度と大体等しい請求項１に記載の方法。１２．前記第１回目と前記第２回目の間の差は１秒の約１／３０である請求項１に記載の方法。１３．前記第１回目と前記第２回目の間の差は、前記第１赤外，第２赤外及び可視光線画像を撮る間前記被写界内での物体の移動が無視出来る程度であり、従って前記画像は何れも焦点が合っている請求項１に記載の方法。１４．前記第１及び第２赤外画像の両方は第１のディジタル撮像装置で撮られ、前記ディジタル可視光線画像は第２のディジタル撮像装置で撮られ、前記第１及び第２のディジタル撮像装置は同じ仮想的空間位置を有している請求項１に記載の方法。