JP6846365B2 - 前景背景分離に好適な方法および装置 - Google Patents

Description

本発明は、固定カメラで撮影した入力画像の背景から前景を分離する前景背景分離に好適な方法および装置に係り、特に、背景差分法により生成した差分マスク画像を用いた前景背景分離に好適な方法および装置に関する。

在宅勤務者がTV会議時などで自身の映像を送信する際、プライバシー保護のため、背景（自宅背景）と前景（人物上半身）とを分離して自宅背景を秘匿する技術が求められる。さらにその際、軽処理であること、またジェスチャーを表示するために人物形状通りに正確に分離することも求められる。

深度センサから得られた距離情報を用いて前景を背景から分離する方法もあるが、深度センサを実装していない普及型の光学カメラから得られた画像・映像から人物の前景を静止した背景から分離するアプローチがいくつか提案されている。

第１のアプローチとして、画像処理で顔を検出し、その周囲を一定形状の人型（人間の上半身の型）等で切り抜く方法がある。動画像の場合は、検出した顔の特徴点について追跡を行う、一定時間ごとに顔検出をし直すといった処理で前景と背景を分離できる。

第２のアプローチとして、グラブカット法などの領域分割と組み合わせ、前景と背景との境界を高精度に分離する方法がある。非特許文献１には、顔を検出し、前景のラベルとして利用し、分離する手法が開示されている。非特許文献３には、イメージマッティング技術において、前景と背景との境界部分などで適切な透明度を持つ分離を行い、髪などの細かなディテールを保持する手法が提案されている。

第３のアプローチとして、予め用意した背景モデルと入力映像との差分により前景と背景とを分離する背景差分法をベースにした方法がある。

以上のアプローチの中で、第３のアプローチである背景差分法は、差分演算処理や２値のモルフォロジー演算を基本的な構成とし、最も軽処理でありながら、照明条件や背景・前景色等の条件等が整っていれば、前景・背景の分離時の輪郭も形状通りに高精度に行える。一般的な背景差分法の基本フローは以下の通りである。

ステップ１：初めに背景モデルを作成する。背景モデルは撮影した静止画や動画から作成する。背景を動画で取得した場合、経時的な平均値や分散値も、ノイズや照明などの背景の変動を反映するのに使用することができ、後述する「閾値処理」で動的に閾値を変更できるなども可能である。ここでは簡単のため、背景モデルを静止画Ib(x,y)とする。カラーであれば、RBGやYCbCr等の各々の色成分で背景モデルを作成できる。

ステップ２：次いで、入力画像（映像）Iaと背景画像Ibとで、次式(1)により画素毎に差を計算する。
Id(x,y)＝Ia(x,y)-Ib(x,y) …(1)

簡単のため、ここでの差分画像Idは絶対値を取ることにする。カラーであれば、RBGやYCbCr等の各々の色成分で処理可能である。または、各々の色成分で差分画像を求めず、各色成分を統合した差分画像Idを計測することも可能である。

ステップ３：次いで、差分画像Idに対して、前景を検出するために次式(2)の閾値処理を行って差分マスク画像Imを生成する。
Im(x,y)=1；if|Id(x,y)>T （前景） …(2)
0；otherwise （背景）

各々の色成分について差分画像Idを求めている場合、閾値処理後に論理和演算を適用することで１枚の差分マスク画像Imを作成できる

ステップ４：オプションとして、ごま塩のノイズ等の除去のためにオープニング・クロージング処理を行う。

ステップ５：オプションとして、指定した一定値以下の連結成分となっている微小領域除去をオープニング・クロージング処理により除去する。

一方、背景差分法では、(i)照明変化に弱い、(ii)背景の非静止領域に弱い（葉の揺らぎなど）、(iii)背景と前景が類似色だと対象物体（前景）の検出が困難、といった問題がある。背景色が類似色の場合の前景の検出漏れは、前述のステップ４，５のゴマ塩ノイズ除去処理や微小領域除去処理によりある程度は補正することもできるが、一定以上に大きな領域の検出漏れを無くすために、ステップ５で除去する微小領域の面積等を大きく設定すると誤判定を生じ、検出漏れ領域が一定以上広い場合の補正としては適切でない。

背景差分法において、上記(i)，(ii)の課題解決手法は数多く提案されているが、(iii)については根本的には解決できないと言われ、改善手法は少ないが、以下の様な改善手法がある。

非特許文献２には、背景差分と色検出を統合した手法が提案されており、背景差分のみを用いた場合よりも精度を高められることがある。ここでは、YUV階調を軸に持つ前景画像(Yf ,Uf, Vf)および背景画像(Yb, Ub, Vb)の６次元空間において、事前学習により背景と前景（ターゲット）の識別面を求めることで、前景を検出する技術が開示されている。

特許文献１には、入力画像に対し、白とびや黒つぶれの面積が一定以上あるブロックについて、背景差分が適さないと判定し（この場合、背景に白や黒の領域があり、前景色と背景色の類似性が課題になっていると推測できる）、背景差分が適さない場合、別の手法でオブジェクト検出処理を行う技術が開示されている。

この特許文献１では、入力画像のエッジ画像を作成し、予め作成してある背景エッジ画像とパターンマッチングを行い、マッチングされた形状をもつオブジェクトは背景とみなす。マッチングされず、かつオブジェクトの外形が表れている入力画像の領域がオブジェクトとして検出される。

特許文献２には、動く物体（特に、人）の輪郭線を安定的に抽出するために、背景差分法を利用する技術が開示されている。この特許文献２では、輪郭抽出フィルタを用いて抽出したエッジ画像と、背景差分で前景と判定された画像に膨張処理を施した膨張前景画像とを作成し、エッジ画像と膨張前景画像との論理積を取得することで、それ以外のエッジを不要なエッジとして除去し、正しいエッジのみからマスクエッジ画像を作成する。

さらに、マスクエッジ画像と膨張前景画像との境界を抽出した前景境界画像を生成し、マスクエッジ画像と前景境界画像を合成し、輪郭画像を作成する。その後、パーティクルフィルタで動的に輪郭線を追跡する。それにより動的輪郭追跡より高精度に動物体を追跡し、前景・背景分離も行える。

非特許文献４には、前景背景分離後の前景の秘匿レベルを抽象化オペレータで調整する技術が開示されている。

特開2014-157453号公報 特開2010-061478号公報

Seon Heo, Hyung Il Koo, Hong Il Kim, Nam Ik Cho, "Human Segmentation Algorithm for Real-time Video-call Applications", APSIPA 2013. (DOI: 10.1109/APSIPA.2013.6694320) 加藤丈和, 和田俊和, "最近傍識別による背景差分と色検出の統合-事例に基づく情報統合", 情報処理学会論文誌, Vol.45, No.SIG13(CVIM 10), pp.110-117, 2004. Eduardo S. L. Gastal1 and Manuel M. Oliveira, "Shared Sampling for Real-Time Alpha Matting", Proceedings of Eurographics 2010, Number 2, pp. 575-584. 馬場口登, "安全と安心のための画像処理技術: 5. プライバシーを考慮した映像サーベイランス," 情報処理, vol.48, no.1, pp.30-36, Jan., 2007.

背景差分法を用いない第１のアプローチでは、人物形状を想定した一定型の切り抜きであるため、人物の輪郭は正しい形状で切り抜けない課題がある。また、手の動きなどのジェスチャーは背景とされてしまい、相手に伝えることができない。さらに、背景差分法と比較して計算量が多いことも課題となる場合がある。

例えば、在宅勤務などの場合には自宅PCや会社から配布されるPCのスペックが低いことがしばしばあると考えられる。スペックの低いPCでは、リアルタイム処理が難しい場合や、並列作業中の他のプロセスのパフォーマンスを低下させる場合がある。また、完全在宅勤務等で長期間にわたり長時間動作させることにより、リアルタイム動作可能であっても、PCが熱を持ちやすくなり、故障が増えるといった課題も考えられる。

第２のアプローチは、第１のアプローチ１の課題は解決でき、正しい輪郭形状で分離を行える。一方で、一般的に第１のアプローチ１よりも計算量が多い。したがって、リアルタイム処理を実現するためには、GPUでの並列処理が可能といった一定スペック以上のPCが必要となることが多い。

また、リアルタイム処理が可能であっても、第１のアプローチと同様に、並列作業中の他のプロセスのパフォーマンスを低下させる場合がある。長期在宅勤務等で、長期間にわたり長時間動作させることにより、PCが熱を持ちやすくなり、故障が増えるといった課題も考えられる。

第３のアプローチの基本的な背景差分法は、背景と前景の色が似ている類似色の場合、前景の検出漏れが生じる。閾値や色の計算手法を変更しても、前景と背景が同じ色空間に属してしまい差がない場合、前景漏れを補正できない。

非特許文献２の様に背景差分法と前景の色検出法を統合し、前景の色検出法によりトレーニングした前景に対して検出精度を高めるアプローチにより、一般的な背景差分のみ用いた場合よりも精度を高められる可能性がある。しかしながら、別途トレーニングデータの取得作業や学習が必要となる。また、類似色については識別面を構成できず前景検出漏れが発生することも考えられる。さらに、検出速度も背景差分より低下し、長時間動作により、PCが熱を持ちやすくなり、故障が増えるといった課題も考えられる。

特許文献１では、入力画像と背景画像のエッジ画像がマッチングされる箇所は背景と判定されてしまうため、前景の検出漏れの判定は行えず、背景として誤判定されたままとなる。特許文献２では、前景・背景分離を主目的としておらず、特許文献１と同様に前景検出漏れの判定は行えない。

本発明の目的は、上記の技術課題を解決し、固定カメラで撮影した入力画像の背景から前景を背景差分法により軽処理かつ高精度で分離可能であるか否かを評価し、さらには背景差分法により背景から前景を適正に分離する方法および装置を提供することにある。

上記の目的を達成するために、本発明は、入力画像の背景から前景を分離する前景背景分離に好適な方法および装置において、以下の構成を具備した点に特徴がある。

(1) 本発明は、背景画像を取得する手段と、背景差分法により差分マスク画像を生成する手段と、背景画像からエッジを抽出して背景エッジ画像を生成する手段と、差分マスク画像から境界を抽出して差分マスク境界画像を生成する手段と、差分マスク境界画像から背景エッジ画像と重複する誤り境界を抽出する手段と、前記誤り境界に基づいて、前記差分マスク画像を用いた前景背景分離の適否を判定する手段とを具備した点に特徴がある。

(2) 本発明は、前記判定する手段による適正判定に応答して、前記差分マスク画像を用いた前景背景分離を実施する反映手段をさらに具備した点に特徴がある。

(3) 本発明は、差分マスク画像から「抜け」領域を選択する手段と、「抜け」領域の位置が前記誤り境界に対応しているか否かに基づいて当該「抜け」領域を補正対象とするか否かを判定する手段と、補正対象の「抜け」領域が前景となるように前記差分マスク画像を補正する手段とを具備した点に特徴がある。

(4) 本発明は、誤り境界に基づいて差分マスク画像から「欠け」領域を選択する手段と、「欠け」領域を補正する手段とを具備した点に特徴がある。

本発明によれば、以下のような効果が達成される。

(1) 予め取得した背景画像と入力画像との差分を取得し、前景を背景から分離する背景差分において、前景の境界部分と背景のエッジ部分とが類似することにより生じ得る、背景の形状の一部が差分マスク画像に現れる前景検出漏れの有無を少ない計算量で推測することができるので、背景差分法により生成した差分マスク画像Imを用いた前景背景分離の適否を軽処理で正確に判定できるようになる。

(2) 背景差分法により生成した差分マスク画像Imを用いた前景背景分離が適正と判定されると、当該差分マスク画像Imを用いて前景背景分離を実施する一方、前景背景分離が不適と判定されると、背景差分法以外の手法による前景背景分離に切り換えるので、入力画像に対する最適な前景背景分離手法の適用を軽処理で実現できるようになる。

(3) 差分マスク画像Imに「抜け」領域が発生していても、誤り境界画像Imb_edgeを参照することで各「抜け」領域が前景検出漏れか否かを評価できる。したがって、差分マスク画像Imにおいて、本来の「抜け」領域は背景として維持したまま、誤った「抜け」領域のみを軽処理で前景に補正できるようになる。

(4) 差分マスク画像Imに「欠け」領域が発生していても、誤り境界画像Img_edgeを参照することで当該各「欠け」領域が前景検出漏れか否かを評価できる。したがって、差分マスク画像Imの「欠け」領域に対して適切な対応が可能になる。

本発明の第１実施形態に係る前景背景分離に好適な装置の主要部の構成を示したブロック図である。 第１実施形態において、フレーム画像Iaから背景差分法で生成した差分マスク画像Imを用いた前景背景分離の適否を判定する過程を模式的に示した図である。 本発明の第２実施形態に係る前景背景分離に好適な装置の主要部の構成を示したブロック図である。 第２実施形態において、背景差分法で生成した差分マスク画像Imを用いて前景背景分離を実施し、前景および背景の少なくとも一方に分離結果を反映する過程を模式的に示した図である。 本発明の第３実施形態に係る前景背景分離に好適な装置の主要部の構成を示したブロック図である。 第３実施形態において、背景差分法で生成した差分マスク画像Imの「抜け」領域を補正する過程を模式的に示した図である。 本発明の第４実施形態に係る前景背景分離に好適な装置の主要部の構成を示したブロック図である。 第４実施形態において、背景差分法で生成した差分マスク画像Imの「欠け」領域を補正する過程を模式的に示した図である。 差分マスク画像に発生する「抜け」領域および「欠け」領域を説明した図である。 「欠け」領域の評価方法を示した図である。 面積の小さい「欠け」領域を含む差分マスクを補正対象とする例を示した図である。 面積の大きい「欠け」領域を含む差分マスクを補正対象としない例を示した図である。 「欠け」領域の個数が多い差分マスクを補正対象としない例を示した図である。

以下、図面を参照して本発明の実施の形態について詳細に説明する。本発明では、特に以下の３つの観点から前景の検出漏れを検知して背景差分法による前景背景分離の適否を評価し、かつ背景差分法を適用する際も前景検出漏れに基づいて差分マスク画像を補正することで、軽処理かつ高精度の前景背景分離を実現する。

(1) 微小領域除去で処理しにくい前景検出漏れは、前景となる髪部（黒）や頬部（肌色）、あるいは背景と同色の服部など一定の面積がある平坦な領域で生じやすい。また、背景オブジェクトの形状が漏洩しやすいことから、本発明では、このような前景検出漏れの検知および補正を対象とする。

(2) 背景の特徴として、宅内の場合、抜けは直線的（柱、家具、ドア、カレンダーなど）であることも多い。また、直線的でない抜けも宅内に存在する。例えば、洗濯物や丸い置物などのオブジェクトは直線的でないが、その場合の抜け形状はオブジェクトと同一形状となる前景に囲まれた閉領域であることが多い。

(3) 一般的に宅内オブジェクトは動かない。上記(1)，(2)で生じた前景の検出漏れ領域の輪郭は前景（人の体）が少し動いても動かない。

本発明では、上記のような前景検出漏れの有無を判断し、簡易補正可能ならば簡易補正を行い、そうでなければ背景差分法以外の別手法への切り換えを促す。

図１は、本発明の第１実施形態に係る背景差分法による前景背景分離に好適な装置の主要部の構成を示したブロック図であり、図２は、入力されたフレーム画像Iaの背景から前景を背景差分法により軽処理かつ高精度で分離できるか否かを評価する過程を模式的に示した図である。

フレーム画像取得部１０は、固定カメラCaから動画像をフレーム単位で取得する。背景画像蓄積部１１には、予め固定カメラCaで人物の存在しない室内を撮影した背景画像Ibが蓄積されている。差分マスク画像生成部１２は、図２に示したように、固定カメラCAから取得した今回のフレーム画像Iaと前記背景画像Ibとの差分を求め、各画素をその画素値に基づいて前景および背景の２値に分離することで初期の差分マスク画像Im_tを生成する。

背景エッジ画像生成部１３は、図２に示したように、前記背景画像Ibからエッジ成分を抽出して背景エッジ画像Ib_edgeを生成する。エッジ抽出には、ラプラシアンフィルタ、ソーベルフィルタ、キャニーエッジフィルタ等を適用し、エッジ検出に用いられる一般的な閾値処理を行うことで実現できる。例えば、フィルタ適用後の画素値の絶対値が一定閾値A以上であれば輪郭、一定閾値B以下であれば非輪郭とすることができる。また、画素値の絶対値が閾値A，Bの間に存在する場合は、隣接画素に輪郭があれば輪郭とし、なければ非輪郭とすることができる。

エッジ抽出の対象画像は、背景画像Ibに何等かの前処理を行って変更を加えた画像であっても良い。例えば、グレイスケール化した背景画像Ibを採用しても良いし、あるいはYCbCrなどの色成分ごとにエッジ抽出を実施し、最後に論理和を求めて１枚の背景エッジ画像Ib_edgeを生成するようにしても良い。

微小領域削除部１４は、図２に示したように、前記差分マスク画像Im_tに対してごま塩ノイズの除去処理や、一定値T_area_mp以下の領域のマスク値を反転する微小領域除去処理を行うことで、ノイズ除去された差分マスク画像Imを生成する。これらの処理には、モルフォロジーの領域オープニングを適用できる。ここで、T_area_mpを大きな値に設定しすぎると、本来背景となるべき領域が前景になってしまうため、T_area_mpは大きな値で設定しすぎず、大きな閉領域については、前景とすべきか背景とすべきかを別途に判断した方が良い場合が多い。以下にその判断方法について説明する。

差分マスク境界画像生成部１５は、図２に示したように、前記微小領域削除後の差分マスク画像Imからエッジ境界を抽出して差分マスク境界画像Im_edgeを生成する。差分マスク境界画像の生成方法としては、(i) マスクの前景と背景とが変化する境界を差分マスクの境界とする、(ii) エッジ抽出を行う、(iii) 差分マスクの前景にオープニング（またはクロージング）処理を施し、オープニング（クロージング）処理前と変化した箇所を境界とする、などを採用できる。あるいは、オープニング処理およびクロージング処理の双方を行った境界画像の論理和を取得しても良い。ただし、前景が画像の辺に接する場合には、その箇所を境界とすることが望ましい。

また、領域については、照明のちらつきや物体のテクスチャの影響を軽減するため、一定期間の差分マスク画像や差分マスク境界画像を蓄積してから求めても良い。例えば、一定時間の差分マスク画像の論理積をとって領域を求めたり、一定時間中に一定割合以上に前景が存在する領域のみを前景領域として求めたりしても良い。さらに、差分マスク境界画像Im_edgeに対して、一定時間の差分マスク境界画像の論理和や一定期間中に一定割合以上に存在する境界を取っても良い。

差分マスク誤り境界画像生成部１６は、差分マスク境界画像Im_edgeと背景エッジ画像Ib_edgeとの形状の類似している位置を特定する。本実施形態では、図２に示したように、差分マスク境界画像Im_edgeと背景エッジ画像Ib_edgeとの論理積に基づいて差分マスク誤り境界画像Imb_edgeを生成する。なお、論理積演算により各画像の類似位置を抽出するのであれば、差分マスク境界画像Im_edgeには、必要に応じて予めオープニング処理を行うことが望ましい。

ノイズ除去部１７は、差分マスク誤り境界画像Imb_edgeとして残った誤り境界の画素群からノイズ成分を除去する。本実施形態では、誤り境界の画素群のうち、連結できる画素は前景検出漏れ領域に接しているエッジである可能性が高いとの考察に基づいて、その個数を計数する。その結果、連結できる画素数が一定個数T_cnctよりも少ない画素群は、前景の正しいエッジと背景のエッジとの交差点である可能性が高いのでノイズとして除去する一方、一定個数T_cnctより多い画素群は本来の「誤り境界」と推定できるので除去しない。

なお、このようなノイズ除去はフレーム内での相関のみならずフレーム間での相関を考慮して行うようにしても良い。例えば、前回フレームで生成した差分マスク誤り境界画像Imb_edgeではT_cnct以上の連結成分が存在した箇所において、今回フレームではノイズや微小の動きがあってT_cnct以下となっても、一定数以上のエッジがT_cnct上にあるならば、今回フレームでの連結成分がT_cnct以下でも前回フレームと同様に連結しているとみなすようにしても良い。

また、前景の正しい境界と背景エッジとの交差点や偶然一致した線を排除するために、入力したフレーム画像Iaに関しても、そのエッジ画像Ia_edgeを輪郭抽出フィルタにより求め、差分マスク誤り境界画像Imb_edge上に存在する誤り境界の画素群のうちエッジ画像Ia_edgeに含まれる画像を除去するようにしても良い。

このとき、エッジ画像Ia_edgeと差分マスク誤り境界画像Imb_edgeの輪郭とが偶然一致したかどうかを経時的に判断しても良い。例えば、経時的な前景の微小な動きを検出し、微小な動きがあった後に線が一致しなくなる場合は偶然の一致と考えて処理を行わず、経時的に輪郭線が一致している箇所に接する領域のみに補正を行うようにしても良い。微小な動きの検出は、例えば、前フレームとの差分画像を取得し、一定以上の変化があった場合には動きがあったと判断できる。

本実施形態では、以上のようにしてノイズ除去部１７が前記差分マスク誤り境界画像Imb_edgeから、経時的なノイズを含む様々なノイズを除去することで差分マスク誤り境界画像Imb_edge'が生成される。

判定部１８は、前記ノイズ除去後の差分マスク誤り境界画像Imb_edge'に誤り境界が残っているか否かに基づいて、前記背景差分法により生成した差分マスク画像Imを用いた前景背景分離の適否を判定する。

本実施形態では、今回のフレーム画像Iaに関して、差分マスク誤り境界画像Imb_edge'に誤り境界が残っていなければ、前記背景差分法により生成した差分マスク画像Imを用いた前景背景分離を好適と判定する。これに対して、ノイズ除去後の差分マスク誤り境界画像Imb_edge'に誤り境界が残っていれば、背景差分法により生成した差分マスク画像Imを用いた前景背景分離を不適と判断する。

本実施形態によれば、前景の境界部分と背景のエッジ部分とが類似することにより生じ得る、背景の形状の一部が差分マスク画像に現れる前景検出漏れの有無を少ない計算量で推測することができるので、背景差分法により生成した差分マスク画像を用いた前景背景分離の適否をフレーム画像ごとに軽処理で判定できるようになる。

したがって、判定部１８の判定結果を、背景差分法を含む様々な前景背景分離機能を備えたシステムへ、オペレータを介して、または直接通知すれば、入力されるフレーム画像ごとに好適な前景背景分離方法として、背景差分法および背景分離法以外のいずれかを正確に選択できるようになる。

図３は、本発明の第２実施形態に係る背景差分法による前景背景分離に好適な装置の主要部の構成を示したブロック図であり、図４は、入力されたフレーム画像Iaの背景領域から前景領域を背景差分法により軽処理かつ高精度で分離できるか否かを判定し、分離できると判断されれば、背景差分法により生成した差分マスク画像を用いて背景領域から前景領域を分離する過程を模式的に示した図である。いずれの図でも前記と同一の符号は同一又は同等部分を表しているので、その説明は省略する。

前記判定部１８は、前記ノイズ除去後の差分マスク誤り境界画像Imb_edge'に誤り境界が残っていなければ、背景差分法による前景背景分離を適正と判定して、その旨を反映部１９に通知する。これに対して、前記ノイズ除去後の差分マスク誤り境界画像Imb_edge'に誤り境界が残っていれば、背景差分法による前景背景分離を中止して、背景差分法以外の手法による分離を推奨する。

反映部１９は、前記判定部１８からの適正判定の通知に応答して、今回のフレーム画像Iaに対して、前記背景差分法により生成した差分マスク画像Imを用いた前景背景分離を実施し、その前景および背景のうち、プライバシー保護の観点から少なくとも一方に対して、「ぼかし」、「モザイク」、「（他のテクスチャへの）置換」あるいは「除去」等の秘匿処理を実施する。なお、前景および背景のいずれに対しても秘匿処理を実施するのであれば、分離境界が失われないように、それぞれに異なる秘匿処理を実施することが望ましい。

本実施形態によれば、背景差分法により作成した差分マスク画像を用いることで前景背景分離を軽処理かつ高精度で実施できると判定されると、この判定結果を今回のフレーム画像Iaに反映する一方、背景差分法が不適であると判定されると背景差分法以外による前景背景分離を促すので、入力画像に応じて最適な前景背景分離を実現できるようになる。

図５は、本発明の第３実施形態に係る背景差分法による前景背景分離に好適な装置の主要部の構成を示したブロック図であり、図６は、背景差分法により生成した差分マスク画像Imの「抜け」領域を評価，補正する過程を模式的に示した図である。いずれの図でも、前記と同一の符号は同一又は同等部分を表しているので、その説明は省略する。

本実施形態は、誤り境界画像Imb_edgeに基づいて差分マスク画像Imの閉領域を補正候補として選択する補正候補領域選択部２０と、その選択結果および前記判定部１８による判定結果に基づいて差分マスク画像Imを補正し、補正後の差分マスク画像Im1を出力する第１補正処理部２１とを更に具備した。

前記反映部１９は、差分マスク画像Imおよび補正後の差分マスク画像Im1のいずれかを用いてフレーム画像Iaに前景背景分離を実施し、かつ前景および背景の少なくとも一方に対して、前記「ぼかし」、「モザイク」、「置換」あるいは「除去」等の秘匿処理を実施する。

前記補正候補領域選択部２０は、差分マスク画像Imにおいて、全周囲を前景に囲まれた背景領域［図9(a)］を「抜け」領域と認定し、全ての「抜け」領域を補正候補領域としてリストアップして第１補正処理部２１に通知する。

第１補正処理部２１は、差分マスク画像Im上で前記ノイズ除去後の誤り境界画像Img_edge'上の誤り境界に接する「抜け」領域のみを補正対象とし、当該「抜け」領域内のマスク値を反転して背景から前景に補正することで修正後の差分マスク画像Im1を生成する。なお、本補正領域は一定期間（複数フレーム間）にわたって有効としても良い。

この結果、図６に示したように、差分マスク画像Im上で誤り境界の画像群が存在する「抜け」領域候補Reのマスク値は前景のマスク値に補正される一方、誤り境界の画素群が存在しない「抜け」領域候補Rtのマスク値は、前景のマスク値に補正されることなく背景のマスク値を維持する。反映部１９は、今回のフレーム画像Iaに前記補正後の差分マスク画像Im1を適用することで前景背景分離を実施し、かつ前景および背景の少なくとも一方に対して秘匿処理（本実施形態では、背景を除去）を実施する。

本実施形態によれば、差分マスク画像Imに「抜け」領域が発生していても、誤り境界画像Img_edge'を参照することで各「抜け」領域を正確に評価できるので、本来の「抜け」領域を背景として維持したまま、誤検知に基づく「抜け」領域のみを前景に補正できるようになる。

図７は、本発明の第４実施形態に係る背景差分法による前景背景分離に好適な装置の主要部の構成を示したブロック図である。図８は、背景差分法で生成した差分マスク画像Imの「欠け」領域［図９(c)］を補正する過程を模式的に示した図である。いずれの図でも、前記と同一の符号は同一又は同等部分を表しているので、その説明は省略する。

本実施形態は、前記補正後の差分マスク画像Im1から、前記ノイズ除去後の誤り境界画像Imb_edge'上の誤り境界の画素群に基づいて「欠け」領域を選択し、更には必要に応じて当該「欠け」領域を評価、補正する第２補正処理部２２を具備した点に特徴がある。

第２補正処理部２２において、欠け領域判定部２２１は、第１補正処理後の差分マスク画像Im1に「欠け」領域が存在するか否かを判定する。本実施形態では、正しい差分マスク画像［図９(b)］では前景であるが背景と誤判定された差分マスク画像Im1の領域において、周囲の一部のみを前景に囲まれた領域［図９(c)］を「欠け」領域とする。「欠け」領域が存在しない判定は、例えば、誤り境界画像Imb_edge'上の全ての誤り境界の画素群が前記「抜け」領域と接しており、かつ前記第１補正処理部２１により既に補正されていれば、「欠け」領域が存在していない可能性が高いので、ここでは「欠け」領域が存在しないと判定する。

これに対して、図１０に示したように、誤り境界画像Imb_edge'上に「抜け」領域と接していない誤り境界の画素群［同図(a)］が存在していれば、それに接する「欠け」領域が存在している可能性があると判定する。なお、欠け領域が存在する可能性があると判定された場合、「欠け」補正処理を行わず、前景背景分離方式として背景差分法以外の他の方式の採用を推奨してもよい。

さらに、前景の形状特徴が既知または推測できる場合、当該形状特徴との整合性に基づいて「欠け」領域のが存在する可能性が高いかどうかを判定できる。例えば、前景形状が顔のような楕円型であり、同図(b)に示したように、その誤り境界画像Imb_edge'の誤り境界の画素群が存在する箇所において前景形状が滑らかな凸形状でなく凹形状または複雑な形状となっている場合は、「欠け」領域が存在している可能性が高いと判定できる。

前景形状の推測は、現在の差分マスク画像Imの境界から行うこともできる。その場合、フレーム画像Iaを対象に輪郭抽出を行って同図(c)の差分マスク画像を求める。ここで、マスク画像境界と一致する境界は正しいと推測できるため、その境界上の点を何点か抽出し、スプライン補間等で曲線を補完することで形状を推測する。なお、欠け領域が存在すると可能性があると判定された場合でも、前景形状に凹凸が多いなどの理由で前景形状の推測が難しい場合には、欠け補正を中断しても良い。

次いで、同図(d)に示したように、推測形状の輪郭と差分マスク画像とを重畳する。この際、輪郭と前景に囲まれる背景領域が存在する場合、「欠け」領域が存在している可能性が高いと判定できる。さらに、その領域の輪郭の一部が誤り境界画像Imb_edge'上の誤り境界の端点と一致している場合、「欠け」領域が存在している可能性がさらに高いと判定できる。

このようにして、「欠け」領域が存在している可能性がある、または高いと認識されると、第２補正処理部２２は当該「欠け」領域を放置できるか否かを初めに判定する。例えば、前記既に修正された「抜け」領域に接しない誤り境界の画素群が存在するものの、その形状が前景形状と矛盾がない場合、あるいは図１１に示したように、推定した「欠け」の量が所定の基準面積より小さい場合は、欠けたままでも良いと判定して、前記「欠け」を有する差分マスク画像Im1をそのまま採用することができる。

これに対して、放置できない「欠け」が存在する場合は更に、図１２に示したように「欠け」領域の面積、あるいは図１３に示したように「欠け」領域の個数を判別する。そして、「欠け」領域の面積や「欠け」領域の個数が所定の判定閾値を超えていると、前景背景分離方式として背景差分法以外の他の方式の採用を推奨する。または、「欠け」領域に接している可能性がある誤り境界画像Imb_edge'の画素数や連結成分を１つと数えた時の個数が所定の判定閾値を超えていると、前景背景分離方式として背景差分法以外の他の方式の採用を推奨する。

あるいは、「欠け」領域の面積や個数が所定の判定閾値を超えている場合、マスク補正部２２２が「欠け」領域の画素値を前景の画素値に置き換える補正を差分マスク画像Im1に施すことで差分マスク画像Im2を取得し、当該差分マスク画像Im2を用いて背景を削除するようにしても良い。

あるいはフレーム画像Iaを複数のブロックに分割し、エッジ画素を含むブロックのみ、さらにはその隣接ブロックを加えた領域に対してのみ、背景差分法以外の他の方式で作成したマスク画像Im3を採用しても良い。すなわち、１つの画面内で背景差分法による差分マスク画像Im2と背景差分法以外によるマスク画像Im3とがハイブリッドで適用されることになる。

さらには、オプションとして前記マスク補正部２２２に、前記第１のアプローチや第２のアプローチのような手法、楕円の一部をフィッティングするような固定マスク形状の当て嵌め、あるいは特許文献２のような動的輪郭追跡などの機能を追加しても良い。

また、合成用の別マスクを生成する際、画像全体に対してマスクを生成する場合も、補正領域周辺のみのマスクを生成する場合もある。例えば、第１のアプローチの顔検出であれば、画像全体に対してマスクを作成した後に、差分マスク画像Im1の欠けた箇所のみ、そのマスクを合成することもできるし、フィッティングや動的輪郭追跡であれば、画像全体でマスクを作成しても「欠け」領域周辺のみマスクを生成して、その後に差分マスク画像Im1と合成しても良い。

また、別手法を用いず、補正対象のブロックに対して、背景差分の差分画像Idの計算の仕方を変える、閾値を小さくするなどの処理も有効である。閾値を小さくする場合、後述する破綻判定と併用したり、差分取得直後の画像上で前景となる領域が増加しないか確認し、破綻や前景領域数の増加が発生しない程度に閾値を小さくしたりすることも有効である。閾値変更後に別手法を適用しても良い。補正判断は経時的に変化し、「欠け」補正判断とマスク合成により、背景差分が適切な領域にのみ、随時適用することができる。

反映部１９は、差分マスク画像Im，Im1，Im2等のいずれかを用いてフレーム画像Iaに前景背景分離を実施し、かつ前景および背景の少なくとも一方に対して所定の秘匿処理（図８では、背景除去）を実施する。

本実施形態によれば、差分マスク画像Imに「欠け」領域が発生していると、誤り境界画像Imb_edge'を参照することで当該各「欠け」領域の影響を評価し、その評価結果に応じて、背景差分法以外の選択、「欠け」領域の許容あるいは補正等の適宜の対応をとることができる。したがって、背景差分法により生成した差分マスク画像を用いた前景背景分離の適否を軽処理かつ高精度で判定することができ、さらには前景背景分離の結果を反映した適正な秘匿処理を実施できるようになる。

なお、上記の第２ないし第４実施形態では、反映部１９が差分マスク画像Imを用いてフレーム画像Iaに前景背景分離を実施し、かつ前景および背景の少なくとも一方に対して、「ぼかし」、「モザイク」、「置換」あるいは「除去」等の秘匿処理を実施するものとして説明したが、本発明はこれのみに限定されるものではなく、差分マスク情報から取得できる前景背景情報を用いた様々な画像処理への適用が可能である。

非特許文献４では、前景背景分離後の前景の秘匿レベルを抽象化オペレータで調整することができ、前景を「透明」とするのが最も抽象化度合いが高い（秘匿レベルが高い）としている。抽象化オペレータでは、秘匿度の度合いが高い順に「ドット」、「バー」、「ボックス」、「シルエット」、「輪郭」、「エッジ」、「モザイク」、「ぼかし」、「モノトーン」、「シースルー」の処理としており、「実写」では秘匿度が最も低くなる。
前景も背景も秘匿したいが秘匿の要求レベルが異なる場合には、異なる処理を前景と背景とに適用することも可能である。例えば、背景は低いレベルで少々秘匿し、前景の人はシルエットだけを表示して高いレベルで秘匿したい場合は、背景は「ぼかし」、前景は「シルエット」を適用する等である。

さらに、前景領域に画像処理を与えたくない場合には、吹き出しやテキストメッセージなどは背景領域に重畳するといった利用用途にも使いうる。また、後述する破綻検知では背景領域と前景領域の画素数の比から判断できるが、そのような前景や背景の統計情報を用いた処理に用いても良い。

また、前記判定部１８が前景の検出漏れの存在をチェックする際に破綻検知を同時に行い、破綻が検知されると今回のフレーム画像Iaに対しては背景差分法を適用しないという判定をすることで、背景差分法の利用タイミングを更に適正化できる。破綻は照明条件の変化などで起こることが多く、破綻検知は、例えば一定時間内に急激に前景領域の面積が一定値以上に増加した等で判定できる。

さらに、背景差分法の利用タイミングを更に適正化するため、他の前景検出漏れ補正と併用するようにしても良い。例えば、前景が風邪用の白いマスクをしている人であって背景の壁が白い場合、背景差分では白いマスク形状の抜けが発生しやすい。このような場合には、起動時にマスク顔の検出を行い、検出された場合にはマスクなどの着用物検出とその「抜け」領域の補正処理を併用する等で精度を高めることができる。

１０…フレーム画像取得部，１１…背景画像蓄積部，１２…差分マスク画像生成部，１３…背景エッジ画像生成部，１４…微小領域削除部，１５…差分マスク境界画像生成部，１６…差分マスク誤り境界画像生成部，１７…ノイズ除去部，１８…判定部，１９…反映部，２０…補正候補領域選択部，２１…第１補正処理部，２２…第２補正処理部

Claims (15)

1. 入力画像の背景と前景とを分離する前景背景分離に好適な装置において、
   背景画像を取得する手段と、
   背景差分法により差分マスク画像を生成する手段と、
   背景画像からエッジを抽出して背景エッジ画像を生成する手段と、
   差分マスク画像から境界を抽出して差分マスク境界画像を生成する手段と、
   差分マスク境界画像から背景エッジ画像と重複する誤り境界を抽出する手段と、
   前記誤り境界に基づいて、前記差分マスク画像を用いた前景背景分離の適否を判定する手段とを具備したことを特徴とする前景背景分離に好適な装置。
2. 前記判定する手段による適正判定に応答して、前記差分マスク画像を用いた前景背景分離を実施する反映手段をさらに具備したことを特徴とする請求項１に記載の前景背景分離に好適な装置。
3. 前記反映手段は、前記判定する手段による不適判定に応答して、背景差分法以外の前景背景分離手法に切り換えることを特徴とする請求項２に記載の前景背景分離に好適な装置。
4. 前記反映手段は、前景および背景の少なくとも一方に対して秘匿処理を実施することを特徴とする請求項２に記載の前景背景分離に好適な装置。
5. 前記反映手段は、前景および背景のそれぞれに対して異なる秘匿処理を実施することを特徴とする請求項４に記載の前景背景分離に好適な装置。
6. 前記秘匿処理が、ぼかし、モザイク、置換および除去の各処理のいずれかであることを特徴とする請求項４または５に記載の前景背景分離に好適な装置。
7. 前記誤り境界を抽出する手段は、差分マスク境界画像と背景エッジ画像との論理積を求めることを特徴とする請求項１ないし６のいずれかに記載の前景背景分離に好適な装置。
8. 前記差分マスク画像から「抜け」領域を選択する手段と、
   前記「抜け」領域の位置が前記誤り境界に対応しているか否かに基づいて当該「抜け」領域を補正対象とするか否かを判定する手段と、
   補正対象の「抜け」領域が前景となるように前記差分マスク画像を補正する手段とを具備したことを特徴とする請求項１ないし７のいずれかに記載の前景背景分離に好適な装置。
9. 前記補正対象とするか否かを判定する手段は、前記「抜け」領域の境界位置と対応する位置に誤り境界が存在すれば補正対象とし、存在しなければ補正対象としないことを特徴とする請求項８に記載の前景背景分離に好適な装置。
10. 前記誤り境界に基づいて差分マスク画像から「欠け」領域を選択する手段と、
    前記「欠け」領域を補正する手段とを具備したことを特徴とする請求項８または９に記載の前景背景分離に好適な装置。
11. 前記「欠け」領域を選択する手段は、前記「抜け」領域の境界位置と対応する位置以外の位置に誤り境界が存在すると、当該位置に対応する差分マスク画像上の位置を「欠け」領域と推定することを特徴とする請求項１０に記載の前景背景分離に好適な装置。
12. 前記「欠け」領域を補正する手段が、「欠け」領域の規模を評価する手段を具備し、
    前記評価結果に応じて、当該「欠け」領域の補正、当該「欠け」領域の許容および背景差分法以外の手法による前景背景分離への切り換えのいずれかを採用することを特徴とする請求項１０または１１に記載の前景背景分離に好適な装置。
13. 前記「欠け」領域の規模を評価する手段は、当該「欠け」領域の面積および個数の少なくとも一方に基づいてその規模を評価することを特徴とする請求項１２に記載の前景背景分離に好適な装置。
14. 入力画像の背景から前景を分離する前景背景分離に好適な方法において、
    背景画像を取得する手順と、
    背景差分法により差分マスク画像を生成する手順と、
    背景画像からエッジを抽出して背景エッジ画像を生成する手順と、
    差分マスク画像から境界を抽出して差分マスク境界画像を生成する手順と、
    差分マスク境界画像から背景エッジ画像と重複する誤り境界を抽出する手順と、
    前記誤り境界に基づいて、前記差分マスク画像を用いた前景背景分離の適否を判定する手順とを含むことを特徴とする前景背景分離に好適な方法。
15. 前記差分マスク画像を用いた前景背景分離が適正である旨の判定に応答して、前記差分マスク画像を用いた前景背景分離を実施する手順を更に含むことを特徴とする請求項１４に記載の前景背景分離に好適な方法。

Images