JP7106282B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、プライバシーを保護するために撮像画像から人などの特定の物体を隠す画像処理装置、画像処理方法およびプログラムに関する。

近年、監視カメラに映る個人のプライバシー保護の重要性が高まっている。そこで、プライバシーを保護する領域を検出するために背景画像を利用する技術がある。例えば、前景が写っていないタイミングで撮像した画像を背景画像として取得しておき、背景画像と処理対象画像を比較し、比較結果に基づいて処理対象画像の特定領域を隠蔽処理してプライバシーを保護する方法がある。特許文献１の技術では、撮像画像に含まれている人体や動体を検出し、検出に基づいて背景画像を更新するように処理することで、隠蔽処理の精度を上げている。

特開２０１６－１１５２１４号公報

前景が写っていないタイミングで撮像した画像を背景画像として取得し固定的に利用する技術では、撮影環境の輝度に大きい変化等があると背景画像との比較により過剰に前景として抽出されてしまうことがある。一方、特許文献１に記載の手法では、撮影範囲に含まれる人体、動体領域以外を合成して背景画像として逐次的に更新しているが、撮影する環境によっては、常に動体領域と判定される領域が発生して、背景画像が穴抜けの状態になってしまうことがある。穴抜け画像を背景画像として前景抽出処理やプライバシー保護処理に用いると好ましくないことがある。

本発明の画像処理装置は、複数の撮像画像について前景が存在する第１の領域を検出する検出手段と、第１の背景画像を保持する保持手段と、前記複数の撮像画像について、前記検出手段により検出した第１の領域に対応する部分以外の部分画像に基づいて、第２の背景画像を生成する生成手段と、前記撮像画像の画素数に対する前記第２の背景画像の画素数の割合に基づいて、前記第１の背景画像と前記第２の背景画像から一つを選択し、選択した背景画像と前記検出手段により検出した第１の領域に基づいてプライバシーを保護する画像を出力する出力手段とを有することを特徴とする。

本発明によれば、合成した背景画像に穴抜けが発生する場合には、好ましく他の背景画像に切り替えてプライバシー保護をすることができる。

（ａ）画像処理システムの各装置のハードウェア構成を示すブロック図である。（ｂ）画像処理システムの概略構成を示すブロック図である。 各装置の機能構成を示すブロック図である。 背景画像の生成処理の概要を示す模式図である。 背景画像の生成処理を示すフローチャートである。 （ａ）プライバシー保護画像の生成処理を示すフローチャートである。（ｂ）ユーザインターフェースの例である。

以下、添付の図面を参照して、実施形態について詳細に説明する。

（システム構成）
図１（ｂ）のブロック図に、本実施形態に係る画像処理システムの構成例を示す。本画像処理システムは、一例として、撮像装置（録画装置）１０１と表示装置１０２とを有しネットワーク１０３を介して通信可能に接続されている。なお、本画像処理システムは、例えば録画装置１０１及び表示装置１０２の機能を有する画像処理装置は１つであってもよいし、録画装置１０１又は表示装置１０２の機能の一部をそれぞれが有する３つ以上の装置を備えていてもよい。

撮像装置（録画装置）１０１や表示装置１０２のそれぞれは、例えば図１（ａ）のようなハードウェア構成を有している。なお、各装置は図示されるハードウェア構成以外の構成を有してもよいし、図示された構成の一部を有しなくてもよい。また、以降の説明では撮像装置１０１を用いたシステムについて主体的に説明する。

各装置は、一例として、記憶部２０１、制御部２０２、機能部２０３、入力部２０４、出力部２０５、通信部２０６及びアンテナ２０７を有する。記憶部２０１は、ＲＯＭ、ＲＡＭの両方、または、いずれか一方により構成され、後述する各種動作を行うためのプログラムや、通信や各種処理のためのパラメータ等、各種情報を記憶する。なお、記憶部２０１として、ＲＯＭ、ＲＡＭ等のメモリの他に、フラッシュメモリやハードディスク（ＨＳＤＤ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）や光学ディスク等の着脱可能な記憶媒体が用いられてもよい。

また、制御部２０２は、機能部２０３を制御して、撮像等の所定の処理を実行する。機能部２０３は、装置が所定の処理を実行するためのハードウェアである。例えば、撮像装置１０１であれば、機能部２０３は撮像部であり、撮像処理を行う。また、例えば、表示装置１０２がプリント機能を有する場合、機能部２０３は画像データを紙媒体等に印字する印刷部であり、表示装置１０２がプロジェクタ機能を有する場合、機能部２０３は画像データの内容を投影する投影部である。機能部２０３が処理するデータは、記憶部２０１に記憶されているデータであってもよいし、後述する通信部２０６を介して他の装置と通信したデータであってもよい。

入力部２０４は、ユーザからの各種操作の受付を行うインターフェースであり、表示装置１０２ではマウスやキーボードやタッチパネルディスプレイ等である。出力部２０５は、ユーザに対して各種出力を行う。ここで、出力部２０５による出力とは、ディスプレイ画面上への表示のための出力や、スピーカーによる音声出力、警告灯等の外部機器への警告出力等を含む。なお、タッチパネルのように入力部２０４と出力部２０５の両方を１つのモジュールで実現するようにしてもよい。

通信部２０６は、例えば有線通信（又は無線通信）の制御や、ＩＰ（インターネット・プロトコル）に沿った通信の制御を行う。各装置は通信部２０６を介して、画像データや文書データ、映像データ等のコンテンツを他の通信装置と通信する。例えば、録画装置１０１と表示装置１０２との間の通信は、各装置の通信部２０６を介して行われる。

図２は画像処理システムの各装置の機能構成を示すブロック図である。図２に示すように、撮像装置１０１は、画像取得部１１１、画像保存部１１２、及び画像送信部１１３を有する。画像取得部１１１は、制御部２０２が記憶部２０１に記憶されたプログラムを実行して撮像部２０３を制御することで実現され、レンズ及びセンサを有する撮像部（機能部２０３）を用いて、所定の間隔で画像を取得して、画像保存部１１２に供給する。

画像保存部１１２は、例えば記憶部２０１によって実現され、画像取得部１１１から取得した画像を保存する。すなわち撮像部２０３によって撮像された画像を保持する。画像送信部１１３は、通信部２０６によって実現され、表示装置１０２から画像の取得要求を受信したことに応じて、画像保存部１１２に保存された画像の中から、要求された画像を取得して表示装置１０２へと送信する。なお、表示装置１０２から受信される取得要求は、例えば、画像の撮影時刻を指定する情報を含む信号であり、画像送信部１１３は、その指定された撮影時刻の情報に従って、表示装置１０２に送信すべき画像を決定することができる。表示装置１０２から受信される取得要求として、単純に撮像装置１０１で取得した画像から配信するように要求であってもよい。

一方、表示装置１０２は、その機能構成として、画像受信部１２１、検出部１２２、画像変換部１２３、背景保存部１２４、背景更新部１２５、シルエット抽出部１２６、出力部１２７、及び予備背景保存部１２８を有している。

画像受信部１２１は、例えば通信部２０６によって実現され、撮像装置１０１へ画像の取得要求を送信し、撮像装置１０１からその応答として画像を受信して取得し、その取得された画像を検出部１２２、画像変換部１２３、及び背景更新部１２５へ供給する。以下の説明では、撮像装置１０１から取得した画像を取得画像と呼称する。

検出部１２２は、例えば制御部２０２が記憶部２０１に記憶されたプログラムを実行することによって実現され、取得画像に写っている人物（人体）の領域を検出する。この人物の領域の検出は、例えばパターンマッチング法を用いて実行される。検出部１２２は、取得画像に人物が写っているか否か、人物が１つ以上写っている場合にその人物がそれぞれ写っている取得画像上の領域の座標の情報を生成する。以下では、ここで生成された情報を検出結果と呼ぶ。なお、領域の座標は、ここでは人物が写っている領域を含む矩形領域の座標であるものとするが、例えばその人物の形状に沿った曲線で囲まれた領域を特定するための座標であってもよい。また、ここでの人物が写っている領域は、人物の顔及び体が写っている領域でありうるが、例えば人物の顔のみを含む領域であってもよい。以下では、この人物が写っている領域のことを人物領域と呼ぶ。なお、人体とは全身であってもよいし、動体と頭、両腕を含む上半身（トルソ）であってもよいし、体の一部であってもよい。パターンマッチングをする場合は検出対象のパーツに対応する特徴を辞書として用いて、検出対象画像を走査して合致する領域を抽出する。

なお、検出部１２２は、背景差分法を用いて動体検出処理をしたり、特定のオブジェクト検出処理をしたりして、取得画像から任意の前景物の領域を抽出できる。例えば、検出部１２２は、人や車など物体領域の属性（人であれば性別、年齢、色特徴、身長、車であれば色特徴や大きさ、高さ等）を判定し、人などの所定の属性を持つ背景物でない物体の領域のみを検出結果としてもよい。

また、検出部１２２は、動画符号化に使用するフレーム間の動き情報を、物体の有無を示す情報として用いてもよい。また、検出結果の生成は、背景画像の生成時に行われてもよいが、それに限られない。例えば、録画装置１０１において、画像保存部１１２に画像を保存する際や、画像取得部１１１が撮影された画像を取得した際に、上述のような検出処理が行われてもよい。なお、検出部１２２は、検出結果をメタデータとして画像と対応づけて記憶部２０１に保持するようにしてもよい。また、検出部１２２は、背景画像と撮像画像の差分が大きい領域を動体領域として検出するようにしてもよい。

なお、以降の説明では簡便のため検出部１２２が矩形の人物領域を検出する例について説明する。

背景画像生成部として機能する画像変換部１２３は、例えば制御部２０２が記憶部２０１に記憶されたプログラムを実行することによって実現され、画像受信部１２１から供給された取得画像と検出部１２２から供給された検出結果とを用いて、背景画像を生成する。背景画像は、複数の取得画像の中で、前景（例えば、人物領域）部分以外の領域を合成することにより生成される。この処理の詳細については後述する。

背景保存部１２４は、例えば記憶部２０１によって実現され、画像変換部１２３が生成した背景画像、又は後述の背景更新部１２５が更新した背景画像を保存する。

背景更新部１２５は、例えば制御部２０２が記憶部２０１に記憶されたプログラムを実行することによって実現され、背景保存部１２４から取得した背景画像を、画像受信部１２１及び検出部１２２からそれぞれ供給された取得画像と検出結果を用いて更新する。なお、背景更新部１２５は、画像受信部１２１及び検出部１２２からの取得画像及び検出結果を利用せずに、画像変換部１２３が生成した背景画像を取得することも可能である。この場合、背景更新部１２５は、背景保存部１２４から取得した過去の背景画像を、画像変換部１２３から取得した新しい背景画像を用いて更新する。背景更新部１２５は、更新した背景画像を、背景保存部１２４に保存する。背景更新部１２５の処理の詳細についても後述する。

シルエット画像生成部１２６は、例えば制御部２０２が記憶部２０１に記憶されたプログラムを実行することによって実現され、背景画像と取得画像の差分に基づいて、人物のシルエット画像を生成する。なお、シルエット画像生成部１２６は、人物に限らずに前景物のシルエット画像を生成しうるが、例えばパターン認識によって人物を特定し、人物以外についてはシルエット画像を生成しないようにしてもよい。背景画像及び取得画像は、例えば、それぞれ背景保存部１２４及び画像受信部１２１から取得される。なお、シルエット画像生成部１２６は、例えば画像変換部１２３や背景更新部１２５が生成／更新した背景画像を、背景保存部１２４を介さずに直接取得してもよい。ここで、シルエット画像とは前景として抽出されたオブジェクトを輪郭形状が分かる程度に匿名化した画像であり、輪郭内部は背景と異なる色で塗りつぶされている。

なお、シルエット画像生成部１２６は匿名化画像生成部として同様の匿名化処理をしてもよい。例えば、モザイク処理やぼかし処理、マスク処理を実施する領域を実施する領域を示す２値画像を生成するだけでもよい。

出力部１２７は、例えば出力部２０５によって実現され、背景更新部１２５が更新した背景画像にシルエット画像生成部１２６が生成したシルエット画像を合成してディスプレイの表示画面（不図示）のいずれかに出力する。出力部１２７は、シルエット画像を透過させて背景画像に重畳するようにさせてもよい。なお、シルエット画像生成部１２６が他の匿名化処理（モザイク処理、ぼかし処理）を実施する場合は、画像取得部１２１で取得した取得画像と２値画像とに基づいて、出力部１２７が２値画像の示す位置をモザイク処理したり、ぼかし処理したりするようにしてもよい。

予備背景保存部１２８は、記憶部２０１によって実現され、検出部１２２が当初に前景を抽出するための背景画像や、画像変換部１２３によって生成された背景画像の完成度が低い時に背景画像として使用される画像が保存される。

次に、画像変換部１２３による背景画像の生成処理について図３（Ａ）～（Ｄ）を用いて説明する。画像変換部１２３は、検出部１２２が出力した検出結果に基づいて、取得画像から人物でない領域を特定して背景画像を生成する。図３（Ａ）は、ある時刻の取得画像に対して人物検出処理が実行された結果を示す図である。

図３（Ａ）において、矩形領域３０１及び３０２は、人物が検出された領域（人物領域）を示す。図３（Ｂ）は、図３（Ａ）の検出結果を得るために用いられた取得画像から人物が検出された人物領域以外の領域の画素値を採用して生成された背景画像を示している。図３（Ｂ）では、この背景画像において、領域３０３及び３０４が人物領域であったために画素値が採用されない状態が黒塗りの領域によって示されている。人物が検出されなかった画像では、採用されない画素値がないため１枚の画像で画像全体の画素値を得ることができるが、人物が検出された画像は、１枚だけでは、画像全体の画素値を得ることができず、画素値が得られていない領域が残ることとなる。このため、本実施形態の画像変換部１２３は、撮像画像中の領域から画素値が得られていない領域をなくすため、時刻の異なる別の画像を用いて同様の処理を繰り返す。

図３（Ｃ）は、図３（Ａ）とは異なる時刻の取得画像に対して検出処理が実行された結果を示す図であり、図３（Ｃ）において、矩形領域３０５及び３０６が人物領域である。図３（Ｄ）は、図３（Ｂ）において画素値が得られなかった領域３０３及び３０４において、図３（Ｃ）の検出結果を得る際に用いられた取得画像に含まれる人物領域３０５及び３０６を除いた領域で得られた画素値を適用して得られる背景画像を示している。すなわち、図３（Ｄ）では、図３（Ａ）及び図３（Ｃ）において共に人物領域であった領域３０７及び３０８については、この時点においても画素値が得られていないが、それ以外の領域については、画素値が得られている。このように、図３（Ｄ）の背景画像は、図３（Ｂ）の背景画像と比べて、画素値が得られていない領域が減少する。画像変換部１２３は、複数の画像についてこのような処理を繰り返し実行することにより、画素値が得られていない領域が徐々に減少する。

なお、人物が常時存在する映像では、画像数を増やしても画像全体の画素値を得ることができない場合がある。この場合、所定数の画像を処理しても画素値が得られていないままの領域は、背景画像を生成できなかった背景未生成領域として、背景保存部１２４に記憶される。また、画像全体に対する背景未生成領域の割合から、背景画像の完成度が算出される。完成度とは理想的な背景画像の画素数（撮像画像の画素数）に対して、画像変換部１２３によって得られた部分背景画像の割合（生成度合、生成率、スコア）を示す。例えば、１つの撮像画像が１０００万画素である中、１０万画素の領域が背景未生成領域である場合は、完成度は９９％と算出される。単純にスコア９９としてもよい。また、撮像画像の画角（パン角１８０度、チルト各９０度）に対して、部分背景画像で生成した画角の面積率（％）を完成度としてもよい。

また、複数の取得画像のうちのいずれか１枚の画素値を背景画像の各領域の画素値として用いることが望ましいが、これに限られない。例えば、背景未精製領域の画素値として、複数の取得画像の近傍領域の画素値や、それらの平均値や頻出値を補完して用いるようにしてもよい。なお、ここでの平均値は、各画素について、複数の取得画像のうち人物領域ではなかった１枚以上の画像についての画素値の和を、その１枚以上の画像の枚数で除算した結果である。

背景更新部１２５は、背景保存部１２４から背景画像を、画像受信部１２１から取得画像を、検出部１２２から検出結果を、それぞれ取得する。そして、背景更新部１２５は、人物領域として検出された領域以外の領域について、例えば、取得画像の画素値と背景画像の画素値との加重平均値を背景画像の画素値として用いることにより、背景画像を更新する。例えば、背景更新部１２５は、検出結果が人物領域ではないことを示す領域について、背景保存部１２４から取得した背景画像の各画素値に係数α（０＜α＜１）を乗じ、画像受信部１２１から取得した取得画像の各画素値に係数（１－α）を乗じて加算する。このとき、αが大きいほど背景保存部１２４から取得された背景画像の画素値が強く影響し、αが小さいほど画像受信部１２１から取得した取得画像の画素値が強く影響することとなる。

また、背景更新部１２５は、画像変換部１２３が生成した背景画像に背景未生成領域が含まれている場合に、その背景未生成領域の情報を背景保存部１２４から取得する。そして、背景更新部１２５は、取得画像において背景未生成領域に対応する領域のうち、その取得画像において人物領域として検出されなかった領域が存在する場合、その領域の画素値を、背景画像の画素値として用いる。

例えば画像変換部１２３が生成した背景画像が図３（Ｂ）である場合、領域３０３及び３０４が背景未生成領域であり、図３（Ｃ）の画像が取得画像であるものとする。この場合、例えば図３（Ｂ）の領域３０４内で、図３（Ｃ）の領域３０６と重複しない領域３０９が、図３（Ｃ）において、その時点での背景画像における背景未生成領域のうちの、取得画像において人物領域として検出されなかった領域である。このため、背景更新部１２５は、図３（Ｂ）の背景画像の領域３０４のうち、図３（Ｃ）の領域３０９に対応する領域の画素値として、図３（Ｃ）の領域３０９の画素値をそのまま採用しうる。背景更新部１２５は、このような処理を行うことによって、領域３０９に対応する領域を背景生成済みとして、背景未生成領域の情報を更新する。この処理により、背景未生成領域は背景生成済み領域に比べて高速に画素値が更新されうる。なお、ここでの説明では背景生成済みの領域については加重平均によって画素値を更新すると説明したが、これに限られない。すなわち、背景更新部１２５は、背景画像の画素値と取得画像の画素値の双方を参照して画素値を決定する任意の方法（又は任意の関数）を用いて、背景生成済み領域に関する画素値を更新しうる。また、人や車など物体領域の属性が判定された場合は、人などの特定の属性を有する物体の領域を検出結果として用いて上述の更新が行われてもよい。

（処理の流れ）
続いて、上述の画像処理システムが実行する処理の流れの例について、図４及び図５を用いて説明する。以下の説明では表示装置１０２が実行するものとして主体的に説明する。図４は、背景画像を生成する処理の流れを示すフローチャートであり、図５は、プライバシー保護画像を生成して表示する処理の流れを示すフローチャートである。表示装置１０２は、画像受信部１２１において画像を取得し（Ｓ４０１）、検出部１２２においてその画像中の人物領域を検出する（Ｓ４０２）。次に、表示装置１０２は、画像変換部１２３において背景画像を生成し（Ｓ４０３）、画像変換部１２３が背景画像の完成度（全体の画素の領域と背景が取得された画素の領域の割合）を算出し、出力部１２７がディスプレイの表示画面上に表示させる（Ｓ４０４）。

次に、表示装置１０２は、制御部２０２が背景画像の完成度および処理に掛かった時間および残りの画像枚数に基づいて、処理を継続するか否かを判定し（Ｓ４０５）、処理を継続すると判定した場合（Ｓ４０５でＹＥＳ）は処理をＳ４０１に戻す。例えば、表示装置１０２は、完成度が所定の閾値以上の場合に、処理を終了すると判定する。例えば、背景画像の生成処理の開始からの経過時間が所定の時間を超えた場合に、処理を終了すると判定する。他に、取得画像が録画データや静止画データであって、画像数に限りがあり、残りの処理対象画像がなくなった場合に、処理を終了すると判定する。

次に、表示装置１０２の制御部２０２は、背景画像の完成度に基づいて、予備背景画像を使用するか否かを判定し（Ｓ４０６）、予備背景画像を使用すると判定した場合（Ｓ４０６でＹＥＳ）は予備背景画像を背景保存部１２４に保存する（Ｓ４０７）。例えば完成度が所定の閾値を下回る場合に、予備背景画像を使用すると判定する。これにより、処理時間の制限や、画像の枚数の制限がある場合に生成した背景画像の完成度が閾値以上にならない場合は予備背景画像を使用することで、完成度が低い背景画像を避けて、より適切な背景画像を使用することが出来る。

一方、表示装置１０２の制御部２０２が、予備背景画像を使用しないと判定した場合（Ｓ４０６でＮＯＳ）、生成した背景画像を背景保存部１２４に保存する（Ｓ４０８）。例えば、完成度が所定の閾値以上である場合には制御部２０２は予備背景画像を使用しないと判定する。これにより、複数の画像が、人物（前景物）の領域を除いた領域の画素値を用いて合成されて、適切な背景画像が生成される。

プライバシー保護画像を生成して表示する処理では、表示装置１０２は、画像受信部１２１において画像を取得し（Ｓ５０１）、検出部１２２において人物を検出する（Ｓ５０２）。次に、表示装置１０２は、背景更新部１２５において背景画像を更新し、シルエット画像生成部１２６においてシルエット画像を生成する（Ｓ５０３）。シルエット画像は、例えば検出部１２２が検出した人物の領域を単色で塗りつぶした、人物形状の単色画像でありうる。また、人物領域について所定のフィルタ処理等によって人物を特定できないようにした画像処理の結果の画像がシルエット画像として用いられてもよい。

また、そこに人物が存在することが分かるが個人を特定することはできない画像を別途用意して、その画像をシルエット画像として用いてもよい。表示装置１０２は、シルエット画像を生成した後に、出力部１２７でシルエット画像と背景画像とを合成して表示画面に表示させる（Ｓ５０４）。そして、表示装置１０２は、本処理を終了するか否かを判定し（Ｓ５０５）、終了しない場合（Ｓ５０５でＮＯ）には処理をＳ５０１へ戻す。

図５（ｂ）は、ユーザが背景を更新するモードなどを設定するためのユーザインターフェースである。ウィンドウ６０１は、表示装置１０２のディスプレイに表示される。背景モードを選択するためのチェックボックス６０２は固定の背景画像（予備背景画像）を常に使い続ける固定モードと、人物領域を除外した複数の部分画像を合成して背景画像を生成する更新モード（動画データの各フレームの前景以外を合成するモードであってもよい）とのどちらか一方を設定できる。チェックボックス６０３は、更新モードが選択されている場合に選択可能であり、背景画像の完成度が所定の完成度に満たない場合は、満たすまで、一時的に固定モードに切り替えることを設定するためのチェックボックスである。チェックボックス６０２が選択されていない場合はグレーアウトされて選択されないようになっている。さらに設定ボックス６０４はモードを切り替える条件を設定するためのボックスであり、チェックボックス６０３が選択されてない場合はグレーアウトされて数値を入力できないようになっている。設定ボックス６０４は１－１００までの整数を設定可能で、その他の値が入力された場合にはエラーを返す。なお、背景画像を生成する対象から除外する対象（人物、動体、特定のオブジェクト、特定の属性を持つオブジェクト）を設定できるようにしてもよい。なお、固定の背景を利用する場合はそのサムネイル画像をウィンドウ６０１に表示するようにしてもよい。また、図５（ｂ）のユーザインターフェースによって、固定モードを使うか更新モードを使うかについては、複数の撮像装置１０１について一括で設定するようにしてもよい。ただし、固定モードを一括で設定する場合について、利用する背景画像は撮像装置１１０に対応する必要があるので反映させないようにする。

以上のように、録画装置１０１が撮影した複数の画像について、人物等の前景の領域を背景画像の生成に使用せずに合成することによって、プライバシー保護画像を生成する際に用いられる背景画像を、適切に生成することもできるし、時間や画像枚数の制限によって完成度が閾値以上にならない場合は予備背景画像を用いて、適切な画像を設定することもできる。

なお、上述の実施形態では画像変換部１２３や背景更新部１２５は、人物領域以外の部分領域を合成しているが、動体領域以外の部分画像を合成して背景画像を生成または更新するようにしてもよい。また、画像変換部１２３や背景更新部１２５は、人物領域でも動体領域でもない部分画像を合成するようにしてもよい。

また、上述の実施形態では予備背景画像として固定の画像を利用しているが、部分画像を合成することで完成度が閾値（１００％）を満たした背景画像で予備背景画像を置換するようにしてもよい。上述の実施形態では、完成度に基づいて予備背景画像を用いると説明しているが、単純に合成した背景画像の画素数に基づいて予備背景画像を用いるかどうかを判断するようにしてもよい。

なお、上述の実施形態では前景の検出や、背景画像の作成、予備背景画像の保持を表示装置側でやっているが、撮像装置１０１側で行うようにしてもよい。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１１１ 画像取得部
１１２ 画像保存部
１１３ 画像送信部
１２１ 画像受信部
１２２ 検出部
１２３ 画像変換部
１２４ 背景保存部
１２５ 背景更新部
１２７ 出力部
１２８ 予備背景保存部

Claims (11)

1. 複数の撮像画像について前景が存在する第１の領域を検出する検出手段と、
   第１の背景画像を保持する保持手段と、
   前記複数の撮像画像について、前記検出手段により検出した第１の領域に対応する部分以外の部分画像に基づいて、第２の背景画像を生成する生成手段と、
   前記撮像画像の画素数に対する前記第２の背景画像の画素数の割合に基づいて、前記第１の背景画像と前記第２の背景画像から一つを選択し、選択した背景画像と前記検出手段により検出した第１の領域に基づいてプライバシーを保護する画像を出力する出力手段とを有することを特徴とする画像処理装置。
2. 複数の撮像画像について前景が存在する第１の領域を検出する検出手段と、
   第１の背景画像を保持する保持手段と、
   前記複数の撮像画像について、前記検出手段により検出した第１の領域に対応する部分以外の部分画像に基づいて、第２の背景画像を生成する生成手段と、
   前記撮像画像の画角に対する前記第２の背景画像の面積率に基づいて、前記第１の背景画像と前記第２の背景画像から一つを選択し、選択した背景画像と前記検出手段により検出した第１の領域に基づいてプライバシーを保護する画像を出力する出力手段とを有することを特徴とする画像処理装置。
3. 前記検出手段は、所定の属性を有する背景物でない物体を前景物として検出する、
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記検出手段は、前記第１の背景画像に基づいて前記複数の撮像画像に含まれる前景を抽出することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記第１の領域は、前記前景を含む矩形の領域であることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記検出手段が第１の撮像画像と第２の撮像画像のそれぞれから前景が存在する第１の領域を検出し、前記生成手段は、前記第１の撮像画像の第１の領域のうち前記第２の撮像画像の第１の領域と重ならない第２の領域について、前記第２の撮像画像中の前記第２の領域に対応する領域の画素値を用いて前記第２の背景画像を更新することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記生成手段は、前記複数の画像に基づいて生成した前記第２の背景画像について、前記複数の画像から画素値を取得していない領域の割合に基づいて決定されるスコアに基づいて、さらなる撮像画像を前記第２の背景画像の合成に利用するかどうかを判定することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記生成手段は、完成した前記第２の背景画像を、新しく撮像した撮像画像を用いて更新することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記複数の撮像画像を取得する取得手段をさらに有することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 複数の撮像画像について前景が存在する第１の領域を検出する検出工程と、
    第１の背景画像を保持する保持工程と、
    前記複数の撮像画像について、前記検出工程において検出した第１の領域に対応する部分以外の部分画像に基づいて、第２の背景画像を生成する生成工程と、
    前記撮像画像の画素数に対する前記第２の背景画像の画素数の割合に基づいて、前記第１の背景画像と前記第２の背景画像から一つを選択し、選択した背景画像と前記検出工程により検出した第１の領域に基づいてプライバシーを保護する画像を出力する出力工程とを有することを特徴とする画像処理方法。
11. コンピュータを、
    複数の撮像画像について前景が存在する第１の領域を検出する検出手段と、
    第１の背景画像を保持する保持手段と、
    前記複数の撮像画像について、前記検出手段により検出した第１の領域に対応する部分以外の部分画像に基づいて、第２の背景画像を生成する生成手段と、
    前記撮像画像の画素数に対する前記第２の背景画像の画素数の割合に基づいて、前記第１の背景画像と前記第２の背景画像から一つを選択し、選択した背景画像と前記検出手段により検出した第１の領域に基づいてプライバシーを保護する画像を出力する出力手段とを有することを特徴とする画像処理装置として動作させるためのプログラム。

Images