JP6866450B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、隠蔽画像を含む画像を生成する方法に関するものである。

現在、監視カメラが広く設置されている一方で、監視カメラ映像に映る個人のプライバシー保護の重要性が高まっている。特許文献１には、入力画像から前景画像と人物のいない背景画像とを生成し、利用者の権限に応じて背景画像に前景画像を重畳するか否かを制御することが記載されている。また、特許文献１には、前景画像を重畳しない代わりに、前景画像に対して隠蔽処理（マスク処理やフィルタ処理）がなされた保護画像（隠蔽画像）を重畳可能であることが記載されている。

特開２００９−２２５３９８号公報

しかしながら、隠蔽されるべき領域の隠蔽がなされないケースが考えられる。

例えば、入力画像から人体領域の検出処理を実行し、人体領域でない領域の画像に基づいて背景画像を生成し、当該背景画像のうち、背景画像と撮像画像との比較に基づいて特定された保護領域に隠蔽画像を合成する場合を考える。この場合、入力画像からの人体の検出処理を失敗すると、人体が含まれる背景画像が生成されてしまう可能性がある。背景画像に人体が含まれていると、本来隠蔽されるべき領域が隠蔽されない可能性がある。

また、上記のように背景画像に隠蔽画像を合成する場合において、背景画像の生成から撮像までの間に照明の変化等が発生した場合、撮像画像と背景画像との比較に基づく保護領域の特定に誤りが発生する可能性がある。この場合、本来隠蔽される必要がない領域に隠蔽画像が合成されてしまう可能性がある。

本発明は上記の問題点に鑑みてなされたものであり、その目的は、隠蔽されるべき領域が隠蔽される画像処理方法を提供することである。

上記の課題を解決するために、本発明の画像処理装置は、例えば以下の構成を備える。すなわち、撮像手段により撮像された画像を取得する取得手段と、前記取得手段により取得された画像における第１領域を検出する第１検出処理を実行する第１検出手段と、前記取得手段により取得された画像における第２領域を検出する検出処理であって前記第１検出処理と異なる検出処理である第２検出処理を実行する第２検出手段と、前記取得手段により取得された画像と当該画像に対する前記第１検出処理の結果と当該画像に対する前記第２検出処理の結果とを用いて背景画像を生成する第１生成処理、および、前記取得手段により取得された画像と当該画像に対する前記第１検出処理の結果とを用いて前記第２検出処理の結果は用いず背景画像を生成する第２生成処理のいずれか一方を所定の条件に応じて実行する生成手段と、前記第１生成処理または前記第２生成処理により生成された背景画像と前記取得手段により取得された処理対象画像との比較に応じて特定される特定領域を隠蔽する画像処理を実行する処理手段とを備え、前記生成手段は、前記取得手段により取得された画像における前記第１領域および前記第２領域に属されない領域を用いて背景画像を生成する前記第１生成処理を実行し、前記取得手段により取得された画像における前記第１領域に属されない領域を用いて背景画像を生成する前記第２生成処理を実行する。

本発明によれば、隠蔽されるべき領域が、より高い精度で隠蔽されるようになる。

実施形態の画像処理装置のモジュール構成を説明するためのブロック図 実施形態の処理を説明するための図 実施形態の処理の様子２ 実施形態の処理の様子３ 実施形態の処理の様子４ 実施形態の画像処理装置の動作を説明するためのフローチャート 実施形態の画像処理装置のモジュール構成を説明するためのブロック図 実施形態の画像処理装置のモジュール構成を説明するためのブロック図 実施形態の画像処理装置のハードウェア構成を説明するためのブロック図

以下、添付の図面を参照して、実施形態について詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

図１は、画像処理装置１００の構成図を示すブロック図である。画像処理装置１００は、画像取得部１０１と動体検出部１０２と人体検出部１０３と背景更新部１０４と画像比較部１０５と画像合成部１０６と出力部１０７とパラメータ設定部１０８とから構成する。

画像取得部１０１は、レンズ、センサを備えた撮像部から所定の間隔で画像を順次取得して、取得した画像を動体検出部１０２と人体検出部１０３と背景更新部１０４と画像比較部１０５とに提供する。なお、本実施形態では画像取得部１０１が撮像部として動作する場合の例を中心に説明するが、外部装置から画像が取得される構成であっても良いし、メモリから画像が読み出される構成であっても良い。

動体検出部１０２は、画像取得部１０１により取得された画像から動体を検出する動体検出処理を行う。本実施形態の動体検出部１０２は、画像取得部１０１により取得された画像と背景モデルとを比較することにより動体の検出を行う（背景差分法）。すなわち、動体検出部１０２は、画像取得部１０１による取得画像と、当該取得画像とは撮像時刻が異なる他画像との比較に基づいて、動体領域を検出する。なお、背景モデルは、画像内の変化に追従して動体検出部１０２により適宜更新される。

動体検出部１０２は、動体検出処理により得られた動体情報を背景更新部１０４に提供する。本実施形態の動体情報には、画像から検出された動体の中心座標（位置情報）と外接矩形（形状情報）の情報が含まれる。動体検出部１０２は、画像取得部１０１により取得された複数の画像のそれぞれに対して動体検出処理を実行し、その結果得られた動体情報を背景更新部１０４に提供する。

人体検出部１０３は、画像取得部１０１により取得された画像から人体を検出する人体検出処理を行う。本実施形態の人体検出部１０３は、画像取得部１０１により取得された画像と予め定められたパターン画像とを比較することにより人体の検出を行う（パターンマッチング法）。ただし、人体検出部１０３による人体の検出方法は上記の方法に限らず、画像の色、明るさ、濃度勾配、テクスチャ、機械学習等の特徴量を用いて人体を検出すれば良い。人体検出部１０３は、人体検出処理により得られた人体情報を背景更新部１０４に提供する。本実施形態の人体情報には、画像から検出された人体の中心座標（位置情報）と外接矩形（形状情報）の情報が含まれる。人体検出部１０３は、画像取得部１０１により取得された複数の画像のそれぞれに対して人体検出処理を実行し、その結果得られた人体情報を背景更新部１０４に提供する。

背景更新部１０４は、画像取得部１０１により取得された画像と、動体検出部１０２から取得した動体情報と、人体検出部１０３から取得した人体情報と、画像比較部１０５から取得した保護領域割合情報とに基づいて背景画像を生成する。そして、背景更新部１０４は、背景画像を画像比較部１０５と画像合成部１０６とに提供する。背景更新部１０４による背景画像の生成処理の詳細は後述する。

画像比較部１０５は、画像取得部１０１から取得した画像と背景更新部１０４から取得した背景画像とを比較することで保護領域情報と保護領域割合情報を生成する。保護領域情報は、保護領域の画像内での位置と形状を示す情報である。画像比較部１０５は、生成した保護領域情報を画像合成部１０６に提供する。

また、保護領域割合情報は、画像の面積に対する保護領域の面積の割合を示す情報である。画像比較部１０５は、生成した保護領域割合情報を背景更新部１０４に提供する。画像比較部１０５による保護領域情報と保護領域割合情報の生成方法は、後述する。

画像合成部１０６は、背景更新部１０４から取得した背景画像のうち、画像比較部１０５から取得した保護領域情報が示す保護領域に所定の画像を合成して保護画像を生成する。保護画像の生成方法の詳細は後述する。画像合成部１０６は、生成した保護画像を出力部１０７に提供する。

出力部１０７は、画像合成部１０６から取得した保護画像を表示させる。なお、画像処理装置１００がネットワークカメラに実装される場合、出力部１０７は、ネットワークを介して接続されるモニタ装置に対して保護画像を送信できる。また、画像処理装置１００がモニタ装置に実装される場合、ネットワークカメラから取得した背景画像に所定の画像を合成することで保護画像を生成し、当該保護画像を表示させる。

パラメータ設定部１０８は、時間閾値と加重値を取得する。パラメータ設定部１０８は、上記の各値をユーザからの指定に基づいて取得することも可能であるし、デフォルト値が記憶されたメモリからの読み出しにより取得することも可能であり、取得の方法は特に限定されない。パラメータ設定部１０８は、取得した時間閾値と加重値を背景更新部１０４に提供する。各値の詳細については後述する。

図９は、画像処理装置１００のハードウェア構成の一例を示す図である。画像処理装置１００は、ＣＰＵ９０１と、ＲＯＭ９０２と、ＲＡＭ９０３と、外部メモリ９０４と、通信Ｉ／Ｆ９０５と、システムバス９０６とを備える。

ＣＰＵ９０１は、画像処理装置１００における動作を統括的に制御するものであり、システムバス９０６を介して、各構成部（９０２〜９０５）を制御する。

ＲＯＭ９０２は、ＣＰＵ９０１が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。なお、当該プログラムは、外部メモリ９０４や着脱可能な記憶媒体に記憶されていてもよい。

ＲＡＭ９０３は、ＣＰＵ９０１の主メモリ、ワークエリア等として機能する。すなわち、ＣＰＵ９０１は、処理の実行に際してＲＯＭ９０２から必要なプログラム等をＲＡＭ９０３にロードし、当該プログラム等を実行することで各種の機能動作を実現する。

外部メモリ９０４は、例えば、ＣＰＵ９０１がプログラムを用いた処理を行う際に必要な各種データや各種情報等を記憶している。また、外部メモリ９０４には、例えば、ＣＰＵ９０１がプログラム等を用いた処理を行うことにより得られた各種データや各種情報等が記憶される。

通信Ｉ／Ｆ９０５は、外部装置と通信するためのインターフェースである。通信Ｉ／Ｆ９０５は、例えばＬＡＮインターフェースである。なお、本実施形態では、画像処理装置１００がネットワークカメラの実装される場合の例を中心に説明する。この場合、外部装置とは、ネットワークを介してネットワークカメラに接続されたモニタ装置や、録画装置が想定される。ただし、画像処理装置１００がモニタ装置や録画装置に実装されるようにしてもよい。画像処理装置１００がモニタ装置に実装される場合、外部装置は、モニタ装置にネットワークを介して接続されるネットワークカメラや録画装置が想定される。システムバス９０６は、ＣＰＵ９０１、ＲＯＭ９０２、ＲＡＭ９０３、外部メモリ９０４及び通信Ｉ／Ｆ９０５を通信可能に接続する。

次に、背景更新部１０４による背景画像の生成方法について説明する。背景更新部１０４は、背景画像を所定の大きさで分割した領域（ブロック）ごとに安定背景時間を管理する。安定背景時間は、動体情報および人体情報に基づいて特定される保護対象が検出されていない期間に対応する。

背景更新部１０４による背景画像の生成処理を、（Ａ）最初の画像、（Ｂ）保護領域割合が閾値未満である場合、（Ｃ）保護領域割合が閾値以上である場合、の３つのケースに分けて説明する。

（Ａ）最初の画像
本ケースは、背景画像が未生成の状態である。このケースにおいて背景更新部１０４は、画像取得部１０１から取得した画像を背景画像として記憶する。なお、背景更新部１０４は、背景画像のすべてのブロックの安定背景時間として０を設定する。

（Ｂ）保護領域割合が閾値未満である場合
本ケースは、画像の面積に対する保護領域の面積の割合が閾値未満である状態である。このケースにおいて背景更新部１０４は、動体情報により特定される動体領域と人体情報により特定される人体領域が属するブロック以外のブロックに対応する安定背景時間を更新（インクリメント）する。そして、背景更新部１０４は、更新後の安定背景時間が時間閾値を超えるブロックを特定し、特定されたブロックに対応する画像で背景画像を更新する。そして、背景更新部１０４は、背景画像の更新に用いたブロックに対応する安定背景時間を０に設定する。

（Ｃ）保護領域割合が閾値以上である場合
本ケースは、画像の面積に対する保護領域の面積の割合が閾値以上である状態である。このケースは、照明の状況が急激に変化した場合や、パン、チルト、ズーム等の制御により撮像部の撮像範囲が変化した場合等に発生しうる。このケースでは、背景更新部１０４は、人体情報を用い、動体情報を用いずに安定背景時間を更新（インクリメント）して、安定背景時間が時間閾値を超えるブロックが存在する場合、同ブロックの背景画像を更新することで背景画像を生成する。より具体的には、背景更新部１０４は、人体情報により特定される人体領域が属するブロックに対応する安定背景時間を０に設定し、人体領域が属しないブロックに対応する安定背景時間を更新（インクリメント）する。そして、安定背景時間が時間閾値を超えたブロックに対応する画像で背景画像を更新する。また、背景更新部１０４は、動体検出のための背景画像をリセットする。

すなわち、画像比較部１０５は、保護領域の面積と保護処理前の取得画像（処理対象画像）の面積とに応じて、背景更新部１０４を制御する。当該制御により、背景更新部１０４は、画像内の特徴に基づいて人体領域を検出する人体検出部１０３による人体領域の検出結果を用い、画像間の比較に基づいて動体領域を検出する動体検出部１０２による検出結果を用いずに背景画像を生成（更新）する。なお、保護領域とは、処理対象画像の輝度と背景画像の輝度を領域ごとに比較した場合に、当該輝度に所定の差異がある領域である。なお、この例では、背景画像の生成に動体検出部１０２による検出結果を用いるか否かを、保護領域割合に基づいて判定しているが、割合を用いる代わりに、保護領域のサイズのみを用いて判定しても良いし、保護領域に関するほかの情報を用いても良い。すなわち、画像比較部１０５は、保護領域（特定領域）の面積に関する評価値が閾値以上である場合、動体情報を用いずに背景画像の生成が行なわれるように制御する。

以上のように背景画像の更新（生成）を行うことで、照明変動など環境変化が発生した場合であっても、保護対象をより精度よく保護した画像を表示させることができる。

次に、ケース（Ｂ）における処理の詳細を、図２から図５を用いて説明する。なお、図２〜図５において、（ａ）は画像取得部１０１から取得した画像（取得画像）、（ｂ）は動体情報及び人体情報を画像と同サイズの白い画像に描画した結果（認識結果）、（ｃ）は安定背景時間、（ｄ）は更新後の背景画像を示している。

図２は、本実施形態に係る画像の処理を開始したタイミングにおける状態を示している。図２は、上述のケース（Ａ）に対応する。典型的には、ケース（Ａ）は、画像処理装置１００が背景画像の生成を開始したタイミングや、既存の背景画像がリセットされた直後のタイミングである。上述の通り、本実施形態の背景更新部１０４は、ケース（Ａ）において画像取得部１０１から取得した画像をそのまま背景画像として記憶するので、図２（ａ）取得画像と図２（ｄ）背景画像とは同一である。また、図２（ｂ）に示すように、動体や人体が検出されていない。

図３は、図２からある時間が経過した後の状態を示している。図３（ａ）取得画像には人物３０１と人物３０２が写っている。図３（ｂ）は、動体検出処理により動体３０３が検出され、人体検出処理により人体３０４が検出されたことを示している。図３（ｂ）に示すように、例えば、人物３０１は動体検出処理では検出できるが人体検出処理では検出できないといった状況が、人物の写り方やカメラの設置条件、環境条件に応じて発生する。

図３（ｃ）は、動体検出処理および人体検出処理により検出された動体領域と人体領域が属するブロックは安定背景時間が０に設定されたことを示している。また、図３（ｃ）が示す通り、動体領域でも人体領域でもない領域に対応するブロックの安定背景時間は一定時間ごとにインクリメントされ、４になっている。

図３（ｄ）は、図３（ｃ）で示す安定背景時間と時間閾値との比較結果に応じて更新された背景画像を示している。本実施形態では時間閾値を６に設定しているため、図３の段階では各ブロックの安定背景時間が時間閾値を超えていない。そのため、すべてのブロックで背景画像の更新が行われていない。

図４は、図３からある時間が経過した後の状態を示している。図４（ａ）取得画像には人物３０１と同じ人物４０１と、人物３０２と同じ人物４０２と、人物４０２が設置した絵画４０３とが写っている。図４（ｂ）は、動体検出処理により動体４０４が検出され、人体検出処理により人体４０５が検出されたことを示している。また、図４（ｂ）は、新たに出現した絵画４０３と人物４０１の領域が合わさった領域が動体４０４として検出され、人物４０２が人体４０５として検出されたことを示している。

図４（ｃ）は、動体検出処理および人体検出処理により検出された動体領域と人体領域が属するブロックは安定背景時間が０に設定されたことを示している。また、図４（ｃ）が示す通り、動体領域でも人体領域でもない領域に対応するブロックの安定背景時間は一定時間ごとにインクリメントされ、最大で７になっている。

図４（ｄ）は、図４（ｃ）で示す安定背景時間と時間閾値との比較結果に応じて更新された背景画像を示している。背景画像の各ブロックのうち、安定背景時間が７に対応するブロックが、図２の背景画像よりも後に取得された画像に基づいて更新される。なお、図４の段階で背景画像を更新したブロックに対応する安定背景時間は０にリセットされる。また、背景更新部１０４は、安定背景時間が０から７にインクリメントされるまでに取得された複数の画像から加重値に基づいて加重平均画像を生成して、当該生成画像で背景画像を更新する。加重値は、パラメータ設定部１０８により取得される値である。

図５は、図４からある時間が経過した後の状態を示している。図５（ａ）取得画像には人物４０２と同じ人物５０１と、絵画４０３と同じ絵画５０２とが写っており、人物４０１は画像外に移動した状況を示している。図５（ｂ）は、人体検出処理により人体５０３を検出され、絵画５０２は出現してから十分に時間が経過して背景モデル化したため、動体検出処理では検出されないことを示している。

図５（ｃ）は、動体検出処理および人体検出処理により検出された動体領域と人体領域が属するブロックは安定背景時間が０に設定されたことを示している。また、図５（ｃ）が示す通り、動体領域でも人体領域でもない領域に対応するブロックの安定背景時間は一定時間ごとにインクリメントされている。特に絵画５０２は、動体検出処理により検出されなくなったため、絵画５０２が属するブロックの安定背景時間がインクリメントされている。

背景更新部１０４は、図５（ｃ）で示す安定背景時間のうち、時間閾値よりも高い値に対応するブロックの背景画像を、図５（ａ）で示す画像を用いて更新する。なお、背景更新部１０４は、安定背景時間が０から７にインクリメントされるまでに取得された複数の画像から加重平均画像を生成して、当該生成画像で背景画像を更新する。

次いで、画像比較部１０５による保護領域情報の生成方法について説明する。保護領域情報とは、画像内の保護対象の位置と形状を示す情報である。本実施形態では、特にプライバシーが保護されるべき領域を保護領域としている。

画像比較部１０５は、画像取得部１０１から取得した取得画像から輝度画像を生成すると共に、背景更新部１０４から取得した背景画像から輝度画像を生成する。そして、画像比較部１０５は、取得画像に基づく輝度画像と、背景画像に基づく輝度画像とのピクセル単位での差分の絶対値からなる差分画像を生成する。そして、画像比較部１０５は、当該差分画像のピクセルのうち、輝度閾値よりも大きい差分値を有するピクセルを保護対象ピクセルとして決定する。そして、画像比較部１０５は、隣接する保護対象ピクセル同士を接続することで保護領域を特定し、保護領域の位置と形状を示す保護領域情報を生成する。

図２〜図５の（ｅ）は、図２〜図５の（ｄ）背景画像と図２〜図５の（ａ）取得画像とに基づいて生成された保護領域情報に対応する保護領域を示している。画像合成部１０６は、背景画像のうち、保護領域情報が示す保護領域に所定の画像を合成して得られる保護画像を生成する。なお、所定の画像とは、保護領域情報により特定される位置及び形状に対応する画像に対してぼかし処理がなされた画像である。ぼかし処理は、例えば撮像画像に対するローパスフィルタ処理により実現できる。ただし、所定の画像は、ぼかし処理がなされた画像に限らず、透かし処理がなされた画像であっても良いし、モザイク画像であっても良いし、一色の画像（例えば黒の塗りつぶし画像）であってもよい。すなわち、画像合成部１０６は、背景画像の生成後（更新後）に取得された処理対象画像と背景画像との比較に応じた特定領域（保護領域）を隠蔽画像とする画像処理を実行する。

図２から図５の（ｆ）は、図２から図５の（ｄ）背景画像と図２から図５の（ｅ）保護領域情報とに基づいて生成された保護画像である。各図の（ｆ）に示される通り、人体領域や動体領域が隠蔽されている。

次に、本実施形態の画像処理装置１００の処理の流れを説明する。図６は、本実施形態の画像処理装置１００の動作を説明するためのフローチャートである。画像処理装置１００のＣＰＵ９０１は、図６の処理に係るプログラム読み出して実行することにより、図６の処理を実現する。本実施形態の画像処理装置１００は、利用者によるプライバシー保護処理の開始指示に応じて、図６の処理を開始する。ただし、図６の処理の開始タイミングは上記の例に限らない。

図６の処理開始後、画像取得部１０１は、画像を取得する（Ｓ１０１）。本実施形態の画像取得部１０１は撮像部であり、撮像によって画像を取得する。ただし、画像の取得方法は撮像に限らないし、画像処理装置１００に撮像部が備わっていなくても良い。動体検出部１０２は、画像取得部１０１で取得された画像から背景差分法により動体の検出処理を行い、人体検出部１０３は、パターンマッチング法を用いて人体の検出処理を行う（Ｓ１０２）。すなわち、動体検出部１０２は、画像間の変化に基づいて動体領域を検出し、当該検出により得られる動体情報（動体の中心座標（位置情報）と外接矩形（形状情報））を背景更新部１０４に提供する。また、人体検出部１０３は、画像内の特徴に基づいて人体領域を検出し、当該検出により得られる人体情報（人体の中心座標（位置情報）と外接矩形（形状情報））を背景更新部１０４に提供する。

背景更新部１０４は、動体情報と人体情報に基づいて背景画像の更新処理（生成処理）を行う（Ｓ１０３）。より具体的には、背景更新部１０４は、動体領域や人体領域として検出されなかったブロックに対応する安定背景時間の値を、一定時間ごとにインクリメントし、安定背景時間の値が閾値を超えたブロックの画像を用いて、背景画像の当該ブロックを更新する。そして、背景更新部１０４は、更新後の背景画像を画像比較部１０５に提供する。なお、本実施形態では安定背景時間をブロックごとに管理する例を中心に説明しているが、ブロックのサイズ、及び形状は任意である。

画像比較部１０５は、画像取得部１０１から取得した取得画像と、背景更新部１０４から取得した背景画像との比較に基づいて保護領域情報を生成する（Ｓ１０４）。保護領域情報には、保護領域の位置と形状に関する情報が含まれている。また、画像比較部１０５は、取得画像の面積に対する保護領域の面積に応じた保護領域割合情報を生成する。なお、本実施形態では、取得画像の面積に対する保護領域の面積の割合が閾値以上の場合に動体情報を背景画像の更新に用いない例を中心に説明しているが、この例に限らない。例えば、割合ではなく、保護領域のサイズが閾値以上である場合に、照明等の変化が発生したと判定し、動体情報を用いずに背景画像を生成する処理を行うようにすることも可能である。画像比較部１０５は、生成した保護領域情報と保護領域割合情報とを画像合成部１０６に提供する。

画像合成部１０６は、背景更新部１０４から取得した背景画像と画像比較部１０５から取得した保護領域情報とに基づいて保護画像を生成する（Ｓ１０５）。より具体的には、画像合成部１０６は、取得画像（撮像画像）のうち、保護領域情報が示す保護領域に対応する画像にぼかし処理（隠蔽処理）を実施する。そして、画像合成部１０６は、ぼかし処理済みの画像を背景画像に合成して保護画像を生成する。画像合成部１０６は、生成した保護画像を出力部１０７に提供する。

出力部１０７は、保護画像を表示させる（Ｓ１０６）。すなわち、出力部１０７は、背景画像の生成後（更新後）に取得された取得画像（処理対象画像）と背景画像との比較に応じた保護領域（特定領域）が隠蔽画像となった保護画像を表示させる。例えば、画像処理装置１００がネットワークカメラに実装される場合、ネットワークを介して接続されるモニタ装置に対して保護画像が送信されることで、モニタ装置において当該保護画像が表示される。また、例えば、録画装置に保護画像が送信された場合は、当該録画装置から保護画像を取得したモニタ装置によって保護画像が表示されることになる。一方、画像処理装置１００がモニタ装置に実装される場合、モニタ装置で保護画像が生成され、モニタ装置のディスプレイで当該保護画像が表示されることになる。

また、ぼかし処理（隠蔽処理）は、マスク処理やフィルタ処理を想定するが、例えば所定の画像（例えば黒画像）を保護領域に合成しても良いし、隠蔽処理としてモザイク処理が実施されても良い。Ｓ１０６の処理が完了すると、図６の処理を継続するか終了するかが判定され（Ｓ１０７）、継続する場合はＳ１０１に戻る。

以上説明の通り、画像処理装置１００は複数の検出部（動体検出部１０２と人体検出部１０３）を用いて背景画像を生成する。このような構成によれば、各検出部による検出の失敗を互いに補うことができ、背景画像に保護対象が含まれにくくなる。そして、画像処理装置１００は、上記のようにして生成された背景画像と撮像画像から保護領域を特定し、保護領域が隠蔽画像となった保護画像を表示させる。これにより、プライバシーを保護しつつ、保護領域に人体や動体が存在することを、ユーザが認識できる。

なお、本実施形態では、複数の検出部が動体検出部１０２と人体検出部１０３である場合の例を中心に説明したが、これらの検出部に限定されるものではない。顔を検出する顔検出部や特定物体（例えば自動車）を検出する特定物体検出部や、不動体を検出する検出部などを複数の検出部として用いることも可能である。また、複数の検出部は、３つ以上用いることも可能である。より多くの検出部を用いることで、より保護対象が含まれにくい背景画像を生成することが可能となる。

また、背景更新部１０４は、保護領域の面積が一定面積以上の場合において、背景画像の更新に環境変動の影響を受ける検出部の寄与率を下げることが可能である。例えば、不動体検出部など保護対象物以外を検出する検出部が用いられる場合、背景更新部１０４は、不動体検出部が検出した領域に対応する安定背景時間を時間閾値以上の値に設定し、即座に背景画像を更新するようにできる。また、例えば、動体検出部１０２が検出部として用いられる場合において、背景更新部１０４は、動体検出部１０２が動体を検出しなかった領域に対応する安定背景時間を時間閾値以上の値に設定して、即座に背景画像が更新されるようにしてもよい。

また、背景更新部１０４による背景画像の更新処理において、エスカレータや自動扉など周期的に動作する動体領域や、扉や窓など不定期に動作する動体領域は、加重平均による処理では一連の動きを通して画像が平均化されぼやけた画像となる場合がある。このため、背景更新部１０４は、周期的に動作する動体領域の周期性や、不定期に動作する動体領域の動作のパターンなど動きの特徴を判定する。そして、背景更新部１０４は、当該特徴が所定の条件を満たす領域に対しては、予め用意した同領域の静止画に置き換える方法や、特定の色に塗りつぶすなどの方法を採用することができる。このような構成により、表示画像の視認性を向上させることが可能である。

また、本実施形態では、画像合成部１０６が、背景画像と隠蔽処理済みの保護領域を合成することで保護画像を生成する例を中心に説明したが、この例に限らない。例えば、背景画像内の保護領域を黒く塗りつぶすことで、保護画像が生成されるようにしてもよい。また、背景画像のうち、保護領域が予め用意された静止画に置き換えられた画像が保護画像として生成されるようにしてもよい。

また、本実施形態では、安定背景時間をブロック単位で管理する例を中心に説明したが、ブロックのサイズ、及び、形状は任意である。また、画像内で各ブロックの形状が異なっていても良い。また、ブロックではなくピクセル単位で安定背景時間が管理されても良い。

また、本実施形態では、背景更新部１０４が背景画像の領域を更新する際に加重平均画像を用いたが、本方法に限定されるものではない。領域の更新は、取得画像の同領域を背景画像に置き換える方法や、ピクセル単位で順次置き換える方法、など取得画像を用いて背景画像を置き換える方法であればよい。

また、上記の実施形態では、動体検出部１０２が取得画像と背景モデルとの比較に応じて動体領域を検出する例を中心に説明したが、動体検出部１０２に代えて、又は、動体検出部１０２に加えて、距離画像に基づく動体検出を行うことも可能である。

図７は、動体検出部１０２に加えて、距離画像に基づく動体検出を行う距離画像差分検出部２０２を含む画像処理装置１００の構成例を示している。１０１から１０８は図１と同様である。

距離画像取得部２０１は、ＴＯＦ方式（Ｔｉｍｅ−ｏｆ−Ｆｌｉｇｈｔ方式）や赤外線を利用した方式で距離画像を取得する。ただし、距離画像取得部２０１による距離画像の取得方法は上記の方法に限らない。距離画像取得部２０１は取得した距離画像を距離画像差分検出部２０２に提供する。

距離画像差分検出部２０２は、距離画像取得部２０１から取得した複数の距離画像の差分から動体領域を検出する。より具体的には、距離画像差分検出部２０２は、時間的に隣接する複数の距離画像のそれぞれの領域における距離の変化が閾値以上の領域を動体領域として検出する。距離画像を用いることで、撮像部による撮像方向と同じ方向に物体が移動している場合において、当該物体の動きを検出しやすくなる。

背景更新部２０３は、動体検出部１０２により検出された動体領域、人体検出部１０３により検出された人体領域、及び、距離画像差分検出部２０２により検出された動体領域のそれぞれに対応する安定背景時間を０に設定する。また、背景更新部２０３は、動体検出部１０２により検出された動体領域でも、人体検出部１０３により検出された人体領域でも、距離画像差分検出部２０２により検出された動体領域でもない領域に対応する安定背景時間をインクリメントする。そして、背景更新部２０３は、安定背景時間が時間閾値を超えたブロックの画像を用いて、背景画像の当該ブロックを更新する。

なお、保護領域割合が閾値よりも高い場合、動体検出部１０２および人体検出部１０３による検出結果を用いず、距離画像差分検出部２０２により検出された動体領域に基づいて、安定背景時間の更新を行うことも可能である。このようにすることで、例えば、照明の変化により動体検出部１０２や人体検出部１０３による誤検出が発生してしまうような場合において、不可視光を用いて取得された距離画像を用いて安定背景時間を更新できるので、動体領域の誤検出の可能性を低減できる。

距離画像を用いた動体検出を行なう場合の画像処理装置１００の動作について、距離画像を用いない場合の動作との差分を中心に、図６を用いて説明する。Ｓ１０１において、画像取得部１０１が画像を取得すると共に、距離画像取得部２０１は、距離画像を取得する。取得された距離画像は距離画像差分検出部２０２に提供される。

Ｓ１０２において、距離画像差分検出部２０２は、複数の距離画像の差分から動体領域を検出する。より具体的には、距離画像差分検出部２０２は、時間的に隣接する複数の距離画像の領域ごとに距離の差分を特定し、当該差分が閾値以上である領域を特定する。ただし、距離画像差分検出部２０２による動体領域の検出方法は上記の方法に限らない。距離画像差分検出部２０２は、得られた動体領域の位置と形状に関する動体情報（中心座標（位置情報）と外接矩形（形状情報））を背景更新部１０４に提供する。

Ｓ１０３において、背景更新部１０４は、動体検出部１０２、人体検出部１０３、及び、距離画像差分検出部２０２による検出結果に基づいて安定背景時間を更新（インクリメント又はリセット）を実行し、安定背景時間が閾値を超えた領域の背景画像を更新する。

以上、距離画像を用いた処理を行うことで、一般的な撮像画像に対する画像処理では検出できない差分を検出することができ、当該検出結果を用いて背景画像を更新することで、より高いプライバシー保護性能を実現することができる。

なお、上記の説明では距離画像を用いる例を説明したが、赤外画像やサーマル画像、ステレオカメラを使用した距離画像など様々な不可視画像を用いることが可能である。

また、上記の実施形態では、複数の検出部を用いて安定背景時間の更新を行って、背景画像を更新する例を中心に説明したが、動体検出部１０２による動体検出処理の結果のみを用いて背景画像を更新する処理について以下で説明する。この場合、画像処理装置１００は、人体検出部１０３を備えなくても良い。

また、画像処理装置１００の背景更新部１０４は、保護領域割合が所定割合よりも高い場合、保護領域割合が所定割合より低い場合よりも、動体検出部１０２の背景モデルの更新が早くなるように設定を変更する。より具体的には、動体検出部１０２は、保護領域割合（取得画像のサイズに対する保護領域のサイズの割合）が所定割合以上である場合、動体検出部１０２が動体の検出に用いる背景モデルを早いタイミングで更新する。そして、動体検出部１０２は、更新された背景モデルと、取得画像とを比較することにより、動体の検出を行い、検出された動体の位置と形状を示す動体情報を背景更新部１０４に提供する。

このように、画像比較部１０５により取得された保護領域割合が閾値以上である場合は、閾値未満である場合よりも早いタイミングで背景モデルが更新されることで、動体検出部１０２による動体の誤検出が発生しにくくなる。

なお、保護領域割合に代えて、保護領域の面積（サイズ）に基づいて背景モデルの更新タイミングが制御されるようにしても良い。すなわち、動体検出部１０２は、画像比較部１０５により取得された保護領域の面積が閾値以上である場合、当該面積が閾値未満である場合よりも、早いタイミングで背景モデルが更新されるように、背景モデルの更新タイミングを制御できる。

また、上記の実施形態では画像取得部１０１が１つである場合の例を説明したが、画像処理装置１００が複数の画像取得部を有するようにしても良い。図８は、画像処理装置１００が複数の画像取得部を有する場合の構成を示すブロック図である。なお、図８の画像取得認識部３０１は、図１における画像取得部１０１と動体検出部１０２と人体検出部１０３を組み合わせたユニットである。画像取得認識部３０１は、レンズ、センサを備えた撮像部として機能し、所定の間隔で画像を取得する。そして、画像取得認識部３０１は、取得した画像を背景更新部１０４および画像比較部１０５に提供する。また、画像取得認識部３０１は、取得した画像に対して動体検出処理と人体検出処理を実行し、得られた動体情報と人体情報を背景更新部３０４に提供する。画像取得認識部３０１ａおよび３０２ｂは、それぞれ別の撮像部による撮像画像を取得する。画像取得認識部３０１ａと３０１ｂは、画像取得認識部３０１と同様に機能し、それぞれ画像および動体情報および人体情報を背景更新部１０４に提供する。なお、画像取得認識部３０１、３０１ａ、及び３０１ｂは、それぞれ異なる撮像方向で撮像された撮像画像を取得する。また、画像取得認識部３０１、３０１ａ、及び３０１ｂのそれぞれに対応する撮像範囲は重複している。ただし、撮像範囲が完全に一致している必要はない。

また、上記の例では画像取得認識部３０１が３つ存在する場合の例を説明したが、３つに限らない。また、画像取得認識部３０１は撮像部であり、画像取得認識部３０１ａ及び３０１ｂは、それぞれ画像取得認識部３０１とは別の撮像部による撮像画像を取得する場合の例を説明するが、画像取得認識部３０１ａや３０１ｂが撮像部であっても良い。この場合、画像処理装置１００は、それぞれ異なる方向から被写体を撮像する複数の撮像部を有することになる。

背景更新部３０４は、画像取得認識部３０１ａ及び３０１ｂから取得した動体情報が示す動体の中心座標と外接矩形と、人体情報が示す人体の中心座標と外接矩形とを、画像取得認識部３０１の画角における座標に変換する。すなわち、背景更新部３０４は、画像取得認識部３０１ａからの動体情報と人体情報を、画像取得認識部３０１ａに対応する撮像部の設置位置及び撮像方向と、画像取得認識部３０１に対応する撮像部の設置位置及び撮像方向との関係に基づいて変換する。さらに、背景更新部３０４は、画像取得認識部３０１ｂからの動体情報と人体情報を、画像取得認識部３０１ｂに対応する撮像部の設置位置及び設置方向と、画像取得認識部３０１に対応する撮像部の設置位置及び設置方向との関係に基づいて変換する。この変換により、画像取得認識部３０１ａからの動体情報に対応する動体領域と、人体情報に対応する人体領域は、画像取得認識部３０１が取得する撮像画像上で表現できる。画像取得認識部３０１ｂについても同様である。

そして、背景更新部１０４は、画像取得認識部３０１からの動体情報と人体情報、及び画像取得認識部３０１ａからの動体情報と人体情報の変換後の情報、及び画像取得認識部３０１ｂからの動体情報と人体情報の変換後の情報とを用いて、背景画像を生成する。具体的には、背景更新部１０４は、画像取得認識部３０１、３０１ａ及び３０１ｂからの動体情報と人体情報によって特定される領域に対応する安定背景時間を０にリセットし、特定されない領域に対応する安定背景時間をインクリメントする。そして、背景更新部１０４は、安定背景時間が閾値を超えた領域の取得画像で、背景画像の当該領域を更新する。

以上のような構成によれば、画像処理装置１００は、異なる複数の方向から撮像した画像を用いて動体領域や人体領域を検出し、当該検出の結果を用いて背景画像を生成することができる。これにより、ある撮像部からは死角となる領域であっても、他の撮像部からの画像によって当該死角を補うことができるので、背景画像に動体や人体が含まれにくくすることができる。この結果、取得画像から人体領域や動体領域をより高精度に検出することができ、プライバシーを保護すべき領域が隠蔽された保護画像を表示させることができるようになる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 画像処理装置
１０１ 画像取得部
１０２ 動体検出部
１０３ 人体検出部
１０４ 背景更新部
１０５ 画像比較部
１０６ 画像合成部
１０７ 出力部

Claims (11)

1. 撮像手段により撮像された画像を取得する取得手段と、
   前記取得手段により取得された画像における第１領域を検出する第１検出処理を実行する第１検出手段と、
   前記取得手段により取得された画像における第２領域を検出する検出処理であって前記第１検出処理と異なる検出処理である第２検出処理を実行する第２検出手段と、
   前記取得手段により取得された画像と当該画像に対する前記第１検出処理の結果と当該画像に対する前記第２検出処理の結果とを用いて背景画像を生成する第１生成処理、および、前記取得手段により取得された画像と当該画像に対する前記第１検出処理の結果とを用いて前記第２検出処理の結果は用いず背景画像を生成する第２生成処理のいずれか一方を所定の条件に応じて実行する生成手段と、
   前記第１生成処理または前記第２生成処理により生成された背景画像と前記取得手段により取得された処理対象画像との比較に応じて特定される特定領域を隠蔽する画像処理を実行する処理手段とを有し、
   前記生成手段は、前記取得手段により取得された画像における前記第１領域および前記第２領域に属されない領域を用いて背景画像を生成する前記第１生成処理を実行し、前記取得手段により取得された画像における前記第１領域に属されない領域を用いて背景画像を生成する前記第２生成処理を実行することを特徴とする画像処理装置。
2. 前記画像処理が実行された前記特定領域の画像と、前記第１生成処理または前記第２生成処理により生成された背景画像とを合成した保護画像を生成する合成手段を更に有することを特徴とする請求項１に記載の画像処理装置。
3. 前記合成手段により生成された保護画像を外部装置に出力する出力手段を更に有することを特徴とする請求項２に記載の画像処理装置。
4. 前記画像処理は、前記処理対象画像における前記特定領域をマスクする処理であることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記取得手段は、前記撮像手段により撮像された複数の画像を取得し、
   前記生成手段は、前記取得手段により取得された複数の画像に対する前記第１検出処理の結果と当該複数の画像に対する前記第２検出処理の結果とを用いて前記第１生成処理を実行し、前記取得手段により取得された複数の画像に対する前記第１検出処理の結果を用いて当該複数の画像に対する前記第２検出処理の結果は用いず前記第２生成処理を実行することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 撮像手段により撮像された画像を取得する取得工程と、
   前記取得工程において取得された画像における第１領域を検出する第１検出処理を実行する第１検出工程と、
   前記取得工程において取得された画像における第２領域を検出する検出処理であって前記第１検出処理と異なる検出処理である第２検出処理を実行する第２検出工程と、
   前記取得工程において取得された画像と当該画像に対する前記第１検出処理の結果と当該画像に対する前記第２検出処理の結果とを用いて背景画像を生成する第１生成処理、および、前記取得工程において取得された画像と当該画像に対する前記第１検出処理の結果とを用いて前記第２検出処理の結果は用いず背景画像を生成する第２生成処理のいずれか一方を所定の条件に応じて実行する生成工程と、
   前記第１生成処理または前記第２生成処理により生成された背景画像と前記取得工程により取得された処理対象画像との比較に応じて特定される特定領域を隠蔽する画像処理を実行する処理工程とを有し、
   前記生成工程において、前記取得工程において取得された画像における前記第１領域および前記第２領域に属されない領域を用いて背景画像を生成する前記第１生成処理、および、前記取得工程において取得された画像における前記第１領域に属されない領域を用いて背景画像を生成する前記第２生成処理のいずれか一方を実行することを特徴とする画像処理方法。
7. 前記画像処理が実行された前記特定領域の画像と、前記第１生成処理または前記第２生成処理により生成された背景画像とを合成した保護画像を生成する合成工程を更に有することを特徴とする請求項６に記載の画像処理方法。
8. 前記合成工程において生成された保護画像を外部装置に出力する出力工程を更に有することを特徴とする請求項７に記載の画像処理方法。
9. 前記画像処理は、前記処理対象画像における前記特定領域をマスクする処理であることを特徴とする請求項６乃至８のいずれか１項に記載の画像処理方法。
10. 前記取得工程において、前記撮像手段により撮像された複数の画像を取得し、
    前記生成工程において、前記取得工程において取得された複数の画像に対する前記第１検出処理の結果と当該複数の画像に対する前記第２検出処理の結果とを用いて背景画像を生成する前記第１生成処理、および、前記取得工程において取得された複数の画像に対する前記第１検出処理の結果を用いて当該複数の画像に対する前記第２検出処理の結果は用いず背景画像を生成する前記第２生成処理のいずれか一方を実行することを特徴とする請求項６乃至９のいずれか１項に記載の画像処理方法。
11. コンピュータを、請求項１乃至５のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラム。

Images