JP7002846B2

JP7002846B2 - 画像処理装置およびその制御方法

Info

Publication number: JP7002846B2
Application number: JP2017040923A
Authority: JP
Inventors: 哲広船城
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2017-03-03
Filing date: 2017-03-03
Publication date: 2022-01-20
Anticipated expiration: 2037-03-03
Also published as: CN108537741B; EP3370418A1; KR20180101237A; KR102256833B1; US20180255249A1; US10674095B2; JP2018148369A; CN108537741A

Description

本発明は、保護画像を含む画像を生成する画像処理装置およびその制御方法に関する。

監視カメラの設置が広まる一方で、監視カメラ映像に映る個人のプライバシーを保護することの重要性が高まっている。特許文献１には、入力画像から人物の画像を含む前景画像と人物の画像を含まない背景画像とを生成し、利用者の権限に応じて背景画像に前景画像を重畳するか否かを制御することが記載されている。また、特許文献１には、前景画像を重畳しない代わりに、前景画像に対して隠蔽処理（マスク処理やフィルタ処理）がなされた保護画像（隠蔽画像）を重畳することでプライバシー保護画像を生成する技術が記載されている。

特開２００９－２２５３９８号公報

しかしながら、プライバシー保護画像において、隠蔽処理によって保護されるべき領域が保護されないケースが考えられる。例えば、入力画像から人体領域を検出し、人体領域でない領域の画像に基づいて背景画像を生成し、当該背景画像と撮像画像との比較に基づいて保護領域を特定し、特定された保護領域に隠蔽画像を合成する場合を考える。この場合、入力画像における人体の検出処理に失敗すると、人体が含まれる背景画像が生成されてしまう可能性がある。背景画像に人体が含まれていると、本来隠蔽されるべき領域が隠蔽されない可能性がある。すなわち、プライバシー保護画像において保護されるべき領域が保護されないことになる。

本発明は、プライバシー保護画像の生成においてより適切なプライバシー保護を実現することを目的とする。

上記の目的を達成するための本発明の一態様による画像処理装置は以下の構成を有する。すなわち、
取得画像の変化に基づいて保護領域を特定する特定手段と、
取得画像の変化に基づいて背景画像を生成、更新する更新手段と、
ユーザ操作に基づいて既存の画像から選択された画像を、背景画像に用いる画像として設定する設定手段と、
ユーザ操作に基づいて設定された、プライバシー保護画像の生成に用いる背景画像の種別に基づいて、前記更新手段が最初に生成した背景画像、前記更新手段により更新された背景画像、および前記設定手段により設定された背景画像のいずれか１つを選択し、選択された背景画像の前記特定手段により特定された前記保護領域へ保護画像を合成することによりプライバシー保護画像を生成する画像合成手段と、を有する。

本発明によれば、プライバシー保護画像の生成においてより適切なプライバシー保護を実現することが可能になる。

第１実施形態の画像処理装置の機能構成例を示すブロック図。第１実施形態の画像処理装置のハードウェア構成例を示すブロック図。第１実施形態の映像表示システムのシステム構成例を示すブロック図。第１実施形態の、合成設定の設定操作ＵＩの一例を示す図。第１実施形態の、合成設定の任意画像の設定操作ＵＩの一例を示す図。第１実施形態の背景画像の決定処理の一例を示すフローチャート。第１実施形態の任意の画像取得処理の一例を示すフローチャート。第２実施形態の、合成設定の任意画像の設定操作ＵＩの一例を示す図。

以下、添付の図面を参照して、実施形態について詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は、実施形態で示された構成に限定されるものではない。

図１は、画像処理装置１００の機能構成例を示すブロック図である。画像取得部１０１は、レンズ、センサを備えた撮像部から所定の間隔で画像を順次取得して、取得した画像（以下、取得画像）を動体検出部１０２と人体検出部１０３と背景更新部１０４と画像比較部１０５とに提供する。なお、本実施形態では画像取得部１０１が撮像部から画像を取得する構成を説明するが、撮像部は画像取得部１０１に含まれていてもよいし、画像処理装置１００の外部の装置であってもよい。また、画像取得部１０１が、外部の記憶装置から画像を取得する構成であっても良いし、画像処理装置１００の内部のメモリから画像を読み出す構成であっても良い。

動体検出部１０２は、画像取得部１０１により提供された取得画像から動体を検出する動体検出処理を行う。動体検出部１０２は、取得画像と背景モデルとを比較することにより動体の検出を行う（背景差分法）。なお、背景モデルは、画像内の変化に追従して動体検出部１０２により適宜更新される。このように、動体検出部１０２は、取得画像と、当該取得画像とは撮像時刻が異なる他の画像（背景モデル）との比較に基づいて、動体領域を検出する。

動体検出部１０２は、動体検出処理により得られた動体情報を背景更新部１０４に提供する。本実施形態の動体情報には、取得画像から検出された動体の中心座標（位置情報）と外接矩形（形状情報）の情報が含まれる。動体検出部１０２は、画像取得部１０１により取得された複数の画像のそれぞれに対して動体検出処理を実行し、その結果得られた動体情報を背景更新部１０４に提供する。

人体検出部１０３は、画像取得部１０１により提供された取得画像から人体を検出する人体検出処理を行う。人体検出部１０３は、画像取得部１０１により取得された画像と予め定められたパターン画像とを比較することにより人体の検出を行う（パターンマッチング法）。ただし、人体検出部１０３による人体の検出方法は上記の方法に限らず、画像の色、明るさ、濃度勾配、テクスチャ等の特徴量と、機械学習等の手法を用いて人体を検出するようにしてもよい。人体検出部１０３は、人体検出処理により得られた人体情報を背景更新部１０４に提供する。人体情報には、取得画像から検出された人体の中心座標（位置情報）と外接矩形（形状情報）の情報が含まれる。人体検出部１０３は、画像取得部１０１により取得された複数の画像のそれぞれに対して人体検出処理を実行し、その結果得られた人体情報を背景更新部１０４に提供する。

背景更新部１０４は、画像取得部１０１から提供された取得画像と、動体検出部１０２から提供された動体情報と、人体検出部１０３から提供された人体情報と、画像比較部１０５から提供された保護領域割合情報とに基づいて背景画像を生成、更新する。保護領域割合情報については後述する。背景更新部１０４は、生成、更新した背景画像を画像比較部１０５と画像合成部１０６とに提供する。

画像比較部１０５は、画像取得部１０１から提供された取得画像と背景更新部１０４から提供された背景画像とを比較することで保護領域を特定し、保護領域情報と保護領域割合情報を生成する。保護領域情報は、特定した保護領域の取得画像内での位置と形状を示す情報である。画像比較部１０５は、生成した保護領域情報を画像合成部１０６に提供する。また、保護領域割合情報は、取得画像の面積に対する保護領域の面積の割合を示す情報である。画像比較部１０５は、生成した保護領域割合情報を背景更新部１０４に提供する。

画像合成部１０６は、合成設定部１０９による合成設定（後述）に基づいて合成に用いる背景画像を選択し、選択した背景画像の、画像比較部１０５から取得した保護領域情報が示す保護領域に所定の画像を合成してプライバシー保護画像を生成する。なお、プライバシー保護画像を合成する方法はこれに限られるものではなく、たとえば、保護領域の画像に隠蔽処理がなされた保護画像を背景画像に重畳するようにしてもよい。画像合成部１０６は、生成したプライバシー保護画像を出力部１０７に提供する。なお、画像合成部１０６が用いる背景画像は、背景更新部１０４から提供される背景画像と既存の画像からユーザ操作により選択された設定画像のうち、ユーザが選択した画像である。これらの選択を行うための合成設定部１０９が提供するユーザインターフェースは、図４、図５により後述する。

出力部１０７は、画像合成部１０６から提供されたプライバシー保護画像を表示装置に表示させる表示制御を行う。表示装置は出力部１０７に含まれていてもよいし、外部装置として画像処理装置１００に接続されていてもよい。また、画像処理装置１００がネットワークカメラに実装される場合、出力部１０７は、ネットワークを介して接続される表示装置に対してプライバシー保護画像を送信する。また、画像処理装置１００が表示装置に実装される場合、ネットワークカメラから取得した背景画像に保護画像を合成することでプライバシー保護画像を生成し、このプライバシー保護画像を表示部に表示する。また、出力部１０７は、表示装置へプライバシー保護画像を表示出力するものに限られず、画像処理装置１００の内部または外部の記憶装置へプライバシー保護画像を格納するために出力するものであってもよい。

パラメータ設定部１０８は、時間閾値と加重値を取得する。パラメータ設定部１０８は、時間閾値と加重値をユーザからの指定に基づいて取得することも可能であるし、デフォルト値が記憶されたメモリからの読み出しにより取得することも可能であり、取得の方法は特に限定されない。パラメータ設定部１０８は、取得した時間閾値と加重値を背景更新部１０４に提供する。

合成設定部１０９は、ユーザ操作に応じて画像合成部１０６が背景画像として用いる画像を設定する。また、合成設定部１０９は、ユーザ操作に基づいて使用する背景画像の選択や時間帯に関する情報（以下、合成設定情報）を生成し、これを画像合成部１０６に提供する。なお、合成設定部１０９は、メモリまたはファイルからの読み出しにより合成設定情報を取得することも可能である。合成設定情報については後述する。

図２は、画像処理装置１００のハードウェア構成の一例を示す図である。画像処理装置１００は、ＣＰＵ２０１と、ＲＯＭ２０２と、ＲＡＭ２０３と、外部メモリ２０４と、通信Ｉ／Ｆ２０５と、システムバス２０６とを備える。

ＣＰＵ２０１は、画像処理装置１００における動作を統括的に制御するプロセッサーであり、システムバス２０６を介して、各構成部（２０２～２０５）を制御する。ＲＯＭ２０２は、ＣＰＵ２０１が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。なお、当該プログラムは、外部メモリ２０４や着脱可能な記憶媒体に記憶されていてもよい。ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。すなわち、ＣＰＵ２０１は、処理の実行に際してＲＯＭ２０２から必要なプログラム等をＲＡＭ２０３にロードし、当該プログラム等を実行することで各種の機能動作を実現する。

外部メモリ２０４は、例えば、ＣＰＵ２０１がプログラムを用いた処理を行う際に必要な各種データや各種情報等を記憶している。また、外部メモリ２０４には、例えば、ＣＰＵ２０１がプログラム等を用いた処理を行うことにより得られた各種データや各種情報等が記憶される。通信Ｉ／Ｆ２０５は、外部装置と通信するためのインターフェースである。通信Ｉ／Ｆ２０５は、例えばＬＡＮインターフェースである。システムバス２０６は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、外部メモリ２０４及び通信Ｉ／Ｆ２０５を通信可能に接続する。

画像処理装置１００は、単独で存在してもよいし、ネットワークカメラ、表示装置あるいは録画装置などに実装されてもよい。画像処理装置１００がネットワークカメラに実装される場合、外部装置として、ネットワークを介してネットワークカメラに接続された表示装置や、録画装置などが想定される。また、画像処理装置１００が表示装置に実装される場合、外部装置として、表示装置にネットワークを介して接続されるネットワークカメラや録画装置などが想定される。

図３は、本実施形態における映像表示システムのシステム構成の一例を示す図である。映像表示システムにおいて、画像処理装置１００、複数のネットワークカメラ３０１、３０２、３０３、録画装置３０５が、ネットワーク３０４を介して相互に通信可能に接続されている。録画装置３０５は、例えばネットワークカメラ３０１，３０２，３０３からの映像をそれぞれ記録する。画像処理装置１００は、例えば表示装置に実装され、ネットワークカメラ３０１、３０２、３０３からの映像を取得し、それぞれの映像において前述の処理を施して保護画像を表示する。もちろん、画像処理装置１００の外部装置として表示装置が存在し、それらがネットワーク３０４を介して接続された形態であってもよい。また、画像処理装置１００は、特定のネットワークカメラの指定日時の録画を録画装置３０５にリクエストし取得することができる。

次に、背景更新部１０４による背景画像の生成方法について説明する。背景更新部１０４は、背景画像を所定の大きさで分割した領域（ブロック）ごとに安定背景時間を管理する。安定背景時間とは、それぞれのブロックの、動体情報または人体情報に基づいて特定される保護対象が検出されていない期間である。背景更新部１０４による背景画像の生成処理を、（Ａ）最初の画像、（Ｂ）保護領域割合が閾値未満である場合、（Ｃ）保護領域割合が閾値以上である場合、の３つのケースに分けて説明する。

（Ａ）最初の背景画像
背景画像が未生成の状態の場合、背景更新部１０４は、画像取得部１０１から提供された取得画像を初期の背景画像として記憶する。なお、背景更新部１０４は、背景画像のすべてのブロックの安定背景時間に０を設定する。

（Ｂ）保護領域割合が閾値未満である場合
このケースでは、画像比較部１０５から提供される保護領域割合情報により示される、画像の面積に対する保護領域の面積の割合が閾値未満である。この場合、背景更新部１０４は、動体情報により特定される動体領域または人体情報により特定される人体領域が属するブロック以外のブロックに対応する安定背景時間を更新（インクリメント）する。また、背景更新部１０４は、動体領域または人体領域が属しているブロックに対応する安定背景時間を０に設定する。背景更新部１０４は、更新後の安定背景時間が時間閾値を超えるブロックに対応する画像で背景画像を更新する。背景更新部１０４は、背景画像の更新に用いたブロックに対応する安定背景時間を０に設定する。

（Ｃ）保護領域割合が閾値以上である場合
このケースでは、画像比較部１０５から提供される保護領域割合情報により示される、画像の面積に対する保護領域の面積の割合が閾値以上である。これは、照明の状況が急激に変化した場合、または、パン／チルト／ズーム等の制御により撮像部の撮像範囲が変化した場合等に発生しうる。このケースでは、背景更新部１０４は、人体情報を用い、動体情報を用いずに安定背景時間を更新（インクリメント）する。そして、安定背景時間が時間閾値を超えるブロックが存在する場合、同ブロックの背景画像を更新することで背景画像を生成する。より具体的には、背景更新部１０４は、人体情報により特定される人体領域が属するブロックに対応する安定背景時間を０に設定し、人体領域が属しないブロックに対応する安定背景時間を更新（インクリメント）する。そして、安定背景時間が時間閾値を超えたブロックに対応する画像で背景画像を更新する。また、背景更新部１０４は、動体検出部１０２における動体検出のための背景モデルをリセットする。

以上のように、画像比較部１０５は、保護領域の面積と取得画像（処理対象画像）の面積とに応じて、背景更新部１０４を制御する。この制御によれば、保護領域の面積の割合が大きくなると、背景画像の更新に動体領域は用いられず、人体領域が用いられることになる。すなわち、背景更新部１０４は、保護領域の面積の割合が大きくなると、画像内の特徴に基づいて検出される人体領域の検出結果を用い、画像間の比較に基づいて検出される動体領域の検出結果を用いずに背景画像を生成（更新）する。

なお、保護領域とは、処理対象画像の輝度と背景画像の輝度を領域ごとに比較した場合に、当該輝度に所定の差異がある領域である。また、この例では、背景画像の生成に動体検出部１０２による検出結果を用いるか否かを、保護領域割合に基づいて判定しているが、これに限られるものではない。たとえば、保護領域割合を用いる代わりに、保護領域のサイズを用いて上記判定を行うようにしても良いし、保護領域に関するほかの情報を用いても良い。すなわち、画像比較部１０５は、保護領域（特定領域）の面積に関する評価値が閾値以上である場合、動体情報を用いずに背景画像の生成が行なわれるように制御する。

以上のように背景画像の更新（生成）を行うことで、照明変動など環境変化が発生した場合であっても、保護対象をより精度よく保護したプライバシー保護画像を表示させることができる。

次に、合成設定部１０９について説明する。画像合成部１０６は、背景更新部１０４から提供される初期の背景画像、更新後の背景画像、合成設定部１０９においてユーザ操作により背景画像に設定された既存の画像のいずれかを背景画像として用いる。いずれの画像を背景画像として用いるかは、合成設定部１０９がユーザ操作に応じて設定する。

図４は、合成設定部１０９が提供する設定操作ＵＩの一例を示す図である。カメラ一覧４０１は、画像処理装置１００が処理を施す取得画像を提供するネットワークカメラの一覧を表示する。カメラ一覧４０１において一つのネットワークカメラが選択されると、選択されたネットワークカメラの設定内容が設定操作ＵＩの表示に反映される。操作項目４０２、４０３、４０４は各ネットワークカメラに対する背景画像の選択を指定する。操作項目４０２（背景画像（初期値））が選択されると、選択中のカメラからの取得画像に対して背景更新部１０４が最初に生成した背景画像（初期の背景画像）を用いてプライバシー保護画像を生成するように設定される。操作項目４０３（背景画像（自動更新））が選択されると、選択中のカメラからの取得画像に対して背景更新部１０４が生成する最新の背景画像を用いてプライバシー保護画像を生成するように設定される。操作項目４０４（任意の画像）が選択されると、背景更新部１０４で生成される背景画像は用いずに、既存の画像の中から図５のＵＩを用いて選択された画像（以下、設定画像）を背景画像として用いてプライバシー保護画像を生成するように設定される。以上の操作項目４０２～４０４により、プライバシー保護画像の生成に用いる背景画像の種別が設定される。

図５は、合成設定部１０９が提供する設定操作のＵＩの一例を示す図であり、この設定操作ＵＩを用いることにより、ユーザは、背景画像の種別が「任意の画像」である場合の詳細な設定を行うことがえきる。たとえば、図４の設定画面において操作項目４０４（任意の画像）が選択された状態で設定ボタン４０５が押下されると、図５の設定操作ＵＩ画面が表示される。図５の設定操作ＵＩにより、ユーザは、既存の画像の中から背景画像として用いる設定画像を選択し、設定すること、および、その設定画像を背景画像として用いる時間帯を設定することができる。

図５において、５０１から５０４は設定画像のプレビュー領域である。また、設定画像のプレビュー表示とともに、その設定画像を背景画像として使用して保護画像を生成する時間帯の開始時刻が示されている。図５では４つの時間帯が設定可能であり、４つのプレビュー領域５０１～５０４が表示されている。ただし、時間帯の数は４つに限定されるものではなく、４つよりも多くても良いし、少なくてもよい。もちろん、ユーザが時間帯の数を設定できるようにしてもよい。なお、画像が未設定の時間帯のプレビュー表示はたとえばグレー表示となり、未設定であることが示される。また、各時間帯に関して開始時刻しか表示していないが、開始・終了のそれぞれの時刻を表示してもよい。プレビュー領域５０１～５０４のいずれかを選択すると、選択されたプレビュー領域に関して設定済みとなっている設定画像と時間帯が後述の操作項目５０５～５０８に反映される。ユーザは選択したプレビュー領域に関して、設定画像の選択（変更）と時間帯の設定（変更）などを行うことができる。

操作項目５０５は、選択したプレビュー領域の設定画像を背景画像として使用する時間帯の開始時刻を設定する項目である。時間帯の終了時刻については、操作項目５０５と同様のユーザインターフェースにより終了時刻をユーザが設定できるようにしても良いし、合成設定部１０９が別画像の開始時刻との関係から終了時刻を自動的に設定するようにしても良い。設定画像は、既存の画像の中から選択される。本実施形態では、画像ファイルまたは録画から設定画像を選択することができる。操作項目５０６を選択することにより画像ファイルを用いることができ、操作項目５０７を選択することにより録画の画像を選択することができる。操作項目５０６においては、ハードディスク（ＨＤＤ）などの内部メモリに保存されている画像ファイルのパス、外部に記録されているアドレスを示すＵＲＬやＵＲＩなどが指定され得る。指定されたパスやアドレスにより特定される画像は、画像合成部１０６が用いる背景画像に設定される。また操作項目５０７では、録画日時５０８において録画の日時を指定することができる。録画日時５０８で指定された日時の録画画像が録画装置３０５から取得され、画像合成部１０６が用いる背景画像に設定される。なお、録画日時５０８において、フレーム番号を指定するようにしてもよい。

合成設定部１０９は、操作項目５０６または操作項目５０７の指定にしたがって取得した画像をプレビュー領域５０９に表示する。録画日時５０８の時刻の初期値が操作項目５０５の開始時刻における設定値に応じて決定されてもよい。背景画像として使用する画像が選択されると、その画像に、操作項目５０５に設定された時刻を開始時刻とする時間帯が関連付けられる。すなわち、時間帯の開始時刻は、録画時刻とは独立して設定される。プレビュー領域５０９はプレビュー領域５０１～５０４よりも大きいサイズで画像を表示することが可能である。ユーザは、プレビュー領域５０９の表示により、背景画像としての適否をより正しく判定することができる。また、操作項目５０７の指定にしたがって録画を取得した場合には、プレビュー領域５０９においてその録画を再生できるようにしてもよい。ユーザは、再生動画を観察して背景画像に用いるべき画像を選択することができる。また、録画日時５０８の日付はカレンダーの表示から選択されるようにしても良い。この場合、カレンダーから日付が設定されると、合成設定部１０９は、該当ネットワークカメラの設定された日付の録画状態を録画装置３０５より取得し、録画データの存在する時間帯を表示し、この時間帯表示からユーザに時刻を選択させるようにしても良い。たとえば、録画データの存在する時間帯をスライドバーで表示し、スライドバーの操作により所望の時刻の録画フレームを選択できるようにしてもよい。以上のような設定画面により、任意の既存の画像が使用する時間帯と関連付けられ、設定情報として記録される。設定ボタン５１１により、選択されたプレビュー領域に関して操作項目５０５～５０７により指定された設定画像と時間帯が確定され、合成設定情報として保持される。

図６は、画像合成部１０６おける背景画像の決定処理の一例を示すフローチャートである。図４に関して上述したように、設定操作ＵＩにより背景画像の種別が設定される。合成設定部１０９により設定される合成設定情報は、この種別を背景設定として保持している。画像合成部１０６は、合成設定部１０９で設定された合成設定情報より、処理対象の取得画像に対する背景設定を取得する（Ｓ６００）。画像合成部１０６は、取得した背景設定が、「背景画像（初期値）」、「背景画像（自動更新）」、「任意の画像」のいずれであるかを判定する。背景設定が「任意の画像」であった場合、画像合成部１０６は、合成設定情報により示される設定画像を取得し背景画像とする（Ｓ６０１でＹＥＳ→Ｓ６０２）。なお、設定情報は、図５に示した設定操作ＵＩ画面の操作項目５０６で指定されたパスまたはアドレス、あるいは操作項目５０７の録画日時５０８で指定された日時を有している。画像合成部１０６はこの情報に基づいて既存の画像から設定画像を取得し背景画像として用いる。なお、設定操作ＵＩ画面で設定画像として設定された時点で画像を読み込み所定のアドレスに保持するようにし、設定情報にそのアドレスを記録してもよい。その場合、画像合成部１０６は、設定情報に記録されているアドレスから設定画像を得ることができる。

背景設定が「任意の画像」ではなく、「背景画像（初期値）」であると判定された場合、画像合成部１０６は背景更新部１０４から取得画像に対する最初の背景画像を取得して背景画像とする。背景画像の初期値が無い場合には、次に生成される背景画像を初期値としても良いし、画像処理装置１００内の外部メモリ２０４に保存してある画像を用いても良い。背景設定が「任意の画像」でも「背景画像（初期値）」でもないと判定された場合は（Ｓ６０１でＮＯ，Ｓ６０３でＮＯ）、背景設定が「背景画像（自動更新）」であると判定される。この場合、画像合成部１０６は、背景更新部１０４より最新の背景画像を取得して背景画像とする（Ｓ６０５）。画像合成部１０６は、以上のようにして決定した背景画像に対して、画像比較部１０５より送信された保護領域に所定の画像を合成してプライバシー保護画像を生成する（Ｓ６０６）。

図７は、背景設定が「任意の画像」であった場合に、複数の設定画像から背景画像として用いる設定画像を選択する処理（Ｓ６０２）の一例を示すフローチャートである。画像合成部１０６は、画像処理装置１００のシステム現在時刻から表示対象の時刻（取得画像の時刻）を取得する（Ｓ７００）。なお、表示対象の時刻は、取得画像のヘッダー情報などに付与される撮影日時より取得されても良い。次に、画像合成部１０６は、合成設定情報から、設定画像に関連づけられている設定情報を順次取得する（Ｓ７０１）。画像合成部１０６は、Ｓ７０１で取得した設定情報から時間帯の情報を取得する（Ｓ７０２）。画像合成部１０６は、Ｓ７０２で取得した時間帯により示される時刻範囲がＳ７００で取得した表示対象の時刻を含んでいるか否かを判定する（Ｓ７０３）。取得した時間帯が表示対象の時刻を含んでいないと判定された場合、次の設定画像について処理をするべく、処理はＳ７０１へ戻る（Ｓ７０３でＮＯ）。一方、取得した時間帯が表示対象の時刻を含んでいる場合は、その設定画像の設定情報に基づいて画像を取得し、背景画像とする（Ｓ７０３でＹＥＳ→Ｓ７０４）。

以上、本実施形態の処理により、映像表示システムは、入力画像毎に背景画像の入手方法を設定することができるとともに、任意の画像を背景画像とする場合においては、時間帯により背景画像を切り替える処理を設定することができる。なお、表示対象の時刻を含む時間帯を含む設定情報が関連付けられた画像が無い場合、処理はＳ７０１～Ｓ７０３のループを抜ける。この場合、画像合成部１０６は、Ｓ７０４で、たとえば、画像を提示できない旨を示す表示を行う。

＜第２実施形態＞
第１実施形態では、録画からの任意の画像を設定する操作において、ユーザが録画日時を指定している。第２実施形態では、録画からの画像設定における処理の一部を自動化することにより、ユーザによる操作をより簡略化する。第２実施形態のシステム構成、各システムの構成要素は、第１実施形態と同様である。

図８は、録画から任意の画像を設定する操作の一部を自動化した設定画面の一例であり、第１実施形態（図５）と同様の構成には同一の参照番号を付してある。図５に示される設定画面との違いは、プレビューの増減を操作するための追加ボタン８０１および削除ボタン８０２が設けられていることである。第２実施形態では、追加ボタン８０１と削除ボタン８０２の操作によりプレビューの数を増減することができる。なお、ユーザが、プレビューの数を数値で指定できるようにしてもよい。プレビューの数は時間帯を分割する数として用いられる。

録画日付８０３は、背景画像に使用する録画の日付をユーザが選択するための操作項目である。録画日付８０３に日付が指定されると、合成設定部１０９は、自動的に、プレビューの数の設定画像を指定された日付の録画画像から選択する。録画日付８０３への日付の指定に応じて、合成設定部１０９は、録画装置３０５より、カメラ一覧４０１で選択中のネットワークカメラの録画のうち、指定された日付の録画を取得する。合成設定部１０９は、録画日付８０３で指定された日付の録画を解析し、上述のプレビューの数で画像間の変化量、すなわち差分が一定となるように使用する録画日時を選択する。

たとえば、合成設定部１０９は、録画日付８０３で指定された日付の録画データ（一日分）の輝度変化を解析し、輝度の最大値と最小値の振れ幅の２倍を、プレビュー数で分割して差分の一定数を算出する。そして、合成設定部１０９は、最小値が得られた録画時刻を１つ目の設定画像の日時とし、最小値に差分の一定数を加えていくことで得られる輝度値の録画時刻を順次に設定画像の日時として選択していく。最大値が得られている録画時刻に達したらその録画時刻を設定画像の日時として選択し、以降、最大値から差分の一定数を減算していくことで得られる輝度値の録画時刻を順次求めていく。以上のようにして、合成設定部１０９は、プレビュー数の設定画像を選択する。なお、ユーザが、以上のようにして合成設定部１０９が自動的に選択した設定画像を初期値として用いて、これらを手掛かりとして（例えば初期値の前後の時刻の画像を観察して）適切な設定画像を決定できるようにしてもよい。

このように、合成設定部１０９はユーザにより指定された数の画像を自動的に選択し、プレビュー領域（５０１～５０４）にプレビュー表示を行う。各画像に関連付けられる時間帯は、選択された画像の録画時刻に基づいて自動的に設定される。たとえば、各時間帯の開始時刻には、各画像の録画日時（録画時刻）が用いられ、終了時刻には次の時間帯の開始時刻の直前が設定される。あるいは、各時間帯の開始時刻として、２４時間をプレビュー数で分割して０：００より経過した時刻が用いられても良い。差分は、録画の輝度の変化について解析したものでも良い。上述のように自動的に生成した設定を初期値とし、利用者の操作により変更することができても良い。また、２４時間をプレビュー数で分割して０：００より経過した時刻の画像を指定した日付の録画から選択し、設定画像の初期値としてユーザに提供してもよい。ユーザは、提供された設定画像の初期値を手掛かりとして（例えば初期値の前後の時刻の画像を観察して）適切な設定画像を決定することができる。

以上のように、第２実施形態によれば、選択する画像の数の指定と録画の日付の指定を含むユーザ操作に応じて、指定された日付の録画に含まれる画像群における画像の変化量に基づいて、画像群から指定された数の画像が選択される。たとえば、各時間帯に含まれる画像群の画像の変化量が等しくなるように、指定された数の画像が選択され、背景画像として使用される設定画像として設定される。第２実施形態によれば、複数の設定画像を自動的に選択することができるので、ユーザによる設定操作が軽減される。

＜変形例＞
第１、第２実施形態では、背景画像として使用する任意の画像を時間帯で指定しており、天候や季節により背景画像と実際の画像との差が大きくなる可能性がある。そこで、合成設定部１０９が、背景設定の情報に日付の使用期間の情報を付与するようにしてもよい。この場合、画像合成部１０６は、合成設定部１０９により設定された、日付の使用期間ごとの複数の背景設定を管理し、表示対象（取得画像）の日付におうじて利用する背景設定を切り換える。

また、第１、第２実施形態では、画像合成部１０６は、単純に表示対象の時刻が属する時間帯の設定画像を背景画像として用いたが、これに限られるものではない。たとえば、画像合成部１０６が、表示対象の時刻に基づいて選択された時間帯の設定画像と、選択された時間帯の前後の時間帯の設定画像とを取得し、取得画像と各設定画像とを比較して差分が小さいものを背景画像として利用するようにしても良い。なお、取得画像と設定画像の比較方法は、たとえば、輝度の差分を用いることがあげられるが、これに限定されるものではない。

または、画像合成部１０６が、表示対象の時刻に基づいて複数の設定画像を選択し、これらを合成することで背景画像を生成するようにしてもよい。この場合、たとえば、画像合成部１０６は、表示対象の時刻に基づいて選択された第１の時間帯の設定画像および開始時刻と、選択された第１の時間帯の後の第２の時間帯の設定画像と開始時刻とを取得する。画像合成部１０６は、第１の時間帯の開始時刻と表示対象の時刻との時間差と、表示対象の時刻と第２の時間帯の開始時刻との時間差との割合を算出する。そして、画像合成部１０６は、第１の時間帯の設定画像と第２の時間帯の設定画像とを時間差の割合を用いて合成し、得られた合成画像を背景画像として用いる。このとき、時間差が短い方の設定画像がより大きく合成画像に寄与するようにする。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

＜他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：画像処理装置、１０１：画像取得部、１０２：動体検出部、１０３：人体検出部、１０４：背景更新部、１０５：画像比較部、１０６：画像合成部、１０７：出力部、１０８：パラメータ設定部、１０９：合成設定部

Claims

取得画像の変化に基づいて保護領域を特定する特定手段と、
取得画像の変化に基づいて背景画像を生成、更新する更新手段と、
ユーザ操作に基づいて既存の画像から選択された画像を、背景画像に用いる画像として設定する設定手段と、
ユーザ操作に基づいて設定された、プライバシー保護画像の生成に用いる背景画像の種別に基づいて、前記更新手段が最初に生成した背景画像、前記更新手段により更新された背景画像、および前記設定手段により設定された背景画像のいずれか１つを選択し、選択された背景画像の前記特定手段により特定された前記保護領域へ保護画像を合成することによりプライバシー保護画像を生成する画像合成手段と、を有することを特徴とする画像処理装置。
前記画像合成手段により生成された前記プライバシー保護画像を表示装置に表示させる表示制御手段をさらに有することを特徴とする請求項１に記載の画像処理装置。
前記設定手段は、複数の前記選択された画像の各々に背景画像として使用する時間帯を関連付け、
前記画像合成手段は、前記設定手段により設定された背景画像が選択された場合、前記取得画像の時刻を含む時間帯に関連付けられている画像を背景画像として用いて前記プライバシー保護画像を生成することを特徴とする請求項１または２に記載の画像処理装置。
前記設定手段は、前記選択された画像として、ユーザにより指定された録画日時またはフレーム番号の画像を、映像を記録する録画装置より取得することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
前記設定手段は、前記録画装置より取得した画像を再生し、プレビュー表示することを特徴とする請求項４に記載の画像処理装置。
前記設定手段は、複数の前記選択された画像の各々に背景画像として使用する時間帯を関連付け、
前記設定手段は、前記選択された画像の録画日時とは独立して、前記選択された画像に関連付けられる前記時間帯の開始時刻を設定することを特徴とする請求項４または５に記載の画像処理装置。
前記設定手段は、前記選択された画像に日付の期間の情報を関連付け、
前記画像合成手段は、前記設定手段により設定された背景画像が選択された場合、前記取得画像の撮影日時に応じて、背景画像として使用する画像を切り替えることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
前記設定手段は、複数の前記選択された画像の各々に背景画像として使用する時間帯を関連付け、
前記画像合成手段は、前記設定手段により設定された背景画像が選択された場合、前記取得画像の時刻を含む第１の時間帯が関連付けられた第１の画像と、前記第１の時間帯の次の第２の時間帯が関連付けられた第２の画像とを、前記第１の時間帯の開始時刻から前記取得画像の時刻までの期間と、前記取得画像の時刻から前記第１の時間帯の終了時刻までの期間との割合に応じて合成した画像を背景画像として用いることを特徴とする、請求項３に記載の画像処理装置。
画像処理装置の制御方法であって、
取得画像の変化に基づいて保護領域を特定する特定工程と、
取得画像の変化に基づいて背景画像を生成、更新する更新工程と、
ユーザ操作に基づいて既存の画像から選択された画像を、背景画像に用いる画像として設定する設定工程と、
ユーザ操作に基づいて設定された、プライバシー保護画像の生成に用いる背景画像の種別に基づいて、前記更新工程が最初に生成した背景画像、前記更新工程により更新された背景画像、および前記設定工程により設定された背景画像のいずれか１つを選択し、選択された背景画像の前記特定工程により特定された前記保護領域へ保護画像を合成することによりプライバシー保護画像を生成する画像合成工程と、を有することを特徴とする画像処理装置の制御方法。
コンピュータを、請求項１乃至８のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラム。