JP5709367B2 - 画像処理装置、および画像処理方法 - Google Patents

Description

本発明は画像から検知された物体にマスク処理や暗号化などの変更処理を施す技術に関する。

施設の異常確認や犯罪防止を目的としたモニタリングシステムにおいて、撮影画像をネットワークに配信するネットワークカメラの導入が進んでいる。これに伴い公共施設や街頭へのネットワークカメラの設置が増えている。また、観光地やレジャー施設の宣伝のためにネットワークカメラを利用する例がある。これらの適用例では画像を公開する対象に応じた、適切なプライバシー保護が求められる。

特許文献１には、通常時はプライバシーを保護したい領域の映像信号を変更処理（加工処理）することで隠蔽し、火災などの事象が発生すると、前記加工処理を解除することが開示されている。

特開２００４−１８０２３６号公報

しかしながら、検知された事象に関連する物体を変更処理がされない状態で表示させようとした場合、検知された事象に関連する物体を確認できない恐れがあった。

例えば、画面内の複数の人物のそれぞれに変更処理を行い、持ち去りの検知に応じて、持ち去りを行った人物のみ、変更処理を解除すれば、他の人物のプライバシーを守ることができるが、持ち去りを行った人物を特定できないと、事象に関連する人物を確認できない。

また、事象の発生から、該事象の発生を検知するまでに時間がかかる場合、事象の検知に応じて変更処理を解除しても、事象に関連する物体を確認できない恐れがあった。

例えば、物体の置き去りを検知した時点において、置き去りに関連する人物（置き去りを行った人物）が、すでに画面外に出てしまっていると、検知された事象（置き去り）に関連する人物を確認することができない。

また、例えば、物体の持ち去りを検知した時点において、持ち去りに関連する人物（持ち去りを行った人物）が、すでに画面外に出てしまっていると、検知された事象（持ち去り）に関連する人物を確認することができない。

本発明は上記の課題に鑑みてなされたものであり、その目的は、検知された事象に関連する物体を確認できる可能性を向上させることである。

上記の課題を解決するために、本発明の画像処理装置は、例えば以下の構成を有する。すなわち、画像データをクライアント装置に送信する画像処理装置であって、画像データに基づいて物体を検知する物体検知手段と、前記物体検知手段の検知結果に基づいて事象の発生を検知する事象検知手段と、前記事象検知手段が事象の発生を検知したフレームより前のフレームの画像データから前記物体検知手段により検知された人物は、前記クライアント装置において特定できないように、画像データを処理する処理手段とを有し、前記処理手段は、フレームの画像データから前記物体検知手段により人物でないと判定された物体は、前記クライアント装置において特定できるように、画像データを処理し、前記フレームの画像データから前記物体検知手段により人物でないと判定された物体に基づいて前記事象検知手段が事象の発生を検知した場合、前記事象の発生を検知したフレームより前のフレームにおいて前記事象の発生を検知する元になった物体と関連付けられた第１の人物は、前記事象の発生を検知した以降は、前記クライアント装置において特定できるように、画像データを処理し、前記事象の発生を検知したフレームより前のフレームにおいて前記事象の発生を検知する元になった物体と関連付けられていない第２の人物は、前記事象の発生を検知した以降も、前記クライアント装置において特定できないように、画像データを処理することを特徴とする。

本発明によれば、検知された事象に関連する物体を確認できる可能性を向上させることができる。

実施形態のシステム構成図 ネットワークカメラと表示装置の内部構成図 事象発生と被写体のプライバシー保護解除処理の説明図 物体の追尾処理とプライバシー保護解除処理との関係説明図 ネットワークカメラにおけるプライバシー保護解除処理 背景差分による物体検知・追尾処理の処理 事象検知のための処理 事象検知のための物体状態判定ルールの設定例 プライバシー保護に暗号化処理を行う場合のシステム構成図 カメラ側で物体検知を行い画像処理装置で事象検知を行う場合のシステム構成図 カメラ側で物体検知を行い画像処理装置で事象検知を行う場合のネットワークカメラと画像処理装置と表示装置の内部構成図 メタデータの内容を説明するための表 ＸＭＬによるメタデータの記述例

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

＜実施形態１＞
本実施形態では、画像中の人物の領域に対してマスク処理を行い、クライアント（ビューワや録画装置）に配信するシステムを対象とする。本形態のネットワークカメラは、画像中の異常（事象）を検知した場合、該事象に関連する人物の変更処理を解除した画像データを送信する。ここで変更処理とは、マスク処理（モザイクやぼかしなど）や、暗号化などがあるが、本形態ではマスク処理の例について説明する。また、検知される事象（異常）とは、例えば禁止領域への侵入や、物体の置き去り、持ち去り、うろつきなどである。

本実施形態におけるシステム構成を図１に示す。システムはネットワークカメラ１００、表示装置（ビューワ）２００、録画サーバ４００（録画装置）がネットワーク経由で接続されている。本形態において、表示装置２００、録画サーバ４００は、ネットワークカメラ１００から画像データを受信するクライアントである。ネットワークカメラ１００は、物体を検知する機能や、物体の検知結果に基づいて事象の発生を検知する機能を有する。ネットワークカメラ１００は、表示装置２００及び録画サーバ４００に対して画像データ１２０とメタデータ１３０を配信する。メタデータ１３０には物体情報や事象情報が含まれる。物体情報は、例えば、検知された物体の表示位置、面積、外接矩形、存在時間、物体の移動距離（軌跡長）、マスク処理の有無などのうちの少なくともいずれかの情報である。また、事象情報は、事象（異常）が発生したことを示す情報である。メタデータ１３０は画像データ１２０に添付してもよいし、画像データ１２０とメタデータ１３０を別ストリームで配信してもよい。

表示装置２００は、画像データ１２０とメタデータ１３０を受信し、画像データ１２０に応じた画像を表示させると共に、物体情報に応じた情報（例えば物体の枠）を重畳して表示することができる。また、表示装置２００は、事象情報に応じて、警報を鳴らすなどしてユーザに事象の発生を通知することができる。また、録画サーバ４００は画像データ１２０とメタデータ１３０を蓄積する。

次に図２を用いて、本実施形態におけるネットワークカメラ１００と表示装置２００の構成を説明する。ネットワークカメラ１００は撮影部１０１、画像保護部１０２、符号化部１０３、画像送信部１０４、物体検知部１０５、事象検知部１０６、通信インターフェース１１０から構成される。

撮影部１０１は、光学系、撮像素子、Ａ／Ｄ変換機能を有し、画像データを取得する。取得された画像データは物体検知部１０５に送られる。物体検知部１０５は、画像データから物体を検知する。また、物体検知部１０５は、検知した物体が人物であるか否かを、不図示の物体識別データベースを参照して判定する。ただし、物体検知部１０５は、人物であるか否かだけでなく、物体をより多くの種別に分類することも可能である。本形態の物体検知部１０５は、検知した物体のうち、人物であると判定された物体を、クライアントにおいて特定されないようにすべき非特定対象の物体とする。

また、物体検知部１０５は、検知された物体とそれよりも前のフレームで検知された物体とを関連付ける。これを追尾処理と呼ぶ。例えば、物体検知部１０５は、隣接するフレームからそれぞれ検知された人物であって、表示位置と外接矩形がほぼ等しい人物を同一人物として関連付ける。すなわち、物体検知部１０５は、検知された物体の表示領域に基づいて、複数の物体を関連付ける。

また、物体検知部１０５が行う追尾処理には、物体の分離・統合処理も含まれる。例えば、物体検知部１０５は、第１のフレームで検知された複数の物体が、それより前の第２のフレームで検知された１つの物体から分離されたことを検知すると、第１のフレームで検知された複数の物体と、第２のフレームで検知された１つの物体を関連付ける。また、物体検知部１０５は、第１のフレームで検知された１つの物体が、それより前の第２のフレームで検知された複数の物体が統合された物体であることを検知すると、第１のフレームの１つの物体と、第２のフレームの複数の物体を関連付ける。なお、分離・統合処理においても、検知された物体の表示領域に基づいて、検知された物体が関連付けられる。また、物体検知部１０５は、検知した物体、及び、物体の関連付けの履歴を不図示の物体履歴データベースに保存する。

事象検知部１０６は、物体検知部１０５による物体の検知結果を用いて画像データを解析し、置き去り、持ち去りなどの事象を検知する。そして、事象検知部１０６は、事象に関連する非特定対象の物体（人物）のうち、クライアントで監視すべき監視対象の物体を、クライアントにおいて特定可能にすることを決定する。そして、事象検知部１０６は、監視対象の物体でない非特定対象（人物）の表示位置情報を画像保護部１０２に通知し、マスク処理させることで、クライアントにおいて特定されないようにする。人物をマスク処理（変更処理）することにより、クライアント（表示装置）側で視聴しているユーザによる人物の特定、及び、表示装置による人物の特定処理で人物が特定されないようにできる。

事象検知部１０６は、例えば、ある物体から分離された物体であって、軌跡長（移動距離）が短い物体が所定時間以上、画面内に存在する場合、置き去りを検知する。事象検知部１０６は、物体検知部１０５により人物であると判定された物体（非特定対象の物体）のうち、検知された事象に関連しない物体の表示位置情報を、画像保護部１０２に通知する。一方、事象検知部１０６は、検知された事象に関連する非特定対象の物体（監視対象の物体）の表示位置情報は、画像保護部１０２に通知しない。

画像保護部１０２は、事象検知部１０６によって通知された表示位置情報に対応する表示位置をマスク処理する。すなわち、画像保護部１０２は、物体検知部１０５により検知された非特定対象の物体（人物）を、クライアント（表示装置２００、録画サーバ４００）で特定されないように変更処理（マスク処理）する。本形態において、非特定対象の物体とは、クライアントにおいて特定されないようにすべき物体である。

例えば、事象検知部１０６は、物体検知部１０５により検知された人物のうち、置き去りをした人物（監視対象の物体）以外の人物の表示位置情報を画像保護部１０２に通知し、置き去りをした人物（監視対象の物体）の表示位置情報を通知しない。そして、画像保護部１０２は、通知された表示位置情報に対応する表示位置のマスク処理を行う。

すなわち、事象検知部１０６は、物体検知部１０５による検知結果に基づいて特定される物体（置き去りされた物体）に関連付けられた物体（置き去った人物）を、画像保護部１０２による変更処理がされない状態で表示装置２００で表示可能にすることを決定する。言い換えると、事象検知部１０６は、監視対象の物体（置き去った人物）を、クライアントで特定可能にすることを決定する。

一方、画像保護部１０２による変更処理がされない状態で表示可能にすること決定されていない人物は、画像保護部１０２による変更処理がされた状態で表示される。なお、本実施形態では、非特定対象の物体が人物である場合の例を示しているが、これに限らず、例えば、車のナンバープレートや、家の表札なども非特定対象の物体としても良い。

また、事象検知部１０６は、複数の事象の同時検知が可能である。また、ユーザは、複数の事象の検知条件を、設定・変更することが可能である。事象検知部１０６は、物体検知部１０５によって検知された物体の物体情報と、検知した事象の事象情報を含むメタデータ１３０を、必要に応じて符号化し、通信インターフェース１１０を介して表示装置等に送信する。

画像保護部１０２は、物体検知部１０５により検知された人物の表示を変更するための変更処理（マスク処理）を行う。本形態の画像保護部１０２は物体検知部１０５により検知された物体のうち、人物の変更処理をするが、この例に限らず、例えば、車のナンバープレートや、家の表札など、プライバシーの侵害となり得る物体の表示の変更処理を行うようにしても良い。このようにすれば、人物以外のプライバシー保護と共に、事象に関連する物体の監視を行うことができる。

符号化部１０３は、画像保護部１０２により変更処理が行われた画像データを符号化する。本発明は特定の符号化方式に依存するものではないが、ＪＰＥＧ、ＭＰＥＧ−４、Ｈ．２６４／ＡＶＣなどを用いることができる。符号化部１０３によって符号化された画像データは、適宜パケット化され、画像送信部１０４、および、通信インターフェース１１０を経由して表示装置２００に送信される。すなわち、本実施形態のネットワークカメラ１００は、画像データを送信する画像処理装置である。

表示装置２００は、通信インターフェース２１０、画像受信部２２１、画像復号化部２２２、画像表示部２２３から構成される。この他に不図示のディスプレイ、キーボード、マウスなどの入出力装置が接続される。表示装置２００はネットワークカメラ１００からのメタデータ１３０に含まれる物体情報を取り出し、画像中の物体周囲に枠を重畳して表示することができる。

ネットワークカメラ１００から表示装置２００に画像データ１２０とメタデータ１３０が送信される一方で、表示装置２００からネットワークカメラ１００には各種の制御要求や設定要求が送信される。これらの通信は例えば、ＨＴＴＰのＧＥＴメソッドや、ＳＯＡＰを用いて行う。

本実施形態における人物のマスク処理について説明する。図３において、（ａ１）〜（ａ４）の４枚のフレームは同一シーンの複数のフレームであり、（ｂ１）〜（ｂ４）の４枚のフレームは前記各フレームに対応したマスク処理の説明図である。フレーム（ａ１）において２人の人物１１，１２が物体検知部１０５により検知され、フレーム（ａ２）において２人の人物２１，２２と、物体２３が検知される。ここで物体２３は人物２２によって置き去りにされた荷物である。しかしながら、事象検知部１０６は、フレーム（ａ２）の段階では、まだ人物２２と物体２３の距離が十分に離れていないため、置き去り状態と判定しない。事象検知部１０６は、フレーム（ａ３）のように、人物３２と物体３３とが十分に離れたことによって、物体３３は置き去りされたと判定し、事象（置き去り）を検知する。フレーム（ａ４）において置き去りを行った人物は、画面外に出る。

尚、本形態の物体検知部１０５は、フレーム（ａ１）〜（ａ４）における人物１２、２２、３２を、同一人物であるとしてそれぞれを関連付けている。また、物体検知部１０５は、人物１１、２１、３１、４１を同一人物であるとしてそれぞれを関連付けている。また、人物２２と物体２３は、それぞれ同じ人物１２から分離した物体としてそれぞれが関連付けられている。人物３２と物体３３も、同様に関連付けられている。

フレーム（ａ１）から（ａ４）のマスク処理の例を、フレーム（ｂ１）から（ｂ４）を用いて説明する。ここで、フレーム（ｂ１）では人物１１と１２が、それぞれマスク領域１４と１５のようにマスク処理される。フレーム（ｂ２）においても同様に、人物２１と２２が、それぞれマスク領域２４、２５のようにマスク処理されて表示される。ただし、物体２６は物体検知部１０５によって物体として検知されるが、人物ではないのでマスク処理が行われない状態で表示される。事象検知部１０６は、フレーム（ｂ２）と（ｂ３）の表示の間のタイミングで、事象（置き去り）の発生を検知する。

そして、事象検知部１０６は、検知された事象（置き去り）に関連する人物（監視対象の物体）を表示装置２００側で特定可能にすることを決定する。つまり、事象検知部１０６は、画像データの解析結果に基づいて特定される物体３３に関連付けられた物体（人物３２）を、監視対象の物体としてクライアントにおいて特定可能にすることを決定する。事象検知部１０６は、人物３２がマスク処理されない状態で表示されるように、人物３２の表示位置を示す表示位置情報を画像保護部１０２に通知する。なお、人物１１、２１、３１、４１は、事象検知部１０６によって検知された事象とは無関係の非特定対象の物体なので、クライアントにおいて特定されないように、マスク処理される。

次に追尾処理の説明として、図３に登場する物体の関係を、図４のタイムラインを用いて詳細に説明する。図４の人物ａは図３の人物１１，２１，３１，４１，１４，２４，３４，４４に対応し、図４の人物ｂは図３の人物１２，２２，３２，１５，２５，３５に対応し、物体ｃは荷物２３，３３，４３，２６，３６，４６に対応する。ここで人物ａは時刻ｔ１で出現し、時刻ｔ８まで存在し続ける。人物ｂは時刻ｔ２で出現し、時刻ｔ６で消失する（画面外に出る）。また物体ｃは時刻ｔ４で出現し、時刻ｔ８まで存在し続ける。この物体ｃは時刻ｔ４において、人物ｂから分離された物体である。物体ｃは時刻ｔ５で置き去り状態と判定される。このため、時刻ｔ５〜ｔ６の間、人物ｂはマスク対象から除外される。このように、物体検知部１０５が追尾処理によって物体の分離、統合履歴を記憶させることにより、事象を検知した場合に、当該事象に関連する人物に限定してマスク処理を解除し、その他の人物のプライバシーを保護できる。

本実施形態におけるマスク処理の流れを図５〜７を用いて説明する。図５は全体の処理の流れを示すフローチャートである。図６は物体検知部１０５の処理の流れを示すフローチャートであり、図７は事象検知部１０６による事象検知処理の流れを示すフローチャートである。

図５のステップＳ５０１において、撮影部１０１は画像取得を行う。そしてステップＳ５０２（検知手順）において、物体検知部１０５は物体検知処理を、ステップＳ５０３（解析手順）において、事象検知部１０６は事象検知処理を行う。すなわち、物体検知部１０５は、ステップＳ５０２において、クライアントにおいて特定されないようにすべき非特定対象の物体（人物）を含む物体を検知する。また、ステップＳ５０３において、事象検知部１０６は、ステップＳ５０２における物体の検知結果を用いて画像データを解析する。ステップＳ５０２、Ｓ５０３の処理の詳細は、それぞれ図６、図７を用いて後述する。

ステップＳ５０４において、事象検知部１０６は、ステップＳ５０２で検知された物体が人物かどうかを判定する。物体検知部１０５は、ステップＳ５０２において、検知した物体が人物であるか否かを、物体識別データベースを参照することで判定している。従って、ステップＳ５０４において、事象検知部１０６は、物体検知部１０５による物体の判定結果を取得することで、ステップＳ５０２で検知された物体が人物か否かを判定する。

ステップＳ５０５（決定手順）において、事象検知部１０６は、ステップＳ５０４で人物と判定された物体が、監視対象の物体であるか否かを判定する。監視対象の物体は、マスク処理を解除するべき事象に関連する人物（非特定対象の物体）であり、マスク処理を解除するべき事象は使用者によって予め指定される。すなわち、事象検知部１０６は、ステップＳ５０５において、クライアントで監視すべき監視対象の物体である人物をクライアントにおいて特定可能にすることを決定する。

例えば、マスクを解除するべき事象として置き去りが指定されている場合に置き去りが検知されると、置き去りに関連する人物（置き去りを行った人物）が監視対象の物体となる。また、例えば、マスクを解除するべき事象として持ち去りが指定されている場合に持ち去りが検知されると、持ち去りに関連する人物（持ち去りを行った人物）が監視対象の物体となる。マスク処理を解除するべき事象は、複数指定することが可能である。

ネットワークカメラ１００は、ステップＳ５０２の物体検知結果とＳ５０３の事象検知結果に応じて、過去に検知された事象に関連する物体を記憶している。また、物体検知部１０５は、ステップＳ５０２の物体追尾処理によって、現在のフレームで検知された物体と、過去のフレームで検知された物体との関連付けを行っている。従って、事象検知部１０６は、ステップＳ５０４で人物であると判定された物体が監視対象の物体であるか否かを判定できる。ステップＳ５０４で人物であると判定された物体が、ステップＳ５０５において監視対象の物体でないと判定された場合、事象検知部１０６は、当該物体の表示位置情報を画像保護部１０２に通知する。

ステップＳ５０６（処理手順）において、画像保護部１０２は、マスク処理を行う。すなわち、ステップＳ５０６において、画像保護部１０２は、物体検知部１０５により検知された非特定対象の物体（人物）の表示を変更するための変更処理（マスク処理）をする。ステップＳ５０６で変更処理される物体は、ステップＳ５０２で検知され、ステップＳ５０４で人物と判定された物体のうち、ステップＳ５０５で監視対象の物体ではないと判定された物体である。

ステップＳ５０７において、物体検知部１０５は、ステップＳ５０２で検知した全ての物体についてステップＳ５０４からＳ５０６までの処理を終了したかどうかを判定する。終了していないと判定された場合（Ｓ５０７でＮ）、物体検知部１０５は、Ｓ５０４に戻って次の物体に対してステップＳ５０４の判定を行う。一方、終了したと判定された場合（Ｓ５０７でＹ）、符号化部１０３がステップＳ５０８で現在のフレームの画像データの符号化処理を行なう。そして、ステップＳ５０９において画像送信部１０４は、符号化部１０３により符号化された画像データを画像要求のあった表示装置２００、録画サーバに対して送信する。

次に図６を用いて、物体検知部１０５による物体検知処理と物体追尾処理を説明する。これらの処理は、図５のステップＳ５０２の処理に対応する。なお、本形態の物体検知部１０５は、背景差分を用いた物体検知処理を行う。背景差分とは、現在の画像を過去の画像から生成した背景モデルと比較することによって物体を検知する手法である。本実施形態ではＪＰＥＧの８画素×８画素の各ブロックのＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ、離散コサイン変換）係数から求めた複数の特徴量を、背景モデルに利用する。なお、ＪＰＥＧは、Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔ Ｇｒｏｕｐの略である。

また、特徴量としては、１ブロックから算出されるＤＣＴ係数の絶対値和や、隣接フレームの対応するブロックのＤＣＴ係数の各成分の差分和などがある。ただし、ＤＣＴ係数から背景モデルを求める方法に限らず、例えば、画素単位の濃度分布から背景モデルを求めて物体検知を行う手法なども利用可能である。

図６のステップＳ６０１において、物体検知部１０５は、撮影部１０１によって取得された画像データからＤＣＴ係数を算出して特徴量を抽出する。本形態の物体検知部１０５は、Ｙ，Ｕ，Ｖの各成分から求められるＤＣＴ係数のうち、低周波数成分から特徴量を抽出する。

ステップＳ６０２において、物体検知部１０５は、ステップＳ６０１で抽出された特徴量を既存の背景モデルと比較する。すなわち、物体検知部１０５は、ステップＳ６０２において、ステップＳ６０１で抽出された特徴量と、過去の複数のフレームから抽出された特徴量から求まる特徴量とを差分演算する。尚、本形態の物体検知部１０５は、過去のフレームから抽出された特徴量から、複数の背景モデル（モード）を生成している。つまり、物体検知部１０５は、過去の複数のフレームのそれぞれから抽出された特徴量のうち、類似した複数の特徴量が１つの背景モデル（モード）となるように、複数のモードを生成している。そして、物体検知部１０５は、ステップＳ６０１で現在のフレームから抽出された特徴量と、複数の背景モデル（モード）のそれぞれに対応する特徴量との差分演算を行う。

ステップＳ６０３において、物体検知部１０５は、ステップＳ６０２における差分演算の結果に基づいて、現在のフレームに類似するモードが存在するか否かを判定する。類似するモードが存在すると判定された場合（Ｓ６０３でＹ）はステップＳ６０４へ進み、物体検知部１０５は、類似するモードの特徴量を更新する。これはステップＳ６０１で新規に抽出された特徴量と、ステップＳ６０３で類似すると判定された既存の特徴量を一定比率で混合することによる。

一方、ステップＳ６０３において類似するモードが存在しないと判定された場合（Ｓ６０３でＮ）はステップＳ６０５に進み、物体検知部１０５は、特徴量を抽出したブロックが影か否かを判定する。物体検知部１０５は、特徴量の算出に用いたＹ，Ｕ，Ｖの各成分のうち、色に起因する成分（Ｕ，Ｖ成分）の変化が所定値以下である場合に影であると判定する。

ステップＳ６０５で影と判定された場合はステップＳ６０６に進み、物体検知部１０５が既存の特徴量を更新せずにステップＳ６０８に進む。一方、影でないと判定された場合はステップＳ６０７に進み、物体検知部１０５が新規のモードを生成してステップＳ６０８に進む。

ステップＳ６０８において、物体検知部１０５は、現在のフレームの全てのブロックの処理が終了したか判定する。すべてのブロックの処理が終了したと判定された場合はステップＳ６０９に進み、すべてのブロックの処理が終了していないと判定された場合はステップＳ６０１に戻り、物体検知部１０５は、未処理のブロックの処理を行う。

ステップＳ６０９において、物体検知部１０５は、現在のフレームの各ブロックを、背景ブロックと物体などの前景ブロックとに分離する。物体検知部１０５は、例えば類似する背景モデル（モード）がないと判定されたブロックを前景ブロックとする。また、物体検知部１０５は、例えば類似する背景モデルがあると判定されたブロックを背景ブロックとする。

ステップＳ６１０において、物体検知部１０５は、前景ブロックの隣接連結による領域生成処理を行う。すなわち、物体検知部１０５は、ステップＳ６０９で前景ブロックと判定した隣接するブロックを連結して前景ブロックの領域を生成する。

ステップＳ６１１において、物体検知部１０５は、小領域をノイズとして除去する。すなわち、ステップＳ６１０で生成された前景ブロックの領域の面積が所定面積以下である場合、当該領域を背景ブロックとみなすように処理する。

ステップＳ６１２において、物体検知部１０５は、前景ブロックの領域を物体として検知すると共に、検知された物体の物体情報を取得する。上述のように、画像データの送信先に送信される物体情報は、例えば、検知された物体の位置、面積、外接矩形、存在時間、物体の移動距離（軌跡長）、領域マスクの有無などのうちの少なくともいずれかの情報である。画像データの送信先に送信される物体情報のうち、例えば、存在時間の情報は、ステップＳ６１３の処理完了時に抽出可能である。また、マスク処理の有無に関する情報は、ステップＳ６１３の処理完了時、又は、後述する事象検知処理の完了時に抽出可能である。

また、ステップＳ６１２において、物体検知部１０５は、検知された物体が人物であるか否かを不図示の物体識別データベースを参照して判定する。例えば、物体検知部１０５は、検知した物体の画像パターンに、物体識別データベースに含まれる顔の画像パターンが含まれるか否かにより、物体が人物であるか否かを判定する。また、例えば、物体検知部１０５は、検知した物体の形状が、物体識別データベースに含まれる人物の形状に対応するか否かにより、物体が人物であるか否かを判定することも可能である。

ステップＳ６１３において、物体検知部１０５は、物体の追尾処理を行う。すなわち、物体検知部１０５は、ステップＳ６１３において、現在のフレームから検知された物体とそれよりも前のフレームから検知された物体とを関連付ける処理を行う。

なお、ステップＳ６１３で行われる物体追尾処理とは、フレーム内、及び、隣接するフレーム間における物体の関連付けを行う処理である。この関連付けには、物体の分離・統合による物体の関連付けを含む。すなわち、物体検知部１０５は、ステップＳ６１２で検知された物体と同じ画像特徴を持つ物体が以前のフレームから検知されていた場合、それらの物体を関連付ける。ここで画像特徴として、色分布、テクスチャ、テンプレート、アスペクト比などを利用することが可能である。

また、物体検知部１０５は、ステップＳ６１２で検知された物体と同じフレーム内の近接する物体と関連付ける。例えば、物体検知部１０５は、人物と、置き去られた物体を関連付ける。すなわち、物体検知部１０５は、検知された物体の表示位置に基づいて、複数の物体を関連付ける。

また、物体検知部１０５は、ステップＳ６１２で検知された物体と、それよりも前のフレームのほぼ同位置で検知された物体を関連付ける。すなわち、物体検知部１０５は、第１のフレームから検知された物体の表示位置と、それよりも前の第２のフレームで検知された物体の表示位置との距離が所定の距離以下である場合、それらを関連付ける。

また、物体検知部１０５は、ステップＳ６１２で検知された物体と同じ画像特徴をもつ物体も、ほぼ同位置で検知された物体も、これまでのフレームから検知されていない場合、ステップＳ６１２で検知された物体を新規物体として登録する。

例えば、図３における人物１１，２１，３１，４１は、それぞれ同じ画像特徴を持つ物体として、それぞれ関連付けられる。なお、人物が荷物を置き去りした場合、あるフレーム（第１のフレーム）で検知された複数の物体（人物と荷物）が、それより前のフレーム（第２のフレーム）で検知された物体（荷物を持った人物）から分離されたことがステップＳ６１３で検知される。この場合、物体検知部１０５は、第１のフレームで検知された複数の物体（人物と荷物）と、第２のフレームで検知された物体（荷物を持った人物）を関連付ける。

次に図７、図８を用いて、本形態の事象検知部１０６による事象検知処理について説明する。この処理は、図５のステップＳ５０３の処理に対応する。事象検知処理は物体の検知結果に基づいて、物体の置き去り、持ち去り、出現、消失などの事象を検知する処理である。本形態の事象検知部１０６は、物体検知部１０５で検知された物体の表示位置、面積、存在時間、移動距離が所定の範囲にあるか否かを判定することによって事象の発生を検知する。図８に事象を検知するための条件の設定例を示す。図８はＩＤ、設定値名、各内容の説明、値の例を示している。

本形態のネットワークカメラ１００は、事象を検知するための条件として、ルール名（ＩＤ００、ＩＤ０１）、有効フラグ（ＩＤ０２）、面積（ＩＤ０３、ＩＤ０４）、存在時間（ＩＤ０５、ＩＤ０６）を設定可能である。また、ネットワークカメラ１００は、移動距離（ＩＤ０７、ＩＤ０８）、条件合致物体数（ＩＤ０９、ＩＤ１０）、検知領域頂点数（ ＩＤ２０ ）、検知領域頂点情報（ＩＤ２１〜ＩＤ２８）を設定可能である。また、図示していないが、ネットワークカメラ１００は、物体検知部１０５により検知された物体が、分離された物体であるか、統合された物体であるか等を示すフラグを設定している。

事象検知部１０６は、上記の条件のうち、物体検知部１０５が検知した物体が満たした条件に基づいて事象の検知を行う。なお、事象検知部１０６は、物体検知部１０５によって関連付けられた物体を１つの物体として存在時間などの判定を行う。

例えば、事象検知部１０６は、画面内の所定範囲内で１つの物体から分離され、一定時間以上静止している物体が検知された場合、置き去りの発生を検知する。より具体的には、事象検知部１０６は、画面端ではない領域で１つの物体から分離され、存在時間が所定時間に達し、移動距離が所定距離以下の物体が検知された場合、置き去りを検知する。すなわち、事象検知部１０６は、ＩＤ２１〜２８で示される各頂点の座標、存在時間下限、移動距離上限の条件を満たし、分離されたことを示すフラグがオンになっている物体が検知された場合、置き去りを検知する。

また、事象検知部１０６は、面積が所定範囲内で、存在時間が所定時間に達し、移動距離が所定距離に達する物体が検知された場合、うろつきの発生を検知する。すなわち、事象検知部１０６は、図８の面積下限、面積上限、存在時間下限、移動距離下限の条件を満たす物体が検知された場合、うろつきを検知する。

また、事象検知部１０６は、以下の条件の新規物体が新たに検知された場合、持ち去りを検知する。すなわち、事象検知部１０６は、所定の検知対象領域との重複領域の面積と、検知対象領域の面積の割合が所定値以上で、検知対象領域との面積の差分が所定値以下で、存在時間が所定時間以上の新規物体を検知した場合、持ち去りを検知する。なお、事象検知部１０６は、検知対象物体の境界を囲むように検知対象領域を設定する。そして、検知対象物体の持ち去りが行われると、もともとの背景が露出し、それが新規物体として検知される。なお、検知対象領域で検知される新規物体の面積や外接矩形は、検知対象物体の面積や外接矩形とほぼ等しくなる。

すなわち、事象検知部１０６は、図８の面積下限、面積上限、ＩＤ２１〜２８で示される各頂点、存在時間下限の条件を満たす物体が検知された場合、持ち去りを検知する。ただし、上記の条件をいずれかを用いて持ち去りを検知することも可能である。なお、事象検知部１０６は、検知したい事象ごとに値を設定する。例えば、置き去りを検知するための条件としての存在時間と、うろつきを検知するための条件としての存在時間の値は、それぞれ別に設定する。

また、事象検知部１０６は、画面端で新規物体を検知した場合、出現を検知する。また、事象検知部１０６は、これまで検知されていた物体が画面端において検知されなくなった場合、消失を検知する。このように、事象検知部１０６は、物体検知部１０５によって検知された物体が、図８に示す条件のうちの少なくとも１つの条件を満たすか否かに基づいて、事象の発生を検知する。

図７は、事象検知部１０６による事象検知処理の流れを説明するためのフローチャートである。なお、事象検知部１０６は、検知する事象ごとに、ステップＳ７０１〜７０８の処理を行う。図７のステップＳ７０１において、事象検知部１０６は、物体検知部１０５によって検知された物体の表示位置が設定された範囲内にあるか判定する。具体的には、事象検知部１０６は、物体の表示位置（Ｘ座標とＹ座標）の上限と下限を事象ごとに予め設定しており、検知された物体の表示位置の値がその範囲内にあるか判定する。表示位置の判定を行わない場合は、事象検知部１０６は、表示位置の上限と下限をそれぞれとりうる値の最大値と最小値に設定する。これにより、検知された物体の表示位置が、常に条件に合致するようになる。

また、事象検知部１０６は、ステップＳ７０２で物体の画面上のサイズ（面積）について、ステップＳ７０３で存在時間について、ステップＳ７０４で移動距離について、それぞれ設定された範囲内にあるか判定する。事象検知部１０６は、判定を行う必要がない条件については、ステップＳ７０１と同様に、上限と下限をそれぞれ取り得る値の最大値と最小値に設定する。

ステップＳ７０５において、事象検知部１０６は、物体検知部１０５により検知された全ての物体に対して判定処理が終了したかどうかを判定する。すべての物体の判定が終了したと判定された場合は、ステップＳ７０６に進み、すべての物体の判定が終了していないと判定された場合はステップＳ７０１に戻り、別の物体の判定処理を行う。

ステップＳ７０６において、事象検知部１０６は、ステップＳ７０１〜Ｓ７０４の条件に合致する物体数が設定された範囲内であるか否かを判定する。例えば、ステップＳ７０１〜Ｓ７０４までの処理で置き去りの条件に合致すると判定された物体の数が２個で、置き去りについて設定された物体数の範囲が１〜５個である場合、事象検知部１０６は、条件に合致する物体数が設定された範囲内であると判定する。また、例えば、ステップＳ７０１〜Ｓ７０４までの処理で持ち去りの条件に合致すると判定された物体の数が６個で、持ち去りについて設定された物体数の範囲が１〜２個の場合、事象検知部１０６は、条件に合致する物体数が設定された範囲内でないと判定する。

ステップＳ７０６において、条件に合致する物体の数が設定された範囲内であると事象検知部１０６が判定した場合はステップＳ７０７に進む。一方、条件に合致する物体数が設定された範囲内でないと事象検知部１０６が判定した場合はステップＳ７０８に進む。

ステップＳ７０７において、事象検知部１０６は、事象判定結果を真（イベント状態ＯＮ）にする。図３の例において、事象検知部１０６は、検知された事象（置き去り）に関連する非特定対象の物体（人物３２）をクライアント（表示装置２００）において特定可能とすることを決定する。つまり、事象検知部１０６は、人物３２を画像保護部１０２による変更処理がされない状態で表示装置２００で表示可能となるように、人物３２の表示位置情報を画像保護部１０２に通知しないことを決定する。すなわち、ステップＳ７０７において、事象検知部１０６は、物体検知部１０５による物体の検知結果に基づいて特定される物体（物体３３）に関連する物体（人物３２）を、監視対象の物体として、クライアントで特定可能とすることを決定する。

また、事象検知部１０６は、物体検知部１０５により検知された人物のうち、ステップＳ７０７で監視対象の物体であると判定されていない非特定対象の物体が、クライアントにおいて特定されないように、物体のマスク処理をさせる。

ステップＳ７０８において事象検知部１０６はすべての事象についてステップＳ７０１〜７０７の処理を終了したか判定し、終了したと判定された場合は現在のフレームに対する事象検知処理を終了する。

なお、本形態のネットワークカメラ１００は、画像データの送信先であるビューワ（表示装置）や録画サーバに応じてマスク処理を解除するか否かを切り替える。例えば、画像保護部１０２は、通常のビューワに対しては、事象発生の有無に関係なく、すべての人物にマスク処理を施した画像データを送信する。一方、画像保護部１０２は、限定されたビューワに対しては、事象に関連する人物のマスク処理を解除する。さらに、画像保護部１０２は、管理者用のビューワに対しては、事象の有無に関係なく、常にすべての人物のマスク処理を解除した画像データを送信する。このように、ネットワークカメラ１００は、クライアント（ビューワ）の権限に応じて、事象に関連する非特定対象の物体のマスク処理を解除するか否かを切り替える。

また本実施形態では、物体検知部１０５に人体検知機能が備わる例を説明したが、人体検知機能が無い構成とすることも可能である。この場合、物体検知部１０５は、例えば図３において、人物２１，２２と荷物２３を、すべて物体２１，２２，２３として検知する。その結果、画像保護部１０２は、マスク領域２４，２５だけでなく、物体２６にも変更処理（マスク処理）を行う。また図４において、画像保護部１０２は、時刻ｔ４からｔ５までの間、物体ｃのマスク処理を行い、時刻ｔ５以降は物体ｃのマスク処理を解除する。

以上では、検知された事象に関連する人物の変更処理を解除することを中心に説明したが、本形態のネットワークカメラ１００は、事象検知前のフレームから検知された人物のうち、事象に関連する人物の変更処理を解除した画像データを送信することもできる。例えば、図４において、時刻ｔ５において置き去りが検知されると、画像送信部１０４は、時刻ｔ５以降の人物ｂの変更処理を解除した画像データを送信するが、これに加えて、時刻ｔ５以前の人物ｂの変更処理を解除した画像データを送信する。この場合、すでに送信したフレームと同じ再生順序（シーケンスナンバー）のフレームの画像データが表示装置２００に送信される。

表示装置２００は、すでに受信したフレームと同じ再生順序のフレームの画像データを受信し、その再生順序のフレームをまだ再生していない場合、あとに受信されたフレームの画像データを再生する。このようにすることで、検知された事象に関連する人物（監視対象の物体）を確認できる可能性が向上する。また、録画サーバの画像データを再生するときには、事象に関連する物体が変更処理されていない状態で表示できる。

この場合、事象検知部１０６は、図７のステップＳ７０７（決定手順）において、図４の時刻ｔ５のフレーム（第１のフレーム）で検知された事象（置き去り）に関連する物体（人物３２）をクライアントにおいて特定可能にすることを決定する。さらに、事象検知部１０６は、人物３２に関連付けられた物体であって、時刻ｔ５よりも前のフレーム（第２のフレーム）における物体（人物２２）を特定可能にすることを決定する。そして、事象検知部１０６は、第２のフレームの識別情報と、人物２２の表示位置情報を画像保護部１０２に通知する。画像保護部１０２は、すでに変更処理し、表示装置２００へ送信した第２のフレームの画像データから、人物２２の変更処理を解除した画像データを生成する。生成された画像データは、符号化部１０３、画像送信部１０４を介して、表示装置２００へ送信される。

すなわち、ステップＳ７０７において、事象検知部１０６は、物体検知部１０５による物体の検知結果に基づいて、第１のフレームの画像データから検知された物体のうち、監視対象の物体（事象に関連する人物）をクライアントにおいて特定可能にすることを決定する。また、事象検知部１０６は、第２のフレームの画像データから検知された物体であって、第１のフレームの画像データから検知された監視対象の物体に関連付けられた物体をクライアントにおいて特定可能にすることを決定する。

置き去り以外の事象の例として、うろつきが検知された場合について説明する。上述のように、うろつきは、検知物体の面積下限、面積上限、存在時間下限、移動距離下限の条件を満たす場合に検知される事象である。ステップＳ７０６において事象検知部１０６が人物Ａのうろつきを検知した場合、うろつきを検知したフレーム（第１のフレーム）よりも前のフレーム（第２のフレーム）から第１のフレームまでの間で検知された人物Ａの変更処理を解除することを決定する。すなわち、事象検知部１０６は、第１のフレームから検知された人物Ａに関連する物体が第２のフレームから第１のフレームまでの画像データから継続して検知される場合、当該関連する物体をクライアントで特定可能にすることを決定する。

また、置き去りが検知された場合について説明する。上述のように、置き去りは、物体の各頂点の座標、存在時間下限、移動距離上限の条件を満たし、分離されたことを示すフラグがオンになっている物体の検知に応じて検知される事象である。また、人物Ａが物体Ａを置き去った場合、置き去られた物体（物体Ａ）と置き去った物体（人物Ａ）は、物体検知部１０５によって関連付けられている。すなわち、第１のフレームよりも前の第２のフレームの画像データから検知された物体（人物Ａ）に関連付けられる複数の物体（人物Ａ、物体Ａ）が、第１のフレームから検知される。この場合、事象検知部１０６は、第１のフレームから検知された複数の物体の少なくとも１つ（人物Ａ）をクライアントで特定可能にすることを決定し、第２のフレームから検知された人物Ａを特定可能にすることを決定する。

また、持ち去りが検知された場合について説明する。上述のように、持ち去りは、検知対象領域との重複領域の面積と、検知対象領域の面積の割合が所定値以上で、検知対象領域との面積の差分が所定値以下で、存在時間が所定時間以上の新規物体を検知した場合に検知される事象である。すなわち、事象検知部１０６は、第３のフレームから第１のフレームまでの検知対象領域の画像データが、第２のフレームの検知対象領域の画像データと継続して異なる場合、事象検知部１０６は持ち去りを検知する。ここで第３のフレームは、第１のフレームと、それよりも前の第２のフレームの間のフレームである。

すなわち、第３のフレームは、第１のフレームよりも第１の所定フレーム数前の第２のフレームよりも後のフレームであって、第１のフレームよりも第２の所定フレーム数前のフレームである。なお、新たに検知された物体が持ち去りの条件を満たす場合、物体検知部１０５は、該新たに検知された物体に表示領域が近接（又は重複）した物体を、該新たに検知された物体と関連付けている。

ステップＳ７０６において、事象検知部１０６が第１のフレームにおいて物体Ｂの持ち去りを検知した場合、第１のフレームの画像データから検知された人物のうち、物体Ｂに関連付けられた人物をクライアントにおいて特定可能にすることを決定する。また、事象検知部１０６は、第２のフレームの画像データから検知された物体であって第１のフレームから検知された物体Ｂに関連付けられる物体をクライアントで特定可能にすることを決定する。

なお、画像保護部１０２は、物体検知部１０５によって検知された非特定対象の物体（人物）のうち、クライアントにおいて特定可能にする物体（監視対象の物体）以外の物体が、クライアントで特定されないように、変更処理（マスク処理）を行う。

上記のような構成により、例えば事象を検知した時点ですでに事象に関連する物体が消失してしまった場合であっても、事象に関連する物体を確認できる可能性を向上させることができる。

以上説明したように、本実施形態のネットワークカメラは、画像中で検知された人物を単位としてマスク処理すると共に、特定の事象に関連した人物のマスク処理を除外する。これにより検知された事象に関連する物体を確認できる可能性を向上させることができる。また、本形態のネットワークカメラによれば、プライバシーにも配慮したモニタリングシステムを構築できる。

＜実施形態２＞
次に第２の実施形態について、第１の実施形態との差異を中心に説明する。本形態におけるネットワークカメラ１５０と表示装置２５０の構成を図９に示す。なお、ネットワークカメラ１５０は、画像データのリクエストを行った表示装置２５０と不図示の録画サーバに対して画像データを送信する。

本形態のネットワークカメラ１５０は暗号化機能を備え、表示装置２５０（ビューワ）と録画装置は暗号化解除機能を備える。ネットワークカメラ１５０は各人物（非特定対象の物体）を暗号化した画像データを表示装置２５０に送信する。ネットワークカメラ１５０は、事象を検知すると、事象に関連する人物の暗号化を受信側が解除するための鍵情報を表示装置２５０や録画装置に送信する。表示装置２５０や録画装置は、ネットワークカメラ１５０から送られた鍵情報を用いて、人物の暗号化を解除して表示する。なお、本形態では、検知された人物を暗号化する例について説明するが、人物以外の物体を暗号化することも可能である。

第１の実施形態の画像保護部１０２は、プライバシー保護を目的として、モザイクやぼかしなどのマスク処理を行った。これに対し、本実施形態の画像保護部１１３は、暗号化を行う。この暗号化処理により、クライアント（表示装置２５０）において、人物が特定されなくなる。そして、ネットワークカメラ１５０は、事象の検知と表示装置２５０の権限に応じて、人物の暗号化を解除するための鍵情報を送付する。例えば、複数の表示装置２５０のうち、特定の権限を有する表示装置２５０に対しては、検知された事象に関連する人物の暗号化を解除するための鍵情報を送付する。一方、特定の権限を有しない表示装置２５０に対しては、事象が検知されても、その事象に関連する人物の暗号化を解除するための鍵情報を送付しない。

この手法によれば、権限が異なる複数の表示装置２５０に画像データを送る場合であっても、複数の異なるストリームを生成することなく、画像データを送信できる。

図９において、符号化部１１２は、物体検知部１０５によって検知された非特定対象の物体（人物）を単位として符号化を行う。画像保護部１１３は、符号化部１１２によって符号化された各人物を暗号化する。画像保護部１１３は、各人物をそれぞれ異なる暗号化鍵で暗号化する。人物と暗号化に使用した暗号化鍵の対応は、暗号鍵データベース１１１に保存される。また鍵送信部１１４は、事象検知部１０６によって事象が検知されたときに、当該事象に関連する人物の暗号化を解除するための鍵情報を、表示装置２５０や、不図示の録画サーバに送信する。すなわち、鍵送信部１１４は、事象検知部１０６がクライアント（表示装置２５０）で特定可能にすると決定した物体の変更処理を画像保護部１１３が行う前の画像データを生成するための鍵情報を、表示装置２５０に送信する。

表示装置２５０は、鍵受信部２３０、保護解除部２３１を備えている点が第１の実施形態の表示装置２００と異なる。保護解除部２３１は、鍵受信部２３０によって受信された鍵情報を用いて、当該鍵情報に対応する人物の暗号化の解除処理を行う。

鍵情報のやり取りの手法として、例えば、以下の方法を用いることができる。すなわち、ネットワークカメラ１５０は、検知された事象に関連する人物の暗号化を解除するための鍵情報を、表示装置２５０との共通鍵を用いて暗号化して送信する。保護解除部２３１は、共通鍵で暗号化された鍵情報を受信すると、共通鍵を用いて復号化し、得られた鍵情報を用いて事象に関連する人物の暗号化を解除する。

他の方法として、鍵送信部１１４は、例えば、画像データのヘッダ領域に鍵情報を入れて送ることも可能である。また、例えば、鍵送信部１１４は、異常メッセージとして鍵情報を送ることも可能である。この場合、鍵送信部１１４は、ＳＯＡＰ（Ｓｉｍｐｌｅ Ｏｂｊｅｃｔ Ａｃｃｅｓｓ Ｐｒｏｔｏｃｏｌ）のメッセージ、ＳＭＴＰ（Ｓｉｍｐｌｅ Ｍａｉｌ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）によるメールへの添付などの方法で、鍵情報を送信する。

以上説明したように、本実施形態のネットワークカメラ１５０の画像保護部１１３は、画像データから検知された各人物が、画像データの送信先（表示装置２５０）で変更処理（暗号化）された状態で表示されるように、各人物をそれぞれ暗号化する。事象検知部１０６は、事象を検知すると、該事象に関連する人物（監視対象の物体）を特定するための特定情報を、鍵送信部１１４に通知する。鍵送信部１１４は、特定情報に対応する人物（監視対象の物体）の暗号化を解除するための鍵情報を暗号鍵データベース１１１から読み出して、表示装置２５０に送信する。すなわち、事象検知部１０６は、検知された事象に関連する人物（監視対象の物体）を画像保護部１１３による変更処理（暗号化）がされない状態で表示装置２５０で表示させると決定する。言い換えると、事象検知部１０６は、非特定対象の物体（人物）のうち、事象に関連する監視対象の物体をクライアント（表示装置２５０）において特定可能にすることを決定する。

表示装置２５０の画像受信部２２１は、ネットワークカメラ１５０から画像データを受信する。また、表示装置２５０の鍵受信部２３０は、ネットワークカメラ１５０から鍵情報を受信する。保護解除部２３１は、鍵受信部２３０が受信した鍵情報を用いて、画像受信部２２１が受信した画像データ中の人物のうち、事象に関連する人物の暗号化を解除する。これにより、画像表示部２２３は、ネットワークカメラ１５０において検知された事象に関連する物体（監視対象の物体）を、暗号化されていない状態で表示できる。

本実施形態によれば、例えば、検知された事象に関連する物体の変更処理を、表示装置が有するプライバシーに関する権限に応じて解除させる場合に、送信する画像データを統一することができる。すなわち、本形態のネットワークカメラ１５０の鍵送信部１１４は、プライバシーに関する権限を有する表示装置２５０には事象に関連する人物の暗号化を解除するための鍵情報を送信し、権限を有さない表示装置には鍵情報を送信しない。これにより、ネットワークカメラ１５０から、権限を有する表示装置と権限を有しない表示装置に対して同じ画像データを送信し、権限を有する表示装置でのみ、事象に関連する物体の変更処理を鍵情報によって解除した画像を表示可能にできる。

また、本実施形態によれば、表示装置２５０は、すでに受信された画像データ内の人物（非特定対象の物体）のうち、ネットワークカメラ１５０で検知された事象に関連する物体（監視対象の物体）の変更処理（暗号化）を解除することができる。

＜実施形態３＞
次に第３の実施形態について、第１、第２の実施形態との差異を中心に説明する。本形態では、画像処理装置を用いて処理の分散を行う。すなわち、ネットワークカメラで物体の検知処理を行い、画像処理装置で事象の検知や画像の保護処理を行う。これにより、ネットワークカメラの処理能力が不十分であっても、物体ごとの変更処理の切り替えを実現できる。本形態の画像保護部３０５が行う人物の変更処理は、第１の実施形態と同様のマスク処理とする。本実施形態のシステム構成を図１０に示す。本形態のシステムには、図１の構成に加えて、画像処理装置３００がある。

図１１は本実施形態のネットワークカメラ１６０、画像処理装置３００、表示装置２００の構成例である。なお、表示装置２００は第１の実施形態における表示装置と同様の構成である。

ネットワークカメラ１６０は、撮影部１０１、符号化部１０３、画像送信部１０４、物体検知部１０７、メタデータ送信部１０８、通信インターフェース１１０、不図示の物体識別データベースから構成される。本形態の物体検知部１０７は、物体識別データベースを参照することにより、検知した物体が、人物であるか否かを判定する。

メタデータ送信部１０８は、物体検知部１０７によって検知された物体の位置、面積（サイズ）、外接矩形などの物体情報を含むメタデータを生成し、画像処理装置３００に送信する。また、メタデータ送信部１０８は、物体検知部１０７によって人物であると判定された物体の個人を特定するために用いる顔検知情報を含むメタデータを生成し、画像処理装置３００に送信する。メタデータの内容などの詳細は後述する。

画像処理装置３００は、通信インターフェース３１０、メタデータ受信部３０２、物体追尾部３０３、事象検知部３０４、画像受信部３０１、画像保護部３０５、符号化部３０６、画像送信部３０７、個人認証データベース３１１から構成される。

メタデータ受信部３０２は、ネットワークカメラ１６０からメタデータを受信する。物体追尾部３０３は、第１の実施形態の物体検知部１０５と同様の物体追尾処理を行う。事象検知部３０４は、ネットワークカメラからのメタデータを用いて事象の発生を検知する。事象検知部３０４は、メタデータに顔検知情報が含まれる場合、個人認証データベース３１１を用いて個人を特定する。画像受信部３０１は、ネットワークカメラ１６０から画像データを受信し復号化する。画像保護部３０５、符号化部３０６、画像送信部３０７は、図２の画像保護部１０２、符号化部１０３、画像送信部１０４と同様である。

ネットワークカメラ１６０から画像処理装置３００に送信されるメタデータの内容を、図１２を用いて説明する。図１２には、ＩＤ、メタデータの識別子、メタデータの内容の説明、データの書式の例を示している。

メタデータは、フレーム情報（ＩＤ１０〜１３）、物体情報（ＩＤ２０〜２８）、物体領域マスク情報（ＩＤ３０〜３２）から構成される。フレーム情報はＩＤ１０から１３で記述される。ＩＤ１０は、これからフレーム情報が始まることを示す識別子である。ＩＤ１１はフレーム番号、ＩＤ１２はフレーム時刻、ＩＤ１３は物体の存在する空間のサイズを記述する。

物体情報は、ＩＤ２０から２８で記述される。ＩＤ２０は、これから物体情報が始まることを示す識別子である。ＩＤ２１は物体数、ＩＤ２２は物体サイズ、ＩＤ２３は外接矩形、ＩＤ２４は代表点、ＩＤ２５は存在時間、ＩＤ２６は軌跡長（移動距離）、ＩＤ２７は動き（物体の速度）を記述する。ＩＤ２１からＩＤ２８は物体（人物）ごとにデータが存在する。

代表点（ＩＤ２４）は、物体の表示位置を示す座標情報であり、重心点でもよい。存在時間（ＩＤ２５）は、物体が検知されてからの経過時間である。軌跡長（ＩＤ２６）は、画面上を物体が移動した距離である。動き（ＩＤ２７）は、物体の速度を示し、例えば、前フレームで検知された物体の表示位置を用いて求めることができる。物体識別結果（ＩＤ２８）は、人物、車、などの、物体を識別した結果である。

物体領域マスク情報は、ＩＤ３０から３２で記述される。ＩＤ３０はこれから物体領域マスク情報が始まることを示す識別子である。ＩＤ３１は圧縮方式であり、非圧縮や、ランレングス符号化などの可逆圧縮方式を示す。ＩＤ３２は、マスク処理された物体領域を、ブロック番号の配列で記述したものである。

なお、メタデータの送信方法として、メタデータをＸＭＬ形式で表現して画像とは別に送る方式や、バイナリ形式で表現して画像データに添付して送る方式がある。ＸＭＬの方式によれば、画像データとメタデータを別のフレームレートで送信することが容易に行えるという利点がある。すなわち、メタデータ送信部１０８は、ＸＭＬの方式を用いれば、例えば、１つのフレームから多数の物体が検知された場合に、１フレームに関するメタデータを複数に分けて送信することを容易に行える。一方、バイナリ形式の方式によれば、メタデータと画像データの同期を容易に行えるため、ＪＰＥＧなどの符号化方式に特に有効であるという利点がある。

図１３は、メタデータをＸＭＬ形式で表現した場合の例である。これは、１フレームから２つの物体が検知された場合のメタデータの例である。本形態のネットワークカメラ１６０は、このようなメタデータを送信することにより、画像処理装置３００で、事象の検知処理と、その結果に基づく監視対象物体のマスク処理の解除を行うことができる。

図１１に戻って、本実施形態における、ネットワークカメラ１６０、画像処理装置３００、表示装置２００間の処理の流れを述べる。ネットワークカメラ１６０は、画像データから物体検知、および、メタデータの生成を行い、符号化された画像データとメタデータを画像処理装置３００に送信する。

画像処理装置３００の画像受信部３０１は、受信した画像データを復号化する。また、物体追尾部３０３は、メタデータ受信部３０２により受信されたメタデータに基づいて、物体追尾処理を行い、事象検知部３０４は事象の検知処理を行う。物体追尾処理は、図６のステップＳ６１３の処理に対応する。また、事象の検知処理は、図７の処理に対応する。さらに画像保護部３０５は、第１の実施形態の画像保護部１０２と同様に変更処理（マスク処理）を行う。すなわち、画像保護部３０５は、ネットワークカメラ１６０の物体検知部１０７で検知された物体のうち、事象検知部３０４で検知された事象に関連する人物（監視対象の物体）を変更処理せず、検知された事象に関連しない人物を変更処理する。そして、符号化部３０６は、画像保護部３０５からの画像データを符号化し、符号化された画像データを画像送信部３０７が表示装置２００に対して送信する。これにより、表示装置２００は、事象に関連する物体（監視対象の物体）を変更処理されない状態で表示し、事象に関連しない非特定対象の物体（人物）を変更処理された状態で表示する。

なお、本実施形態の画像処理装置３００は、個人認証データベース３１１を搭載することにより、高度な事象判定処理を行う。すなわち、画像処理装置３００は、例えば、物体検知部１０７が個人認証データベース３１１に未登録の人物を検知したときのみ、当該人物を監視対象の物体と判定する。そして、画像処理装置３００は、監視対象の物体と判定された人物がクライアント（表示装置２００）で特定されないように変更処理する。

また、例えば、うろつきの条件を満たす人物が、個人認証データベース３１１に未登録であった場合のみ、事象検知部３０４は、うろつきが発生したと判定し、事象に関連する物体（うろついている人物）を変更処理されない状態で表示されるようにする。

以上説明したように、第１の実施形態のネットワークカメラが行う処理のうち、事象検知処理をネットワークカメラとは別の画像処理装置で行うことにより、カメラの処理リソースが不十分でも高度な事象検知処理を実現できる。

＜実施形態４＞
本実施形態では、実施形態１のネットワークカメラ１００と表示装置２００の構成を例にとって、置き去り検知以外の事象の検知に応じて変更処理（マスク処理や暗号化）を解除することについて詳細に説明する。

例えば、持ち去りが検知された場合、事象検知部１０６が持ち去りを検知したときには、持ち去りを行った人物は、すでに検知対象物体１（持ち去られた物体）が存在していた位置から離れている。しかしながら、物体検知部１０５の追尾処理により、持ち去り後に検知対象物体１の領域に出現した物体と持ち去り行為を行った人物とが関連付けられているため、持ち去り行為を行った人物をクライアントにおいて特定可能にすることができる。

また、物体検知部１０５が複数人物の集合を検知した場合、事象検知部１０６は、集合した人物がどこから来てどこに行ったのかを確認できるように、それらの人物の変更処理を解除することを決定する。すなわち、事象検知部１０６は、検知対象領域における人物の数を計数し、一定人数以上になった場合には集合イベントとして検知する。また、事象検知部１０６は、集合イベントを検知したときに検知対象領域に存在した人物が、画面外に退出するまで、変更処理（マスク処理、暗号化）を解除することを決定する。このようにすることで、画像データを受信するクライアントにおいて事象（集合イベント）に関連する人物を特定することが可能になる。

また、検知すべき事象の例として、ひったくりや暴行などの傷害行為がある。このような傷害行為に関連する人物を特定できるようにするため、本形態の事象検知部１０６は、傷害行為を検知する。事象検知部１０６は、例えば、２人の人物が近づいてから所定時間以上静止した後、一方の人物が画面外へ出て行き、他方の人物が静止を続けていることが物体検知部１０５により検知された場合、傷害行為を検知する。

このようにすることで、事象検知部１０６は、例えば、以下のようなシーンが発生したときに、傷害行為の発生を検知することができる。すなわち、人物１が人物２の背後から近づき、十数秒間の傷害行為に及んだ上で、画面外に逃走する。一方、人物２はその場にうずくまり動かない。

また、事象検知部１０６は、上記のような傷害行為の発生を検知した場合、人物１、人物２双方の変更処理を解除する。すなわち、事象検知部１０６は、傷害行為に関連する物体（人物１、２）を画像保護部１０２による変更処理が行われない状態で表示装置２００で表示させることを決定する。言い換えると、事象検知部１０６は、物体検知部１０５により検知された非特定対象の物体（人物）のうち、傷害行為に関連する人物（人物１、２）を、監視対象の物体として、クライアント（表示装置）で特定可能にすることを決定する。

以上説明したように、本形態の事象検知部１０６は、複数の物体や人物の検知状況に基づいて様々な事象を検知できる。そして当該事象に関連した人物の変更処理を解除することで、事象に関連する人物をクライアントにおいて特定きるようになる。

なお、本形態の画像保護部１０２は、物体検知部１０５によって検知された物体のうち、人物を変更処理する場合の例について説明したが、人物以外の物体も変更処理し、事象に関連する人物、及び物体の変更処理を解除する構成も可能である。例えば、事象に関連しない車のナンバープレートや家の表札は、クライアントで特定されないように変更処理し、事象に関連するナンバープレートや表札は、変更処理を解除することにより、クライアントで特定可能にすることができる。これにより、プライバシー保護と共に、事象に関連する物体の監視が可能となる。

＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (10)

1. 画像データをクライアント装置に送信する画像処理装置であって、
   画像データに基づいて物体を検知する物体検知手段と、
   前記物体検知手段の検知結果に基づいて事象の発生を検知する事象検知手段と、
   前記事象検知手段が事象の発生を検知したフレームより前のフレームの画像データから前記物体検知手段により検知された人物は、前記クライアント装置において特定できないように、画像データを処理する処理手段とを有し、
   前記処理手段は、
   フレームの画像データから前記物体検知手段により人物でないと判定された物体は、前記クライアント装置において特定できるように、画像データを処理し、
   前記フレームの画像データから前記物体検知手段により人物でないと判定された物体に基づいて前記事象検知手段が事象の発生を検知した場合、
   前記事象の発生を検知したフレームより前のフレームにおいて前記事象の発生を検知する元になった物体と関連付けられた第１の人物は、前記事象の発生を検知した以降は、前記クライアント装置において特定できるように、画像データを処理し、
   前記事象の発生を検知したフレームより前のフレームにおいて前記事象の発生を検知する元になった物体と関連付けられていない第２の人物は、前記事象の発生を検知した以降も、前記クライアント装置において特定できないように、画像データを処理する
   ことを特徴とする画像処理装置。
2. 前記処理手段は、前記事象の発生を検知する元になった物体と前記第１の人物を関連付ける追尾処理を行う
   ことを特徴とする請求項１記載の画像処理装置。
3. 前記処理手段は、前記画像データ中の人物が前記クライアント装置において特定できないように、画像データを変更処理する
   ことを特徴とする請求項１記載の画像処理装置。
4. 前記第１の人物は、前記事象の発生を検知したフレームより前のフレームにおいて前記事象の発生を検知する元になった物体と分離したことが検知された
   ことを特徴とする請求項１記載の画像処理装置。
5. 前記処理手段は、前記クライアント装置において特定できるようにする物体に対応する画像データは変更処理しない
   ことを特徴とする請求項１記載の画像処理装置。
6. 前記処理手段は、画像データ中の人物を前記クライアント装置において特定できるようにするための鍵情報を、前記クライアント装置に送信することを特徴とする請求項１記載の画像処理装置。
7. 画像データをクライアント装置に送信する画像処理装置が行う画像処理方法であって、
   画像データに基づいて物体を検知する物体検知工程と、
   前記物体検知工程の検知結果に基づいて事象の発生を検知する事象検知工程と、
   前記事象検知工程が事象の発生を検知したフレームより前のフレームの画像データから前記物体検知工程により検知された人物は、前記クライアント装置において特定できないように、画像データを処理する処理工程とを有し、
   前記処理工程は、
   フレームの画像データから前記物体検知工程により人物でないと判定された物体は、前記クライアント装置において特定できるように、画像データを処理し、
   前記フレームの画像データから前記物体検知工程により人物でないと判定された物体に基づいて前記事象検知工程が事象の発生を検知した場合、
   前記事象の発生を検知したフレームより前のフレームにおいて前記事象の発生を検知する元になった物体と関連付けられた第１の人物は、前記事象の発生を検知した以降は、前記クライアント装置において特定できるように、画像データを処理し、
   前記事象の発生を検知したフレームより前のフレームにおいて前記事象の発生を検知する元になった物体と関連付けられていない第２の人物は、前記事象の発生を検知した以降も、前記クライアント装置において特定できないように、画像データを処理する
   ことを特徴とする画像処理方法。
8. 前記第１の人物は、前記事象の発生を検知したフレームより前のフレームにおいて前記事象の発生を検知する元になった物体と分離したことが検知された
   ことを特徴とする請求項７記載の画像処理方法。
9. 画像データをクライアントに送信するコンピュータに、
   画像データに基づいて物体を検知する物体検知手順と、
   前記物体検知手順の検知結果に基づいて事象の発生を検知する事象検知手順と、
   前記事象検知手順が事象の発生を検知したフレームより前のフレームの画像データから前記物体検知手順により検知された人物は、前記クライアント装置において特定できないように、画像データを処理する処理手順とを実行させ、
   前記処理手順は、
   フレームの画像データから前記物体検知手順により人物でないと判定された物体は、前記クライアント装置において特定できるように、画像データを処理し、
   前記フレームの画像データから前記物体検知手順により人物でないと判定された物体に基づいて前記事象検知手順が事象の発生を検知した場合、
   前記事象の発生を検知したフレームより前のフレームにおいて前記事象の発生を検知する元になった物体と関連付けられた第１の人物は、前記事象の発生を検知した以降は、前記クライアント装置において特定できるように、画像データを処理し、
   前記事象の発生を検知したフレームより前のフレームにおいて前記事象の発生を検知する元になった物体と関連付けられていない第２の人物は、前記事象の発生を検知した以降も、前記クライアント装置において特定できないように、画像データを処理する
   ことを特徴とするプログラム。
10. 前記第１の人物は、前記事象の発生を検知したフレームより前のフレームにおいて前記事象の発生を検知する元になった物体と分離したことが検知された
    ことを特徴とする請求項９記載のプログラム。

Images