JP6293571B2 - 監視方法及びカメラ - Google Patents

Description

本発明は、カメラ及びシーンを監視する方法に関する。

カメラは、屋内及び屋内両方の多数の異なる応用において、様々な環境を監視するために使用されている。複数の窓を有する建物を監視するが、窓から建物の中を監視してしまうのを回避する必要がある場合等、特定の状況では、撮像された画像のある部分を別の部分とは別に処理する必要があり得る。このような例では、グラフィカルユーザインタフェースにおいて、画像上でマスクするべき窓をマークすることによって、プライバシーマスクを定義してよい。パン、ティルト及び／又はズームが可能なカメラに関しては、プライバシーマスクをＰＴＺ座標系で定義してよい。

画像のある部分をマークする必要がある別の例は、カメラが画像の選択された領域のみにおいて運動を検知し、画像の残りの部分におけるいずれの運動を無視するべきである状況である。これは、オペレータが例えばユーザインタフェースにおいて画像の領域をマークすることによって選択を行うことで解決され、画像のこの領域（上部又は下部等）は、運動の検知からは除外されることになる。

しかしながら、この領域に関する改善は今なお関心の対象である。

本発明の目的は、特定のタイプの処理のために画像の一部分を選択する、改善された方法を提供することである。

本発明の第１の態様によると、カメラでシーンを監視する方法は、以下のステップ：
所定のスペクトルコンテンツ及び空間検証パターンを有する光を用いてシーンの一部分をマークするステップ；
上記所定のスペクトルコンテンツに対して感度の良いセンサによって、シーンの分析画像を撮像するステップ；
上記所定のスペクトルコンテンツに基づいて上記分析画像を分割し、候補画像領域を見出すステップ；
上記候補画像領域において空間パターンを検知するステップ；並びに
検知した空間パターンの特徴と、上記空間検証パターンの対応する特徴とを比較し、これら特徴が適合する場合：
上記候補画像領域を、シーンのマークした部分に対応する検証済み画像領域として識別し；
シーンを表す画像データを取得し；及び
検証済み画像領域に対応する画像データを第１の様式で処理し、残りの画像データを第２の様式で処理するステップ
を実行するステップを含む。

このようにして画像の領域を定義でき、この画像領域は、柔軟かつ単純な、不正変更に対する耐性も有する様式で、画像の残りと異なるように処理されることになる。この方法は、ユーザインタフェースにおいて画像の一部分を選択することによって画像の一部分をマークする従来技術の方法に対して少なくとも１つの有意な差異を提供し、本発明の方法によるマーキングは従来技術と違って、シーンそれ自体の内に物理的に定義される。従って、例えば光源をシーンの適切な位置に設置することにより、深さパラメータを考慮に入れることができるため、マークした領域のより柔軟な定義が提供される。

本方法は例えば、カメラからある程度の距離にあるシーンの一部、例えば店舗の内部を隠しながら、マスクした部分とカメラとの間、即ち店舗の外部領域にある事物をカメラが捉えられるようにすることが望まれる状況において有用である。これは特に、例えば光源を店舗のエントランスドアに設置することによって達成できる。

マーキングを用いてプライバシーマスクを生成する状況において、空間検証パターンは、侵入者が、侵入者の行動を隠すために画像の一部分を覆い隠そうとする場合等、生成されているシーンの「誤」マーキングのリスクを低減する。仮に侵入者が正しい空間スペクトルを有するトーチライトを用いて、オペレータが定義したものではないプライバシーを生成しようとしても、侵入者が空間検証パターンを複製するのは極めて困難である。

分析画像から画像データを取得してよく、又はその代替として、本方法は更に、上記所定のスペクトルコンテンツに対して不感度性のセンサによって監視画像を撮像して、監視画像から画像データを取得するステップを更に含んでよい。後者の代替例は例えば、ユーザに見える画像内に上記所定のスペクトルコンテンツを含めることが望ましくない場合に有用である。

本方法は更に、時間変調シーケンスに応じて、少なくとも１つの第１の空間検証パターンと少なくとも１つの第２の空間検証パターンとの間で前記空間検証パターンを変調するステップ、並びに前記時間変調シーケンスに応じて、前記第１の空間検証パターン及び前記第２の空間検証パターンのそれぞれを用いて、マークするステップ、撮像するステップ、分割するステップ、検知するステップ及び比較するステップを反復するステップを含む。

本方法はまた、セキュリティを向上し、不正変更のリスクを低減し、カメラがシーンのマークしていない領域をマークした領域と間違える、又はその逆のリスクを低減する助けとなる。

検知した空間検証パターンの特徴は、検知したパターンの空間周波数と、過去に検知したパターンの空間周波数との間の比であってよく、空間検証パターンの特徴は、第１の空間検証パターンの空間周波数と、第２の空間検証パターンの空間周波数との間の比であってよい。これにより、本方法の堅牢性及び効率が改善され、画像領域の候補の画素のより小さいパッチを比較できるようになる。またこれにより、シーン内の対象上の空間パターンが、監視カメラ及び光源からのこれら対象の距離に応じて異なって見えるという潜在的な問題も解決される。

擬似乱数列に基づいて時間変調シーケンスを生成することにより、本方法の安全性を単純かつ効率的な様式で更に向上させることができる。

空間検証パターンは、１つ又は複数のカメラに関連する署名パターンであってよい。このようにして、上記特定のカメラに適合された光源を用いて、監視目的で使用するカメラを準備してよく、カメラはシーン内の、そのカメラの特定の署名パターンを用いてマークしたこれらの領域のみを、第１の様式で処理するよう構成される。これにより、特にプライバシーマスクを目的としてマーキングを使用する際に、セキュリティを更に向上する。

２つ以上のカメラの署名パターンとして機能する空間検証パターンは、同一のシーンを監視するように一群のカメラを設定して、全てのカメラに対してシーンの同一の部分をマークする状況において有用である。このような場合、シーンのマークした部分をカメラに知らせるために必要な時間は、オペレータが各カメラに対してその視野内に座標を定義することによって各単一のカメラに関するシーンのマークした部分を定義する場合に比べて低減される。

処理の第１の様式は、ぼかし又は画像置換等によって検証済み画像領域に対応する画像データを表示されないよう隠し、それによってシーンのマークした部分にプライバシーマスクを提供するステップを含んでよい。上述のように、これは例えば、店舗の内部を隠しながら外部を監視できるようにすることが望ましい場合に有用である。代替として、処理の第２の様式は、ぼかし又は画像置換等によって残りの画像データを表示されないよう隠し、それによってシーンのマークした部分のみを表示するステップを含んでよい。これは、ＡＴＭから現金を引き出す人物及びその近傍の人物等、カメラの近傍にある対象のみを監視し、その一方で周囲を無視することが望ましい場合に有用である。

記憶された背景画像を、画像置換のために使用してよい。これによって、対象の位置を容易に認識できる画像を提供することにより、オペレータにユーザフレンドリーな体験を提供する。

処理の第１の様式は、検証済み画像領域に対応する画像データを運動検知ユニットへの入力に含めるステップを含んでよく、処理の第２の様式は、残りの画像データを運動検知ユニットへの入力から排除するステップを含んでよい。

代替として、処理の第２の様式は、残りの画像データを運動検知ユニットへの入力に含めるステップを含んでよく、処理の第１の様式は、検証済み画像領域に対応する画像データを運動検知ユニットへの入力から排除するステップを含んでよい。

処理の第１の様式は、検証済み画像領域に対応する画像データを、人間、動物、車両、ナンバープレート、文字若しくは視覚情報又は他のタイプの対象を検知又は識別するよう配設された対象検知ユニットへの入力に含めるステップを含んでよく、処理の第２の様式は、残りの画像データを対象検知ユニットへの入力から排除するステップを含んでよい。あるいは、処理の第２の様式は、残りの画像データを、人間、動物、車両、ナンバープレート、文字若しくは視覚情報又は他のタイプの対象を検知又は識別するよう配設された対象検知ユニットへの入力に含めるステップを含んでよく、処理の第１の様式は、画像データを対象検知ユニットへの入力から排除するステップを含んでよい。

これらの代替例の全てを組み合わせて又は単独で用いることで、監視されるシーンの特定の物に監視を適合させる好機がもたらされる。

処理の第１の様式は、検証済み画像領域を表す画像データを第１の圧縮率で圧縮するステップを含んでよく、処理の第２の様式は、残りの画像データを第２の圧縮率で圧縮するステップを含んでよく、ここで第１の圧縮率は第２の圧縮率と異なる。

このようにして、画像の関心が低い部分を高い圧縮率で伝送又は保存することによって、帯域幅を節約できる。

本発明の第２の態様によると、シーンを監視するよう配設されたカメラは：
所定のスペクトルコンテンツを感知してシーンの分析画像を撮像するよう配設された、センサ；及び
画像処理ユニットであって：
上記所定のスペクトルコンテンツに基づいて分析画像を分割し、候補画像領域を見出し
上記候補画像領域において空間パターンを検知し；
検知した空間パターンの特徴と、空間検証パターンの対応する特徴とを比較し、これら特徴が適合する場合：
上記候補画像領域を、シーンのマークした部分に対応する検証済み画像領域として識別し；
シーンを表す画像データを取得し；
検証済み画像領域に対応する画像データを第１の様式で処理し、残りの画像データを第２の様式で処理する
よう配設された、画像処理ユニット
を備える。

センサは、所定のスペクトルコンテンツを有する光に対して感度が良い第１のセンサ要素群、及び所定のスペクトルコンテンツを有する光に対して不感度性の第２のセンサ要素群を備えてよい。

本発明の第３の態様によると、シーンを監視するためのカメラシステムは、所定のスペクトルコンテンツ及び空間検証パターンを有する光を用いてシーンの一部分をマークするよう配設された光源、並びに上述のようなカメラを備える。

このカメラシステムは更に、時間変調シーケンスを生成して、照明ユニット及びカメラに対して同期した形で時間変調シーケンスを伝送するよう配設された、時間変調器を備えてよい。

本発明の第４の態様によると、処理性能を有するデバイス上で実行された場合に本明細書に記載の方法を実装するためのプログラムが記録されたコンピュータ可読記録媒体を設ける。

本発明のこれら第２〜４の態様は、本発明の第１の態様に対応する利点を提供する。

本発明の応用可能性の更なる範囲は、以下の詳細な説明から明らかとなるであろう。しかしながら、詳細な説明及び具体的な実施例は、本発明の好ましい実施形態を示してはいるものの、これらは単なる例として挙げたものであり、当業者にとって、本発明の範囲内における様々な変更及び改変は、この詳細な説明から明らかとなるであろう。

従って本発明は、本明細書で説明するデバイスの特定の構成部品又は本明細書で説明する方法の特定のステップに限定されず、このようなデバイス及び方法は変更してよいことを理解されたい。また、本明細書で使用される用語法は、特定の実施例を説明する目的でのみ使用されるものであり、限定を意図したものではないことも理解されたい。本明細書及び添付の請求項で使用されているように、冠詞「ａ」「ａｎ」「ｔｈｅ」及び「ｓａｉｄ」は、文脈によってそうではないと明らかに規定されない限り、複数の要素のうちの１つ又は複数を意味することを意図したものであることに留意しなければならない。従って、例えば「ある領域（ａ ｒｅｇｉｏｎ）」又は「その領域（ｔｈｅ ｒｅｇｉｏｎ）」に関する言及は、複数の領域を含んでよく、その他についても同様である。更に、単語「…を備える（ｃｏｍｐｒｉｓｉｎｇ）」は、他の要素又はステップを排除するものではない。

関連する概略図を参照して、本発明を例示的により詳細に説明する。

図１は、カメラがシーンを監視している状況を示す。 図２は、カメラがシーンを監視している別の状況を示す。 図３は、本発明による方法を示す。 図４は、カメラの概略図である。

図１及び２は、本発明による方法及び装置を使用できる２つの例示的な状況を示す。図１は、街路に向かって大型窓３及びガラス製ドア５を有する建物１を示す。建物１は例えば、ガラス製ドア５を通って入る店舗を含み、通過する人々は、ガラス製ドア５及び窓３を通して店舗の内部を見ることができる。

閉店時間中の店内のセキュリティを向上するために、カメラ７を含むカメラシステム６は、建物１の外部を監視し、例えば住居侵入の試みを発見して止めることができる。しかしながら、プライバシーを理由として並びに必要な画像処理及び映像記憶量を低減するために、カメラ７が店舗の内部を見ることを関心の対象としない。上記の問題は、ドア５及び窓３を描く画像の領域を内包する、撮像した画像上に、プライバシーマスクを重ねることによって解決できる。

プライバシーマスクは、ぼかされた若しくはグレーアウトされた、若しくは何らかの様式でユーザに見えない画像の領域である。しかしながら、発明者が実現したように、これはカメラ７と内包される実際の領域（窓等）との間の領域に関心の対象９が存在する場合に問題を引き起こし得る。一例は、前景のいずれの部分を覆うことなく、背景のある領域に対してプライバシーマスクを追加する必要がある場合である。ユーザインタフェースにおいて画像の特定の領域をマークすることによって、カメラから受信した画像においてプライバシーマスクを定義する際、これは困難である。

店舗のオーナーにとって店舗内部領域を監視する必要があるものの、このオーナーが店舗外部領域を監視する許可を有していない場合、同様の状況が発生する。従って、カメラからの映像において、窓及びドアを通した外部環境の視野を、プライバシーマスクによってマスクする必要がある。しかしながら、監視カメラとドア又は窓との間に位置する、カメラからの映像において見えるようにするべき店舗内の関心部分はそれでも存在し得る。

これらの問題に対処するために、本発明者らは、シーンの一部分即ちシーン自体を物理的にマークして、このマーキングを例えばプライバシーマスクの基礎として使用するための方法を設計した。これは、所定の特徴を有する光、より具体的には所定のスペクトルコンテンツ及び空間検証パターンを有する光を用いて、シーンの適切な部分を照明することによって実現される。

この文脈において、スペクトルコンテンツとは、光の波長の特定の１つ又は複数の間隔として解釈するべきものであり、例えば近赤外光（ＮＩＲ）は７５０〜１０００ｎｍの間隔等、約８５０ｎｍの間隔の波長を有する。別の例は、例えば約２００ｎｍの波長を有する紫外線光（ＵＶ）である。光は、人間の目に視認できるものであってもできないものであってもよい。

市松模様パターン、ドット、特定の空間周波数即ち単位長あたりのライン数を有してよいライン等を含んでよい空間検証パターンに応じて、光が放出される。空間検証パターンは、例えばこの空間周波数、ライン幅又はライン幅とライン間距離との比といった、様々な特徴によって特徴付けられ得る。２つのパターンを比較する場合、各パターンのこのような特徴を生成して比較のために使用してよい。２つのパターンの特徴の比較は多くの様々な方法で実施してよく、また、特徴は、パターン自体の全体又はパターンの一部であってよい。

光は１つ又は複数の光源１１によって提供され、この光源１１はカメラシステム６に含まれる。図１では、光源１１はドア５及び窓３を照明するために設置される。光源１１は、シーン及び使用ケースに応じて、シーン及びカメラに対して様々な位置に配置してよい。光源１１は例えば、カメラ７上若しくはカメラ７の近傍に配置してよく、又はマークするべきシーンの一部分の近傍に配置してよい。

図４により詳細に示すように、カメラ７は画像処理ユニット１０を備える。画像処理ユニット１０は、光源９が提供する光の特徴を認識するよう構成される。画像処理ユニット１０もまた、ビデオエンコーダ又はカメラからの映像を受信するサーバ等、いずれの場所に配置してよい。

カメラはセンサ１２によって画像を撮像する。本明細書で説明する方法に関して、画像の撮像のために基本的に２つの主要なオプションが存在する。シーンのマークした部分に対応する画像領域を見出すための分析及びユーザに対する表示の両方のために、単一の画像を使用してよく、又は２つのタイプの画像、即ち分析目的のみに使用される画像及び「通常の」画像を使用してよい。本文脈における「通常の（ｎｏｒｍａｌ）」は、ユーザが通常見る様式にシーンを描画する画像として理解されたい。

本出願の文脈において、分析目的に使用される画像を分析画像、ユーザに対して表示するために使用される画像を監視画像と呼ぶ。１つのタイプの画像のみを撮像する第１の場合、分析画像及び監視画像という用語は単一の画像を指すことになる。

２つのタイプの画像を撮像する場合、センサ１２は、光源１１からの光の所定のスペクトルコンテンツに対して感度が良く、従って分析画像を撮像する第１のセンサ要素群、及び同一のスペクトルコンテンツに対して不感度性であり、従って上述の監視画像を撮像する、第２のセンサ要素群を備えてよい。これは、２つのセンサ、即ち第１のセンサ要素群を備えるセンサ及び第２のセンサ要素群を備えるセンサを備えるカメラとしても見ることができる。

第１の群からのセンサ要素は第２の群のセンサ要素の間に散在してよく、又は２つの群は２つの別個の位置に配置されていてもよい。２つのセンサ要素群は例えば、好ましくは互いに近接して配置された２つの別個のカメラに配置してよい。

第１のセンサ要素群及び第２のセンサ要素群を得るための１つの方法は、所定のスペクトルコンテンツの光を通すことができるが、他のスペクトルの部分を除去できる１つ又は複数のフィルタによって、第１の群のセンサ要素に届く光をフィルタリングし、所定のスペクトルコンテンツを有する光のみを除去する１つ又は複数のフィルタによって、第２の群のセンサ要素に届く光をフィルタリングすることである。

別の代替例として、所定のスペクトルコンテンツ、即ち光源１１からの光をフィルタリングして除去するためにオン／オフでき、これによってカメラ７が、所定のスペクトルコンテンツを有する画像と有さない画像を交互に撮像できるようにする、フィルタを設けてよい。

これらのオプション全てによって、カメラは、所定のスペクトルコンテンツの光を含む第１のタイプの画像及びこのスペクトルコンテンツを含まない第２のタイプの画像、即ちシーンのマーキングが見られない「通常の」画像の両方を撮像できることになる。

更に、光源１１を制御してオン／オフし、含まれる光源からマークのない参照画像を撮像できるようにすることによって、分析画像の品質を更に改善できる。続いてこの参照画像を第１のタイプの画像から差し引いて、検知した空間パターンのよりはっきりした写真を得ることができる。光がオン／オフになる時をカメラが知ることができるようにするために、光源は、シーンの現在のマーキングのカメラに通知してよく、又は代替として、光源及びカメラの両方が、別の実体からこの情報を受信してよく、この受信した情報に応じて光源が制御されることになる。第３の代替例としては、カメラが情報を生成し、これに対応する命令を光源に送信してよい。

分析画像を撮像したら、画像処理ユニット１０によって所定のスペクトルコンテンツに基づいてこの画像を分割し、所定のスペクトルコンテンツを含むいずれの領域を見出す。見出された１つ又は複数の領域を、候補画像領域と呼ぶ。上述のように、所定のスペクトルコンテンツを有する光が光源１１以外の源を有する場合があるため、用語「候補」は、見出された画像領域が光源からの光に対応するかどうかがこの時点において不明であることを強調するために使用されている。

続いて候補画像領域の空間パターンを検知し、上述のように、見出された空間パターンの特徴を、光源の空間検証パターンの対応する特徴と比較する。これらが適合する場合、候補画像領域を、シーンのマークした部分に対応する検証済み画像領域として識別する。

次に、検証済み画像領域の位置又は座標を用いて、分析画像と同一であるか又は別個に撮像した画像である監視画像の画像データを、シーンのマークした部分に対応する、第１の様式で処理される画像データと、残りの画像データ、即ちシーンのマークした部分に対応しない、第２の様式で処理される画像データとに分割する。

そして、第１の様式及び第２の様式の画像処理を行った後、ユーザに監視画像を提示してよい。

別個の監視画像を撮像する場合、分析画像及び監視画像は通常同一の座標系を使用し、これによって、監視画像において正しい画像領域を見つけやすくすることができることに留意されたい。センサ要素の２つの群を互いに更に離間させて配置する必要がある場合、画像領域の座標は、分析画像から監視画像へと変形されることになる。

ここで図示した実施例に戻る。シーンのマークした部分１４、即ち光源１１によって照明されたシーンの部分に対応する、画像の検証済み画像領域が見出された場合、画像処理ユニット１０によって、この画像領域を残りの画像とは異なる様式で処理する。この具体的な実施例では、画像領域をぼかすか又はグレーアウトし、シーンの照明された部分を表す画像の部分のためのプライバシーマスクを提供する。この場合、ドア５のすぐ外側、即ちカメラ７とガラス製ドア５との間に立っている対象９は、光源１１からの光によって照明されていないため、プライバシーマスクによって覆われることはない。

図２では別の状況を図示しており、ここでは光源１１を用いて、カメラ７のためにシーンの一部分をマークする。この実施例では、カメラ７はＡＴＭ１３に設置され、その目的は、ＡＴＭの直近に位置する対象、典型的には現金を引き出す人間の形態である対象１５を監視することである。ＡＴＭ１３の直近以外の対象、例えば車の形態の対象１７等は、監視されるべきではない。この目的のために、光源１１は、特定のスペクトルコンテンツ及び空間検証パターンを有する光を、ＡＴＭ１３のすぐ前の領域に提供する。これは、この領域内のいずれの対象が光源１１からの光によってマークされることを意味する。このマーキングを用いて、特定のタイプの処理のために、カメラ７が撮像する画像の対応する領域を選択し、この場合はオペレータに見えるようにする。画像の残りの部分は無視することになるか又はグレーアウトする、ぼかす、若しくは静止若しくは予め記憶した背景画像等の静止画像で置換してよい。

店舗、又はビデオ監視を装備し、かつカウンタにいるスタッフを撮像することを回避することが望ましいホテルのフロントデスクにおいては、図２で図示した状況とは反対の状況が発生し得る。この場合、スタッフが通常存在する領域を照明するように光源を設定し、シーンのこのマークした部分をグレーアウトして、この領域を覆うプライバシーマスクを提供する。

本発明の実施形態の文脈において「その画像領域（ｔｈｅ ｉｍａｇｅ ｒｅｇｉｏｎ）」又は「画像領域（ａｎ ｉｍａｇｅ ｒｅｇｉｏｎ）」という言及を行う場合、これは実際には、画像の１つ又は複数の領域を包含するものとして解釈するべきであり、言い換えると、「画像の領域」という言及を行う場合、これは隣接する画素の単一の群又は隣接する画素の複数の連続していない群のいずれかを意味する。後者のような事態が発生し得る例としては、２つの対象（人間）が、図２に示す状況でカメラ近傍に立っており、これら対象両方が光源からの光によって照明されている場合がある。これら２つの対象は、光によってマークされた画素の２つの別個の群として認識され得る。これら２つの群はなお「画像領域（ａｎ ｉｍａｇｅ ｒｅｇｉｏｎ）」又は「その画像領域（ｔｈｅ ｉｍａｇｅ ｒｅｇｉｏｎ）」と呼ばれる。別の例としては、２つ以上の光源を用いて、同一の特徴を有する光でシーンの異なる部分をマークする場合がある。これは通常、画像内に画素の２つの別個の群を生成することになり、これらは共に、シーンのマークした部分に対応するものとして認識されるが、本出願の文脈においては、これらはなお１つの画像領域と呼ばれることになる。用語「シーンのマークした部分」は２つ以上のマークした部分を含み得るため、上述の論法は用語「シーンのマークした部分」にも適用されることに留意されたい。

光は所定のスペクトルコンテンツ及び空間検証パターンの両方を有し、これらは共に画像処理ユニットによって認識されるという事実により、監視されたシーンの一部分に光を当てることによって、シーンの一部分に「誤」マークを（意図的に又は偶発的に）生成するのは極めて困難となる。特定のスペクトルコンテンツは、例えば同一の波長範囲の光源を探し出すことによって複製可能であり得るが、空間パターンの再現は非常に困難である。空間パターンを比較する際の検証ステップによって、例えば昼間のマーキングに赤外光又は近赤外光を使用する場合に、太陽光が上記スペクトルを有する光も含む時又は夜間に通常の赤外光ベースの照明ユニットと組み合わせて上記マーキングを使用する時発生し得る他の問題も排除されるか少なくとも低減される。

空間検証パターンは、特定のカメラに関連する署名パターンであってよく、カメラを例えばその製造中に、特定の署名パターン又はこのようなパターンの特徴を認識するよう事前設定してよい。空間検証パターンはまた、同一のシーンを監視する一群のカメラに関連する連結署名パターンであってもよい。これは、複数のカメラをセットアップして単一のシーンを異なる角度から監視する際、図１に示したセットアップに第２のカメラを追加し、店舗の内部をいずれのカメラの視野から隠したい場合等、シーンの部分をプライバシーマスクによって覆いたい場合に有用となり得る。

１つのカメラ又は複数のカメラの群は、全て同一の特徴を有する複数の光源とのキットとして準備してもよい。別の代替例として、１つ又は複数のカメラを、複数の異なる光源からの光の特徴を認識するよう設定して、一つの光源を、カメラが運動を無視するべきシーンの一部分をマークするために使用し、別の光源を、シーンの一部分をマークして、上記シーンの上記部分のためのプライバシーマスクを生成するために使用してよい。

誤マーキングが生成されるリスクを更に低減するために、時間的パターンを光に付与してよい。これは、時間変調シーケンスと呼んでよい一連のスキームに従って光を時間的に変調又は変更することによって実現される。このような時間変調シーケンスは例えば、擬似乱数列に基づいて生成してよい。時間変調シーケンスは例えば、光源のオン／オフを切り替えることによる、所定のスキームに従った光の強度の変更を含んでよく、又は少なくとも第１の空間検証パターンと第２の空間検証パターンとの間で空間検証パターンを変化させることを含んでよい。第１の空間検証パターンと第２の空間検証パターンとの間での空間検証パターンの変化又はシフトは、空間光変調器を光源に含めることによって達成できる。このような空間光変調器は、２つ以上の空間検証パターンを提供するための何らかのタイプのフィルタを含んでよい。このフィルタは例えば、液晶装置の形態で提供してよい。別の代替例は、光源内の２つ以上の光源素子を用いて、このような各光源素子に、何らかのタイプのフィルタ又は特定のパターンの多数の発光素子等の他の装置を設け、これによって特定の空間検証パターンを提供することである。

上述の、シーンの一部分をマークするステップ、分析画像を撮像及び分割するステップ、候補画像領域において空間パターンを検知するステップ、並びに検知した空間パターンを空間検証パターンと比較するステップは、時間変調シーケンスに従った異なるパターンで繰り返し実行される。

時間変調シーケンスは、図４においてカメラの一部として図示した時間変調器１９によって生成してよい。時間変調器１９はまた、カメラシステム内の別の位置、例えば光源の内又はそれ以外の位置に配置してもよい。時間変調器１９は、シーンをマークする際に使用することになる時間変調シーケンスの情報を光源１１に送信し、画像処理ユニット１０は同一の情報を受信して、パターンの特徴間の比較を正確に実施する。

この場合、特徴の比較は、第１の空間検証パターンと第２の空間検証パターンの特徴間の様々な関係を考慮してよい。一例として、検知したパターンの空間周波数、例えばこのようなパターン内のラインの空間周波数と、過去に検知したパターンの対応する空間周波数との間の比を、第１の空間検証パターン及び第２の空間検証パターンそれぞれの空間周波数の対応する比と比較してよい。このプロセスにおいて、ウェーブレット分解を利用できる。空間パターンの特徴間の比較はまた、画像内の画素のより小さいパッチにおいて実行してもよい。このタイプの比較により、シーン内の対象上に投射されるパターンが、監視カメラ及び光源からの対象の距離に応じて変化して見えることがある、という発生し得る問題も解決される。シーンが移動する対象を含む場合、検知した空間パターンがカメラ又は光源からの異なる距離において異なって見えることには影響されない結果を比較から得るために、対象がまだカメラからほぼ同じ距離にある時に対象において両方のパターンを撮像できる程度に十分に速いペースで、パターン間でのシフトを実行することが好ましい。

図３では、本発明の実施形態による方法３００が示されている。ステップ３０１では、シーンの一部分を、所定のスペクトルコンテンツ及び空間検証パターンを有する光でマークする。ステップ３０２では、分析画像を撮像する。ステップ３０３では、所定のスペクトルコンテンツに基づいて分析画像を分割することにより、潜在的にはシーンのマークした部分に対応する、候補画像領域を見出す。

ステップ３０４では、候補画像領域の空間パターンを検知し、ステップ３０５では、検知した空間パターンの特徴を、空間検証パターンの対応する特徴と比較する。これらの特徴が適合する場合、候補画像領域を検証済み画像領域として識別し、本方法はステップ３０６へと続き、このステップ３０６では、分析画像又は場合によっては別個に撮像された監視画像から画像を取得して処理する。検証済み画像領域に対応する画像データは第１の様式で処理し、残りの画像データは第２の様式で処理する。処理の第２の様式は、第１の様式とは異なる。

複数の異なる目的のために、この画像データを、シーンのマークした部分に対応する検証済み画像領域に対応する画像データと、シーンのマークしていない部分に対応する残りの画像データとに分割してよい。プライバシーマスクを生成するという上述のオプション以外に、上述のような分割が有用となり得る多数の他のオプションが存在する。これら様々なオプションの全ては、必要に応じて組み合わせてよい。

一例としては、画像データのこのような分割を、シーンのある部分に関する画像化パラメータを少なくとも部分的に最適化する一方で残りのシーンを無視するために用いることがある。言い換えると、処理の第１又は第２の様式のうちの一方は、検証済み画像領域又は残りの画像のうちの一方のみに基づいて、配色、輝度又はホワイトバランス等の画像化パラメータを、画像全体、即ち見出された画像領域＋残りの画像に対して設定することを含む。このようにして、シーンの選択された部分を表す画像を、可能な限り最良の方法で達成し、その一方でより関心が低い部分を例えば過剰に明るく又は過剰に暗くすることができる。

別の例として、運動検知ユニット２１を、見出された画像領域又は残りの画像のうちの一方のみにおいて運動を検知するよう設定してよい。これを用いて、例えば風等で揺れる木の運動を検知してしまうのを回避できる。

同様にして、対象検知ユニット２３を、検証済み画像領域又は残りの画像のうちの一方のみにおいて運動を検知するよう設定してよい。対象検知ユニットは例えば、人間又は動物、表情、ナンバープレート、文字又は視覚情報を検知又は識別するよう設定してよい。このオプションは、非常に高価な物品が展示されており、従ってその領域に対して注意を払うようスタッフに警告する店舗内の領域のみにおいて運動又は対象を検知することが望ましい場合に有用である。このような１つ又は複数の店舗内領域を、所定の特徴を有する光で照明し、対象及び／運動検知は、これらの領域のみを考慮するよう設定される。更に又は代替として、対象追跡ユニット２５を、検証済み画像領域又は残りの画像のうちの一方のみにおいて対象を追跡するよう設定してよい。

運動検知ユニット２１、対象検知ユニット２３及び対象追跡ユニットは、図４に示すように画像処理ユニット１０の一部であってよく、又は別個のユニットとして具現化してよい。これらをカメラ７若しくはカメラシステム６、又はビデオエンコーダ若しくはサーバ等の別の場所に配設してよい。

当業者は、上述の実施形態を多くの方法で改変でき、それでも上述の実施形態で示したような本発明の利点を利用できることを理解されたい。例として、本明細書で説明した様々なユニットは、ソフトウェア若しくはハードウェア又はこれらの組み合わせにおいて具現化できる。

よって、本発明は、図示した実施形態に限定されるべきではなく、添付の請求項によってのみ定義されるべきである。

１ 建物
３ 窓
５ ドア
７ カメラ
９ 対象
１０ 画像処理ユニット
１１ 光源
１２ センサ
１３ ＡＴＭ
１４ シーンのマークされた部分
１５ 対象
１７ 対象
１９ 時間変調器
２１ 運動検知ユニット
２３ 対象検知ユニット
２５ 対象追跡ユニット

Claims (12)

1. シーンを監視するカメラによって撮像された前記シーンの画像の部分をマスクする方法であって、以下のステップ：
   光源を設置し、所定のスペクトルコンテンツ及び空間検証パターンを有する光を用いて前記シーンの一部分をマークすること；
   前記所定のスペクトルコンテンツに対して感度の良いセンサによって、前記シーンの分析画像を撮像すること（３０２）；
   前記所定のスペクトルコンテンツに基づいて前記分析画像を分割し、候補画像領域を見出すこと（３０３）；
   前記候補画像領域において空間パターンを検知すること（３０４）；
   前記検知した空間パターンの特徴と、前記空間検証パターンの対応する特徴とを比較し、前記検知した空間パターンの特徴と、前記空間検証パターンの対応する特徴が適合する場合：
   前記候補画像領域を、前記光源により照明された前記シーンの前記部分に対応する検証済み画像領域として識別し（３０６）；
   前記シーンを表す画像データを取得し；及び
   ぼかし又は画像置換によって前記検証済み画像領域に対応する画像データを表示されないよう隠し、残りの画像データを表示し、それによって前記光源により照明された前記シーンの前記部分にプライバシーマスクを提供するか、又は前記検証済み画像領域に対応する前記画像データを表示し、ぼかし又は画像置換によって前記残りの画像データを表示されないように隠し、それによって前記シーンの非照明部分にプライバシーマスクを提供すること（３０５）；
   時間変調シーケンスに応じて、少なくとも１つの第１の空間検証パターンと少なくとも１つの第２の空間検証パターンとの間で前記空間検証パターンを変調すること；並びに
   前記時間変調シーケンスに応じて、前記第１の空間検証パターン及び前記第２の空間検証パターンのそれぞれを用いて、前記マークすること、前記撮像すること、前記分割すること、前記検知すること及び前記比較することを反復すること
   を含む方法。
2. 前記所定のスペクトルコンテンツに対して不感度性のセンサによって監視画像を撮像することを更に含み、前記シーンを表す前記画像データを前記監視画像から取得する、請求項１に記載の方法。
3. 前記空間検証パターンは１つ又は複数のカメラに関連づけられた署名パターンである、請求項１又は２に記載の方法。
4. 前記検知した空間パターンの前記特徴は、前記検知したパターンの空間周波数と、過去に検知したパターンの空間周波数との間の比であり、及び
   前記空間検証パターンの前記特徴は、前記第１の空間検証パターンの空間周波数と、前記第２の空間検証パターンの空間周波数との間の比である、請求項１に記載の方法。
5. 前記時間変調シーケンスを疑似乱数シーケンスに基づいて生成する、請求項１又は４に記載の方法。
6. 予め記憶された背景画像を画像置換のために使用する、請求項１〜５のいずれか１項に記載の方法。
7. 前記検証済み画像領域に対応する前記画像データを運動検知回路（２１）への入力に含め、前記残りの画像データを前記運動検知回路（２１）への入力から排除するステップ、又は
   前記残りの画像データを前記運動検知回路（２１）への入力に含め、及び前記検証済み画像領域に対応する前記画像データを前記運動検知回路（２１）への入力から排除するステップを含む、請求項１〜６のいずれか１項に記載の方法。
8. 前記検証済み画像領域に対応する前記画像データを、人間、動物、車両、ナンバープレート、文字若しくは視覚情報若しくは他のタイプの対象を検知若しくは識別するように配設された対象検知回路（２３）への入力に含め、
   前記残りの画像データを前記対象検知回路（２３）への入力から排除する、又は
   前記残りの画像データを、人間、動物、車両、ナンバープレート、文字若しくは視覚情報若しくは他のタイプの対象を検知若しくは識別するように配設された前記対象検知回路（２３）への入力に含め、
   前記検証済み画像領域に対応する前記画像データを前記対象検知回路（２３）への入力から排除する
   請求項１〜７のいずれか１項に記載の方法。
9. 前記検証済み画像領域を表わす前記画像データを第１の圧縮率で圧縮し、
   前記残りの画像データを第２の圧縮率で圧縮し、
   前記第１の圧縮率は前記第２の圧縮率と異なる、請求項１〜８のいずれか１項に記載の方法。
10. シーンを監視するためのカメラシステムであって、
    所定のスペクトルコンテンツ及び空間検証パターンを有する光を用いて前記シーンの一部分（１４）をマークするよう設置された光源（１１）、並びに
    シーンを監視するように配設されたカメラを備え、前記カメラは、
    所定のスペクトルコンテンツを感知して、前記シーンの分析画像を撮像するよう配設された、センサ（１２）；並びに
    画像処理回路（１０）を備え、前記画像処理回路は、
    前記所定のスペクトルコンテンツに基づいて分析画像を分割し、候補画像領域を見出し；
    前記候補画像領域において空間パターンを検知し；
    前記検知した空間パターンの特徴と、空間検証パターンの対応する特徴とを比較し、前記検知した空間パターンの特徴と、前記空間検証パターンの対応する特徴が適合する場合：
    前記候補画像領域を、前記所定のスペクトルコンテンツ及び前記空間検証パターンを有する光を有する光源によって照明された前記シーンの部分（１４）に対応する検証済み画像領域として識別し；
    前記シーンを表す画像データを取得し、
    ぼかし又は画像置換によって前記検証済み画像領域に対応する画像データを表示されないよう隠し、残りの画像データを表示し、それによって前記光源により照明された前記シーンの前記部分にプライバシーマスクを提供するか、又は前記検証済み画像領域に対応する前記画像データを表示し、ぼかし又は画像置換によって前記残りの画像データを表示されないよう隠し、それによって前記シーンの非照明部分にプライバシーマスクを提供する
    ように構成され、時間変調シーケンスに応じて、少なくとも１つの第１の空間検証パターンと少なくとも１つの第２の空間検証パターンとの間で前記空間検証パターンが変調され、並びに前記時間変調シーケンスに応じて、前記第１の空間検証パターン及び前記第２の空間検証パターンのそれぞれを用いて、前記マークすること、前記撮像すること、前記分割すること、前記検知すること及び前記比較することが反復される、カメラシステム。
11. 前記センサ（１２）は、前記所定のスペクトルコンテンツを有する光に対して感度が良い第１のセンサ要素群、及び前記所定のスペクトルコンテンツを有する光に対して不感度性の第２のセンサ要素群を備える、請求項１０のカメラシステム。
12. 時間変調シーケンスを生成し、
    前記光源（１１）及び前記カメラ（７）に対して同期した形で前記時間変調シーケンスを伝送する
    よう構成された時間変調器（１９）を更に備える、請求項１０に記載のカメラシステム。

Images