JP6088024B2 - 不正を検出するためのビデオ監視システムおよび方法 - Google Patents

Description

関連出願への相互参照および優先権
本出願は、２０１４年１２月１９日出願のインド国特許出願第４１０１／ＭＵＭ／２０１４号に基づく優先権を主張し、該インド国特許出願の開示内容の全てが、参照により組み込まれる。

ここに開示される本発明は、一般に、ビデオ監視システム（video surveillance system）による不正の検出に関する。

顔検出認証（face detection of recognition）を含むビデオ監視システムの従来技術は、画像内の顔を検出するよう連続的に動作する顔検出アルゴリズムを用いている。顔検出アルゴリズムは、画像センサーによって記録されたビデオ（ビデオ画像）内に存在する全ての画像に対して動作する。画像センサーは、カメラ、赤外線センサー、熱センサー、または画像を取得するための本分野において既知の任意のデバイスであってもよい。顔検出のための複数の画像の連続的な監視は、多くのメモリと演算時間を要するものである。さらに、顔検出アルゴリズムは、画像の背景から顔を誤検出してしまうことがある。このような誤検出は、本来意図しているユーザーが識別されない事態や、意図しない対象の誤検出に繋がることがある。顔検出アルゴリズムは、ビデオ監視システムによって取得されたビデオストリーム（video stream）を処理するために用いられてもよい。さらに、顔検出アルゴリズムは、ビデオストリーム中に存在する複数の異なる人物の顔を検出するために用いられてもよい。

例えば、現金自動預入支払機（ＡＴＭ）において、ＡＴＭにアクセスするユーザーを検出するために、顔検出アルゴリズムが広く用いられている。ＡＴＭにアクセスするユーザーは、詐欺（不正）行為を試みる間、自身の顔の一部を隠すであろう。例えば、ユーザーは、ＡＴＭによる誤検出を発生させるため、自身の口を隠すであろう。そのような状況の間、顔検出アルゴリズムは、ユーザーの眼に基づいて、ユーザーを検出するが、誤検出が発生する場合がある。

本概要は、不正を検出するためのビデオ監視システムおよび方法に関する様態を説明するために提供されるものであり、該様態は、以下の詳細な説明においてさらに説明される。本概要は、特許請求の範囲に記載された本発明の本質的特徴を特定する意図で用いられることはなく、さらに、特許請求の範囲に記載された本発明の範囲を決定または限定する意図で用いられるものでもない。

実施形態の１つにおいて、ビデオ監視システムによって不正を検出するための方法が開示される。該方法は、ビデオ監視システム内のプロセッサーによって、複数の画像を受信する工程を含む。さらに、該方法は、プロセッサーによって、所定のフレーム間隔で存在する複数の画像を、複数の２値画像（binary images）に変換する工程を含む。複数の画像は、図地分離（ＦＧＳ：Figure Ground Segregation）技術を用いて、複数の２値画像に変換される。さらに、該方法は、プロセッサーによって、複数の２値画像から、参照フレームを特定する工程を含む。参照フレームは、白ピクセルカウントの所定の下側しきい値よりも大きい相対白ピクセルカウント（relative white pixel count）を有している。該方法は、プロセッサーによって、所定のフレーム間隔で存在する複数の２値画像間の排他的論理和（ＸＯＲ：Exclusive-OR）演算を実行し、相対白ピクセルカウントを判別する工程を含む。また、該方法は、プロセッサーによって、複数の２値画像内のモーションの検出における顔検出を始動（triggering）させる工程を含む。該モーションは、相対白ピクセルカウントが、所定の上側しきい値を超えるか、単調増加する（increase monotonically）間に検出される。また、該方法は、プロセッサーによって、白ピクセルカウントの最高密度（highest density of white pixel count）に基づいて、複数の２値画像内の関心のある領域（ＲＯＩ：Region of Interest）窓を縮小する工程を含む。白ピクセルカウントの最高密度は、複数の列（コラム）に沿って複数の２値画像を空間的にサンプリングすることによって判別される。さらに、該方法は、プロセッサーによって、縮小されたＲｏＩ窓内で顔が検出されたか否かを判別する工程を含む。該方法は、縮小されたＲｏＩ窓内において顔が検出された場合、プロセッサーによって、顔の下半分において口が検出されたか否かを判別する工程を含む。さらに、該方法は、縮小されたＲｏＩ窓内において顔が検出されなかった場合、および／または、検出された顔の下半分において口が検出されなかった場合、プロセッサーによって、不正を検出する工程を含む。

実施形態の１つにおいて、不正を検出するためのシステムが開示される。該システムは、プロセッサーと、該プロセッサーに接続されたメモリとを備え、該プロセッサーは、メモリ内に保存されているプログラム命令（programmed instructions）を実行する。プロセッサーは、複数の画像を受信する。さらに、プロセッサーは、所定のフレーム間隔で存在する複数の画像を、複数の２値画像に変換する。プロセッサーは、図地分離技術（ＦＧＳ）を用いて、複数の画像を、複数の２値画像に変換する。さらに、プロセッサーは、複数の２値画像から、参照フレームを特定する。参照フレームは、白ピクセルカウントの所定の下側しきい値よりも大きい相対白ピクセルカウントを有している。プロセッサーは、所定のフレーム間隔で存在する複数の２値画像間の排他的論理和（ＸＯＲ）演算を実行し、相対白ピクセルカウントを判別する。さらに、プロセッサーは、複数の２値画像内のモーションの検出における顔検出を始動する。該モーションは、相対白ピクセルカウントが所定の上側しきい値を超えるか、単調増加する間に検出される。さらに、プロセッサーは、白ピクセルカウントの最高密度に基づいて、複数の２値画像内の関心のある領域（ＲＯＩ）窓を縮小する。白ピクセルカウントの最高密度は、複数の列（コラム）に沿って複数の２値画像を空間的にサンプリングすることによって判別される。さらに、プロセッサーは、縮小されたＲｏＩ窓内において顔が検出されたか否かを判別する。さらに、プロセッサーは、縮小されたＲｏＩ窓内において顔が検出された場合、顔の下半分において口が検出されたか否かを判別する。さらに、プロセッサーは、縮小されたＲｏＩ窓内において顔が検出されなかった場合、および／または、検出された顔の下半分において口が検出されなかった場合に、不正を検出する。

実施形態の１つにおいて、ビデオ監視システムによって不正を検出するために、演算デバイスにおいて実行可能なプログラムを具体化（embodying）する非一時的コンピューター可読媒体（non-transitory computer readable medium）が開示される。プログラムは、複数の画像を受信するためのプログラムコードを含む。さらに、プログラムは、所定のフレーム間隔で存在する複数の画像を、複数の２値画像に変換するためのプログラムコードを含む。複数の画像は、図地分離（ＦＧＳ）技術を用いて、複数の２値画像に変換される。さらに、プログラムは、複数の２値画像から、参照フレームを特定するためのプログラムコードを含む。参照フレームは、白ピクセルカウントの所定の下側しきい値よりも大きい相対白ピクセルカウントを有している。さらに、プログラムは、所定のフレーム間隔で存在する複数の２値画像間の排他的論理和（ＸＯＲ）演算を実行し、相対白ピクセルカウントを判別するためのプログラムコードを含む。さらに、プログラムは、複数の２値画像内のモーションの検出における顔検出を始動するためのプログラムコードを含む。該モーションは、相対白ピクセルカウントが所定の上側しきい値を超えるか、単調増加する間に検出される。さらに、プログラムは、白ピクセルカウントの最高密度に基づいて、複数の２値画像内の関心のある領域（ＲＯＩ）窓を縮小するためのプログラムコードを含む。白ピクセルカウントの最高密度は、複数の列（コラム）に沿って複数の２値画像を空間的にサンプリングすることによって判別される。さらに、プログラムは、縮小されたＲｏＩ窓内において顔が検出されたか否かを判別するためのプログラムコードを含む。さらに、プログラムは、縮小されたＲｏＩ窓内において顔が検出された場合、顔の下半分において口が検出されたか否かを判別するためのプログラムコードを含む。さらに、プログラムは、縮小されたＲｏＩ窓内において顔が検出されなかった場合、および／または、検出された顔の下半分において口が検出されなかった場合に、不正を検出するためのプログラムコードを含む。

添付の図面を参照して、詳細な説明が提供される。添付の図面中の各参照番号の左端の数字は、その参照番号が最初に現れる図番号を表している。各図面において、同様の特徴およびコンポーネントには、同じ参照番号が付されている。

図１は、本発明の実施形態に係る不正を検出するためのシステムのネットワーク実施を示す図である。

図２は、本発明の実施形態に係る顔検出を始動するプロセスを示すフローチャートである。

図３ａ、図３ｂ、図３ｃおよび図３ｄは、共同で、本発明の実施形態に係る顔検出を始動するプロセスを説明するための例示的な画像を示している。

図４ａは、通常のワークフローの間の参照フレーム選択および安定特徴（stabilization characteristics）を示すグラフである。

図４ｂは、照明の不意の変更の間の参照フレーム選択および安定特徴を示すグラフである。

図５は、ビデオ監視システムによって不正の検出における警告を生成するプロセスを示すフローチャートである。

図６ａ、図６ｂ、図６ｃおよび図６ｄは、共同で、複数のグレー画像の関心のある領域（ＲｏＩ）窓を縮小する工程を示す画像である。

図６ｅおよび図６ｆは、複数の２値画像の関心のある領域（ＲｏＩ）窓を縮小する工程を示す画像である。

図７ａ、図７ｂおよび図７ｃは、複数のグレー画像の縮小されたＲｏＩ窓からの口の検出を示す画像である。

図７ｄ、図７ｅおよび図７ｆは、複数の２値画像の縮小されたＲｏＩ窓から、口を検出する工程を示す画像である。

図８は、本発明の実施形態に係るビデオ監視システムによって不正を検出するための方法を示すフローチャートである。

不正を検出するためのビデオ監視システムおよび方法が、本開示において説明される。１つのケースにおいて、ビデオ監視システムは、現金自動預入支払機（ＡＴＭ）において実施され、以降、システムと称される。システムは、ＡＴＭのカメラによって取得された複数の画像を受信する。システムは、複数の画像を、複数の２値画像（binary images）に変換する。システムは、複数の２値画像から、参照フレームを特定する。参照フレームは、白ピクセルカウントの所定の下側しきい値よりも大きな相対白ピクセルカウント（relative white pixel count）を有している。システムは、複数の２値画像内のモーションの検出における顔検出を始動（triggering）させる。システムは、相対白ピクセルカウントが所定の上側しきい値を超えるか、単調増加する（increase monotonically）間に、該モーションを検出する。システムは、白ピクセルカウントの最高密度（highest density of white pixel count）に基づいて、複数の２値画像内の関心のある領域（ＲＯＩ：Region of Interest）窓を縮小する。システムは、縮小されたＲｏＩ窓内において顔が検出されたか否かを判別する。システムは、縮小されたＲｏＩ窓内において顔が検出された場合、顔の下半分において口が検出されたか否かを判別する。システムは、縮小されたＲｏＩ窓内において顔が検出されなかった場合、および／または、検出された顔の下半分において口が検出されなかった場合、不正を検出する。

説明される不正を検出するためのビデオ監視システムおよび方法の様態は、任意の数の異なる演算システム、環境および／または構成において実施され得るが、複数の実施形態が、以下の例示的なシステムのコンテキスト（context:内容）において説明される。

図１には、本発明の実施形態に係る不正を検出するためのシステム１０２のネットワーク実施１００が示されている。本発明は、システム１０２がコンピューター上に実施されているものとして説明されるが、システム１０２は、様々な演算システム（これに限られないが、例えば、スマートフォン、タブレット、ノートパッド、ＰＤＡ（Personal Digital Assistant）、ハンドヘルドデバイス、ラップトップコンピューター、ノートパソコン、ワークステーション、メインフレームコンピューター、サーバー、ネットワークサーバー等）において実施されていてもよいことは理解されるであろう。実施形態の１つにおいて、システム１０２は、クラウドベース環境（cloud-based environment）において実施されていてもよい。システム１０２は、１つ以上のユーザーデバイス１０４−１、１０４−２・・・１０４−Ｎ（以下、集合的にユーザーデバイス１０４と称される）、またはユーザーデバイス１０４上に駐在するアプリケーションを介して、複数のユーザーからアクセス可能であることは理解されるであろう。ユーザーデバイス１０４の例としては、これに限られるものではないが、携帯型コンピューター、ＰＤＡ、ハンドヘルドデバイス、デジタルカメラ等が挙げられる。ユーザーデバイス１０４は、ネットワーク１０６を介して、システム１０２に通信可能に接続される。

実施形態の１つにおいて、ネットワーク１０６は、無線ネットワーク、有線ネットワーク、またはこれらの組み合わせであってもよい。ネットワーク１０６は、異なる種類のネットワーク（例えば、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、インターネット等）のいずれか１つとして実施することができる。ネットワーク１０６は、専用ネットワークであってもよいし、共有ネットワークであってもよい。共有ネットワークは、異なる種類のネットワークの接続を意味し、様々なプロトコル（例えば、ハイパーテキストトランスファープロトコル（ＨＴＴＰ）、トランスミッションコントロールプロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、ワイヤレスアプリケーションプロトコル（ＷＡＰ）等）を用いて、互いに通信する。さらに、ネットワーク１０６は、様々なネットワークデバイス（例えば、ルーター、ブリッジ、サーバー、演算デバイス、ストレージ装置等）を含んでいてもよい。

実施形態の１つにおいて、図１に示すように、システム１０２は、少なくとも１つのプロセッサー１１０と、メモリ１１２と、入力／出力（Ｉ／Ｏ）インターフェース１１４とを含む。さらに、少なくとも１つのプロセッサー１１０は、１つ以上のマイクロプロセッサー、マイクロコンピューター、マイクロコントローラー、デジタル信号プロセッサー、中央演算装置（ＣＰＵ）、状態マシーン、論理回路および／または操作可能（operational）な命令に基づいて信号を操作する任意の装置として実施することができる。その他の機能の中でも、少なくとも１つのプロセッサー１１０は、メモリ１１２内に保存されているコンピューター可読命令をフェッチ（fetch:命令コードを読み出すこと）し、実行するよう構成されている。

Ｉ／Ｏインターフェース１１４は、様々なソフトウェアおよびハードウェアインターフェース（例えば、ウェブインターフェース、ＧＵＩ（Graphical User Interface）等）を含む。Ｉ／Ｏインターフェース１１４は、システム１０２が、直接ユーザーと相互通信することを可能とする。さらに、Ｉ／Ｏインターフェース１１４は、システム１０２が、その他の演算デバイス（例えば、図示しないウェブサーバー、外部データサーバー等）と通信を行うことを可能とする。Ｉ／Ｏインターフェース１１４は、有線ネットワーク（例えば、ＬＡＮ、ケーブル等）および無線ネットワーク（例えば、ＷＬＡＮ、セルラー、衛星等）を含む広範な種類のネットワークおよびプロトコル内での多数の通信を容易にする。

メモリ１１２は、本分野において既知の任意のコンピューター可読媒体（例えば、静的ランダムアクセスメモリ（ＳＲＡＭ）や動的ランダムアクセスメモリ（ＤＲＡＭ）等の揮発性メモリおよび／またはリードオンリーメモリ（ＲＯＭ）、消去可能プログラム可能ＲＯＭ（ＥＰＲＯＭ）、フラッシュメモリ、ハードディスク、光学ディスク、磁気テープ等の不揮発性メモリ）を含む。

ビデオ監視システムは、銀行、病院、商店、居住場所、およびその他関連する場所において実施することができる。実施形態の１つにおいて、ビデオ監視システムは、現金自動預入支払機（ＡＴＭ）において実施される。図２に示すフローチャート２００には、顔検出を始動するプロセスが示されている。図２のフローチャート２００において言及される各工程を参照して、説明が提供される。ＡＴＭに接続されたカメラは、ＡＴＭの操作範囲において操作を行うユーザーのビデオ（ビデオ画像）を取得する。ビデオは、工程２０２に示されているように、複数の画像を含む。よって、システム１０２は、カメラによって取得された複数の画像を受信する。続いて、システム１０２は、工程２０４に示されているように、複数の画像を２値化、すなわち、複数の画像を複数の２値画像に変換する。１つのケースにおいて、システム１０２は、図地分離（ＦＧＳ：Figure Ground Segregation）技術を用いて、複数の画像を２値化してもよい。１つのケースにおいて、システム１０２は、複数の画像を２値化する間に、最大情報（maximum information）を抽出するための神経視覚刺激図地分離（ＮＦＧＳ：Neuro-visually inspired Figure Ground）を用いてもよい。ＮＦＧＳを用いて２値化された複数の画像は、システム１０２が後に、ＨＡＡＲ（ハール）技術を用いて顔を検出することを可能とする。例えば、ＨＡＡＲ技術は、ＮＦＧＳを用いてグレー画像を２値化することによって得られた２値画像またはグレー画像における顔を検出することができる。

実施形態の１つにおいて、システム１０２は、複数の画像を、低サンプリングレートで２値化してもよい。例えば、システム１０２は、１秒あたりのフレーム数（ＦＰＳ：Frame Per Second）が１のサンプリングレートで複数の画像を２値化する。顔検出の実行前での、１ＦＰＳのサンプリングレートでの複数の画像の処理は、システム１０２によるプロセッサー１１０の利用法の改善に役立つ。

複数の画像の２値化に続き、システム１０２は、工程２０６に示されているように、複数の２値画像間の排他的論理和（ＸＯＲ：Exclusive-OR）演算を実行し、相対白ピクセルカウントを判別する。例えば、ピクセル強度（pixel intensity）における差（０と１、または、１と０）は、白ピクセルを出力する。相対白ピクセルカウントは、各フレームの全てのピクセルに対する演算から得られた白ピクセルのカウント数である。１つのケースにおいて、ＸＯＲ演算は、所定のフレーム間隔で存在する複数の２値画像間において行われてもよい。例えば、所定のフレーム間隔は、２つの連続するフレームまたは画像間に、３０フレームが含まれる間隔である。よって、ＸＯＲ演算用に選択された複数の２値画像は、１番目、３１番目、６１番目、９１番目等である。ＸＯＲ演算に用いられる２つの連続する画像は、Ｆ_ｎおよびＦ_ｎ＋１と示される。システム１０２は、相対白ピクセルカウントを用いて、複数の２値画像から、参照フレームを特定する。システム１０２は、白ピクセルカウントの所定の下側しきい値（Ｌ．Ｐ．Ｔ．：Lower Predefined Threshold）よりも大きな相対白ピクセルカウントを有する参照フレームを特定する。よって、システム１０２は、工程２０８に示されているように、相対白ピクセルカウント、すなわち、Ｆ_ｎとＦ_ｎ＋１との間のＸＯＲ演算の正の出力（「１」の出力）（positive XOR）がＬ．Ｐ．Ｔ．を超えるかどうかをチェックする。相対白ピクセルカウントがＬ．Ｐ．Ｔ．を超えない場合、システム１０２は、工程２０２に戻り、複数の画像を取得する工程を開始する。相対白ピクセルカウントがＬ．Ｐ．Ｔ．を超える場合、システム１０２は、工程２１０を実行し、画像Ｆ_ｎを参照フレーム（Ｆ_ｒ）とすることを宣言する。

工程２１０において参照フレームを特定した後、システム１０２は、複数の２値画像内のモーションを検出する。システム１０２は、工程２１２に示されているように、相対白ピクセルカウント、すなわち、Ｆ_ｎとＦ_ｎ＋１との間のＸＯＲ演算の正の出力が、所定の上側しきい値（Ｕ．Ｐ．Ｔ．：Upper Predefined Threshold）を上回るかどうか、もしくは、単調増加（increase monotonically）するかどうかをチェックすることにより、モーションを検出する。工程２１２における条件が真（true）ではない場合、システムは、工程２１４に示されているように、次の２値画像と参照画像（Ｆ_ｒ）との間のＸＯＲ演算を実行する。さらに、工程２１２における条件が真である場合、システム１０２は、工程２１６において、顔検出を始動する。顔検出を始動する工程において、システム１０２は、複数の２値画像のサンプリングレートを増加させてもよい。１つのケースにおいて、システム１０２は、フレーム取得レートを、１ＦＰＳから３０ＦＰＳに増加させてもよい。換言すれば、顔検出の始動時から、全てのフレームが処理される。

例えば、顔検出を始動するプロセスは、顔検出の始動を集合的に示す図３を参照して説明される。システム１０２は、顔検出を始動するまで、１ＦＰＳの処理分解能（processing resolution）を用いてもよい。図３ａおよび図３ｂは、画像フレーム内に入ってくる人物を示している。図３ｃは、画像フレーム内に入った人物を示している。１つのケースにおいて、システム１０２は、図３ｂおよび図３ｃに示されているように、複数の２値画像を処理する。人物が完全に画像フレーム内に入ると、システム１０２は、白ピクセルカウントの所定の上側しきい値よりも大きい値を有する相対白ピクセルカウントを判別する。その後、システム１０２は、図３ｄに示されているように、顔検出用に、人物のグレー画像を用いる。よって、顔検出の処理が始動され、グレー画像が更なる処理のために用いられる。顔検出を始動した後、システム１０２は、画像の処理分解能（processing resolution）を増加させる。例えば、システム１０２は、処理分解能を３０ＦＰＳまで増加させる。よって、システム１０２は、ユーザーの顔を検出するために、１秒あたり３０個のフレームを用いることができる。

例示的な実施形態の１つにおいて、図４ａを参照して、通常のワークフローの間の参照フレーム選択および安定特徴（stabilization characteristics）を示すグラフが説明される。図４ａのＸ軸は、フレームサンプルを示し、Ｙ軸は、相対白ピクセルカウントのパーセンテージを示す。図４ａは、領域（ｉ）から領域（ｉｉ）までの相対白ピクセルの増加を示している。領域（ｉ）から領域（ｉｉ）によって示された相対白ピクセルカウントの増加は、図３ａおよび図３ｂに示されているように、視野（ＦｏＶ：Field of View）内に人物が入ったことを示している。１つのケースにおいて、システム１０２は、領域（ｉｉ）から領域（ｉｉｉ）までの相対白ピクセルカウントの安定化（stabilization）を追跡し、顔検出を始動する。領域（ｉｉ）から領域（ｉｉｉ）までの相対白ピクセルカウントの安定化は、図３ｃにも示されているように、ＦｏＶ内に人物が完全に入っていることを示す。図４ａの領域（ｉｖ）に示されているように、ＦｏＶ内から人物が出て行った場合、システム１０２は、顔検出を終了させる。

例示的な実施形態の１つにおいて、図４ｂを参照して、照明の不意の変化の間の参照フレーム選択および安定特徴を説明する。図４ｂのＸ軸は、フレームサンプルを示し、Ｙ軸は、相対白ピクセルカウントのパーセンテージを示す。図４ｂは、画像内の照明が増加間における領域「ｐ」から領域「ｑ」への相対白ピクセルカウントの増加を示している。システム１０２は、照明が変化している間に、参照フレームを更新する。１つのケースにおいて、システム１０２は、現在の画像背景と参照フレームとの間における線形補間（liner interpolation）技術を用いて、参照フレームを更新してもよい。

図５を参照して、ビデオ監視システムによる不正の検出における複数の警告を生成するプロセスを示すフローチャート５００が説明される。１つのケースにおいて、顔検出が始動された後、システム１０２は、工程５０２において、複数の列（コラム）に沿って複数の２値画像を空間的にサンプリングし、白ピクセルカウントの最高密度（highest density of white pixel count）を判別する。異なるケースにおいて、システムは、白ピクセルカウントの最高密度を判別するために、複数の行（rows）に沿って複数の２値画像を空間的にサンプリングしてもよい。白ピクセルカウントの最高密度に基づいて、システム１０２は、工程５０４において、複数の２値画像内の関心のある領域（ＲｏＩ）窓を縮小する。続いて、システム１０２は、工程５０６において、縮小されたＲｏＩ窓内において、顔を検出する。１つのケースにおいて、システム１０２は、ＨＡＡＲ技術を用いて、顔を検出してもよい。

図６ａ、図６ｂ、図６ｃおよび図６ｄを参照して、グレー画像の関心のある領域（ＲｏＩ）窓を縮小または縮減する工程が説明される。図６ａは、顔の検出のためのシステム１０２によって用いられる人物のグレー画像の例を示している。図６ｂは、Ｙ方向に沿って（複数の列に沿って、すなわち、縦方向に）グレー画像から取得された、いくつかのサンプルを示している。図６ｂは、ＸＯＲ演算された画像における、白ピクセルカウントの所定の上側しきい値よりも大きい相対白ピクセルカウントの値を示している。図６ｃは、グレー画像の縮小または縮減されたＲｏＩ窓を示している。さらに、システム１０２は、画像の縮小されたＲｏＩ窓に対して、画像強調技術（image enhancement technique）を適用してもよい。１つのケースにおいて、システム１０２は、画像強調技術として、ヒストグラム平坦化（histogram equalization）を用いてもよい。図６ｄは、グレー画像の縮小されたＲｏＩ窓から特定または検出された顔を示している。システムは、図６ｅおよび図６ｆに示されているように、顔特定のために、複数の２値画像をさらに処理してもよい。

実施形態の１つにおいて、工程５０８で、縮小されたＲｏＩ窓内において顔が検出された場合、システム１０２は、工程５１０で、顔の下半分において口を検出する。１つのケースにおいて、システム１０２は、ＨＡＡＲ技術を用いて、口を検出してもよい。図７ａ、図７ｂおよび図７ｃには、縮小されたＲｏＩ窓からの口の検出を示すグレー画像が示されている。図７ａは、工程５０６において、システム１０２により、縮小されたＲｏＩ窓から検出された顔を示している。図７ｂは、システム１０２による、顔からの口の特定を示している。また、図７ｂは、眼を口として誤って特定している様子を示している。典型的には、口検出技術は、眼を口として誤って特定しやすい。よって、このような誤検出を避けるため、システム１０２は、図７ｃに示されているように、顔の下半分を用いて口を検出する。よって、システム１０２は、顔の下半分において口を特定することにより、不正を検出するプロセスを改善している。さらに、図７ｄ、図７ｅおよび図７ｆには、上述の図７ａ、図７ｂおよび図７ｃを参照して説明したのと同様に、２値画像の縮小されたＲｏＩ窓からの口の検出を説明するための画像が示されている。

実施形態の１つにおいて、工程５１０において、口の検出が成功すると、システム１０２は、如何なる警告も生成しない。口を検出できなかった場合、これは、ヘルメットまたはスカーフを用いて、ユーザーが自身の口を隠していることを意味する。よって、システム１０２は、ＡＴＭに不正（詐欺）が発生していることを示すための警告「１」を生成する。もしくは、システム１０２が縮小されたＲｏＩ窓内において、顔を検出できなかった場合、システムは、工程５１２において、複数の２値画像内において、任意の人物を検出する。１つのケースにおいて、システム１０２は、２値画像内におけるモーションを特定した後、複数のグレー画像内の人物を検出するために、ヒストグラム配向勾配（ＨＯＧ：Histogram of Oriented Gradients）技術を用いてもよい。１つのケースにおいて、システム１０２が複数のグレー画像内において人物を検出した場合であって、さらに、顔が検出されなかった場合、システム１０２は、ＡＴＭにおける不正を特定または検出し、警告「２」を発する。別のケースにおいて、システム１０２が複数のグレー画像内において任意の人物を特定することができなかった場合、システム１０２は、ＡＴＭに向かって動物またはその他のオブジェクトが近寄っていることを示す警告「３」を生成する。１つのケースにおいて、様々な不正状況において警告を生成する代わりに、ＡＴＭにおいて進行中の任意のトランザクション（transaction：処理）がキャンセルされてもよい。

上述の説明によって、システム１０２がＡＴＭにおける不正の検出のために、複数の２値画像または複数のグレー画像のどちらに対しても動作可能であることが明白に示された。よって、システム１０２は、ＡＴＭにおける不正の検出のために、複数の２値画像および複数のグレー画像を用いて、プロセッサー１１０およびメモリ１１２の利用法を改善することができる。

図８を参照して、本発明の実施形態に係るビデオ監視システムによって不正を検出するための方法８００が説明される。方法８００は、コンピューター実行可能命令の一般的コンテキストの文脈において説明される。一般的に、コンピューター可読命令は、特定の機能を実行または特定の抽象データ型（abstract data types）を実施するルーティーン（routines）、プログラム、オブジェクト、コンポーネント、データ構造、プロシージャー(procedures)、モジュール、関数等を含む。また、方法８００は、通信ネットワークを介してリンクされた複数の遠隔処理デバイスによって機能が実行される分散型演算環境（distributed computing environment）内において実施されてもよい。分散型演算環境内では、コンピューター実行可能命令は、ローカルコンピューター記憶媒体およびメモリ保存デバイス等の遠隔コンピューター記憶媒体の双方内に位置していてもよい。

ここで説明される方法８００の順番は、限定を構成する意図はなく、任意の数の説明される方法ブロックが、任意の順番で組み合され、方法８００または代替的方法を実施してもよい。さらに、個々のブロックが、ここに説明される本発明の原理および範囲から逸脱することなく、方法８００から削除されてもよい。さらに、該方法は、任意の適切なハードウェア、ソフトウェア、ファームフェア、およびこれらの組み合わせにおいて実施することができる。しかしながら、説明の簡略化のため、以下に説明される実施形態では、方法８００は、上述のシステム１０２において実施されているものとして考える。

ブロック８０２において、複数の画像が受信される。複数の画像は、ビデオ監視システムのカメラによって取得される。実施形態の１つにおいて、複数の画像は、プロセッサー１１０によって受信される。

ブロック８０４において、複数の画像が、複数の２値画像に変換される。所定のフレーム間隔で存在する複数の画像が、変換に用いられる。実施形態の１つにおいて、複数の画像は、プロセッサー１１０によって、複数の２値画像に変換される。

ブロック８０６において、複数の２値画像から、参照フレームが特定される。参照フレームは、白ピクセルカウントの所定の下側しきい値よりも大きな相対白ピクセルカウントを有している。実施形態の１つにおいて、参照フレームは、プロセッサー１１０によって特定される。

ブロック８０８において、複数の２値画像内のモーションの検出において、顔検出が始動される。該モーションは、相対白ピクセルカウントが所定の上側しきい値を超えるか、単調増加する間に検出される。実施形態の１つにおいて、顔検出は、プロセッサー１１０によって始動される。

ブロック８１０において、関心のある領域（ＲｏＩ）窓が、白ピクセルカウントの最高密度に基づいて、複数の２値画像内において縮小される。白ピクセルカウントの最高密度は、複数の列に沿って複数の２値画像を空間的にサンプリングすることにより判別される。実施形態の１つにおいて、ＲｏＩ窓は、プロセッサー１１０によって縮小される。

ブロック８１２で、縮小されたＲｏＩ窓内において顔が検出されたか否かが判別される。ブロック８１２で、縮小されたＲｏＩ窓内において顔が判別された場合、ブロック８１４で、顔の下半分において口が存在するか否かが判別される。ブロック８１２で、縮小されたＲｏＩ窓内において顔が検出されなかった場合、および／または、ブロック８１４で、検出された顔の下半分において口が検出されなかった場合、ブロック８１６において、不正が検出される。実施形態の１つにおいて、顔および口は、プロセッサー１１０によって検出される。ブロック８１４で、顔の下半分において口が検出された場合、ブロック８１６において、不正は検出されない。例えば、方法８００は、顔および口の検出を通じたモーション検出および不正検出のための一揃い（complete）の２値（バイナリー）フレームワークを提案する。

不正を検出するための方法およびシステムのいくつかの実施形態が、特定の構造的特徴および／または方法の文脈において説明されたが、添付の特許請求の範囲は、説明された特定の特徴または方法に必ずしも限定されないことに留意されたい。むしろ、特定の特徴および方法は、ビデオ監視システムによって不正を検出するための実施形態の例示として開示されたにすぎない。

上述の例示的な実施形態は、いくつかの特定の利点を提供する。本開示の様態で実施することは必須ではないが、本発明の利点は、以下の特徴によって提供される利点を含む。

いくつかの実施形態は、システムおよび方法が、低サンプリングレートで複数の画像を処理することによって、不正を検出することを可能とする。

さらに、いくつかの実施形態は、システムおよび方法が、複数のグレー画像または複数の２値画像のいずれかを処理することによって、不正を検出することを可能とする。

いくつかの実施形態は、システムおよび方法が、画像内の顔の下半分において口を検出することにより、不正の誤検出を避けることを可能とする。

いくつかの実施形態は、システムおよび方法が、複数の画像の背景における照明の変化に基づいて参照フレームを更新することによって、照明変化に適応することを可能とする。

いくつかの実施形態は、方法が、画像内のモーションの検出における顔検出処理をアクティブ化（activating）することによって、不正を検出するためのビデオ監視システムの演算パフォーマンスを向上させることを可能とする。

Claims (19)

1. ビデオ監視システムによって不正を検出するための方法であって、
   前記ビデオ監視システム内のプロセッサーによって、複数の画像を受信する工程と、
   前記プロセッサーによって、所定のフレーム間隔で存在する前記複数の画像を、複数の２値画像に変換する工程と、
   前記プロセッサーによって、前記複数の２値画像から、白ピクセルカウントの所定の下側しきい値よりも大きい相対白ピクセルカウントを有する参照フレームを特定する工程と、
   前記プロセッサーによって、前記相対白ピクセルカウントが、所定の上側しきい値を超えるか、単調増加する間に検出される前記複数の２値画像内のモーションの検出における顔検出を始動する工程と、
   前記プロセッサーによって、複数の列に沿って前記複数の２値画像を空間的にサンプリングすることによって判別される前記白ピクセルカウントの最高密度に基づいて、前記複数の２値画像内の関心のある領域（ＲｏＩ）窓を縮小する工程と、
   前記プロセッサーによって、前記縮小されたＲｏＩ窓内において顔が検出されたか否かを判別する工程と、
   前記縮小されたＲｏＩ窓内において前記顔が検出された場合、前記プロセッサーによって、前記顔の下半分において口が検出されたか否かを判別する工程と、
   前記縮小されたＲｏＩ窓内において前記顔が検出されなかった場合、および、前記検出された顔の前記下半分内において前記口が検出されなかった場合の少なくとも一方に該当する場合、前記プロセッサーによって、前記不正を検出する工程と、を含むことを特徴とする方法。
2. 前記複数の画像は、図地分離（ＦＧＳ）技術を用いて、前記複数の２値画像に変換される請求項１に記載の方法。
3. 所定のフレーム間隔で存在する前記複数の２値画像間の排他的論理和（ＸＯＲ）演算を実行し、前記相対白ピクセルカウントを判別する工程をさらに含む請求項１に記載の方法。
4. 前記複数の２値画像における照明の変化に基づいて、前記参照フレームを更新する工程をさらに含む請求項１に記載の方法。
5. 前記白ピクセルカウントの前記最高密度を判別するため、複数の行に沿って前記複数の２値画像を空間的にサンプリングする工程をさらに含む請求項１に記載の方法。
6. 前記顔検出を始動する工程において、前記複数の２値画像のサンプリングレートを増加させる工程をさらに含む請求項１に記載の方法。
7. 前記ビデオ監視システムによって前記不正を検出する工程において、警告を生成する工程をさらに含む請求項１に記載の方法。
8. 前記複数の２値画像内の人物を検出するために、ヒストグラム配向勾配（ＨＯＧ）技術を用いる工程をさらに含む請求項１に記載の方法。
9. 前記口は、ＨＡＡＲ技術を用いて検出される請求項１に記載の方法。
10. 不正を検出するためのビデオ監視システムであって、
    プロセッサーと、
    前記プロセッサーに接続されたメモリと、を含み、
    前記プロセッサーは、前記メモリ内に保存されているプログラム命令を実行することにより、
    複数の画像を受信し、
    所定のフレーム間隔で存在する前記複数の画像を、複数の２値画像に変換し、
    前記複数の２値画像から、白ピクセルカウントの所定の下側しきい値よりも大きい相対白ピクセルカウントを有する参照フレームを特定し、
    前記相対白ピクセルが、所定の上側しきい値を超えるか、単調増加する間に検出される前記複数の２値画像内のモーションの検出における顔検出を始動し、
    複数の列に沿って前記複数の２値画像を空間的にサンプリングすることによって判別される前記白ピクセルカウントの最高密度に基づいて、前記複数の２値画像内の関心のある領域（ＲｏＩ）窓を縮小し、
    前記縮小されたＲｏＩ窓内において顔が検出されたか否かを判別し、
    前記縮小されたＲｏＩ窓内において前記顔が検出された場合、前記顔の下半分において口が検出されたか否かを判別し、
    前記縮小されたＲｏＩ窓内において前記顔が検出されなかった場合、および、前記検出された顔の前記下半分において前記口が検出されなかった場合の少なくとも一方に該当する場合、前記不正を検出することを特徴とするシステム。
11. 前記複数の画像は、図地分離（ＦＧＳ）技術を用いて、前記複数の２値画像に変換される請求項１０に記載のシステム。
12. 前記プロセッサーは、さらに、所定のフレーム間隔で存在する前記複数の２値画像間の排他的論理和（ＸＯＲ）演算を実行し、前記相対白ピクセルカウントを判別する請求項１０に記載のシステム。
13. 前記プロセッサーは、さらに、前記複数の２値画像における照明の変化に基づいて、前記参照フレームを更新する請求項１０に記載のシステム。
14. 前記プロセッサーは、さらに、前記白ピクセルカウントの前記最高密度を判別するため、複数の行に沿って前記複数の２値画像を空間的にサンプリングする請求項１０に記載のシステム。
15. 前記プロセッサーは、さらに、前記顔検出の始動において、前記複数の２値画像のサンプリングレートを増加させる請求項１０に記載のシステム。
16. 前記プロセッサーは、さらに、前記ビデオ監視システムによる前記不正の検出において、警告を生成する請求項１０に記載のシステム。
17. 前記プロセッサーは、さらに、ヒストグラム配向勾配（ＨＯＧ）技術を用いて、複数のグレー画像内の人物を検出し、
    前記人物は、前記複数の２値画像内における前記モーションの検出において検出される請求項１０に記載のシステム。
18. 前記口は、ＨＡＡＲ技術を用いて検出される請求項１０に記載のシステム。
19. ビデオ監視システムによって不正を検出するために、演算デバイス内において実行可能なプログラムを具体化する非一時的コンピューター可読媒体であって、該プログラムは、
    複数の画像を受信するためのプログラムコードと、
    所定のフレーム間隔で存在する前記複数の画像を、複数の２値画像に変換するためのプログラムコードと、
    前記複数の２値画像から、白ピクセルカウントの所定の下側しきい値よりも大きい相対白ピクセルカウントを有する参照フレームを特定するためのプログラムコードと、
    前記相対白ピクセルカウントが、所定の上側しきい値を超えるか、単調増加する間に検出される前記複数の２値画像内のモーションの検出における顔検出を始動するためのプログラムコードと、
    複数の列に沿って前記複数の２値画像を空間的にサンプリングすることによって判別される前記白ピクセルカウントの最高密度に基づいて、前記複数の２値画像内の関心のある領域（ＲｏＩ）窓を縮小するためのプログラムコードと、
    前記縮小されたＲｏＩ窓内において顔が検出されたか否かを判別するためのプログラムコードと、
    前記縮小されたＲｏＩ窓内において前記顔が検出された場合、前記顔の下半分において口が検出されたか否かを判別するためのプログラムコードと、
    前記縮小されたＲｏＩ窓内において前記顔が検出されなかった場合、および、前記検出された顔の前記下半分内において前記口が検出されなかった場合の少なくとも一方に該当する場合、前記不正を検出するためのプログラムコードと、を含むことを特徴とする非一時的コンピューター可読媒体。

Images