JPH1097633A - 人間の動きのパターンを解析する方法及びシステム - Google Patents

Abstract

(57)【要約】 （修正有） 【課題】 画像の技法を使って、選択されたエリアの内
部および回りにおける、人の通過、覗き込みおよび滞在
の時間などの動きのパターンを検出し、解析する。 【解決手段】 販売促進用ディスプレイ、現金自動預け
払い機（ＡＴＭ）などの対象エリアに対するビデオ・カ
メラの出力がリアルタイムでメモリの中に格納される。
処理システムは、画像内の人物、通過、を検出し、格納
された画像の中に検出された人が存在している時間に応
じて覗き込み等の特定動作を判断し、所定の処理を行
う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、概して、画像技術
を使って選択された領域の内部および回りの人間の動き
のパターンを検出して解析するためのシステムおよび方
法に関する。特に、本発明は製品のディスプレイ、顧客
サービス・エリア、現金自動預け払い機、対話型のキオ
スク、および顧客または他の人が存在する可能性のある
他の限られたエリアの内部および回りにおける、顧客の
通過時間および見ている時間および滞在時間などの動き
のアクティビティを検出し、解析し、そしてクオンティ
ファイするためのシステムおよび方法に関する。

【０００２】

【従来の技術、及び、発明が解決しようとする課題】小
売り業者、製造業者、および他の機関がそれぞれの製品
の販売を促進するために、局所化された販売促進用ディ
スプレイに頼ることが普通になってきている。例えば、
スーパーマーケットではソフト・ドリンクなどの製品の
売上げを促進するために、通路の端、あるいはいくつか
の他の適切な場所に自立型または壁掛け型の販売促進用
ディスプレイを置くことができる。販売促進用ディスプ
レイは通り過ぎる顧客からの注意を惹くように一般には
設計され、運がよければ顧客が立ち止まり、そのディス
プレイを眺め、そしてそこに広告されている製品または
サービスを購入することを決定するように設計されてい
る。そのような販売促進用ディスプレイは適切に使われ
た時、その下に並んでいる製品またはサービスの販売に
おける支援となる可能性がある。

【０００３】販売促進用ディスプレイとはやや異なる目
的に役立つが、顧客がオンラインのトランザクションを
実行できるように局所化された現金自動預け払い機（Ａ
ＴＭ）や対話型のコンピュータ・キオスクを利用するこ
とが、銀行などの機関にとって普通になってきている。
ＡＴＭとキオスクは通り過ぎる顧客の注意を惹くように
設計されることが多い点で、販売促進用ディスプレイに
似ている。いくつかのＡＴＭは利用料金が有料なので、
その使用を促進するための機能は銀行に対する歳入の増
加につながる可能性がある。

【０００４】残念ながら、販売促進用ディスプレイ、Ａ
ＴＭなどが顧客の注意を惹くことに関してどの程度効果
的であるかを正確に決定することは普通は困難である。
販売促進用ディスプレイの場合、小売り業者はその販売
促進用ディスプレイの設置の前後での製品に関連した歳
入を比較することができるが、これはそのディスプレイ
の有効性を正確に示すものとはならない可能性がある。
例えば、多くの要因が製品の売り上げレベルに寄与する
可能性があり、その要因の１つが販売促進用ディスプレ
イであるに過ぎない。ＡＴＭの場合、銀行はそのＡＴＭ
のユーザの合計数、および実行されるトランザクション
のタイプを決定することはできるが、その機械を使うた
めに立ち止まる通行人のパーセンテージを知ることは普
通は困難である。販売促進用ディスプレイであれ、ＡＴ
Ｍであれ、立ち止まる人と立ち止まらない人の数の比を
知ることができれば、これはかなり貴重な情報となる可
能性がある。

【０００５】人の「通過（ｐａｓｓｉｎｇ）」および
「覗き込み（ｌｏｏｋｉｎｇ）」の習慣を検出して解析
するための能力は、単に小売り業者、製造業者および銀
行などの商用の機関に対してだけ有用であるだけでな
く、対象となる局所化されたエリアに関係する他の状況
においても有用であることが証明され得る。例えば、高
速鉄道の当局者は駅の壁に掲げられたバスの運行表を人
々が立ち止まって見るかどうかに関心がある場合があ
る。そのスケジュールが編成されて提示される方法を、
通行人の通過および覗き込みの習慣に基づいて変更する
ことができる。

【０００６】本発明の目的は、選択されたエリアの内部
および回りにおける人の通過、覗き込みおよび滞在の時
間などの動きのパターンを検出し、解析するためのシス
テムおよび方法を提供することである。

【０００７】

【課題を解決するための手段】本発明によると、局所化
されたエリア内での動きのパターンを解析するためのプ
ロセスは、その局所化されたエリアを見るようにしたビ
デオ・カメラを位置決めするステップと、選択された時
間間隔でそのビデオ・カメラの画像を順次捕捉するステ
ップと、その順次画像をメモリに格納するステップと、
格納された順次画像の中に人が存在するかどうかを検出
するステップと、格納された画像の中に検出された人が
存在している時間をセンスするステップと、そのセンス
された時間が所定のしきい値に達した時に所定の動作を
生成するステップとによって特徴付けられる。

【０００８】画像技術を使って、選択されたエリアの内
部および回りでの人の動きのパターンを検出するための
システムおよび方法が提供される。販売促進用ディスプ
レイ、現金自動預け払い機（ＡＴＭ）などの、対象とな
るエリアを見るためにビデオ・カメラを設置することが
できる。ビデオ・カメラの出力はフレーム・グラバーの
中にリアルタイムで供給され、その中でビデオ画像が順
次繰り返してディジタル化され、処理システムのメモリ
の中に格納される。そのビデオ画像に対する１つまたは
それ以上の通過ゾーンおよび覗き込みゾーンが定義され
る。通過ゾーンは人がその選択されたゾーン（例えば、
販売促進用ディスプレイ、ＡＴＭなど）の側を「通り過
ぎる」場合に見つけられる、ビデオ画像のゾーンとして
定義される。覗き込みのゾーンは人がその選択されたゾ
ーンを「見ている」場合に見つけられる、ビデオ画像の
ゾーンとして定義される。人がその選択されたゾーンの
側を通り、および／またはその選択されたゾーンを覗き
込む時、処理システムは通過および／または覗き込みイ
ベントを生成する。人がその覗き込みゾーンの内部に留
まっている間、そのＡＴＭなどの製品を人がどの程度長
く眺めているかを測定するために、システム時計を監視
することもできる。各人がどの程度長く留まっているか
を測定する滞在時間は、このシステムによって作り出さ
れるもう１つの重要な結果である。通過、覗き込みおよ
び滞在の時間のイベントに対応するデータは、後での処
理および／または解析のために記憶される。

【０００９】以下に本発明が付属図面を参照しながら、
例示によって説明される。

【００１０】

【発明の実施の形態】本発明のシステムはディスプレイ
との顧客の対話を解析するのに有用であるデータを収集
するために、販売促進用ディスプレイ、ＡＴＭまたは対
象とする他のエリアを監視しているカメラから受信され
る一連の入力画像を処理するように動作する。この解析
は次のタイプの情報を提供することができる。

【００１１】・そのディスプレイなどの側を通る人（例
えば、顧客）の数 ・そのディスプレイなどの場所で立ち止まりそれを眺め
る人の数 ・そのディスプレイなどを眺める各人の時間の長さ 各カメラの画像に対して、「通過ゾーン」および「覗き
込みゾーン」がユーザによって定義される。通過ゾーン
はその販売促進用ディスプレイの前を通り過ぎる人の数
を求めるために使われ、覗き込みゾーンはそのディスプ
レイを眺める人の数を求めるために使われる。

【００１２】図１は１つの実施形態における本発明の総
合的な構造を示している。本発明のハードウエア・コン
ポーネントは標準の棚卸しのコンポーネントから構成す
ることができる。このシステムの中の主要コンポーネン
トは１台またはそれ以上のビデオ・カメラ１１０、１台
またはそれ以上のフレーム・グラバー１２０およびパー
ソナル・コンピュータ（ＰＣ）などの処理システム１３
０である。ＰＣ １３０とフレーム・グラバー１２０と
の組合せはまとめて「ビデオ・プロセッサ」１４０と呼
ばれることもある。ビデオ・プロセッサ１４０は１台ま
たはそれ以上のカメラ１１０から、ＲＳ−１７０、ＮＴ
ＳＣ、ＣＣＩＲ、ＰＡＬなどの標準のフォーマットのビ
デオ信号１１５を受信する。それらはモノクロまたはカ
ラーが可能である。カメラはその対象とする選択された
エリア、例えば、小売り業者の店舗における販売促進用
ディスプレイ、現金自動預け払い機（ＡＴＭ）、または
人（あるいは他のオブジェクトであってもよい）が通過
し、時々覗き込むために立ち止まる局所化された他のエ
リアを撮影するために設置される。

【００１３】ビデオ信号１１５はフレーム・グラバー１
２０に入力される。１つの実施形態においては、フレー
ム・グラバー１２０はＭａｔｒｏｘ社から入手できるＭ
ｅｔｅｏｒ Ｃｏｌｏｒ Ｆｒａｍｅ Ｇｒａｂｂｅｒ
を含むことができる。フレーム・グラバー１２０はアナ
ログのビデオ信号１１５をメモリ１３５の中に格納され
るディジタル画像に変換し、そのディジタル画像をビデ
オ・プロセッサ１４０が処理することができる。例え
ば、１つの実施形態においては、フレーム・グラバー１
２０はそのビデオ信号１１５を６４０×４８０（ＮＴＳ
Ｃ）または７６８×５７６（ＰＡＬ）のグレー・レベル
画像に変換することができる。各ピクセルの解像度は８
ビットとすることができる。８ビットの解像度は通常十
分であり、カラー・データを使ってシステムの性能を向
上させることができる。もちろん、通常の技術を持った
人によって認識されるように、各種の他のディジタル画
像フォーマットおよび解像度も使うことができる。

【００１４】この時点で、画像の解析が以下に詳細に記
述されるようにＰＣ １３０によって開始される。

【００１５】処理システム１３０によって実行される本
発明の高レベルの制御フローが、疑似コードおよびさら
に詳細なフォーマットの両方において以下に記述され
る。［］の中の番号は図２に示されているステップに対
する疑似コードを参照する。 ［２０１］システム・パラメータを初期化する ［２０２］ビデオ・ストリームを構成する ［２０３］ｗｈｉｌｅ（真） ［２０４］ｆｏｒ（ｊ＝；０＜ビデオ入力の合計数；ｊ
＋＋） ［２０５］次のフレームをビデオ入力ｊから得る ［２０６］ｆｏｒ（ｉ＝０；ｉ＜ディスプレイの合計
数；ｉ＋＋） ［２０７］ディスプレイｉに対する覗き込みゾーンを処
理する ［２０８］ディスプレイｉに対する通過ゾーンを処理す
る ［２０８ａ］ｅｎｄ ｆｏｒ ［２０９］ｅｎｄ ｆｏｒ ［２１０］ｅｎｄ ｗｈｉｌｅ ステップ２０１において、システム・パラメータが初期
化される。システム・パラメータは図３に示されている
ようにツリー構造として表示することができる。そのツ
リーのルート ３１０は「ビデオ入力」であり、それは
ビデオ信号１１５を表している最高レベルのデータ構造
である。ツリーの次のレベル３２０は１つまたはそれ以
上のノード３２１を含み、それぞれがビデオ信号１１５
の１つに対応していて、各ビデオ信号１１５に対して１
つのノード３２１がある。各ノード３２１は１つのパラ
メータとして１つのフレーム・グラバー識別子３２２を
含む。それは対応しているビデオ信号１１５に対して割
り当てられているフレーム・グラバー１２０を識別す
る。

【００１６】各ビデオ信号１１５に対して、本発明はカ
メラ１１０の画像の内部の、対象とする１つまたはそれ
以上のエリアの解析をサポートするように実装すること
ができる。例えば、カメラ１１０は小売り業者の店舗の
内部にある２台の販売促進用ディスプレイに向けられ、
その２台の各ディスプレイが異なる製品を含む。従っ
て、各ビデオ信号１１５のビデオ画像の内部に対象とな
る２つのエリアが存在し得る。これは図３のシステム・
パラメータのツリー構造の内部で、１つまたはそれ以上
のノード３３１を含んでいる、さらにもう１つのレベル
３３０として表されている。各ノード３３１はレベル３
２０のノード３２１の１つの子であり、各ノード３３１
は対象とするエリア（例えば、１台の販売促進用ディス
プレイ、１台のＡＴＭなど）に対応する。各ノード３３
１にはその特定のディスプレイをユニークに識別するデ
ィスプレイ識別子３３２が関係付けられており、また、
覗き込みのイベントのために費やされなければならない
時間の最小量を識別する、ログされる「覗き込み時間」
パラメータ３３３も関連付けられている（下記参照）。

【００１７】図４Ａはビデオ・カメラ１１０の覗き込み
ゾーン４２０および通過ゾーン４３０が定義されている
販売促進用ディスプレイ４１０の、メモリ１３５に格納
される画像を捕捉しているビデオ・ディスプレイを示し
ている図である。同様に、図４Ｂは、２つのディスプレ
イ４１０、２つの覗き込みゾーン４２０および２つの通
過ゾーン４３０がある、ビデオ・ディスプレイを示して
いる図である。各カメラの視野内で、複数の通過ゾーン
４３０を定義することができる。

【００１８】四角形の通過ゾーン４３０が指定されてい
る。人がその通過ゾーン４３０を通って移動するにつれ
て、システムは人がその通過ゾーン４３０を通ったこと
を示すイベント「通過イベント」を生成する。

【００１９】４１０などの販売促進用ディスプレイを実
際に見る人の数を求めるために、人が覗き込みゾーン４
２０に入った時刻および覗き込みゾーン４２０の中に留
まっていた時間の量を知る必要がある。人が覗き込みゾ
ーン４２０の中に最小限の時間に留まっていた場合、覗
き込みイベントが生成される。

【００２０】覗き込みゾーン４２０は通過ゾーン４３０
とは異なった方法で処理される。

【００２１】本発明のシステムの出力は、人がディスプ
レイ４１０を通過し、ディスプレイ４１０を眺めること
を表すイベントの集合である。１つのイベントと通過ゾ
ーン４３０を通る人との間に一対一の対応関係がある。
人が所定の時間より長く覗き込みゾーン４２０の中に留
まるたびに、覗き込みイベントが生成される。表５（下
記参照）は通過イベントのフォーマットの一例を示して
おり、表４は覗き込みイベントのフォーマットの一例を
示している。

【００２２】通過イベントは約１２バイトのデータ記憶
を必要とする可能性があり、一方、覗き込みイベントは
約１６バイトを必要とする可能性がある。

【００２３】表１は１台の販売促進用ディスプレイ４１
０を監視している代表的な構成に対するデータ記憶の必
要数を示している。通行人のうち２０％が実際にディス
プレイ４１０の場所に立ち止まって眺めることが仮定さ
れている。

【００２４】

【表１】 ふたたび図３を参照すると、各ノード３３１（ディスプ
レイ、ＡＴＭなどに対応する）にツリー構造の別のレベ
ル３４０がさらに関係付けられている。レベル３４０は
１つまたはそれ以上の覗き込みゾーンのノード３４１お
よび通過ゾーンのノード３４２を含み、その各ペアを１
つのノード３３１に関連付けることができる。従って、
個々のディスプレイ３３１に対して定義されている各覗
き込みゾーン４２０および通過ゾーン４３０は同じディ
スプレイ識別子３３２を使うことができる次のパラメー
タが各覗き込みゾーンのノード３４１に対して存在する
可能性がある。

【００２５】境界ボックス：この境界ボックスはカメラ
１１０の視野内の覗き込みゾーン４２０のロケーション
を記述する。そのロケーション情報は図４の中に示され
ているように、画像の座標系の中の、覗き込みゾーン４
２０の左上隅および覗き込みゾーン４２０の右下隅の
Ｘ、Ｙ座標を含む。

【００２６】パーセント占有値：このパーセント占有値
のパラメータは、占有されているとみなされる覗き込み
ゾーン４２０に対して「オン」になっていなければなら
ないピクセルの個数を規定する。これについては図５に
関連して以下に詳細に説明される。

【００２７】差分しきい値：画像の差を求める動作を実
行する時に使われる差のしきい値を規定する。これにつ
いても図５および図９に関連して以下にさらに詳細に説
明される。

【００２８】各覗き込みゾーンのノード３４１に対して
次のパラメータも存在し得る。これらの各パラメータに
ついても図９に関連して以下にさらに詳細に説明され
る。

【００２９】前のしきい値： カウントのしきい値： パーセント差分しきい値： 背景画像： 次のパラメータが各通過ゾーンのノード３４２に対して
存在する。

【００３０】境界ボックス：カメラ１１０の視野内の通
過ゾーン４３０のロケーションを記述する。そのロケー
ション情報は画像の座標系の中での通過ゾーン４３０の
左上隅および通過ゾーン４３０の右下隅のＸ、Ｙ座標を
含む。図４参照。

【００３１】差分しきい値：画像の差を求める演算を実
行する時に実行する差分しきい値を規定する。これは図
６および図９に関連して以下にさらに詳細に説明され
る。

【００３２】隣接距離：領域のラベリングのための隣接
性の制約を規定する。これは図６に関してどこかで説明
される。

【００３３】最小オブジェクト・サイズ：フィルタリン
グの演算において使われピクセル数の単位での最小オブ
ジェクト・サイズを規定する。これは図７に関してどこ
かで説明される。

【００３４】最大距離：マッチング時に２つのオブジェ
クトが許される最大の距離をピクセル数の単位で規定す
る。これは図１０に関してどこかで説明される。

【００３５】パス・レングスのしきい値：１つのオブジ
ェクトがカウントされるために超過しなければならない
軌跡の最小長さを規定する。これは図８に関連して、ど
こかで説明される。

【００３６】次のパラメータも各通過ゾーンのノード３
４２に対して存在し得る。これらの各パラメータも図９
に関連して以下にさらに詳細に説明される。

【００３７】前のしきい値： カウントのしきい値： パーセント差分しきい値： 背景画像： ステップ２０１における初期化の後、ビデオ・ストリー
ムがステップ２０２において構成設定される。システム
・リソース、ＣＰＵ１３０およびメモリ１３５を最適化
するために、処理システム１３０によって解析されるこ
とになる画像の部分を捕捉し格納することだけが必要で
ある。この場合も、監視されている販売促進用ディスプ
レイ４１０などに対して１つまたはそれ以上の覗き込み
ゾーン４２０（ノード３４１において定義されたよう
な）および通過ゾーン４３０（ノード３４２において定
義されたような）が定義される。１つの実施形態におい
ては、これらのゾーン４２０、４３０は本発明によって
解析される画像の一部分に過ぎない。覗き込みゾーン４
２０および通過ゾーン４３０をすべて囲む最大のウィン
ドウ４４０は対象の領域（ＲＯＩ：ｒｅｇｉｏｎ ｏｆ
ｉｎｔｅｒｅｓｔ）と呼ばれる。この実施形態におい
ては、本発明が動作している時、ＲＯＩ４４０だけが捕
捉されてメモリ１３５の中に格納される必要がある。本
発明は複数のカメラをサポートすることができるので、
各ビデオ入力ストリーム１１５を各カメラ１１０の視野
に対するＲＯＩ４４０に基づいて独立に構成設定するこ
とができる。

【００３８】ステップ２０３（図２）において、本発明
はビデオ入力ステップ１１５の処理を開始する。処理シ
ステム１３０は各ビデオ・ストリーム１１５を順次処理
する。すなわち、各ビデオ入力１１５に対して、システ
ム１３０は次のフレーム（ディジタル画像）を得る（ス
テップ２０４〜２０９）。システム１３０はカメラ１１
０の視野内で構成設定されている各ディスプレイ４１０
を順次解析する。すなわち、各ディスプレイ４１０に対
して、システム１３０は以下にさらに詳細に説明される
ように、ディスプレイ４１０に関連付けられている覗き
込みゾーン４２０および通過ゾーン４３０の集合を解析
する。

【００３９】＜覗き込みゾーンの処理＞ステップ２７０
において、覗き込みゾーン４２０が処理される。以下は
メモリ１３５の中に格納されているビデオ画像を使っ
て、処理システム１３０によって実行される覗き込みゾ
ーンのプロセスに対する疑似コードである。［］の中の
番号は図５のステップに対する疑似コードの番号を示し
ている。

【００４０】［５０１］Ｆｏｒ（ｉ＝０；ｉ＜覗き込み
ゾーンの数；ｉ＋＋） ［５０２］ゾーンｉに対する対象の領域を抽出する ［５０３］背景画像の差を生成する ［５０４］ｉｆ（オンになっているピクセルの数＞パー
セント占有値） ［５０５］ｓｔａｔｕｓ［ｉ］＝ＯＣＣＵＰＩＥＤ ［５０６］ｅｌｓｅ ［５０７］ステータス［ｉ］＝ＮＯＴ＿ＯＣＣＵＰＩＥ
Ｄ ［５０８］ｅｎｄ ｉｆ ［５０９］現在の背景を更新する ［５１０］ｅｎｄ ｆｏｒ ［５１１］ｉｆ（ｄｉｓｐｌａｙＳｔａｔｕｓ＝ＮＯＴ
＿ＯＣＣＵＰＩＥＤ＆＆ ｇｅｔＳｔａｔｕｓ（）＝Ｏ
ＣＣＵＰＩＥＤ） ［５１２］ｓｔａｒｔＴｉｍｅ＝現在時刻 ［５１３］ｄｉｓｐｌａｙＳｔａｔｕｓ＝ＯＣＣＵＰＩ
ＥＤ ［５１４］ｅｌｓｅ ｉｆ（現在時刻−ｓｔａｒｔＴｉ
ｍｅ）＞ｌｏｏｋｉｎｇＴｉｍｅ） ［５１５］ｉｆ（（現在時刻−ｓｔａｒｔＴｉｍｅ）＞
ｌｏｏｋｉｎｇＴｉｍｅ） ［５１６］覗き込みイベントをセーブする ［５１７］ｅｎｄ ｉｆ ［５１８］ｄｉｓｐｌａｙＳｔａｔｕｓ＝ＮＯＴ＿ＯＣ
ＣＵＰＥＩＤ ［５１９］ｅｎｄ ｉｆ この場合も、監視されている各ディスプレイ４１０には
１つまたはそれ以上の覗き込みゾーン４２０が関連付け
られている。その覗き込みゾーン４２０のどれか１つの
中に人が検出された場合、ディスプレイ４１０は占有さ
れたか、あるいは使用中であると考えられる。最初に、
各覗き込みゾーン４２０のステータス（図３のデータ構
造の中で定義されているような）、ｓｔａｔｕｓ
［ｉ］、およびディスプレイがＮＯＴ＿ＯＣＣＵＰＩＥ
Ｄ（占有されていない）に設定される。各ビデオ信号入
力１１５に対して、次のことが実行される。ステップ５
０１〜５１０において、処理システム１３０は次の機能
を実行しながら、各覗き込みゾーン４２０を順次処理す
る（図３のデータ構造を利用して）。先ず最初に、ステ
ップ５０２において、対応している覗き込みゾーン４２
０に対して対象とする領域（ＲＯＩ）４２０が入力フレ
ーム４４０から抽出される。この場合も入力フレーム４
４０は１つまたはそれ以上の覗き込みゾーン４２０また
は通過ゾーン４３０を囲む境界ボックスに対応する。そ
の演算の出力は解析されている覗き込みゾーン４２０に
対応する画像の領域だけを含む、より小さなフレームで
ある。

【００４１】次に、ステップ５０３において、覗き込み
ゾーン４２０に関連付けられている抽出されたフレーム
と現在の背景を使って画像の差が生成される。その画像
の差を使って背景の中にない覗き込みゾーン４２０の中
のオブジェクトを検出する。そのシーンの中の新しいオ
ブジェクトは一般に背景とは異なるグレー・スケールの
強度またはカラー（グレー・スケールまたはカラーのい
ずれが使われているかによって変わる）の組を示すの
で、そのシーンの中の新しいオブジェクトを検出するこ
とができる。幅ｎおよび高さｍの覗き込みゾーン４２０
に対する画像の差を生成するために次の式を使うことが
できる。

【００４２】

【数１】 但し、ｆ（ｉ，ｂ）＝１ （｜ｉ−ｂ｜≧Ｄの場合） ＝０ （｜ｉ−ｂ｜＜Ｄの場合） であり、Ｄは差のしきい値である。

【００４３】値が１である画像の差の中のピクセルはオ
ブジェクトが検出された画像の内部のロケーションを表
している。その画像の差を求める演算に対して選択され
るしきい値は、影、変化する照明状態、および他の環境
要因から生じるノイズを消去するのに十分大きくなけれ
ばならない。しかし、そのしきい値はそのシーンの中の
人の存在を検出するのに十分小さくなければならない。

【００４４】覗き込みゾーン４２０が占有されているか
どうかを判定するために、ステップ５０４〜５０８にお
いて処理システム１３０は値が１である画像の差の中の
ピクセルの合計数をパーセント占有値（ｐｅｒｃｅｎｔ
＿ｏｃｃｕｐｉｅｄ）パラメータに対して比較する。パ
ーセント占有値のパラメータは占有されているとみなさ
れる覗き込みゾーンに対する現在のフレームと背景フレ
ームとの間の差でなければならない、ピクセルの合計数
である。覗き込みゾーン４２０のステータスが更新さ
れ、そして最後に、現在の覗き込みゾーンの背景がステ
ップ５０９において更新される。これについては以下に
さらに詳しく説明される。

【００４５】各覗き込みゾーンが処理された後、システ
ムはステップ５１１〜５１９においてディスプレイのス
テータスの変化をチェックする。ステップ５１１におい
ては、どれかの覗き込みゾーンが占有されていて、その
ディスプレイのステータスがＮＯＴ＿ＯＣＣＵＰＩＥＤ
であった場合、人がその覗き込みゾーンの１つに入って
いる。ステップ５１２および５１３において、ディスプ
レイのステータスはＯＣＣＵＰＩＥＤに設定され、そし
てそのディスプレイが占有されるようになった時刻がｓ
ｔａｒｔＴｉｍｅ（開始時刻）の中に格納される。

【００４６】ステップ５１４において、ディスプレイが
占有されていなかった場合、システムは人がそのディス
プレイから立ち去ったかどうかを判定しなければならな
い。ディスプレイのステータスがＯＣＣＵＰＩＥＤであ
って、各ゾーンのステータスがＮＯＴ＿ＯＣＣＵＰＩＥ
Ｄであった場合、人はそのディスプレイから離れる。ス
テップ５１５〜５１８において、ｌｏｏｋｉｎｇＴｉｍ
ｅ（覗き込みゾーン時間）秒より長い間そのディスプレ
イの場所に留まっていた場合、システムは覗き込みゾー
ンイベントをログする。その人がごく短時間の間だけし
かいなかった場合、そのイベントはログされない。

【００４７】通過ゾーンの処理 ステップ２０８において、通過ゾーン４３０が処理され
る。以下にメモリ１３５の中に格納されているビデオ画
像を使って処理システム１３０によって実行される、通
過ゾーンのプロセスに対する疑似コードが示されてい
る。［］の中の番号は図６のステップに対する疑似コー
ドの番号である。

【００４８】［６０１］ｆｏｒ（ｉ＝０；ｉ＞通過ゾー
ンの数；ｉ＋＋） ［６０２］通過ゾーンｉに対して対象となる領域を抽出
する ［６０３］背景の画像の差を生成する ［６０４］領域のラベリングを実行する ［６０５］オブジェクトをフィルタする ［６０６］オブジェクトを追跡する ［６０７］通過回数を更新する ［６０８］現在の背景を更新する ［６０９］ｅｎｄ ｆｏｒ 監視されている各ディスプレイ４１０はディスプレイ４
１０に関連付けられている１つまたはそれ以上の通過ゾ
ーン４３０を備えている。人がその通過ゾーン４３０の
１つの中を歩いていることが検出された場合、ディスプ
レイ４１０に対する通過カウントが更新される。

【００４９】各フレーム入力１１５に対して、次のこと
が実行される。ステップ６０１〜６０９において、処理
システム１３０は次の機能を実行しながら各通過ゾーン
４３０を順次処理する。先ず最初にステップ６０２にお
いて、対応している通過ゾーン４３０に対して対象の領
域４３０が入力フレーム４４０から抽出される。この場
合も、入力フレーム４４０は１つまたはそれ以上の通過
ゾーン４３０および覗き込みゾーン４２０を囲む境界ボ
ックスに対応する。その演算の出力は解析されている通
過ゾーン４３０に対応する画像の領域だけを含む、より
小さなフレームである。

【００５０】次に、ステップ６０３において、通過ゾー
ン４３０に関連付けられている現在の背景と抽出された
フレームとを使って画像の差が生成される。その画像の
差は背景の中にない通過ゾーン４３０の中のオブジェク
トを検出するために使われる。そのシーンの中の新しい
オブジェクトは背景とは異なる組のグレー・スケール強
度を一般に示すので、そのシーンの中の新しいオブジェ
クトを検出することができる。図５に関して前に説明さ
れた、呼出しゾーンの背景との差を求める計算の中で使
われたのと同じ方法が使われる。

【００５１】この点において、値が０および１であるバ
イナリの画像がメモリ１３５の中に存在する。１の値の
ピクセルは背景とは異なるオブジェクトの存在を示す。
次に、ステップ６０４において、画像の差の中の「オ
ン」である隣接したピクセルをグループ化するために画
像の差について領域のラベリング演算が実行される。例
えば、次の値のピクセルを含んでいる二値画像の部分
（表２に示されている）を仮定する。

【００５２】

【表２】 ステップ６０４の領域のラベリングによって、隣接する
ピクセルの２つの領域、ＡおよびＢを識別することがで
きる。これらの領域が以下に示されている（表３）。

【００５３】

【表３】 領域ＡおよびＢは通過ゾーン４３０の中で識別された２
つのオブジェクトに対応する。ノイズおよび、背景と同
程度のグレー・レベル強度のオブジェクトのセグメンテ
ーションが不十分である結果、最適のセグメンテーショ
ンが得られない可能性があるので、隣接性の制約を緩め
る必要がある。隣接性はピクセルの距離で表される距離
関数、ａｄｊａｃｅｎｃｙＤｉｓｔａｎｃｅ（隣接距
離）として定義することができる。距離がＤであるピク
セルＰｉ，ｊに隣接するピクセルの集合は以下に示され
る。

【００５４】

【数２】 この好適な実施形態において、距離はシステム・パラメ
ータである。上記の例の中で、２の距離を使って、領域
ＡとＢが単独のオブジェクトとしてグループ化されるこ
とになる。

【００５５】領域ラベリング・アルゴリズムの出力は画
像の中の識別される各オブジェクトまたは領域に対して
１つの、オブジェクト・ディスクリプタの集合である。
各オブジェクト・ディスクリプタはそのオブジェクトの
面積中心（ｃｅｎｔｒｏｉｄ）、オブジェクトの中心の
ｘ，ｙ座標値、およびピクセル数単位でのオブジェクト
のサイズから構成される。また、後で説明されるオブジ
ェクト・マッチングのアルゴリズムの性能を改善するた
めに、グレー・スケール強度、カラー・フィーチャなど
の他のオブジェクト・フィーチャを抽出することもでき
る。

【００５６】ステップ６０５において、オブジェクトが
現在の画像の中で識別された後、フィルタリング演算が
実行される。小さ過ぎるオブジェクトは捨てられる。と
いうのは、それらはノイズまたは他のセグメンテーショ
ン関連の問題から生成したオブジェクトに対応する可能
性があるからである。フィルタリングによって、人に比
べて小さい（例えば、ｍｉｎＯｂｊｅｃｔＳｉｚｅより
小さい）オブジェクトは捨てられる。オブジェクトのフ
ィルタリングについては、図７を参照して以下の疑似コ
ードによって説明される。

【００５７】［７０１］ｆｏｒ各オブジェクト ［７０２］ｉｆ（オブジェクト・サイズ＜ｍｉｎＯｂｊ
ｅｃｔＳｉｚｅ） ［７０３］オブジェクトを捨てる ［７０４］ｅｎｄ ｉｆ ［７０５］ｅｎｄ ｆｏｒ この点において、処理システム１３０はシーンの中の人
に対応するはずである一組のオブジェクトを持ってい
る。ステップ６０６において、システム１３０は次に現
在のフレームの中のオブジェクトを前のフレームの中の
オブジェクトとマッチさせなければならない。Ｔｒａｃ
ｋＯｂｊｅｃｔｓは現在追跡されているオブジェクトの
配列である。ＴｒａｃｋＯｂｊｅｃｔｓ配列の中の１つ
のエントリは次のものから構成される。

【００５８】・前のフレームからの関連付けられたオブ
ジェクトのディスクリプタ ・最初に識別された時の初期オブジェクトのロケーショ
ン ＮｅｗＯｂｊｅｃｔｓは現在のフレームに対するオブジ
ェクト・ディスクリプタの配列である。ステップ６０６
の中でオブジェクト・マッチングを実行するために実行
されるサブステップが、図１０を参照しながら以下に疑
似コードとして記述されている。

【００５９】［１００１］ｉｆ（ＮｅｗＯｂｊｅｃｔｓ
の数＝０） ［１００２］すべてのＴｒａｃｋＯｂｊｅｃｔｓを削除
する ［１００３］戻る ［１００４］ｅｎｄ ｉｆ ［１００６］ｆｏｒ（ｋ＝０；ｋ＜ＴｒａｃｋＯｂｊｅ
ｃｔｓの数；ｋ＋＋） ［１００７］ｔｒａｃｋＳｔａｔｕｓ［ｋ］＝ＮＯＴ＿
ＭＡＴＣＨＥＤ ［１００９］ｆｏｒ（ｋ＝０；ｋ＜ＮｅｗＯｂｊｅｃｔ
ｓの数；ｋ＋＋） ［１０１０］ｏｂｊｅｃｔＳｔａｔｕｓ［ｋ］＝ＮＯＴ
＿ＭＡＴＣＨＥＤ ［１０１２］ｆｏｒ（ｋ＝０；ｋ＜ＴｒａｃｋＯｂｊｅ
ｃｔｓの数；ｋ＋＋） ［１０１３］ｂｅｓｔＤ＝ＭＡＸＩＭＵＭ ［１０１４］インデックス＝−１ ［１０１５］ｆｏｒ（ｊ＝０；ｊ＜ＮｅｗＯｂｊｅｃｔ
ｓの数；ｊ＋＋） ［１０１６］ｉｆ（ｏｂｊｅｃｔＳｔａｔｕｓ［ｊ］＝
ＮＯＴ＿ＭＡＴＣＨＥＤ） ［１０１７］ｄ＝ｄｉｓｔａｎｃｅ（ＴｒａｃｋＯｂｊ
ｅｃｔｓ［ｋ］，ＮｅｗＯｂｊｅｃｔｓ［ｊ］） ［１０１８］ｉｆ（ｄ＜ｍａｘＤｉｓｔａｎｃｅ ＡＮ
Ｄ ｄ＜ｂｅｓｔＤ） ［１０１９］ｂｅｓｔＤ＝ｄ ［１０２０］インデックス＝ｊ ［１０２１］ｅｎｄ ｉｆ ［１０２２］ｅｎｄ ｉｆ ［１０２３］ｅｎｄ ｆｏｒ ［１０２５］ｉｆ（インデックス！＝−１） ［１０２６］ｏｂｊｅｃｔＳｔａｔｕｓ［インデック
ス］ＭＡＴＣＨＥＤ ［１０２７］ｔｒａｃｋＳｔａｔｕｓ［ｋ］＝ＭＡＴＣ
ＨＥＤ ［１０２８］ＴｒａｃｋＯｂｊｅｃｔｓ［ｋ］をＮｅｗ
Ｏｂｊｅｃｔｓ［インデックス］で更新する ［１０２９］ｅｎｄ ｉｆ ［１０３０］ｅｎｄ ｆｏｒ ［１０３２］ｆｏｒ（ｋ＝０；ｋ＜ＴｒａｃｋＯｂｊｅ
ｃｔｓの数；ｋ＋＋） ［１０３３］ｉｆ（ｔｒａｃｋＳｔａｔｕｓ［ｋ］＝Ｎ
ＯＴ＿ＭＡＴＣＨＥＤ ［１０３４］ｔｒａｃｋＯｂｊｅｃｔｓ［ｋ ］を削除
する ［１０３５］ｅｎｄ ｉｆ ［１０３６］ｅｎｄ ｆｏｒ ［１０３７］ｆｏｒ（ｋ＝０；ｋ＜ＮｅｗＯｂｊｅｃｔ
ｓの数；ｋ＋＋） ［１０３８］ｉｆ（ｏｂｊｅｃｔＳｔａｔｕｓ［ｋ］＝
ＮＯＴ＿ＭＡＴＣＨＥＤ） ［１０３９］ｎｅｗＯｂｊｅｃｔｓ［ｋ］をｔｒａｃｋ
Ｏｂｊｅｃｔｓに加算する ［１０４０］ｅｎｄ ｉｆ ［１０４１］ｅｎｄ ｆｏｒ 上記の疑似コードを図１０に関連して次に説明する。

【００６０】ステップ１００１において、システムが現
在のフレームの中にオブジェクトを識別しなかった場
合、その現在のＴｒａｃｋＯｂｊｅｃｔｓのすべてがス
テップ１００２において削除され、このルーチンから脱
出する。ステップ１００６から開始して、新しいオブジ
ェクトが識別された場合、新しい各オブジェクトおよび
既存のトラックのステータスがステップ１００７および
１０１０のそれぞれにおいてＮＯＴ＿ＭＡＴＣＨＥＤに
設定される。次にシステムは現在の入力フレームの中で
識別された最良のマッチング・オブジェクトを見つけよ
うとして、現在のｏｂｊｅｃｔＴｒａｃｋｓのリストの
中をサーチする。

【００６１】使われるマッチングの基準は前のフレーム
と現在のフレームからのオブジェクトの面積中心のロケ
ーションである。ＴｒａｃｋＯｂｊｅｃｔｓのリストが
ステップ１０１２において縦覧される。各ＴｒａｃｋＯ
ｂｊｅｃｔｓに対して、最良にマッチしているＮｅｗＯ
ｂｊｅｃｔｓが見つけられる。ステップ１０１３におい
て、距離の評点、ｂｅｓｔＤがその最大値に設定され
る。最善のマッチングのオブジェクトのインデックスが
ステップ１０１４において−１に設定される。ステップ
１０１５において、ＮｅｗＯｂｊｅｃｔｓのリストが縦
覧される。ステップ１０１６から開始して、Ｔｒａｃｋ
ＯｂｊｅｃｔｓのエントリにまだマッチしていないＮｅ
ｗＯｂｊｅｃｔｓの中の各エントリに対して、システム
はステップ１０１７においてその距離の評点ｄを計算す
る。ステップ１０１８〜１０２３において、ｄが距離の
しきい値、ｍａｘＤｉｓｔａｎｃｅより小さく、そして
現在のｂｅｓｔＤより小さい場合、マッチが見つかって
いる。ＮｅｗＯｂｊｅｃｔｓオブジェクトのインデック
スがセーブされ、ｂｅｓｔＤが更新される。ｄｉｓｔａ
ｎｃｅ（）関数はＴｒａｃｋＯｂｊｅｃｔｓエントリの
面積中心およびＮｅｗＯｂｊｅｃｔｓエントリからのピ
クセル距離を計算する。

【００６２】ステップ１０２５から開始して、マッチし
ているオブジェクトが見つかった場合、対応しているＴ
ｒａｃｋＯｂｊｅｃｔｓがステップ１０２６〜１０３０
において現在のオブジェクト・ディスクリプタ情報によ
って更新される。ステップ１０３２において、マッチし
なかった各ＴｒａｃｋＯｂｊｅｃｔｓに対して、そのオ
ブジェクトはステップ１０３３〜１０３６において削除
される。ステップ１０３７において、マッチしなかった
各ＮｅｗＯｂｊｅｃｔｓに対して新しいＴｒａｃｋＯｂ
ｊｅｃｔｓがステップ１０３８〜１０４１において生成
される。

【００６３】図１０に関して上で説明されたプロセス
は、１つの好適な実施形態である。しかし、このプロセ
スを下記のように改善することができる。

【００６４】上記の説明の中で、距離関数（ステップ１
０１７）は各オブジェクトの面積中心からの距離を求め
ることによって計算することができる。オブジェクトの
ロケーション以外の特徴を含めるように、距離の概念を
拡張することができる。例えば、精度を増加させるため
に利用できる他のオブジェクトの特徴としては、オブジ
ェクトのサイズ、オブジェクトのグレー・スケールの強
度、またはオブジェクトのカラーなどがある。距離関数
は以下に示されているように、重み付けられた式として
書くことができる。

【００６５】ｄ＝ｗ１＊（ロケーションの距離）＋ｗ２
＊（サイズの距離）＋ｗ３＊（強度の距離）＋ｗＮ＊
（特徴Ｎ） 強度の距離を計算するために使われる１つの方法は、そ
のオブジェクトの面積中心の回りからＮ×Ｍの領域を抽
出することである。次にこのデータがオブジェクト・デ
ィスクリプタの中に１つのデータ要素として格納され
る。次に、ＴｒａｃｋＯｂｊｅｃｔｓ領域とＮｅｗＯｂ
ｊｅｃｔｓ領域について正規化された相互相関関数を実
行することによって、強度に対する距離の評点が計算さ
れる。この方法はオブジェクトのマッチングに役立つ可
能性のある、オブジェクト・フィーチャのタイプを含め
るように拡張することができる。

【００６６】第２の方法では各ＴｒａｃｋＯｂｊｅｃｔ
ｓおよびＮｅｗＯｂｊｅｃｔｓオブジェクトのペアに対
して最もよくマッチするものを識別するために、図１０
のプロセスが拡張される。ステップ１０１２〜１０２５
はＴｒａｃｋＯｂｊｅｃｔｓオブジェクトに対して最も
よくマッチするＮｅｗＯｂｊｅｃｔｓオブジェクトを順
番に見つける。この方法の欠点は、ＮｅｗＯｂｊｅｃｔ
ｓエントリＸがＴｒａｃｋＯｂｊｅｃｔｓ ＮおよびＮ
＋１に対して最もよくマッチする場合、そのオブジェク
トは常にＴｒａｃｋＯｂｊｅｃｔｓ Ｎとマッチされる
ことである。ＴｒａｃｋＯｂｊｅｃｔｓ Ｎ＋１に対す
る距離の評点がよかった場合、エントリＸはＴｒａｃｋ
Ｏｂｊｅｃｔｓ Ｎ＋１にマッチされるべきである。こ
のマッチングにおける異常性の結果、システムがＴｒａ
ｃｋＯｂｊｅｃｔｓ Ｎとマッチしていなければならな
いオブジェクトに対する新しいＴｒａｃｋＯｂｊｅｃｔ
ｓエントリを捨てるか、あるいは生成する可能性があ
る。この方法はアルゴリズムの精度を増加させるが、距
離の計算における計算のコストを上昇させることにな
る。

【００６７】図８を参照して、オブジェクト・トラック
が更新された後、システムは１つのオブジェクトが通過
ゾーン４３０を通過したかどうかを判定しなければなら
ない。これはオブジェクト・トラックの長さを解析する
ことによって行われる。各オブジェクト・トラックに対
して（ライン８０１）、システムはそのオブジェクトが
既にカウントされたかどうかを判定する（ライン８０
２）。そのオブジェクトがカウントされていなかった場
合、システムはそのオブジェクト・トラックの長さをｐ
ａｔｈＬｅｎｇｔｈＴｈｒｅｓｈｏｌｄに対して比較す
る。そのパス・レングスがそのしきい値を超えていた場
合（ライン８０３）、通過のカウントが８０４において
更新される。そのオブジェクトに対するカウント・フラ
グが「真」にセットされ（ライン８０５）、そのオブジ
ェクトは二度カウントされないようになる。図８に対す
る疑似コードが以下に示されている。

【００６８】［８０１］ｆｏｒ（ｊ＝１；ｊ＜トラック
・オブジェクトの数；ｊ＋＋） ［８０２］ｉｆ（ＴｒａｃｋＯｂｊｅｃｔｓ［ｊ］．ｃ
ｏｕｎｔ＝偽） ［８０３］ｉｆ（ｐａｔｈＬｅｎｇｔｈ Ｔｈｒｅｓｈ
ｏｌｄ［ｊ］＞ｐａｔｈＬｅｎｇｔｈのしきい値） ［８０４］ｐａｓｓｉｎｇＣｏｕｎｔ＝ｐａｓｓｉｎｇ
Ｃｏｕｎｔ＋１ ［８０５］ＴｒａｃｋＯｂｊｅｃｔｓ［ｊ］．ｃｏｕｎ
ｔ＝真 ［８０６］ｅｎｄ ｉｆ ［８０７］ｅｎｄ ｉｆ ［８０８］ｅｎｄ ｆｏｒ ステップ８０１〜８０８が完了した後、図５に関して覗
き込みゾーン４２０に対して以前に記述されたのと同じ
方法を使って背景を更新することができまる。 出力 １つの実施形態においては、本発明の解析システムの出
力は人とディスプレイ４１０との対話動作を記述するイ
ベント・ストリームである。本発明は次の情報を測定す
るように実装することができる。

【００６９】・ディスプレイを通過する人の数 ・ディスプレイと対話している（覗き込んでいる）人の
数 ・ディスプレイと各人が対話している（見ている）時間
の量 この情報をハード・ディスクまたは他の記憶媒体上で、
イベント・ファイルと呼ばれるバイナリ・ファイルの中
に格納することができる。イベント・ファイルはディス
プレイの解析を実行している各処理システム１３０上で
生成されるファイルである。このディスプレイ解析シス
テムは２種類のイベントまたはレコードをイベント・フ
ァイルの中に格納する。その２種類のイベントは覗き込
みイベント（覗き込みゾーン４２０に対応している）お
よび通過イベント（通過ゾーン４３０に対応している）
である。

【００７０】処理システム１３０が覗き込みゾーン４２
０において人を検出すると（前に説明されたように）、
新しい覗き込みイベントが生成される。次の表（表４）
は１つの実施形態における顧客の覗き込みイベントのデ
ータ・フォーマットを示している。

【００７１】

【表４】 人が通過ゾーン４３０を通り過ぎたことを処理システム
１３０が検出するたびに、新しい通過イベントが生成さ
れる。１つの実施形態においては、同時にディスプレイ
を２人以上の顧客が通過した場合それは同じイベントの
中に記録される。次の表（表５）は通過イベントのデー
タ・フォーマットを示している。

【００７２】

【表５】 ＜背景の付加＞時間の経過につれて、カメラ１１０によ
って撮影されているシーンが変化する可能性がある。こ
れらの変化は照明状態、すなわち、夜か昼かによる変
動、あるいはカメラ１１０の視野内のオブジェクトの物
理的な場所の変化の結果として現われる。カメラ１１０
の視野内で人を正確に検出するために、本発明はシーン
における変化を組み込むように現在の背景を適応させる
ことができなければならない。さらに、覗き込みゾーン
４２０および通過ゾーン４３０は画像の中の異なる場所
にあり得るので、各ゾーンに対する個々の背景が維持さ
れる。背景のサイズをそのゾーンのサイズに等しく設定
することができる。

【００７３】好適な１つの実施形態において、覗き込み
ゾーン４２０および通過ゾーン４３０の背景を更新する
ために使われる方法は同じである。個別のカメラ１１０
の視野の中で定義される各覗き込みゾーンおよび通過ゾ
ーンに対して別々の背景が維持される。初期化時に、個
々のディスプレイに対する各覗き込みゾーンおよび通過
ゾーンは背景画像ファイルをロードすることによって初
期化することができる。

【００７４】図９を参照して、次の疑似コードによって
記述されるプロセスが、背景を更新する際に処理システ
ム１３０によって実行される。

【００７５】［９０１］／／初期化 ［９０２］ｂａｃｋｇｒｏｕｎｄＦｒａｍｅ＝背景フレ
ーム ［９０３］ｆｒａｍｅＣｏｕｎｔ＝０ ［９０４］ｐｒｅｖｉｏｕｓＦｒａｍｅ＝現在のフレー
ム ［９０５］ｐｒｅｖｉｏｕｓＣｏｕｎｔ＝０ ［９０６］／／初期化の終り ［９０７］ｆｏｒ（；；） ［９０８］次のフレームを得る ［９０９］ｃｒｅａｔｅ＿ｉｍａｇｅ＿ｄｉｆｆｅｒｅ
ｎｃｅ（現在のフレーム、ｐｒｅｖｉｏｕｓＦｒａｍ
ｅ） ［９１０］ｉｆ（パーセント差＞ｐｅｒｃｅｎｔｄｉｆ
ｆｅｒｅｎｃｅＴｈｒｅｓｈｏｌｄ） ［９１１］ｐｒｅｖｉｏｕｓＦｒａｍｅＣｏｕｎｔ＝０ ［９１２］ｐｒｅｖｉｏｕｓＦｒａｍｅ＝現在のフレー
ム ［９１３］ｆｒａｍｅＣｏｕｎｔ＝０ ［９１４］ｅｌｓｅ ［９１５］ｐｒｅｖｉｏｕｓＦｒａｍｅＣｏｕｎｔ＝ｐ
ｒｅｖｉｏｕｓＦｒａｍｅＣｏｕｎｔ＋１ ［９１６］ｉｆ（ｐｒｅｖｉｏｕｓＦｒａｍｅＣｏｕｎ
ｔ＞ｐｒｅｖｉｏｕｓＴｈｒｅｓｈｏｌｄ） ［９１７］ｐｒｅｖｉｏｕｓＦｒａｍｅＣｏｕｎｔ＝０ ［９１８］ｐｒｅｖｉｏｕｓＦｒａｍｅ＝現在のフレー
ム ［９１９］ｅｎｄ ｉｆ ［９２０］ｆｒａｍｅＣｏｕｎｔ＝ｆｒａｍｅＣｏｕｎ
ｔ＋１ ［９２１］ｉｆ（ｆｒａｍｅＣｏｕｎｔ＞ｃｏｕｎｔＴ
ｈｒｅｓｈｏｌｄ） ［９２２］ｆｒａｍｅＣｏｕｎｔ＝０ ［９２３］ｂａｃｋｇｒｏｕｎｄＦｒａｍｅ＝現在のフ
レーム ［９２４］ｅｎｄ ｉｆ ［９２５］ｅｎｄ ｉｆ ［９２６］ｅｎｄ ｆｏｒ 上記のプロセスおよび図９のプロセスの背後にある基本
概念は、コンテンツ（ｃｏｎｔｅｎｔ）の中の非常に僅
かな変化を示す入力フレーム１１５の連続したシーケン
スを識別することである。シーンの変化が全くないか、
あるいはほとんどない場合、その背景画像を更新するこ
とができる。説明された方法の中で、コンテンツの中の
変化は動きによって識別される。人がシーンの内部にい
た場合、人が動くことによって、システム１３０は新し
い背景を捕捉しなくなる。

【００７６】ステップ９０１から始めて、ディスクまた
他の記憶媒体上に格納されている背景フレームに、背景
が初期化される（ステップ９０２）。ステップ９０３に
おいて、動きの制約条件を満足していて処理された画像
の合計数ＦｒａｍｅＣｏｕｎｔが０に初期化される。ス
テップ９０４および９０５において、動きおよび変化に
対するシステムの感度を増加させるためにｐｒｅｖｉｏ
ｕｓＦｒａｍｅおよびＰｒｅｖｉｏｕｓＦｒａｍｅＣｏ
ｕｎｔが使われる。ＰｒｅｖｉｏｕｓＦｒａｍｅは初期
入力フレームに設定され、ＰｒｅｖｉｏｕｓＦｒａｍｅ
Ｃｏｕｎｔは０に初期化される。

【００７７】次の２つの変数、ｃｏｕｎｔＴｈｒｅｓｈ
ｏｌｄおよびｐｒｅｖｉｏｕｓＴｈｒｅｓｈｏｌｄはシ
ステムが新しい背景を取得する速度を制御するパラメー
タである。ＣｏｕｎｔＴｈｒｅｓｈｏｌｄは新しい背景
が取得される前に処理されなければならない、動きの制
約を満足している連続したフレームの数である。Ｃｏｕ
ｎｔＴｈｒｅｓｈｏｌｄの値が大きいほど新しい背景が
取得される頻度が低下する。すなわち、その動きの制約
が満足されなければならない時間の長さが増加する。

【００７８】ＰｒｅｖｉｏｕｓＴｈｒｅｓｈｏｌｄはシ
ステムが新しいＰｒｅｖｉｏｕｓＦｒａｍｅを取得する
頻度を決定する。新しいｐｒｅｖｉｏｕｓＦｒａｍｅは
その動きの制約が満足されないか、あるいはすべてのＰ
ｒｅｖｉｏｕｓＴｈｒｅｓｈｏｌｄフレームが処理され
た後で常に取得される。動きの制約はｐｒｅｖｉｏｕｓ
ＦｒａｍｅとｃｕｒｒｅｎｔＦｒａｍｅとの間の画像の
差を計算することによって評価されるので、ｐｒｅｖｉ
ｏｕｓＴｈｒｅｓｈｏｌｄを使って動きに対するシステ
ムの感度を構成設定することができる。ある状況におい
ては、連続のフレーム間では人の動きが認知されない場
合、すなわち、非常に遅い動きの場合がある。しかし、
一連のフレームにわたって考察された時、動きを容易に
識別することができる。

【００７９】システムが初期化された後、ステップ９０
７と９０８から開始して各入力フレームが処理される。
この時点でのフレームは対象の領域４４０の内部の通過
ゾーンまたは覗き込みゾーンの１つの対応する。ステッ
プ９０９において、現在のフレームと前のフレームとの
間の画像の差が生成される。その画像の差を生成する際
に生成される差のしきい値は、覗き込みゾーンまたは通
過ゾーンに対するゾーンのしきい値に対応する。ステッ
プ９１０において、異なっているピクセルのパーセンテ
ージがそのパーセント差のしきい値を超えていた場合、
その動きの制約が満たされず、アルゴリズムの変数はリ
セットされる（ステップ９１１〜９１３）。ステップ９
１４において、異なっているピクセルのパーセンテージ
がパーセント差のしきい値より小さかった場合、動きの
制約が満足されており、処理はステップ９１５へ継続す
る。

【００８０】先ず最初に、前のカウント値がステップ９
１５において更新される。ステップ９１６において、ｐ
ｒｅｖｉｏｕｓＣｏｕｎｔがｐｒｅｖｉｏｕｓＴｈｒｅ
ｓｈｏｌｄより大きかった場合、ｐｒｅｖｉｏｕｓＦｒ
ａｍｅＣｏｕｎｔがリセットされ、ＰｒｅｖｉｏｕｓＦ
ｒａｍｅはステップ９１７および９１８において現在の
フレームに等しく設定される。次に、ｆｒａｍｅＣｏｕ
ｎｔがステップ９２０において更新される。ステップ９
２１において、ｆｒａｍｅＣｏｕｎｔがｃｏｕｎｔＴｈ
ｒｅｓｈｏｌｄより大きかった場合、動きの制約が必要
な数のフレームに対して満足されていたことになる。ス
テップ９２２および９２３において、ｆｒａｍｅＣｏｕ
ｎｔがリセットされ、ｂａｃｋｇｒｏｕｎｄＦｒａｍｅ
が現在のフレームに等しく設定される。

【００８１】＜セグメンテーションの改善＞前に説明さ
れたように、画像の差を生成する際に使われる差のしき
い値は単独の整数である。しかし、この方法には欠点が
あり得る。先ず第１に、コンフィギュレーションの間に
ユーザはそのゾーンに対する最善のしきい値を構成設定
しなければならない。この結果、ユーザがその最善のし
きい値を識別するために実験的なテストを行わなければ
ならないコンフィギュレーション、試験、性能評価のシ
ナリオとなる。これは最も望ましい方法ではない。第２
に、照明および背景の特性が変わるために、覗き込みゾ
ーン４３０または通過ゾーン４２０全体にわたって最適
に使える単独のしきい値を識別することが困難となる可
能性がある。例えば、床が明るく反射するシーンにおけ
る背景を区別するためには、影の影響のために、暗いシ
ーンよりは大きな差のしきい値が一般に必要である。

【００８２】実装できる１つの方法は画像の中の各ピク
セルに対して異なるしきい値を設ける方法である。この
方法では、画像の差を求める演算が実行される時、ゾー
ンの中の各ピクセルに対して最善のしきい値が使われ
る。これはサイズがｎ×ｍのゾーンに対して以下に示さ
れている画像の差分方程式の中に示されている。

【００８３】

【数３】 但し、ｆ（ｉ，ｂ）＝０ （｜ｉ−ｂ｜＜Ｇ（ｘ，ｙ）の場合） ＝１ （｜ｉ−ｂ｜≧Ｇ（ｘ，ｙ）の場合） Ｇ（ｘ，ｙ）は覗き込みゾーンまたは通過ゾーンの中の
各ピクセルに対して使われるべきしきい値を含んでいる
二次元配列である。

【００８４】Ｇ（ｘ，ｙ）の中に含まれているしきい値
は、対応しているゾーンに対する新しい背景が捕捉され
た時に処理システム１３０によって自動的に計算するこ
とができる。次の式は各ｘ，ｙのロケーションに対する
しきい値を生成するために使うことができる。

【００８５】Ｇ（ｘ，ｙ）＝ -0.00000000000600 * k6
+ 0.00000000412652 * k5 +-0.00000097234900 * k4 +
0.00008142579606 * k3 +9.99999999999988 但し、ｋ＝Ｂ（ｘ，ｙ）であり、これは現在の背景画像
の中のピクセルｘ，ｙの強度値である。Ｇ（ｘ，ｙ）は
新しい背景画像が得られるたびに更新される。上記の式
は各種のピクセルの強度において生成されるノイズの量
を解析することによって導かれたものである。一般に、
高い強度値の方がノイズ、シャドーイング、および誤差
を生成する他の環境要因の影響を強く受けることが分か
っている。上記の式はシーンの中の強度の高いピクセル
値の場所に対してより高いしきい値を生成する。

【００８６】使用できる第２の改善策は画像の差につい
てノイズの消去ステップを実行することである。この方
法は前記の差について一連の形態学的演算を実行する必
要がある。形態学的な浸食および膨張の演算を実行する
ことによって、画像の差の中のノイズの多い領域を減ら
すか、あるいは消去することができる。同時に、セグメ
ンテーションが不十分であるためにあいまいになってい
るオブジェクトを含んでいるエリアが埋められる。

【００８７】＜覗き込みゾーンおよび通過ゾーンに対す
るコンフィギュレーション・ツール＞１つまたはそれ以
上の覗き込みゾーン４２０および１つまたはそれ以上の
通過ゾーン４３０を構成設定するために、以下に説明さ
れるようなコンフィギュレーション・ツールを実装する
ことができる。好適な実施形態においては、そのコンフ
ュギレーション・ツールはグラフィカル・ユーザ・イン
ターフェースをサポートする、処理システム１３０につ
いて操作するＶｉｓｕａｌ Ｂａｓｉｃのアプリケーシ
ョンである。

【００８８】覗き込みゾーン４２０および通過ゾーン４
３０のコンフィギュレーションのためのプロセスは次の
通りである。コンフィギュレーション・ツールから、ユ
ーザはメモリ１３５の中に格納されるフレーム・グラバ
ー・カード１２０からの画像を捕捉する。次に、そのカ
メラの画像をＰＣのディスプレイ（特別に示されてはい
ないが、ＰＣ １３０が当然備えているものである）上
に表示することができる。覗き込みゾーン４２０および
通過ゾーン４３０はマウス入力装置、またはＰＣ １３
０の他の任意の適切な入力装置を使うことによって生成
することができる。例えば、解析のための１つのディス
プレイ（例えば、データ構造３３１など）を生成するた
めには、ユーザはメニューから「新しいディスプレイを
生成する）オプションを選択することができる。次に、
１つのディスプレイに関連付けられるすべてのパラメー
タがＰＣ １３０に付属しているキーボードまたは他の
入力装置上で入力される（これらのパラメータについて
は図３に関してどこかで説明される）。

【００８９】これでユーザはそのディスプレイに関連付
けられた覗き込みゾーン４２０および通過ゾーン４３０
（例えば、データ構造３４１および３４２）を生成する
ことができる。覗き込みゾーン４２０はメニューから
「新しい覗き込みゾーンを生成する」オプション（また
は他の適切なオプション）を選択することによって生成
することができる。マウスによる「ドラッグ操作」およ
び「クリック操作」などによって、ユーザはＰＣ １３
０のディスプレイ上に表示されている画像の上に覗き込
みゾーン４２０の位置を「描く」ことができる。ディス
プレイ上のそのゾーンのサイズおよびロケーションから
境界ボックスの座標が生成される。そのゾーンが位置決
めされて大きさが決められた後、ユーザはそのゾーンの
上で「ダブル・クリック」し、その覗き込みゾーンに関
連付けられるすべてのパラメータをキーボード経由で入
力することができる（図３に関して前に説明されている
ように）。通過ゾーン４３０を生成する時にも類似のプ
ロセスが行われる。

【００９０】すべてのゾーンが生成されて構成された
後、そのパラメータは初期化時に本発明によってロード
されるパラメータ・ファイルとして記憶装置１５０（例
えば、ハード・ディスク・ドライブなど）にセーブして
おくことができる。監視される各ディスプレイ３３１に
対してこのコンフィギュレーション・プロセスを行うこ
とができる。

【図面の簡単な説明】

【図１】 １つの実施形態における本発明のブロック図
である。

【図２】 本発明によって実行される総合のステップを
示しているフローチャートである。

【図３】 本発明に従って使われる可能性のあるデータ
構造を示している階層ツリーである。

【図４】 本発明によって処理される可能性のあるカメ
ラの画像の簡略化されたバージョンである。

【図５】 覗き込みゾーンの処理を行うために、本発明
によって実行される可能性のある、総合のステップを示
しているフローチャートである。

【図６】 通過ゾーンの処理を実装するために、本発明
によって実行される可能性のある、総合のステップを示
しているフローチャートである。

【図７】 オブジェクトのフィルタリングを実装するた
めに、本発明によって実行される可能性のある、総合の
ステップを示しているフローチャートである。

【図８】 １つのオブジェクトが通過ゾーンを通ったか
どうかを知るために、本発明によって実行される可能性
のある、総合のステップを示しているフローチャートで
ある。

【図９】 バックグラウンドの更新を実装するために、
本発明によって実行される可能性のある、総合のステッ
プを示しているフローチャートである。

【図１０】 オブジェクトのマッチングを実装するため
に、本発明によって実行される可能性のあるステップを
示しているフローチャートである。

フロントページの続き (72)発明者 メディ コスラヴィ アメリカ合衆国 ジョージア州 30075 ロスウェル、リンドハースト ウェイ 1105 (72)発明者 ラルフ ニュートン クラブトリー アメリカ合衆国 ジョージア州 30345 アトランタ、ブラック フォックス ドラ イブ 2090

Claims (2)

【特許請求の範囲】
1. 【請求項１】 局所化されたエリアの中での人間の動き
   のパターンを解析するための方法であって、 前記の局所化されたエリアを見るためにビデオ・カメラ
   （１１０）を設置するステップと、 選択された時間間隔で前記ビデオ・カメラから順次画像
   を捕捉するステップと、 メモリ（１３５）の中に前記順次画像を格納するステッ
   プと、 前記格納された順次画像の内部に人が存在するかどうか
   を検出するステップと、 前記格納された画像の中に人が検出された時間をセンス
   するステップと、 前記センスされた時間が所定のしきい値に到達した時に
   所定の動作を生成するステップとを含むことを特徴とす
   る人間の動きのパターンを解析する方法。
2. 【請求項２】 人間の動きのパターンを解析するための
   システムであって、 ビデオ・カメラ（１１０）と、 前記ビデオ・カメラからの画像を記憶するための手段
   （１３５）と、 前記ビデオ・カメラに結合されている処理手段（１４
   ０）とを含み、 前記記憶手段が、 選択された時間間隔で前記記憶手段の中に前記ビデオ・
   カメラからの画像を順次格納し、 前記格納手段の中に格納されている前記順次画像の中に
   人が存在するかどうかを検出し、 前記記憶手段の中に記憶されている前記順次画像の中に
   人が存在するとして検出された時間の量をセンスし、 前記センスされた時間が所定のしきい値に達した時に、
   所定の動作を生成するように構成されていることを特徴
   とする人間の動きのパターンを解析するシステム。