JP5086260B2 - 対象追跡と警報 - Google Patents

対象追跡と警報 Download PDF

Info

Publication number
JP5086260B2
JP5086260B2 JP2008529008A JP2008529008A JP5086260B2 JP 5086260 B2 JP5086260 B2 JP 5086260B2 JP 2008529008 A JP2008529008 A JP 2008529008A JP 2008529008 A JP2008529008 A JP 2008529008A JP 5086260 B2 JP5086260 B2 JP 5086260B2
Authority
JP
Japan
Prior art keywords
wireless
camera
data
cameras
subsystem
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008529008A
Other languages
English (en)
Other versions
JP2009507295A (ja
JP2009507295A5 (ja
Inventor
ビューラー，クリストファー・ジェイ
Original Assignee
センサーマティック・エレクトロニクス・エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by センサーマティック・エレクトロニクス・エルエルシー filed Critical センサーマティック・エレクトロニクス・エルエルシー
Publication of JP2009507295A publication Critical patent/JP2009507295A/ja
Publication of JP2009507295A5 publication Critical patent/JP2009507295A5/ja
Application granted granted Critical
Publication of JP5086260B2 publication Critical patent/JP5086260B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19641—Multiple cameras having overlapping views on a single scene
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19654—Details concerning communication with a camera
    • G08B13/1966—Wireless systems, other than telephone systems, used to communicate with a camera
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665—Details related to the storage of video surveillance data
    • G08B13/19671—Addition of non-video data, i.e. metadata, to video stream
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19691—Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19697—Arrangements wherein non-video detectors generate an alarm themselves
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/22—Electrical actuation
    • G08B13/24—Electrical actuation by interference with electromagnetic field distribution
    • G08B13/2402—Electronic Article Surveillance [EAS], i.e. systems using tags for detecting removal of a tagged item from a secure area, e.g. tags for detecting shoplifting
    • G08B13/2465—Aspects related to the EAS system, e.g. system components other than tags
    • G08B13/248—EAS system combined with another detection technology, e.g. dual EAS and video or other presence detection system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/20—Individual registration on entry or exit involving the use of a pass
    • G07C9/28—Individual registration on entry or exit involving the use of a pass the pass enabling tracking or indicating presence

Description

本発明は、監視を行うためのコンピュータベースの方法とシステムに関し、より具体的には、対象を追跡し且つ複数の監視モダリティ（modality：様相）を用いて警報を作動させることができるコンピュータ援用監視システムに関する。
関連出願に対する相互参照
本出願は、２００５年９月２日に出願された米国仮特許出願第６０／７１３，６７９号、及び２００５年９月２日に出願された米国仮特許出願第６０／７１４，０２０号の優先権を主張しており、係る出願の双方は、参照によりそっくりそのまま本明細書に組み込まれる。
背景情報
現在のセキュリティの高まり、及びモニタリング装置のコストの低下により、閉回路テレビ（closed-circuit television：CCTV）のような技術を用いる監視システムの使用が増加している。係るシステムは、多種多様な環境において犯罪を減少させ、事故を防止し、且つ一般にセキュリティを増大させる可能性を有する。ビデオ監視システムは一般に、関心のある区域（例えば、倉庫、小売店、オフィスビル、又は空港）の周りの様々な場所に配置された一連のカメラを含む。カメラは、一般に警備員が配置された中央観察ステーション（又は複数のステーション）にビデオ画像を戻すように送信する。種々の監視画像は、不審な活動を監視する一連の画面に表示される。
ビデオ監視システムで監視される区域は、環境の他の状況を監視するために利用可能な他のセンサネットワークを有することが多い。例えば、多くの施設は、誰がドアを開けたかを（例えば、「スマートカード」読取りシステムを用いて）報告する電子ドア、又は特定の対象物が区域に入ったか、又は区域から出たかを報告する無線ＩＣタグ（Radio-Frequency Identification：RFID）システムを有する。特に、小売店は、ビデオ監視システムの他に、利用可能な種々のデータネットワークを有することが多い。例えば、店舗販売時点情報管理（Point-of-sale：POS）システムは、精算所（レジ）または購入区域で生じる可能性がある他の出来事（事象）の中で、いつ購入されたか、いつキャシュドロアーが開けられたか、いつ返品されたか、及びいつクーポンが引き換えられたかを記録する。別の例として、出口に配置された電子商品監視（Electronic Article Surveillance：EAS）システムは、EASタグが店を出る際にEASタグを整合し、事象（無音、可聴音又は両方）が生じる。また、バーコード走査、棚走査（shelf-scanning）及び他の技術を用いる在庫管理システムも、係る環境で一般的である。ビデオ監視システムに加えて、RFIDシステムは、オフィスビル、倉庫、及び小売店のような施設の全体にわたって人および／または対象物を追跡するためにますます普及してきている。
ビデオ監視およびRFID追跡システム、POSシステム、及び他の追跡診断技術を実現して統合することには、多くの問題を伴う。最初に、カメラ、送信機、及び他のデータ収集装置は、システムに描かれた目標、例えば、製品追跡、盗難防止、人事管理、又はそれらの何らかの組合せを達成するように配置される必要がある。しかしながら、多くの場合、監視される環境の物理的なレイアウトは、有効範囲を完全なものにするのに適していない。例えば、小さくてめったに使用されない部屋、隠し廊下、或いはカメラの直接的な視界内に入らない又は製品の往来が多くない他の場所は、監視されないままにされている場合がある。これは、限られた資金、ビルの物理的特徴（壁、柱など）、複数のビデオストリームを監視するための限られた能力、及び他の制限に起因している可能性がある。更に、正常に動作しない装置は、保護されていない「デッドゾーン」を一時的に生じさせる可能性がある。残念ながら、商品を着服しようと試みそうな個人（不満を抱いた従業員、万引きの常習犯など）は、保護されていない区域を知っており、係る区域を用いて窃盗を進める可能性がある。
窃盗に関連した問題に加えて、商人は、製品が施設のあちこちに移動する際に製品を正確に追跡することに苦心する。例えば、大抵のRFID具現化形態は、発送センター及び倉庫の棚のような在庫管理箇所に制限される。しかしながら、製品が「倉庫」から離れて、売るために棚に載せられてしまえば、小売業者は、レジ又はスキャナのような店舗販売時点情報管理装置において製品が「再び現れる」まで、製品を見失う。製品の入荷地点（例えば、発送センター）から、施設からの最終的な出口点（顧客出口、配送センターなど）まで製品を追跡できないというこのことは、RFID能力の大幅に不十分な利用状況を表す。
ビデオ監視システムを他の追跡システムからのデータと組み合わせるという現在の試みは、これらの制限に対処する広範な適用性のある解決策を提供せず、依然として２つのシステムを監視および／または調和させるために著しい人間の介入を必要とする。ビデオ監視システムを他の非ビデオ追跡システムからのデータと組み合わせることを企図する従来のシステムは一般に、装置（例えば、RFID送信機）とカメラとの間の強い関連（例えば、１：１）に依存する。たとえ活動が制限された場所で目的の有用性が予想されたとしても（例えば、立入禁止区域内への侵入者）、係るシステムは、にぎやかな環境において対象物を有効に識別して追跡することができない。POSの応用形態は一般に、店内の特定の精算場所に配置されたレジに制限される。更に、大抵のビデオ監視システムは、被写体が施設を動き回って、１つのカメラから別のカメラへ移動する際に被写体を明確に識別して、処置を促す異常性（例えば、不審な挙動、商品の紛失など）を検出するために、何らかの形態の人間の介入を必要とする。RFID送信機は一般に、カメラの視野よりも大幅に小さい有効半径を有すると同時に、一般的なビデオ監視システムは、所与の有効範囲領域についてできる限り少ないカメラを用いることによって実現コスト（及び監視の負担）を最小限にしようとしている。例えば、小売店およびカジノの具現化形態では、これは、所与の時間において多数の人々および潜在的に数百の製品がカメラの視野内にあるという結果になる可能性がある。
更に、不法行為または不審な活動（例えば、侵入者、万引きしそうな人等）の証拠として使用されるべき追跡情報（ビデオ、RFID、及び／又はPOSに関わらず）について、法的手続きにおいて信頼されるべき追加の認証、連続性の基準、及び証拠書類の基準を満たす必要がある。日付、時間、及び位置情報で適切に注釈を付けられ、一時的中断または空間的障害物のない、活動の連続したストリームを示すことができる追跡情報は、一連の不連続なマーキングされていない断片に比べて、証拠として極めて価値がある。
概要
本発明は概して、インテリジェントなビデオ監視システムを他のセンサベースのセキュリティネットワークからのデータと組み合わせる統合監視システムを提供する。組み合わされたビデオとセンサベースのネットワークデータを用いて、注意を必要とする可能性がある不審な活動を強調表示する警報が生成され得る。例えば、RFID、POS、及び／又はEASシステムからのデータを、コンピュータ援用ビデオ監視システムからのデータと組み合わせることにより、不審な挙動を識別する際のシステムの精度を大幅に上げることができる。従って、係る「インテリジェントな」警報システムは、各システム単独よりも低い誤り率を有すると同時に、人材育成のコストを低下させ、見逃される事象を最小限にし、ひいてはシステムの全体的な価値を高める。
例えば、ビデオ画像および位置特有のデータ（例えば、RFIDに基づいた）を利用して、監視区域にわたって対象物および／または人の移動の完全な「時系列」追跡を生成することができる。位置センサとビデオ画像内の領域との間の関係は、明確に又は２つの結果としてのデータセットの推論的分析を通じて判定される。いわゆる「デッドゾーン」が監視環境内に存在する場合には、対象物および／または人の現在と今後の位置が、カメラ、RFID送信機の間の関係を用いて、及び履歴データの分析を通じて予測され得る。経路、位置、及び／又は追跡される対象物の挙動に関する規則が定義され、トリガされると、これら規則が好ましくない挙動または不審な挙動を示す警報を生じさせる。例えば、警報は、保安要員が監視環境を巡回する際に保安要員により使用される携帯型受信機に無線通信を介して送信され得る（場合によっては、他の空間的情報および／または地理情報で強化される）。
従って、第１の態様において、本発明は、環境における事象に基づいた警報を生成するためのシステムを提供する。システムは、環境の少なくとも一部を表すビデオ信号を生成するカメラと、ビデオ信号を分析して環境内の対象物を識別するためのビデオ処理モジュールとを含む。また、システムは、センサベースのモニタリングシステムからの非ビデオデータ（環境内の事象を表すデータ）を受信するためのデータ入力モジュールと、識別された対象物と事象に基づいて警報を生成するための警報モジュールとを含む。
例えば、センサベースのモニタリングシステムは、POSシステム、RFIDシステム、及び／又はEASシステムとすることができる。いくつかの実施形態において、システムは環境内の活動に関連した規則を格納するためのデータ格納モジュールも含む。規則は、ビデオデータで識別された対象物、センサベースのモニタリングシステムから検出された事象、又は双方に関係する。場合によっては、対象物および／または事象の無いことが、警報をトリガすることができる。また、システムは、生成された警報を、ワークステーション及び無線携帯装置のような遠隔装置に送信するための通信モジュールも含む。いくつかの実施形態において、システムは、追跡されている対象物の表示、対象物の現在の位置、移動の方向と速度およびステータスを含むことができ、且つ色、テキスト、又は位置、ステータス及び移動に関する他の可視表示で注釈を付けられ得る、環境の視覚表示をレンダリングするための地理情報サービスモジュールも含む。
別の態様において、本発明は、環境内の状態を検出するための方法を提供する。方法は、環境の少なくとも一部を表す画像信号を受信し、画像信号内で表された対象物を識別することを含む。また、方法は、環境で生じている事象を表す非ビデオデータを受信し、識別された対象物および事象に基づいて警報を生成することも含む。
例えば、画像信号が、監視環境のあちこちに配置されたカメラから受信されることができ、場合によっては、環境内の対象物は人である。いくつかの実施形態において、非ビデオデータがPOSシステム、又はRFIDシステムから、或いは場合によっては双方から受信される。例えば、警報は、環境内の活動に関連した規則に違反する対象物および／または事象（又はそれらの無いこと）に基づくことができる。場合によっては追跡される対象物の表示を含む環境の地理的表示が生成され得る。例えば、係る表示は、ワークステーション及び携帯無線装置のような遠隔装置に送信されることができ、対象物のステータス及び移動に関連した種々の注釈を含むことができる。
別の態様において、本発明は、ビデオ監視サブシステム、無線ＩＣタグサブシステム（いくつかの実施形態において、ビデオサブシステムとは別個に較正され得る）、及び関連モジュールを含む監視システムを提供する。ビデオ監視サブシステムは、多数のカメラを含み、各カメラの視野は、複数のカメラ副領域を含む。RFIDサブシステムは、或る動作半径内でRFID識別タグの存在を検出するステーションを含む。関連モジュールは、２つのサブシステムから受信されたデータに基づいて、カメラ副領域とステーションの動作半径との間の関連付けを行う。
関連付けは、例えば、カメラ副領域と動作半径との間の位置的対応に基づくことができ、いくつかの実施形態において、ビデオ監視サブシステム、又はRFIDサブシステム、或いは双方によりキャプチャされたデータから推論され得る。ビデオ監視サブシステムによりキャプチャされたデータは、カメラ及び／又はカメラの副領域の範囲内で移動する対象物の視覚表示を含むことができる。RFIDサブシステムによりキャプチャされたデータは、ステーション間を移動する対象物と関連した時間情報と空間的情報を含むことができる。
いくつかの実施形態において、システムは、監視システムにより追跡されている対象物と関連した情報、場合によっては対象物に関連する規則を含む情報を格納するためのデータ格納モジュールを含む。また、システムは、ビデオ監視サブシステム及びRFIDサブシステムからのデータに基づいて対象物の位置に関する時間順表示を生成するための追跡モジュールも含むことができる。いくつかの実施形態において、ビデオ監視サブシステム及びRFIDサブシステムは、ビデオ監視サブシステム又はRFIDサブシステムが対象物を「見る」ことができない１つ又は複数の無効区域を含む領域内で動作する。このような場合、目に見えない対象物の位置（又は将来位置）は、例えば、RFIDサブシステムから受信されたデータに部分的に基づいた、対象物の以前にわかっていた位置または同様の対象物がとる経路のような履歴データを用いて、追跡モジュールにより推論され得る。
監視システムのいくつかの実施形態は、追跡される対象物の位置に関する時間順表示のような、追跡モジュールから受信されたデータに対して、規則（例えば、データ格納モジュールに格納された）を適用する警報モジュールを含む。規則が破られる場合、警報モジュールは、通信装置に（例えば、無線伝送を介して）送信され得る警報を生成することができ、それにより警報の扱い者に警戒態勢をとらせる。いくつかの実施形態において、警報モジュールは、対象となっている対象物、区域、及び／又は人物に焦点を合わせるようにカメラに命令にする。
別の態様において、本発明は、監視環境内で活動を監視するための方法を提供する。方法は、複数の副領域を含む視野をそれぞれ有するカメラにより生成されたビデオ信号を受信し、監視環境内で対象物と関連したRFIDタグとの相互作用に基づいてRFIDステーションからデータを受信し、RFIDステーションの動作半径とカメラ副領域を関連付け、且つ対象物が監視環境内でカメラの視野とRFIDステーションの動作半径との間で移動する際に、較正とは関係なく、対象物を追跡することを含む。
関連付けは、例えば、カメラ副領域と動作半径との間の位置的対応に基づくことができ、いくつかの実施形態において、ビデオ監視サブシステム、又はRFIDサブシステム、或いは双方によりキャプチャされたデータから推論され得る。ビデオ監視サブシステムによりキャプチャされたデータは、カメラ及び／又はカメラの副領域の範囲内で移動する対象物の視覚表示を含むことができる。RFIDサブシステムによりキャプチャされたデータは、ステーション間を移動する対象物と関連した空間的情報を含むことができる。
いくつかの実施形態において、方法は、ビデオ信号およびRFIDステーションにより生成されたデータに基づいて環境内の対象物の位置を時間順に表すことを更に含む。対象物がカメラ又はRFIDステーションにより保護されていない区域を通過する場合、対象物の現在位置および／または将来位置は受信データに基づいて推論されることができ、受信データは、場合によっては、対象物の以前にわかっていた位置を含むことができる。
いくつかの実施形態において、対象物の位置の時間順表示は、対象物に関して規則に対して評価され、場合によっては、１つ又は複数の規則が破られた際に警報が生成される。次いで、警報は、（例えば、無線通信プロトコルを介して）無線装置に送信され、それにより監視員に警戒態勢をとらせる。いくつかの実施形態において、警報を用いて、対象となっている対象物、区域、及び／又は人物に焦点を合わせるようにカメラに命令にすることができる。
別の態様において、本発明は、上記の段落に記載された方法を実行するためのコンピュータ可読命令を組み入れたコンピュータ可読媒体を有する製品を含む。特に、本発明の方法の機能は、以下に限定されないが、フロッピー（Ｒ）ディスク、ハードディスク、光ディスク、磁気テープ、PROM、EPROM、CD-ROM、又はDVD-ROMのようなコンピュータ可読媒体に埋め込まれ得る。本技術の機能は、任意の数のコンピュータ可読命令、又は例えば、FORTRAN、PASCAL、Ｃ、Ｃ＋＋、Java（Ｒ）、Ｃ＃、Tcl、BASIC及びアセンブリ言語のような言語でコンピュータ可読媒体に埋め込まれ得る。更に、コンピュータ可読命令は、例えば、スクリプト、マクロで書かれるか、又は市販のソフトウェア（EXCEL（Ｒ）又はVISUAL BASIC（Ｒ）など）に機能的に埋め込まれ得る。データ、規則、及びデータ構造は、上述した方法を実行する際に使用するための１つ又は複数のデータベースに格納され得る。
本発明の他の態様と利点は、以下の図面、詳細な説明、及び特許請求の範囲から明らかになり、それらの全ては、単なる例示のために本発明の原理を示す。
図面において、同じ参照符号は概して、異なる図面を通して同じ部品を指す。また、図面は、必ずしも一律の縮尺に従っておらず、代わりに概して本発明の原理を例示することに重点が置かれている。
詳細な説明
小売店内で顧客および製品を追跡することに関して、及び窃盗を検出することに関して実施される際に有用であるとして本明細書で説明されるが、以下に説明されるシステムと方法は、空港、カジノ、学校、オフィスビルのような、監視される任意の環境に対して、及び広範にわたる目的のためにその場所で生じる可能性がある活動に対して適用可能である。
図１は、本発明による統合ビデオ監視およびセンサネットワークシステム１００を示す。システムは概して、インテリジェントビデオ監視システム１０５、及び１つ又は複数の外部センサネットワーク１１０を含む。インテリジェントビデオ監視システム１０５は、ビデオ処理モジュール１１５、及び警報／探索処理モジュール１２０を含む。ビデオ処理モジュール１１５は、ビデオストリームを分析し、出力として圧縮ビデオ及びビデオメタデータを生成する。いくつかの実施形態において、警報／探索処理モジュール１２０は、追跡モジュール１３０、警報モジュール１３５、及び通信モジュール１４０を含み、一組の所定の規則に適合するパターンに関してビデオメタデータを走査し、パターンの適合が発見された場合に警報（又は、予め記録されたメタデータの場合には探索結果）が生成され、次いで、それは１つ又は複数の出力装置１４５（以下でより詳細に説明される）に送信され得る。規則を処理する際に警報モジュールにより使用されるメタデータの例には、対象物ID、対象物タイプ（例えば、人物、製品等）、日付／時間のスタンプ、現在のカメラの位置、以前のカメラの位置、方向データ、製品原価、製品逸失、及び他のものが含まれる。
インテリジェントビデオ監視システム１０５の一例は、「Method And System For Tracking And Behavioral Monitoring Of Multiple Objects Moving Through Multiple Fields-Of-View」と題する共同所有された同時係属の米国特許出願第１０／７０６，８５０号に説明されており、その全開示は参照により本明細書に含められる。本発明に従って、警報／探索処理モジュール１２０は、POS、RFID、及びEASシステムのような種々の形態の追跡およびデータキャプチャを用いる外部センサネットワーク１１０からデータを受信するための追加の入力で強化される。
本発明のビデオ監視システム１０５は、監視環境の人および出来事の相互作用を表すデータをキャプチャする複数の入力センサ１２５を含む。センサ１２５は、カメラ（例えば、光センサ、赤外線検出器、スチルカメラ、アナログビデオカメラ、デジタルビデオカメラ、又は後述される方法を支援するのに十分な品質の画像データを生成することができる任意のデバイス）と非ビデオベースのセンサ（例えば、RFIDベースステーション、POSスキャナ、在庫管理システム）の双方を含むことができる。
本発明の種々の実施形態に従って、外部センサネットワーク１１０は、センサ出力を表す信号を収集して、１つ又は複数の標準データ伝送技術によってビデオ監視システム１０５の警報／探索処理モジュール１２０に送る。信号は、LAN及び／又はWAN（例えば、Ｔ１、Ｔ３、５６ｋｂ、Ｘ．２５）、ブロードバンド接続（ISDN、フレームリレー、ATM）、無線リンク（８０２．１１、Bluetooth（Ｒ）他）等を介して伝送され得る。いくつかの実施形態において、ビデオ信号は、例えば、トラステッド鍵ペア暗号化を用いて暗号化され得る。種々のセンサシステムは、Ethernet（Ｒ）又は無線ネットワーク、直接シリアル又はパラレル接続、USB、ファイヤーワイヤー（Ｒ）、Bluetooth（Ｒ）、又は工業所有権により保護されているインターフェースのような種々の通信経路を用いて情報を伝送することができる。システム１００は、各センサ１２５が個別的に警報／探索モジュール１２０に接続される「星状形ネットワーク」として構成され得るか、又は場合によっては、センサネットワーク１１０は、スイッチ、ルータ、及びコンピュータネットワークで一般に見出される他のコンポーネントを含む、より一般的なトポロジーを有することができる。いくつかの実施形態において、センサ１２５は双方向通信とすることができ、ひいてはビデオ監視システム１０５から（電源を入れる、警報を鳴らすため等の）信号を受信することができる。
いくつかの実施形態において、システム１００は、ビデオ格納モジュール１５０、及び規則／メタデータ格納モジュール１５５を含む。ビデオ格納モジュール１５０はビデオ監視システム１０５からキャプチャされたビデオを格納する。ビデオ格納モジュール１５０は、VCR、DVR、RAIDアレイ、USBハードドライブ、光ディスクレコーダー、フラッシュ記憶装置、画像解析装置、汎用コンピュータ、ビデオ画質向上装置、デインターレーサ（de-interlacer）、スケーラ、及び／又はビデオを格納および／または処理するための他のビデオ又はデータ処理要素および格納要素を含むことができる。ビデオ信号は、単なる例として、全国テレビジョン方式委員会（NTSC）、パル（PAL）、及びセカム方式（SECAM）、DVI又はHDMI接続を用いる非圧縮デジタル信号、及び／又は一般的なコーデック方式（例えば、MPEG、MPEG2、MPEG4、又はH.264）基づいた圧縮デジタル信号を含む種々のアナログ及び／又はデジタルフォーマットでキャプチャされて格納され得る。
規則／メタデータ格納モジュール１５５は、ビデオ監視システム１０５及び外部センサネットワーク１１０からキャプチャされたメタデータ、並びに警報がトリガされるべきか否かを判定するためにメタデータが比較される規則を格納する。規則／メタデータ格納モジュール１５５は、警報規則を格納して警報／探索処理モジュール１２０にそれを提供するためのアプリケーション命令を含むサーバクラスコンピュータで実現され得る。ビデオ格納モジュール１５０及び／又は規則／メタデータ格納モジュール１５５、記憶装置を実現するために使用され得るデータベースアプリケーションの例には、スウェーデン、ウプサラのMySQL AB社によるMySQLデータベースサーバ、カリフォルニア州バークリーのPostgreSQL Global Development Group社によるPostgreSQLデータベースサーバ、又はカリフォルニア州レッドウッドショアズのORACLE Corp.社により提供されるORACLEデータベースサーバが含まれる。いくつかの実施形態において、ビデオ格納モジュール１５０及び規則／メタデータ格納モジュール１５５は、例えば、所望のシステム性能を得るように、複数のパーティション及び／又はインスタンスを用いて１つのサーバで実現され得る。
様々なセンサネットワーク１１０がシステム１００にデータを提供することができる。例えば、POSネットワークは、ネットワークに接続された多数のステーション（例えば、レジ、スキャナなど）を含み、付勢されると、ステーションのセンサが、顧客の取引情報（製品、価格、顧客IDなど）並びにキャシュドロアーのステータス（例えば、開閉）をネットワークに送信する。同様に、EASネットワークは一般に、高価な製品（又は場合によっては全ての製品）に配置されたアクティブなEASタグの存在を検知する、小売店の出口の近くに設置された多数のペデスタルを含む。タグの存在が検出された場合、ペデスタルは、ネットワークを介して情報をセンターに送信する。また、多くの商業ビルは、ドアの開閉を検知するセキュリティシステムを利用し、施設を出入りする際にIDカードを通す又は提示することを従業員に要求する「カード磁気データ読み取り」システムを使用する。本発明に従って、これらセンサベースのモニタリングシステム１１０の一部または全ては、ビデオ監視システム１０５と統合されて、その能力と精度が強化される。当然のことながら、上記のセンサタイプのリストは、網羅的ではなく、適応され得るセンサネットワーク１１０のタイプの例を提供したにすぎない。
１つの制限しない例において、センサネットワーク１１０は、監視システム１００により追跡されている対象物に配置されたトランスポンダと相互作用する送信機（「基地局」又は「ステーション」とも呼ばれる）をそれ自体が含むRFIDサブシステムを含む。ステーションは、断続的に（例えば、ｎミリ秒毎に、ここでｎは選択された整数）ステーションの或る有効半径内にRFエネルギーを送信する。トランスポンダがこの有効半径内に入ると、RFエネルギーはトランスポンダを「起動」し、トランスポンダはステーションに識別信号を与えるようにそれと相互作用する。信号は一般に、SKUコード、ソースコード、数量コードなどのような、トランスポンダが装着される対象物に関する様々な情報を含む。このデータは、送信機からの情報（例えば、送信機ID、及び日付／タイムスタンプ）で補われ、一意の記録としてセーブされ得る。区域のあちこちに（例えば、店または倉庫の全体にわたって）複数の送信機を配置することにより、RFIDサブシステムを用いて、送信機の座標および送信機がトランスポンダと対話した時間によりRFIDタグを備える対象物の位置と経路を求めることができる。
いくつかの実施形態において、警報／探索処理モジュール１２０により生成された警報は、スマートターミナル又はダム端末、ネットワークコンピュータ、無線装置（例えば、ハンドヘルドPDA）、無線電話、情報家電、ワークステーション、ミニコンピュータ、メインフレームコンピュータ、又は汎用コンピュータとして動作できる他のコンピュータデバイスのような出力装置１４５、或いはシステム１００で出力装置１４５として単に機能するために使用される専用ハードウェアデバイスに送信され得る。一例において、警備員は、警備員が監視環境を巡回する際に、無線出力装置１４５にテキスト、メッセージング、及びビデオ能力を提供される。警報が生成された場合、メッセージが出力装置１４５に送信され、警備員を特定の場所に案内する。いくつかの実施形態において、ビデオはメッセージに含められることができ、対象となる人物または対象物の映像による確認を警備員に提供する。
いくつかの実施形態において、出力装置１４５は、広域情報サービス（GIS）データも含むことができる。係る具現化形態において、地図および／または間取り図（実際の写真またはそのグラフィック表示）が、環境を記述するアイコン情報およびテキスト情報、並びに環境内の対象物と組み合わされる。例えば、遊園地で働く保安要員には、遊園地の地図を含む静止グラフィックス及び／又はビデオグラフィックスをレンダリングできる無線ハンドヘルド装置（SAMSUNG SCH i730無線電話など）が提供され得る。同様の装置（又は場合によっては、遊園地の全体にわたって配置されたRFID基地局）を介して得られたGPS座標を用いて、様々な場所を表示し、職員、売る人、又は団体が判定され、遊園地の地図と共に同時に表示される。
システム１００が遊園地の入場者および他の対象物の移動を分析する際、警報／探索処理モジュール１２０は、ビデオ監視システム１１５及び外部センサネットワーク１１０から受信されたメタデータを使用して、１つ又は複数の規則が合致するか否かを判定し、そうである場合、警報を生成する。一例として、遊園地の入場者と関連する対象物ID、及び入場者により賃借されたベビーカーに関連するベビーカーIDは、手動関連付け技術および／または自動技術（例えば、すぐ近くにいる２つの対象物の度重なる検出に基づいて）を用いて結びつけられる。ベビーカーが遊園地内の少なくとも１つの場所にあることをRFIDセンサが判定し、遊園地の入場者がベビーカーの許容できる或る範囲外にいることをビデオ監視システムが判定する場合、警報が生成される。次いで、警報が、保安要員に送信され、GISが使用可能なデバイスを用いる保安要員は、遊園地の地図上に重ねられたベビーカーの位置および遊園地の入場者の位置を見ることができる。
いくつかの実施形態において、特定の場所への遊園地職員の迅速な移動を更に容易するために、群衆密度または好適な経路を表すために着色するような、追加のデータがディスプレイに追加され得る。また、対象物が移動している速度、又は対象物が監視環境にもたらす脅威の程度を示すために、色強調も追加され得る。場合によっては、最新情報がディスプレイに送信され、監視されている事象および対象物のリアルタイム（又はほぼリアルタイム）の表示が提供され得る。
図２を参照すると、図１の監視システムにより監視されている環境２００は、複数の対象となる区域、即ち、複数の発送センター２０５、供給区域２１０、小売り区域２１５、精算区域２２０（１つ又は複数の店舗販売時点情報管理装置２２５を含む）、及び出口２３０を含む。環境２００で生じる種々の活動（配送、仕入れ、購買など）を監視するために、ビデオ監視サブシステムは、視野２４０をそれぞれ有する複数のカメラ２３５、及びRF信号が有効である動作半径２５０をそれぞれ有する複数のRFIDステーション２４５を含む。場合によっては、視野２４０及び動作半径２５０は互いに排他的であり、即ち重なる部分がない。また、監視されている区域は、この区域の対象物が双方のサブシステムにより検出され得るように、１つ又は複数の視野２４０及び動作半径２５０によりカバー（保護）され得る。しかしながら、多くの場合、環境２００は、場合によっては「デッドゾーン」と呼ばれる複数の無効区域２５５を含み、その区域では、ビデオサブシステム又はRFIDサブシステムはその区域の活動に関する情報を得ることができない。デッドゾーンは、不十分な具現化計画の産物、監視環境２００の物理的なレイアウトの変更（例えば、新しい壁、又は棚ユニットが構築された）、予算制限、又は場合によっては、カメラ２３５及び／又はRFIDステーション２４５の機能不良である可能性がある。
ビデオサブシステムにより供給されるビデオデータとRFIDサブシステムにより供給される位置データとを組み合わせることにより、後述される方法を用いて、環境２００にわたる人物および／または製品の経路の完全な時系列を導出することにより、デッドゾーンの問題は事実上、対処され得る。更に、一意の識別子が、環境内の対象物、人、及び事象に割り当てられることができ、監視システムによりキャプチャされた事象が規則と比較され、合致する場合には、警報をトリガする、及び／又は挙動を予測することができる。用語「対象物」は、人（特定の個人または一般民衆）、商品、区域（出口、トイレなど）、カメラ、カメラの副領域、及びRFIDステーションのような、環境２００において互いに相互作用する種々の要素を表すために、その最も一般的な意味で使用されている。
規則は、１つの対象物または多数の対象物に対して確立され得る。一例として、規則は、特定の製品の周囲にいる人の挙動を、これら製品のうち高級な製品が短時間に棚から移動されたことを示すRFIDデータと比較することにより、窃盗を暗示する挙動について試験することができる。ビデオサブシステム及びRFIDサブシステムの双方からのデータを用いる複合規則の別の例として、製品が棚から移動され（RFID信号に基づいて）、その製品が特定の人物に関連付けられ（同時に棚の近傍にいるその人物のビデオ画像に基づいて）、その製品が店の出口でRFIDステーションにより再度認識されるが、レジへ来るその人物の画像が記録されていない場合に、窃盗を検証するために警報が生成され得る。いくつかの実施形態において、データは更に、出口から出る（ビデオにより、RFIDにより、又は双方により）「見られている」製品が、例えばレジでSKUスキャナにより以前に走査されたかのような、店舗販売時点情報管理データと組み合わされ得る。
図３は、本発明の種々の実施形態に従って、対象物を追跡するためのカメラ及びRFIDステーションの１つの考えられる構成を示す。第１のカメラが、第１の時間ｔにおける第１のシーン３０５、及び第２の時間ｔ＋１における同じシーン３０５’ を表すビデオ信号を提供する。第２のカメラは、時間ｔにおける第２のシーン３１０、及び時間ｔ＋１における同じシーン３１０’ を表すビデオ信号を提供する。更に、RFIDステーション２４５は第２のカメラの視野の範囲内にあり、それ故にシーン３１０に現れる。
いくつかの実施形態において、カメラの視野は、副領域３１５にセグメント化される。１２個の副領域（３列×４行）を有するものとして図示されたが、副領域は任意の数とサイズからなることができ、全視野を表す１つの副領域から個々のピクセルレベルの副領域までの範囲にわたる。視野を副領域にセグメント化することにより、監視システムは、後述されるように、より大きな精度で対象物を追跡し、対象物が移動する可能性がある「次のカメラ」又は「次の副領域」を有効に予測することができる。
例えば、まだ図３を参照すると、特定の場所に立っている人物がシーン３０５に示されている。視覚的対象物３２０が人物を表し、時間ｔにおいてカメラ１、副領域ｄ１に関連付けられる。ビデオ表現は３つの副領域にまたがるが、この例において、人物は１つの副領域（即ち、ｄ１）に割り当てられる。対象物が複数の副領域にまたがる場合、対象物が割り当てられるべき特定の副領域を決定するために規則が適用され得る。１つの制限しない例において、各副領域に割り当てられた対象物のピクセル総数を求めることができ、最も多いピクセル総数を有する副領域に対象物が割り当てられる。他の実施形態において、割り当ては、空間的とすることができ、例えば、人物の一部が現れる「最も低い」副領域（即ち、地面または床に最も近い副領域）に、対象物は常に割り当てられる。他の実施形態において、対象物は複数の副領域に割り当てられ得る。
視野を副領域にセグメント化することにより、ビデオ監視サブシステムの精度が、カメラを追加することなく強化され得る。例えば、１つのカメラが、小売店のレジ区域および出口の双方のビデオ監視を提供することができる。セグメント化を用いない場合、座標ベースの複合基準システムを使用せずに、フレーム内の人物の位置を識別することが困難であるので、レジに行かずに小売店を出る人物または製品に基づいた規則は、実行可能ではない。しかしながら、セグメント化を用いる場合、店を含む副領域を通って歩く人物が、POSに割り当てられた副領域を通り抜けずに出ることは、係る規則をトリガする。
本発明は、ビデオ及び／又はRFIDを用いて識別された製品とビデオを用いて識別された人との間の関連付けを生成することを更に提供する。ビデオ監視サブシステムをRFID（出口のRFIDステーションを含む）で強化することにより、製品の詳細（SKU、シリアルナンバー等）がキャプチャされ、最近の購入および在庫の棚から最近移された品目に対して照合（チェック）される。図３をまだ参照すると、人物３２５は、時間ｔでカメラ１の視野の副領域ｄ３に配置される。同じ時間ｔにおいて、製品３３０は、RFIDステーション３４５で受信された信号に基づいて特定の位置にあることがわかっており、カメラ２の視野の副領域ｄ１に配置されていることもわかっている。時間ｔ＋１において、人物３２５は、カメラ２の視野内に移動し（この時点で画像３２５’により表されている）、製品３３０を持ち上げている（この時点で画像３３０’により表されている）。製品３３０’はRFIDステーション３４５の動作範囲２５０から外れるが、依然としてカメラ２の視野内にある。
履歴データ、運動ベクトル、又は他の確率論的解析に基づいて、画像３２５’と３３０’の組合せが、人物３２５と製品３３０を表すという推論が引き出され得る。いくつかの実施形態において、製品に関連するRFIDタグ番号が、対象物の特徴としてビデオ監視サブシステムを用いて追跡されるビデオ対象物に結びつけられ得る。関連付けは、１対１、１対多数、又は多数対多数とすることができる。例えば、ビデオ監視サブシステムのビデオ対象物として表される人物が、RFIDタグをそれぞれ備える複数の製品を運んでいるが、人の集団は、単一のRFIDタグに関連付けられ得る（同時に人々は互いに立っている）。追跡される対象物に関連する一組のタグは、対象物が異なるカメラに現れる場合に、付加的な識別力のあるヒントを提供するかもしれない。
例えば、RFIDステーションから受信された一連のRFID記録は、表１に示されるように表され得る。
Figure 0005086260
上記のデータに基づいて、製品００００１が或る時間期間にわたって静止していた、即ち、３つの時間期間にわたってステーションから一定の距離にとどまっていたことが推論され得る。しかしながら、ｔ＋２とｔ＋３との間の或る時間において、製品はステーションから遠ざかり始めた。いくつかの実施形態において、方向情報もRFIDデータと共に含められ、移動の速度と方向の双方を求めることが容易にされる。
同様に、ビデオ監視サブシステムから受信された一連のビデオデータ記録は、表２に示されるように表され得る。
Figure 0005086260
上記のデータに基づいて、画像００００Ｘとして識別される対象物が或る時間期間にわたって静止していた、即ち、３つの時間期間にわたって同じカメラの同じ副領域にとどまっていたことが推論され得る。しかしながら、ｔ＋２とｔ＋３との間の或る時間において、画像は移動し、時間ｔ＋３で副領域Ａ３にカメラ１０００２により記録され、続いてカメラ１０００３により時間ｔ＋４で副領域Ａ１に記録された。対象物の方向と速度は、運動ベクトル及びピクセルベース解析のような当該技術で知られている種々の技術を用いて求められ得る。
手動または自動化手段を用いて、及び一例としての上記のサンプルデータを用いて、関連付けは、RFIDステーション０１１３ＦＦとカメラ１０００２の副領域Ａ２との間で成され得る。例えば、手動の関連付けの場合、ソフトウェアアプリケーションによりユーザが｛０１１３ＦＦ：１０００２．Ａ２｝のような形態の関連付けを指定できることによって、RFIDステーションとカメラの副領域が、既知の位置的な重なり部分（単数または複数）に基づいた１対１、１対多数、及び／又は多数対多数のように互いに関連付けられ得るメカニズムが提供される。自動関連付けは、例えば、発見的規則および機械学習プロセスを通じて達成されることができ、それにより履歴データは、対象物の状態またはカメラ（又はカメラの副領域）及びRFIDステーションに共通である経路に関して分析される。一例として、RFIDステーションが特定の時間に製品の配置を検出し、独立して新たな対象物の配置がカメラの視野の副領域内に検出される場合、RFIDステーションと副領域との間の関連付けが推論され得る。最初に、推論は、根拠の弱い可能性がある（即ち、多数のステーションとカメラを有するシステムにおいて正しいという低い確率）が、時間と共に追加のデータが収集されるにつれて、関連付けの強さは、許容できる確率まで高められるであろう。場合によっては、２つの方法（手動および自動）が組み合わされ、この場合、例えば最初の一組の関連付けが指定されるが、ステーションが移動またはカメラが再編成されるにつれて、システムはそれに応じて関連付けを変更する。マルチモダリティモニタリングシステムからなる従来の具現化形態とは異なり、上述の方法は、要員が手動で特定のセンサをカメラに割り当てる、時間のかかる（及び繰り返されることが多い）較正ステップの必要性を取り除く。
いくつかの実施形態において、視野は重ならず、それ故に人物または製品が環境にわたって移動する際に、人物または製品の時間順の経路に空白が存在する可能性がある。図４は、時間ｔにおいて製品４１０を購入する人物４０５の物理的経路と時系列の双方を示す。人物４０５は時間ｔ−２で店に入り、通路を通過する。通路の特定部分（例えば、部分４１５）に沿って、人物４０５はビデオ監視カメラの視野内にいる。通路の他の部分（例えば、部分４２５）に沿って、人物は任意のカメラの視野の外にいる。人物４０５とは無関係に、製品４１０は販売のために陳列され、カメラ２３５の視野２４０、及びRFIDステーション２４５の動作半径２５０内の双方の中にある。人物４０５が店のあちこちに移動し、人物が第１のカメラの視野の外に移動する際に、或る時間期間にわたって見えなくなり、人物がカメラ２３５の視野に入る時間ｔ−１で現れる。時間ｔにおいて、人物４０５が製品４１０を持ち上げ、通路に沿って移動し、最終的に時間ｔ＋１と時間ｔ＋２との間でRFIDステーション２４５の範囲外に製品４１０を持って行く。人物４０５はレジの方へ進み、レジにおいて人物の存在が１つ又は複数のカメラにより記録される。いくつかの実施形態において、１つのカメラから別のカメラへの移動は、より詳細に後述されるように、カメラ（又は副領域）の隣接性を判定することにより予測され得る。
例えば、人物４０５がSKUスキャナを備えるレジで製品４１０を購入する場合、購入の記録が生成される。いくつかの実施形態において、購入記録は、例えば、人物４０５が棚から選択した製品（単数または複数）４１０が購入されている製品（単数または複数）４１０と合致するか否かを判定するために上記で表されたRFIDデータと比較され得る。人物４０５が出口の方へ進み、製品４１０が別のRFIDステーションの有効範囲内にあり、かくして規則が適用され得る追加のRFIDデータが生成される。１つの制限しない例として、製品４１０がその通常の棚の位置に近接するRFIDステーションから遠ざかることが最初に検出され、後に店を出ることが検出されるが、精算区域におけるRFIDステーションにより検出されていない、又は店舗販売時点情報管理装置により走査されていない場合、「万引き」の規則がトリガされ得る。
別の例として、RFIDサブシステムから受信されたデータに基づく規則は、「スタッフゾーン（stuff zone）」警報もトリガできる。「スタッフゾーン」は、泥棒が後で盗みをするつもりである製品を隠す店の区域である。例えば、RFIDステーションは、製品が属さない棚に、又は他の盗まれることが多い製品の近くの棚に製品が配置されていることを検出する場合、警報がトリガされ得る。次いで、警報は、他の警報、例えば棚に配置されている製品を最初に検知する、及び／又は監視されている区域について容疑者の追跡を開始するビデオ警報と組み合わされ得る。
上述したように、ビデオ及び／又はRFIDの有効範囲区域における空白は、ステーション及びカメラが、追跡されている対象物を現時点で検出している装置に隣接する動作区域を有することを知っている又は推論することによって、克服され得る。装置の隣接性は一般に、その装置に何らかの点ですぐ近くにある他のカメラ又はRFIDステーションを含む。「すぐ近く」は、例えば対象物の移動に基づいて対象物が最も進む可能性があるそれらのカメラを意味する。また、２つの装置は、１つのカメラ又はRFIDステーションにより記録された人物または対象物が短い時間期間内で他の装置に現れる（又は現れている）可能性が高い場合に、隣接性も考慮され得る。時間期間は瞬間、又は場合によっては遅延の後とすることができる。いくつかの実施形態において、ユーザは手動で隣接性を指定し、それにより任意であるように思われる隣接性が生成される。
また、隣接性は、実際の又はシミュレートされた又は双方の履歴データに基づいて求められ得る。一実施形態において、ユーザ活動が観察および測定され、例えば、対象物の進む可能性が高いカメラの視野またはRFIDステーションの範囲はどれかを、対象物の以前の移動に基づいて求める。別の実施形態において、カメラ画像は、シーンの活動に基づいて隣接性を求めるために、直接的に分析される。この場合、シーンの活動は、例えばトレーニングデータを用いて何らかの点で演出または抑制される。場合によっては、隣接性は、ユーザにより完全に又は部分的に指定され得る。いくつかの実施形態において、隣接性は、共同で所有され同時継続中の、「Method And System For Tracking And Behavioral Monitoring Of Multiple Objects Moving Through Multiple Fields-Of-View」と題する米国特許出願第１０／７０６，８５０号、「Computerized Method And Apparatus For Determining Field-Of-View Relationships Among Multiple Image Sensors」と題する米国特許出願第１０／６６０，９５５号、及び「Intelligent Camera Selection and Object Tracking」と題する米国特許出願第１１／３８８，７５９号に記載されたような複数のカメラの視野にわたる対象物の活動を連続的に相関させることにより計算され、これら特許文献のそれぞれは、参照によりそっくりそのまま本明細書に含められる。上記の特許文献に記載されているように、カメラ間および／またはカメラの副領域間の強い相関は、隣接性を暗示する傾向があり、発見的（ヒューリスティック）に求められた隣接性に加えて、ユーザは適切であると判断する場合に、手動で隣接性を追加または削除できる。
また、隣接性は、全体のシーンよりも細かい粒度で指定され得る。ビデオデータのウィンドウ枠内の副領域は、他のカメラの副領域またはRFIDステーションの動作半径に「隣接」するとみなされ得る。隣接するビューは、サイズ及び／又は形状の点で異なることができ、例えば、１つのビューの副領域が隣接するビューの全体であるように現れる、又はカメラの視野の副領域が隣接するカメラのビューを持たないが、１つ又は複数の隣接するRFIDステーションを有するように現れる。
ほとんどの場合、カメラ（或いはカメラの視野の副領域または上述されたようなRFIDステーション）は複数の隣接性を有し、隣接性は、関連性測定値に従って順序付けられ得る。関連性は、例えば、ビデオデータウィンドウ内にいる、又はRFIDステーションの有効区域内にいる人物または対象物が、主要なカメラ又はRFIDステーションに、又はそれら２つの組み合わせに隣接する特定のカメラ又はRFIDステーションに移行する確率を計算することにより判定され得る。各確率は等しいと考えられ得るか、又は代わりに確率を計算するために使用されるデータ量、確率の間の相関、又は他の係る尺度に基づいて重み付けされ得る。
図５Ａと図５Ｂを参照すると、監視環境（図４に示されるような）にわたる人物４０５と製品４１０の経路が、一連の副経路５０５、５１０、５１５、５２０、及び５２５として示されることができ、副経路の各々は、ビデオデータ、RFIDデータ、又は双方に基づいて決定される。例えば、人物４０５が店に入り、その人物が第１のカメラの視野に入る経路５０５において、その人物が最初に見つけられ、OBJECTIDを割り当てられる。その人物がその人物の経路上に存続する場合、カメラは、区域の不完全な有効範囲、動作不良、空間の物理的特性（例えば、カメラの視野をさえぎる一時的な展示品）又は他の理由に起因して人物４０５を見失う。人物４０５の画像は、別のカメラによる副経路５１０において、場合によっては同じカメラの異なる副領域において再捕捉される。人物が製品４１０に近づく場合、人物がカメラの視野内にとどまり、更にRFIDステーションは、人物４０５が製品４１０を運び去る際に製品４１０の移動を追跡する。ひとたび人物４０５及び製品４１０がカメラ及びRFIDステーションの範囲から外れると、各々に対するデータは受信されない。人物４０５が製品４１０を購入する場合、人物４０５は副経路５２５におけるビデオで再捕捉され、製品４１０は精算時に店舗販売時点情報管理装置により認識され、店の出口でRFIDステーションにより再び認識される。ビデオ、RFID、及び店舗販売時点情報管理データを組み合わせる能力のないこと、並びに監視環境の全体にわたって対象物の移動を予測する能力のないことは、時間と共に対象物の完全な経路を表さないバラバラな一組の副経路という結果になる。
RFIDデータ、店舗販売時点情報管理データ、及びビデオデータとの間の関連付け、並びに隣接性に基づいて可能性の高い経路を決定する方法に関連する上述の技術を用いて、図５Ｂに示されるように、人物４０５と製品４１０の完全な経路５３０が推論され得る。完成すると、窃盗防止、子供の安全性、及びその他に関する種々の規則が適用されることができ、トリガされる場合、適切な警報が適切な要員に提供される。
いくつかの実施形態において、これらの警報は、例えば、データ（例えば、「THEFT ALERT OF PRODUCT XYZ AT EXIT（出口における製品ＸＹＺの盗難警報）」）及びビデオ（例えば、疑わしい万引き犯人または迷子の写真）の双方を表示できる無線ハンドヘルド装置を用いて、店の保安要員が店を巡回する際の保安要員に対するリアルタイムな警報とすることができる。
ここで、追加の具現化形態および例示的な配備が説明される。
警報および探索処理
返品詐欺（即ち、盗まれた製品が現金化のために不正に戻される詐欺）は、多くの小売店の関心事である。以下の「従業員の返品詐欺」の例は、ビデオ監視システムとセンサネットワークモニタリングシステムの統合が、それぞれを他とは無関係に用いることから実現される利益よりも優れた利益を提供する１つの代表的な用途を示す。店の返品詐欺において、ある人（顧客または従業員）は、以前に盗まれた製品を現金に換えようとして、それを店に返品することを試みる。他の場合には、製品が店の棚から直接的に持ち去られ、不正なレシートを用いて即座に返品される。多くの従業員は不審な活動を検出するために訓練を受けているので、従業員は詐欺を見つけて返品を断ることができる場合が多い。
しかしながら、返品の大部分は詐欺ではなく、店の従業員が関与する場合には、従来のシステムを用いて返品詐欺を防止することは特に困難である。返品の処理に関するPOSデータストリームを見張ることは係る挙動を検出するための１つの手法であるが、この技術は、多大な時間を必要とし、且つ資源集約的であり、POSデータは返品処理の時に顧客の存在または欠如を示さない。しかし、顧客がレジにいるか否かを検出することができるビデオ監視システムとPOSデータを組み合わせることにより、統合されたシステムは、返品が不正か又は本物かをより正確に示すことができる。
特に、従業員の返品詐欺は一般に、顧客のいないPOSでの不正な返品処理により特徴付けられる。従って、２つの情報が一般に詐欺を自動的に検出するために必要とされ、即ち、（１）もしかすると不正な返品が処理された（又は処理されている）かもしれないか、及び（２）顧客がPOSにいるか否かである。ビデオ監視システム又はPOSネットワークは、双方の質問に単独で、完全で正確な答えを提供することはできない。例えば、ビデオ監視システムは一般に、処理されている取引が返品であるか否かを、又は仮にも処理が処理されているか否かでさえも判定することができない。POSネットワークは店で発生する返品処理を記録することができ、いくつかのPOSシステムは、他よりも不正である可能性が高いとして特定の返品処理を識別することができる特別な不正行為検出フィルタを含む。しかしながら、高度な不正行為検出を用いてさえも、従来のPOSシステムは、多数の誤った陽性反応を生成し、従業員の返品詐欺を顧客の返品詐欺から区別することができない。一方で、ビデオシステムとPOSシステムの双方からのデータを組み合わせる統合システムは、双方のチェックを行うことができ、本明細書で説明された規則に基づく手法を用いて、従業員の返品詐欺の事象がいつ発生したか、又は場合によってはリアルタイムの規則チェックを用いる実施形態では現在発生していることを検出できる。
例えば、図６を参照すると、ビデオ監視システムは、顧客領域６１５及びPOSステーション６２０の双方を含む、１つ又は複数のカメラ６０５に基づいたビデオ画像６００において、人の存否を検出することができる。「顧客領域」としてビデオの領域をマーキングすることにより、システムは、顧客の存在を検出（及びカメラの視野の異なる領域において一般に勘定台の後ろにいる顧客でない者と顧客を区別）することができる。
例えば、POSシステムは返品が行われたことを認識し、返品に関する情報（例えば、返品処理の時間、POSステーションのID、及び考えられる返品処理の詳細）がビデオ監視システムの警報処理モジュールに送信される。警報処理モジュールは対象となる警報をエンコードする多数の規則を適用し、従業員の返品詐欺の場合には、返品が処理される各POSステーションに対して規則が存在することができる。POSデータが警報処理モジュールに到達すると、１つ又は複数の規則を適用することにより、警報が生成されるべきか否かが判定される。いくつかの実施形態において、規則は別個のデータ格納モジュールに格納され、定期的に更新され得る。
規則に関して１つの考えられる形態は、ブール論理を使用する。一例として従業員の不正な返品を用いると、規則は、「if ((RETURN PROCESSED on POS #XXX) and (not (OBJECT PRESENT in region #YYY))) then ALERT」として表され得る。ここで、「XXX」は、各POSステーションに割り当てられた一意のID番号を表し、「YYY」はPOSステーションに対応する顧客領域に割り当てられた一意のID番号を表す。規則の定義、それ故にPOSステーションIDと領域IDとの関連付けは、システムのエンドユーザにより手動で、又は種々の機械学習および発見的技術を通じて自動的に策定され得る。
一般に、警報規則は、ブール論理（例えば、AND、OR、NOT演算子）を用いて基本の事象を互いに組み合わせる。基本の事象は、所与のセンサネットワークで検出され得る１つである。例えば、基本のPOS事象は、「RETURN PROCESSED」、「CASH DRAWER OPEN」、「ITEM zzz PURCHASED」等を含む。基本のビデオシステムの事象は、「OBJECT PRESENT」、「OBJECT MOVING」、「NUM OBJECTS > N」等を含む。基本のセキュリティシステムの事象は、「CARD #123456 SWIPED」、「DOOR OPEN」、「MOTION DETECTED」等を含む。基本のEAS事象の一例は、「TAG DETECTED」である。
基本の事象はブール論理でもって互いに組み合わされて、任意に複体（complex）とすることができる警報の式を生成することができる。規則は、１つ又は複数の警報の式からなることができる。全部の式が「真」を評価する場合、警報が生成される。例えば、EAS事象が検出された際に二人の人が店から出るか否かを検出するための警報を考察する。基本の事象は、「TAG DETECTED」及び「NUM OBJECTS > 2」である。双方が真である場合、警報が出される。そのため、複合式は「(TAG DETECTED on EAS #123) and (NUM OBJECTS > 2 in region #456)」である。前と同じように、一意のID番号を用いて、特定のEASペデスタルを適切なカメラの対象となる領域に関係付ける。
別の例として、警報は、アクセスの制限されたドアを１つの証明書を用いて入る二人の人（一般に、「ピギーバッキング」と呼ばれる）を検出することに基づいてトリガされ得る。警報の規則は、上記のEAS警報の規則と類似し、即ち、「if ((DOOR OPENED on DOOR #834) and (NUM OBJECTS > 2 in region #532)) then ALERT」である。
従業員の返品詐欺を検出することに類似して、顧客が存在せずにPOSステーションのキャシュドロアーが開けられた時を識別することは有用である場合が多い。係る事象は、従業員の窃盗を示す場合が多い。より複雑な規則の例として、この事象の検出は、双方の事例が１つの規則で検出され得るように、従業員の返品詐欺の規則と組み合わされ得る。即ち、「if (((RETURN PROCESSED on pos #XXX) or (CASH DRAWER OPENED on pos #XXX)) and (not (OBJECT PRESENT in region #YYY))) then ALERT」である。
上述された規則は、組み合わせて完全な警報規則言語を構成する規則の例を表す。例えば、規則は、事象に関する一時的な情報（例えば、或る時間期間にわたって事象が発生した場合に警報する）、連続した情報（例えば、この事象がその事象に続く場合に警報する）、事象の欠如（例えば、顧客が存在せずに販売の事象が発生する）、又は基本事象の任意の他の組み合わせを含むことができる。以上のことをまとめると、事象は、種々のセンサから検出されることができ、警報規則は、形式、構文（シンタックス）、又は構造に関係なく、事象の種々のタイプに作用するように定義され得る。
上述の警報は、監視システムのリアルタイム関数として表されるが、警報の状態が過去の或る時にトリガされたか否かを知ることも価値がある。POS、EAS、RFID及びビデオデータに関するメタデータを格納することにより、システムは格納されたデータを以前にさかのぼって走査することができ、リアルタイムの場合に使用されるものと同じアルゴリズムを適用して、過去に発生した不審な事象を探索することができる。
子供の安全性
場合によっては、小売店（例えば、商店、ショッピングセンター）で買い物をしている両親が、彼らの子供に関して更なるセキュリティの保証を願っている。このような場合に、子供が店に入る際にRFIDタグが子供に割り当てられ、その結果、子供が迷子になった際に迅速に場所を見つけることができる。場合によっては、ビデオ及びRFIDデータの組み合わせを用いて分離を検出するために、RFIDタグは親と子供の双方に配置され、親からかなり離れて子供がさまよっている場合に、システムは警報を知らせることができる。
滑って転ぶこと
また、規則は、即時の注意を必要とする潜在的に危険な状態が存在するという警報を生成するために使用され得る。例えば、ビデオサブシステムが、通路に落ちる何かを検出する場合、RFIDサブシステムを用いて、製品の特定の属性（例えば、こぼれることができる、ガラス、有毒など）を識別して、適切な要員に警報を出すことができる。
科学捜査的動作
ビデオ及びRFIDデータの組み合わせから収集され得る他の価値ある情報は、製品の購入に関する履歴データを探索して、マーケッティングの目的で顧客の層をより良く理解するために製品を購入した人のビデオ画像の集まりを要求する能力である。例えば、単にRFIDデータストリームを見るだけにより、何個の物が何時に購入されたかに関する統計値が求められ得る。ビデオから人の属性（例えば、人種、性別、年齢など）を識別できるビデオサブシステムからのデータとRFIDデータを組み合わせることにより、買い物客の挙動が観察されて分析されることが可能になる。
全般的な考察
方法が１つ又は複数のソフトウェアプログラムとして提供される実施形態に関して、プログラムは、FORTRAN、PASCAL、Java（Ｒ）、Ｃ、Ｃ＋＋、Ｃ＃、又はBASICのような多数の高レベル言語の任意の１つで書かれ得る。更に、ソフトウェアは、ターゲットコンピュータに常駐するマイクロプロセッサ向けのアセンブリ言語で実現されることができ、例えば、IBM PC又はPCクローンで動作するように構成されている場合、ソフトウェアはインテル８０ｘ８６アセンブリ言語で実現され得る。ソフトウェアは、以下に限定されないが、フロッピー（Ｒ）ディスク、ハードディスク、光ディスク、磁気テープ、PROM、EPROM、EEPROM、フィールドプログラマブルゲートアレイ、又はCD-ROMを含む製品で具現化され得る。
これらの実施形態において、ソフトウェアは、PC又はPC互換マシン、アップル社Macintosh（Ｒ）、Sunのワークステーションなどのような任意のタイプのパーソナルタイプコンピュータ又はワークステーションで動作するように構成され得る。一般に、特定のタイプのコンピュータ又はワークステーションが本発明の中枢をなすものではないので、本明細書で説明された機能と能力を実行することができる限り、任意のデバイスが使用され得る。
本発明の一実施形態による、複数のセンサネットワークからのデータを組み込む監視システムの実施形態のブロック図である。 本発明の種々の実施形態が実施され得る監視環境を図式的に示す図である。 本発明の一実施形態による監視システムを用いてキャプチャされたシーンを示す図である。 図２の監視環境にわたる或る人物の経路を図式的に示す図である。 図２の監視環境にわたる或る人物の経路を更に示す図である。 本発明の一実施形態による、監視環境にわたる注釈付きの経路を示す図である。 本発明の一実施形態による、不審な挙動を視認して識別するためのユーザインターフェースの表示である。

Claims (32)

  1. 視野をそれぞれ有する複数のカメラを含み、各視野が複数のカメラ副領域からなるビデオ監視サブシステムと、
    複数の無線ステーションを含み、複数の無線ステーションのそれぞれが動作半径内の無線ＩＣタグを検出できる、無線ＩＣタグサブシステムと、
    前記ビデオ監視サブシステムによりキャプチャされたデータ及び前記無線ＩＣタグサブシステムによりキャプチャされたデータに基づいて、１つ又は複数のカメラ副領域と前記無線ステーションの１つ又は複数の動作半径との間の関連付けを、時間とともに推論するために、前記ビデオ監視サブシステム及び前記無線ＩＣタグサブシステムと通信する関連付けモジュールと、
    前記監視システムにより追跡されている対象物と関連した情報を格納するためのデータ格納モジュールであって、その情報が前記対象物に関連する１つ又は複数の規則を含む、データ格納モジュールと、
    前記ビデオ監視サブシステム及び前記無線ＩＣタグサブシステムから受信されたデータに基づいて、前記監視システムにより追跡される対象物の物理的位置を時間順に表すための追跡モジュールと、
    前記データ格納モジュール及び前記追跡モジュールに応じて、１つ又は複数の規則を前記監視システムにより追跡されている１つ又は複数の対象物の物理的位置に関する前記時間順の表示に適用するための警報モジュールとを含む、監視システム。
  2. 前記規則の少なくとも１つが、２つ又は３つ以上の基本の事象を含む、請求項１に記載のシステム。
  3. 前記２つ又は３つ以上の基本の事象が、ブール論理を用いて組み合わされる、請求項２に記載のシステム。
  4. 前記関連付けが、前記カメラ副領域と前記動作半径との間の位置的対応に基づく、請求項１〜３の何れかに記載のシステム。
  5. 前記ビデオ監視サブシステムによりキャプチャされたデータが、前記複数のカメラの間を移動する対象物の視覚表示、又は前記複数のカメラの複数の副領域の間を移動する対象物の視覚表示を含む、請求項１〜４の何れかに記載のシステム。
  6. 前記無線ＩＣタグサブシステムによりキャプチャされたデータが、前記無線ステーションの動作半径の間を移動する対象物に関連した空間的情報を含む、請求項１〜４の何れかに記載のシステム。
  7. 前記ビデオ監視サブシステムによりキャプチャされたデータが、前記複数のカメラの間を移動する対象物の視覚表示を含み、前記無線ＩＣタグサブシステムによりキャプチャされたデータが、前記無線ステーションの動作半径の間を移動する対象物に関連した空間的情報を含み、前記関連付けが、前記１つ又は複数のカメラ副領域と前記無線ステーションの１つ又は複数の動作半径に共通する対象物の経路に基づいて推論される、請求項１〜４の何れかに記載のシステム。
  8. 前記ビデオ監視サブシステム及び前記無線ＩＣタグサブシステムが領域内で動作し、その領域が、前記カメラの視野および前記無線ステーションの動作半径の外側にある少なくとも１つの無効区域を含む、請求項１〜７の何れかに記載のシステム。
  9. １つ又は複数の対象物が１つ又は複数の無効区域を通過する間に、前記追跡モジュールが、前記監視システムにより追跡されている１つ又は複数の対象物の位置を推論する、請求項８に記載のシステム。
  10. 前記対象物が前記無効区域を通過する間に、前記追跡モジュールが、前記対象物の以前の既知の位置に基づいて、前記監視システムにより追跡されている対象物に対する次のカメラの位置を推論する、請求項８に記載のシステム。
  11. 前記以前の既知の位置が、前記無線ＩＣタグサブシステム及び前記ビデオ監視サブシステムのうちの１つ又は複数から受信されたデータに基づく、請求項１０に記載のシステム。
  12. 前記警報モジュールが、１つ又は複数の前記時間順の表示により１つ又は複数の規則が破られたことを判定することに基づいて１つ又は複数の警報を生成する、請求項１〜１１の何れかに記載のシステム。
  13. 前記警報を無線通信装置に送信するための通信モジュールを更に含む、請求項１２に記載のシステム。
  14. 前記カメラは、対象となっている対象物、対象となっている区域、又は対象となっている人物に焦点を合わせるように１つ又は複数のカメラに警報が更に命令するように、前記警報モジュールに応答する、請求項１２又は１３に記載のシステム。
  15. 前記ビデオ監視サブシステム及び前記無線ＩＣタグサブシステムが、互いに無関係に較正される、請求項１〜１４の何れかに記載のシステム。
  16. 前記無線ステーションの１つ又は複数の動作半径と前記１つ又は複数のカメラ副領域との関連付けは、多数対多数の関連付けである、請求項１〜１５の何れかに記載のシステム。
  17. 前記警報モジュールは、（i）基本の事象の組み合わせが発生したか否かを判定することにより、（ii）複数の基本の事象の間の一時的な関係を評価することにより、（iii）複数の基本の事象の間の連続的な関係を評価することにより、又は（iv）第１の基本の事象が発生し且つ第２の基本の事象が発生しないか否かを判定することにより、前記１つ又は複数の規則が破られたか否かを判定する、請求項２に直接的または間接的に従属する請求項１２〜１４の何れかに記載のシステム。
  18. 環境内の活動をモニタリングする方法であって、
    複数の副領域からなる視野をそれぞれ有する複数のカメラにより生成された複数の画像信号を受信し、
    複数の無線ステーションにより生成されたデータを受信し、前記データが前記環境内の対象物と関連付けられた複数の無線タグとの相互作用に基づいており、
    前記画像信号および前記複数の無線ステーションにより生成されたデータに少なくとも部分的に基づいて、１つ又は複数のカメラ副領域と前記無線ステーションの１つ又は複数の動作半径との間の関連付けを推論し、
    前記複数のカメラの視野と前記複数の無線ステーションの動作半径との間で複数の対象物が移動する際、前記環境内の前記複数の対象物を追跡し、
    前記対象物と関連した情報を格納し、その情報が前記対象物に関連する１つ又は複数の規則を含み、
    前記画像信号、及び前記複数の無線ステーションから受信されたデータに基づいて、前記複数の対象物の物理的位置を時間順に表し、
    前記１つ又は複数の規則を、１つ又は複数の対象物の物理的位置に関する前記時間順の表示に適用することを含む、方法。
  19. 前記規則の少なくとも１つが、２つ又は３つ以上の基本の事象を含む、請求項１８に記載の方法。
  20. 前記２つ又は３つ以上の基本の事象が、ブール論理を用いて組み合わされる、請求項１９に記載の方法。
  21. 前記関連付けが、前記カメラ副領域と前記動作半径との間の位置的対応に基づく、請求項１８〜２０の何れかに記載の方法。
  22. 複数のカメラにより生成された前記複数の画像信号が、前記複数のカメラの間を移動する対象物の視覚表示、又は前記複数のカメラの前記複数の副領域の間を移動する対象物の視覚表示を含む、請求項１８〜２１の何れかに記載の方法。
  23. 前記複数の無線ステーションにより生成されたデータが、前記無線ステーションの動作半径の間を移動する対象物と関連した空間的情報を含む、請求項１８〜２１の何れかに記載の方法。
  24. 前記カメラにより生成された画像信号が、前記複数のカメラの間を移動する対象物の視覚表示を含み、前記無線ステーションにより生成されたデータが、前記無線ステーションの動作半径の間を移動する対象物に関連した空間的情報を含み、前記関連付けが、前記１つ又は複数のカメラ副領域と前記無線ステーションの１つ又は複数の動作半径に共通する対象物の経路に基づいて推論される、請求項１８〜２１の何れかに記載の方法。
  25. 前記対象物が１つ又は複数の無効区域を通過する間に、前記環境内の１つ又は複数の対象物の位置を推論することを更に含み、前記無効区域が、前記カメラの視野および前記無線ステーションの動作半径の外側にある、請求項１８〜２４の何れかに記載の方法。
  26. 前記対象物が無効区域を通過する間に、前記対象物の以前の既知の位置に基づいて、前記環境内の対象物に対する次のカメラの位置を推論することを更に含み、前記無効区域が、前記カメラの視野および前記無線ステーションの動作半径の外側にある、請求項１８〜２４の何れかに記載の方法。
  27. 前記以前の既知の位置が、前記複数のカメラにより生成された前記複数の画像信号、及び前記複数の無線ステーションにより生成されたデータに基づく、請求項２６に記載の方法。
  28. １つ又は複数の時間順の表示により、１つ又は複数の前記規則が破られたことを判定した際に、１つ又は複数の警報を生成することを更に含む、請求項１８〜２７の何れかに記載の方法。
  29. 前記警報を無線通信装置に送信することを更に含む、請求項２８に記載の方法。
  30. 前記警報が、前記環境内の対象となっている対象物、対象となっている区域、又は対象となっている人物に焦点を合わせるように１つ又は複数のカメラに更に命令する、請求項２８又は２９に記載の方法。
  31. 前記無線ステーションの１つ又は複数の動作半径と前記１つ又は複数のカメラ副領域との関連付けは、多数対多数の関連付けである、請求項１８〜３０の何れかに記載の方法。
  32. 前記１つ又は複数の規則が破られたことを判定することが、（i）基本の事象の組み合わせが発生したか否かを判定すること、（ii）複数の基本の事象の間の一時的な関係を評価すること、（iii）複数の基本の事象の間の連続的な関係を評価すること、又は（iv）第１の基本の事象が発生し且つ第２の基本の事象が発生しないか否かを判定することを含む、請求項１９に直接的または間接的に従属する請求項２８〜３０の何れかに記載の方法。
JP2008529008A 2005-09-02 2006-05-31 対象追跡と警報 Expired - Fee Related JP5086260B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US71367905P 2005-09-02 2005-09-02
US71402005P 2005-09-02 2005-09-02
US60/714,020 2005-09-02
US60/713,679 2005-09-02
PCT/US2006/021087 WO2007030168A1 (en) 2005-09-02 2006-05-31 Object tracking and alerts

Publications (3)

Publication Number Publication Date
JP2009507295A JP2009507295A (ja) 2009-02-19
JP2009507295A5 JP2009507295A5 (ja) 2009-04-30
JP5086260B2 true JP5086260B2 (ja) 2012-11-28

Family

ID=37056498

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008529008A Expired - Fee Related JP5086260B2 (ja) 2005-09-02 2006-05-31 対象追跡と警報

Country Status (8)

Country Link
US (3) US9036028B2 (ja)
EP (1) EP1943628B1 (ja)
JP (1) JP5086260B2 (ja)
AT (1) ATE500581T1 (ja)
AU (1) AU2006287940B2 (ja)
CA (1) CA2620630C (ja)
DE (1) DE602006020476D1 (ja)
WO (1) WO2007030168A1 (ja)

Families Citing this family (311)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8711217B2 (en) 2000-10-24 2014-04-29 Objectvideo, Inc. Video surveillance system employing video primitives
US9892606B2 (en) * 2001-11-15 2018-02-13 Avigilon Fortress Corporation Video surveillance system employing video primitives
US8564661B2 (en) * 2000-10-24 2013-10-22 Objectvideo, Inc. Video analytic rule detection system and method
US7424175B2 (en) 2001-03-23 2008-09-09 Objectvideo, Inc. Video segmentation using statistical pixel modeling
US10271017B2 (en) * 2012-09-13 2019-04-23 General Electric Company System and method for generating an activity summary of a person
DE102005058353B4 (de) * 2005-12-06 2009-09-24 Wilhelm Ruppert Verfahren zur Aufnahme digitaler Abbildungen
US7567956B2 (en) * 2006-02-15 2009-07-28 Panasonic Corporation Distributed meta data management middleware
US8184154B2 (en) * 2006-02-27 2012-05-22 Texas Instruments Incorporated Video surveillance correlating detected moving objects and RF signals
KR101392294B1 (ko) 2006-04-17 2014-05-27 오브젝트비디오 인코퍼레이티드 통계적인 픽셀 모델링을 이용한 비디오 분할
TW200817929A (en) 2006-05-25 2008-04-16 Objectvideo Inc Intelligent video verification of point of sale (POS) transactions
US10078693B2 (en) * 2006-06-16 2018-09-18 International Business Machines Corporation People searches by multisensor event correlation
WO2008008505A2 (en) * 2006-07-14 2008-01-17 Objectvideo, Inc. Video analytics for retail business process monitoring
KR100837406B1 (ko) * 2006-11-13 2008-06-12 삼성전자주식회사 영상 감시 장치를 포함한 휴대 단말기 및 이를 이용한 영상감시 방법, 및 영상 감시 시스템
US20080122932A1 (en) * 2006-11-28 2008-05-29 George Aaron Kibbie Remote video monitoring systems utilizing outbound limited communication protocols
US8116748B2 (en) * 2006-12-14 2012-02-14 At&T Intellectual Property I, Lp Management of locations of group members via mobile communications devices
US7738898B2 (en) * 2006-12-14 2010-06-15 At&T Intellectual Property I, L.P. Methods and devices for mobile communication device group behavior
US20080147773A1 (en) * 2006-12-14 2008-06-19 Bellsouth Intellectual Property Corp. Ratings systems via mobile communications devices
US8566602B2 (en) 2006-12-15 2013-10-22 At&T Intellectual Property I, L.P. Device, system and method for recording personal encounter history
US8160548B2 (en) * 2006-12-15 2012-04-17 At&T Intellectual Property I, Lp Distributed access control and authentication
US7646297B2 (en) * 2006-12-15 2010-01-12 At&T Intellectual Property I, L.P. Context-detected auto-mode switching
US20080146250A1 (en) * 2006-12-15 2008-06-19 Jeffrey Aaron Method and System for Creating and Using a Location Safety Indicator
US8787884B2 (en) * 2007-01-25 2014-07-22 At&T Intellectual Property I, L.P. Advertisements for mobile communications devices via pre-positioned advertisement components
US8649798B2 (en) * 2007-01-25 2014-02-11 At&T Intellectual Property I, L.P. Methods and devices for attracting groups based upon mobile communications device location
US8199003B2 (en) * 2007-01-30 2012-06-12 At&T Intellectual Property I, Lp Devices and methods for detecting environmental circumstances and responding with designated communication actions
US20080183571A1 (en) * 2007-01-30 2008-07-31 Jeffrey Aaron Methods and systems for provisioning and using an electronic coupon
JP5121258B2 (ja) * 2007-03-06 2013-01-16 株式会社東芝 不審行動検知システム及び方法
WO2008125621A1 (en) * 2007-04-13 2008-10-23 Alert Metalguard Aps A method, a device and a system for preventing false alarms in a theft-preventing system
US20080275765A1 (en) * 2007-05-02 2008-11-06 Edward Kuchar Configurable gis data system
GB0709329D0 (en) * 2007-05-15 2007-06-20 Ipsotek Ltd Data processing apparatus
JP4982254B2 (ja) * 2007-05-31 2012-07-25 株式会社日立製作所 動線管理システムおよび動線監視装置
US8570373B2 (en) * 2007-06-08 2013-10-29 Cisco Technology, Inc. Tracking an object utilizing location information associated with a wireless device
AU2008262268B2 (en) * 2007-06-09 2012-05-03 Sensormatic Electronics, LLC System and method for integrating video analytics and data analytics/mining
US7693758B1 (en) * 2007-06-13 2010-04-06 Amazon Technologies, Inc. Activity verification
GB2450478A (en) 2007-06-20 2008-12-31 Sony Uk Ltd A security device and system
US7965866B2 (en) * 2007-07-03 2011-06-21 Shoppertrak Rct Corporation System and process for detecting, tracking and counting human objects of interest
JP4972491B2 (ja) * 2007-08-20 2012-07-11 株式会社構造計画研究所 顧客動作判定システム
US8335504B2 (en) * 2007-08-23 2012-12-18 At&T Intellectual Property I, Lp Methods, devices and computer readable media for providing quality of service indicators
US20090138521A1 (en) * 2007-09-17 2009-05-28 Honeywell International Inc. Method and system for sharing information between disparate data sources in a network
US8605151B2 (en) * 2007-09-21 2013-12-10 Utc Fire & Security Americas Corporation, Inc. Methods and systems for operating a video surveillance system
US10296936B1 (en) * 2007-09-26 2019-05-21 Videomining Corporation Method and system for measuring effectiveness of a marketing campaign on digital signage
WO2009045218A1 (en) * 2007-10-04 2009-04-09 Donovan John J A video surveillance, storage, and alerting system having network management, hierarchical data storage, video tip processing, and vehicle plate analysis
US9171454B2 (en) * 2007-11-14 2015-10-27 Microsoft Technology Licensing, Llc Magic wand
US8773266B2 (en) * 2007-11-16 2014-07-08 Intermec Ip Corp. RFID tag reader station with image capabilities
US20090150246A1 (en) * 2007-12-06 2009-06-11 Honeywell International, Inc. Automatic filtering of pos data
US8693738B2 (en) * 2008-01-29 2014-04-08 Canon Kabushiki Kaisha Imaging processing system and method and management apparatus
CA2651838A1 (en) * 2008-01-29 2009-07-29 Intelliwave Technologies Inc. Method of tracking the lifecycle of a product
JP4980260B2 (ja) * 2008-02-05 2012-07-18 東芝テック株式会社 動線認識システム
AU2008200926B2 (en) * 2008-02-28 2011-09-29 Canon Kabushiki Kaisha On-camera summarisation of object relationships
WO2009120616A1 (en) * 2008-03-25 2009-10-01 Wms Gaming, Inc. Generating casino floor maps
JP5004845B2 (ja) * 2008-03-26 2012-08-22 キヤノン株式会社 監視端末装置およびその表示処理方法，プログラム，メモリ
US9741129B2 (en) * 2008-04-14 2017-08-22 Gvbb Holdings S.A.R.L. Technique for automatically tracking an object by a camera based on identification of an object
US20090272803A1 (en) * 2008-05-05 2009-11-05 Intelliwave Technologies Inc. Sensor network for managing the location of materials on a construction site
US8952894B2 (en) * 2008-05-12 2015-02-10 Microsoft Technology Licensing, Llc Computer vision-based multi-touch sensing using infrared lasers
US8847739B2 (en) 2008-08-04 2014-09-30 Microsoft Corporation Fusing RFID and vision for surface object tracking
US9214074B1 (en) 2008-08-29 2015-12-15 Target Brands, Inc. Video monitoring system for a path
SE533376C2 (sv) * 2008-09-15 2010-09-07 Security Alliance Stockholm Ab Övervakningssystem innefattande ett flertal sensorer för övervakning av ett område
US9053594B2 (en) 2008-10-01 2015-06-09 International Business Machines Corporation Monitoring objects in motion along a static route using sensory detection devices
US9123223B1 (en) 2008-10-13 2015-09-01 Target Brands, Inc. Video monitoring system using an alarm sensor for an exit facilitating access to captured video
US20110199461A1 (en) * 2008-10-17 2011-08-18 Panasonic Corporation Flow line production system, flow line production device, and three-dimensional flow line display device
JP4623201B2 (ja) * 2008-10-27 2011-02-02 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US9299229B2 (en) * 2008-10-31 2016-03-29 Toshiba Global Commerce Solutions Holdings Corporation Detecting primitive events at checkout
JP2010113692A (ja) * 2008-11-10 2010-05-20 Nec Corp 顧客行動記録装置及び顧客行動記録方法並びにプログラム
US8253831B2 (en) * 2008-11-29 2012-08-28 International Business Machines Corporation Location-aware event detection
US8736678B2 (en) * 2008-12-11 2014-05-27 At&T Intellectual Property I, L.P. Method and apparatus for vehicle surveillance service in municipal environments
US8487762B1 (en) * 2008-12-19 2013-07-16 Sprint Spectrum L.P. Using abnormal mobile station gathering to trigger security measures
US20100157051A1 (en) * 2008-12-23 2010-06-24 International Business Machines Corporation System and method for detecting and deterring rfid tag related fraud
US20100325550A1 (en) * 2009-06-17 2010-12-23 Chien Yaw Wong Rfid systems
US9536348B2 (en) * 2009-06-18 2017-01-03 Honeywell International Inc. System and method for displaying video surveillance fields of view limitations
US20110274275A1 (en) * 2009-08-25 2011-11-10 Maria Estela Seitz Trans-Security Components System and Methods
JP5540622B2 (ja) * 2009-09-16 2014-07-02 セイコーエプソン株式会社 レシートプリンター、レシートプリンターの制御方法およびプログラム
JP5540621B2 (ja) * 2009-09-16 2014-07-02 セイコーエプソン株式会社 レシートプリンター、レシートプリンターの制御方法およびプログラム
US20110063108A1 (en) * 2009-09-16 2011-03-17 Seiko Epson Corporation Store Surveillance System, Alarm Device, Control Method for a Store Surveillance System, and a Program
JP5499616B2 (ja) * 2009-10-15 2014-05-21 セイコーエプソン株式会社 情報処理装置、情報処理装置の制御方法およびプログラム
US8970694B2 (en) * 2009-12-10 2015-03-03 Harris Corporation Video processing system providing overlay of selected geospatially-tagged metadata relating to a geolocation outside viewable area and related methods
US20110169631A1 (en) * 2010-01-11 2011-07-14 Ming-Hwa Sheu Real-time alarm system
US20110169917A1 (en) * 2010-01-11 2011-07-14 Shoppertrak Rct Corporation System And Process For Detecting, Tracking And Counting Human Objects of Interest
US8259175B2 (en) * 2010-02-01 2012-09-04 International Business Machines Corporation Optimizing video stream processing
WO2011100480A1 (en) * 2010-02-10 2011-08-18 Brian Lamb Automatic motion tracking, event detection and video image capture and tagging
US9699431B2 (en) 2010-02-10 2017-07-04 Satarii, Inc. Automatic tracking, recording, and teleprompting device using multimedia stream with video and digital slide
JP5037643B2 (ja) * 2010-03-23 2012-10-03 東芝テック株式会社 動線認識システム
GB201005743D0 (en) * 2010-04-06 2010-05-19 Orb Information Technology Ltd Document shield with proximity change alert
JP5674933B2 (ja) * 2010-07-01 2015-02-25 サーブ アクティエボラーグ（パブル） 倉庫内の物体の位置を特定するための方法及び装置
US20120023201A1 (en) * 2010-07-26 2012-01-26 Atlas Advisory Partners, Llc Unified Content Delivery Platform
US20120078833A1 (en) * 2010-09-29 2012-03-29 Unisys Corp. Business rules for recommending additional camera placement
AU2011313386C1 (en) * 2010-10-07 2016-04-21 Universal Entertainment Corp Game information integration system
US20120114307A1 (en) * 2010-11-09 2012-05-10 Jianchao Yang Aligning and annotating different photo streams
US9137500B1 (en) * 2010-12-10 2015-09-15 Verint Systems, Inc. Point of sale integration with video analytics for fraud detection
WO2012098853A1 (ja) * 2011-01-20 2012-07-26 日本電気株式会社 動線検出処理データ分散システム、動線検出処理データ分散方法およびプログラム
US9342770B2 (en) * 2011-05-09 2016-05-17 Nec Corporation Equipment control device, equipment control system, and equipment control method
AU2011368292A1 (en) * 2011-05-18 2013-10-10 Djb Group Image processing system and related monitoring system
US20120303481A1 (en) * 2011-05-25 2012-11-29 Louisn Jai Felix System and Method for Dynamic Object Mapping
US20120307051A1 (en) * 2011-06-01 2012-12-06 Sensormatic Electronics, LLC Video enabled electronic article surveillance detection system and method
US20120182427A1 (en) * 2011-06-06 2012-07-19 Aaron Marshall System and method for providing thermal gender recognition
US10592944B2 (en) * 2011-06-06 2020-03-17 Ncr Corporation Notification system and methods for use in retail environments
US8868684B2 (en) * 2011-06-17 2014-10-21 At&T Intellectual Property I, L.P. Telepresence simulation with multiple interconnected devices
EP3654627A3 (en) * 2011-06-28 2020-08-05 NCR Corporation Image processing to prevent access to private information
JP5876253B2 (ja) * 2011-08-31 2016-03-02 セコム株式会社 不審物体監視システム
US9177195B2 (en) 2011-09-23 2015-11-03 Shoppertrak Rct Corporation System and method for detecting, tracking and counting human objects of interest using a counting system and a data capture device
US10402631B2 (en) 2011-09-23 2019-09-03 Shoppertrak Rct Corporation Techniques for automatically identifying secondary objects in a stereo-optical counting system
TWI439967B (zh) * 2011-10-31 2014-06-01 Hon Hai Prec Ind Co Ltd 安全監控系統及安全監控方法
US20130113929A1 (en) * 2011-11-08 2013-05-09 Mary Maitland DeLAND Systems and methods for surgical procedure safety
KR20130056998A (ko) * 2011-11-23 2013-05-31 엘지전자 주식회사 디지털 비디오 레코더 및 이를 이용한 객체 추적 방법
CN102567761A (zh) * 2012-01-17 2012-07-11 西安电子科技大学 基于rfid的行人定位装置及方法
CN103327227A (zh) * 2012-03-19 2013-09-25 株洲市城市管理监督指挥中心 城市管理视频采集及立案警示系统
US9870384B2 (en) * 2012-03-30 2018-01-16 International Business Machines Corporation Database system transaction management
WO2013188566A1 (en) * 2012-06-12 2013-12-19 Snap-On Incorporated Auditing and forensics for automated tool control systems
US20130339859A1 (en) 2012-06-15 2013-12-19 Muzik LLC Interactive networked headphones
US10002297B2 (en) 2012-06-20 2018-06-19 Imprivata, Inc. Active presence detection with depth sensing
BR112015001949B1 (pt) 2012-07-31 2023-04-25 Nec Corporation Sistema de processamento de imagem, método de processamento de imagem, e meio de armazenamento
US9124778B1 (en) * 2012-08-29 2015-09-01 Nomi Corporation Apparatuses and methods for disparity-based tracking and analysis of objects in a region of interest
US9020189B2 (en) * 2012-12-07 2015-04-28 The Nielsen Company (Us), Llc Methods and apparatus to monitor environments
WO2014091667A1 (ja) * 2012-12-10 2014-06-19 日本電気株式会社 解析制御システム
US8866612B1 (en) 2012-12-14 2014-10-21 Target Brands, Inc. Suppressing alerts for RFID systems
CN103871186A (zh) * 2012-12-17 2014-06-18 博立码杰通讯(深圳)有限公司 安防监控系统及相应的报警触发方法
US8874471B2 (en) * 2013-01-29 2014-10-28 Wal-Mart Stores, Inc. Retail loss prevention using biometric data
EP2763409B1 (en) * 2013-01-31 2019-10-23 Honeywell International Inc. Systems and methods for managing access to surveillance cameras
CA3091605A1 (en) 2013-03-15 2014-09-15 James Carey Investigation generation in an observation and surveillance system
US10657755B2 (en) * 2013-03-15 2020-05-19 James Carey Investigation generation in an observation and surveillance system
US11165994B2 (en) * 2013-05-13 2021-11-02 Texas Instruments Incorporated Analytics-driven summary views for surveillance networks
MX352267B (es) * 2013-05-31 2017-11-16 Intercontinental Great Brands Llc Método y aparato para exhibición de productos.
US9664510B2 (en) * 2013-06-22 2017-05-30 Intellivision Technologies Corp. Method of tracking moveable objects by combining data obtained from multiple sensor types
US9871999B2 (en) * 2013-07-05 2018-01-16 Flir Systems, Inc. Modular camera monitoring systems and methods
CN103391426B (zh) * 2013-07-10 2016-09-21 青岛歌尔声学科技有限公司 一种摄像机及其安防方法
US20150029031A1 (en) * 2013-07-29 2015-01-29 Thomas Pank Driver alertness detection and alarm system
CN111723668A (zh) * 2013-09-06 2020-09-29 日本电气株式会社 安全系统、安全方法和非暂时性计算机可读介质
WO2015038160A1 (en) * 2013-09-16 2015-03-19 Intel Corporation Camera and light source synchronization for object tracking
JP5683663B1 (ja) * 2013-09-27 2015-03-11 パナソニックＩｐマネジメント株式会社 滞留時間測定装置、滞留時間測定システムおよび滞留時間測定方法
US9773163B2 (en) * 2013-11-14 2017-09-26 Click-It, Inc. Entertainment device safety system and related methods of use
US10013860B2 (en) 2014-01-16 2018-07-03 Automaton, Inc. Systems and methods for RFID-based retail management
US9760852B2 (en) * 2014-01-28 2017-09-12 Junaid Hasan Surveillance tracking system and related methods
US10389969B2 (en) 2014-02-14 2019-08-20 Nec Corporation Video processing system
US20150288604A1 (en) * 2014-04-02 2015-10-08 Tyco Fire & Security Gmbh Sensor Network Gateway
US20170091560A1 (en) * 2014-03-19 2017-03-30 Technomirai Co., Ltd. Digital loss-defence security system, method, and program
US10186123B2 (en) * 2014-04-01 2019-01-22 Avigilon Fortress Corporation Complex event recognition in a sensor network
SE538455C2 (sv) * 2014-04-01 2016-07-12 Great Innovations Stockholm Ab Ett fotografiskt måldetektionssystem och en metod såväl som en positionsdetektionsapparat och en transponder därför
US20150286865A1 (en) * 2014-04-08 2015-10-08 Sony Corporation Coordination of object location data with video data
US9728055B2 (en) 2014-04-11 2017-08-08 Vivint, Inc. Chronological activity monitoring and review
US10162505B2 (en) * 2014-04-17 2018-12-25 Blackberry Limited System and method for enabling customized notifications on an electronic device
US9640003B2 (en) * 2014-05-06 2017-05-02 Honeywell International Inc. System and method of dynamic subject tracking and multi-tagging in access control systems
US9721445B2 (en) * 2014-06-06 2017-08-01 Vivint, Inc. Child monitoring bracelet/anklet
US10339544B2 (en) * 2014-07-02 2019-07-02 WaitTime, LLC Techniques for automatic real-time calculation of user wait times
CN105450982A (zh) * 2014-09-26 2016-03-30 贺江涛 一种基于移动设备的运动目标侦测的方法与装置
WO2016065314A1 (en) 2014-10-23 2016-04-28 Automaton, Inc. Systems and methods for rfid tag locating using constructive interference
CN104318732B (zh) * 2014-10-27 2017-02-15 国网冀北电力有限公司张家口供电公司 基于视频分析和rfid的变电站现场人员监控管理系统及方法
SG10201407100PA (en) * 2014-10-30 2016-05-30 Nec Asia Pacific Pte Ltd System For Monitoring Event Related Data
CA2967771A1 (en) * 2014-11-12 2016-05-19 Covar Applied Technologies, Inc. System and method for inhibiting or causing automated actions based on person locations estimated from multiple video sources
US10687022B2 (en) 2014-12-05 2020-06-16 Avigilon Fortress Corporation Systems and methods for automated visual surveillance
US10438409B2 (en) * 2014-12-15 2019-10-08 Hand Held Products, Inc. Augmented reality asset locator
US10438277B1 (en) * 2014-12-23 2019-10-08 Amazon Technologies, Inc. Determining an item involved in an event
US10586114B2 (en) * 2015-01-13 2020-03-10 Vivint, Inc. Enhanced doorbell camera interactions
US10133935B2 (en) 2015-01-13 2018-11-20 Vivint, Inc. Doorbell camera early detection
US10635907B2 (en) * 2015-01-13 2020-04-28 Vivint, Inc. Enhanced doorbell camera interactions
US10043146B2 (en) * 2015-02-12 2018-08-07 Wipro Limited Method and device for estimating efficiency of an employee of an organization
US10635411B2 (en) * 2015-03-12 2020-04-28 Honeywell International Inc. System and method of locating installed devices
US9865306B2 (en) 2015-03-30 2018-01-09 International Business Machines Corporation System to distinguish between visually identical objects
EP3079114A1 (en) * 2015-04-09 2016-10-12 Saeed Hamed AlDahbaj Checkout-system for retail
US10171794B2 (en) * 2015-04-29 2019-01-01 Panasonic Intellectual Property Management Co., Ltd. Method for selecting cameras and image distribution system capable of appropriately selecting cameras
GB201512283D0 (en) * 2015-07-14 2015-08-19 Apical Ltd Track behaviour events
US11265317B2 (en) 2015-08-05 2022-03-01 Kyndryl, Inc. Security control for an enterprise network
CN105120217B (zh) * 2015-08-21 2018-06-22 上海小蚁科技有限公司 基于大数据分析和用户反馈的智能摄像机移动侦测报警系统及方法
US9811697B2 (en) * 2015-09-04 2017-11-07 International Business Machines Corporation Object tracking using enhanced video surveillance through a distributed network
US20170134698A1 (en) * 2015-11-11 2017-05-11 Vivint, Inc Video composite techniques
CN106791586A (zh) * 2015-11-19 2017-05-31 杭州海康威视数字技术股份有限公司 一种对移动目标进行监控的方法及监控设备、装置、系统
US11354683B1 (en) 2015-12-30 2022-06-07 Videomining Corporation Method and system for creating anonymous shopper panel using multi-modal sensor fusion
CN106991072B (zh) * 2016-01-21 2022-12-06 杭州海康威视数字技术股份有限公司 在线自学习事件检测模型更新方法及装置
US10262331B1 (en) 2016-01-29 2019-04-16 Videomining Corporation Cross-channel in-store shopper behavior analysis
US10963893B1 (en) 2016-02-23 2021-03-30 Videomining Corporation Personalized decision tree based on in-store behavior analysis
WO2017151631A1 (en) * 2016-03-01 2017-09-08 James Carey Theft prediction and tracking system
US11417202B2 (en) 2016-03-01 2022-08-16 James Carey Theft prediction and tracking system
US10192414B2 (en) * 2016-03-22 2019-01-29 Sensormatic Electronics, LLC System and method for overlap detection in surveillance camera network
US9965680B2 (en) 2016-03-22 2018-05-08 Sensormatic Electronics, LLC Method and system for conveying data from monitored scene via surveillance cameras
US10764539B2 (en) 2016-03-22 2020-09-01 Sensormatic Electronics, LLC System and method for using mobile device of zone and correlated motion detection
US10475315B2 (en) 2016-03-22 2019-11-12 Sensormatic Electronics, LLC System and method for configuring surveillance cameras using mobile computing devices
US10733231B2 (en) 2016-03-22 2020-08-04 Sensormatic Electronics, LLC Method and system for modeling image of interest to users
US10347102B2 (en) 2016-03-22 2019-07-09 Sensormatic Electronics, LLC Method and system for surveillance camera arbitration of uplink consumption
US10665071B2 (en) * 2016-03-22 2020-05-26 Sensormatic Electronics, LLC System and method for deadzone detection in surveillance camera network
US11601583B2 (en) * 2016-03-22 2023-03-07 Johnson Controls Tyco IP Holdings LLP System and method for controlling surveillance cameras
US10318836B2 (en) 2016-03-22 2019-06-11 Sensormatic Electronics, LLC System and method for designating surveillance camera regions of interest
US11216847B2 (en) 2016-03-22 2022-01-04 Sensormatic Electronics, LLC System and method for retail customer tracking in surveillance camera network
US10408625B2 (en) 2016-04-19 2019-09-10 Toyota Motor Engineering & Manufacturing North America, Inc. Vision-assist systems with room scanners to detect and notify users of out-of-order room states
US10387896B1 (en) 2016-04-27 2019-08-20 Videomining Corporation At-shelf brand strength tracking and decision analytics
US20170316537A1 (en) * 2016-05-02 2017-11-02 Symbol Technologies, Llc System for and method of sensing and responding to emergencies in a venue
CN109414119B (zh) 2016-05-09 2021-11-16 格拉班谷公司 用于在环境内计算机视觉驱动应用的系统和方法
US10354262B1 (en) 2016-06-02 2019-07-16 Videomining Corporation Brand-switching analysis using longitudinal tracking of at-shelf shopper behavior
US9811992B1 (en) 2016-06-06 2017-11-07 Microsoft Technology Licensing, Llc. Caregiver monitoring system
JP2016219019A (ja) * 2016-06-07 2016-12-22 株式会社日立システムズエンジニアリングサービス 店舗内位置情報管理システム
US10282621B2 (en) 2016-07-09 2019-05-07 Grabango Co. Remote state following device
US9865104B1 (en) * 2016-08-16 2018-01-09 Honeywell International Inc. Gesture encrypted access system based on multidimensional code
US10650621B1 (en) 2016-09-13 2020-05-12 Iocurrents, Inc. Interfacing with a vehicular controller area network
EP3306573A1 (en) * 2016-10-05 2018-04-11 Wirelesswerx International, Inc. Flow control in a defined location
CN108024088B (zh) * 2016-10-31 2020-07-03 杭州海康威视系统技术有限公司 一种视频轮巡方法及装置
US10839203B1 (en) 2016-12-27 2020-11-17 Amazon Technologies, Inc. Recognizing and tracking poses using digital imagery captured from multiple fields of view
JP6822851B2 (ja) * 2017-01-06 2021-01-27 東芝テック株式会社 記録装置及びそのプログラム
CN110462669B (zh) 2017-02-10 2023-08-11 格拉班谷公司 自动化购物环境内的动态顾客结账体验
US11270257B2 (en) * 2017-03-06 2022-03-08 Nec Corporation Commodity monitoring device, commodity monitoring system, output destination device, commodity monitoring method, display method and program
JP6805915B2 (ja) * 2017-03-15 2020-12-23 日本電気株式会社 情報処理装置、制御方法、及びプログラム
US11494729B1 (en) * 2017-03-27 2022-11-08 Amazon Technologies, Inc. Identifying user-item interactions in an automated facility
US11087271B1 (en) 2017-03-27 2021-08-10 Amazon Technologies, Inc. Identifying user-item interactions in an automated facility
US11238401B1 (en) 2017-03-27 2022-02-01 Amazon Technologies, Inc. Identifying user-item interactions in an automated facility
EP3602101A4 (en) 2017-03-28 2021-06-23 Automaton, Inc. RFID LABEL LOCATION METHODS AND APPARATUS
US10699421B1 (en) 2017-03-29 2020-06-30 Amazon Technologies, Inc. Tracking objects in three-dimensional space using calibrated visual cameras and depth cameras
JP6729793B2 (ja) * 2017-03-30 2020-07-22 日本電気株式会社 情報処理装置、制御方法、及びプログラム
US10721418B2 (en) 2017-05-10 2020-07-21 Grabango Co. Tilt-shift correction for camera arrays
US10943088B2 (en) 2017-06-14 2021-03-09 Target Brands, Inc. Volumetric modeling to identify image areas for pattern recognition
WO2018237210A1 (en) 2017-06-21 2018-12-27 Grabango Co. LINKING A HUMAN ACTIVITY OBSERVED ON A VIDEO TO A USER ACCOUNT
US10380855B2 (en) * 2017-07-19 2019-08-13 Walmart Apollo, Llc Systems and methods for predicting and identifying retail shrinkage activity
US11009868B2 (en) 2017-07-20 2021-05-18 Nuro, Inc. Fleet of autonomous vehicles with lane positioning and platooning behaviors
JP2020527805A (ja) 2017-07-20 2020-09-10 ニューロ・インコーポレーテッドＮｕｒｏ Ｉｎｃｏｒｐｏｒａｔｅｄ 自律車両の再配置
US20190035104A1 (en) * 2017-07-25 2019-01-31 Motionloft, Inc. Object detection and tracking
WO2019023521A1 (en) * 2017-07-28 2019-01-31 Nuro, Inc. AUTOMATED RETAIL STORE ON AUTONOMOUS OR SEMI-AUTONOMOUS VEHICLE
US11250376B2 (en) 2017-08-07 2022-02-15 Standard Cognition, Corp Product correlation analysis using deep learning
US11023850B2 (en) 2017-08-07 2021-06-01 Standard Cognition, Corp. Realtime inventory location management using deep learning
US10474991B2 (en) 2017-08-07 2019-11-12 Standard Cognition, Corp. Deep learning-based store realograms
US10650545B2 (en) 2017-08-07 2020-05-12 Standard Cognition, Corp. Systems and methods to check-in shoppers in a cashier-less store
US10445694B2 (en) 2017-08-07 2019-10-15 Standard Cognition, Corp. Realtime inventory tracking using deep learning
US11232687B2 (en) 2017-08-07 2022-01-25 Standard Cognition, Corp Deep learning-based shopper statuses in a cashier-less store
US10474988B2 (en) 2017-08-07 2019-11-12 Standard Cognition, Corp. Predicting inventory events using foreground/background processing
US11200692B2 (en) 2017-08-07 2021-12-14 Standard Cognition, Corp Systems and methods to check-in shoppers in a cashier-less store
US10853965B2 (en) 2017-08-07 2020-12-01 Standard Cognition, Corp Directional impression analysis using deep learning
US11381784B1 (en) * 2017-08-28 2022-07-05 Amazon Technologies, Inc. Monitoring and locating tracked objects using audio/video recording and communication devices
JP6531804B2 (ja) * 2017-09-06 2019-06-19 日本電気株式会社 情報処理装置、制御方法、及びプログラム
JP6536643B2 (ja) * 2017-09-06 2019-07-03 日本電気株式会社 情報処理装置、制御方法、及びプログラム
US20190079591A1 (en) * 2017-09-14 2019-03-14 Grabango Co. System and method for human gesture processing from video input
US10288737B2 (en) 2017-09-19 2019-05-14 Wirelesswerx International, Inc. LiDAR sensing system
US11232294B1 (en) 2017-09-27 2022-01-25 Amazon Technologies, Inc. Generating tracklets from digital imagery
EP3468187A1 (en) * 2017-10-03 2019-04-10 Axis AB Method and system for encoding video streams
US10963704B2 (en) 2017-10-16 2021-03-30 Grabango Co. Multiple-factor verification for vision-based systems
CN107909025B (zh) * 2017-11-13 2021-12-24 深圳市戴升智能科技有限公司 基于视频和无线监控的人物识别及追踪方法和系统
US10824862B2 (en) 2017-11-14 2020-11-03 Nuro, Inc. Three-dimensional object detection for autonomous robotic systems using image proposals
CN107944960A (zh) * 2017-11-27 2018-04-20 深圳码隆科技有限公司 一种无人售货方法和设备
US11030442B1 (en) * 2017-12-13 2021-06-08 Amazon Technologies, Inc. Associating events with actors based on digital imagery
US11284041B1 (en) 2017-12-13 2022-03-22 Amazon Technologies, Inc. Associating items with actors based on digital imagery
FR3076377B1 (fr) * 2017-12-29 2021-09-24 Bull Sas Prediction de deplacement et de topologie pour un reseau de cameras.
FR3076379B1 (fr) 2017-12-31 2022-12-16 Bull Sas Systeme et procede de gestion de rassemblement de masse
US11481805B2 (en) 2018-01-03 2022-10-25 Grabango Co. Marketing and couponing in a retail environment using computer vision
US20200336708A1 (en) * 2018-01-10 2020-10-22 Xiinova, LLC Duplicate monitored area prevention
JP6845172B2 (ja) * 2018-03-15 2021-03-17 株式会社日立製作所 データ収集システムおよびデータ収集方法
CN110324528A (zh) * 2018-03-28 2019-10-11 富泰华工业（深圳）有限公司 摄像装置、影像处理系统及方法
US10319204B1 (en) * 2018-04-09 2019-06-11 Zebra Technologies Corporation Systems and methods for retracing shrink events
US10274979B1 (en) * 2018-05-22 2019-04-30 Capital One Services, Llc Preventing image or video capture of input data provided to a transaction device
US11017238B2 (en) 2018-06-25 2021-05-25 Shopify Inc. Capturing transactional context
US20190392379A1 (en) * 2018-06-25 2019-12-26 Walmart Apollo, Llc Systems and methods of managing products on a shelf using a computer system in communication with electronic shelf labels and robotic units or mobile devices
US11468681B1 (en) 2018-06-28 2022-10-11 Amazon Technologies, Inc. Associating events with actors using digital imagery and machine learning
US11482045B1 (en) 2018-06-28 2022-10-25 Amazon Technologies, Inc. Associating events with actors using digital imagery and machine learning
US11468698B1 (en) 2018-06-28 2022-10-11 Amazon Technologies, Inc. Associating events with actors using digital imagery and machine learning
GB2575282A (en) 2018-07-04 2020-01-08 Arm Ip Ltd Event entity monitoring network and method
GB2601402A (en) * 2018-07-04 2022-06-01 Seechange Tech Limited Event entity monitoring network and method
US11488160B2 (en) 2018-07-30 2022-11-01 Hewlett Packard Enterprise Development Lp Systems and methods for using captured time series of secured representations of distributed ledger addresses and smart contract deployed on distributed ledger network to prove compliance
US11270403B2 (en) 2018-07-30 2022-03-08 Hewlett Packard Enterprise Development Lp Systems and methods of obtaining verifiable image of entity by embedding secured representation of entity's distributed ledger address in image
US11403674B2 (en) 2018-07-30 2022-08-02 Hewlett Packard Enterprise Development Lp Systems and methods for capturing time series dataset over time that includes secured representations of distributed ledger addresses
US11184175B2 (en) 2018-07-30 2021-11-23 Hewlett Packard Enterprise Development Lp Systems and methods for using secured representations of location and user distributed ledger addresses to prove user presence at a location and time
US11356443B2 (en) 2018-07-30 2022-06-07 Hewlett Packard Enterprise Development Lp Systems and methods for associating a user claim proven using a distributed ledger identity with a centralized identity of the user
US11250466B2 (en) 2018-07-30 2022-02-15 Hewlett Packard Enterprise Development Lp Systems and methods for using secured representations of user, asset, and location distributed ledger addresses to prove user custody of assets at a location and time
US11233641B2 (en) 2018-07-31 2022-01-25 Hewlett Packard Enterprise Development Lp Systems and methods for using distributed attestation to verify claim of attestation holder
US11271908B2 (en) 2018-07-31 2022-03-08 Hewlett Packard Enterprise Development Lp Systems and methods for hiding identity of transacting party in distributed ledger transaction by hashing distributed ledger transaction ID using secured representation of distributed ledger address of transacting party as a key
US11488161B2 (en) 2018-07-31 2022-11-01 Hewlett Packard Enterprise Development Lp Systems and methods for providing transaction provenance of off-chain transactions using distributed ledger transactions with secured representations of distributed ledger addresses of transacting parties
CN112513947A (zh) * 2018-08-06 2021-03-16 先讯美资电子有限责任公司 用于波束操控的具有嵌入式相机的基座
DE102018122084A1 (de) * 2018-09-11 2020-03-12 Fontelis Gmbh Verfahren, Artikelsicherung und Verarbeitungseinrichtung zur Sicherung von Artikeln in einem Verkaufsraum eines Einzel- oder Großhandelsgeschäfts mit Hilfe eines Warensicherungssystems
JP7267709B2 (ja) * 2018-10-09 2023-05-02 東芝テック株式会社 無人店舗システムおよびサーバ
US11004219B1 (en) * 2019-10-25 2021-05-11 7-Eleven, Inc. Vector-based object re-identification during image tracking
WO2020092450A1 (en) 2018-10-29 2020-05-07 Grabango Co. Commerce automation for a fueling station
KR102170921B1 (ko) * 2018-11-13 2020-10-28 에이치엔티 일렉트로닉스(주) 촬영 시스템 및 촬영 시스템 제어방법
US20200169714A1 (en) * 2018-11-26 2020-05-28 Syuan-Pei Chang 3d visual intelligent simulation monitoring system and simulation display method thereof
US11928942B2 (en) * 2018-11-26 2024-03-12 Jfm International Corp. Systems and methods for theft prevention and detection
US10832419B2 (en) 2018-11-29 2020-11-10 International Business Machines Corporation Cognitive search analytics for multi-dimensional objects
US11403543B2 (en) * 2018-12-03 2022-08-02 Cognitive Systems Corp. Determining a location of motion detected from wireless signals
US10506384B1 (en) * 2018-12-03 2019-12-10 Cognitive Systems Corp. Determining a location of motion detected from wireless signals based on prior probability
US10438010B1 (en) 2018-12-19 2019-10-08 Capital One Services, Llc Obfuscation of input data provided to a transaction device
US10832545B2 (en) * 2019-01-28 2020-11-10 Sensormatic Electronics, LLC Systems and methods for increasing alarm confidence in EAS detection systems
JP7313157B2 (ja) * 2019-02-18 2023-07-24 サトーホールディングス株式会社 店舗システム、ステータス判定方法、及びプログラム
US11507933B2 (en) 2019-03-01 2022-11-22 Grabango Co. Cashier interface for linking customers to virtual data
US10776695B1 (en) 2019-03-08 2020-09-15 Ai Concepts, Llc Intelligent recognition and alert methods and systems
US11699078B2 (en) 2019-03-08 2023-07-11 Ai Concepts, Llc Intelligent recognition and alert methods and systems
US11587420B2 (en) * 2019-03-14 2023-02-21 Johnson Controls Tyco IP Holdings LLP Systems and methods of combining RFID and VMS for people tracking and intrusion detection
CN110321770B (zh) * 2019-03-25 2022-05-31 西安长城数字软件有限公司 管线监控方法、装置、设备和存储介质
US10997414B2 (en) 2019-03-29 2021-05-04 Toshiba Global Commerce Solutions Holdings Corporation Methods and systems providing actions related to recognized objects in video data to administrators of a retail information processing system and related articles of manufacture
US10769908B1 (en) * 2019-04-12 2020-09-08 Ncr Corporation Secure zone monitor
US10867187B2 (en) * 2019-04-12 2020-12-15 Ncr Corporation Visual-based security compliance processing
US11232575B2 (en) 2019-04-18 2022-01-25 Standard Cognition, Corp Systems and methods for deep learning-based subject persistence
US11138459B2 (en) * 2019-08-19 2021-10-05 International Business Machines Corporation Cognitive container content determination
US11315409B2 (en) * 2019-09-18 2022-04-26 Sensormatic Electronics, LLC Decreasing false alarms in RFID exit portals
US11964627B2 (en) 2019-09-30 2024-04-23 Nuro, Inc. Methods and apparatus for supporting compartment inserts in autonomous delivery vehicles
US20210097832A1 (en) * 2019-09-30 2021-04-01 Sensormatic Electronics, LLC Systems and methods for repeat offender anti-theft notification
IT201900021276A1 (it) * 2019-11-15 2021-05-15 Italdesign Giugiaro Spa Sistema di segnalazione dello spazio disponibile in un luogo di stazionamento o di transito di persone
CN110942578A (zh) * 2019-11-29 2020-03-31 韦达信息技术(深圳)有限公司 智能分析防盗报警系统
JP7211353B2 (ja) * 2019-12-23 2023-01-24 横河電機株式会社 装置、システム、方法およびプログラム
JP7205457B2 (ja) * 2019-12-23 2023-01-17 横河電機株式会社 装置、システム、方法およびプログラム
US11244548B2 (en) * 2020-03-03 2022-02-08 Beijing Jingdong Shangke Information Technology Co., Ltd. System and method for anti-shoplifting in self-checkout
EP4128100A1 (en) 2020-03-23 2023-02-08 Nuro, Inc. Methods and apparatus for automated deliveries
US11443516B1 (en) 2020-04-06 2022-09-13 Amazon Technologies, Inc. Locally and globally locating actors by digital cameras and machine learning
US11398094B1 (en) 2020-04-06 2022-07-26 Amazon Technologies, Inc. Locally and globally locating actors by digital cameras and machine learning
USD989412S1 (en) 2020-05-11 2023-06-13 Shenzhen Liyi99.Com, Ltd. Double-tier pet water fountain
US11436906B1 (en) * 2020-05-18 2022-09-06 Sidhya V Peddinti Visitor detection, facial recognition, and alert system and processes for assisting memory-challenged patients to recognize entryway visitors
US11436812B2 (en) * 2020-05-29 2022-09-06 Open Space Labs, Inc. Machine learning based object identification using scaled diagram and three-dimensional model
CN111726579B (zh) * 2020-06-12 2022-02-11 禾研(嘉兴)建筑智能化工程有限公司 校园安防监控系统
US11823458B2 (en) * 2020-06-18 2023-11-21 Embedtek, LLC Object detection and tracking system
US11303853B2 (en) 2020-06-26 2022-04-12 Standard Cognition, Corp. Systems and methods for automated design of camera placement and cameras arrangements for autonomous checkout
US11361468B2 (en) 2020-06-26 2022-06-14 Standard Cognition, Corp. Systems and methods for automated recalibration of sensors for autonomous checkout
JP2022011704A (ja) * 2020-06-30 2022-01-17 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP7415848B2 (ja) 2020-08-17 2024-01-17 横河電機株式会社 装置、システム、方法およびプログラム
US11194979B1 (en) 2020-09-15 2021-12-07 Target Brands, Inc. Item tracking system
USD1003727S1 (en) 2021-01-15 2023-11-07 Aborder Products, Inc. Container
USD993548S1 (en) 2021-01-15 2023-07-25 Shenzhen Liyi99.Com, Ltd. Pet water fountain
JP2022110707A (ja) * 2021-01-19 2022-07-29 東芝テック株式会社 監視装置、監視システム及び監視方法
CN113064805A (zh) * 2021-03-29 2021-07-02 联想(北京)有限公司 一种电子设备的控制方法以及控制装置
USD1013974S1 (en) 2021-06-02 2024-02-06 Aborder Products, Inc. Pet water fountain
WO2023275897A1 (en) * 2021-06-30 2023-01-05 Infilect Technologies Private Limited System and method for preventing shrinkage in a retail environment using real-time camera feeds
US11308775B1 (en) 2021-08-13 2022-04-19 Sai Group Limited Monitoring and tracking interactions with inventory in a retail environment
US11302161B1 (en) 2021-08-13 2022-04-12 Sai Group Limited Monitoring and tracking checkout activity in a retail environment
WO2023039677A1 (en) * 2021-09-17 2023-03-23 Leav Inc. Contactless checkout system with theft detection
US11682214B2 (en) * 2021-10-05 2023-06-20 Motorola Solutions, Inc. Method, system and computer program product for reducing learning time for a newly installed camera

Family Cites Families (96)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3740466A (en) * 1970-12-14 1973-06-19 Jackson & Church Electronics C Surveillance system
US4511886A (en) * 1983-06-01 1985-04-16 Micron International, Ltd. Electronic security and surveillance system
GB2183878B (en) * 1985-10-11 1989-09-20 Matsushita Electric Works Ltd Abnormality supervising system
US4991008A (en) * 1988-12-01 1991-02-05 Intec Video Systems, Inc. Automatic transaction surveillance system
US5097328A (en) * 1990-10-16 1992-03-17 Boyette Robert B Apparatus and a method for sensing events from a remote location
US5243418A (en) * 1990-11-27 1993-09-07 Kabushiki Kaisha Toshiba Display monitoring system for detecting and tracking an intruder in a monitor area
US5216502A (en) * 1990-12-18 1993-06-01 Barry Katz Surveillance systems for automatically recording transactions
US5305390A (en) * 1991-01-11 1994-04-19 Datatec Industries Inc. Person and object recognition system
AU2010192A (en) * 1991-05-21 1992-12-30 Videotelecom Corp. A multiple medium message recording system
US5237408A (en) * 1991-08-02 1993-08-17 Presearch Incorporated Retrofitting digital video surveillance system
US5164827A (en) 1991-08-22 1992-11-17 Sensormatic Electronics Corporation Surveillance system with master camera control of slave cameras
JPH0578048A (ja) * 1991-09-19 1993-03-30 Hitachi Ltd エレベーターホールの待ち客検出装置
US5179441A (en) * 1991-12-18 1993-01-12 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Near real-time stereo vision system
US5317394A (en) * 1992-04-30 1994-05-31 Westinghouse Electric Corp. Distributed aperture imaging and tracking system
US5581625A (en) * 1994-01-31 1996-12-03 International Business Machines Corporation Stereo vision system for counting items in a queue
IL113434A0 (en) * 1994-04-25 1995-07-31 Katz Barry Surveillance system and method for asynchronously recording digital data with respect to video data
JPH0811071A (ja) 1994-06-29 1996-01-16 Yaskawa Electric Corp マニピュレータの制御装置
CA2155719C (en) 1994-11-22 2005-11-01 Terry Laurence Glatt Video surveillance system with pilot and slave cameras
US5666157A (en) * 1995-01-03 1997-09-09 Arc Incorporated Abnormality detection and surveillance system
US6028626A (en) * 1995-01-03 2000-02-22 Arc Incorporated Abnormality detection and surveillance system
US5729471A (en) * 1995-03-31 1998-03-17 The Regents Of The University Of California Machine dynamic selection of one video camera/image of a scene from multiple video cameras/images of the scene in accordance with a particular perspective on the scene, an object in the scene, or an event in the scene
US5699444A (en) * 1995-03-31 1997-12-16 Synthonics Incorporated Methods and apparatus for using image data to determine camera location and orientation
JP3612360B2 (ja) * 1995-04-10 2005-01-19 株式会社大宇エレクトロニクス 移動物体分割法を用いた動画像の動き推定方法
US5708423A (en) * 1995-05-09 1998-01-13 Sensormatic Electronics Corporation Zone-Based asset tracking and control system
JPH11509064A (ja) * 1995-07-10 1999-08-03 サーノフ コーポレイション 画像を表現し組み合わせる方法とシステム
WO1997004428A1 (de) 1995-07-20 1997-02-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Interaktives überwachungssystem
US6002995A (en) * 1995-12-19 1999-12-14 Canon Kabushiki Kaisha Apparatus and method for displaying control information of cameras connected to a network
US5969755A (en) * 1996-02-05 1999-10-19 Texas Instruments Incorporated Motion based event detection system and method
US6049363A (en) * 1996-02-05 2000-04-11 Texas Instruments Incorporated Object detection method and system for scene change analysis in TV and IR data
US5963670A (en) * 1996-02-12 1999-10-05 Massachusetts Institute Of Technology Method and apparatus for classifying and identifying images
US5956081A (en) * 1996-10-23 1999-09-21 Katz; Barry Surveillance system having graphic video integration controller and full motion video switcher
US6526156B1 (en) * 1997-01-10 2003-02-25 Xerox Corporation Apparatus and method for identifying and tracking objects with view-based representations
US5973732A (en) * 1997-02-19 1999-10-26 Guthrie; Thomas C. Object tracking system for monitoring a controlled space
US6456320B2 (en) * 1997-05-27 2002-09-24 Sanyo Electric Co., Ltd. Monitoring system and imaging system
US6185314B1 (en) * 1997-06-19 2001-02-06 Ncr Corporation System and method for matching image information to object model information
US6295367B1 (en) * 1997-06-19 2001-09-25 Emtera Corporation System and method for tracking movement of objects in a scene using correspondence graphs
US6097429A (en) * 1997-08-01 2000-08-01 Esco Electronics Corporation Site control unit for video security system
US6069655A (en) * 1997-08-01 2000-05-30 Wells Fargo Alarm Services, Inc. Advanced video security system
US6188777B1 (en) * 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6061088A (en) * 1998-01-20 2000-05-09 Ncr Corporation System and method for multi-resolution background adaptation
US6400830B1 (en) * 1998-02-06 2002-06-04 Compaq Computer Corporation Technique for tracking objects through a series of images
US6400831B2 (en) * 1998-04-02 2002-06-04 Microsoft Corporation Semantic video object segmentation and tracking
US6237647B1 (en) * 1998-04-06 2001-05-29 William Pong Automatic refueling station
AUPP299498A0 (en) * 1998-04-15 1998-05-07 Commonwealth Scientific And Industrial Research Organisation Method of tracking and sensing position of objects
EP0967584B1 (en) 1998-04-30 2004-10-20 Texas Instruments Incorporated Automatic video monitoring system
AUPP340798A0 (en) * 1998-05-07 1998-05-28 Canon Kabushiki Kaisha Automated video interpretation system
JP4157620B2 (ja) * 1998-06-19 2008-10-01 株式会社東芝 移動物体検出装置及びその方法
US6359647B1 (en) * 1998-08-07 2002-03-19 Philips Electronics North America Corporation Automated camera handoff system for figure tracking in a multiple camera system
US6396535B1 (en) * 1999-02-16 2002-05-28 Mitsubishi Electric Research Laboratories, Inc. Situation awareness system
US6502082B1 (en) * 1999-06-01 2002-12-31 Microsoft Corp Modality fusion for object tracking with training system and method
US6437819B1 (en) * 1999-06-25 2002-08-20 Rohan Christopher Loveland Automated video person tracking system
US6317152B1 (en) * 1999-07-17 2001-11-13 Esco Electronics Corporation Digital video recording system
US6698021B1 (en) * 1999-10-12 2004-02-24 Vigilos, Inc. System and method for remote control of surveillance devices
US6483935B1 (en) * 1999-10-29 2002-11-19 Cognex Corporation System and method for counting parts in multiple fields of view using machine vision
US6549643B1 (en) * 1999-11-30 2003-04-15 Siemens Corporate Research, Inc. System and method for selecting key-frames of video data
EP1337933A4 (en) * 1999-12-06 2008-03-05 Balance Innovations Llc SYSTEM, METHOD AND COMPUTER PROGRAM FOR MANAGING THE STORAGE AND DISTRIBUTION OF DRAWERS
US7286158B1 (en) 1999-12-22 2007-10-23 Axcess International Inc. Method and system for providing integrated remote monitoring services
US6574353B1 (en) * 2000-02-08 2003-06-03 University Of Washington Video object tracking using a hierarchy of deformable templates
US6591005B1 (en) * 2000-03-27 2003-07-08 Eastman Kodak Company Method of estimating image format and orientation based upon vanishing point location
US6580821B1 (en) * 2000-03-30 2003-06-17 Nec Corporation Method for computing the location and orientation of an object in three dimensional space
US6850265B1 (en) 2000-04-13 2005-02-01 Koninklijke Philips Electronics N.V. Method and apparatus for tracking moving objects using combined video and audio information in video conferencing and other applications
DE10042935B4 (de) 2000-08-31 2005-07-21 Industrie Technik Ips Gmbh Verfahren zum Überwachen eines vorbestimmten Bereichs und entsprechendes System
US6798445B1 (en) * 2000-09-08 2004-09-28 Microsoft Corporation System and method for optically communicating information between a display and a camera
US20050146605A1 (en) 2000-10-24 2005-07-07 Lipton Alan J. Video surveillance system employing video primitives
US6813372B2 (en) * 2001-03-30 2004-11-02 Logitech, Inc. Motion and audio detection based webcamming and bandwidth control
US20090231436A1 (en) * 2001-04-19 2009-09-17 Faltesek Anthony E Method and apparatus for tracking with identification
US20030053658A1 (en) * 2001-06-29 2003-03-20 Honeywell International Inc. Surveillance system and methods regarding same
US20030123703A1 (en) * 2001-06-29 2003-07-03 Honeywell International Inc. Method for monitoring a moving object and system regarding same
GB2378339A (en) * 2001-07-31 2003-02-05 Hewlett Packard Co Predictive control of multiple image capture devices.
US7940299B2 (en) * 2001-08-09 2011-05-10 Technest Holdings, Inc. Method and apparatus for an omni-directional video surveillance system
US20030058342A1 (en) * 2001-09-27 2003-03-27 Koninklijke Philips Electronics N.V. Optimal multi-camera setup for computer-based visual surveillance
US20030058237A1 (en) * 2001-09-27 2003-03-27 Koninklijke Philips Electronics N.V. Multi-layered background models for improved background-foreground segmentation
US20030058111A1 (en) * 2001-09-27 2003-03-27 Koninklijke Philips Electronics N.V. Computer vision based elderly care monitoring system
US7110569B2 (en) * 2001-09-27 2006-09-19 Koninklijke Philips Electronics N.V. Video based detection of fall-down and other events
WO2003044743A2 (en) * 2001-11-20 2003-05-30 Hutchins Nicholas D Facilities management system
US7161615B2 (en) * 2001-11-30 2007-01-09 Pelco System and method for tracking objects and obscuring fields of view under video surveillance
US7123126B2 (en) * 2002-03-26 2006-10-17 Kabushiki Kaisha Toshiba Method of and computer program product for monitoring person's movements
US6847393B2 (en) * 2002-04-19 2005-01-25 Wren Technology Group Method and system for monitoring point of sale exceptions
US6933849B2 (en) * 2002-07-09 2005-08-23 Fred Sawyer Method and apparatus for tracking objects and people
AU2002341273A1 (en) 2002-10-11 2004-05-04 Geza Nemes Security system and process for monitoring and controlling the movement of people and goods
US8547437B2 (en) * 2002-11-12 2013-10-01 Sensormatic Electronics, LLC Method and system for tracking and behavioral monitoring of multiple objects moving through multiple fields-of-view
US6987451B2 (en) * 2002-12-03 2006-01-17 3Rd Millennium Solutions. Ltd. Surveillance system with identification correlation
US6791603B2 (en) * 2002-12-03 2004-09-14 Sensormatic Electronics Corporation Event driven video tracking system
US6998987B2 (en) * 2003-02-26 2006-02-14 Activseye, Inc. Integrated RFID and video tracking system
US8614741B2 (en) * 2003-03-31 2013-12-24 Alcatel Lucent Method and apparatus for intelligent and automatic sensor control using multimedia database system
US20040252197A1 (en) * 2003-05-05 2004-12-16 News Iq Inc. Mobile device management system
US20040249848A1 (en) * 2003-06-06 2004-12-09 Carlbom Ingrid Birgitta Method and apparatus for intelligent and automatic alert management using multimedia database system
JP4286074B2 (ja) 2003-06-19 2009-06-24 三菱電機株式会社 空間情報配信装置
US6926202B2 (en) * 2003-07-22 2005-08-09 International Business Machines Corporation System and method of deterring theft of consumers using portable personal shopping solutions in a retail environment
US7049965B2 (en) * 2003-10-02 2006-05-23 General Electric Company Surveillance systems and methods
US20050102183A1 (en) * 2003-11-12 2005-05-12 General Electric Company Monitoring system and method based on information prior to the point of sale
US7631808B2 (en) * 2004-06-21 2009-12-15 Stoplift, Inc. Method and apparatus for detecting suspicious activity using video analysis
US20060095539A1 (en) * 2004-10-29 2006-05-04 Martin Renkis Wireless video surveillance system and method for mesh networking
US7245221B2 (en) * 2004-10-01 2007-07-17 Emc Corporation Inventory control
US20070164845A1 (en) * 2004-12-21 2007-07-19 Checkpoint Systems, Inc. System and method for monitoring security systems
AU2008262268B2 (en) * 2007-06-09 2012-05-03 Sensormatic Electronics, LLC System and method for integrating video analytics and data analytics/mining

Also Published As

Publication number Publication date
US9036028B2 (en) 2015-05-19
EP1943628A1 (en) 2008-07-16
EP1943628B1 (en) 2011-03-02
WO2007030168A1 (en) 2007-03-15
US20070182818A1 (en) 2007-08-09
DE602006020476D1 (de) 2011-04-14
US9881216B2 (en) 2018-01-30
AU2006287940A1 (en) 2007-03-15
US20150244992A1 (en) 2015-08-27
US20170053171A1 (en) 2017-02-23
CA2620630A1 (en) 2007-03-15
JP2009507295A (ja) 2009-02-19
ATE500581T1 (de) 2011-03-15
US9407878B2 (en) 2016-08-02
CA2620630C (en) 2014-09-16
AU2006287940B2 (en) 2009-09-03

Similar Documents

Publication Publication Date Title
JP5086260B2 (ja) 対象追跡と警報
US7825792B2 (en) Systems and methods for distributed monitoring of remote sites
US7671728B2 (en) Systems and methods for distributed monitoring of remote sites
EP2581888B1 (en) Systems and methods for distributed monitoring of remote sites
US20230041775A1 (en) Multiple-factor verification for vision-based systems
US20070282665A1 (en) Systems and methods for providing video surveillance data
JP4829290B2 (ja) インテリジェントなカメラ選択および対象追跡
US9158975B2 (en) Video analytics for retail business process monitoring
US10853856B2 (en) Notification system and methods for use in retail environments
JP4925419B2 (ja) 情報収集システム、及び、モバイル端末
WO2015092375A1 (en) Security system and method
Venetianer et al. Video verification of point of sale transactions
WO2023172810A1 (en) Vision system for classiying persons based on visual appearance and dwell locations

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090311

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090311

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20101117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110906

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20111205

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20111212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120305

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120904

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120906

R150 Certificate of patent or registration of utility model

Ref document number: 5086260

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150914

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees